据说，绰庙地区农历三月三赶庙会的习俗，起源于楚汉相争时期。垓下之战以后，项羽兵败，一路奔逃，过了滁河，来到寒山寺和插花山之间。汉兵追到滁河对岸，项羽兵分两路，自己向乌江方向这边逃走。为避开汉兵，项羽抄山上小路走，命其他众人顺山下大道奔跑。

项羽急急忙忙逃到阴陵山脚下时，看到一个农家妇女正在路旁割草，他立刻下马朝她急速地走过来，一边向她问路，一边对她说：“你千万不要告诉别人，有一位大将军曾经从这里路过。”农妇直起腰直率地对项羽说：“请大将军放心，我不说就是了。”项羽听后，马上转回身，飞身上马急急忙忙地走了。走了没有多远，项羽有点不放心，于是又调转马头，快速回到农妇割草地方，向农妇说明了自己的身份和现在的处境。项羽言辞切切地说：“后面的追兵已经到滁河边了，要不了多少时间就要追过来了，他们一定会问你，有没有看见一位将军从这里走过，你千万不能告诉他们我的去向。实话告诉你，我本想一剑杀了你，念你是一个农家妇女，于心不忍，饶你不死。但是你一定要按我所讲的去做，死活不要说出我从这里路过。”农家妇女一听，面前骑在马上的这个人就是楚霸王，大吃一惊，立即放下手中的柴刀，双膝跪在地上说：“贫妇不知霸王到此，谢霸王饶命之恩，追兵到此，我绝不会说出你的去向”。项羽听后，又上马赶路，项羽走不多远，心里还是觉得不踏实，又打马跑回来。农家妇女见楚霸王对自己不相信，只好拿起手中的柴刀，自刎而死。

项羽一见，懊悔得很，觉得很对不起这位素不相识的女子。项羽逃到乌江，已是独自一人，江边有一只船在等候，项羽感到自己已是末日来临，无颜见江东父老。他要求船家把马渡过长江去，并向船家交代了后事，他把阴陵山上那位农家妇女自杀的事情，向船家说了一遍，请船家找当地的百姓们，在山上修一座庙，塑一个塑像，来纪念这位无辜的农妇，船家答应了。

项羽看见自己的乌骓马已经渡过江，于是悲愤地拔剑自刎。项羽乌江自刎以后，绰庙地区人按照项羽嘱托在阴陵山旁建造了一座庙。当地百姓根据楚霸王三找农家妇女的事，约定每年农历三月初三上山进庙朝拜。三月三庙会一直就这样传下来了。