有财宝的传说。

清朝咸丰末年，正当盛年的吴中开始扩建这个院子。算起来，吴中只是个土地主，财力有限，因此吴中的大哥吴南、二哥吴北都资助过他。后来，他这两个哥哥先后离开原籍去南方经商，夏边县的吴家就只剩了吴中这一支。吴中无子，便过继了远房的侄子吴延福当儿子。吴中一死，祖产归吴延福继承理所当然，别的吴家人提不出什么意见。可是吴延福要在身后把院子传给女儿潘吴氏，却是吴家人不能容忍的。吴延福突然死亡之后，以吴南、吴北后代为主的吴家族人就决定要抢回房产。族里委派吴南之子吴延禄先期赶到夏边处理此事。不料，吴延禄竟然辜负了大家的期望，他将院子贱价卖给萧道成，然后带着巨款连夜逃出夏边，从此流亡海外，下落不明。

萧家有财有势，而且买之有据，吴家只好承认既成事实。不过令吴家奇怪的是，萧道成买了院子，却仍然住在原来的家里，极少到这个院子里来。后来他死了，大儿子萧子敬成了院子的主人。这个萧子敬跟他爹一样，常年住在城里，一年回不来几次。院子越来越萧条，有一段时间，甚至沦落到“芳草萋萋，鸟雀为家”的程度。

1945年“光复”后，政府将萧家大院作为“敌伪财产”收归国有，但也一直闲置着。解放后，这里成为了城关镇供销合作社所在地，不久又划给了县粮食局，粮食局于1964年迁走，从那以后这里就给了县文化馆，直到现在。