到后来，也许是关圣殿名气最大，大家都把这地方叫做关王庙，而佑国庵的名字反而逐渐湮没了。再后来，关羽被封为帝君，关王庙就改称为关帝庙，因为这儿的关公像是比较少见的铁铸像，所以也叫铁关帝庙。

据《南京市白下区文物志》记载，这座关帝庙原在致和街74号，历经兴废，最后的庙房在抗日战争期间遭到日机轰炸，大部分被毁，剩下的房屋经修缮后出租作为停放灵柩之用。中华人民共和国成立初期，这里已是一座破庙，门南向，前临河，只有一个和尚，房屋被煤炭行业租用。1982年白下区文管会文物调查时，只剩下庙房三间和两只不大的石龟。后来致和街一带旧房拆迁，三间庙房被拆，原址改为住宅小区，石龟移至锦绣坊文园（当时的白下区文物陈列馆）保存，逍遥楼遗址便再无踪迹可寻了。笔者恩师卓友渔先生有诗云：“青溪一曲水迢迢，荜户于今尽九霄。柳下棋声枝上鸟，有谁来与说逍遥。”

或许，有着神奇道士的预言并暗藏火药的忠勤楼，以及紧锁楼门、令人逍遥至死的逍遥楼，再加上鼓楼冈附近的明代功臣庙，三者组合在一起，最终形成了民间传说中的那座“功臣楼”吧。