1923年，北京国会因原有会场狭小，计划将办公地点迁入故宫外朝三大殿，还邀请外国工程师绘制改造图纸，准备增设议席、调整墙体，坊间更传出要拆除殿宇、修建西式议院的说法，甚至有拆卖旧料牟利的传闻 。

身在洛阳的吴佩孚闻讯，于5月20日前后致电总统、总理与内务、财政总长。他虽注明消息未必完全属实，却郑重指出三大殿是“大地百国之瑰宝”，不忍数百年古物遭毁、落入私人口袋。电报见报后舆论大哗，国会虽公开否认要推倒大殿，只称打算改造利用，但“究竟能改动到什么程度”的争议已经公开化。

不久北京政局动荡，黎元洪被迫离京，曹锟贿选风波爆发，国会陷入混乱，改造计划就此搁置。1925年故宫博物院成立，三大殿作为文物古迹对公众开放，这座宏伟的明清建筑群终于躲过一劫。