胡兰成的晚年，主要依靠妻子佘爱珍在东京池袋经营酒吧的收入维持日常开销，自身出书讲学的收入不足以支撑生活。1981年7月25日，他因心脏衰竭在日本东京都青梅市河边町寓所离世，享年75岁。他病逝后，被安葬在东京西郊的福生市清岩院，墓并不在清岩院内，而是在院外的一片墓园。墓碑上刻有他自书的“幽兰”二字。没有姓名，没有碑铭。日本前首相福田纠夫等多位社会知名人士出席了他的葬礼，随礼赠物印有他手书的“江山如梦”。胡兰成的书法在日本备受推崇，1969年曾于东京、茨城、名古屋、大阪等地举办过书法展。福田纠夫将胡兰成的“奇逸人中龙”，挂在自家茶室的壁龛里。川端康成也不吝赞美，“论书法，今人不及古人，日本人不及中国人。胡兰成书法日本无人能匹。”他最后的寓所，还挂着“胡兰成”的牌子，但主人已经是胡兰成和佘爱珍的养女晋明。晋明婚后随夫姓，佐佐木。

图一，位于东京西郊福生市的清岩院。图二、图三，胡兰成的墓碑。图四，胡兰成的书法：江山如梦。图五、六、七，胡兰成最后的寓所，现在的主人是养女晋明。