国民党官场流传一句话：委座怒，张群笑；委座笑，张群退后半步，以此来形容张群和蒋介石相处的分寸。
张群和蒋介石是日本士官学校同学，但是一辈子坚决不拿老同学身份恃宠而骄，坚持“不抢功、不越位、不争实权”。蒋介石交代棘手任务，比如去和西南地方实力派龙云、刘文辉、卢汉谈判，其他人去很容易谈崩，唯独张群出马，既能把蒋介石底线传递过去，又不会激化矛盾，当年赴昆明安抚龙云就是典型案例。
张群长期负责对日外交、西南军政，遇到蒋介石决策，就算内心有不同意见，也不当场硬顶，会换一种委婉方式进言，一旦蒋介石坚持原有决定，他立刻全力执行。
大陆溃败之后，大批元老失势，张群跟着到台湾，依然身居高位，一直活到1990年，是少数完整见证从同盟会到国民党退台全过程、没有遭到清算的元老。
张群自己总结为官心法叫“半步哲学”：做任何事，向前只走半步，绝不走到最前面，防止功高震主。