天正皇帝临终前，张廷玉与鄂尔泰等同被顾命，命他日“配享太庙”。这是很大的荣耀，一般来说都是身后事才会商议这个事儿，天正皇帝的性子爱憎分明，对着张廷玉十分喜欢，在张廷玉的生前就安排好了一切。
但一朝天子一朝臣，张廷玉看得出来，永盛皇帝少年天子不太喜欢自己。儒家经典《礼记・曲礼上》早有明文规定：“大夫七十而致仕”。永盛十三年，已经76岁高龄的张廷玉以年老请辞。历经种种波折，皇帝批准了。依照张廷玉的资历与功绩，他的退休怎么也是风风光光，不想却生出无限是非，只留下一条命回家养老，而一切的祸根都源于“配享太庙”这个无上荣耀。
此时张廷玉，对富贵权位已经看得淡了。他所看重的是身后的殊荣，是历史的地位，对于配享太庙的资格自然格外在意。年迈的张廷玉也开始糊涂起来，他特意上了一个奏折，:“恐身后不得蒙荣，外间亦有此议论，免冠叩首，请上一辞以为券”。意思请永盛皇帝写个“保证书”，保证他死后能顺利的入太庙――这很明显是对皇帝的不信任。
天子十分不悦，但是念及三朝老臣，皇帝还是写了，给足了张廷玉面子。按道理张廷玉应该入宫谢恩，但终究是老糊涂了。在皇帝做出了这么多让步与许诺之后，他竟然只是让儿子代替自己前去谢恩。皇帝大怒，趁机发作：“张廷玉之罪，不在于不亲自谢恩，而在于请朕承诺。之所以让朕承诺，乃是不信朕。”“朕待群臣，事事推心置腹，而伊转不能信，忍为要挟之求。观其如此居心，岂有不得罪于天地鬼神耶！”
永盛皇帝认为张廷玉对先帝的确尽职尽忠，但对他却是两面三刀，根本没有君臣之情，荣誉拿到手就走人，准备对张廷玉进行惩罚。皇帝的谕旨送到了军机处，准备第二天颁发。当值军机章京汪由墩是张廷玉的门生，就把这事提前告诉了张府，让老张提前有个准备。谁知张廷玉又犯糊涂了，连夜进宫请罪。这下可算是炸了锅！
按常理，皇帝的谕旨第二天上午才能发到张家，皇帝的谕旨还没发，你就得到消息跑来谢罪，这分明是告诉皇帝，你身边有我的人！永盛皇帝盛怒，本想将张廷玉一办到底，但是张廷玉已成为先帝功臣的象征，削去他配享太庙的资格会让汉人大臣寒心。故而在惩治张廷玉时，永盛皇帝不得不有所收敛，下旨夺去了张廷玉爵位。
张廷玉从未受过如此打击，永盛十五年，张廷玉再次申请返乡。不过，此时永盛皇帝长子永璜刚刚去世不久，张廷玉的“不合时宜”再次惹怒了皇帝，大骂张廷玉：“张廷玉曾侍朕讲读，又曾做过定亲王（永璜）的师傅，如此漠然无情，还有人心吗?”将张廷玉说得一文不值：“你当官这么多年毫无建树，不过就是一个古董陈设而已。”随后，张廷玉“配享太庙”资格被罢去。
皇帝对张廷玉是起了杀心的，张廷玉回到桐城老家，皇帝借御史弹劾之机，派人去抄家，皇帝特别交代：凡先帝赏赐或书信文章一律收缴。很多高管退休后总喜欢写点回忆录啥的，乾隆也是发了狠心，如张廷玉有一处违碍之语，必制其死地。可是永盛皇帝万万没有想到，三十年“宰相”家里余银不足千两，先帝御赐之物原样保存，文章书籍没有一处违碍之语。