史中丞李林甫一起上书唐玄宗，弹劾张说勾引术士占星、徇私舞弊、收受贿赂。唐玄宗便命源乾曜与崔隐甫、刑部尚书韦抗、大理少卿明珪等人一起在御史台审讯张说，结果罪状大多属实。
张说的哥哥左庶子张光，在朝堂上割掉耳朵，为张说鸣冤，玄宗遂命高力士探视张说。高力士回来后，对玄宗道：“张说头发散乱，满脸污垢，坐在稻草垫子上，用瓦盆吃饭，惊慌恐惧地等候处分。”又述说张说对国家的功劳。玄宗于是赦免张说，仅罢免其中书令之职。
张说被罢政事后，就在集贤院专修国史，又要求免去右丞相一职，唐玄宗不许，并且在遇到军国大事时，仍旧派人去询问他的意见。崔隐甫等人怕玄宗还会起复张说，对他百般诋毁，唐玄宗勒令张说致仕退休。张说被任命为尚书右丞相、集贤院学士，不久，接替源乾曜为尚书左丞相。不久，张说又因修撰《谒陵仪注》有功，加封开府仪同三司。
张说患病，唐玄宗每天都派中使前去看望，并亲自为他书写药方，张说病逝，终年六十四岁，唐玄宗在光顺门为他举哀，亲自撰写神道碑文，并罢元旦朝会，追赠太师，赐谥文贞。
：()史事讲将2隋唐五代
