董庭兰也借此而弄权谋利。后来，法司弹劾董庭兰，房琯入朝自诉，被唐肃宗斥退，唐肃宗任命谏议大夫张镐为宰相，将房琯贬为太子少师，担任散官。
房琯随唐肃宗返回长安，加金紫光禄大夫，进封清河郡公，房琯被罢相后，常称病不去上朝，却在家中招纳宾客，以致宾客盈门。房琯的亲党在朝中大肆宣扬：“房琯是文武全才，应受重用。”唐肃宗非常反感，唐肃宗历数房琯罪责，将他贬为邠州刺史。
当时，邠州驻有军队，常由武将兼任刺史，法纪废弛，州县官舍都被当作军营，官吏只得侵占民宅居住，以致人口稀少。房琯到任后，颁布法令，晓谕州县，又整治馆舍，让僚吏恢复办公，唐肃宗下诏褒奖房琯，征拜他为太子宾客，改任礼部尚书，不久出任晋州刺史。房琯又改任汉州刺史，并以重金聘娶汉州司马李锐的甥女卢氏，将她嫁给自己失明的儿子房乘，舆论都对他加以鄙薄。房琯被拜为特进、刑部尚书，在赴京途中不幸患病，病逝于阆州，终年六十七岁，追赠太尉。
：()史事讲将2隋唐五代
