吊亡母之时，与杜元纪微服出城，时人都认为李义府在窥测灾异，图谋不轨。这时，李义府又向长孙无忌之孙长孙延索取七百贯，授给他司津监的官职，结果被右金吾仓曹参军杨行颖告发。
唐高宗将李义府下狱，命刑部尚书刘祥道联合御史台、大理寺一同审讯，并由司空李积进行监督。不久，唐高宗下诏，将李义府长期流放巂州，其子婿也都遭到流放，朝野对此无不称庆，有人甚至写了篇《河间道行军元帅刘祥道破铜山大贼李义府露布》，张贴在交通要道上。
唐高宗封禅泰山，大赦天下，但却不许长期流放的罪囚返回，李义府忧愤不已，发病而死，时年五十三岁，至此，担心他再度起复的朝士方才安心，李义府的妻子、儿女遇赦，得以返回洛阳。
武则天称帝后，念及李义府此前的辅助之功，追赠他为扬州大都督，后赐实封三百户，唐睿宗继位后，又将李义府的实封收回。
：()史事讲将2隋唐五代
