以为然，便引荐郑愔为中书舍人，与崔湜一道，同为他的谋士。
武三思与韦后便按照郑愔所献之计，日夜在李显面前巧舌如簧，诋毁张柬之等人，向李显说道：“这四个人自以拥戴有功，就居功自傲，大权在握，独断专行，将对社稷不利。”由此李显对四人起了疑心，不再信任。武三思与韦后二人便进一步向李显建议：“不如封张柬之等人为王，不让他们再参与朝政，这样在外表上是尊重功臣，避免他们的不服气及人们的议论，实际上又夺去他们的权力，不致再专权用事。”李显这个软耳朵，对武三思、韦后之言无不听从，于是下诏书：封张柬之为汉阳王，敬晖为平阳王，桓彦范为扶阳王，崔玄暐为博陵王，袁恕己为南阳王。同时免去他们“知政事”，即宰相参政的权力，赐金银绸缎及鞍马，只须于每月初一、十五两日入宫朝拜一次。
，！
张柬之等人虽被夺去实权，不得参与朝政，毕竟还有着王的尊号，有着很高的声望和很大的政治影响，而且还能一月入宫朝拜两次，有机会和李显接近，能对李显进行劝谏或献策。所以武三思对他们留在京城仍然感到是一种威胁，于是报请朝廷，将他们调离京城，改任地方官。当时韦后当权，上官婉儿掌管草拟诏令，调令可以随便下。调任张柬之为襄州刺史，敬晖为朗州刺史，桓彦范为亳州刺史，袁恕己为郢州刺史。接着武三思又指使郑愔诬张柬之等人与王同皎同谋，欲废韦后，于是又将五人贬谪。张柬之被贬为新州司马，敬晖为崖州司马，桓彦范为沈州司马，袁恕己为窦州司马，都是贬在当时最为偏僻、最为荒凉的所谓远恶之地。
最后，为置五人于死地，武三思暗中指使人书写韦后的污秽行为，请予废黜皇后的封号的传单，张贴在洛阳的天津桥。武三思有意让人将其情况报告李显，李显闻之，极为愤怒，命令御史大夫李承嘉穷究其事。李承嘉秉承武三思的意旨，捏造案情，诬为张柬之、敬晖、桓彦范、袁恕己五人对贬谪不满，暗中指使人所为，并报请李显：“他们表面上是请求废黜皇后，实则是想阴谋篡逆，应该对他们四人全部诛杀。”大理丞丰朝隐表示反对，奏称“对张柬之等人不经审问，就急忙诛杀，不合法律手续。”大理丞裴谈为讨好韦后及武三思。为之出谋，奏称：“对张柬之他们应该根据皇帝的诏令判处斩刑，诛杀全族，没收家产，则可以不必经过审问，也是合于法律手续的。”
后来，李显考虑到曾向张柬之等颁发有不处死的丹书铁卷，不同意处死，改为流放。于是将张柬之流放到泷州，敬晖流放到琼州，桓彦范流放到瀼州，袁恕己流放到环州。四家子弟十六岁以上的，皆流放到五岭以南，裴谈因讨好献媚，由大理承提升为刑部尚书，李朝隐因秉公持正则由大理丞贬为闻喜县令。邪僻者升官，正直者遭贬。崔湜又向武三思提出建议：“张柬之等若有朝一日被召回洛阳，必为后患，不如派遣使者，假传圣旨，将四人杀掉。”武三思高兴地说：“正合我的心意，但不知派哪一个去最为妥当？”崔湜便推荐他的表兄大理正周利贞。
武三思与韦后商议后，决定由婉儿草拟一道诏书，命令周利贞以代理右台御史的身分，带着婉儿发出的假圣旨前往岭南，去杀害张柬之等五人。周利贞到达岭南，张柬之年老体衰，恚恨成疾，也死于新州贬所。算是万幸，未遭受到周利贞的残酷折磨。桓彦范正被押往瀼州流放的途中。周利贞在贵州遇到桓彦范，随即令人将桓彦范用绳索捆绑，在砍伐的竹桩上拖着走，肉被竹桩刮去，露出骨头。待到折磨得心满意足了，而后用棍棒打死，残忍至极。敬晖被刀剔而死，残忍更胜一步。袁恕己被强灌野葛藤汁，腹内痛苦难受，倒在地下，以手抓土，指甲磨尽，鲜血淋漓，而后用竹板打死，残忍又胜一步。
周利贞因残杀有功，回到京城，即升为御史中丞，血染珠顶红武三思残害张柬之等人之后，权势威日盛，将过去张柬之等人所斥退的小人全都恢复了原有职务。常对人说：“我不知道人间哪一种人是善人，哪一种人是恶人，我只知道对我好的就是善人，对我不好的就是恶人。”因此凡反对他们的就加罪杀掉或排斥，讨好他的就高官厚禄，权力胜过皇帝。处士韦月将上书朝廷，指出武三思父子权力过大，必为叛逆。武三思得知，即指使有关部门将韦月将处斩。当时任黄门侍郎的宋璟在李显面前力争，认为韦月将未犯死罪，不应处死。大理卿尹思贞认为时令为夏天，不是处死刑的时候。武三思于是变换手法，将韦月将流放岭南，到秋天行刑的时候，令广州都督周仁轨将韦月将杀害。同时武三思上奏朝廷，将宋璟由京官调为并州长史
