太子的关系，陛下如果让太子监国，定下君臣名份，小人自然胆怯，流言便会平息。”李旦大喜，当日便命李隆基监国。后来，张说又改任兵部侍郎，仍领同平章事。
，！
李旦禅位，太子李隆基称帝，史称唐玄宗。太平公主在朝中仍然拥有强大的势力，与皇帝李隆基之间的矛盾斗争也是日趋激化，张说在此之前便因不肯阿附太平公主，被罢去宰相之职，贬为尚书左丞、东都留守，他派使者献给李隆基一把佩刀，暗示他要果断行事，尽早铲除太平公主。
唐玄宗诛杀太平公主，张说被征拜为中书令，封燕国公。不久，唐玄宗更改官职名称，张说被改封紫微令。张说与同州刺史姚崇关系不和睦，玄宗打算任命姚崇为相，张说便指使御史大夫赵彦昭弹劾姚崇。玄宗不予理睬，张说又让殿中监姜皎提议，任命姚崇为河东总管，以阻止姚崇入朝拜相。玄宗明知是张说的计谋，仍任命姚崇为兵部尚书、同中书门下平章事。
姚崇任相后，张说非常害怕，私自到岐王李范府中申述诚意，结果被姚崇告发，张说被贬为相州刺史，充任河北道按察使。不久，张说又被他事牵连，再贬为岳州刺史。苏颋担任宰相，张说与苏颋之父苏瑰是故交，便撰写一篇《五君咏》，在苏瑰忌日时献给苏颋，其中一则是记载苏瑰的故事。苏颋非常感动，向玄宗进言，改任张说为荆州长史。不久，张说改任右羽林将军，兼检校幽州都督。
张说任检校并州大都督长史兼天兵军大使，代理御史大夫，同时在军中修撰国史。朔方大使王晙诛杀突厥降户阿布思等千余人，引起并州的同罗、拔曳固等部族的恐惧，为了平息事端，张说只率二十人，持节安抚各部，晚上还住在他们帐中。副使李宪得知后派人传信，劝他不要涉险，张说却丝毫不惧，诸部落深受感动，得以安心。
突厥降将康待宾反叛，自称叶护，攻陷兰池六州，唐玄宗命王晙率兵讨伐，又命张说参与军机。当时，康待宾暗中勾结党项，攻破银城、连谷，还占据粮仓。张说率一万人出合河关袭击，大破康待宾，并乘胜追击，当逃到骆驼堰时，党项反戈，叛军溃散。张说招抚党项流散人员，使他们各安其业，副使史献认为党项反复无常，建议把他们全部诛杀。张说道：“如果把他们全杀了，是违背了天道。”于是奏请设置麟州，安顿党项，张说被召拜为兵部尚书、同中书门下平章事。
张说担任朔方节度大使，并巡视边防五城。当时，康待宾余党康愿子举兵造反，自立为可汗，并劫掠牧马，西渡黄河出塞。张说率兵追讨，在木盘山擒获康愿子，俘虏三千人，又将居住在河曲六州的降户五万余人强行迁往中原的许、汝、唐、邓、仙、豫等州。起初，唐朝边境有镇兵六十多万，张说以“时无强寇，不假师众”为由，奏请裁军二十万，让他们回乡种地。唐玄宗对此犹豫不决，张说道：“边军虽多，但各将帅都只管拥兵自卫，役使兵丁营私。真能制敌，不在兵多。以陛下之英明威武，四夷都能臣伏，不用担心裁减人员会招来寇贼。臣请以臣全家百口人做担保。”玄宗这才答应。
当时，诸卫府兵贫弱，大都在轮班休假时逃跑了，张说建议招募壮士，修改条令，减少劳役，不到十天，便选得精兵十三万，分别补给各卫，增强京师的守卫，这就是后来的彍骑卫队。唐玄宗从洛阳返回长安，途中打算前往并州，张说道：“汾阴脽上有汉朝所立的后土祠，这里的祭祀大礼长期废弛；陛下应当趁巡幸之机重修此礼，以便为农事祈求丰年。”玄宗接受他的建议。
唐玄宗回京，升张说为中书令，不久，玄宗设立丽正书院，招纳秘书监徐坚、太常博士贺知章、监察御史赵冬曦等文学之士，让他们着书立说、讲论文史，并任命张说为修书使，主持其事。张说倡议玄宗到泰山举行封禅之事，并与徐坚等人草拟封禅时的礼仪程序，对不合时宜的旧仪程加以改正。玄宗将丽正书院改为集贤殿书院，任命张说为集贤院学士，知院事。
玄宗封禅泰山，临行前任命张说为右丞相兼中书令，源乾曜为左丞相兼侍中，又命张说撰写《封禅坛颂》，准备刻在泰山之上。封禅时，张说将跟随上山的执事官，都安排为自己亲信之人，并且越级升为五品，而对随行的兵士，只加功勋，不给赏赐，因此，朝野内外都埋怨张说专权。
玄宗打算重用河南尹崔隐甫，结果在张说的干涉下，任命他为御史大夫。张说虽有才智，但脾气暴躁，生性贪财，对同僚常当面驳斥，甚至呵斥谩骂，他与御史中丞宇文融不和，因此对宇文融所提出的建议，大多加以压制。不久，崔隐甫、宇文融和御
