的士兵犯了偷盗罪，马璘想予以赦免，段秀实说：“将领有偏爱，法令就不一致，即使韩信、白起再生，也不能治理好。”马璘认为他说得对，最后下令杀死这名士卒，马璘决定的事中有不合理的，段秀实一定坚持争辩，到马璘认错为止。
，！
马璘在泾州修筑城防时，段秀实任留后，马璘归来后，段秀实因勤恳被加封为御史中丞，马璘随即奉命移任泾州节度使，他的军队曾从西域四镇、北庭到中原勤王，在外地频繁调动，因辛苦导致很多人埋怨。刀斧将王童之见人心浮动，引诱他们叛乱。有人报告了这事，并且说：“应严加戒备，他们约定以打更鼓声为号。”段秀实就把打更人召来，假装因时间不准发怒，告诫他们说：“每到一更筹码到了，一定要来报告。”每次报告，都命令延长几刻时间，四更打完天就亮了。
军中报时不一致，王童之的叛乱不能发动。第二天，报告人又说：“今天晚上将烧草料场，约定救火人一齐叛乱。”段秀实严加警备，半夜火里果然起火，段秀实就派人在军中下令说：“敢去救火的斩首！”王童之住在外边营地，请求进来救火，段秀实不答应。第二天，逮捕了王童之，连他的同党八人一起斩首示众，下令说：“胆敢推迟迁移的人灭族！”部队于是迁到泾州。
当时，驻地的仓库储粮不多，外城没有居民，朝廷为此担心，便命令马璘管辖郑、颍两州来供应泾原军，命令段秀实任留后。军队不缺钱粮，两州因此太平，马璘嘉奖他的功绩，奏请朝廷任他为行军司马兼都知兵马使。马璘在盐仓与吐蕃交战失败，他被敌军拦隔，到傍晚还没有回来，泾原兵马使焦令谌等人和败兵争相夺门入城。有人劝段秀实登城拒守，段秀实回答：“主帅不知在何处，当前的任务是攻击敌军，难道能苟且求生吗！”段秀实召见焦令谌等人，责备他们说：“按军法规定，失去大将，部下都得处死。各位忘掉了死吗！”焦令谌等人十分慌恐，跪拜在地，请求段秀实给他们下命令。段秀实于是派遣所有城中没有参加过战斗的士兵出城，在东原布阵，并收罗散兵游勇，摆出准备拼死作战的姿态。吐蕃很畏惧，逐渐退却，入夜，马璘才得以回城。
马璘病重，不能管事，便请段秀实代理节度副使兼任左厢兵马使，段秀实就命十将张羽飞任招召将，派兵警戒，以防意外。马璘去世，军中数千人奔走号哭，节度府的门庭屏墙外一片哀哭声，段秀实都不让他们进去，他命令押牙马頔在里面办理丧事，李汉惠在外面接待宾客，马璘的妻妾子孙位居堂中，宗族父老位居庭内，高级将领位居堂前，衙内亲兵在营中哭泣，百姓分别在家守候。如果两个人在通衢要道偶然说话，就将他们抓住，囚禁起来，不是护送灵柩出丧的人不得远送。吊唁哭拜都有仪式和礼节，送丧远近都有规定，违者依军法处治。都虞候史廷干、兵马使崔珍、十将张景华图谋在治丧时作乱，段秀实知道后，奏报朝廷让史廷干入朝宿卫，崔珍移军驻守灵台，将张景华补任外职，不杀一人，节度军府安然无恙。
段秀实被正式授任泾州刺史，兼御史大夫，四镇、北庭行军和泾、原、郑、颍节度使。他在任三四年间，边患有所缓解，他为人简朴坦率和气，远近的人都称赞他。当时依照法律，官员身兼二职可拿两份俸禄，段秀实只拿一份，不是因公聚会，他不奏乐喝酒，家里没有乐妓和小妾，没有多余的财产，而他回到家里，只是安居静思而已。
段秀实回京城朝见代宗，在蓬莱殿回答代宗的提问，代宗问及安定边防的谋略，段秀实在地上画出地形图，分门别类、井井有条地回答，代宗高兴，慰劳赏赐他很丰厚，又赏赐他第一等的住宅，实封一百户，让他回到任所。吐蕃一万骑兵从青石岭前来，进逼泾州，代宗命段秀实与郭子仪、朱泚共同抵御。
唐德宗李适即位，加封段秀实检校礼部尚书，封张掖郡王。宰相杨炎想实施元载过去的计划，修筑原州城，开挖陵阳渠，派宫中使者收集意见，于是问段秀实是否可行。段秀实认为春天不能征劳役，请求等待农闲，杨炎认为他反对自己的计划，就征召段秀实入朝任司农卿，夺去他的兵权，派邠宁节度使李怀光兼任泾原节度使，向西扩张，不久，刘闻喜叛乱，城也没能建。
泾原兵变，朱泚占据长安，朱泚因段秀实长期失去兵权，猜想他必定郁郁不乐，便派数十人骑马传召他，段秀实闭门拒绝来使，骑兵跳墙而入，用兵器劫持了他。段秀实估计自己不能幸免，便对子弟说：“国家蒙受灾难，我能够躲避到何处去！我自当为国家殉难，你们应去自求生路。”于是，段秀实前往见朱泚，朱泚高兴
