为名被任命为太子舍人的，统统改任丞尉。
同年七月，护乌桓校尉夏育上疏请求讨伐鲜卑，而犯罪被处罚的护羌校尉田晏则通过中常侍王甫请求灵帝命自己为将讨伐鲜卑，以此来赎罪，王甫也同意出兵。蔡邕上疏劝阻，但灵帝不听。八月，灵帝派夏育、田晏、臧旻及南匈奴屠特若尸逐就单于等各率一万多骑兵出击，被鲜卑首领檀石槐下属三部的大人打得大败。损失惨重。
公元178年（光和元年），灵帝设置鸿都门学，在其中画有孔子及其七十二弟子像。下诏州郡三公推举征召诸生。有的出任刺史、太守，有的入朝任尚书、侍中。有的竟封侯赐爵，士人们都认为与他们在一起是可耻的。当时，妖异的现象常有发生，人人惊恐。七月，灵帝下诏召蔡邕与光禄大夫杨赐、谏议大夫马日磾、议郎张华、太史令单飏至金商门，入崇德殿，让中常侍曹节、王甫问他们关于灾异及消除变故所应当采取的办法，蔡邕用心答复。
灵帝又特诏询问蔡邕：“近来灾异变故的发生，不知是什么罪咎引起的。朝廷焦急，朕心里也害怕。访问群公卿士。想听到一些忠言，他们都守口如瓶，不肯尽心。因为你经学功底深厚，所以朕特地问你，你应该阐明得失。指出为政的要点，不要唯唯否否，或者怀疑恐惧。全按经述对答，为了保密，要用皂囊封上。”
蔡邕于是上奏认为妇人、宦官干预政事，是怪异发生的原因之一，并弹劾太尉劾张颢、光禄勋玮璋、长水校尉赵玹、屯骑校尉盖升等人贪赃枉法。又举荐廷尉郭禧、光禄大夫桥玄、前任太尉刘宠，认为可以向他们咨议朝政。灵帝在看了奏章后很是叹息，在起身如厕时，奏章被曹节在后面偷看了，就向左右的人泄露了全部内容，致使事情泄漏。蔡邕奏章上认为应该废黜的人。都非常恨他，企图打击报复。
之前，蔡邕与司徒刘郃不和，蔡邕的叔父卫尉蔡质，又与将作大匠阳球关系不好。阳球是中常侍程璜的女婿。程璜让人写匿名诬告蔡邕、蔡质几次因私事请托于刘郃，刘郃没有答应，蔡邕于是怀恨在心。决心要陷害蔡邕，灵帝因此下诏给尚书，召蔡邕质问。蔡邕上疏为自己辩白，但他与蔡质还是被送入洛阳狱，有关部门认为应该将二人弃市。中常侍吕强怜悯蔡邕无辜，于是替他向灵帝求情，灵帝也想起了蔡邕之前奏章的话，于是下诏将他免死，与家属被流放至朔方，不得因赦令而免罪。阳球打发刺客刺杀蔡邕，刺客被蔡邕的正义感动了，不为阳球所用。阳球又贿赂有关官员毒害蔡邕，受赂的人反而把消息告诉了蔡邕，要他提高警惕。蔡邕因此平安无事，居住在五原安阳县。
蔡邕之前在东观，与卢植、韩说等修撰《东观汉记》，正遭流放，所以没有来得及写成。他因此上书所著的十意，分别首目，附在书尾（《邕别传》记载有《律历意》、《礼意》、《乐意》、《郊祀意》、《天文意》、《车服意》）。灵帝爱怜蔡邕的才高，正好在第二年大赦，于是赦免蔡邕，准许他返回原籍，蔡邕自从放逐到被赦免，历时九个月。
蔡邕正准备启程回郡的时候，五原太守王智为他送行。酒喝足后，王智起舞劝蔡邕，蔡邕不理他。王智是中常侍王甫的弟弟，本来很骄贵，丢了面子为宾客所嘲笑，就破口骂蔡邕说：“罪犯也敢轻侮我！”蔡邕振衣而去。王智非常恨他，于是密告蔡邕心放怀怨，诽谤朝廷。灵帝宠幸的人也都诬陷他，蔡邕害怕无法幸免，于是逃命江海，远走吴会之地，往来依靠泰山羊氏，在吴地共待了十二年。
公元189年（中平六年），灵帝去世，董卓任司空，专擅朝政，听说蔡邕的名气，于是征召他，蔡邕推说有病不能去。董卓大怒，骂道：“我有灭人三族的权力，蔡邕就算骄傲，也是不过转足之间的事而已。”又急令州郡征召蔡邕到府。蔡邕不得已只好应命，被任命为代理祭酒，很受董卓敬重。[33]?又被举为高第，历任侍御史、治书御史、尚书，三天之内，遍历三台。又升任巴郡太守，被留任侍中。
公元190年（初平元年），蔡邕被拜为左中郎将，跟随献帝迁都长安，被封为高阳乡侯。董卓的宾客部属想让朝廷尊崇董卓与太公相比，称尚父。董卓询问蔡邕的意见，蔡邕说：“太公辅周，奉命灭商，所以特号为太公。现在您的威德虽高，但相比尚父，我以为还不行。等到关东平定，陛下返还旧京，然后再讨论此事。”董卓听了他的话。
