黄巾之乱时，丘力居钞略青、徐、幽、冀，四州被其害，公孙瓒无法抵御。朝廷派宗正东海郡（今山东郯城县）人刘虞（字伯安）为幽州州牧。刘虞到任后，派遣使臣到游牧民族中晓以利害，责令他们献上张纯的首级。丘力居等听说刘虞到了，纷纷派遣使者前来沟通归附之事。公孙瓒担心刘虞立功，暗中派人在途中暗杀这些使者。游牧民族明白此事后，便绕道到刘虞处。刘虞上报朝廷撤掉驻防军队，只留下公孙瓒统万余步兵、骑兵屯驻右北平。
公元189年（汉灵帝中平六年）三月，张纯被其门客王政杀掉并把首级送给刘虞。刘虞因安抚游牧民族有功而被授予太尉之职，封为襄贲侯。不久，又迁刘虞为大司马，公孙瓒为奋武将军，封为蓟侯。
公元191年（汉献帝初平二年），青州黄巾军攻打渤海（今河北南皮东北），聚众三十万，欲与黑山军会合，公孙瓒率步骑两万人在东光南大破青州黄巾，斩首三万余。青州黄巾军弃辎重，奔走渡河。公孙瓒等他们过到一半时出击，再次大败黄巾军，死者数万，俘虏七万余人，车甲财物无数，于是公孙瓒威名大震。
汉献帝刘协想东归洛阳，派刘虞之子刘和逃出长安，偷偷出武关去找刘虞，让刘虞率兵前来相迎。刘和途经袁术驻地，将此事告知了袁术。袁术扣留了刘和，让刘和给刘虞写信。答应等刘虞率兵前来为袁术后援，一起赴长安。公孙瓒知道袁术会叛变而制止刘虞，刘虞不听。公孙瓒担心袁术知道后恨他，派他堂弟公孙越率千余骑兵到袁术处相结好，而暗地又让袁术扣留刘和并夺占刘和兵马。因此，公孙瓒与刘虞的矛盾越来越深。
袁术遣公孙越帮助孙坚攻周昂，公孙越被流矢射中而死，公孙瓒怒道：“我弟之死，祸起于袁绍。”于是出兵驻扎在磐河（今河北境内）准备报复袁绍。袁绍非常惊恐，把渤海郡太守印交给了公孙瓒堂弟公孙范。派他到南皮。想以此与公孙瓒结援。公孙范于是背叛袁绍，以渤海兵力协助公孙瓒，攻破青州、徐州黄巾军，兵势日益强盛。进驻界桥（故址在今河北威县境内）。公孙瓒自己任命严纲为冀州州牧。田楷为青州州牧。单经为兖州（今山东金乡县西北）州牧，并配置了郡守县令。
交战双方之一的公孙瓒是个有着俊美外表和丰富经历的人，他曾经向嗓门比自己还大的学者卢植学习过法律。也从事过财务审计工作，但比起法尺与算盘，真正适合他拿的还是兵刃，特别是渴饮胡人鲜血的兵刃。在公孙瓒看来，乌丸、鲜卑等胡人都是供他建立武勋用的；而胡人们也把公孙瓒视为猛兽，训练箭法的时候都拿公孙瓒的画像做靶子。
原来的时候，朝廷很满足公孙瓒，让他做了辽东属国的秘书长，专门负责调度军队抗击犯边的胡人。公孙瓒自然对此乐此不疲，在讨伐张举张纯叛变的时候，他为了攻打帮助二张的乌丸丘力居时甚至差点丢了性命。可就在他从塞外封冻的管子城里带着半条命突围归来时，朝廷从九卿之中空降了一位宗室子弟，东海刘虞刘伯安，让他做了幽州牧，也就成了公孙瓒的直属上司。
刘虞是当时的一流人物，不但从事政治工作经验丰富，而且品德高洁，和他的祖先一样，能当皇帝都不当。这个恢复牧伯制度本来是另一位宗室，同是九卿之一的刘焉提出的，但在采纳这一提议之后，朝廷那里首先想到的州牧人选就是这德才兼备的刘虞。而刘虞的所作所为也证明了朝廷的用人之明，他一到任就分化了张举张纯与丘力居，让胡人安心回去、别再跟着不安分的汉人起哄，失去强援的二张也在不久后即被剿灭。经过几年励精图治，幽州地区大兴屯田、教化，一派繁荣安定。
但公孙瓒心里很不爽。为了镇压叛乱，他可是险些丢了性命的，结果这刘虞一来，轻描淡写地把叛乱平息了，把功劳全占了。而且刘虞还裁减军备，只允许公孙瓒率领不到万人的军队，那公孙瓒可是个讲究排场的人物，光是白马他就征集了三千匹，这区区万人他如何能满足呢？他心里不爽、渴望功名，就要去杀胡人泄愤、邀功，可是刘虞恰好又是个和平主义者，并且还毫无种族偏见，甚至在后来袁绍劝他做皇帝的时候，他回答袁绍说“再和我说这个我就跑到去匈奴那里去”。贪上这样一个大汉朝自苏武以后主动愿意调动至匈奴那边工作的上司，公孙瓒是一点办法都没有，实在憋不住了就只好偷偷摸摸地跑到胡人聚居地杀人放火，一旦被刘虞知道了当然就少不了一番晓谕。这文官、武官之间如此这般地一来二去之后，两个人自然是势成水火了。
前面说到，刘虞能做皇帝都不做，还把做皇帝看得比到匈奴那里牧羊还
