宇文泰人称宇文黑獭，这黑獭不是粗口，也不是骂人的称呼，而是宇文泰的字。他是鲜卑人，但因为北魏从冯太后当权起就开始进行汉化改革，所以鲜卑男子也跟随汉人一样为自己改字，并且以字作为称呼。
宇文泰的先祖源出南匈奴，后融入鲜卑族中，号宇文部。当年六镇起义期间，宇文泰一家亦参加了起义队伍。
但在前往左人城途中，被北魏官军击败，父亲宇文肱及大哥宇文颢、二哥宇文连阵亡，宇文泰与其兄宇文洛生大难不死，加入了鲜于修礼军中。
鲜于修礼死后，宇文泰又加入葛荣军中，被任为将帅。葛荣失败后，尔朱荣畏惧宇文兄弟有异心，于是网罗其他罪名，诛杀了宇文洛生。
因为宇文泰慷慨陈述，才释去尔朱荣对他的戒心，才得以幸免于难。由于宇文泰与尔朱荣的部将贺拔岳有旧，贺拔岳亦是武川（今内蒙古武川县）军人，与宇文泰之父宇文肱关系甚密，因此，宇文泰被收编在贺拔岳部下。
永安三年（530年）春，尔朱荣以尔朱天光为主帅，贺拔岳和侯莫陈悦为副帅，率兵前往镇压关陇起义军。
宇文泰以步兵校尉的身份随贺拔岳入关，因镇压起义军有功累迁至征西将军、金紫光禄大夫，增邑三百户，加直阁将军、行原州事。
在镇压关陇起义的过程中，宇文泰趁机扩大自己的影响，对吏民施以恩惠，赢得了不少人的好感。是年九月，孝庄帝元子攸诛杀尔朱荣，但大权仍操在握有大军的尔朱氏手中。
532年，高欢攻灭尔朱氏，拥魏孝武帝元修即位，自总大政。他任命贺拔岳为关西大行台，贺拔岳任命宇文泰为行台左丞，领府司马，加散骑常侍。
当时高欢事无巨细，都委任于贺拔岳。自己则在朝中位居大丞相，秉掌大权。孝武帝元修密谋与贺拔岳相勾结，想牵制高欢。
当时为府司马的宇文泰自请出使晋阳（今山西太原），来观察高欢的为人。宇文泰到了晋阳之后，与高欢口答应对，敏捷雄辩，高欢欲留宇文泰为己用，宇文泰坚决推辞而返。
宇文泰回到长安，对贺拔岳分析了当时形势，他说：“高欢这个人决不甘于为臣下者，他之所以还没有篡夺皇位，是忌惮你们兄弟二人。”
533年八月，孝武帝授贺拔岳为都督，督导雍、华等二十州诸军事、雍州刺史。同年，贺拔岳认为夏州（治岩绿，今内蒙古乌审旗南白城子）是边塞要地，想派一个得力之人担任该州刺史。
在众人的极力推举下，授宇文泰为使持节、武卫将军、夏州刺史。宇文泰到了夏州后，抚慰流民，结好少数民族，很快控制了夏州局势。
534年，贺拔岳联合侯莫陈悦讨伐曹泥，结果中了侯莫陈悦之计，贺拔岳被谋杀。贺拔岳部三军无主，惶惶不安。
有的将领提议由宇文泰统帅贺拔岳部队，但宇文泰的好友劝阻他说：“如今形势不明，处境危险，宇文史应观察一下再作决定。”
但宇文泰却认为：“既然有这个千载难逢的时机，不能患得患失，否则就会错失良机，假若现在不早些前往，统领将兵，让他们早日安心，迟则恐众心自离。”
他立即赶赴凉州接管了贺部的指挥权，约集众将陈说利害，巡视各营寨，稳定军心。而且还击败了侯莫陈悦，向东进据长安。为立政关陇打下了基础。
宇文泰统领贺拔岳的部属军队后，上表孝武帝元修，并与元毗及诸将共同盟誓，相约共扶王室，孝武帝遂下诏以宇文泰为大都督，统领贺拔岳所部人马。
宇文泰得到孝武帝的正式承认后，迅速讨伐曹泥，平定灵州，之后以扫平关陇各地，实力大大增强，孝武帝于是封宇文泰为侍中、骠骑大将军、开府仪同三司，关西大都督，略阳县公，承制封拜，成为仅次于高欢的有力人物。
534年五月，北魏孝武帝欲起兵讨伐高欢，事泄之后，高欢已有所戒备。中军将军王思政对孝武帝说：“高欢的篡逆之心，已昭然若揭，洛阳非用武之地，一旦遭到进攻，难以守御，宇文泰心中怀有大魏皇室，不如前往关中，凭借他的力量与高欢抗衡。”
孝武帝听信了王思政的提议。与此同时，夏州长史于谨曾劝宇文泰上书孝武帝，迁都城入关中，以效曹操之举，挟天子以令诸侯。
宇文泰接受了这一意见，将高欢结好自己的书信都封存上交给孝武帝，以显示自己忠于王室之心。取得了孝武帝的信任。
534年七月，孝武帝不敌高欢，遂从洛阳率轻骑入关依附宇文泰，并迁都长
