百里奚出身贫苦百姓家，但勤奋学习，又有才干，练就了一身胆识和本事。百里奚的妻子杜氏是个很有见识的女子，深知自己丈夫是旷世奇才，于是就鼓励百里奚出游列国求仕。
在百里奚出游那天，家中已经揭不开锅了。杜氏一大清早起来，宰杀了唯一的一只下蛋母鸡，劈了门闩炖母鸡，煮小米饭，给丈夫饯行。
百里奚从南阳出游求仕后，历经宋国、齐国等国家，都没有得到录用。在齐国，百里奚陷入困境，一度沿街乞讨，继续求仕生涯。在齐国郅地，他遇见了蹇叔，两人一番高谈阔论，就结为知己。此后，在蹇叔的举荐下，到虞国当了个大夫。公元前655年，晋国（献公）灭掉虞国，俘虏了虞国君及其大夫百里奚。由于他拒绝在晋国做官，被晋国充作奴隶。
楚国国君楚成王听说百里奚善于养牛，就让百里奚为自己养牛。秦国国君秦穆公，听说了百里奚是人才，就想重金赎回百里奚。秦穆公的谋臣公子絷说：“那楚成王一定是不知道百里奚的才能，才让百里奚养牛。若用重金赎他。那不就等于告诉人家百里奚是千载难遇的人才吗？”秦穆公问：“那我该怎么样才能得到百里奚？”公子絷说：“可以贵物贱买，用一个奴隶的市价，也就是五张黑公羊皮来换百里奚。那样楚成王就一定不会怀疑了。”
当百里奚被押回秦国后，秦穆公亲自接见了百里奚。秦穆公亲自解除了他的奴隶身份，并与他商谈，讨教国家大事。秦王问百里奚：“如何判断一个人是否可以委以重任？”百里奚回答说：“问之以是非，而观其志；咨之以计谋，而观其识；穷之以辞辩，而观其变；告知以祸难，而观其勇；醉之以酒，而观其性；临之以利，而观其廉；期之以事，而观其信。”秦王又问百里奚：“朝廷安排多少官吏合适？”百里奚回答说：“官在得人，不在员多；若得其善者，虽少足矣；其不善者，纵多也无益。”秦王问百里奚：“依你之见如何治理国家？”百里奚回答说：“固国不以山溪之险，域民不以封疆之界，威天下不以兵革之利。”秦王问百里奚：“如何能当好一个国王？”百里奚回答说：“明君饮食有一定的节制，车马器用有一定的数量，宫室不超过一定的规模。”百里奚的回答秦王非常满意，认为百里奚的确是个难得的奇才，于是秦王任其为国相。两人一谈就是三天，言无不合。穆公十分高兴，要拜其为上大夫（上卿），委以国政，实际上就是把秦国的军政大权都交给了百里奚。百里奚坚决辞让不受，并推荐自己的好友蹇叔当上卿。最后，秦穆公就用很重礼，将蹇叔请来秦国，让他和蹇叔一道做秦国的上大夫。因百里奚是秦穆公用五张黑公羊皮换回来的奴隶，故世人称百里奚为“五羖大夫”。
百里奚在秦国当了上大夫（丞相）以后，没有辜负秦王，任丞相后勤政爱民，廉洁自律，出行执行公务时，近路不乘车步行，不带随行人员，不带防身武器。远行乘车时，暑天酷热也不张开车盖。冬天，再冷也不为自己乘坐的车围加防寒厚布，为了提醒自己百姓过冬有很多人还穿不上棉衣。对外，搞好与邻国的关系，不兴战事，使秦国短期内大治。
有一次，百里奚的在相府举办堂会，来款待客人。在相府内一个洗衣服的女佣听到乐器声后，主动要求为上大夫百里奚演奏一曲，百里奚欣然表示同意。那老妇人走到大庭广众之下，落落大方地援琴抚弦，自弹自唱道：唱词就是百里奚的经历。
百里奚听后大为惊讶，仔细辨认方才发现唱曲的正是原配妻子，百里奚妻杜氏自丈夫离别之后，几十年杳无音讯。家境贫困，又逢上灾荒年景，就带上儿子外出逃荒。杜氏讨饭到秦国，打听到百里奚已经在秦国当了大夫。为了能接近百里奚，她设法到百里奚府中当了洗衣的佣人。
相堂之上相认后，夫妻两人抱头痛哭起来。秦国人知道这件事情以后，很为百里奚的品质所感动。秦穆公还派人送来了许多财宝馈赠，以示祝贺。
百里奚是南阳涌现杰出人物之一，受到人民的爱戴，据记载，百里奚去世后，秦国不论男女都痛哭流涕，连小孩子也不唱歌谣，正在舂米的人也因悲哀而不发出相应的号子。在当时其贡献是多方面的，在历史上有着极高的地位。