百里奚为楚国人，是西周开基之祖古公亶父的二儿子虞仲的后人，奚是他的名字，因住在百里乡，因此得名百里奚。虽然他也出自姬姓，但传到百里奚时家道早已没落。楚国宗法制度森严，百里奚尽管学富五车，才高八斗，但却是个家境贫困的平民，因此没有希望入仕为官。
百里奚的妻子杜氏是个识才之人，知道自己的丈夫只是怀才不遇，于是鼓励百里奚出游列国以求被明主赏识。百里奚家生活窘困，即将出游列国时，妻子宰杀了家中唯一的一只母鸡，给丈夫饯行。
百里奚从楚国出游后，曾到过宋国、齐国等国家，但是因为身无分文，又无人举荐，因此一直没被录用，身上的盘缠也相继耗尽。在齐国时，百里奚已经要靠乞讨维持生计了，但是他一直没有放弃自己求仕的目标。在齐国郅地乞讨时，百里奚遇见了蹇叔。蹇叔见他谈吐不凡，就收留了他，两人相谈甚欢，结为知己。后来，百里奚想到齐国的国君手下任职，幸好蹇叔阻止了他。否则后来齐国内乱，国君被杀，百里奚恐怕也会死于非命。百里奚周游到周地时，听说周王子喜欢养牛，百里奚就靠精湛的养牛技术引起了周王子的注意。周王子想任用他，这时又是蹇叔阻止了他，使他后来免于被诛杀。由此，百里奚觉得蹇叔的才能要高于自己。
后来，百里奚又来到虞国，在虞国当了个大夫。百里奚知道虞公不是那种知人善任的明主，但是他需要那份俸禄维持生计，于是就留在了虞公身边。虞公贪财好利，收了晋国的宝马美玉，答应借道路给晋国，去征讨自己的邻国虢国。百里奚苦言相劝，说这样会危及虞国的安全，但虞公就是不听，百里奚便闭口不言了。虞国大臣宫之奇继续劝谏，最终虞公还是一意孤行，借路给晋国。晋国灭掉虢国后，果然把矛头指向了虞国，灭掉了虞国。百里奚和虞君都成了晋国的俘虏。
晋献公听说百里奚很有才能，本想重用他，但百里奚却说什么也不肯答应。这时，秦穆公想要和晋国联姻，壮大自己的实力，以达到称霸中原的目的，于是向晋献公求婚，晋献公就把女儿穆姬嫁给他。百里奚拒绝为晋国效力，于是晋献公就把他算做女儿穆姬的陪嫁奴隶，穆姬出嫁时，随嫁到秦国。
百里奚不甘心做奴隶，在前往秦国的途中，逃回到楚国。在楚国边境，楚兵把慌乱出逃的百里奚当成奸细抓了起来。百里奚就说自己是给虞国一户有钱人家里看牛的，虞国灭亡了，只好出来逃难。当时，百里奚已经是一个六七十岁的老人了，楚兵见他不像奸细，就把他留下来看牛。百里奚牧牛很有一手，因此把牛养得又肥又壮。后来，楚国的君主楚成王得知百里奚善于养牛，就把他召来为自己养牛。
秦穆公和穆姬大婚后，才知道陪嫁奴隶百里奚逃跑了，本没有在意。但是，有个从晋国投奔到楚国的武士公孙枝说，百里奚是个难得一见的贤才。于是，秦穆公赶紧派人探寻百里奚的下落，一心想把他找回来。后来，终于打听到百里奚在给楚成王养牛，就想用重金把他赎回来。
但是，公孙枝说，楚成王既然让百里奚养牛，就表明他还没有认识到百里奚是个贤才，如果这时秦国用重金去赎他，就等于是告诉楚王，秦国是想重用百里奚，他肯定是个人才，那时恐怕楚国就不会放他走了。接着，公孙枝出主意说，贵物贱买，把他当成一般的奴隶，用五张黑公羊皮赎回来，就能消除楚王的疑虑了。
于是，秦穆公派使者到楚，说秦国有个叫百里奚的奴隶在秦国犯了法，逃到了楚国，请求用五张羊皮将他赎回治罪。楚王见他不过值一个普通奴隶的价钱，想都没想，就答应了秦国的要求，下令把百里奚装上囚车，让秦国使者带回去。
当白发苍苍的百里奚被押回秦国时，秦穆公亲自迎接，并为他打开桎梏，对他以礼相待。秦穆公与他商谈国事，百里奚则自称亡国之臣，没有发言权。穆公说，虞公不懂得如何用你，以致亡国，使你沦为奴隶，并不是你没有才能，并坚持向百里奚讨教国家大事。两人接连谈了三天，百里奚认为，秦国虽地处边陲，但兵强马壮，又占据了险要的地势，进可攻，退可守，因此应充分利用先天的优势，伺机而动。穆公十分高兴，在治国的问题上，与百里奚言无不合，于是要任命百里奚为上大夫（相当于相国），让他掌管秦国的军政大权。但是，百里奚辞让不受，并把自己的好友蹇叔推荐给秦穆公。于是，秦穆公又用重礼把蹇叔迎到秦国来，封百里奚为左庶长，蹇叔为右庶长，称为“二相”。
百里奚入秦，辅佐秦穆公对内教化百姓，开启民智，按照周朝的官制和朝仪改革了秦国落后的国体；对外息兵休战，与邻国交好，使百姓可以专心于农业生产和经济发展，秦国短期内就实现了大治，由一个边陲小国一跃而成为春秋时期可与晋国、楚国一争高低的强国，为秦国日后兼并六国形成大一统的中华帝国，奠定了基础。
因为百里奚是用五张黑公羊皮赎回来的，故世人称百里奚为“五羖大夫”。羖，就是黑公羊皮的意思。而五张羊皮换贤臣的故事，也成为了千古流传的佳话。