据说尧舜时代正值冰河时代后期，气候转暖，冰雪消融，致使海平面迅速升高，海水倒灌；古黄河改道从苏北平原入海，淮河淤积，汹涌的洪水淹没了淮、泗流域，沧海横流，洪水泛滥，泰山以西到沂蒙以南至苏北地区成了一片汪洋，天地万物在滔天的洪水中沉沉浮浮。对于当时的情景，《尚书·尧典》中这样描写：“汤汤洪水方割，荡荡怀山襄陵，浩浩滔天。”
农田被淹没，房子被摧毁，人民流离失所，无家可归，为了免于沦没，只能以木为舟，朝高山土丘上搬。这样一来，正常的生产生活无法进行，只能在洪荒的孤岛中望水兴叹。
尧召开部落联盟会议，请各部落首领来共商治洪良策。各部落首领都推荐鲧去治理水患。鲧史称崇伯，是尧帝的臣子，禹的父亲。尧觉得鲧脾气暴躁，并不适合去治水，可是当时也没有别的更合适的人选，治理水患又是当务之急，于是尧决定姑且让鲧去试试。
鲧治理水患主要采用的是堵塞的方法，他用土筑起高高的堤坝，把水围起来，不让它到处流。可是洪水来势凶猛，不管那堤坝多高，都被汹涌的洪水冲垮，洪水还是会泛滥，鲧就东堵西补，疲于奔命。因此，鲧治水九年，用去不少人力物力，可是洪水并没止歇。鲧一气之下就盗取了天帝的宝物“息壤”，这是一块可以自生自长，要多少有多少的宝土。鲧把息壤投入洪水，想让生长不息的土掩埋洪水，没想到洪水泛滥得更加厉害了。
鲧犯下滔天大罪，天帝震怒，命令火神将他处死在了羽山之野。
当时的人类在治理洪灾方面，还处于摸索阶段，经验不足，总会有些曲折。鲧虽然未能取得治水的成功，但其在治水方法上的失误，为后继者提供了宝贵的经验教训，指明了方向。后来尧让位于舜，舜亲自去视察水患。此时，鲧的儿子禹已长大成人，舜见他器宇轩昂，认为他必会有一番作为，于是命禹继续他父亲没完成的事业，去治理水患，并把后稷、伯益、皋陶等人派去给他当助手。
禹感伤于父亲“功之不成受诛”，因此殚精竭虑，发誓一定要把水患治好。他非常聪明，还能吃苦耐劳，领命之后，就带着伯益、皋陶和其他众人去勘察地势水情，寻找以前治水失败的原因。他带着众人跋山涉水，朝上去追溯黄河的源头，对黄河的上游、下游做了一次整体的考察。在这次考察中，他发现黄河除了主干河道，还有很多分支流向了别处。在值得注意的地方，他把石头堆积起来，或是砍倒树木作为记号，以便治水时可以参考。当时，气候恶劣，他们随身携带的工具也非常落后，这次考察非常艰辛而惊险。据说，有一次，他们正在勘察一条河道，突然间电闪雷鸣，狂风暴雨顷刻而至，山洪爆发，咆哮的洪水淹没、卷走了他们很多同伴。
考察完毕，大禹对水情作了认真的研究，认为父亲“堵”的方法是行不通的，洪水凶猛，无路可走势必会冲垮堤坝，因此他决定弃“堵”用“疏”的方法：把黄河的主干河道加深加宽，可以让更多的水畅通无阻，然后将支流流向主流的河道疏通，让水可以顺畅地和主流汇合；然后，还要加高原来的堤岸，并清除低地里的淤积，这样陆地和湖泊就可以清楚地分开了。同时，还要将这些大小湖泽和各个支流的河道疏通，这样一来，一旦水位上升，就会顺着各个河道汇入主流，流向大海了。
想好了治水的方法，禹便亲自率领助手和众百姓，带着简陋的石斧、石刀、石铲、木耒等工具，开始他们治水的征途。禹事事身先士卒，在他的领导下，众百姓一心一意，决心不降服水患誓不罢休。他们风餐露宿，粗衣淡饭，风雨无阻地在群山间穿越跋涉，尽管每天辛苦地劳作，直不起腰来，腿也肿了，可是从来不敢懈怠。
一次，他们来到了河南洛阳南郊的一座高山，那是秦岭山脉的余脉，从东向西一直延续到中岳嵩山，它巍峨陡峭，就好像天成的一道高大屏风。这座山的中段有一条九曲回环，又很狭窄的天然水路，水量小的时候，就会从山间形成涓涓细流，轻轻流过。但是，山洪暴发时，水就会咆哮着冲刷着狭窄的水道，拍打石岸，时刻可能溢出，危害着周围百姓的安全。大禹便决定集中将这条水道拓宽、凿深、打直。坚硬的山石磨坏了他们的工具，而且山上地势险恶，人们不是被掉下来的石头砸伤，就是跌落山下，还有的被洪水冲走。可是他们仍旧毫不退缩，坚持在大山中开道。在他们不懈的努力下，终于在大山中间凿出了一条宽阔的水道，形成两壁对峙之势，山洪可以顺畅地向下游奔涌而去，再也不会对周围百姓构成威胁。
《庄子》以极其虔敬的心情记述了禹的丰功伟绩，颂扬了他坚忍不拔的意志，记述禹亲自操橐耜而“九杂天下之川，腓无胈，胫无毛，沐甚雨，栉疾风，置万国。禹，大圣也，而形劳天下也如此”。意思是说禹为了制服水患，不辞劳苦，亲自拿着工具，带领众人兴利除害，同人民一起风里来雨里去，奋斗在治水的最前面。艰辛的劳作使得他形容憔悴，大腿瘦得没什么肉了，小腿上的汗毛也都磨光了。禹就是这样一位含辛茹苦，解救苍生的圣人。因为长期在外治水，禹无暇顾及妻子和家庭。据说，他才刚刚新婚第四天，就出发去治水了，这一去就是十年，中间曾三过家门而不入，他这种舍家为国，公而忘私的精神至今被人传颂。
十年间，他们翻越了一座又一座大山，疏通了一条又一条河渠，足迹踏遍了九州。在他艰苦卓绝的努力下，治水进展神速，“淮沂其治，蒙羽其艺”（《史记·夏本纪》）之地，也就是淮河和沂水流过的蒙山和羽山之间，古黄淮容易泛滥的河道得到疏通，拥堵在山间的洪水被引入大海。同时，低洼的地方留下了微山、东平、钜野、骆马等“四渎”，为百姓种田提供了有利的水源。地面上现出了许多良田和桑土，百姓又可以种庄稼，重新过上了安居乐业的生活。
面对滔滔洪水，大禹率领民众，顽强地与之斗争，最终运用聪明才智，通过坚忍不拔的努力，制服了水患。这个传说体现了中华民族勤劳勇敢、坚毅不屈、公而忘私、万众一心战胜困难的民族精神。
禹在治理水患的过程中，对中原各地的土地物产也有了了解，水患平息后，就划分了青、兖、徐、扬、梁、豫、冀、荆、雍等行政区域，规定了各地的贡品赋税。这样一来，就真正形成了天下归一的大好局面。
后代称颂禹治水的功绩，尊称他为“大禹”。舜年老以后，也像尧一样开部落联盟会议，物色继承人。禹治水有功，深得民心，大家都推选禹，于是舜就把联盟首领之职禅让给了禹。