刘渊，生年不详，祖父为南匈奴单于於扶罗，父亲为匈奴左贤王刘豹，母亲为匈奴呼延氏，是个地地道道的匈奴人。史料记载，匈奴刘姓源于汉匈和亲。当年，匈奴强盛时，刘邦“以宗女为公主，以妻冒顿，约为兄弟，故其子孙遂冒姓刘氏”(《晋书》)，刘渊的叔祖刘宣、父亲刘豹便是其中的代表人物，并取了汉名。承袭父祖，刘渊也跟着姓了刘。
刘渊生得体貌伟岸，姿仪不凡，深得时人崇重。由于他文武双全，语出惊人，司马昭对他另眼相看。西晋时，刘豹去世，刘渊代父之职，成为南匈奴左部帅，历任北部都尉、建威将军、五部大都督等职。期间，刘渊“明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者”(《晋书》)，幽冀一带的名儒，也不远千里纷纷前来拜见，个人威望与日俱升。