古時期，乳源屬地稱“百越（粵）地”，夏、商、周朝代隸屬揚州（古九州之一——江南曰揚州，揚州是當時地理區劃的泛稱）境內，區域為荒服（在離國都2500里之外的五等地帶，古劃分“五服”，稱侯服、甸服、綏服、要服、荒服），為乳源有載史以來的地域之始；春秋戰國時期，隸屬楚國；秦朝，隸屬南海郡。
漢代，乳源先后于西漢朝時期隸屬南越國、東漢時期隸屬荊州桂陽郡管轄，為曲江縣地。東漢時期，曲江縣地境內開通通往中原、連接海陸的西京古道（今乳源大橋仍保留有較完整古道）。三國時期，甘露元年（265年）置始興郡，地屬始興。
三國和西、東晉時期，史載乳源為曲江縣地隸屬始興郡，一直相沿因襲至南朝，梁、陳時期為曲江、梁化縣地。南朝梁天監十八年（519年），出生于始興郡（郡治于今韶關市區）曲江縣（今乳源桂頭鎮新街）的侯安都，官至司空（據《乳源瑤族自治縣志》記載），為南國開國功臣和征北大將軍，被譽稱“南天一人”。
隋、唐、五代十國，隋開皇十八年（598年）記載為曲江、樂昌縣地，先后隸屬廣州總管韶州、嶺南道韶州、南漢韶州。據1983年版《瑤族簡史》稱：隋唐時期（六世紀至十世紀），“瑤族主要居住地在……湖南大部分和廣西東北部，廣東北部等地區”。南漢乾亨七年（923年），文偃禪師創建云門寺。
南宋乾道三年（1167年）劃曲江西境乳源鄉4里，崇信鄉8里，樂昌南境新化（依化）鄉3里，共3鄉15里置乳源縣，宋屬韶州府，元、明、清相沿因襲。宋、元、明、清時期，乳源境內兵事不斷，人民生活、經濟社會受到一定的影響。
民國時期，乳源縣民國3年（1914年）屬南韶連道，初期沿用清制。民國8年（1919年）屬南韶連道韶州府，民國35年（1946年）屬廣東省第二行政督察區。辛亥革命結束后，工農運動進入積極發展階段，境內相繼成立有基層農民協會和農民自衛軍。“四一二”反革命政變后，民國16年（1927年）境內農民自衛軍先后參加北江工農自衛軍北伐和曲江“西水暴動”，由于受國民黨反動勢力的影響，工農運動進入低潮。主要革命武裝轉戰先后路經乳源，民國17年（1928年）朱德、陳毅等率領南昌起義的一部分部隊經過乳源北部梅花，民國20年（1931年）鄧小平、張云逸、李明瑞率領紅七軍路經乳源與國民黨粵軍鄧輝團、湘軍唐伯寅激戰，紅七軍強渡武江向江西挺進。抗日戰爭爆發后，民國34年（1945年）日本軍隊先后侵入桂頭、一六、縣城，殺人放火、大肆搶奪、奸淫婦女，乳源民眾奮起抗擊日軍，7月4日晚日軍撤離乳源。
新中國成立后（1949年），乳源縣隸屬廣東北江行政公署（后改稱粵北行政公署）。1963年10月，成立乳源瑤族自治縣，自治縣先后隸屬韶關專員公署，韶關地區革委會、韶關地區行政公署。1983年韶關地區和韶關市合并，隸屬韶關市。
