在连南县境内,新石器时代就有人类居住。
秦朝属长沙郡,汉朝属桂阳郡,三国、晋朝并入属始兴郡,南北朝归阳山郡,隋朝属熙平郡,唐朝、宋朝属连州。 元代改州为路,归连州路,明代因之。
清康熙四十二年(1703),始设理瑶同知,直广州府。
民国元年(1912),设瑶务处,管辖瑶族聚居区。民国16年,设立连阳化瑶局,隶属广东省政府。民国24年改安化管理局,民国35年,撤安化管理局置连南县,连南之名于兹第一次出现。
1949年解放军解放了国民党连南县三江镇,接着连南全境解放,瑶族人民获得了梦寐以求的生存权利和自由平等权利。
1950年4月,中共北江区委和专员公署决定组建中共连南县工作委员会和连南县人民政府,任命成崇正为书记兼县长。
1950年5月16日,连南县人民政府贴出成立布告。中共连南县工作委员会和连南县人民政府的成立,县府驻三江镇,辖瑶区。为连南瑶族人民实现区域自治奠定了基础。
1953年1月25日连山、连南两县合并,成立连南瑶族自治区(县级),把原连县的三江地区和阳山的寨岗地区(含今寨南镇,后寨南镇合并到寨岗镇)划入自治区版图。
1954年3月,原连山辖地划出,恢复连山县建置。
1955年6月,连南瑶族自治区改称为连南瑶族自治县。
1958年12月,又与连县、连山、阳山县合并为连阳各族自治县,县府设在连州镇。
1960年10月,阳山县划出后,连阳各族自治县改称为连州各族自治县。
1961年10月,撤销连州各族自治县。恢复连县、连山县、连南瑶族自治县建置,属韶关地区管辖。
1983年地、市合并后,由韶关市辖。
1988年1月划入清远市管辖。 建国前,该县主要有瑶、汉、壮三个民族居住。据史书记载和考古发现,约在1500年前,中原文化已传播到连南,汉族人口已有相当的数量。在隋唐时期,连南地区已有一定数量的瑶族居住,元代时已产生了独特的社会政治组织——瑶老制。明代形成了“八排二十四冲”(排即大山寨,冲即小山寨)。这里的瑶族,有过山瑶和排瑶之分。排瑶是因为瑶民习惯聚族居住,依山建房,其房屋排排相叠,形成山寨被汉人叫“瑶排”,所以被称呼“排瑶”;过山瑶则因为其祖先以耕山为主,“食尽一山过一山”,迁徙无常而得名。
据民间传说和史书记载,排瑶主要来自湖南湘江、沅江流域的中下游和洞庭湖地区。约在隋唐时期,他们祖先经辰州、道州等地,迁徙到连南山区结寨定居。过山瑶则在清朝时期分别从湖南和广西迁徙到连南,新中国成立后,已建寨定居下来了。壮族则明朝正统年间后陆续从连山等地迁来连南定居。