史书称“山川秀发，商贾喧阗”，“天下风光在蜀，蜀之胜曰嘉州”。
乐山历史悠久，距今5000—10000年前，三江流域沿岸已有先民活动。公元前2000年左右，乐山出现铜制器具。公元前600年前后，以蜀王鳖灵为首领的开明氏部族定居青衣江流域，在此生息繁衍，开垦荒地。
战国公元前309年，秦武王派兵南下，灭掉开明氏原管辖地区统治，秦国在今乐山市市中区建立南安县，从陕西泾水地区迁来大量人口到青衣江流域定居。
公元前256年，李冰组织乐山人民凿断凌云山崖，开出引水渠道。从此，岷江，大渡河在乐山一带的水上航运逐步发展起来。
汉朝将南安隶属于犍为郡。西汉文帝时，南安人邓通铸造钱币，有“邓氏钱布天下”的说法。
三国时期，蜀国丞相诸葛亮在犍为铁山冶铁制造武器、工具等，乐山的冶炼规模和技术已达到先进水平。
魏晋南北朝，东晋末年，南安设置治官县，重点对迅速发展起来的冶铁业实行管理。这一时期，原来居住在广西、贵州、云南一带的十多万僚人进入四川，乐山犍为铁山以及三江流域聚居了大批僚人。居住生活延续了二百多年。
南北朝时期，因战乱不断，乐山地区的建制屡有变迁。
北周时置嘉州，取“郡土嘉美”之意。在乐山设置平羌县管理僚人。
隋朝置眉山郡。原南安县改名龙游县，传说是隋朝军队从成都乘船向乐山进军、追击陈国败兵时，岷江中有游龙导航，帮助隋朝军队统一天下，因此改南安为龙游。中央政府在乐山增设夹江、峨眉两县。此时，乐山能造黄龙大船，成为四川江河沿岸的重要造船基地。
唐复嘉州，眉州。种茶业已十分发达。岑参赋诗描述嘉州城外“田半种茶”。唐朝中期开凿了举世闻名的乐山大佛。
唐朝龙游县，为嘉州州治。宋朝时，改设嘉定府。南宋末年，宋军据此抵抗元军，历时40年。元朝时，改嘉定府路。明朝时，改为嘉定直隶州。崇祯十七年十一月（公元1644年），张献忠僭号成都，攻陷嘉定州，改曰“平定府”。清世祖顺治十六年（公元1659年，南明永历帝十三年），占据者郝承裔诣成都降清，十七年，陕西四川总督李国英得当时的乐山后，恢复明代的嘉定州建置。清朝雍正十二年（1734年），复升嘉定州为嘉定府，又置乐山县。《嘉定府志》称“以县境内有至乐山为名”，改龙游县为乐山县，“乐山”之名沿用至今。但至乐山在县境何处，历代说法不一。
中华民国废州府，治地设乐山行政督察专员公署。
新中国成立后，设乐山专员公署。1950年置乐山专区。1955年将雷波、马边、峨边3县划归凉山彝族自治州，划出后乐山专区辖1市、12县。1957年将屏山县划归宜宾专区。1968年改为乐山地区。1978年乐山县与五通桥区合并改为乐山市（县级），仍隶属于乐山地区。1984年撤销马边、峨边2县，设立马边彝族自治县和峨边彝族自治县，由凉山彝族自治州划归乐山地区管辖。1985年撤销乐山地区和乐山市、金口河工农区，设立地级乐山市和市中区、五通桥区、沙湾区、金口河区。1997年所辖六县（眉山县、彭山县、仁寿县、洪雅县、丹棱县、青神县）划出，设置眉山市。