始建于唐贞元三年（787）至七年（791）间，衡州刺史齐映（757—795）所建。贞元十七年（801）后，衡州刺史宇文炫又增其制，为楼阁式建筑。历朝各代，石鼓山上建筑屡经废兴，合江亭均在必建之列。

唐永贞（805）中，韩愈途径衡州，尝游石鼓，登亭揽胜，留下千古绝句，历代步其韵而和者众。合江亭亦因诗中“瞰临眇空阔，绿净不可唾”而称“绿净阁”。

韩愈的《题合江亭寄刺史邹君》是韩愈遭贬途径衡阳，为石鼓山美景所迷，吟诗一首，不禁悲从中来，感慨万千而成。

合江亭门柱上一联“石鼓双江水；昌黎一首诗”，正是对合江亭命名由来的真实写照。

祝澹溪也曾为石鼓书院合江亭题联

“广厦构众材，报道蛟龙腾浪去；两水夹明镜，合信风月入亭来”。