位于石鼓区境内蒸水和湘江汇合处，海拔68米，面积4000多平方米。一山雄峙伸入江中，东南北三面临水,拱湘揖蒸，形若半岛，江水猛涨时，水断西端，便成一圆形山峦，波涛击岩，浪花飞溅，有如鼓鸣;一说山形如鼓，一说浪击石崖若鼓鸣，故名。

晋时庾仲初的《观石鼓诗》云：“鸣石含潜响，雷骇震九天”。北魏郦道元《水经注》载：“有石鼓高六尺，湘水所经，鼓鸣，则有兵革之事”。近代学者王闿运题联：“石出蒸湘攻错玉，鼓响衡岳震南天”。

三国时，蜀军师中郎将诸葛亮督零陵、长沙、桂阳三郡军赋，曾居住于此。唐元和年间，衡阳人李宽结庐读书于石鼓山上。宋至道三年(997)，李宽族裔李士真于旧址创建书院。宋景佑二年(1035)，钦赐匾额“石鼓书院”，与睢阳、岳麓、白鹿洞齐名，为当时全国四大书院之一。朱熹、张栻都曾在此讲学。山上曾有唐刺史齐映创建的合江亭，因韩愈来此一游并题合江亭诗后，取其“绿净不可唾”之句，雅名“绿净阁”。宋张栻在亭中立碑，书韩愈诗镌刻于碑上。山上另有禹王碑、武侯庙、大观楼、会讲堂、李忠节祠、七贤祠等古建筑点缀其间，朱熹赞为一郡佳处，并有湖南第一胜地之称。唐柳宗元、刘禹锡，宋文天祥、辛弃疾，明徐霞客、王夫之等文人墨客来此游览或讲学，因而山上曾留有大量石碑雕刻(2000年，工人曾在石鼓山西北角蒸水汇入湘江之处发现数处唐代石刻;2003年，又发现大批珍贵石刻，“江上清风”、“蒸湘”、“西谿”等石刻字迹清晰可辨，数处石壁上“元”、“顺治”、“康熙”、“乾隆”等表明年代的石刻仍依稀可见)，清光绪年间，改为衡阳官立高等小学堂，民国后，又相继改为衡郡女子职业学校和市立师范学校。但因石鼓山徬近驿道，地处要冲，故屡遭兵燹，尤其在1944年日寇侵略衡阳时更罹大难，至解放时已面目全非，原有古迹，荡然无存。1965年，衡阳市人民政府将石鼓山辟作公园，重建合江亭，复兴绿净阁，雕塑2米高的石鼓，竖立园中，并修筑桥、栏，植木种花，使之面目一新。1974年列为衡阳市重点文物保护单位。2000年，结合蒸水防洪南堤工程建设，衡阳市启动了千年学府石鼓书院的恢复工程，规划、国土、建设等部门和石鼓区积极落实各项前期准备工作。2003年10月1日，新扩建的占地3.18公顷的石鼓广场正式对市民开放，新扩建石鼓广场集城市防洪、休闲观光于一体，并修建了“石鼓七贤”、“石书”雕塑及“将军楼”等建筑，扩充了石鼓公园的空间范围和文化内涵。2005年后，进一步启动了石鼓书院本身的重修工程，除国家拨款外，单位、市民纷纷自觉捐款支持。2007年9月18日，重修后的石鼓书院正式落成典礼，并在书院举行了首届“湖湘文化大讲坛”，邀请著名作家刘和平作为首讲嘉宾。现在，石鼓嘴已经成为衡阳城区内一处著名的旅游胜地，是名副其实的“石鼓江山锦绣华”了。