位于城区北部3公里的合江套下矶头。据《衡阳县志》载：此处水流急湍，矶碍舟行，为利济河道，明万历十九年(1591)，衡阳人礼部尚书曾朝节倡议除矶兴塔，以城南有回雁峰，故此处取北雁南来之意而名来雁塔。

清同治十年(1871)，衡阳人兵部右侍郎彭玉麟重修此塔，并书“来雁塔”三字嵌于正门之上。该塔高28米，七层八棱，拱门劵窗，石雕飞檐，石板楼面，斗拱楼顶，正门东南向，左右两侧门;基层门内，端坐石佛一尊，塔内石级，分两路盘旋，可上顶层;塔旁建双练亭。来雁塔拔地撑天，庄重雄伟，是衡阳市仅存的明代大型砖石结构建筑，已被列为湖南省重点文物保护单位。1944年因日寇侵犯衡阳而脱落的半截铜制塔顶，现存于市博物馆内。