靠近湘江之濱，在衡陽湘江上的公路、鐵路兩用橋附近。立在回雁峰，不僅可俯瞰大橋，還可縱觀衡陽城全貌。

回雁峰為南岳七十二峰之首。古人一直認為，北來的大雁南飛至此處便不再南飛了，只等來年春天再飛回北方，故名。杜甫就寫過“萬里衡陽雁，今年又北歸”。

回雁峰的山門是一座石砌牌坊，過山門不遠后有半山亭，再往上走，越過“百步云梯”后就可到達頂峰，峰頂有雁峰寺。據史籍記載，這座寺廟建于南北朝時期，梁武帝時稱乘云寺，唐以后改稱雁峰寺，它與花藥寺、西禪寺、羅漢寺并稱為衡陽佛教禪宗四大寺院，歷代有不少高僧都曾來此參禪。

在回雁峰還流傳著一位古代歌妓的故事。唐德宗光啟年間，一個叫王幼玉的歌妓住在回雁峰下，她有著艷麗的容貌和高雅的氣韻，她唱的《雁歸來》被人贊為“秋滿瀟湘浦，歌徹回雁峰。”后來她與一位叫姓柳的青年富商相愛，其間經歷了很多波折，兩人雖然矢志不渝卻仍天各一方。一天又一天，王幼玉登上回雁峰，一邊唱著柳郎寫給她的詩一邊等待她的心上人回來，大雁聽到她的歌聲徘徊不肯離去。她就這樣唱呵唱，直到力盡墜下山崖。

這個凄婉的故事為回雁峰更增添了幾分傷感的美麗。