舍利塔位于愛晚亭右后方不遠的樹林中,過了楓林橋,便能見到這座形似僧帽的古塔。 塔分三層,塔基正方形,花崗石砌成,高12米。相傳隋文帝楊堅為感謝尼姑智仙對自己的撫養之恩,詔令在全國各座名山修建佛塔供奉智仙的舍利子,塔下都繪有這位尼姑的像。 這座塔在五代時被毀,民國初年時麓山寺的僧人找到遺址將塔重建。