舍利塔位于愛晚亭右后方不遠的樹林中，過了楓林橋，便能見到這座形似僧帽的古塔。
    塔分三層，塔基正方形，花崗石砌成，高12米。相傳隋文帝楊堅為感謝尼姑智仙對自己的撫養之恩，詔令在全國各座名山修建佛塔供奉智仙的舍利子，塔下都繪有這位尼姑的像。
    這座塔在五代時被毀，民國初年時麓山寺的僧人找到遺址將塔重建。