慈氏塔位于洞庭湖邊西南，塔為磚石結構，樓閣式，八角七層，通高39米，下部塔基用五層麻石鋪砌而成，塔身全部用青磚砌筑。自第二層起，每層四面均設有小佛龕，共有28個，龕內原供小佛像。每層檐角設小鐘，微風吹來，叮當作響。可惜塔為實心，不能登臨眺望洞庭風光。

慈氏塔的修建，流傳著一個動人的故事：相傳古代，洞庭湖里有水妖作怪，經常出來為害百姓，老百姓苦不堪言。于是大家集資，準備修一座寶塔鎮妖。

在修塔地點附近，住著一戶人家，全家人大都被水妖涌起的惡浪吞沒，只剩下一個寡婦，人稱慈氏。她聽說要建塔鎮妖，把多年積蓄下來的一點錢全部捐獻出來，還日夜不停地為造塔的人們燒茶送水，來回奔走。不幸塔未修完，她就離開了人世。

人們為了紀念她，把塔命名為慈氏塔，并在塔旁修建了慈氏寺。