在金壇市區縣直街東。王府坐東朝西，原門前的照壁旗桿已毀，門屋亦經改建。前進正廳平面長方形，三間七架梁，梁上有太平天國龍鳳彩繪。廳后為二層樓房，亦3間。樓右附屬建筑已毀壞。

由于當時太平天國處于戰爭時期，王府系拆用舊建筑翻蓋的。戴王黃呈忠原為李世賢部將，曾轉戰于浙北、皖南一帶。

現紀念館仿清式磚木結構，四全遼布局，三面環水，景色宜人。正門匾額為書法大師舒同先生所書，一對“獅子滾繡球”昆石各蹲大門左右兩側。

步入門檻，可見一個長方形庭院，對面是紀念堂。段玉裁半身雕像正居堂內，梁上有一鎦金橫匾：“樸學宗師”，為著名書法家沙孟海題寫。側前后柱上有兩副楹聯，一由周祖謨行先生書寫：“說字解經功超許鄭，審音辨韻名震乾嘉”。一由趙樸初先生撰寫：”九經陶鑄資群彥，一字源流奠萬“兩側的陳列室展出了段玉裁的菱，以及后世研究段學的論著。