崇德堂總體建筑由南、中、北三部分組成。

中部建筑以傳統儒家文化思想理念的廳、堂、樓為主體，最有特點的是南、北部中式建筑融入西歐羅馬式建筑，其中北部歐式建筑立面尤為壯觀，大宅高達恢宏，以精美的磚雕、木雕、石雕見勝。

大廳為一中式廳堂，堂中懸掛著“崇德堂”匾額，兩側有抱柱聯及畫屏，中間柱粗須兩人抱合，正梁上有鎏金平升三級圖案，梁坊、雀替、軒廊、落地長窗、地坪窗等均刻有精美吉祥圖案，體現出劉氏家族的傳統風范與品位。

二廳堂中懸掛著“抱愨盒”匾額（抱愨盒意喻堅守誠篤忠厚，法正則民）。宅后原辟一草地為網球場，一邊角上飼養奶牛。東西潭邊鐘樓上曾有一口巨大的自鳴鐘，遠近都能聽到它的聲音。現已成一近300平方米的花園，園內種樹栽花，疊石為山，種植白皮松，且有一月牙形潭池，蓄水栽荷，潭池邊上有亭、回廊等建筑小品，配以美人靠，以供游人休憩。

房屋主人劉悌青是南潯“四象”之首富劉鏞的第三個兒子，直隸省候補道員，欽加三品銜，房屋邊上有一花園弄。花園弄的名稱源出于元末的南潯華家，因華家在此弄內建有一花園，故名花園弄。清代文字獄“莊氏史案”中的莊家也曾居此處，案發后房屋被毀，劉家就在此舊址上建造“悌號”。

劉氏悌號是面西的中西式建筑群，俗稱“紅房子”，主人劉安泩，號悌青，劉鏞三子。正廳名為崇德堂，故又稱劉氏悌號。