絲業會館位于廣惠橋東側，為南潯商業組織中最早、實力最強的同業公會。

南潯絲業所于清同治四年（1865年）春，由南潯絲商莊祖綬等稟請藩司蔣（益澧）批準設立，以收解捐稅、維護絲商利益為宗旨，為湖州市首家絲商建立的公所。

光緒二十八年（1902年），在廣惠橋（張王廟橋）附近購地建屋三楹為辦公之用。落成于民國元年（1912年），耗銀8萬余元，由每包出口絲中捐資所得。

民國5年（1916年），絲業公所改稱絲業公會，又叫絲業會館。絲業會館的大門上，至今仍有英文書寫的“SILKGUILD”橫額。

大廳稱“端義堂”，為抬梁式木結構。屋頂為歇山頂，高15米。前面四柱為整塊長方形條石。廳內寬敞、高爽，可設宴54桌，每年四月在此開蠶王會，鎮上絲業從業人員數百人，聚首一堂共祭蠶神，祈禱蠶事茂盛。

大廳南北側建有西式洋房兩間，作為絲業小學辦公室。絲業會館前埭建筑在建國初燒毀，其他建筑均保護良好。現為南潯鎮中心學校校址。