巫公祠位于雅集亭之右，舊時祀商相巫咸及其子巫賢。據邑志載，宋慶元間邑人在虞山之青龍崗掘土得一古碑，上書“商相巫咸冢”五個古字，縣令孫應時遂建其祠于言子祠之夾室。

明嘉靖八年（1529年），知縣胡鳳請于巡撫、都御史陳祥，提學章袞，始正式檄文建殿及饗堂各四楹于虞山致道觀西側，立石門，表曰：“商賢相巫公祠”，并置司春秋致祭。國子監祭酒、邑人陳寰撰記。明季，被練兵官占為公署。

清順治十年（1653年），王夢鼎、邵燈等將祠改建于昭明太子讀書臺之左側，錢謙益撰記，旋廢。康熙二十五年（1686年），知縣楊振藻以賓湯門外東莊廢廟改祠，遷巫咸木主祀之，后亦廢。乾隆九年（1744年），儲糧道覺羅雅爾哈善重建于游文書院旁，并撰記，同祀巫咸巫賢父子。陶貞一亦撰記。乾隆四十一年（1776年），移祀于游文書院之西廳。咸豐十年（1860年）毀。光緒二十九年（1903年）復建于院后山麓。

建國后又毀，1985年市園林管理處斥資5.6萬元重建于今址，現辟為公園茶室。