巫公祠位于雅集亭之右，舊時祀商相巫咸及其子巫賢。據(jù)邑志載，宋慶元間邑人在虞山之青龍崗掘土得一古碑，-“商相巫咸冢”五個古字，縣令孫應時遂建其祠于言子祠之夾室。
明嘉靖八年（1529年），知縣胡鳳請于巡撫、都御史陳祥，提學章袞，始正式檄文建殿及饗堂各四楹于虞山致道觀西側(cè)，立石門，表曰：“商賢相巫公祠”，并置司春秋致祭。國子監(jiān)祭酒、邑人陳寰撰記。明季，被練兵官占為公署。
清順治十年（1653年），王夢鼎、邵燈等將祠改建于昭明太子讀書臺之左側(cè)，錢謙益撰記，旋廢?？滴醵迥辏?686年），知縣楊振藻以賓湯門外東莊廢廟改祠，遷巫咸木主祀之，后亦廢。乾隆九年（1744年），儲糧道覺羅雅爾哈善重建于游文書院旁，并撰記，同祀巫咸巫賢父子。陶貞一亦撰記。乾隆四十一年（1776年），移祀于游文書院之西廳。咸豐十年（1860年）毀。光緒二十九年（1903年）復建于院后山麓。
建國后又毀，1985年市園林管理處斥資5.6萬元重建于今址，現(xiàn)辟為公園茶室。