原建于唐開元年間，唐會(huì)昌五年（845）建立樓閣，五代重修，名“瑞像寺”、大中祥符元年（1008）賜名為“寶相寺”、至明永樂九年（1411）重建佛閣三層五楹，取名“毗盧閣”，萬歷廿九年（1601）建無梁橋，現(xiàn)在的五層五楹為光緒十九年（1893）重建。
大殿1981年大修，增塑文殊、普賢，重塑十八羅漢，主體建筑改為五層七楹，依崖而建，歇山頂，飛檐翹角，逐層退進(jìn)成塔形，外觀雄偉壯麗而又精巧穩(wěn)重。
“逍遙樓”匾額為唐顏真卿手書；“大雄寶殿”為清俞樾書，殿內(nèi)楹聯(lián)“理哲家言同源西圣、華嚴(yán)法界現(xiàn)象南明”為蔡元培書。