望海堂建筑在閭山絕頂，原砌有高約五米的基臺(tái)，修建兩層殿宇，東西配房，即十間藏書庫、三間居室、三間讀書繪畫室和十多間衛(wèi)士房。四周峰頂都修有瞭望臺(tái)，起保護(hù)望海堂的作用。這里就是耶律倍及愛妃高美人于遼太宗天顯二年（927），從東京（今遼陽市）來閭山隱居生活的地方。絕頂峰下，原建有三層殿堂、數(shù)十間房屋的一個(gè)大院，正殿為綠琉璃瓦歇山式大木架結(jié)構(gòu)，規(guī)模宏偉，金碧輝煌，專為藏書之用，冬季耶律倍與高美人移此居住，故后世稱此處為“琉璃寺”。這座望海堂，是遼代最大的私人藏書樓，也是我國當(dāng)時(shí)北方少數(shù)民族地區(qū)藏書最多的地方。其中不少書籍是當(dāng)時(shí)就已罕見的真本和善本圖書。連后唐的漢人學(xué)者都非常羨慕稱贊，閭山成為遼代主要文化中心區(qū)。
原望海堂建筑，早在金滅遼時(shí)被燒毀，但遺址尚存。從柱石、磚瓦構(gòu)件考察，當(dāng)時(shí)建筑規(guī)模十分巨大，氣勢(shì)宏偉。這在地勢(shì)十分險(xiǎn)要的懸?guī)r高峰頂端進(jìn)行建筑，在羊腸小路上搬運(yùn)材料，可見工程之艱巨，用心之良苦，建筑工人之勞累，可謂是遼代建筑史上的一個(gè)奇跡。峰下的琉璃寺也早已不存，但遺址尚在。寺前的一口水井，即是當(dāng)年的食用水井，水質(zhì)甘冽，天旱少雨時(shí)，井水也不干涸。有一大石槽為遼代遺物，專家論證為顯陵前的祭器。位于望海堂東北方向不遠(yuǎn)處的高美人行宮，如今也只剩下遺址。
站在大望海寺遺址上，登峰造極，居高臨下，四望群山，千峰萬壑，盡在腳下。蒼松翠柏猶如草坪，使人眼界頓開?！皶?huì)當(dāng)臨絕頂，一覽眾山小”，確有置身于天上之感。每當(dāng)陰雨天氣，白云繞山而行，云霧生于足下，風(fēng)吹云動(dòng)波滔萬頃，渾如大海；峰巒錯(cuò)落，形如座座海島，忽隱忽現(xiàn)，撲朔迷離，宛如一幅瑰麗的畫卷。冬季群山披上銀裝，登峰遠(yuǎn)眺，一片銀白世界，誠然是“銀裝素裹分外妖嬈”。欣賞這北國風(fēng)光，更有一番情趣。
古人有詠望海堂詩：“黃云白日兩茫茫，耶律移書此秘藏；安得讀殘十萬卷，臥看東海自滄?！薄Ｇ迦藯钲咭灿性娫唬骸氨辨?zhèn)巫閭第一峰，但余樵牧說遼宮；當(dāng)年耶律耽文史，不讓昭明萬卷風(fēng)?！边€有歌頌耶律倍“讓國”的詩：“武略文謀兩擅長，儲(chǔ)君何必握朝綱；一軍掃蕩扶余境，萬卷珍藏望海堂。讓國竟追吳太伯，浮家猶載越夾光；任教介弟承洪祚，孝友孤哀久自彰。”