五岳殿是江南唯一同時供奉五岳圣帝的寺廟。是唐朝著名的石頭和尚的弟子“丹霞禪師”天然和尚所建，故名丹霞寺，始建于唐代貞元年間（785-804年）。清末，寺僧玉潔塑了五岳圣帝神像于前殿，以便吸引更多的朝圣者，從此丹霞寺改名為五岳殿。
五岳殿于民國24年（1935年）由該寺住持醒悟重建，有山門、正殿、后殿三進，石墻鐵瓦，古樸莊重。山門建于登山路旁，花崗石的門額上刻著“五岳殿”三個大字，殿門下還留著“丹霞寺”。山門內石柱上刻著一副楹聯：經過都是有緣客；歸去何須看別山。此聯是湘潭人黃篤杰題于1922年。五岳殿石柱上刻有一副對聯：五圣歸來湘水北；岳神高駐楚天南。聯作者不詳，聯意是：五岳殿供奉的是東、南、西、北、中五岳之神，五方又以五行相配，故又以木、火、金、水、土五圣相稱；五岳殿其位置在衡山一段位于湘水以北，岳神即南岳圣帝高居古楚國以南的衡山祝融峰上。殿內供奉著五岳圣帝神像，即東岳齊天仁圣帝、南岳司天昭圣帝、西岳金天順圣帝、北岳安天玄圣帝和中岳中天崇圣帝。后殿門額上刻著“七一遺址”，兩邊有“或實或榷皆是教；一瞻一禮總歸真”兩行小字，為醒悟所題。關于“七一遺址”還有一個典故：說的是唐代貞元初年，襄陽有一個叫龐蘊的居士來南岳拜會天然和尚，兩人默然相對。龐居士用樹枝在地上畫了個七字，天然和尚看了后，只在“七”字下寫了個“一”字作答。龐居士頓時省悟，知道是叫他“見一忘七”，就同天然和尚結成好友。后人便將此地叫做“七一遺址”，并把這故事刻在正殿的花崗石門額上，留傳至今。
關于天然和尚出家之事還有一個神奇的故事：據《稽古錄》、《指月錄》記載：天然和尚本是鄭州一個儒生，熟讀孔孟之書。唐德宗貞元年間，他在赴京趕考應試途中的一個旅館里遇到了一個很健談的和尚。兩人一見面就談得很火熱，談著談著，和尚突然探問天然：“你這么風塵仆仆要到哪里去？”天然洋洋得意地說是到長安應試選官。和尚便勸他說：“你選官不如選佛”。他覺得很有道理，于是不去京師應考。在和尚的指點下，他便改道直奔江西去投靠馬祖道一。儒生到江西時，道一正在給僧徒們說法。忽然進來一個神態(tài)傲慢、舉止灑脫的儒生直趨說法臺前。道一問他來寺院做什么？他兩手托著頭發(fā)，做了個要求落發(fā)的動作。道一端詳了他一會兒后說道，南岳的石頭希遷才有資格做你的師傅。儒生于是馬上跑到南岳南臺寺找石頭希遷法師收他為徒，要求落發(fā)。希遷見他那種傲慢態(tài)度，就說暫不落發(fā)，以后再看機緣。石頭和尚收留他干了三年的雜事。一天，石頭和尚吩咐眾僧把佛殿前的雜草鋤掉，儒生認為機緣已到，是石頭暗示他可以落發(fā)了，于是便把頭發(fā)洗得干干凈凈，跪在堂前請求石頭和尚給他剃度。石頭和尚見此情況，笑著給他落發(fā)說戒，但沒給他賜法號，叫他再去拜謁馬祖道一。儒生聽了之后，便再次去江西找馬祖。沒想到到了寺院，看守山門的和尚卻不準他進去見馬祖，他十分氣憤，便把和尚打翻在地，并騎在和尚的身上，此事驚動了馬祖道一。馬祖道一出門一看，原來是三年前要求落發(fā)的儒生，馬祖便大喝一聲：“吾子天然，休得無禮！”他一聽，連忙站起來，轉身跪在馬祖面前說道：“謝謝大師恩賜法號”。于是，他就取名天然和尚了。自此以后，天然和尚開始云游四方。他在天臺山華頂峰住了三年，后來去了不少地方，最后他到慧林寺去游覽時，正逢天下大雪，天然和尚競把殿上的木佛搬下燒火取 暖。有人說“造孽了”，他卻說：“我就是佛，木頭怎能成佛？該燒該燒！”燒了木佛出來，天然獨自來到洛陽天津橋頭，見鄭守備驅車迎面而來，便幾步躥到橋上，橫身躺在橋上。鄭守備厲聲斥問：“是誰為何躺地攔車？”天然答道：“天然閑來無事，逗守備玩耍，守備為何如此盛氣凌人？”鄭守備早就知道天然和尚名聲，還聽說誰也惹不起他，于是下車將天然扶起上車，直往守備衙門，并送了他一份厚禮。元和十五年（820年），他把在洛陽弄到的錢帶到南陽丹霞山，結庵收徒，廣收法徒達三百人，因而被稱為丹霞禪師。
他在丹霞山居住了一段時間后，覺得還是南岳好，便在德宗貞元年間，再次來到南岳，在如今這個地方建寺，取名丹霞寺。在丹霞寺住了一段時間后，他發(fā)現湘南寺左邊有大悲洞、卓爾巖，右邊有文殊洞和隱松巖，是自然界的奇絕勝處。于是他又來到了湘南寺，在這里自由自在地度過了幾年。最后他來到了環(huán)境幽雅的水月寺，在此住了一些年月，于83歲時圓寂于此。水月寺側，至今墓塔尚在。