五輪塔坐落在岳麓山清風峽側(cè)的山腰上，為佛教密宗之塔，由花崗石砌成，塔上鐫刻金書梵文，塔高11米，由正方形、圓形、三角形、半圓和圓點5種幾何圖形構(gòu)成五級，造型奇特，為中國大陸地區(qū)所僅見。其形代表地方、水圓、火三角、風半月、空圓點，意為世界由地水火風空構(gòu)成，故稱“五輪”。
據(jù)1932年成嘉森所編《岳麓小志》記載，五輪塔“民國十三年（1924），為趙恒惕主省政府時所建”。1924年出版的吳晦華的《長沙一覽》中提及該塔，稱“民國十三年，為省政府所建造”。在1934、1936不同版本的《長沙市指南》中也有相同記載。1920—1926年，趙恒惕為湖南軍政首領(lǐng)，他意圖“聯(lián)省自治”，于1921年7月發(fā)動的“援鄂戰(zhàn)爭”失敗，耗資甚巨，死傷士兵兩萬多人。因為趙恒惕是一名忠實的密宗信徒，他在岳麓山筑五輪塔很可能是為陣亡將士招魂和超度。
主持修建五輪塔的人，是1922年開始在湖南-的江蘇人顧掙緣。中國佛教文化研究所原所長吳立民（1927—2009）曾考證“此塔為恩師顧凈緣1924年所建”。在顧凈緣所著《寶篋印經(jīng)釋》中提到有一份《五輪塔緣起》。
1927年2月12日，時任國民革命軍第八軍軍長兼湖南省主席的唐生智為紀念北伐戰(zhàn)爭中的陣亡將士，曾在五輪塔前舉行公祭儀式。長沙《大公報》記載了當時這場公祭：
赴祭各機關(guān)、團體、民眾由靈官渡過河，在河西牌樓口上岸，在岳麓山自卑亭處集合上山。兩旁軍隊站滿約眾六七千人，塔之周圍為民眾各團體。禮畢，顧掌法（顧凈緣）與僧眾繞塔三匝，高宣佛號而出。繼總指揮與主陪祭人士，繞塔三匝高呼“先烈精神不死”、“大慈大悲救人救世”……公祭從上午五時開始，到下午直至五時方畢。
自稱“佛將”的唐生智給參與公祭的文武官員每人發(fā)了一枚“先烈光明”的紀念章，行禮后齊唱“先烈光明歌”，以示永遠不要忘卻為革命而獻身的將士。塔正所額“先烈光明”四大字，應(yīng)為1927年唐生智所加刻。當時塔兩側(cè)有烈士墓，東為閻松年墓，西為楊卓林墓。
塔與墓毀于“文革”時期。2001年五輪塔由香港鴻儀股份有限公司捐資120萬元于原址原基修復(fù)。