高岡寨，又名高岡廟、中山公園，古稱高岡堡。原是6米高的土墩，后筑樓寨，總面積為12492.5平方米。乾隆7年壬戌歲（1742年）始由長江劉氏十三世孫楚白慷捐千金鑿石筑堡，一門獨(dú)入，峭壁陡絕，倡成一方保障。寨內(nèi)分三級，寨頂平坦，第二重古寨門名為“維賢坊”。砌石圍時(shí)，于外層建一石門，石門厚2米、寬1.4米、高2.9米，石圍周長369.25米、高4.7米、墻寬1米，均以花崗巖條石砌成，題詞為“錦江屏翰”。
寨上原有高岡廟一座，種有樟樹百余株。原高岡寨上，廟宇高大寬敞、建筑雄偉。中有天井，全為熟磚結(jié)構(gòu)。上廳設(shè)神壇，身穿黃龍袍的“高岡福主”坐鎮(zhèn)其中，神壇上面有一木橫匾，楷書浮雕“四國侯王”四字。左右兩邊各有小菩薩一尊。廟的四周有樓櫓二百余間。該廟常設(shè)廟祝一人管理香火。每逢農(nóng)歷“六月六”，各方香客，云集長江，敲鑼打鼓舞獅舞龍，恭迎“福主”，有時(shí)還演戲酬神，以祈風(fēng)調(diào)雨順，人壽年豐。
民國十九年（1930年），廣東省獨(dú)立旅三營進(jìn)駐長江時(shí)，開辟為“中山公園”。在原石門上改成山字形門樓，橫作“中山公園”四個(gè)大字。同時(shí)園內(nèi)建有中山公園紀(jì)念碑一座和直徑4米園形水池一口，此外還有花壇、花崗巖條石凳等設(shè)施。1931年2月7日，紅軍經(jīng)過長江曾夜宿高崗廟。抗日期間，寨上建有“抗日陣亡將士紀(jì)念碑”一座。寨內(nèi)四周樓櫓等大多數(shù)建筑設(shè)施，已先后拆毀。
1954年，政府為了便于紀(jì)念在解放戰(zhàn)爭和建國初剿匪中犧牲的烈士，將在長江范圍內(nèi)的24位烈士遺骨集中葬在寨內(nèi)（有墓碑），并在1967年5月建立“革命烈士紀(jì)念碑”一座，它象征革命烈士與世長存，永遠(yuǎn)值得人們敬仰。1956年秋初辦長江中學(xué)時(shí)，其課室初設(shè)高岡廟，1958年中學(xué)才外遷。1964年廟宇拆除。
1999年，高崗寨中一顆圍徑6.8米、4人合抱的苦楝王吸引了美國哈佛大學(xué)博士、法國遠(yuǎn)東學(xué)院研究員勞格文和省綠化委員會宋副主任等人，都稱從未見過如此巨大的苦楝樹。2001年，原粵贛湘邊縱隊(duì)第二支隊(duì)副司令員兼主力團(tuán)團(tuán)長葉昌骨灰，遵其遺囑葬在高崗寨，并種下兩棵樟樹以示紀(jì)念。
現(xiàn)高岡寨有古樟樹、苦楝樹、烏桕樹幾十棵，四季成蔭，空氣新鮮，環(huán)境幽雅，俯瞰長江，一覽無遺。