金臺寺原名金臺精舍，黃楊八景之一。南宋未年，諸忠臣護衛著祥興帝趙丙是廣東新會崖門海面擺開千艘戰船抗擊元兵失敗，丞相陸秀夫背負年幼的祥興帝投海殉國。大將張世杰率領余部突圍，卻在南海遇上狂風舟覆而亡，其尸漂流至黃楊山下的大赤坎，被村民安葬于黃楊山麓。遺臣承節郎趙時從、大理寺丞龔行卿、翰林學士鄧光薦等人則隱入黃楊山卡筑舍而居，取名“金臺精舍”。史載春秋時燕昭王于易水筑”黃金臺”以召天下仕。趙時從等人于黃楊山筑舍也自比賢士聚會，讀書吟句為名，密謀抗元為實。金臺精舍乃金臺寺之前身。

90年代初，修復金臺寺工程啟動。因舊址已被水淹且交通不便，遂選新址于黃楊山南麓“將軍卸甲”處，此地風景秀美，前眺崖門海口，后枕黃楊主峰。