1661年鄭成功率軍攻打台灣以赤嵌樓為優先佔領目標,直到熱蘭遮城(安平古堡)被攻下才移居到安平.
其後因疏於管理民變破壞加上風雨飄蝕,赤崁樓最後只餘下四周的頹瓦城牆.
19世紀後漢人在原址之上興建中式祠廟(海神廟及文昌閣等),又由台南府城福康安祠遷來九座御龜碑,終成赤崁樓今日的樣貌.