該城最早於1628年由當時佔領台灣北部的西班牙人所興建,名為"聖多明哥城"(Fort San Domingo).雖然後來遭到摧毀,其英文名稱仍被保留,用來稱呼整個田園.
1646年荷蘭人於原址附完成重建,命名為"安東尼堡"(Fort Antonio).當時荷蘭人普遍把紅色毛髮稱做"紅毛番",此城堡也因而被稱為"紅毛城".
1867年以後曾被英國政府長期租用至1972年,其間作為領事館的辦公地點.
紅毛城是台灣現存最古老的建築之一,列為國家一級古蹟.