Au début du XXe siècle, George C. Boldt, le propriétaire de l’hôtel Waldorf Astoria de New York, a entrepris la construction d’un château de style Chateauesque à Alexandria Bay, sur l'Ile de Heart. Le chateau devait être un témoignage de son amour pour sa femme Louise Boldt. À partir de 1903, la famille Boldt passe 4 étés dans la tour Alster pendant que 300 ouvriers construisaient le château d'environ 120 pièces.

En 1899 les Boldt ont commencées une campagne de construction ambitieuse pour construire une structure de maçonnerie énorme, une des plus grandes maisons privées en Amérique. Ils ont engagé la société architecturale G. W. et W. D. Hewitt et centaines de travailleurs pour un château de six étages, un point de repère international majeur.

La construction de Château Boldt a cessé brusquement au début de 1904 après la mort de la femme de Boldt, Louise Kehrer Boldt.En 1904, il n'y reviendra jamais.

Pendant 73 ans, le château et d'autres structures en pierre ont été laissés exposés aux vandales.

L'administration du pont des Milles-Îles acquit Heart Island et le proche abri pour yachts en 1977, pour un dollar, en vertu de l'accord que tous les revenus provenant de l'exploitation du château seraient réservés à la restauration, afin que l'île soit préservée pour la jouissance des générations futures. Dans les deux décennies qui suivirent l'acquisition de la propriété, l'Administration du Pont des Milles-Îles y dépensa quelques 15 millions de dollars pour la restauration et des améliorations, et les travaux se poursuivirent chaque année. L'objectif initial de la restauration de Heart Island n'était pas de terminer ce qui n'avait pas été fini, mais de restaurer l'île jusqu'à l'état où elle était à l'arrêt de la construction. Les améliorations ont dépassé ce stade, ainsi un dôme de vitraux, un sol en marbre et les boiseries du grand escalier, par exemple, maintenant visibles dans le hall principal, n'y étaient pas à l'origine mais sont des innovations contemporaines.