En 1113, des pêcheurs auraient découvert une statue de la Vierge à l’Enfant dans les rochers de la Pointe du Cap Lihou. Sur le haut du Cap, appelé la Roque de Granville, on construisit alors une chapelle puis l’église Notre Dame pour abriter cette statue miraculeuse.
En 1943, les allemands firent évacuer la Haute Ville pour s’y installer. Il fut décidé de déplacer la statue de Notre Dame dans la chapelle de l’Hôpital. Des marins la transportèrent dans une charrette de la Haute Ville jusqu’au Boulevard Desprairies.
Dans la nuit du 30 juillet 1944, Granville est libérée et dès le lendemain l’accès à la Vieille Ville est rétabli.


L’église Notre Dame n’a que peu souffert et peut accueillir à nouveau la statue de la Vierge à l’Enfant. Un cortège joyeux s’organise dans la liesse de la Libération. C’est de cette fête populaire et pleine de ferveur qu’est issu le Grand Pardon de la mer auquel se joindront les bannières de différentes Corporations granvillaises en juillet 1951.