Le Vieux Presbytère, situé au 15, rue des Peupliers a été construit en 1851 et 1852. À l'origine, le presbytère était situé à droite et en retrait de la première église catholique (rue Montarville) sur un terrain donné par le seigneur François-Pierre Brunneau. Cet édifice a échappé à l'incendie de l'église le 28 février 1934. Devenu trop onéreux à entretenir, l'édifice fût menacé d'être détruit au début des années 1960. Une campagne en faveur de sa conservation fit en sorte que la ville l'acheta pour un dollar et entreprit les travaux de relocalisation. Reconstruite pierre par pierre, elle fût classée "monument national" en 1966 par la Commission des monuments historiques. Elle sert désormais de lieu de rencontres et et de centre culturel.