En 1904, la Corporation épiscopale de Rimouski cède un terrain, situé sur la rue Saint-Jean-Baptiste Ouest, aux Frères de la Croix de Jésus, originaires du Manitoba. L’année suivante, ils érigent la maison mère canadienne de leur ordre. Le bâtiment est cependant détruit par un incendie en 1916. L’année suivante, une ancienne manufacture de biscuits, située sur la rue de l’Évêché, est déménagée sur le site actuel du Grand Séminaire et est utilisée par les frères jusqu’à leur départ en 1920. Ensuite, les Sœurs missionnaires de l’Immaculée-Conception transforment le bâtiment en établissement d’enseignement. Au printemps 1926, les flammes rasent le couvent. En 1931, les religieuses font construire au même endroit la maison Sainte-Thérèse afin d’y tenir des retraites fermées pour les femmes.

Avec l’augmentation du nombre d’étudiants en théologie, le diocèse achète le bâtiment en 1943 pour y déménager le Grand Séminaire de Rimouski. En 1945 et 1946, l’immeuble est agrandi pour avoir les dimensions qu’on lui connaît aujourd’hui. La maison Sainte-Thérèse devient l’aile arrière. L’architecte Albert Leclerc s’inspire du style de dom Bellot dont témoignent l’utilisation de la brique, l’ajout de contreforts, les motifs en encorbellement, les détails de l’ébrasement à ressauts du porche et le campanile carré qui couronne l’édifice.