Le premier séminaire de Rimouski est aménagé à partir de 1862 dans la troisième église de la paroisse (Musée régional de Rimouski). Cette institution a pour rôle de former le clergé du nouveau diocèse créé en 1867. Un nouveau séminaire est construit en 1876. Le bâtiment est cependant détruit par un incendie le 5 avril 1881. En 1882, les autorités du séminaire acquièrent le couvent de la congrégation de Notre-Dame qui est situé sur la deuxième terrasse à l’ouest du palais de justice. L’immeuble devient le troisième séminaire de 1881 à 1905. Cet édifice est agrandi en 1905 et devient le quatrième séminaire de Rimouski.

Œuvre de l’architecte Pierre Lévesque de Québec, le cinquième séminaire, inauguré en 1925 et dont la façade principale donne sur la rue de l’Évêché, se situe au sud des édifices précédents. D’architecture éclectique, il se distingue par les trois campaniles couronnant l’édifice et la loggia à l’italienne de sa façade. Le campanile central possède un carillon à sonnerie de type Westminster, identique à celui de la tour de la Paix du parlement d’Ottawa. Lors du Grand Feu de Rimouski, le couvent Notre-Dame est détruit par les flammes. Les autorités ecclésiastiques orientent l’enseignement vers une formation classique et l’institution est connue sous le nom de Petit Séminaire de Rimouski. En 1967, la formation est laïcisée et l’établissement prend le nom de Collège d’enseignement général et professionnel (Cégep) de Rimouski.