En 1870, le premier évêque du diocèse de Rimouski, monseigneur Jean Langevin, fait construire le premier évêché. Située sur la rue Saint-Germain Est, cette maison de trois étages est attenante au premier presbytère. Faute d’espace, la construction d’un nouvel évêché débute en 1901. Monseigneur André-Albert Blais, second évêque de Rimouski, demande à l’architecte Jean-Baptiste Verret de concevoir les plans basés sur les esquisses d’un prêtre du diocèse d’Ottawa, le chanoine Georges Bouillon. Cependant, l’architecte décède avant la fin des travaux. C’est J. Wilfird Grégoire qui lui succède pour mener à terme la construction de l’édifice en 1903. En 1942, monseigneur Georges Courchesne fait convertir en solariums les balcons situés au-dessus de la porte latérale du côté ouest. Rimouski devient un archidiocèse en 1946. L’évêché porte dorénavant le nom d’archevêché.

Le bâtiment à charpente mixte comporte des solives de bois, des poutres et des solives d’acier, de la fonte et du remplissage de maçonnerie. Le revêtement extérieur est constitué de briques Caledonia importées d’Écosse et en grès de New Castle. La toiture d’origine, en tôle galvanisée posée à la canadienne, est remplacée en 1957 par un revêtement de cuivre. Une voûte pour conserver les archives, conçue par l’architecte Firmin Lepage, est annexée au nord de l’édifice principal en 1969.