Le printemps 1907 marque la fin des travaux de construction de la maison de style néo-Queen Anne du docteur Joseph Gauvreau. La résidence est dotée d’une tour d’angle massive et d’une grande galerie sur trois côtés. L’immeuble abrite également un cabinet de travail, une clinique d’hydrothérapie et une pharmacie. Le docteur Gauvreau demeure propriétaire de la maison jusqu’en 1918. Par la suite, le bâtiment est acheté par différentes personnalités rimouskoises, dont le shérif Charles D’Anjou et l’homme d’affaires Jules-A. Brillant. Propriété de la compagnie pétrolière Irving, la maison Gauvreau est déplacée vers l’ouest en 1951 pour permettre la construction d’un garage et d’un poste d’essence au coin de la rue de l’Évêché Ouest et de l’avenue de la Cathédrale.

En 1984, la compagnie a l’intention de démolir la maison pour faire place à un édifice commercial. Le comité du patrimoine de la Société d’histoire du Bas-Saint-Laurent, formé par un groupe de citoyens préoccupés par la protection du patrimoine bâti, , obtient du ministère des Affaires culturelles le classement officiel du bâtiment le 10 mai 1985. Ce comité devient la Société Joseph-Gauvreau pour le patrimoine, aujourd’hui connu sous le nom de Société rimouskoise du patrimoine. Le propriétaire Réjean Frenette débute les travaux de restauration en 1998. À la suite du décès de monsieur Frenette, ce sont successivement l’entreprise Plomberie Gérald Leblond limitée, les Immeubles Drapeau et la famille Beaulieu qui poursuivent les travaux.