La première maison du seigneur René Lepage, arrivé vers 1694, est située sur l’actuelle rue Saint-Robert jusqu’à ce qu’elle soit démolie vers 1915. Son fils, Pierre Lepage de Saint-Barnabé, fait construire sa propriété tout près de celle de ses parents vers 1716. Son descendant, Germain Lepage, érige vers 1746 une résidence à colombages sur sole d’esprit français.

En 1790, Joseph Drapeau, un marchand de Québec, acquiert une grande partie de la seigneurie de Rimouski. Ce sont ses filles qui décident de faire construire le dernier manoir seigneurial en 1845. La petite-fille du seigneur Drapeau, Adèle Kelly, et son époux Ulric-Joseph Tessier héritent de la demeure en 1860. Avec leurs huit enfants, ils résident au manoir seigneurial pendant la saison estivale.

Grand journaliste québécois à la fin du 19^e siècle, Arthur Buies est élevé par ses grandes tantes, Luce-Gertrude et Louise-Angèle Drapeau, seigneuresses de Rimouski. Le célèbre personnage du roman Un homme et son pêché de Claude-Henri Grignon, rédigé en 1933, réside de nombreux étés dans le manoir Tessier. Le bâtiment est détruit en 1950, lors du Grand Feu de Rimouski.