En 1857, l’administration du Canada-Uni choisit Saint-Germain-de-Rimouski comme centre administratif d’un district judiciaire couvrant tout le Bas-Saint-Laurent et la Gaspésie. Le premier palais de justice est construit entre 1859 et 1862 et comprend une prison. Au 19^e siècle, les condamnés sont exécutés par pendaison dans la cour intérieure du lieu d’incarcération. Orienté vers le fleuve, le bâtiment est endommagé par un incendie en 1897.

Le second immeuble de style néoclassique est reconstruit au même endroit en 1897. Au début du 20^e siècle, les autorités judiciaires prêtent la grande salle d’audience pour des soirées de divertissement. Afin de le rendre plus fonctionnel, le palais de justice fait l’objet de rénovations majeures en 1938. Le troisième palais de justice, dont l’entrée principale fait face à l’avenue de la Cathédrale, est réalisé à la suite du Grand feu de 1950. En 2017, l’édifice subit d’importants travaux de rénovation et d’agrandissement.

L’Hôtel de Ville est, quant à lui, construit en 1930. Avant, le conseil municipal, qui réunit les élu·es assurant l’administration d’une ville, a lieu dans différents endroits. Le Palais de justice et différentes maisons accueillent ses séances. Lors de sa construction, il est décidé que l’Hôtel de Ville réunira diverses fonctions municipales, dont une caserne de pompier.