Le bureau de poste partage un immeuble avec la douane au début du XXe siècle, puis il emménage dans un édifice sis rue Jacques-Cartier-Nord. Dessiné par l’architecte de Saint-Jean J.E.H. Benoît, le bureau de poste est construit en 1906. Les services postaux y demeurent jusqu’en 1957 alors qu’ils déménagent dans l’édifice Côté. Par la suite, l’immeuble abrite divers organismes – bibliothèque, cinémathèque, Chevaliers de Colomb – avant l’installation de la Société d’histoire du Haut-Richelieu en 1983. L’immeuble est incendié en 1968, ce qui entraîne des modifications importantes en ce qui a trait à la volumétrie. Il perd sa toiture à versants droits percée de lucarnes ainsi que le couronnement de ses tourelles. Les arcs en plein cintre, l’utilisation de la brique ainsi que la décoration rattachent cet édifice au courant néoroman dont l’architecte étasunien Richardson est l’un des plus illustres représentants dans l’est des États-Unis. Dans son état actuel, l’immeuble se compose d’un corps de bâtiment de plan rectangulaire à deux étages, d’une toiture plate ainsi que de deux tourelles disposées aux angles.

L’incendie de 1968 affecte de manière considérable l’intégrité formelle de l’immeuble, mais il garde une bonne authenticité matérielle. Il conserve son parement de brique rouge et repose sur un solage de pierre. Les portes et les fenêtres ont été changées, mais elles respectent l’ordonnance et les dimensions des ouvertures originales. Le sinistre détruit une partie du programme décoratif : les éléments des tours et ceux de la toiture. L’ornementation demeure toutefois plus riche et élaborée que celle des édifices du secteur. Elle comprend d’abord des colonnes ouvragées à chapiteaux sculptés qui encadrent les entrées, des arcs en plein cintre faits de blocs de pierre polychromes qui ornent les ouvertures du rez-de-chaussée ainsi qu’un bandeau de pierre qui souligne le passage des étages. Les tourelles conservent des appliqués de pierre alors que celle disposée à l’angle des rues comporte également de belles corniches de pierre. Les arcs de pierre et les colonnes rappellent la décoration des églises romanes.

Dans son ensemble, l’ancien bureau de poste possède une valeur patrimoniale supérieure. Si l’intégrité formelle a été altérée, l’authenticité matérielle demeure excellente. L’immeuble est un des rares exemples d’architecture néoromane d’inspiration richardsonnienne à Saint-Jean. Il se démarque également dans le paysage bâti dominé par les constructions néoclassiques en brique rouge dans ce secteur de la ville. L’ancien bureau de poste évoque – avec l’hôtel de ville, l’édifice du marché et la vieille caserne de pompier – le centre civique de Saint-Jean au commencement du XXe siècle.