Op de plek van het Goudkantoor stond begin 17e eeuw een pastorie. Deze 'predicant behuysinghe' werd door de stad gekocht voor 6500 gulden om er een belastingkantoor te vestigen in afwachting van nieuwbouw. In 1635 werd vervolgens het Goudkantoor gebouwd voor de som van 9000 gulden

Het pand is opgetrokken in een Groningse variant van de stijl van de Hollandse renaissance (Noordelijk Maniërisme). Kenmerkende elementen vormen de schelpvormige motieven boven de deuren en ramen, die worden toegeschreven aan een beeldhouwer uit Bremen De motieven op de buitenmuren zijn kenmerkend voor het Hanzegebied. In 1844 werd de pompeuze Toscaanse Loggia voor de ingang om onbekende reden gesloopt. Het beeldhouwwerk er bovenop werd daarbij verwerkt in het ingangspoortje. Tijdens deze 'restauratie' werden ook de luiken van de onder verdieping van het pand gehaald en de gebrandschilderde ramen verwijderd. De ramen werden ontdaan van de oorspronkelijke stenen kozijnen, die werden vervangen door neogotische houten roeden.