Op de plek van het Goudkantoor stond begin 17e eeuw een pastorie. Deze 'predicant behuysinghe' werd door de stad gekocht voor 6500 gulden om er een belastingkantoor te vestigen in afwachting van nieuwbouw. In 1635 werd vervolgens het Goudkantoor gebouwd voor de som van 9000 gulden
Het pand is opgetrokken in een Groningse variant van de stijl van de Hollandse renaissance (Noordelijk Maniërisme). Kenmerkende elementen vormen de schelpvormige motieven boven de deuren en ramen, die worden toegeschreven aan een beeldhouwer uit Bremen De motieven op de buitenmuren zijn kenmerkend voor het Hanzegebied. In 1844 werd de pompeuze Toscaanse Loggia voor de ingang om onbekende reden gesloopt. Het beeldhouwwerk er bovenop werd daarbij verwerkt in het ingangspoortje. Tijdens deze 'restauratie' werden ook de luiken van de onder verdieping van het pand gehaald en de gebrandschilderde ramen verwijderd. De ramen werden ontdaan van de oorspronkelijke stenen kozijnen, die werden vervangen door neogotische houten roeden.
Oorspronkelijk deed het gebouw dus dienst als kantoor voor de ontvanger van de belastingen in de provincie Groningen. Het heette toen het Collectehuis. De spreuk op het pand, Date Caesari quae sunt Caesaris ("Geef de keizer wat des keizers is")
verwijst naar de oorspronkelijke functie. In 1795 sloot het Collectehuis. In 1814 werd er een waarborgbureau voor gouden voorwerpen gevestigd dat officieel 'Goud- en Zilversmitkeurhuis' of 'Waarborgkantoor' werd genoemd, maar omdat men deze namen te lang vond ontstond in de volksmond al snel de naam 'Goudkantoor'. In het goudkantoor kon een waarmerk worden aangebracht waarmee werd aangetoond dat het betreffende voorwerp echt van goud was.
