Koncem 19. století byl v Jihlavě založen muzejní spolek (dar 50 obrazů od pátera Weise městu). Řada výstav současných malířů probíhala v Jihlavě již před 2. sv. válkou. Přesto, že již tehdy byl učiněn pokus o zřízení městské galerie, povedlo se to až po roce 1945. V roce 1948 po opakovaném naléhání jihlavské možnosti a cenného daru Marie Kovaříkové, která městu věnovala svou celoživotní sbírku obrazů (78 obrazů a 1 socha), byla 24.10. zřízena obrazová galerie města Jihlavy. Byla umístěna v 1. patře domu č. 14 na Masarykově nám. a byla přičleněna pod správu městského muzea, po stránce hospodářské je však vedena samostatně. Již v letech 1950-3 dochází však k dočasnému uzavření galerie z důvodů adaptace nových prostor v domech č. 57 a 58 na Masarykově náměstí.
Tento dům užívaný v současnosti jihlavskou galerií vznikl spojením dvou sousedních domů v roce 1864. Oba domy byly postaveny na typicky úzkých a dlouhých gotických parcelách. Lze předpokládat, že měly zde své gotické předchůdce ze 14. století. Stopy po starších stavebních etapách byly zničeny radikální přestavbou v 16. století, která následovala po ničivém požáru v roce 1551, jenž postihl celou Jihlavu, a dokončena byla roku 1577.
Město Jihlava bylo založeno díky rozsáhlému dolování stříbrné rudy. Založení města spadá do poloviny 13. století. Po častých požárech nelze dnes již stanovit podobu původního gotického domu. V 16. století došlo k přestavbě gotického domu na dvoupatrový dům o třech okenních osách. Přízemí domu je typický hloubkový trojtrakt.