Druhá budova, kterou galerie využívá, se nachází na dolní straně Masarykova náměstí.
Jelikož město Jihlava bylo založeno již v polovině 13. století a již brzy na to byl králem vydán stavební řád stanovující pravidla výstavby, dá se předpokládat, že i na parcele tohoto domu stál jeho předchůdce již ve středověku. Původní podobu tohoto gotického domu však díky častým požárům již dnes nelze určit.
V 16. století zde došlo k výstavbě dvoupatrového domu, z něhož se do dnešních dnů dochoval kamenný vstupní portál, velká přízemní síň a patrová síň v druhém podlaží budovy.
Dvoulodní vstupní síň, tzv. mázhaus, je zaklenutá křížově na konzoly a dvojici mohutných toskánských sloupů. Na konzolách je kamenická výzdoba s motivem lví tváře i kamenickou značkou datující stavbu do roku 1591.
Na tuto síň navazuje schodiště do mezipatra a místnost, jež původně sloužila nejspíš jako „černá“ kuchyně. V zadní části přízemí je valeně sklenutý průchod do dvora a do země zčásti zapuštěná komora s gotickým portálkem.
Sjednocujícím prostorem prvního a druhého patra byla vysoká síň se schodištěm, která byla osvětlena denním světlem nadstřešními okny.
V patře do náměstí byly rozsáhlé světnice s dvěma okny a komorou po boku, na níž navazovala černá kuchyně. Zatímco přízemí sloužilo prodejní a výrobní činnosti, prostory v patře byly obytnou částí majitelů domu, zámožnějších měšťanů. Z původního schodiště se kvůli rozsáhlým vestavbám ve druhé polovině 19. století bohužel nic nedochovalo.
Hodnotná je zrcadlová klenba s výsečemi po obvodu a konzolami ve výběžcích. Pochází nejspíše z doby přelomu 18. a 19. století a její výskyt v městském prostředí je ojedinělý. Na klenbě se zachovala původní štuková výzdoba tvořená kombinací vejcovce a perlovce.
Pro potřeby galerie byla budova zrekonstruována v druhé polovině osmdesátých let minulého století. Došlo především k odstranění četných vestaveb z devatenáctého století, které vnitřně dělily prostor na mnoho bytových jednotek. Zcela nově muselo být vybudováno schodiště v patrové síni.
Rekonstrukce budovy byla dokončena v roce 1989 a ještě téhož roku zde byla otevřena stálá expozice ze sbírek galerie. V současné době je pro stálou expozici využíváno horních pater budovy a přízemí a první patro slouží k pořádání výstav zaměřených na české umění 19. a první poloviny 20. století. Pozornost je zde také věnována umění regionálnímu a zamýšleno je zřízení grafického kabinetu pro prezentaci grafiky a fotografie.