Již od konce 19. století pořádaly v Jihlavě výstavy historického i současného umění různé místní spolky. K založení městské galerie došlo v roce 1946, kdy Marie Kovaříková darovala městu svou obrazovou sbírku.
V padesátých letech byly vybudovány základy odborné instituce a na podzim roku 1964 se galerie přestěhovala do důstojně zrekonstruovaných prostor budovy na Komenského ulici.
Ve druhé polovině šedesátých let se jihlavská galerie ve své výstavní činnosti, kromě regionálně orientované tématiky, věnovala systematickému sledování vývoje současného českého umění a jeho progresivních snah. Výstavami jako např. Computer-graphic, Skupina Phases, výstava italské vizuální poezie či Klub konkretistů, se dostala do mezinárodního povědomí.
Koncem osmdesátých let byla znovu opravena budova galerie na Komenského ulici a zároveň byla po dlouho trvající rekonstrukci otevřena nová budova na Masarykově náměstí.
V roce 2005 byl zrekonstruován do té doby nevyužívaný sklep budovy na Komenského ulici a v takto uvolněných prostorách byla zřízena galerie „Alternativa“. Téhož roku galerie začala nově provozovat veřejnosti přístupnou knihovnu se zaměřením na odbornou literaturu z oblasti výtvarného umění.