Skovgaard Museets historie begynder, da Viborg Domkirkes udsmykning var fuldendt.
Efter nedrivning af Viborgs gamle domkirke opførtes der i 1864 en kirkebygning i romansk stil. Kirkerummet manglede en udsmykning, der efter første, ret akademiske og mislykkede forsøg blev overdraget til Joakim Skovgaard (1856-1933). Skovgaard var maler, billedhugger og senere professor ved Kunstakademiet i København..
Med en gruppe skiftende medarbejdere, - de vigtigste, Niels Larsen Stevns, Arne Lofthus, Viggo Madsen, er repræsenteret på Museet - fuldendte Joakim Skovgaard domkirkens fresko-udsmykning i årene 1901-1906: monumental, overvældende og i Danmarks kirkekunst overordentlig nyskabende.
Med et museum for Joakim Skovgaard tænkte Viborg by at hædre domkirkens kunstner. Joakim Skovgaard derimod ønskede sig et museum for hele kunstnerslægten Skovgaard, som i hans tid udover ham selv omfattede den begavede bedstemor Elisabeth, faderen Peter Christian Skovgaard, professor og berømt landskabsmaler samt søskende Niels og Suzette.