Samlingen er grundlagt af tobaksfabrikant Heinrich Hirschsprung (1836-1908). Han koncentrerede sig oprindeligt om at erhverve kunst fra sin egen samtid, men siden fattede han også interesse for guldaldermalerne, så han efterhånden fik opbygget en fremragende samling af dansk kunst fra hele 1800-tallet og et stykke ind i 1900-tallet. I 1902 besluttede Hirschsprung at skænke sin samling til staten på den betingelse, at Københavns Kommune stillede en grund til rådighed og byen og staten i fællesskab lod opføre et museum. I bygningen, som opførtes af H.B. Storck, forsøgte man at genskabe atmosfæren i et privathjem gennem en række af små kabinetter, der slår krans om de tre store ovenlysrum. Til stemningen fra et kultiveret borgerhjem bidrager endvidere samlingen af kunstnermøbler og andet samtidigt inventar. Museet rummede ved åbningen i 1911 byens mest moderne samling af dansk kunst. Siden museets indvielse er en del værker tilført samlingen uden at ændre dens oprindelige karakter. Heinrich Hirschsprung var som samler præget af sin samtids naturalistiske kunstopfattelse, hvor målet var den nøgterne sansning af virkeligheden. Han så guldalderperioden i samme lys, men formåede tillige at følge 1890'ernes symbolistiske stilskift, og tidligt havde han blik for de ellers upåagtede skitsers maleriske værdier.Den Hirschsprungske samling er smukt beliggende i Østre Anlæg midt i København. Fra guldalderen vises hovedværker af malerne Eckersberg, Købke, Bendz, Lundbye m.fl. Skagensmalerne er repræsenteret ved museets mange betydelige billeder af Anna og Michael Ancher og ikke mindst ved den store samling af P.S. Krøyers arbejder. Andre radikale kunststrømninger i 1890'erne er rigt belyst gennem malere som Philipsen, Zahrtmann og Hammershøi såvel som de danske symbolister og Fynboerne.