I 1980erne opstod der indenfor det tyske mindretal i Danmark ønsket om at vise de tyske nordslesvigeres historie og kultur i form af en museal udstilling. I tæt samarbejde med Bund Deutscher Nordschleswiger, det tyske mindretals hovedorganisation, blev foreningen "Haus für deutsche Geschichte und Kultur in Nordschleswig" (Hus for tysk historie og kultur i Nordslesvig) grundlagt i 1986. Foreningen havde som opgave at samle, bevare og udstille genstande, der står i forbindelse med hjemmetyskheden, der opstod i det 19. århundrede og genstande, der giver udtryk for den tyske identitet og kultur i Sønderjylland.

I 1988 blev under ledelse af Dr. Günter Weitling "Haus für deutsche Geschichte und Kultur in Nordschleswig" indviet på Ringridervej i Sønderborg. Da udstillingsarealet var begrænset til få kvadratmeter, og samlingen i de følgende år bestandig voksede, var tiden snart inde for til at overveje en flytning.

I begyndelsen af 1990erne flyttede institutionen ind i nye lokaler i det tyske biblioteks bygning på Rønhaveplads i Sønderborg. "Deutsches Museum Nordschleswig" blev genåbnet i maj 1992.

Efter en grundlæggende udstillingsrevision i 2004/05, gennemført under ledelse af Immo Doege, bliver det tyske mindretals historie nu præsenteret i kronologisk rækkefølge.