Ideen til Idrætshøjskolen i Sønderborg blev formuleret allerede i 1920'erne. Skolen skulle stå som et monument for danskheden i den landsdel, som havde været under tysk overherredømme fra 1864 til 1920.
Tankerne blev dog "lagt på is" under 30'ernes depression og 2. Verdenskrig satte en effektiv stopper for ideerne. Men i 1944 kom der igen gang i forslagene, og ved mange aktives store arbejde kunne Kong Frederik d. Niende indvie skolen d. 15. maj 1952.
Uden mange bidragydere kunne ovenstående ikke have ladet sig gøre. Sønderborg Kommune gav et 14,1 ha. stort areal beliggende lige uden for byen og med direkte adgang til Sønderborg bugt. Sønderjysk Idrætsforening foranstaltede en landsdelsindsamling, hvor folk kunne skænke beløb til opførelsen af skolen. "Fonden for Fædrelandets Vel" gav et meget stort beløb dels til bygninger og dels til udsmykning af skolen. Desuden bakkede de store idrætsorganisationer kraftigt op om projektet.
Skolen har, siden begyndelsen i 1952, udviklet sig fra at være en Idrætshøjskole med en lille gymnastiksal til at være et idrætsmekka med faciliteter og udstyr til stort set alle idrætsgrene.
I sin elevmæssige storhedstid i 1980'erne havde skolen ca. 160 elever pr. hold. De tider er ændret, så skolen i øjeblikket ligger med et elevtal på ca. 115.
Grundstenen i skolen er de lange efterårs- og forårskurser. Her er det skolens formål dels at udvikle de unge mennesker til at tage aktivt del i udviklingen af det danske samfund, og at give dem en træner/lederuddannelse i en selvvalgt idrætsgren, så de efter endt højskoleophold kan tage del i den frivillige idræt som træner eller leder.