Biblioteket i Sønderborg begyndte på foreningsbasis. Før genforeningen havde Sprogforeningen anbragt en bogsamling i Sønderborghus, men den var ikke blevet passet på forsvarlig vis under krigen. 

Nogle af de nyankomne danske lærere fremkom da i 1920 med forslag om oprettelse af en biblioteksforening, som blev oprettet den 30. november samme år og hurtigt fik 200 medlemmer, og der valgtes samtidig en bestyrelse for det kommende bibliotek. 

Med myndighedernes støtte kom man hurtigt i gang . I marts 1921 kunne Sønderborg Bibliotek åbne i 3 værelser i Sønderborghus. I begyndelsen foretoges udlånet af lærerne i deres fritid, men allerede samme år blev det nødvendigt at ansætte en bibliotekar, og lokalerne på Sønderborghus blev hurtig utilstrækkelige.

I 1925 kunne man indvie en nyopført bygning i Jernbanegade 10 (Nu Jernbane Apoteket), og allerede det første år efter flytningen kom udlånet op over 50.000 bind.

I 1926 fik fik biblioteket anerkendelse som centralbibliotek, selv om det først i 1933 fik navnet Sønderborg Centralbibliotek. 

Mere plads fik man i 1933 ved at forhøje bagbygningen med en etage.

I 1944 adskilles børnebiblioteket fra centralbibliotket som selvstændig institution.

1948-1949: Der bygges om på biblioteket i Jernbanegade. Børnebiblioteket, som tidligere havde til huse i bagbygningen på 1. sal, indrettes nu i den tidligere bibliotekarbolig på 1. sal.

I løbet af 60'erne var pladsforholdene så trange at man i 1966/67 flyttede børneafdelingen over på 1. sal på rutebilstationen. Her forblev de til de nye lokaler på Kongevej blev taget i brug.

Den 15. marts 1971 åbner det ny bibliotek på Kongevej. Den første dag bliver der udlånt 2.750 bøger.

I april samme år starter man udlån af af musik. Musikafdelingen råder over 2.500 LP'er til udlån og aflytning.

I 1987 påbegyndes EDB-registrering af bibliotekets materialer. Dette arbejde kan afsluttes i maj 1990 og på det tidspunkt er 228.000 materialer stregkodemærket, og det gamle fotonoterings system afløses af EDB-baseret udlån.