I det 12. århundrede blev vort fredelige Als ofte hærget af venternes røveriske overfald. Som værn mod denne plag byggede Svend Grathe på det sted, vor Nordborg nu ligger, en fast borg, Als Slot. Kort efte begyndte an med opførelsen af en anden borg på øens sydpynt. Denne fik navnet Sønderborg. I modsætning dertil blev Als Slot kaldt Nordborg.

Et sagn fortæller om Sønderborg Slots tilblivelse:

"Da slottet skulle bygges, havde man valgt et sted ved Stavnsbøl Fjord, på det sted, hvor Augustenborg nu ligger. Men det hændte sig, at det, man havde bygget i løbet af dagen lå nedbrudt og spredt over pladsen næste morgen. Efter at dette var sket flere nætter, bandt man en bjælke om halsen på en sort okse og lod den løbe. Den løb ud på øens sydpynt, hvor Alssund skærer ind. Dér lagde den sig ned og lod sig ikke mere drive fra stedet. Man anså dette for Guds fingerpeg og byggede slottet dér."

På Resens tegning af Augustenborg - 1659 - er den såkaldte "Svenskeskanse" (Brovold) betegnet som det sted, hvor Sønderborg Slot først skulle have være bygget. I Resens forklaring til dette sted på bileldet hedder det:

"Jodbache,hvor paa var begyndt med Synderborg Slottets bygning, men kunde ey blifve ferdig. Thi alt som det blef bygt om Dangen, blef nedertagen om Natten oc hen ført paa det stæd hvor Synderborg Slott nu er."