Det "blå" tårn", i hvilket kong Christian den Anden sad fangen, blev nedbrudt i 1755. I dette år besøgte Kong Frederik den Femte Sønderborg, og ved samme lejlighed  ville han bese slottet. Han førtes af rådsherrerne, og da kongen gik over slotspladsen sagde en af disse: "Det er Christian den Ondes tårn". Kongen blev vred og svarede: "Hvad ondt har denne konge gjort Eder?" og straks begav kong Frederik sig ud af byen uden at bese slottet.

Otte dage senere lagde et stort skib til uden for slottet, det havde murere og tømrere om bord. Disse nedbrød det gamle tårn og medtog alt, hvad der mindede om Christian den Anden og hans fangenskab.

Hvor disse genstandet kom hen, vidste ingen, men det siges, at de blev kastet på havets bund, da skibet var komme uden for Als.