Der er to lidt forskellige historier til historien om dette hus:
Bygningen, blev nedrevet 1879 lå på Peter Knarhøjs grund og havde flotte udskæringer på såvel stolper som bjælkehoveder. Under nedbrydningen blev stolper og bjælker savet op til brænde. Den lange bjælke over vinduerne på 1. sal blev benyttet som fodrem i en af Knarhøjs nye bygninger (margarinefabrikken).
Dette fornemme hus i Søndergade måtte vige for P. Knarhøjs Margarinefabrik. De udskårne figurer skal være havnet på et museum i Kiel, resten er gået til. Heriblandt en samling særdeles værdifulde lægebøger, af hvilke de ældste skal have været fra 30-årskrigens tid samt diverse pesttider. De blev fundet på loftet under nedbrydningen og tillader den slutning, at huset engang var lægebolig. Konsul P. Knarhøj, en statelig mand, var desværre bange for, at bøgerne kunne være smittefarlige, hvorfor de blev brændt. En ulydig datter reddede en enkelt bog, som hun beklageligt nok mistede ved et udlån. Knarhøj overtog huset fra familien Biehl, som her drev en galanterivarehandel.