Borgmester 1851-1864

Efter at have deltaget som auditør i Treårskrigen udnævntes han 1850 til borgmester m.v. i Sønderborg på Als, fra hvilket embede han afsattes 2. juli 1864 efter øens erobring af preusserne under den 2. slesvigske krig. Fra marts til november 1864 repræsenterede han det 4. slesvigske bydistrikt i Rigsrådets Folketing. Efter en kortere tjenstledighed beskikkedes han 8. maj 1865 til stiftamtmand på Island og blev således øens øverste stedlige embedsmand, hvilken ansvarsfulde og vanskelige post han beklædte i de følgende 18 år, til 1883, fra 1. august 1873 som landshøvding med den dermed følgende udvidede myndighed. 30. maj 1883 ombyttede Finsen dette embede med stillingen som overpræsident i København, men kaldtes allerede 27. august 1884 til indenrigsminister i ministeriet Estrup i stedet for E.V.R. Skeel. Fra denne stilling trådte han dog efter knap et års forløb (august 1885) tilbage på grund af sygdom og modtog samtidig udnævnelsen til Storkors af Dannebrog. Han døde 15. januar 1886.