Da Kristiansand vokste frem, eide kong Christian II laksefisket, men bortleide gården, sagene samt fiskerettigheten på Boen til sine embetsmenn. På slutten av 1670-tallet eide imidlertid selveste dronning Sophie Amalie av Danmark og Norge eiendommen.
I 1702 overtok Lagmann Christian Braunmann gården for å få i gang sagdriften igjen, da den ga best utbytte. Administrasjonen i København hadde lagt ned mange av sagene i regionen, og sagene behøvde privilegium for å drive videre. Boen og Braunmann var blant dem som fikk privilegium. Braunmann døde i 1729, men etterkommerne hans eide gården frem til 1753 da iren Edvard Smith, en fremgangsrik kjøpmann, kjøpte Boen. Mange av bygningene var forfalne, men Smith aktet å rette opp godsets uteseende og renommé og flyttet fra Kristiansand til Boen.
Smith vendte tilbake til Irland allerede i 1765, og overlot det hele til sin datter Margaretha og hennes ektemann kaptein Just Arctander for 14 500 riksdaler. Da Margaretha døde i 1801 lot arvingene Boen gå ut på auksjon. Det høyeste budet var på 26 000 riksdaler, og den nye eieren het Daniel Isachsen. Han var eier av Kristiansands største handelshus. Det lå da til rette for at Boen skulle gå ut av Margaretha Smith Arctanders mektige slekt, men ved en skjebnens ironi giftet Margarethas datterdatter Hanne Nideros seg med den nye eieren, nemlig Daniel Isaachsen, og gjennom henne levde slekten videre på eiendommen til 1940.
Mektige eiere på Boen
Daniel Isaachsen kjøpte gården i 1801 da Margaretha og Just Arctanders arvinger lot gården gå på auksjon. Hans første kone hadde gått bort i 1798, og i 1805 giftet han seg igjen med nettopp Hanne Susanne Nideros, Margaretha Arctanders barnebarn. Hun var 24 år, han var 61, og han ville bygge et lyststed på Boen for sin unge kone. Da Isaachsen døde i 1813, fikk hun utdelt store verdier, deriblant Boen med sagbruk, fiske og jordbruk. På et besøk i Christiania i 1815 traff hun sin nye kommende ektemann, den 51 år gamle Eidsvollhelten Diderich Hegermann. Året før ble Diderich kalt inn som statsråd i armédepartementet, og ble senere utnevnt til generalmajor. Da paret giftet seg i 1815, søkte Diderich om avskjedigelse fra embetsforretningene sine og slo seg ned på Boen.
Sønnen Didrik overtok gården i 1850. Hegermannfamilien hadde ofte venner og bekjente på besøk. Iblant også besøk fra utlandet, som da admiral Lesovsky og hans menn ble invitert til Boen. Blant dem var den unge Nikolay Rimsky Korsakov, som senere ble en verdensberømt komponist. I 1891 var også kong Oscar den. 2 på besøk. Didrik overlot godset til sønnen Cay i 1902, men nedgangstiden i 1920-årene ble vanskelig for den nye eieren. Gjelden var høy da Cays sønn Ditlef overtok i 1927, og 30-årene ble en avviklingsperiode for familien Hegermann.
I 1940 kjøpte skipsmegler Johan G. Olsen herresetet på Boen. Like etter brøt andre verdenskrig ut, og tyskerne inntok gården og rekvirerte den til krigens slutt. Etter krigen ble industrivirksomheten ved fossen modernisert. En ny parkettfabrikk ble bygget i 1955...
Elva var drivkarten
Sagbruksdriften skaffet Boen gode inntekter. På slutten av 1500-tallet ble det ført betydelige mengder tømmer nedover Tovdalsvassdraget fra skogsområdene i Tveit og Birkenes. Fra elvemunningen ble tømmerstokkene fløtet ut til ladestedene Grovika, Lyngholmen og Kuholmen ytterst i Topdalsfjorden. Der lå hollandske skip klar til å laste tømmeret videre til kontinentet. Skogene i Vest-Europa var i ferd med å tømmes, mens de norske skogsområdene nesten lå jomfruelige.
I middelalderen ble bearbeidingen av tømmerstokkene utført med øks. Det var et tidkrevende og tungt arbeid. Det var derfor et enormt fremskritt da de vanndrevne oppgangssagene kom til Norge på slutten av 1500-tallet. Langt større kvanta bearbeidet tømmer kunne leveres på kortere tid. I 1639 fikk lensherren Palle Rosenkrantz tillatelse av kongen til å oppføre sag i fossen ved Boen, og to år senere sto sagene klare til bruk. Det var imidlertid ingen tilfeldighet at disse sagene sto ferdige samtidig med at Kristiansand ble grunnlagt. Ingen andre steder på Agder var tømmereksporten så stor som fra ladestedene i Kristiansandsfjorden, før byen ble grunnlagt. Tømmerhandel med Holland, Skottland og Danmark var en av forutsetningene for byens tilblivelse. Tovdalsvassdraget var dermed medvirkende til Kristiansands etablering og fremvekst.
Lorder og laks
På 1500-tallet svømte laksen i tette stim oppover elven og sto under fossen, før den forserte vannfallet og fant frem til gyteplassene lenger oppe i elven. Denne herligheten, som laksefisket ble kalt, var kong Christian IIs eiendom. På statens vegne overdro kongen bruksretten av laksefisket og gården på åremål til noen av sine høyeste embetsmenn i Norge i bytte mot naturalier. Den årlige leien var 8 lester saltet laks og 100 spekelaks. Den årlige avgiften lå dermed på omkring 10 tonn bearbeidet laks.
På 1500-tallet vokste det frem et lite samfunn av fiskere, håndverkere og handelsmenn på Boen, og i noen hektiske måneder under og etter laksefisket var Boen et folksomt og travelt sted.
På midten av 1800-tallet begynte velhavende engelskmenn å betrakte Norge som et spennende feriemål. Noen søkte seg til den norske fjellheimen, mens andre var lidenskapelige laksefiskere. Elvene på Sørlandet og Tovdalselva var naturligvis ettertraktet. Der kunne de i større grad enn andre steder bo herskapelig hos Hegermann på Boen. De engelske sportsfiskerne ble populært kalt ”lakselorder” på grunn av sin adelige herkomst. Blant dem var lord Cunlife, direktør for Bank of England, Mr. Kenley og den skotske godseieren Harold C. Wilson, som ofte hadde med sin fetter Mr. William Radcliffe. I 1924 dro Radcliffe og Wilson opp 1352 laks i løpet av to måneder.
Tovdalselva var lenge blant de beste lakseelvene i landet, men sur nedbør begynte å få negativ betydning allerede tidlig på 1900-tallet. I 1970 var hele laksebestanden tapt.