Huset måler cirka 5 x 6 meter, i alt 30 kvadratmeter fordelt på to små rom. I dag kunne det vel til nød ha holdt til en hybelleilighet for ett enkelt menneske, men i 1880 kunne ei slike stue huse både en og to familier – enten den lå på et tettsted som Vestfossen eller på en liten husmannsplass. Faktisk skal hus no.84 opprinnelig ha ligget på boplass i skogen og blitt flyttet til sin nåværende plass på begynnelsen av 1850-tallet.
Det var Gabriel Knudsen Hee som var eier av eiendommen på denne tida. I 1855 solgte han tomta og det nyoppsatte huset til Trond Andersen, som i 1860 solgte videre Edvard Andersen Stranda. Han bosatte seg der sammen med kona Berthe Marie Andersdatter, og de rakk å få to sønner – Antonius og Johannes Martinius – før Edvard døde, bare 31 år gammel.
Berthe Marie ble boende igjen som enke, med to små barn å forsørge. Det var ingen annen utvei enn å gå til Fattigkassen, men for å spe på understøttelsen derfra tok hun inn en leieboer – en ugift mor med to sønner, som var noen år eldre enn Berthe Maries egne.
Karen Johanne, som leieboersken het, døde i 1877. Berthe Marie livnærte seg nå som vaskekone og trengte ikke lenger å gå på Fattigkassa, men nye leieboere tok hun inn likevel. Det var et nygift par ved navn Gunder Madsen og Maren Olsdatter. Året etter fikk de sin første datter, Marie.
Det var altså enken Berthe Marie Andersdatter som eide huset da den store brannen brøt løs en stormfull vårnatt i 1880. Det fortelles imidlertid at det var leieboeren, Gunder Madsen, som reddet bygningen ved å pakke den inn i våte brannseil. Dermed overlevde den vesle stua på fjellknausen, mens alle naboene mistet hus og hjem.
Fem år etter den store brannen døde Berthe Marie, men Gunder Madsen fortsatte å leie det av arvingene. I 1894 fikk han og Maren kjøpt det lille huset, og begge ble boende der så lenge de levde.
Men leieboere var det neppe snakk om å ta inn. Gunder og Maren fikk nemlig åtte barn, som alle vokste opp sammen med foreldrene på 5×6 meter! Riktignok bodde vel ikke alle hjemme samtidig, siden det var 19 år mellom den eldste og den yngste, men trangt om plassen må det ha vært. «Vi barna sov på gulvet og i uttrekkssenger. Det var et myldrende liv…». Det fortalte den nest yngste av døtrene, Regine, da hun ble intervjuet på Eikertun, over 90 år gammel. Barneflokken besto for øvrig av Marie, Olaus, Gunda, Magnhild, Emilie, Regine, Artur og Margit. Flere av dem har etterkommere som har satt spor etter seg i Vestfossen.
Gunder Madsen hadde for øvrig en brokete yrkeskarriere. Som ung var han jernbanearbeider. Deretter fikk han arbeid ved ett av de to tresliperiene som startet i Vestfossen omkring 1870, og da Vestfos Cellulosefabrik kom i gang, ble han cellulosearbeider. På sine eldre dager var han gråsteinsmurer og fiskehandler. Datteren Regine mintes ham som en blid og snill mann som alltid luktet fisk. Han kjøpte kasser med makrell og sild på Bragernes som han fraktet hjem med toget. Så gikk han rundt på bygda og solgte, med fiskekjerre om sommeren og kjelke om vinteren. Han døde i 1918, mens Maren ble boende igjen som enke i mer enn 30 år.
Ett av barnebarna overtok etter hvert som eier, men det var ikke lenger så mange som var interessert i å bo i den vesle og mer enn hundre år gamle stua. Huset ble leid ut til en og annen tilfeldig leieboer, men i lange perioder ble det stående tomt. Slik var situasjonen på 1980-tallet, da Arne Thorkildsen begynte å interessere seg for huset. Som pensjonist drev han og registrerte gamle boplasser på Eiker, og han oppdaget at det var bevart sørgelig få stuer av denne typen, som på 1800-tallet hadde vært vanlig som bolig for alminnelige arbeidsfolk. Den vesle stua ble ett av hans hjertebarn, og det var vel han som satte navnet «Madseberget» på eiendommen.
Thorkildsens engasjement førte til at Øvre Eiker kommune til slutt kjøpte den gamle tømmerstua og satte den i stand. Etter hvert ble det bestemt at den skulle være kommunens «kunstnerbolig», et tilholdssted for kunstnere som valgte å etablere seg i «Kulturhovedstaden Vestfossen». Den mest kjente av beboerne er vel lyrikeren Triztan Vindtorn.
