Den første bebyggelse på hjørnet af Engvej og Kastanie Allé har formentlig været et simpelt hus, hvor der blev fremstillet reb.
Stedet var i 1770’erne ejet af en rebslagermester Andreas Nielsen, som i 1776 lod murermester Stautz omkring bygge den nuværende ejendom på stedet.
Dengang lå Elisenborg udenfor byen, og var det eneste hus vest for Vestgrønningen.
Reberbanen blev dog nedlagt efter kort tid og ejendommen i stedet overtaget af en købmand Lauritzen fra København, der i en periode drev væveri. Det var Dragørs første industrielle virksomhed.
I 1793 blev huset bolig for toldinspektør Moldrup huset, der gav det navnet ”Elisenborg”, efter sin kone Christine Elisabeth.
Under krigen mod englænderne i 1808 blev Dragør beskudt med kanonkugler fra søsiden. Én af disse kugler sidder i dag i muren på Elisenborg. Den har dog nok næppe ramt huset, men er nok samlet op og sat som minde om slaget.
Midt i 1800-tallet købte Hans Jeppesen ”Elisenborg”, der var på det tidspunkt var temmelig forfaldent, for 1120 rigsdaler. Jeppesen var én af Dragør skibsredere og var blevet en velhavende mand med adskillige skibe i sin flåde.
I Jeppesens tid blev Elisenborg brugt som bopæl, ikke bare for skibsrederen og hans kone Leise, men også for flere af deres børn og svigerbørn. Der var således i ejendomskomplekset indrettet flere forskellige lejligheder. I 1872 blev de to bygninger mod vest og syd bygget til.
Det fortælles, at selv om Hans Jeppesen sikkert var en travl mand, gik han hver dag sammen med Leise ud på engen vest for byen, for at hente den ko de havde på græs.
Leise blev i øvrigt kaldt for Elise, men det har nok ikke noget med Elisenborg at gøre. I hvertfald er det ikke hende, der har givet huset sig navn. Hans Jeppesen døde i 1883 ved et skibsforlis.
I 1905 åbnede restauratør Carl Borg, der var svigersøn af skibsreder Jeppesen, en restauration i ”Elisenborg”. Der blev anlagt keglebane, skydebane og en karussel i haven, og her kunne gæsterne sidde med madkurven og nyde udsigten over sundet.
Elisenborg var et populært udflugtsmål, og havde mange gæster sommeren igennem. I 1940’erne blev der holdt bal til levende musik hver lørdag og søndag til kl. tre om natten. På de øvrige dage var der ikke noget orkester, men så tændte man for radioen og dansede til musikken derfra.
I 1955 købte Dragør Kommune huset og det har siden blandt andet fungeret som ungdomsklub.
