Langt tilbage i tiden var der en vejforbindelse fra Dragør by til ejendommen Elisenborg. Denne vej gik omtrent, hvor Kastanie Allé ligger i dag.
Villavejene Kastanie Allé, Rønne Allé og Drogdensvej blev udlagt efter en samlet plan for en udstykning omkring 1905.
Den gamle vejforbindelse fra Elisenborg til byen, blev nedlagt.
I vejplanen var der oprindeligt også foreslået nogle små nord-sydgående forbindelsesveje vest for Vestgrønningen, men de blev dog ikke realiseret.
Navnet skyldes muligvis, at den oprindelige vej var bevokset med kastanietræer. I 1905 bad forskønnelsesforeningen Dragørs Fremme om lov til at ”flytte den Kastanie Allé, der fører fra Anlæggets Hovedingang og til Byen”, så muligvis har der været tale om ”genbrug” af træer.
Vejen blev navngivet 1911 sammen med Grønnevej, Drogdensvej og Rønne Allé, men havde i begyndelsen navnet Anlægsvej, fordi den førte til Dragør Anlæg.
Bebyggelsen af det nye kvarter vest og syd for Dragør skete langsomt, men det var grundene mellem Kastanie Allé og Rønne Allé der blev solgt først.