Oprindeligt opbevarede Dragør Lodseri sejl og andet grej i lodsbygningen.
Men i 1845 var pladsen i blevet for trang, bl.a. der blev stillet krav om, at lodseriet skulle stllle pakhusplads til rådighed for vinteropbevaring af sømærker.
Derfor bad Lodserne byen om, at få overladt en byggeplads på ved siden af lodsbygningen.
Her ville de opføre et pakhus til sejl, sømærker og andet grej. Byforstanderskabet gav tilladelsen på betingelse af, at der betaltes seks rigsdaler i årlig leje.
Byggepladsen lå med sin sydlige langside i vandkanten, og det blev da også fra byforstanderskabets side pointeret, at hvis grunden skulle skride, var det lodseriets eget problem og uden mindste omkostning for havnekassen.
Lodsernes pakhus – havnepakhuset som det blev benævnt – mistede i løbet af 1900-tallet sin betydning for lodseriet.
I 1934 solgte man bygningen til kommunen, der i 1970’erne stillede en del af den til rådighed for Dragør Museum.
I slutningen af 1998 fik museet mulighed for at købe huset, og efter en gennemgribende restaurering er det indrettet til museumsformål.
