Det må være Pieter Nielsen Passer, som har ladet huset opføre. Han var født i 1731 som søn af skipper Niels Jacobsen Scanør og Marchen Pieter Passer. Han blev i 1755 gift med Ahf Pietersdatter, der var datter af skipper Pieter Jensen Pouls fra Skipperstræde 14.
Ahf døde i 1766, hvorefter Pieter giftede sig med Ahlt Jan Theisen – en Store Magleby-pige. I sit første ægteskab fik Pieter en søn Niels og en datter Anne. Hans anden kone skænkede ham datteren Marchen.
Da Pieter Passer i 1751 fik styrmandseksamen, havde han faret 4 år på Østersøen og Norge. Han begyndte som skipper på jagten “Tre Søstre” på 12 læster. Senere sejlede han med en galease på 27 læster. Med dette skib forliste han i 1767 i Østersøen og druknede. Der blev holdt dødsboauktion over Pieters efterladenskaber.
Handlen gik åbenbart livligt nok, men det viste sig, at køberne ikke var ivrige efter at betale, hvad de havde budt. Pengene skulle være faldet inden september 1768, hvilket ikke var sket. En person – Pieter Pietersen – har sammen med skriveren Isbrandt Claesen været rundt flere gange til disse folk for at indkassere auktionspengene, men forgæves.
Denne Pieter Pietersen beklagede sig da til schouten – “thi det er mig ikke muligt, at jeg kan med min egen magt få dem indkasseret – – arvingerne er små og umyndige – – og de tærer dagligen af deres arv”. Måske stammer denne beklagelse fra Ahfs broder, Pieter Pietersen Pouls, der kan have været formynder for sin afdøde søsters børn.
Pieter Passers enke, Ahlt Jansdatter, giftede sig i 1769 med skipper Pieter Hansen Strømberg, som stammede fra Lybækstræde 4. I dette ægteskab blev født to sønner og en datter. Ahlt døde i 1787. Pieter Strømberg var havnefoged fra omkring 1780 til sin død i 1790.
Næste beboer blev skipper Jan Jørgensen. Han stammede fra Vognmandsgade og var i 1779 blevet gift med Anne Henrichsdatter Palm fra Lodsstræde 15. De fik ingen efterkommere. Parret havde, forinden det overtog huset her, boet i Sønderstræde 11. Anne døde i 1799, men i 1813 – efter at have været enkemand i 14 år – giftede Jan sig med enken Aide Olsdatter fra Blegerstræde 8. Hun havde på dette tidspunkt to ægteskaber bag sig.
I 1816 solgte Jan huset til skipper Niels Jørgensen, der var født i Von Ostensgade 4. Han havde forinden boet i Strandstræde 35 i hans kone, Trein Peder Kromanns barndomshjem. Trein og Niels havde fået mange børn, så huset i Strandstræde var vel blevet for trangt. Blegerstræde 16 kunne byde på flere kvadratmetre. Det blev datteren Marchen Nielsdatter og ægtemand Henrich Crillesen Palm, der førte huset videre.