Den første beboer, som man kan finde her, er Søren Rasmussen Leth. Han blev gift i 1762 med skoleholderens datter Malene Christian Wochmann.
Måske er de ikke de første beboere her på stedet, i og med at alle de omkringboende par er blevet viede i løbet af 1750’erne.
Søren stammede fra Strandgade 12 og Malene fra Bjergerlav 3. De fik to døtre, Leisbeth og Johanne, som nåede frem til giftealderen.
Søren fik sin styrmandseksamen i 1754. Sørullen fortæller, at han var mådelig af vækst med brunt glat hår.
I de yngre år gik han ikke af vejen for at tage en hyre som matros.
Senere var det hovedsagelig på københavnske fartøjer, han var styrmand, og det var til destinationer som Irland og Vestindien. I 1767 blev han skipper og fører af den københavnske galiot “Friheden” på 47 læster, hovedsagelig til destinationer omkring Østersøen.
Under slaget på Reden den 2. april 1801 var Søren 1. styrmand på orlogsskibet “Sjælland”, hvor han “blev såret på hovedets højre side”. Han døde et par dage senere på Det kgl. Frederiks Hospital.
Malene var allerede død i 1783. Det blev den yngste datter Johanne, der overtog huset. Hun blev i 1802 gift med skipper Jørgen Olsen Jans, som stammede fra Blegerstræde 5.
I 1810 under Englandskrigen sejlede Jørgen med sin galease “Fortuna” syd om Møn. Her blev han forfulgt af en engelsk fregat. For ikke at falde i fjendens hænder valgte han at sejle sit skib ind på kysten og derefter sætte ild til det.
Jørgen og Johanne fik otte børn – én var krøbling, og én faldt ned fra en skibsmast. Det blev sønnen, styrmand Christian Jørgensen Jans, gift med Kirsten Jørgen Blichmann, som siden overtog huset.
To af deres sønner delte det i 1876 imellem sig, hvorved opstod Bymandsgade 4 og Bymandsgade 6, (matrikelnummer 136a og 136b).
Efterkommere efter den gamle Søren Rasmussen Leth beboede huset til midten af 1900-tallet.