På gårdmand Tønnes Jansen Drakers liste over folk, der har fået udvist huspladser, står Jacob Smed anført for en grund, der kunne rumme et 6 fags hus. Det har formodentlig været omkring 1734, hvor matrosen Jacob Mathiasen Schmidt giftede sig med pigen Anna Jensdatter fra Skipperstræde 10.
Jacob var søn af byens smed, Mathias Frederic Rasmussen, som boede, hvor det nuværende “Dragørhjørnet” er placeret. Han tog styrmandseksamen i 1749, og han havde da “faret” på Frankrig, Spanien, Island, Nord- og Østersøen. Siden blev han skipper med jagten “Anne” på 10 læster og en besætning på 1 mand og 1 dreng.
Jacob og Anna fik seks børn, der nåede frem til voksenalderen. Den ældste søn, Mathias Jacobsen Schmidt, der blev lodsoldermand, arvede sin morfars ejendom Skipperstræde 10, og hans søn igen, Pieter Mathias Schmidt, kom tilbage og overtog Blegerstræde 6 efter den gamle Jacob Mathiasen Schmidt.
Pieter Mathiasen Scmidt var kongelig lods og gift med Marchen Isbrandt Raagaard fra Sønderstræde 7.
Han deltog i juni 1808 i roflotillens erobring af den engelske orlogsbrig “The Turbulent”. Det var måske i den anledning, at han blev udnævnt til dannebrogsmand. Parret fik seks børn, der nåede frem til giftealderen, men ingen af dem ønskede at overtage barndomshjemmet.
Sidst i 1830’erne blev huset overtaget af skomager Niels Rasmussen, gift 1838 med Ane Adrian Rasmussen. Han stammede fra Assens, mens hun var skipperdatter fra Bymandsgade 8. De fik ingen børn.
I 1850 lejede de en del af huset ud til en bagersvend, Peter Westphal med familie. Ane døde i 1859 af “apopleksi og krampe”, hvorefter Niels et halvt år senere giftede sig med sin nabo, den 42-årige pebermø Ane Jan Herman Jacobsen, og flyttede ind til hende i Blegerstræde 8. Her forlod han sin skomagerlæst og blev bleger.