Fogdens Plads var engang et fugtigt område, som ofte blev oversvømmet, når storme pressede vandet fra Østersøen op i Øresund – og sommetider helt ind i Dragørs gader.
Måske har her engang været gravet ler ligesom på Badstuevælen.
Det har således ikke været attraktivt for de første beboere at slå sig ned her. Det var da også fattigfolk – hovedsagelig matroser – der bosatte sig her, især langs pladsens østside. Dette gælder for øvrigt også for bebyggelsen i Byskriverstræde og den østlige ende af Bymandsgade.
At det var fattigfolk, der boede her, har gjort det vanskeligt at sætte adresser på dem. Folketællingen fra 1787 har nemlig udeladt mange fattige personer (se Birte Hjorth: Dragør i 1700-tallet, s.253). Dette forhold – sammen med manglende oplysninger fra tidlige beboerlister – har vanskeliggjort arbejdet med den topografiske placering af folk, så derfor skal de følgende beboerfortegnelser på de enkelte huse i området tages med et vist forbehold.
Tidligere var pladsen en del af en gade, der hed Store Fiolstræde. Navnet havde ikke nogen lokal tilknytning, men var inspireret af gadenavne i det gamle København.
I 1930’erne fik pladsen navn efter byens foged i årene 1870 til 1899, Isbrandt Peter Schmidt, der sammen med sin kone Trein boede på Fogdens Plads 7. Han var født i 1829 i en familie, hvor mændene igennem generationer havde været lodser. Isbrandt blev dog ikke lods, men fik andel i flere af byens skibe. Bl.a. ejede han briggen ”Augusta”, som i 1877 blev slået til vrag ved Læsø på sin tur hjem fra England med kul.
Isbrandt var i 1875 medstifter af Dragør Skibsfører- og Skibsrederforening, men det er som byens foged, han er mindet i navnet på den plads, hvor han boede.
Byfogeden var i 1700- og 1800-tallet altid valgt blandt byens skippere.
Oprindeligt var Dragør underlagt det særlige styre i Store Magleby, hvor en schout var den øverste myndighedsperson, men efterhånden fik havnebyen lov at vælge sin egen foged til sammen med kredsen af byens mænd at klare en del af sine egne anliggender.
Én af byfogedens opgaver var at organisere korpset af nattevægtere, der i Isbrandt Schmidts tid mødtes i hans hjem på Fogdens Plads, inden de skulle gå deres runde i byen. Vægterne meldte sig klar med ordene ”Vi er her alle”, men var én af den fraværende kunne det lyde: ”Vi er her alle, men Pitter mangler”!