Vi kender ikke meget til ejerne af Rågårdsminde før 1806, hvor Jan Carlsen ejer gården. Han er både skomager og kreaturhandler samtidig med, at han er gårdmand.
Af de gamle kort tyder det på, at der tidligere har ligget ganske få og mindre bygninger, og at gården derfor muligvis har været et husmandssted.
I 1817 ejer Jan ud over gårdens jorde også fire andre gårdspladser. Det kan være, at han efter den store brand i 1809, som stoppede lige inden Rågårdsminde, har købt tomter efter nedbrændte gårde.
I hvertfald vokser gården støt og overgår gennem 1800-tallet fra forældre til børn primært døtre og svigersønner.
I 1826 overtager husmand Peder Svendsen Schmidt gården. Han var en driftig og ambitiøs mand, der hele livet kæmpede for at blive anerkendt som bonde med dertil hørende rettigheder. Først efter en klage til stiftsamtet får han ret til tre stolestader i kirken uden at skulle betale for dem. Han ender dog som en højt respekteret mand. I 1831 bliver han skoleforstander og senere skolepatron og revisionsmand for i 1857 at blive valgt som byens første sognerådsformand.
Fra 1901 ejer Peter Raagaard gården, som går i arv til hans datter og svigersøn. Efter ham har gården formentlig sit navn.
Hans søn, Bertel Petersen, tager navnet Raagaard og gården forsætter således i familiens eje lige til i dag.
