Oboje pochodzili z małego miasteczka Plains w stanie Georgia. Eleanor Rosalynn Smith nosiła ubrania szyte przez matkę, krawcową, i była niezwykle przywiązana do ojca, mechanika samochodowego i farmera. Miała troje młodszego rodzeństwa. Rodzice przyszłej głowy państwa Jamesa Earla Cartera jr. prowadzili plantację orzeszków ziemnych. Ojciec Rosalynn zmarł na białaczkę, kiedy dziewczyna miała 13 lat. „Wtedy skończyło się moje dzieciństwo”, wspominała dodając, że musiała zacząć zarabiać, by pomóc matce w utrzymaniu rodziny. Znajdowała dorywcze zajęcia na poczcie, w salonie fryzjerskim i szyła ślubne kreacje.