La primera esposa de Jimmy Dean fue Mary Sue Wittauer y su segunda esposa fue Donna Meade. Su primer matrimonio terminó en divorcio después de 40 años y el segundo duró 19 años hasta su muerte a los 81 años, un par de meses antes de cumplir 82 años.
Dean y Wittauer tuvieron tres hijos juntos, pero él no tuvo ninguno con su segunda esposa, Donna. Menos de un año después de divorciarse de Wittauer, Dean se casó con Meade, quien también era cantante y compositora. Los dos vivían en Varina, Virginia, en una finca de 200 acres que fue reconstruida después de ser quemada en un incendio.