A z amerikai fizikus édesapja, Julius Seligmann Oppenheimer német származású zsidó volt, aki még tinédzserként vándorolt ki Németországból Amerikába, hogy szerencsét próbáljon.
A fiatal Seligmann a textiliparban helyezkedett el, és szorgalmas munkával sikeresen meggazdagodott, melynek következtében New York fényűző kerületében vásárolt magának ingatlant. Seligmann 1903-ban feleségül vette – a szintén német származású amerikai zsidó hölgyet – Ella Friedmant, akitől 1904-ben megszületett első gyermekük, Julius Robert Oppenheimer, akit az „atombomba atyja”-ként szokás emlegetni. Rajta kívül még három fiúgyermeke született a fiatal házaspárnak.
Robert Oppenheimer 17 éves korában fejezte be a középiskolát, majd egy évvel később felvételt nyert a Harvard Egyetemre, ahol a kémia lett a fő szakja. Itteni tanulmányai során kezdett el érdeklődni az elméleti fizika iránt Percy Bridgman későbbi Nobel-díjas fizikus előadásainak hatására.