„Apám civilben is első világháborús katonatisztnek tűnt... Engem tiszta erőből, válogatás nélkül ütött. Ökléről azóta is sokszor álmodom, úgy is, ahogy összetört, és úgy is, ahogy ügyetlenül megnyílva igyekezett összerakni egyetlen darabbá, olyanná, amilyenné én akkor már réges-rég nem tudtam összeállni" - meséli emlékeit az 1921. november 27-én született költő. A kemény apa dühe mögött az is meghúzódhatott, hogy fia nem lett olyan férfias, mint ő maga. A más lelki beállítottságú költőt egyébként emiatt állandó lelkiismeret-furdalás gyötörte.
Édesanyjához már szorosabb kapcsolat fűzte, de nagy hatással volt rá három anyai nagynénje is, akik közül egyik sem ment férjhez, egy háztartásban éltek viszont Pilinszkyvel. Egyikük, Bébi, egy nagyon redukált nyelvet beszélt, és mivel a költő vele volt a legtöbbet gyermekkorában, sokan erre vezetik vissza szűkszavúságát. Másikuk, Baitz Erzsébet, a szervita rend női ágának magyarországi alapítója volt, lánynevelő intézetet igazgatott. A kis Jancsit sokszor magával vitte a prostitúcióból élő kamaszlányok közé, akiket első barátainak és játszótársainak nevezett. Az itt begyűjtött hatások élete végéig elkísérték: a vasgolyó, amihez a lányokat láncolták; a kápó nyugalmú apáca, akinek „tekintetében az őrtornyok reflektora világított és a farkasok torka égett"; a fiatal prostituáltak, akiket hiába kedvelt meg, egyik napról a másikra örökre eltűntek az intézetből. Verseinek első értője szintén egy hölgy, Erika nevű nővére volt, akihez olyan szoros kapcsolat fűzte, hogy annak öngyilkosságát követően nem is írt többet.
Pilinszky a budapesti piarista gimnáziumban tanult (1931-39), majd ott érettségizett. A Pázmány Péter Tudományegyetemen kezdett jogot hallgatni az - ekkorra már gyomorfekélyben elhunyt - apja kívánságának megfelelően. Tanulmányait fél év után annak ellenére a magyar-olasz-művészettörténet szakon folytatta, hogy a családi tiltakozások tettlegességbe torkolltak: rendfőnök nagynénje felpofozta.