Krabbé is geboren in een artistieke familie. Zijn vader Maarten Krabbé en grootvader Hendrik Maarten Krabbé waren bekende schilders, evenals zijn middelste zoon Jasper Krabbé nu is. Zijn moeder, Margreet Reiss, was schrijfster en vertaalster van filmteksten. Zijn oudere broer Tim Krabbé (13 april 1943 te Amsterdam) is schrijver. Zijn halfbroer Mirko Krabbé (12 mei 1960) is een bekend multimediakunstenaar/ontwerper. Ook de oudste zoon van Jeroen, Martijn Krabbé (26 maart 1968), komt in de mediawereld terecht als presentator van televisie- en radioprogramma's, evenals zijn jongste zoon Jakob Krabbé.
Jeroen werd op zijn zeventiende toegelaten tot de Amsterdamse toneelacademie.
Ook speelde Krabbé in enkele Hollywood-films met als debuut Jumpin' Jack Flash (1986). Krabbé zou echter vooral bekend worden als slechterik, bijvoorbeeld uit: Prince of Tides (1991) en The Fugitive (1993). Zijn grootste rol in de internationale film was die van slechterik in de James Bond-film The Living Daylights (1987).
In 1998 regisseerde Krabbé de film Left luggage, naar de novelle 2 koffers vol van Carl Friedman, en in 2001 volgde de prestigieuze verfilming van Harry Mulisch' meesterwerk De Ontdekking van de Hemel tot The Discovery of Heaven. Voor beide films schreef Edwin de Vries het scenario.