Dîplomé de Harvard, Rob Cohen débute à 20 ans comme assistant réalisateur pour le petit écran puis comme lecteur de scénario à l'International Famous Agency, où il recommande notamment le script de L'Arnaque. Au début des années 70, il entre à la 20th Century Fox Television où il devient directeur de l'unité téléfilms.

Rob Cohen débute au cinéma en 1975 lorsque Berry Gordy l'engage comme vice-président exécutif du département cinéma de Motown. Il produit alors, entre autres, Mahogany, avec Diana Ross, et The Wiz avec Michael Jackson. En 1978, il réalise un premier long-métrage semi-autobiographique, Un petit cercle d'amis, sur le quotidien d'étudiants de Harvard pendant les années 60. Rob Cohen se consacre ensuite davantage à la production (Le fil du rasoir, The Running man, Les Sorcieres d'Eastwick). En 1988, il fonde avec John Badham la société Badham/Cohen Group, qui produit les comédies d'action La Manière forte et Comme un oiseau sur la branche. En 1993, il signe une biographie de Bruce Lee intitulée Dragon, l'histoire de Bruce Lee.

Au fil des ans, Rob Cohen se concentre sur son activité de réalisateur. Il signe le film fantastique Coeur de dragon (1996), le thriller The Skulls, société secrète (2000) et le film de science-fiction Furtif (2005), mais se distingue surtout par des films d'action musclés : Daylight (1996), Fast & furious (2001) et XXX (2002) l'intronisent ainsi comme un spécialiste du genre. En 2008, il réalise La Momie 3 : la tombe de l'empereur dragon, troisième volet de la saga d'aventure emmenée par Brendan Fraser. Si ce troisième volet connaît un succès important puisqu'il rapporte plus de 400 millions de dollars dans le monde, Rob Cohen connaît ensuite un échec avec Alex Cross (2012).

Si le film qu'il réalise après, Un voisin trop parfait (2015), est accueilli très froidement par la critique, il récolte tout de même 53 millions de dollars dans le monde alors qu'il n'en a coûté "que" quatre. En 2017, il revient avec Hurricane, un film d'action mélangeant deux genres qu'il connait bien : le film de braquage et le film catastrophe.