Il commence sa carrière au cinéma, un peu par hasard, dans le rôle du « beau militaire », un rôle qui le poursuivra une bonne partie de sa carrière.
Jean Murat joue aussi des rôles antipathiques pendant la période du cinéma muet, Galerie des monstres de Jaque Catelain en 1924, Carmen de Jacques Feyder, en 1926. Le cinéma parlant lui permet de faire découvrir au public sa belle voix grave.