Il dirige ensuite la région SNCF Rhône-Alpes puis prend le poste de directeur général de Keolis Lyon, opérateur des bus, métros et tramways lyonnais. Jean-Pierre Farandou a également occupé le poste de directeur des cadres RH de 1998 à 2000. Il reçoit à cette occasion, en 2017, le grand prix du cercle Humania, qui récompense un DRH devenu président. 

À partir de 2006, au sein du comité exécutif de la SNCF, il crée et dirige la branche SNCF Proximités, regroupant Transilien, TER, Intercités et le Groupe Keolis-Effia. En 2012, il est nommé directeur général délégué du groupe SNCF puis devient président du directoire de Keolis, spécialiste du transport urbain, présidence qu’il assure pendant sept ans. 

En tant que président-directeur général de la SNCF, Jean-Pierre Farandou entend, avec son équipe de direction, déployer la stratégie de l’entreprise publique autour du développement du ferroviaire en France. Il positionne le groupe SNCF en leader mondial de la mobilité durable voyageurs et marchandises à horizon 2030. 

En parallèle de ses activités au sein du Groupe SNCF, Jean-Pierre Farandou a été président du GIE Objectif transport public (2013-2015) et de l’Union des transports publics et ferroviaires (2014-2017). Il a également assuré la présidence de l’Orchestre national d’Île-de-France (2012-2014) et de la fondation Centre Jacques Cartier (2018-2019). Il est par ailleurs membre du Conseil d’orientation de l’Institut de l’Entreprise depuis 2021, et membre du conseil d’administration du mouvement Impact France ainsi que président de Fer de France depuis 2023. Jean-Pierre Farandou est ingénieur des Mines de Paris et officier de la Légion d’honneur.