Oui.SNCF: Améliorer la lecture des données pour renforcer l’efficacité des métiers

En charge du pôle Big Data technique au sein de Oui.sncf-Technologies, Dominique Debruyne a aujourd’hui pour mission de construire un socle technique qui va servir à transporter, stocker, historiser, traiter et restituer un maximum de sources de données internes ou externes afin d’améliorer la connaissance des clients, de faire de l’analyse prédictive, de pouvoir observer le comportement du SI en temps réel. Cependant, cette activité est récente. Oui.sncf-Technologies assurant la réalisation, l’hébergement et la mise en production des moyens informatiques qui répondent aux besoins métier, le rôle initial de Dominique Debruyne était en effet d’assurer la QOS et les SLAs sur des données structurées stockées dans des bases de données relationnelles.

Dans le but de toujours délivrer la meilleure qualité de service, l'ambition de Dominique Debruyne est de s'assurer que ses équipes et divisions puissent utiliser les outils du Big Data en tout autonomie.Le choix s’est donc porté sur des outils ergonomiques, mais aussi open source, car ces derniers permettent de mieux s’adapter aux besoins des utilisateurs.

Chez VOui.sncf, la croissance des serveurs impacte dès 2013 aussi bien l’efficacité des équipes techniques que celles des métiers. Les premières perdent de plus en plus de temps à rapatrier des logs sur leurs postes Windows pour surveiller le bon fonctionnement du matériel et les seconds souffrent de requêtes de plus en plus lentes quand ils essaient d’analyser leurs données commerciales au sein d’une base Oracle qui devient tentaculaire.

Selon lui, des retards dans la résolution des problèmes sont susceptibles d'avoir un impact sur l’expérience client et donc représenter un risque en termes de ventes. De la même manière, la lenteur subie par les métiers nuisait à réactivité face aux demandes des clients et, donc, à leur efficacité commerciale.

Pour faire face aux problématiques rencontrées, surgit l’idée de sortir les données des silos qui les fractionnent, en les mettant toutes dans un Datalake Hadoop d’où on pourrait tirer des rapports en PDF. Problème : cette solution demande des développements supplémentaires et n’accélère pas pour autant la détection des problèmes. L’équipe Big Data se met alors en quête d’une solution permettant d’avoir en temps réel une vue limpide des logs.

Dans un premier temps, la version open source d’Elasticsearch est installée afin d’indexer et rechercher les données. Pour la partie visualisation, le choix de Kibana (greffon d’Elastic) s’est imposé de manière évidente. Les bénéfices se font alors immédiatement sentir : le diagnostic des problèmes devient si rapide que leur résolution passe de plusieurs heures à seulement quelques minutes. Au niveau technique, la solution est simple à installer et à maintenir. Elle est stable si on respecte les bonnes pratiques d’utilisation.

Désormais, Oui.sncf est équipé d’un cluster dédié à la Suite Elastic qui comprend 20 serveurs, contient 80 To de données et ingère 2 To de nouvelles informations par jour. Ces données, qui ne sont généralement pas gardées plus d’un mois, sont indexées par Elasticsearch dans le but d’y chercher des points d’intérêt.

Depuis 2017, l'architecture a été enrichie avec Apache Kafka, qui permet d'absorber les pics de charge et de prévenir des ralentissements dans l'activité de Oui.sncf. L’ingestion des données en elle-même est confiée pour l’heure à Flume, un projet open source de la fondation Apache. En perte de vitesse, celui-ci devrait être remplacé prochainement par NiFi, son successeur chez Apache. L'architecture a été conçue de manière à faciliter l'apport de fonctionnalités d'analyse prédictive et de détection d'anomalie, qui pour cette dernière sera possible grâce à la fonctionnalité de machine learning disponible au sein de X-Pack.

Concernant la visualisation avec Kibana, 200 utilisateurs ont été formés à la création de tableaux de bord afin que les métiers soient totalement autonomes dans l’étude des critères qui les intéressent. De l’aveu de Dominique Debruyne, la création de tableaux bord Kibana à base de filtres et de critères temporels est somme toute assez simple. Si simple qu’elle a d’ailleurs fait l’objet de bonnes pratiques : on conseille par exemple aux utilisateurs de cantonner leurs recherches au seul nom de leur projet pour ne pas fouiller inutilement dans toutes les données, voire d’avoir la bienveillance de positionner des rafraîchissements automatiques toutes les cinq minutes quand un utilisateur n’est pas tenu de réagir à la seconde près à un événement.

De fait, quand de nouveaux projets sont développés, ils utilisent les modèles prédéfinis et les métiers peuvent les doter de nouveaux tableaux de bord très simplement, sans que l’équipe Big Data n’ait à intervenir.

A ce jour, plus de 50 projets utilisent Kibana, au travers de 400 tableaux de bords qui traitent 2 milliards de documents par jour. Parmi ceux-ci, 200 tableaux de bords sont utilisés quotidiennement pour surveiller que le niveau de service reste au maximum, pour trouver des points d’amélioration et avoir une idée la plus éclairée possible de l’activité.

Et puisque l’éclairage que procure Kibana rend les stratégies commerciales de l’entreprise plus intelligentes, est venue l’idée de pousser le concept jusqu’à l’intelligence artificielle. Pour l’heure, les développements concernent la cybersécurité de Oui.sncf.

Enfin, à titre plus personnel, la Suite Elastic a permis à Dominique Debruyne de donner de la visibilité à son équipe, au point d’en faire une entité hautement stratégique.