Synapticiel - un système décisionnel pour les télécoms basé sur la Suite Elastic

Cet article fait partie d'une série de témoignages d'utilisateurs provenant de notre campagne #ElasticStories. Si vous êtes intéressé(e) et souhaitez partager à votre tour votre expérience, taguez-nous sur Twitter en utilisant #ElasticStories.

Le contexte

Fondé en 2012, Synapticiel se spécialise dans l’exploration et l’analyse big data en télécommunication. Nous proposons la solution S-One, permettant à nos clients de pouvoir mieux exploiter leurs données et les aider dans leur prise de décision. S-One offre une architecture distribuée basée sur la Suite Elastic pour stocker et visualiser et analyser en temps réel les données générées par l’ensemble des switches réseaux de l’opérateur.

Cette solution a été présentée chez un opérateur mobile en Afrique de l’ouest qui compte près de 3 millions d’abonnés et offre des services Internet 3G/4G pour une clientèle variée dans un marché de plus en plus exigeant.

Situation technique

Environ 50 millions de CDR (Call Detail Record) sont générés chaque jour par différents noeuds de réseau (AIR, SDP, CCN, OCC, MSC, CGSN, SMSC). Le système décisionnel existant de notre client comporte 4 fonctions techniques principales :

• un outil de médiation pour collecter et transformer les données,
• un ensemble de scripts ETL (Extraction Transformation Lead),
• un Datawarehouse (DWH) principalement composé d'une base de données Oracle 11g,
• un serveur Business Intelligence ,exploité par la plateforme SAP Business Object pour la conception des univers et pour la couche présentation.

Le système décisionnel de notre client présentait plusieurs faiblesses dans les domaines suivants :

• Scalabilité : originellement conçu pour supporter la charge de 500 000 abonnés, le système n’était plus en mesure de suivre la croissance lorsque le nombre d’abonnés fut multiplié par 6.
• Flexibilité : L’ETL ne pouvait plus s’adapter aux changements de structure des fichiers, incapable de gérer l’exhaustivité des données et d’assurer un système d’alerte dynamique.
• Standard : La nomenclature des types de fichiers évoluant avec le temps rendait les contrôles de saut inefficace et forçait des rejeux manuels des fichiers dans le système
• Performance : l’exécution des requêtes et le chargement des données étaient inefficaces causant une multitude de problèmes de performance et dysfonctionnements.
• Configuration : les comptes dédiés et les règles de gestion pour le calcul des indicateurs n’étant pas sauvegardées sur le système, rendait la gestion difficile à chaque mise à jour de l’outil de reporting BO.
• Agilité : les utilisateurs étaient aussi contraints de demander auprès des administrateurs les fichiers dont ils avaient besoin.

Déployer la solution S-One “Events Mediation & Streaming Analytics”

Pour remédier intégralement à l’ensemble des problèmes du système décisionnel de notre client, nous avons proposé une solution unique basée sur S-One “Streaming Analytics”.

S-One est bâtie autour d’une bibliothèque de plus de 170 connecteurs qui récupèrent en temps réel les logs générés par les différents nœuds du réseau. Ces logs sont collectés, décodés, formatés, enrichis puis transformés en un format unifié pour faciliter les analyses métiers. La Suite Elastic a été choisie comme socle principal de la solution S-One en raison du caractère complet, distribué et scalable de la suite. Ce sont 3 critères essentiels pour garantir l’élasticité d’une solution Big Data pour le secteur de la télécommunication.

Parallèlement plus de 50 KPIs sont calculés par abonné et par jour en continu :

La nouvelle solution traite en moyenne plus de 50 millions CDR par jour, la répartition par source de données est la suivante :

Notre configuration de la Suite Elastic repose sur la version 6.5.2 avec pour socle Elasticsearch, Logstash et Kibana. Voici un aperçu de l’architecture :

S-One Features

L’un des besoins majeurs de notre client est la visibilité en quasi temps réel de l’activité business, en l’occurrence :

• L’évolution du chiffre d’affaire de recharges
• L’évolution du chiffre d’affaires de consommation par type (voice, sms, data, VAS, expiration des crédits)

Pour répondre à ces besoins nous avons mis en place une chaîne de collecte combinant 2 approches de traitement des données :

• Stream Processing : Pour accélérer la mise à disposition des dashboards dynamiques en temps réel, et calculer des KPIs par abonné
• Batch processing : Pour faire des contrôles supplémentaires pour s’assurer de l’exhaustivité des fichiers collectés et traités.

Ces approches sont possibles grâce à la flexibilité, la scalabilité et les performances offertes par la Suite Elastic :

• Logstash : une fois les fichiers collectés et décodés (transformation d’un format binaire ASN1 vers un format Json), Logstash applique des transformations, corrélations et enrichissements pour faire correspondre chaque événement àun format métier plus riche en informations.
• Elasticsearch : stocke les données envoyées depuis une instance Logstash, les indexe et répond en quasi temps réel aux requêtes de recherche et aux agrégations, indépendamment du nombre de documents présents
• Kibana : permet la visualisation en quasi temps réel des KPIs business.

Conclusion

Grâce à la Suite Elastic, nous avons rapidement consolidé l’ensemble des flux Ericsson en temps réel (60 millions d’événements par jour) et construit les tableaux de bord permettant de suivre les KPI métiers des activités dont :

• Chiffre d’affaires de la recharge, par canal (Recharges Physique, Électronique, Mobile Money)
• Chiffre d’affaires VAS (Services à valeur ajoutés) par Produit/Service et par jour
• Consommation prépayés Voix/SMS/Data, par type (Local/Roaming) et par destination, par jour
• Consommation par compte, par service et par jour
• Crédit principal disponible et crédit expiré par jour
• Statistique du parc (Activation, Déconnexion, Gross Add, Parc Actif, Parc par Opérateur)

A l’aide de la Suite Elastic nous avons posé l'infrastructure logicielle d’une solution évolutive, scalable, standard et performante qui assurera la réponse aux besoins futurs de notre client. La richesse de la Suite Elastic nous a permis d’adresser des nouveaux cas d’utilisation dans le secteur des télécoms et il continue à nous accompagner avec succès dans le déploiement de la roadmap de notre solution S-One.

Yassine LASRI est le CEO et co-fondateur de Synapticiel, une société fondée en 2012 qui se spécialise en Big Data Analytics dans le secteur des télécoms. Il est responsable du développement commercial et des relations d'affaires stratégiques au niveau mondial. Aspirant à l'innovation en entreprise et avec plus de 12 ans d'expérience en conception de solutions OSS/BSS, RA & FMS, Yassine utilise ces nouvelles technologies pour résoudre avec succès des problématiques de Big Data Analytics dans le secteur des télécoms.