Contribution d'Elastic Common Schema (ECS) à OpenTelemetry (OTel) pour accélérer l'adoption de l'observabilité et de la sécurité basées sur OTel

Aujourd'hui, il existe une telle variété de sources de données avec des schémas qu'il est difficile de repérer les problèmes logiciels et d'en comprendre la cause première. D'où l'utilité d'un schéma commun qui normalise les données pour en améliorer l'analyse, la visualisation et la mise en corrélation dans les solutions d'observabilité et de sécurité et qui, de là, accélère l'analyse de la cause première. Pour nous assurer que nos clients et que la communauté dans son ensemble peuvent tirer parti de cette normalisation, Elastic s'est engagée à élaborer un schéma commun pour les indicateurs, les logs, les traces et les événements de sécurité qui s'appuie sur Elastic Common Schema (ECS) et OpenTelemetry (OTel).  

Elastic fournit ECS à OTel et met tout en œuvre pour élaborer un schéma commun. OTel est le deuxième projet à avoir la plus forte croissance de la Cloud Native Computing Foundation (CNCF). Il s'agit d'une suite d'outils, d'API et de SDK qui permettent de générer, collecter, traiter et exporter des données télémétriques (indicateurs, logs et traces) afin de comprendre les performances et le comportement des logiciels. Elastic propose depuis longtemps des normes ouvertes, Cette contribution témoigne de son engagement continu envers la communauté. En fournissant ECS à OpenTelemetry, nous espérons créer un schéma commun mature et éprouvé dans OTel pour les indicateurs, les logs, les traces et les événements de sécurité, qui s'appuiera sur Elastic Common Schema. Avec OTel, nous continuerons à travailler sur un schéma commun, que nous entretiendrons par la suite.

Une valeur ajoutée pour la commuauté open source

ECS est une spécification open source (Apache 2.0) développée avec l'aide de la communauté d'utilisateurs Elastic, qui définit un ensemble commun de champs à utiliser lors du stockage de données d'événement dans Elasticsearch. ECS aide à réduire les coûts de gestion et de stockage induits par la duplication des données, ce afin d'améliorer l'efficacité opérationnelle.

Dans la même optique, les conventions sémantiques (SemConv) d'OTel établissent aussi des noms communs pour plusieurs types d'opérations et de données. L'utilisation des SemConv d'OTel présente l'avantage de suivre un schéma de dénomination commun qui peut être normalisé sur une base de codes, des bibliothèques et des plateformes pour les utilisateurs d'OTel.

La fusion d'ECS et des SemConv d'OTel contribuera à faire progresser l'adoption d'OTel, ainsi que l'évolution et la convergence continues des domaines de l'observabilité et de la sécurité. 

Un engagement sur les normes ouvertes

L'objectif du développement collaboratif d'un schéma commun est de définir, pour la majorité des types de systèmes populaires, des conventions sémantiques qui ne dépendent pas d'un fournisseur. La prise en charge des composants créés par les fournisseurs ou des composants open source (par exemple, logs d'accès HTTP, logs réseau, logs d'accès système/authentification) renforcera la corrélation OTel vers ces nouveaux types de données. Les personnes ayant apporté leur contribution à ECS ont déjà fait le gros du travail en définissant un ensemble unifié de conventions sémantiques, qui peut être adopté dans OTel.

La contribution d'ECS apportera de nombreux avantages à l'écosystème, parmi lesquels :

• un format structuré normalisé et unifié pour les logs générés par les fournisseurs et pour les logs open source ;
• des avantages pour les utilisateurs avec des intégrations de logs prêtes à l'emploi entièrement reconnues par les produits et services d'observabilité compatibles avec OTel ;
• une prise en charge étendue d'OTel au niveau de l'infrastructure avec une prise en charge optimale des logs d'application Kubernetes, des logs système et des événements d'investigation des applications ;
• une définition normalisée des données télémétriques d'observabilité pour les applications et l'infrastructure, ce qui permet d'éliminer la dépendance à un fournisseur en matière d'observabilité.

Avec l'adoption d'ECS par OTel, les auteurs des récepteurs de logs du collecteur OTel pourront fournir des définitions de données enrichies dans leurs messages, ce qui permettra d'améliorer la qualité des données et d'établir le collecteur OTel comme collecteur de logs de référence de facto dans le secteur.

ECS a évolué pour couvrir les besoins des utilisateurs qui collectent de nombreux types de données télémétriques pour de nombreuses utilisations. L'adoption d'ECS va considérablement renforcer l'utilité d'OTel pour les DevSecOps.

Elastic prend actuellement en charge une liste croissance de projets de la CNCF tels que Kubernetes (K8S), Prometheus, Fluentd, Fluent Bit et Istio. Le monitoring des performances applicatives d'Elastic (APM) prend également OTel en charge de façon native. Cela permet de garantir que toutes les fonctionnalités d'APM sont disponibles soit avec des agents Elastic, soit avec des agents OTel, soit avec une combinaison des deux. Outre l'apport d'ECS et la collaboration continue avec les SemConv d'OTel, Elastic a continué à apporter sa contribution à d'autres projets OTel, notamment des SDK linguistiques (comme OTel Swift, OTel Go, OTel Ruby, etc.), et participe à plusieurs groupes d'intérêt spéciaux (SIG) pour établir OTel comme norme en matière d'observabilité et de sécurité.

Nous sommes très heureux de renforcer notre relation avec OTel et d'avoir l'opportunité de fusionner des schémas d'une façon qui soit avantageuse aussi bien pour la communauté Elastic que pour la communauté OTel dans son ensemble.

Envie d'en savoir plus sur la prise en charge d'OpenTelemetry par Elastic ? C'est par ici. Si vous le souhaitez, vous pouvez aussi apporter votre contribution au projet. Vous trouverez plus de détails sur ce partenariat entre ECS et OpenTelemetry dans notre FAQ.