Elastic Agent et Fleet facilitent l’intégration de vos systèmes à Elastic

Aujourd’hui, nous sommes heureux d’annoncer trois améliorations majeures qui faciliteront l’intégration de vos systèmes et applications à la Suite Elastic. Premièrement, nous lançons la version en disponibilité générale de notre Elastic Agent, qui est un agent unique et unifié pour l’observabilité et la sécurité. Un agent unifié simplifiera l’intégration des données en réduisant le nombre d’éléments à configurer et à installer.

Deuxièmement, nous lançons la version en disponibilité générale de Fleet, une nouvelle application Kibana qui vous permet de gérer de manière centralisée un nombre important d’agents Elastic Agent à grande échelle. Celui-ci fait office de plan de commande et vous permet de connaître en temps réel l’état des agents, de les mettre à niveau à distance, d’exécuter des requêtes sur chaque hôte et de contenir les menaces de sécurité.

Troisièmement, nous lançons notre nouvelle application Integrations dans Kibana ainsi que notre première série d’intégrations en disponibilité générale. En un seul clic, vous pouvez intégrer vos systèmes et applications à la Suite Elastic. Les intégrations fournissent des analyses des logs prêtes à l’emploi, des tableaux de bord, des tâches de Machine Learning et plus encore. Vous pouvez déployer des intégrations sur des agents Elastic par le biais de Fleet, ce qui vous permet de passer des données aux informations en quelques secondes.

Les défis de l’ingestion de données à grande échelle

Le temps pris par le déploiement des agents et leur gestion à grande échelle constitue l’un des principaux défis à relever lors de l’adoption d’une solution de surveillance ou de sécurité. Celui-ci retarde les objectifs commerciaux essentiels et augmente le coût total de possession. Les grandes organisations peuvent disposer de centaines d’équipes et de centaines de milliers de serveurs, d’ordinateurs portables et d’applications. Il faut parfois des mois pour réaliser leur évaluation, leur personnalisation, les opérations et les approbations de conformité à la sécurité, puis leur déploiement au sein de plusieurs équipes et environnements. Tout problème dans l’infrastructure de surveillance ou de sécurité peut avoir un impact considérable et critique sur l’entreprise.

Beats, notre solution actuelle pour le transfert de données à la Suite Elastic, facilite beaucoup de choses par rapport aux solutions génériques comme syslog. Cependant, il y a actuellement un total de sept agents Beats, en plus des agents APM, du serveur APM, de la sécurité aux points de terminaison, entre autres. L’installation d’un tel nombre de binaires est complexe, en particulier dans les environnements d’entreprise où chaque binaire implique une installation via des solutions de gestion de la configuration, des déploiements progressifs, une gestion des changements et des exigences d’audit.

Le processus d’ajout d’intégrations pour de nouvelles sources de données constitue un autre défi. À l’heure actuelle, les utilisateurs doivent modifier des fichiers YAML et les télécharger sur tous leurs serveurs. Ceux-ci utilisent souvent des outils comme Ansible ou Chef pour mettre en place des configurations. Malheureusement, cela fait de l’ajout d’une nouvelle source de données un processus complexe qui nécessite souvent des outils tiers et la coordination avec des spécialistes de différentes équipes. Ce processus devient encore plus complexe lorsqu’il est question de gérer des centaines de milliers d’agents répartis sur plusieurs réseaux et centres de données.

Un seul agent qui gère tous les autres

Elastic Agent est un agent unique et unifié pour les logs, les indicateurs, les traces APM, le monitoring synthétique et la sécurisation de votre système. Pour commencer à l’utiliser, il suffit d’exécuter une seule commande qui installera cet agent. Vous n’avez plus besoin de déployer plusieurs agents Beats. Il sera ainsi plus rapide à déployer dans votre infrastructure et à maintenir dans la durée. En outre, Elastic Agent dispose d’une configuration unique et unifiée, gérée par un seul point de surveillance. Ainsi, il n’est pas nécessaire de modifier plusieurs fichiers de configuration pour Filebeat, Metricbeat ainsi que les autres Beats. En conséquence, l’ajout d’intégrations sera beaucoup plus simple. Vous pouvez mettre à jour la configuration via Fleet, ce qui vous permet d’activer rapidement les intégrations, d’ingérer des données et de personnaliser le comportement de l’agent.

Des intégrations et une configuration plus simples

La nouvelle application Integrations fournit une interface utilisateur sur le Web dans Kibana pour l’ajout et la gestion des intégrations de services et plateformes populaires. Nos intégrations permettent non seulement d’ajouter facilement de nouvelles sources de données, mais sont également livrées avec des ressources prêtes à l’emploi, comme des tableaux de bord, des visualisations et des pipelines conçus pour extraire des champs structurés à partir des logs. Vous n’avez pas besoin de consacrer beaucoup d’efforts à la configuration du système : cela se fait automatiquement. Cela facilite la mise en place et permet d’obtenir des informations exploitables en quelques secondes. 

Nos nouvelles intégrations en disponibilité générale vous permettent de surveiller l’infrastructure du système, y compris les serveurs, les ordinateurs portables, les conteneurs, les machines virtuelles et plus encore. Vous pouvez également protéger vos systèmes contre les menaces de sécurité et analyser les événements de sécurité. Plus de 70 intégrations sont déjà disponibles et nous travaillons continuellement pour en ajouter d’autres.

Nous fournissons également une interface utilisateur sur le Web permettant de configurer les intégrations pour vos systèmes et applications. Au lieu de modifier de longs fichiers YAML contenant de nombreux paramètres non pertinents, l’interface utilisateur web est plus concise et offre des conseils et une validation. Des valeurs par défaut sont déjà fournies pour les emplacements courants des logs et des métriques, si bien que vous n’avez qu’à cliquer sur enregistrer pour déployer l’intégration en un seul clic.

Vous pouvez choisir d’ajouter cette intégration Nginx à un seul agent ou à un groupe d’agents dans le cadre d’une stratégie. Les stratégies d’agent vous permettent d’appliquer la même intégration à un nombre illimité d’agents, ce qui facilite la gestion du nombre important d’agents à grande échelle. Les agents recevront la mise à jour lors de leur prochaine vérification de Fleet.

Les utilisateurs avancés préfèrent parfois les fichiers YAML, les API et l’infrastructure en tant que code (IaaC). Fleet dispose d’une architecture API-first et tout ce qui peut être effectué dans l’interface utilisateur peut également l’être en utilisant l’API. Vous pouvez ainsi l’intégrer à d’autres systèmes. Si vous préférez ne pas utiliser Fleet, vous pouvez également configurer Elastic Agent avec un fichier YAML en mode autonome.

Gérez votre Fleet de manière centralisée

Fleet sert de plan de commande, ce qui vous permet de gérer de manière centralisée des groupes d’agents importants. Vous pouvez visualiser l’état de tous vos agents sur la page de Fleet. Celle-ci vous indique les agents en ligne et en bon état, ceux en mauvais état, et la dernière fois qu’ils ont vérifié Fleet. Vous pouvez également voir la version du binaire d’un agent ainsi que sa stratégie.

Vous pouvez définir des groupes d’agents en faisant appel à leurs stratégies. Lorsque vous modifiez la stratégie d’un agent, tous reçoivent la mise à jour au cours de leur prochaine vérification. Vous n’avez plus besoin de rechercher vous-même les mises à jour à l’aide de SSH, des playbooks Ansible ou d’autres méthodes de configuration.

Un autre avantage de Fleet est qu’il nous permet de mieux sécuriser les agents. Cette application génère automatiquement des clés API Elasticsearch pour chaque agent avec des permissions minimales pour les intégrations en cours d’exécution. Les clés API peuvent être révoquées pour chaque agent et vous n’avez plus besoin de stocker des informations d’identification partagées avec des autorisations étendues sur chaque hôte. Par ailleurs, lorsque vous exécutez Elastic Agent avec Endpoint Security, l’agent peut se protéger lui-même contre les menaces s’exécutant sur l’hôte.

Fleet Server est la composante d’infrastructure qui gère la communication avec les agents Elastic. Celle-ci fournit le plan de commande qui met à jour les agents et leur donne l’instruction d’exécuter des actions telles que l’exécution d’OSQuery sur les hôtes ou l’isolation des hôtes au niveau de la couche réseau pour contenir les menaces de sécurité. Elle peut être déployée de manière centralisée ou à la périphérie des réseaux privés. 

Les flux de données facilitent la gestion des données

Les données collectées par les agents Elastic sont stockées à l’aide du nouveau schéma de dénomination des flux de données. Ce dernier stocke les données dans des indices plus granulaires que ne le faisaient les agents Beats. Ses avantages incluent un nombre plus restreint de champs par index, une saisie semi-automatique plus rapide, un stockage plus efficace, une meilleure visibilité des sources du volume des données et le contrôle des stratégies de gestion des cycles de vie et des autorisations des index. Les espaces de noms vous permettent de regrouper les données comme vous le souhaitez, par exemple par environnement ou par nom d’équipe.

Qu’est-ce que cela signifie pour les utilisateurs des agents Beats ?

Les agents Beats ne sont pas près de disparaître et vous pouvez continuer à les utiliser en même temps qu’Elastic Agent. Vous pouvez exécuter l’un et l’autre en parallèle lorsque vous commutez les systèmes de Beats à Elastic Agent.

Bien qu’Elastic Agent et Fleet soient beaucoup plus faciles à utiliser, il y a encore quelques cas où il est préférable d’utiliser les Beats, et nous comblerons ces lacunes au fil du temps. Fleet ne prend pas encore en charge la sortie vers Logstash ou Kafka, il nécessite le rôle de superutilisateur ainsi qu’une connexion Internet pour télécharger la liste des intégrations à partir d’Elastic Package Registry. Nous travaillons également à la conversion de plusieurs modules Beats restants en intégrations. Visitez notre page de comparaison pour en savoir plus sur les différences.

À vous de jouer !

Faites-vous votre propre idée en ouvrant Kibana et en naviguant vers l’application Integrations dans le menu principal. Vous y trouverez une liste d’intégrations et l’application vous guidera tout au long du processus d’ajout des agents Elastic Agent. Vous pouvez également ouvrir l’application Fleet pour ajouter directement des agents Elastic.

Elastic Agent et Fleet sont tous les deux gratuits et ouverts. Nous souhaitons encourager la collaboration avec la communauté, c’est pourquoi les codes de Fleet et d’Elastic Agent sont disponibles sur GitHub. Nous avons hâte de faire participer la communauté à notre aventure.

Nous espérons que cette publication explique convenablement comment nous facilitons l’intégration de vos systèmes et applications avec la Suite Elastic. Vos commentaires nous permettront de l’améliorer, n’hésitez donc pas à partager vos idées dans notre forum de discussion.