Elasticsearch, Kibana et Elastic Cloud 7.16 : intégrations et autres informations exploitables

Grâce à Elastic 7.16, il n'a jamais été aussi facile de collecter, de stocker, de rechercher et d'analyser des données en parfaite sécurité et à grande échelle, indépendamment de vos cas d'utilisation. Découvrez des solutions tierces, comme ServiceNow, et les intégrations cloud natives, à l'instar d'Amazon Web Services (AWS) FireLens, qui vous permettent d'obtenir des informations exploitables basées sur vos données, mais aussi de rationalisez tous les workflows de vos équipes et systèmes.

Entre autres avantages, la version 7.16 améliore les performances et optimise l'utilisation des ressources grâce aux améliorations apportées à Elasticsearch, et les utilisateurs peuvent ajouter davantage de contexte aux visualisations Kibana.

Vous souhaitez vous lancer ? Retroussez vos manches. Voici toutes les informations dont vous avez besoin :

• Essayez les nouvelles fonctionnalités d'Elastic Cloud.
• Téléchargez les dernières versions d'Elasticsearch, de Kibana et d'Elastic Cloud sur Kubernetes.
• Étudiez en détail les notes de publication d'Elasticsearch, de Kibana, d'Elastic Cloud et d'Elastic Cloud sur Kubernetes.
• Découvrez les changements majeurs apportés à Elasticsearch.

Nouvelles méthodes de collecte et de connexion à vos données grâce aux intégrations

Obtention facile d'informations exploitables tirées des données

Grâce à notre florissante bibliothèque d'intégrations, notamment des intégrations natives pour Microsoft Azure, Google Cloud et AWS, il est facile de collecter et de connecter vos données au sein de toutes vos applications, infrastructures, sources de contenus publiques et autres.

Dans la version 7.16, une nouvelle interface utilisateur Integrations unifiée dans Kibana permet de trouver plus rapidement des méthodes afin d'ingérer des données provenant d'une nouvelle source en quelques clics seulement pour les intégrations Elastic Agent. Grâce à cette interface utilisateur, vous pouvez mener des recherches dans toutes les intégrations prises en charge par Elastic Agent, Beats, Logstash, le robot d'indexation App Search d'Elastic, les connecteurs de sources de contenus Workplace Search et les clients de langage Elasticsearch.

Ainsi, les développeurs, les professionnels et les analystes bénéficient d'un emplacement unique où ils peuvent utiliser la méthode d'ingestion qui leur correspond le mieux. En outre, grâce au plus grand nombre d'intégrations Elastic Agent désormais en disponibilité générale, les utilisateurs passent moins de temps à essayer de dompter des pipelines d'ingestion personnalisés et de modifier de longs fichiers YAML. Désormais, ils ont plus de temps pour étudier leurs données dans la Suite Elastic.

Rationalisation des workflows ServiceNow

Les nouvelles applications ServiceNow certifiées pour les intégrations ITSM (IT Service Management) et SIR (Security Incident Response) existantes, associées à une nouvelle intégration pour ITOM (IT Operations Management), augmentent l'automatisation de la génération des incidents ServiceNow liés aux applications, à la sécurité ou aux infrastructures, mais aussi diminuent le temps et les ressources nécessaires pour signaler les incidents manuellement et documenter les informations en double.

Grâce à ces mises à jour, les équipes savent qu'elles disposent des toutes dernières informations dans ServiceNow lorsqu'elles utilisent les données provenant d'Elastic pour générer et actualiser des incidents et des cas. Elles peuvent personnaliser les règles d'alerting dans Kibana pour les cas d'utilisation d'observabilité et de sécurité afin d'automatiser le suivi et de transférer les caractéristiques observables des cas à ServiceNow en vue de nourrir les investigations. Et ce n'est pas tout : Elastic poursuit son partenariat avec ServiceNow afin d'approfondir ces intégrations et de rationaliser davantage les workflows.

Réduction de la complexité des opérations avec la nouvelle intégration native pour AWS FireLens

Nous sommes ravis de vous présenter une méthode d'ingestion facile des données dans Elastic Cloud avec l'intégration native pour AWS FireLens, un routeur de logs de conteneurs pour les types de lancements d'Amazon Elastic Container Service (Amazon ECS), à savoir Amazon Elastic Compute Cloud (Amazon EC2) et AWS Fargate. Désormais, vous pouvez utiliser les logs d'ECS et de Fargate afin d'améliorer davantage l'observabilité et la sécurité de vos charges de travail AWS sans devoir installer et gérer des agents de transfert de données autonomes. Grâce à une architecture simplifiée, ingérez plus rapidement des données dans Elastic Cloud et réduisez la complexité de vos opérations.

Meilleures performances pour un coût total de possession plus faible

Dans la version 7.16, nous avons intégré plusieurs fonctionnalités améliorant les performances, optimisant la résilience, mais aussi réduisant l'utilisation de la mémoire et du disque, ce qui permet de diminuer votre coût total de possession.

Passage à la vitesse supérieure

Désormais, vous bénéficiez d'une consommation de la mémoire inférieure par champ sur les nœuds de données. Comme l'ont démontré des tests, avant la version 7.16, 4 Go de mémoire étaient nécessaires pour stocker la structure des données grâce à 1 000 index Beats sur les nœuds. Aujourd'hui, quelques centaines de Mo suffisent. La vitesse de recherche a aussi connu une importante amélioration. Auparavant, les requêtes étaient ventilées vers toutes les partitions correspondant au modèle d'indexation. Aujourd'hui, une seule requête est traitée par nœud. Grâce à la réduction de l'utilisation de la mémoire et à l'optimisation des requêtes sur les partitions, vous pouvez faire davantage évoluer vos données et scaler vos clusters Elasticsearch afin de passer à la vitesse supérieure.

Amélioration des performances dans Elasticsearch

Disponible pour la première fois dans Elasticsearch 7.9, Event query language (EQL) est un langage de corrélation qui met en correspondance les événements sur plusieurs périodes pour les données temporelles basées sur les événements, comme les logs, les indicateurs et les traces. Dans la version 7.16, nous avons amélioré les performances d'EQL en supprimant l'utilisation de valeurs nulles en tant que clés de jonction dans les séquences. Ainsi, les performances ont été multipliées par 830 !

Une autre amélioration de performance impressionnante concerne search_after dans les champs longs triés (y compris l'horodatage). Nous avons développé cette fonctionnalité importante pour Lucene, avons contribué à son optimisation et l'avons ajoutée immédiatement à Elasticsearch 7.16. Grâce à ce changement, vous bénéficiez d'une récupération de résultats à partir d'un index de données générées par machine qui sont triées selon leur horodatage et de requêtes ne nécessitant pas d'agrégation d'informations jusqu'à 4 fois plus performantes. Pour connaître tous les détails de ce changement, lisez notre article expliquant comment le tri des demandes est optimisé dans Elasticsearch.

Enfin, l'API de tuiles vectorielles, en disponibilité générale dans la version 7.16, fournit des performances et une scalabilité hautement optimisées dans le cadre de recherches de geo_points et de geo_shapes dessinés sur une carte (grâce à l'utilisation des tuiles). Ce nouveau type d'API standard est unique en son genre. Au lieu de fournir des fichiers JSON, il permet d'obtenir une spécification MapBox relative aux tuiles vectorielles, qui peut être facilement reproduite sur n'importe quelle carte prenant en charge ce format.

Une comparaison côte à côte illustre clairement les avantages potentiels. En déléguant ces calculs au GPU local, vous bénéficiez de bien meilleures performances et d'une fonctionnalité de zoom scalable fluide.

Expérience utilisateur scalable fluide avec tuiles vectorielles (à gauche) et sans (à droite). Remarque : La lecture de la vidéo à droite est deux fois plus rapide que celle de gauche, mais ne peut pas fournir la même qualité.

Grâce à cette utilisation des tuiles vectorielles, les géométries sont simplifiées dans le nœud de données. Par conséquent, une plus petite quantité de données est communiquée à l'utilisateur final et au sein du cluster entre les nœuds de données et les nœuds de coordination, ce qui peut avoir un impact sur la performance et la scalabilité tout en diminuant le coût total de possession.

Autres actualités sur la Suite Elastic et Elastic Cloud

Kibana

• Suivi de vos objectifs : grâce aux lignes de référence dans les visualisations Kibana, vous pouvez suivre les indicateurs et comparer les résultats obtenus avec les objectifs, les zones d'avertissement et d'autres normes relatives aux indicateurs pour vos équipes et votre organisation. Ainsi, vous pouvez représenter des seuils, les principaux résultats et les critères de performance dans les visualisations afin d'obtenir une illustration plus solide de vos données.
• Mise à niveau vers la version 8.0 et les suivantes : l'assistant dédié vous indique les étapes à suivre avant de mettre à niveau un cluster et d'identifier tout paramètre d'Elasticsearch ou de Kibana qui ont été supprimés d'une configuration de la version 7.16. En outre, l'assistant vous aide à résoudre tout problème et vous fournit un contexte supplémentaire afin que vous puissiez prendre des décisions et planifier la suite. Participez à cette session ElasticON pour en savoir plus.
• Monitoring facile des changements d'état : un nouveau type de règle pour l'alerting dans Kibana vous permet de connaître les transformations continues et ainsi d'identifier les problèmes opérationnels affectant l'expérience du Machine Learning. Il vérifie même les transformations qui ont arrêté d'indexer des données ou qui sont en échec.
• Pour en savoir plus sur les fonctionnalités de la version 7.16, consultez la documentation de Kibana.

Elastic Cloud

• Utilisation d'Elastic Cloud sur AWS dans trois nouvelles régions en EMEA : désormais, vous pouvez exécuter votre déploiement Elastic Cloud sur AWS au Bahreïn, au Cap et à Milan. Nous avons ajouté la prise en charge pour le Moyen-Orient (Bahreïn), l'Afrique (Le Cap) et l'Europe du Sud (Milan). Ainsi, vous pouvez mener des recherches, observer et protéger vos applications, vos données et votre infrastructure dans plus de 45 régions et au sein des services de 3 fournisseurs cloud. Visitez notre page sur les régions pour en savoir plus.
• Accès multi-utilisateurs : saviez-vous que vous pouvez bénéficier d'un accès multi-utilisateurs vous permettant d'inviter plusieurs utilisateurs à collaborer au sein d'une seule organisation dans Elastic Cloud ? Ainsi, tous les utilisateurs d'une même organisation peuvent facilement créer, supprimer et exécuter les déploiements Elastic Cloud associés à cette structure. Par conséquent, il n'est plus nécessaire de partager un seul ensemble d'identifiants entre plusieurs utilisateurs. Pour en savoir plus, lisez notre blog.

Elasticsearch

• Politiques de gestion du cycle de vie prédéfinies : dans la version 7.16, nous avons inclus cinq politiques de gestion du cycle de vie à partir desquelles vous pouvez travailler jusqu'à ce que vous passiez à une seule politique personnalisée.
• Vous aimez Grok dans Logstash ? Le processeur Grok prend maintenant en charge Elastic Common Schema (ECS) en intégrant ses schémas des filtres Grok dans Logstash.
• Essayez les agrégations de la catégorisation des textes : avant la version 7.16, la catégorisation des textes était seulement intégrée à la détection des anomalies par Machine Learning. Désormais, vous pouvez identifier et explorer les catégories de texte à la volée, sans devoir exécuter de tâche de détection des anomalies. Vous pouvez notamment déterminer les types de messages de logs qui surviennent pendant les latences du réseau ou les messages de logs types obtenus après une mise à niveau.
• Pour en savoir plus sur les fonctionnalités de la version 7.16, consultez la documentation d'Elasticsearch.

À vous de jouer !

Les clients qui utilisent déjà Elastic Cloud peuvent accéder à la majorité de ces fonctionnalités directement depuis la console Elastic Cloud. Vous débutez sur Elastic Cloud ? Aucun souci. Consultez nos guides de démarrage rapide (qui sont de petites vidéos de formation pour que vous soyez rapidement opérationnel) ou nos formations gratuites sur les notions de base. Lancez-vous grâce à un essai gratuit de 14 jours d'Elastic Cloud ou téléchargez gratuitement la version autogérée de la Suite Elastic.

Pour en savoir plus sur ces fonctionnalités et d'autres sujets, lisez les notes de publication de la version 7.16 (Elasticsearch, Kibana, Elastic Cloud et Elastic Cloud sur Kubernetes). L'article dédié au lancement d'Elastic 7.16 vous présente d'autres points forts.