Elastic et AWS Serverless Application Repository (SAR) : Obtenez rapidement des informations exploitables grâce à une ingestion de logs plus fluide à partir d'Amazon S3

Alors que les entreprises tirent parti de la plateforme cloud et des services d'Amazon Web Services (AWS) pour stimuler l'efficacité opérationnelle et amener les produits sur le marché, les logs sont souvent stockés dans Amazon Simple Storage Service (Amazon S3), puis envoyés vers une solution de monitoring et d'analyse externe. Désormais, les utilisateurs d'AWS peuvent rapidement ingérer les logs stockés dans Amazon S3 avec le nouvel Elastic Serverless Forwarder, une application AWS Lambda, et les consulter dans la suite Elastic avec les autres logs et indicateurs pour les analyser de façon centralisée.

Oubliez les processus interminables comme le provisionnement d'une machine virtuelle ou l'installation d'un agent de transfert, et réduisez les frais généraux de gestion en ingérant des données directement depuis AWS vers Elastic.

Dans ce blog, nous vous apprendrons à utiliser Elastic Serverless Forwarder,  publié dans AWS Serverless Application Repository (SAR), dans le but de simplifier votre architecture et d'envoyer vos logs Elastic, afin que vous puissiez monitorer et protéger vos environnements multicloud et sur site.

Monitorer l'état et les performances de votre environnement AWS

Dans un système hybride et multicloud de plus en plus complexe, il n'est pas surprenant que l'observabilité continue à être une initiative fondamentale des entreprises et le défi numéro un à relever pour les équipes DevOps, comme le révèle une recherche du groupe Enterprise Management Associates (EMA). De nombreuses organisations choisissent diverses technologies, qu'il s'agisse de conteneurs ou d'informatique sans serveur, pour amener plus rapidement les produits sur le marché et réduire les frais de fonctionnement, il est donc important de noter la nécessité d'une solution d'observabilité couvrant toutes les architectures. Les équipes déployant une solution d'observabilité complète sont en mesure de se développer 70 % plus rapidement et de maintenir une vélocité accrue du produit avec un nombre de fonctionnalités quatre fois plus élevé, selon l'étude EMA.

Elastic Observability unifie les logs, les indicateurs et les traces APM, de sorte à obtenir une vue contextuelle complète de vos environnements AWS hybrides à côté de leurs ensembles de données sur site, à l'échelle, dans une suite unique. Suivez et monitorez les performances d'une large gamme de services AWS, dont AWS Lambda, Amazon Elastic Compute Cloud (EC2), Amazon Elastic Container Service (ECS), Amazon Elastic Kubernetes Service (EKS), Amazon S3 et bien plus encore.

Une étude commandée à Forrester a montré que les clients réalisaient jusqu'à 75 % d'économies grâce aux solutions combinées Elastic Security et Observability, et qu'elles sont jusqu'à 10 fois plus rapide que les solutions actuelles. Grâce à Elastic Common Schema et à une architecture de référentiel unique, les données d'observabilité d'Amazon S3 et d'autres ensembles de données peuvent également être utilisées pour la détection et la réponse étendues (XDR) afin de réduire le plus possible le temps moyen de détection. Elastic Security combine le SIEM et la sécurité aux points de terminaison, permettant aux entreprises d'ingérer et de conserver d'importants volumes de données provenant de sources diverses, de stocker et de rechercher des données plus longtemps et de renforcer la recherche des menaces grâce aux détections et au Machine Learning. Décloisonnez les données, réduisez le nombre de fausses alertes et équipez l'entreprise pour qu'elle puisse bloquer rapidement les menaces dans son environnement.

Stockez les données de façon rentable pour une récupération et une future analyse rapides

Il existe un autre moyen de rentabiliser votre Amazon S3. En plus d'ingérer les logs stockés dans S3, Elastic permet également aux organisations de conserver de grandes quantités de données historiques dans un stockage d'objets à moindre coût, comme Amazon S3. Ainsi, leurs informations restent pleinement actives et il est possible d'y mener des recherches. De cette façon, vous pouvez conserver les données AWS et sur site, indépendamment de leur granularité, pendant la période de votre choix, puis scaler à mesure de leur évolution. La gestion des données et leur hiérarchisation sont automatisées grâce à des fonctionnalités de scaling automatique et de gestion du cycle de vie qui se fondent sur les exigences de l'entreprise en matière de performance, de résilience et de conservation des données.

Simplifiez la gestion des données

L'application Lambda Elastic Serverless Forwarder prend en charge les logs ingérés contenus dans le groupe Amazon S3 et les envoie à Elastic. La notification d'événements de file d'attente SQL sur Amazon S3 sert de déclencheur pour la fonction Lambda. Lorsque le nouveau fichier de log est écrit sur un groupe Amazon S3 et répond à ces critères, une notification est générée et déclenche la fonction Lambda.

Les utilisateurs peuvent définir le déclencheur de fonction SQS sur leur groupe S3, fournir des informations de connexion Elastic pour laisser les logs circuler et utiliser les tableaux de bord prédéfinis ainsi que les fonctionnalités d'analyse complète de Kibana pour donner vie aux données de logs.

Diagramme d'architecture :

Dans cette section, nous étudierons un tutoriel étape par étape pour savoir comment bien démarrer avec Elastic Serverless Forwarder pour analyser les logs de flux Amazon Virtual Private Cloud (Amazon VPC) dans la suite Elastic.

Pour des instructions plus détaillées, consultez la documentation concernant Elastic Serverless Forwarder.

En ingérant des flux de logs Amazon VPC dans Elastic, vous pouvez monitorer et analyser le trafic réseau au sein de cette solution et prendre des décisions plus éclairées en :

• Analysant les données des logs de flux dans Kibana avec la possibilité de rechercher, consulter et filtrer des logs rapidement
• Évaluant les règles des groupes de sécurité et en déterminant les lacunes en matière de sécurité
• Définissant des alarmes lorsque certains types de trafic sont détectés
• Identifiant les problèmes de latence et en définissant des points de comparaison pour assurer des performances cohérentes

Avant de commencer

1. Si vous n'utilisez pas encore Elastic, créez un déploiement à l'aide de notre Elasticsearch Service hébergé sur Elastic Cloud. Ce déploiement comprend un cluster Elasticsearch pour stocker et rechercher vos données, et Kibana pour consulter et gérer vos données. Pour en savoir plus, consultez Essayer la suite Elastic.
2. Autorisez l'envoi de logs de flux AWS VPC vers un groupe S3. Si vous n'en avez pas encore configurés, vous pouvez facilement créer un groupe S3 et y envoyer des logs de flux VPC. Les étapes à suivre seront essentiellement les suivantes :
   • Créez un groupe S3 (exemple : vpc-flow-logs)
   • Sur la console EC2, sélectionnez des interfaces réseau spécifiques, puis "create flow log" dans le menu Actions. Sélectionnez la destination en tant que groupe S3 que vous avez créé lors des étapes suivantes. Pour en savoir plus, consultez la documentation AWS.
3. Créez maintenant une file d'attente SQS simple (exemple : flow-logs-queue) et définissez une politique d'accès appropriée pour que les notifications d'événements S3 soient envoyées à la file d'attente. Dans le groupe S3 (vpc-flow-logs), configurez des notifications d'événements pour tous les objets "créer des événements" à envoyer à la file d'attente SQS (flow-logs-queue). Pour en savoir plus, consultez la documentation AWS.
4. Vous commencerez ensuite par installer l'intégration Elastic AWS directement à partir de l'interface utilisateur web de Kibana, qui contient des tableaux de bord prédéfinis, des configurations de nœuds d'ingestion et d'autres ressources qui vous aident à tirer le meilleur parti des logs d'audit que vous ingérez. Accédez à Intégrations dans Kibana et recherchez AWS. Cliquez sur l'intégration AWS pour en savoir plus, sélectionnez Paramètres et cliquez sur Installer les actifs AWS pour installer tous les actifs AWS.

5. Créons maintenant un nouveau groupe S3 ainsi qu'un fichier de configuration qu'elastic-serverless-forwarder utilisera pour connaître la source d'entrée et la connexion Elastic pour les informations de destination.

Voici un exemple de fichier de configuration :

Accédez à Elastic Cloud et copiez l'identifiant du cloud depuis la console cloud d'Elastic pour indiquer le paramètre "cloud_id". Accédez à Kibana et créez une clé d'API encodée en Base64 pour vous authentifier, et indiquez le paramètre "api_key". Stockez toutes les valeurs sensibles dans AWS Secrets Manager et consultez-les depuis le fichier de configuration.

6. Déployez elastic-serverless-forwarder depuis AWS SAR et fournissez les configurations appropriées pour que la fonction Lambda puisse commencer à ingérer les logs de flux VPC dans Elastic.

Depuis la console Lambda, sélectionnez Fonctions->Créer une fonction, sélectionnez Parcourir le référentiel de l'application sans serveur et recherchez elastic-serverless-forwarder, Sélectionnez l'application.

Une fois sur la page Examiner, configurer et déployer de l'application, remplissez les champs suivants :

1. Indiquez le groupe S3 d'ElasticServerlessForwarderS3Buckets dans lequel les logs de flux VPC sont envoyés. La valeur est l'ARN du groupe S3 que vous avez créé à l'étape 2.
2. Indiquez le chemin d'accès au fichier de configuration dans ElasticServerlessForwarderS3ConfigFile. La valeur est l'URL S3 au format "s3://bucket-name/config-file-name" pointant vers le fichier de configuration (sarconfig.yaml) que vous avez créé à l'étape 5.
3. Précisez la file d'attente de notifications S3 SQS utilisée en tant que déclencheur de la fonction Lambda dans ElasticServerlessForwarderS3SQSEvents. La valeur est l'ARN de la file d'attente SQS que vous avez créée à l'étape 3.

Les valeurs ci-dessus sont utilisées par le déploiement Lambda pour créer des politiques IAM minimum et définir les variables d'environnement pour que la fonction Lambda s'exécute correctement.

La fonction Lambda déployée lira les fichiers de logs de flux VPC à mesure qu'ils sont écrits dans le groupe S3, et les envoie à Elastic.

7. Accédez à Kibana pour obtenir une analyse et une visualisation de vos logs dans le tableau de bord de l'aperçu des logs de flux VPC des [Logs AWS].

Elastic propose constamment des expériences client fluides, qui permettent un accès partout et à tout moment, et cette intégration rationalisée avec AWS en est l'exemple le plus récent. Pour en savoir plus, consultez la documentation elastic-serverless-forwarder, ou téléchargez le guide d'Elastic Observability pour AWS.

Démarrez un essai gratuit

Démarrez un essai gratuit de 7 jours en vous inscrivant sur AWS Marketplace et effectuez un déploiement en quelques minutes sur n'importe quelle région d'Elastic Cloud sur AWS dans le monde entier. L'achat d'Elastic via AWS Marketplace sera inclus dans votre facturation consolidée mensuelle et comptera dans l'engagement de dépenses d'AWS.

La publication et la date de publication de toute fonctionnalité ou fonction décrite dans le présent article restent à la seule discrétion d'Elastic. Toute fonctionnalité ou fonction qui n'est actuellement pas disponible peut ne pas être livrée à temps ou ne pas être livrée du tout.