GoDaddy améliore son expérience d'utilisation grâce au machine learning d'Elastic
Cet article résume une conférence donnée à l'Elastic{ON} 2018. Vous souhaitez voir d'autres présentations comme celle-ci ? Consultez les archives ou renseignez-vous sur les prochaines dates de l'Elastic{ON} Tour.
Si vous avez regardé le Super Bowl ces dernières années, vous savez certainement que GoDaddy est une entreprise spécialisée dans la gestion de noms de domaine qui offre des services d'hébergement Web. Avec plus de 17 millions de clients, 75 millions de domaines et 10 millions de sites hébergés, GoDaddy maîtrise aussi le big data. Pour s'assurer du bon fonctionnement des sites, l'entreprise doit avoir les yeux rivés sur chaque composant de l'infrastructure, qu'il s'agisse du niveau des correctifs des serveurs virtuels, de légers problèmes de réseau passagers ou d'attaques malveillantes. Avec plus de 200 000 messages reçus chaque seconde (recherches DNS, logs système, événements métier, etc.), la tâche promet d'être difficile, mais la vitesse évolutive de la Suite Elastic permet de relever ce défi.
La manière dont GoDaddy a adopté Elasticsearch fut semblable à celle d'autres entreprises qui utilisent des logiciels open source. Des équipes variées au sein de l'entreprise commencèrent à configurer leurs propres clusters pour répondre à des besoins précis. Même si ces équipes arrivaient à leurs fins, ce modèle de déploiement désordonné vit naitre des centaines de clusters qui s'exécutaient sur différentes versions d'Elasticsearch pour analyser des données cloisonnées. Consciente de pouvoir mieux faire, l'entreprise forma en 2014 une équipe pour gérer le déploiement d'Elasticsearch. Cette équipe gère aujourd'hui plus de 60 clusters Elasticsearch qui englobent plus de 700 conteneurs Docker, avec des flux provenant de toute l'entreprise. Ces clusters contiennent plus de 270 To de données qui viennent de leur environnement HDFS (11 Po).
Sans attendre, la nouvelle équipe Elasticsearch s'attaqua à la gestion de la conformité des correctifs sur tout l'écosystème de l'entreprise. Dans l'univers pré-Beats de 2014, GoDaddy développa des agents Windows et Linux (semblables à Auditbeat et à Winlogbeat) pour envoyer des données système à Elasticsearch. En installant ces agents sur tous ses serveurs (physiques et virtuels), GoDaddy obtint de précieuses informations sur le niveau des correctifs et leur conformité dans toute son infrastructure. Grâce aux tableaux de bord et aux visualisations de Kibana, l'entreprise fut capable de fournir des informations précises sur les correctifs aux administrateurs et aux ingénieurs, ainsi que des rapports de haut niveau aux dirigeants, et ce, en accédant aux mêmes données centralisées pour que tout le monde puisse être sur la même longueur d'onde.
Il est important d'assurer la maintenance des niveaux de correctif de serveur pour garantir la fluidité du trafic des sites. Cette fluidité favorise l'engagement des utilisateurs. Si un site Web se charge lentement, les visiteurs s'en vont. Avec ses millions de clients en ligne de mire, GoDaddy était parfaitement consciente qu'elle devait suivre le niveau de performance de ses data centers et en évaluer l'impact sur les visiteurs. Elle disposait déjà de toutes les données nécessaires, car chaque composant de ses systèmes générait des logs, mais elle nécessitait une façon holistique de les analyser.
Détection des anomalies : logging centralisé avec le machine learning
GoDaddy avait besoin de centraliser et d'analyser ses nombreux ensembles de données de performance et d'engagement, ce qu'elle fit avec la Suite Elastic. En envoyant les données Netflow, sFlow, RUM (Real User Monitoring), de relations de peering et de routage à Elasticsearch, l'entreprise bénéficia d'un panorama bien plus détaillé de l'expérience d'utilisation et des performances système. Ce niveau de détail peut seulement être obtenu en analysant simultanément toutes les différentes sources de données. Depuis, GoDaddy exploite toujours plus ces données grâce aux fonctionnalités de machine learning d'Elastic.
Cela va sans dire que l'accès centralisé à des montagnes de données système confère des avantages inouïs, cependant l'identification des problèmes reste complexe. GoDaddy suit tous les clics et toutes les interactions de chaque utilisateur, mais aucune équipe humaine n'est capable de traiter les données provenant de millions de pages de par le monde. Heureusement, les fonctionnalités de machine learning d'Elastic simplifient la détection des anomalies. En collaborant avec les experts en machine learning d'Elastic, GoDaddy a implémenté des tâches de machine learning axées sur le RUM qui facilitent la détection des anomalies.
"Faites appel à votre équipe Elastic pour contribuer à vos efforts. Elle est vraiment utile. L'étroite collaboration que nous avons établie s'est traduite par de très nombreux appels et une ligne de communication absolument transparente sur toutes les mises à jour. Contactez-les dès que vous êtes bloqués. Ils sont très bons pour résoudre les problèmes." - Felix Gorodishter, architecte en chef, GoDaddy
En indiquant un seuil de durée de chargement et des paramètres de trafic, l'équipe GoDaddy confie aux fonctionnalités de machine learning d'Elastic la tâche d'apprendre ce qui est normal et ce qui ne l'est pas, ainsi que de signaler les problèmes. Le machine learning neutralise le bruit et permet à GoDaddy de se concentrer sur ce qui est important.
Découvrez comment GoDaddy bénéficie des fonctionnalités de machine learning d'Elastic pour monitorer les performances des sites qu'elle héberge en regardant Histoires de tranchée chez GoDaddy : des résultats de big data très fructueux de l'Elastic{ON} 2018. Vous pourrez aussi entrevoir comment GoDaddy utilise le machine learning pour monitorer les KPI d'adoption de produit et connaitre les leçons apprises au fil du temps.
