De la Suite ELK à Elastic Cloud Enterprise : John Deere monte en puissance
Les idées que la plupart des gens se font de l'agriculture sont dépassées. "Ils se figurent quelqu'un en salopette sur un tracteur", indique Tim Arp, ingénieur d'exploitation en chef chez John Deere Intelligent Solutions Group (ISG). "Alors qu'aujourd'hui, tout repose sur les données." Qu'il s'agisse de données GPS qui guident les équipements autonomes, d'indicateurs sur la performance des machines, voire de données de mise en culture, ces données représentent une quantité considérable d'informations qui se répandent dans les systèmes de John Deere.
Alors que de nombreuses personnes associent l'entreprise à ses innombrables "engins verts", les applications de données de John Deere sont tout aussi indispensables pour les agriculteurs. Aujourd'hui, avec John Deere, les exploitants agricoles peuvent accéder à des applications télématiques de gestion des machines et de l'agronomie qui leur permettent de maximiser les rendements et de gérer les coûts.
Lors de la conférence Elastic{ON} Tour Chicago, M. Arp est revenu sur JDLink, leur première application mobile. Installée à l'origine sur 25 serveurs, JDLink permettait aux agriculteurs de facilement recueillir les données d'engins agricoles, tels que des moissonneuses-batteuses. Ces données comprenaient les positions géographiques et des indicateurs d'état des machines. À mesure que l'application grandissait et requérait de plus en plus de serveurs, ISG commença à rencontrer des difficultés de montée en charge à l'origine de coupures de service. Pour garantir le bon fonctionnement de l'application auprès des agriculteurs qui dépendent d'elle, ISG s'est vite rendue à l'évidence qu'elle devait trouver un moyen de rassembler les logs et de consolider les données afin de visualiser le système de façon holistique.
En 2013, ISG trouva une solution : la Suite Elastic. M. Arp et un collègue ont commencé à utiliser Elasticsearch pour concevoir une démonstration avec la version 0.98. Ils ont rapidement réussi à créer leur premier cluster de production avec la version 1.4 et 4 nœuds.
"Nous avons commencé à introduire toutes sortes de logs : des logs de serveurs Web, des logs d'application, des logs système, des logs d'équilibreur de charge. Nous nous sommes vite rendu compte du potentiel d'analyse qui s'offrait à nous. Au lieu d'examiner indépendamment chaque serveur, nous nous sommes concentrés sur le système." Tim Arp, ingénieur d'exploitation en chef, Intelligent Solutions Group (ISG), John Deere
M. Arp et son équipe ont aussi utilisé Kibana pour créer des tableaux de bord afin de monitorer les erreurs et les logs Web Apache, et ce, en visualisant les codes de réponses et les résultats par serveur.
Au fil des années, la plateforme applicative de John Deere s'est élargie pour épauler les agriculteurs dans de nombreux domaines essentiels. L'entreprise ne se limite pas à la gestion des données, elle propose des applications de gestion à distance, de guidage, d'application à débit variable, de gestion des champs et de gestion de l'eau. L'utilisation d'Elasticsearch a évolué à mesure que l'offre de John Deere s'est élargie.
Leur environnement actuel, Logcentral@Deere, a grandi de 4 à 25 nœuds pour mettre une architecture de logging à la disposition de toutes les équipes de développement d'applications d'ISG. Le système utilise la Suite Elastic 6.3 et traite 18 milliards de documents qui occupent 11 téraoctets d'espace de stockage. Environ 14 applications différentes y enregistrent des logs en permanence. Cela représente un flux de 20 000 événements par seconde. John Deere a également étendu Logcentral au cloud, avec 8 clusters Elasticsearch. Le plus large d'entre eux reçoit les logs de plus de 100 applications et comporte 51 nœuds.
Aujourd'hui, John Deere compte sur Elastic Cloud Enterprise (ECE) pour bénéficier de fonctionnalités telles que le support technique, l'authentification et les autorisations intégrées, le monitoring et les alertes avec Watcher (fonctionnalité d'alerte de la Suite Elastic), les recherches interclusters, les mises à niveau intégrées et le machine learning. À l'avenir, John Deere souhaite bénéficier de nouvelles fonctionnalités, telles que les cumuls et les agrégations de données, pour que les agriculteurs puissent bénéficier de résultats optimaux.
Regardez le témoignage complet de Tim Arp lors de l'Elastic{ON} Tour afin d'en savoir plus sur la façon dont John Deere utilise Elasticsearch pour transmettre des données essentielles aux agriculteurs de par le monde.
