Vom ELK Stack zu Elastic Cloud Enterprise: Skalierung bei John Deere
Viele Leute haben veraltete Vorstellungen zum Thema Landwirtschaft. „[Die Leute] stellen sich jemanden in einer Latzhose vor, der einen Traktor fährt“, sagt Tim Arp, Senior Operations Engineer in der Intelligent Solutions Group (ISG) bei John Deere. „In Wirklichkeit dreht sich alles um Daten.“ Und diese Daten - egal ob in Form von GPS-Daten für selbstfahrende Fahrzeuge, Metriken zur Maschinenleistung oder sogar Daten zu Anpflanzungsmethoden - landen als riesige Informationsmenge in den Systemen von John Deere.
Obwohl die meisten Menschen das Unternehmen mit den allgegenwärtigen „grünen Landmaschinen“ verbinden, sind die datenbasierten Anwendungen von John Deere genauso wichtig für Landwirtschaftsprofis. John Deere unterstützt Landwirte heutzutage mit Telematik-Anwendungen für Maschinen und Ackerbau zur Optimierung der Ernten und zur Kostenverwaltung.
Bei der Elastic{ON} Tour Chicago hat Arp davon erzählt, wie sein Unternehmen diesen Weg einst mit JDLink begann, ihrer ersten mobilen Anwendung. JDLink wurde ursprünglich auf 25 Servern aufgesetzt, um den Landwirten die Datensammlung - inklusive geografischem Standort und Metriken zur Maschinenintegrität - für ihre Geräte, wie etwa Mähdrescher und andere Erntemaschinen, zu erleichtern. Die Anwendung wuchs jedoch immer weiter, benötigte mehr und mehr Server, und die ISG hatte Schwierigkeiten bei der Skalierung, was letztendlich zu Ausfällen führte. Es stellte sich schnell heraus, dass die ISG einen Weg finden musste, die Logs zu aggregieren und Daten zu konsolidieren, um das System ganzheitlich abzubilden und sicherzustellen, dass die Anwendung für die Farmer stets verfügbar ist.
2013 fand die ISG eine Lösung: den Elastic Stack. Arp probierte Elasticsearch mit einem Kollegen aus, und gemeinsam stellten sie mit Version 0.98 eine funktionierende Demonstration zusammen. Nach kurzer Zeit hatten sie ihren ersten Produktions-Cluster mit Version 1.4 und vier Knoten eingerichtet.
„Wir haben damit begonnen, alle möglichen Logs zu sammeln: Webserver-Logs, Anwendungs-Logs, System-Logs, Load-Balancer-Logs. Dabei wurde uns schnell das Analytics-Potenzial dieser Daten bewusst. Wir haben unsere Server nicht mehr einzeln, sondern als System betrachtet.“ Tim Arp, Senior Operations Engineer, Intelligent Solutions Group (ISG), John Deere
Arp und sein Team verwendeten außerdem Kibana, um nützliche Dashboards zur Überwachung von Fehlern und Apache-Web-Logs zu erstellen und Antwortcodes und Abfragen pro Server darzustellen.
Über die Jahre ist die Anwendungsplattform von John Deere gewachsen, um Landwirte in einer Vielzahl wichtiger Bereiche zu unterstützen. Das Unternehmen konzentriert sich nicht mehr nur auf die Datenverwaltung, sondern bietet auch Anwendungen für die Bereiche Remoteverwaltung, Navigation, variable Zinsen sowie Feld- und Wasserverwaltung. Mit dem wachsenden Dienstangebot hat das Unternehmen immer stärker auf Elasticsearch gesetzt.
Die aktuelle Umgebung, Logcentral@Deere, wurde von vier auf 25 Knoten skaliert, um ein Logging-Framework für alle ISG-Anwendungsentwicklungsteams bereitzustellen. Das System verwendet Elastic Stack 6.3 und verarbeitet 18 Milliarden Dokumente in einem Massenspeicher mit elf Terabyte. Zu jedem Zeitpunkt schreiben etwa vierzehn verschiedene Anwendungen Logs mit insgesamt ungefähr 20.000 eingehenden Ereignissen pro Sekunde in dieses System. Außerdem hat John Deere Logcentral mit acht Elasticsearch-Clustern in die Cloud erweitert. Der größte Cluster empfängt Logs aus über 100 Anwendungen und besteht aus 51 Knoten.
Heutzutage verwendet John Deere Elastic Cloud Enterprise (ECE) für Funktionen wie Support, integrierte Authentifizierung und Autorisierung, Überwachung und Warnungen über die Warnungsfunktionen im Elastic Stack (Watcher), clusterübergreifende Suchvorgänge, nahtlose Upgrades und Machine Learning. Für die Zukunft freut sich John Deere darauf, neue Funktionen wie Rollups und Datenaggregationen zu nutzen, um die Resultate der Landwirte zu maximieren, die sich auf das Unternehmen verlassen.
Sehen Sie sich Tim Arps kompletten Vortrag auf der Elastic{ON} Tour an, um mehr darüber zu erfahren, wie John Deere Elasticsearch einsetzt, um Agrarprofis auf der ganzen Welt mit kritischen Daten zu versorgen.
