Do ELK Stack ao Elastic Cloud Enterprise: Escalonamento vertical de recursos na John Deere
Quando se trata de agricultura, as concepções da maioria das pessoas estão ultrapassadas. “Elas pensam em um cara vestindo macacão e dirigindo um trator”, afirmou Tim Arp, engenheiro de operações sênior do ISG (Grupo de Soluções Inteligentes) da John Deere. “Mas na realidade agora tudo tem a ver com dados.” E esses dados — sejam informações de GPS alimentando equipamentos de direção automática, métricas sobre desempenho de máquinas ou mesmo dados sobre como as plantações estão sendo feitas — representam uma enorme quantidade de informações que entram nos sistemas da John Deere.
Apesar de muitas pessoas associarem a empresa a suas ”máquinas verdes” onipresentes, os aplicativos baseados em dados da John Deere são igualmente cruciais aos profissionais agrícolas. Hoje, a John Deere depende dos recursos do Elastic Cloud Enterprise (ECE) , como suporte, autenticação e autorização integradas, monitoramento e alertas através dos recursos de alertas, pesquisa de clusters cruzados, atualizações perfeitas e aprendizado de máquina do Elastic Stack (Watcher).
No Elastic{ON} Tour Chicago, Arp contou como a empresa começou esse trabalho com o JDLink, seu primeiro aplicativo móvel. Originariamente desenvolvido sobre 25 servidores, o JDLink proporcionou aos fazendeiros uma maneira fácil de coletar dados — incluindo métricas de integridade das máquinas e de localização geográfica — sobre equipamentos agrícolas, como as colheitadeiras. Mas à medida que o aplicativo crescia, exigindo a implantação de cada vez mais servidores, o ISG começou a encontrar dificuldades no escalonamento, por fim resultando em falhas. Rapidamente ficou evidente que, para garantir que o aplicativo funcionasse para os fazendeiros que dependiam dele, o ISG precisava de uma maneira de agregar logs e consolidar dados para permitir a visualização holística do sistema.
Em 2013, o ISG descobriu uma solução: o Elastic Stack. Arp e um colega começaram a experimentar o Elasticsearch, reunindo uma demonstração funcional usando a versão 0.98. Não demorou muito tempo para conseguirem construir seu primeiro cluster de produção na versão 1.4, usando 4 nós.
“Começamos a integrar todos os tipos de logs: logs de servidor Web, logs de aplicativo, logs de sistema e logs de balanceador de carga. O que logo percebemos foi toda a analítica que poderíamos obter com isso. Não olhávamos mais para os servidores individualmente, mas sim para o sistema como um todo.” Tim Arp, engenheiro de operações sênior do ISG (Grupo de Soluções Inteligentes) da John Deere
Arp e sua equipe também usaram o Kibana para criar painéis úteis de monitoramento de erros e logs Web do Apache, visualizando códigos de resposta e acessos pelo servidor.
Ao longo dos anos, a plataforma de aplicativo da John Deere expandiu para ajudar os fazendeiros em inúmeras áreas vitais. A empresa não tem mais foco exclusivo no gerenciamento dos dados, e assim oferece também aplicativos de suporte a gerenciamento remoto, orientação, aplicativo de taxas variáveis e gerenciamento de campo e água. À medida que cresceram suas ofertas de produtos, o mesmo se deu com o uso do Elasticsearch pela organização.
Seu ambiente atual, Logcentral@Deere, foi escalonado de 4 para 25 nós para oferecer uma estrutura de logs a todas as equipes de desenvolvimento de aplicativos do ISG. Executando o Elastic Stack 6.3, o sistema manipula 18 bilhões de documentos em 11 terabytes de armazenamento. Cerca de 14 aplicativos diferentes registram log no sistema a qualquer hora, chegando a 20.000 eventos transmitidos a cada segundo. A John Deere também expandiu o Logcentral para a nuvem, com 8 clusters do Elasticsearch. O maior cluster, que tem mais de 100 aplicativos registrando log nele, contém 51 nós.
Hoje, a John Deere depende do Elastic Cloud Enterprise (ECE) para recursos como suporte, autenticação e autorização integradas, monitoramento e alertas através dos recursos de alertas, pesquisa de clusters cruzados, atualizações perfeitas e aprendizado de máquina do Elastic Stack (Watcher). No futuro, a John Deere pretende usar novos recursos como rollups e agregações de dados para maximizar os resultados para os fazendeiros que contam com eles.
Assista à sessão inteira de Tim Arp no Elastic{ON} Tour para saber mais sobre como a John Deere está usando o Elasticsearch para colocar dados cruciais nas mãos de profissionais agrícolas do mundo inteiro.
