ELK Stack에서 Elastic Cloud Enterprise로: John Deere의 기능 확장
대부분의 사람들이 생각하는 농업에 대한 개념은 시대에 뒤처져 있습니다. John Deere의 Intelligent Solutions Group(ISG)의 선임 운영 엔지니어 Tim Arp는 “전신 작업복을 입은 남자가 트랙터를 운전하는 모습을 생각한다”라고 말했습니다. “하지만 실제로, 이제 모든 것은 데이터의 문제입니다.” 그리고 자율 주행 장치를 작동시키는 GPS 정보, 기계 성능에 대한 메트릭, 심지어는 작물 재배 방법까지 이러한 데이터는 John Deere의 시스템에 쏟아지는 엄청난 양의 정보를 나타냅니다.
많은 사람이 이 회사를 흔히 볼 수 있는 “초록색 기계”와 연관 짓는 반면, 농업 전문가에게 John Deere의 데이터 기반 애플리케이션은 정말 중요합니다. 현재 John Deere는 농부들이 수확량을 극대화하고 비용을 관리하는 데 도움을 주는 기계 및 농업 텔레매틱스 애플리케이션을 통해 농업 운영을 지원합니다.
Elastic{ON} Tour Chicago에서 Arp는 첫 번째 모바일 애플리케이션인 JDLink를 통해 회사가 이 작업을 시작한 방법을 공유하였습니다. 원래 25개의 서버를 기반으로 구축된 JDLink는 농부들에게 콤바인과 수확용 기계와 같은 농기구에 대한 지리적 위치 및 기계 상태 메트릭을 비롯한 데이터를 손쉽게 수집하는 방법을 제공했습니다. 하지만 애플리케이션이 성장함에 따라 점점 더 많은 서버를 배포해야 되는 상황에서 ISG는 확장하는 데 어려움을 겪기 시작했고 결국 애플리케이션은 중단되고 말았습니다. 애플리케이션에 의존하는 농부들에게 애플리케이션이 효과가 있었는지 확인하기 위해 ISG가 로그를 집계하고 데이터를 통합하여 그들이 시스템을 전체적으로 시각화할 방법이 필요하다는 사실이 금세 명확해졌습니다.
2013년에 ISG는 솔루션을 발견했습니다. 바로 Elastic Stack입니다. Arp와 동료는 버전 0.98을 사용한 워킹 데모를 만들어서 Elasticsearch를 실험하기 시작했습니다. 얼마 지나지 않아, 그들은 4개의 노드를 이용해 버전 1.4에 첫 번째 생산 클러스터를 구축할 수 있었습니다.
“우리는 웹 서버 로그, 애플리케이션 로그, 시스템 로그, 부하 분산 장치 로그를 포함해 모든 종류의 로그를 가져오기 시작했습니다. 얼마 지나지 않아 우리가 깨닫게 된 것은 이를 통해 얻을 수 있는 모든 분석이었습니다. 더 이상 서버를 개별적으로 보지 않고, 시스템을 본 것 입니다.” John Deere의 Intelligent Solutions Group(ISG) 선임 운영 엔지니어인 Tim Arp
또한, Arp와 팀은 오류와 Apache 웹 로그를 모니터링하는 데 유용한 대시보드를 만들어내기 위해 Kibana를 이용했고, 서버에 의한 응답 코드와 방문 횟수를 시각화했습니다.
수년간 John Deere의 애플리케이션 플랫폼은 다양한 핵심 분야에서 농부들을 돕기 위해 확장되어 왔습니다. 회사는 더 이상 데이터 관리에만 신경 쓰지 않고 원격 관리, 지침, 가변율 애플리케이션, 필드 및 용수 관리를 지원하기 위해 애플리케이션을 제공합니다. 제공하는 것이 늘어나면서, 이 회사의 Elasticsearch 사용도 증가하게 되었습니다.
이 회사의 현재 환경인 Logcentral@Deere는 모든 ISG 애플리케이션 개발 팀에 로깅 프레임워크를 제공하기 위해 노드 4개에서 25개로 확장되었습니다. 시스템은 Elastic Stack 6.3을 구동하며 11테라바이트의 저장 공간에서 180억 개의 문서를 처리합니다. 대략 14개의 다른 애플리케이션들이 한 번에 로그되며, 매초 20,000개에 이르는 이벤트가 스트리밍됩니다. 또한, John Deere는 8개의 Elasticsearch 클러스터를 통해 Logcentral을 클라우드로 확장시켰습니다. 100개가 넘는 애플리케이션이 로깅되는 최대 규모의 클러스터에는 51개의 노드가 포함되어 있습니다.
오늘날 John Deere는 Elastic Stack의 알림 기능(Watcher), 교차 클러스터 검색, 원활한 업그레이드 및 머신 러닝을 통한 지원, 통합 인증 및 승인, 모니터링 및 알림과 같은 기능이 필요하기 때문에 Elastic Cloud Enterprise(ECE)를 사용하고 있습니다. John Deere는 앞으로 롤업 및 데이터 집계와 같은 새로운 기능을 활용해 John Deere에 의존하는 농부의 성과를 극대화할 수 있기를 기대합니다.
Elastic{ON} Tour에서 Tim Arp의 전체 세션을 시청하고 John Deere가 어떻게 Elasticsearch를 사용해 전 세계의 농업 전문가들에게 중요한 데이터를 제공하는지에 대해 더 자세한 점을 알아보세요.
