Delhivery : 제3자 물류의 탁월한 운영을 지원

2011년 특정 지역 배송 서비스로 시작한 Delhivery는 Delhi의 경계에 위치한 Gurgaon 내에 식품 및 화초류와 같은 상품 배송 등 최종 마일 서비스에 집중했습니다. 그러나 이 벤처를 시작한 지 몇개월 후 회사의 공동 창립자들은 전자상거래를 둘러싼 더욱 큰 기회에 관심을 가지기 시작했습니다. 전자상거래 산업은 인도에서 막 시작되려던 참이었지만 공동 창립자들은 잠재력을 확인했고 Delhivery는 2011년 중반, 최초의 전자상거래 고객을 확보했습니다. 그 이후부터 Delhivery는 배송 속도를 비롯해 전자상거래의 물류 과제를 해결하는 데 중점을 두었습니다.

초기에는 속도가 가장 어려운 점이었습니다. 구매자의 경험뿐 아니라 판매자에게도 손해를 끼치는 일이었습니다. 인도는 캐시 이코노미로서 많은 판매자들이 배송 시 비용을 징수할 때까지 기다려야 했기 때문에 배송이 지연되면 수익도 함께 지연되는 방식이었습니다.

Delhivery가 이 문제를 해결할 수 있는 유일한 방법은 전체적인 배송 네트워크의 효율성을 최적화하는 것이었고, Elastic의 도움을 통해 이를 달성할 수 있었습니다. Elastic Stack을 통해 Delhivery에서는 배송 네트워크에서 매일 수집한 몇백만의 데이터 요소를 검색, 분석 및 시각화할 수 있었습니다. 이러한 인사이트를 통해 회사는 계속해서 배송의 속도와 효율성을 향상할 수 있었고, 물류의 미래를 그릴 수 있었습니다.

높은 수준의 사업 운영을 유지하기 위해 Delhivery에서는 매 순간 일어나는 모든 일을 인식하고 있어야 합니다. Delhivery에서는 20초마다 모든 배송물의 크기, 위치 및 상태를 비롯한 데이터를 현장에서 캡처합니다. 시간이 지나며 이는 패키지당 50개가 넘는 데이터 요소로 통합되어 배송 네트워크의 지능과 효율성 구축에 사용됩니다.

초기에 데이터는 MongoDB에서 색인 및 분석됩니다. 그러나 Delhivery에서 두 번째 해에 일일 배송량이 500에서 9,000건으로 늘어나면서 막대한 데이터 증가가 발생했습니다. 그 이후 데이터를 편집해 성과를 이끌 새로운 인사이트를 추출하는 일은 더욱 어렵고 시간이 많이 소모되는 일이 되었습니다.

공동 창립자이자 CTO인 Kapil Bharati 씨는 “당사에서 다양한 도구와 기술로 실험하면서 저희 데이터를 더욱 쉽게 수집하고 탐색할 솔루션을 찾기 시작했습니다.”라며 “Kibana에서 지원하는 일부 대시보드를 발견했고 Elastic에 당사의 모든 데이터를 넣으면 어떨지 생각하게 되었죠. 이는 당사를 위한 아주 강력한 도구가 되었습니다.”라고 전했습니다.

Elastic Stack 2.x 사용을 통해 2013년에 출시된 Delhivery의 첫 번째 애플리케이션은 전자상거래 판매자들이 그들의 배송을 추적할 수 있는 일련의 사용자 정의 대시보드였습니다. 이 대시보드는 현재도 사용 중이며, 판매자들에게 모든 패키지의 실시간 지오로케이션 데이터를 제공해 Delhivery 콜센터의 업무 의존량을 줄이고 있습니다.

회사에서는 이제 내부적으로 다양한 대시보드를 사용해 패키지와 성과를 추적하고 있습니다. Kibana에서 지원하는 이 대시보드는 Delhivery의 컨트롤 타워팀이 배송 네트워크 내의 폐쇄 또는 지연을 빠르게 파악할 수 있도록 해줍니다. 이후 타워팀은 근본 원인을 파악하기 위해 기반 데이터를 시각적으로 탐색할 수 있습니다.

Kapil씨는 “Kibana를 통해 당사에서는 일어나는 일을 실시간으로 확인할 수 있으며 특정 위치에서 배송물이 지체되면 즉시 문제를 처리하고 사전에 고객에게 알림을 제공합니다.”라고 덧붙였습니다.

시간이 지나며 쌓이는 동일한 데이터에 대한 깊은 분석은 Delhivery에서 성과를 향상하기 위한 기회를 파악할 수 있도록 해줍니다. 여기에는 패키지 경로배정을 최적화하거나 피크 기간 관리를 위해 더 많은 팀원을 확보하는 일이 포함될 수 있습니다.

Kapil 씨는 “Kibana의 훌륭한 점 중 하나는 바로 사용하는 데 기술적 전문성이 필요하지 않다는 점입니다. 따라서 운영 팀에서는 복잡한 사용자 정의 대시보드를 만들어 더 나은 의사결정을 내릴 수 있습니다.”라고 끝맺었습니다.

Delhivery는 초기에 자사 클러스터를 관리했지만 클러스터가 확장되고 인도의 축제 기간에 활동량이 급증하면서 관리 업무는 더욱 어려워졌습니다. 확장 및 호스팅의 어려움을 관리하기 위해 Delhivery는 (현재는 Elastic Cloud에 있지만 당시에는 Found.no에 있었던) Elasticsearch Service의 초기 사용자가 되었습니다. 그 이후 Delhivery와 Elastic과의 관계는 사업 운영을 통해 함께 확장되었습니다.

Elasticsearch 아키텍트이자 수석 엔지니어링 관리자인 Karan Argarwal 씨는 “관리 서비스로 이동하면서 당사는 확장을 위한 더욱 뛰어난 유연성을 확보하게 되었고 핵심 활동에 집중할 수 있었습니다.”라고 전합니다. “지난 몇 년간 Amazon의 Elasticsearch 제공물을 비롯해 다양한 옵션을 살펴봤지만 저희는 전문가가 운영하며 항상 Elastic Stack의 최신 기능을 이용할 수 있도록 해주는 Elasticsearch Service를 계속해서 사용했습니다.”

Delhivery는 최근 Elastic Support의 도움으로 버전 5.x에서 6.5로의 매끄러운 업그레이드를 진행함에 따라 이러한 기능에서 더욱 많은 가치를 창출했습니다. 이 업그레이드는 클러스터에 전용 노드 유형을 도입하여 메모리와 CPU 최적화뿐 아니라 성능 안정화를 달성할 수 있었습니다.

현재 Delhivery에서는 패키지 지오데이터를 비롯해 매일 5백만 개 이상의 데이터 요소를 수집합니다. 데이터는 Kafka Stream와 Logstash를 통해 Elasticsearch 클러스터로 이동해 Kibana 대시보드와 사용자 정의 애플리케이션을 지원하는 데 사용됩니다.

Kibana는 각 개인이 액세스할 수 있는 데이터를 통제하는 데 사용하는 Elastic Stack의 보안 기능과 함께 일일 운영을 관리 및 모니터링하는 데 있어 보조적인 역할을 맡고 있습니다. 이는 Delhivery에서 데이터의 보안 및 개인정보 보호를 보장함과 동시에 Kibana를 사내 팀에 공개하고 전자상거래 최종 고객에게 노출시키는 역할을 합니다.

팀에서는 Kibana에서 광범위한 성능 메트릭을 시각화하고 Elasticsearch를 통해 변칙과 추이를 살펴볼 수 있습니다. 예를 들어 컨트롤 타워에서 배송 네트워크의 성능이 97%로 감소한 경우 각 시설의 성능을 확인하고 문제를 파악하기 위해 계속해서 데이터를 필터링합니다. 또한 Elastic Stack API를 사용해 네트워크의 특정 요소를 모니터링하여 내장된 시각화를 통해 프론트엔드 위젯을 생성할 수 있습니다.

Karan 씨는 “Elastic Stack을 뒷받침하는 API 인터페이스 및 문서화는 아주 탁월하며, 이를 통해 새로운 필요 사항이 생길 때마다 손쉽게 실험을 진행하고 새로운 위젯과 시각화를 빠르게 생성할 수 있습니다.”라고 말합니다. “이렇게 급속도로 혁신해나가는 분야의 회사임에도, 제가 본 것 중에 가장 뛰어난 문서화를 이루어냈습니다.”

Elastic의 선행적인 지원을 통해 Delhivery에서는 클러스터의 상태와 안전성을 최적화하고 계속해서 Elastic Stack의 새로운 기능 및 능력을 최대한 활용하고 있습니다. 회사에서는 수송 및 창고 관리 시스템, 마이크로 서비스뿐 아니라 요청 및 상호운용성의 확장된 스택 추적 시각화의 모니터링과 경고에 있어 Elastic APM 사용 가능성을 살펴보고 있습니다. Delhivery에서는 또한 Canvas의 사용을 통해 시설팀의 접속이 가능한 대시보드를 구축해 다양한 사용 사례에 대해 사용자 정의 구축 대시보드에 대한 의존성을 줄일 수 있을지 조사하고 있습니다. 이러한 대시보드는 작업자 및 관리자들에게 각 시설에서 발생하는 패키지 및 기타 이벤트의 실시간 변동을 보여주는 설명이 필요하지 않으며 조치 가능한 데이터를 제공합니다.

Kapil씨는 “당사에서는 이제 더 많은 실험을 실행하고 컨트롤 타워에서 배송 네트워크의 수용량 및 성능에 대한 예측할 수 있는 능력을 제공할 머신 러닝과 같은 새로운 기능 및 제품을 탐색하고 있습니다. 예를 들어 한 센터의 활동량이 급증하면 당사에서는 어느 시점에 다른 시설에서 어떤 일이 일어날지 분석할 수 있습니다.”라고 끝맺었습니다.

Canvas 및 Elastic APM에 대한 머신 러닝과 잠재적인 사용 사례를 통해 얻은 인텔리전스 및 효율성을 통해 Delhivery에서는 혁신을 위한 확장 및 수용량을 개선할 수 있습니다. 현재 Elastic Stack은 Delhivery에서 리소싱부터 다음 시설 건축 위치까지 모든 사항에 대해 더욱 나은 의사결정을 빠르게 내릴 수 있도록 돕고 있지만, 다른 이들이 활용할 수 있는 운영 체제와 플랫폼을 통해 물류 업계를 더욱 뒤흔들겠다는 이들의 대담한 포부는 현재 진행형입니다.