엘라스틱 스택 : 사물인터넷(IoT)의 기반 데이터 플랫폼

By
Hwanggon Kim

최근에 비트코인을 비롯한 가상화폐와 기반 기술인 블록체인(Block Chain)에 대한 관심이 점점 높아져 가고 있습니다. 이러한 관심은 점점 핀테크 전반에 대한 관심으로 이어지고 있습니다. 국내에서도 네이버 페이 등과 같은 간편 결제 수단이 쏟아져 나오는 것은 물론이고  IT 기술을 금융 서비스와 접목하고 스마트홈(Smart Home), 스마트팩토리(Smart Factory) 및 사물인터넷(IoT)과 연계하여 거래 행위(Transaction) 자체를 재정의하려는 혁신적인 시도가 이루어 지고 있습니다.

최근에 엘라스틱도 현대그룹의 핀테크 전문업체인 현대페이와 제휴하여 HDAC(Hyundai Digital Asset Currency) 기반의 핀테크 사업 및 블록체인 연관사업을 공동 전개하기로 했습니다. (기사 링크)

HDAC은 블록체인 기반의 차세대 암호화 가상화폐 플랫폼으로서 사물인터넷 기기들이 복잡하게 연결된 환경에서 신뢰 기반의 지불 시스템을 제공하고, 최종적으로는 각종 IoT 기기들이 사람을 대신하여 거래를 할 수 있는 기반을 구축하는 것을 목표로 하고 있습니다.

엘라스틱 스택은 스마트홈, 스마트팩토리 환경에서 각 사물인터넷기기들이 의사 결정에 참여하는 데 필수적인 데이터를 저장하고 모니터링하고 분석하는 데이터 플랫폼을 담당합니다.

시장조사기관 IC인사이츠에 따르면, 오는 2020년에는 인터넷으로 연결되는 모든 사물의 수가 300억개에 달할 것으로 예측하고 있으며, 이에 따라 사물인터넷 시장의 연 평균 성장률(CAGR)은 15.9%에 달하고 2025년에는 전체 시장 규모가 6.2조 달러에 이를 것으로 예상되고 있습니다.

엘라스틱 스택은 스마트홈, 스마트팩토리 및 글로벌 자동차 회사들과 엔지니어링 데이터(Engineering data)의 실시간 분석에서 부터 커넥티드카(Connected Car) 프로젝트에 이르기까지 다양한 사물인터넷 분야에서 협업을 진행하고 있습니다. 엘라스틱 스택의 검증된 실시간 분석 기능을 기반으로 선도적인 글로벌 자동차 업체들의 생산 라인(product lines)에서 생성되는 방대한 센서 데이터를 분석하여 사전에 장애(Fault)를 예측하고 대응하는 사물인터넷(ioT) 기반의 시스템을 공동 개발하고 있습니다. 

최근에는 머신러닝 전문 업체인 프러러트(Prelert)를 엘라스틱 머신러닝으로 통합하여  버라이즌(Verizon), 스프린트(Sprint) 등의 글로벌 통신업체의 고객 만족도(Customer Satisfaction)와 수익(Revenue)에 직접적인 영향을 미치는 이상 행동 패턴(Abnormal behavior pattern)을 식별하고 고도화하는 디지털 트랜스포메이션(Digital Transformation)의 핵심 솔루션으로 자리잡고 있습니다.

특히, 소라콤(SORACOM)과 같은 선도적인 IoT 서비스에서는 네트워크 트래픽 등의 방대한 메트릭(metric) 데이터를 실시간으로 분석하고 사용량(Usage)을 모니터링하는 핵심 플랫폼으로 활용되고 있습니다.

soracom-vpg-realtime-monitor.gif

(그림 1 : 소라콤 IoT 분석 솔루션)

이와 같이, 엘라스틱 스택이 신뢰성 있는 사물인터넷(IoT) 플랫폼을 구축하기 위한 기반 데이터 플랫폼으로 자리잡게 된 이유는 크게 3가지로 정리할 수 있습니다.

elastic-stack-and-xpack.png

(그림 2 : 엘라스틱 스택과 확장 패키지)

다양한 데이터 소스와 다양한 데이터 포맷을 통합적으로 처리할 수 있다.

사물인터넷 환경의 데이터 소스는 각종 센서, 성능 관련 메트릭부터 각종 프로세스에서 생산되는 로그 등 다양합니다. 엘라스틱 스택에서 다양한 로그를 수집하는 역할을 담당하는 비츠(Beats) 플랫폼은 파일 로그를 수집하는 파일비트(FileBeat), 성능 정보를 수집하는 메트릭비트(MetricBeat), 네트워크 상에서 다양한 프로토콜의 트래픽 데이터를 수집하는 패킷비트(PacketBeat) 등 다양한 데이터 소스에 대응할 수 있으며 새로운 데이터 소스에 맞게 유연하게 확장할 수 있는 플러그인 구조를 가지고 있습니다.

이렇게 비츠 플랫폼을 통해서 수집된 데이터는 ETL(Extract, Transform and Load)을 담당하는 로그스태시 플랫폼을 통해서 분석에 필요한 형태로 유연하게 데이터를 통합할 수 있습니다. 로그스태시는 Syslog 등과 같은 전통적인 데이터 소스 뿐만 아니라 HTTP, JDBC 등 다양한 데이터 소스를 지원하는 인풋 필터(Input Filter)를 제공함으로써 사물인터넷 환경의 데이터 처리에 최적화되어 있습니다.

방대한 데이터 볼륨을 실시간으로 인덱싱하고 검색 및 분석을 할 수 있다.

사물인터넷 환경에서는 커텍티드카(Connected Car)의 센서 데이터 분석의 예처럼 데이터 볼륨의 측면에서 테라바이트에서 페타베이트 레벨로 확장이 될 수 있습니다.

엘라스틱서치 플랫폼은 처리해야 할 데이터 볼륨에 따라서 노드를 추가하는 형태로 수평적인 확장이 가능하고 멀티 클러스터 환경을 지원함으로써 데이터 볼륨이 계속 증가하더라도 검색 및 분석의 성능을 일정하게 유지할 수 있습니다.

그리고 텍스트 문서에 대해서는 역 인덱스(Inverted Index) 방법을 적용하여 검색 속도를 향상시키고, 숫자 및 위치 데이터의 처리를 위해서는 BKD Tree, 빠른 분석을 위해서는 칼럼 스토어(Column Store)를 적용하여 어떤 데이터 타입에도 실시간 검색 및 분석이 가능합니다.

머신 러닝을 통해서 시스템의 이상 징후(Anomaly Detection)를 실시간으로 파악할 수 있다.

사물인터넷 환경의 데이터는 복잡하고 빠르게 변화하고 있어서 사람이 대시보드를 들여다보거나 단순한 규칙의 적용만으로는 인프라 문제, 침입자, 비즈니스 문제를 집어내기가 거의 불가능합니다. 엘라스틱의 머신 러닝은 데이터의 트렌드, 주기성 등을 자동으로 실시간 모델링하여 더 빠르게 시스템의 이상 징후와 문제를 식별하고 근본 원인을 분석할 수 있습니다.

machine-learning-final.gif

(그림 3 : 엘라스틱 머신러닝)

이상과 같이, 엘라스틱 스택은 사물인터넷 환경의 기반 데이터 플랫폼이 갖추어야 할  핵심적인 기능들을 유기적으로 통합하여 하나의 스택으로 제공함으로써 프로젝트 기간을 획기적으로 단축하고 운영 리소스를 최소화할 수 있습니다.

사물인터넷은 현대페이의 사례에서 보는 것처럼 현실과 가상세계의 모든 정보의 교환은 물론이고 거래를 포함한 다양한 상호작용을 포함하는 개념으로 진화하고 있습니다.

이것을 실현하기 위해서는 각종 IoT 기기 즉 스마트홈, 스마트카, 스마트팩토리 등에 적용된 기기들의 데이터가 신뢰 기반의 네트워크 속에서 빅데이터, 머신러닝 등의 필수 기술을 접목해 유기적으로 연동되는 것이 무엇보다 중요합니다.

엘라스틱 스택은 다양한 데이터의 수집부터 분석 및 시각화에 이르는 전체 과정을 하나의 플랫폼으로 지원하고 머신러닝 등의 핵심적인 기술을 통합하여 제공함으로써 핵심적인 데이터 플랫폼으로 자리 잡아 가고 있습니다.

엘라스틱 클라우드를 통해서 머신러닝을 비롯한 모든 기능을 14일 동안 무료로 테스트해 볼 수 있으니 함께 검토해 보시기 바랍니다.