InfoTrack: Elasticsearch Service로 데이터 기반 혁신을 위한 검색 지원

InfoTrack을 간단히 설명하자면, 변호사와 그 고객들이 업무를 위해 필요한 법률 정보 및 관련 정보를 찾는 구글과 같은 역할을 한다고 할 수 있습니다.  InfoTrack은 수많은 디지털 검색, 신고 및 접수, 서명 기능을 단일한 UI와 워크플로우를 갖춘 하나의 플랫폼으로 합침으로써, 개인과 사업체들이 손쉽게 수천 개의 서드파티 정보를 검색하고 정부 기관에 문서를 접수할 수 있습니다. 

InfoTrack의 전 역사에 걸쳐, 그 개발자 주도 문화와 최첨단 기술의 사용은 고객에게 프리미엄 서비스를 제공하면서 동시에 계속해서 새로운 기능을 추진해감으로써 시장에서 스스로를 차별화시키는 데 도움이 되어왔습니다. InfoTrack은 전 세계적으로 개발자를 보유하고, 새로운 아이디어, 제품 및 프로세스를 위한 인큐베이터로 운영되는 전담 혁신팀을 갖추고 있으며, 이들은 회사가 앞으로 3년에서 5년 그 이상 후에 어떤 모습이 될 것인지를 정의합니다.  Elastic Stack를 활용하고 Elasticsearch Service에서 그 배포를 관리함으로써, InfoTrack의 개발자와 혁신팀은 고객에게 전광석화와 같이 빠른 검색을 제공하고, 즉시 신제품을 손쉽게 생성 및 배포할 수 있습니다.

Ashim Joshi 혁신팀장과 Nick Carton 테크니컬 리드는 지난 4년에 걸쳐 InfoTrack이 온-프레미스형 시스템에서 클라우드로 이행한 덕분에 한결 쉽게 신기술을 탐색하고 배포할 수 있게 되었으며 이 혁신을 촉진하는 데 도움이 되었다고 말합니다. Carton 테크니컬 리드는 “온-프레미스형 시스템의 제한을 받을 때는 비즈니스의 규모를 확장하는 것이 아주 어렵다"며, “클라우드로 이행하면서 얻게 된 자유와 유연성, 그리고 궁극적으로는 클라우드 기반이 된 것이 정말로 개발자 주도의 문화를 출범시켰고, 우리가 아주 신속하게 규모를 확장할 수 있게 해주었다"고 말했습니다.

InfoTrack 플랫폼은 광범위한 법률 및 자산 트랜잭션을 수행하기 위해 필요한 정보와 문서를 수집하는 데 있어 고객이 시간을 아끼고 번거로운 일을 덜도록 해줍니다. 예를 들어, 호주 시장에서는 한 개인이 자산을 매입하려고 하는 경우, 지방의회나 토지등록사무소에서 발급한 권리증서 같은 문서가 필요하게 됩니다. 이것을 직접 발급받기 위해 부동산 양도 전문 변호사를 참여시키면 최대 10일까지 걸릴 수 있지만, InfoTrack을 이용하면 온라인으로 즉시 검색할 수 있습니다. 

물론, 전에는 불가능했던 방식으로 사람들이 이러한 문서를 받도록 할 수 있다는 것과는 별개로, 또 다른 문제가 있는데 바로 이러한 문서를 계속 서로 다른 데이터 소스와 구조에서 가져오게 되고, 거의 즉시에 가까운 속도로 이를 제공하지만, 동시에 요청의 수가 계속해서 증가하고 있다는 것입니다. 이제 InfoTrack의 일상적인 운영에 로깅과 모니터링이 핵심적인 이유도 바로 이것입니다. Elastic Stack이 지원하는 이 개념은 개발자가 애플리케이션이 어떻게 실행되고 있는지 계속 추적해서 문제의 근본 원인을 찾아 즉시 처리할 수 있게 해줍니다. 

로깅은 처음에는 파일 로그 도구를 사용해 수동으로 관리되었지만 이러한 접근은 InfoTrack이 성장하면서 너무나 시간 소모적인 것이 되었고, 개발자가 애플리케이션을 추적해서 디버깅할 수가 없었습니다. 따라서 InfoTrack은 대안적인 솔루션을 검색했고, 자체적으로 구축하는 것도 잠시 고려했습니다. 그러나, 이 작업은 몇 달이나 걸리며, 수평적 확장과 애플리케이션 간의 로그 분리 같은 활동을 관리하는 전담 자원이 필요하게 될 것이었습니다. 솔루션의 검색은 2017년 초까지 계속되었는데, 이 무렵 CEO가 Elastic Stack에 대해 듣고는 혁신팀에게 이것을 한 번 테스트해보자고 요청했습니다. 

InfoTrack은 처음에는 Amazon Elasticsearch Service를 구현했습니다. 혁신팀은 그것이 빠르고 손쉬운 솔루션일 것이라고 생각했지만, 금방 보안과 성능 문제에 직면하게 되었습니다. 문제 중 하나는 Amazon Elasticsearch Service가 구 버전의 Elastic Stack을 실행한다는 것이었습니다. 이 버전은 IP 제한을 사용한 보안만 허용했으며, 개발자가 내부의 자바 가상 머신(JVM)을 조정하는 것이 제한되었습니다. 아울러, Amazon Elasticsearch Service를 사용함에 있어, InfoTrack팀은 APM, 인덱스 수명 주기 관리(ILM), Graph 등 Stack의 추가 기능을 사용할 수가 없었습니다. 이러한 기능 없이는, 팀이 장기적인 성공과 안정성을 위한 시스템 아키텍처 구축에서 완전한 잠재력을 실현할 수 없고, 이용가능한 데이터로부터 최대한의 가치를 창출할 수가 없을 것이었습니다. 

Elastic의 훌륭한 지원과 설명서를 통해 마이그레이션은 순조롭고 수월하게 진행되었고, InfoTrack은 최신 버전의 Elastic Stack과 훨씬 폭넓은 기능들을 사용할 수 있게 되었습니다. 여기에는 훨씬 강력한, 역할 기반 보안 제어가 포함되어 있었으며, 새로운 내부 고객 및 프로젝트를 활용하기 위한 유연성도 추가되었습니다. 사실상, 지금은 너무 간단해서 모든 개발자가 Elasticsearch Service Console의 슬라이더 바를 클릭하기만 하면 규모를 확장하거나 새로운 클러스터를 추가할 수 있습니다. 

InfoTrack은 이제 Filebeat와 Metricbeat를 사용해 수천 개의 애플리케이션으로부터 얻은 데이터를 Logstash로 전송하며, 거기서 이 데이터는 읽기가 가능한 형식으로 변환됩니다. 그리고 나면 데이터는 Elasticsearch와 Kibana를 이용해 실시간으로 검색 및 시각화가 가능합니다. 

Carton 테크니컬 리드는 검색 속도 개선뿐 아니라 다른 데이터 스트림에 연결하고 인덱스 수명 주기를 관리할 때 Elasticsearch Service가 훨씬 더 큰 유연함을 제공해주며, 성능과 비용 간의 보다 나은 균형을 맞추기 위해 hot-warm-cold 아키텍처를 구현함으로써 미래에 이를 활용할 계획이라고 말했습니다. 

Carton 테크니컬 리드는 “이제 우리 로그와 메트릭 전체를 중앙 집중화했고, Kibana에서 모든 것을 모니터링하고 있다”면서, “덕분에, 정말 손쉽게 애플리케이션 오류를 발견하고 어떤 일이 일어나고 있는지 이해할 수 있어서, 가동 중단 시간을 최소화할 수 있다”고 말했습니다.

시간이 지남에 따라, InfoTrack은 비즈니스의 다른 측면들을 모니터링하고 신제품과 새로운 서비스 개선을 위한 아이디어를 알리는 데 Elastic Stack을 사용함으로써 계속해서 Elastic Stack에서 더 많은 가치를 찾아내고 있습니다. 혁신팀은 또한 최근에 Elastic Stack을 이용해 새로운 피라밋 모양의 ‘제품 스토리'를 디자인했는데, 이것은 그 플랫폼에서의 검색을 혁명적으로 바꾸어놓고 있습니다. 피라밋의 맨 아래 부분에는 InfoTrack의 데이터 레이크가 있고, 데이터 마트 레이어는 Elastic Stack의 지원을 받고 있으며, 맨 위에는 InfoTrack의 API 레이어와 애플리케이션이 있습니다. 이것은 개발자가 다른 데이터베이스를 구동하고 유지관리하는 대신 이러한 데이터 마트를 기반으로 제품의 아키텍처를 구축할 수 있게 해줍니다. 

혁신팀은 이제 제품 전체에 걸쳐 보다 스마트하고 빠른 검색 메커니즘을 제공하기 위해 InfoTrack의 플랫폼에서 5천 5백만 개 이상의 문서 주문 메타데이터에 태그를 지정하는 프로세스 중에 있습니다. 데이터팀의 도움으로, 이들은 또한 효율적인 전체 텍스트 검색을 위해 플랫폼에서 문서에 태그를 지정하고 경량의 형식으로 변환하는 ETL 파이프라인을 설정했습니다. 

Joshi 혁신팀장은 “Elastic Stack을 통해 이러한 데이터 마트를 확립하고 보다 세분화된 키워드 검색을 활성화함으로 우리 개발자가 이 데이터를 이용해 그 밖에 또 어떤 것을 할 수 있을까, 우리가 어떻게 이 검색 기능을 우리 고객에게까지 확장할 수 있을까, 라는 질문을 던지는 이러한 문화를 촉진하게 되었다”고 말했습니다. 

InfoTrack의 새로운 데이터 레이크 검색은 이러한 혁신의 결과입니다. 고객이 다른 서드파티의 여러 문서를 다시 정렬하고, 시각화하며, 그 연결점을 발견할 수 있도록 하는 것이 스마트한 검색 솔루션입니다. 예를 들어, 잠재적인 고객의 이름에 대한 검색을 실행하는 변호사는 그 사람의 자산, 비즈니스 및 현재 또는 과거의 법적 거래와 관련된 정보가 표면으로 드러나도록 할 수 있습니다. 

이것은 고객 리서치의 속도를 혁신하고, 이해상충 검색이 몇 주가 아니라 하루 만에 완료될 수 있도록 합니다. 

Elastic Stack과 Elasticsearch Service의 사용은 로그 관리에 소요되는 시간 절약과 애플리케이션 오류 해결, 신뢰받는 고객 경험으로 이어지는 등 광범위한 장점을 제공해주었습니다. Joshi 혁신팀장은 이렇게 말합니다. “우리 고객은 우리가 프리미엄 서비스를 제공하기 때문에 InfoTrack을 선택합니다. Elastic 덕분에 우리는 애플리케이션 문제를 조기에 발견하고 훨씬 더 빠르게 지원 티켓을 해결할 수 있어, 프리미엄 서비스를 제공하는 데 도움이 됩니다. 그 결과, 우리의 헬프데스크 NPS는 70에서 80 이상으로 개선되었습니다.” 

성장과 고객 유지 같은 다른 메트릭도 Kibana의 사용으로 상승하도록 설정됩니다. 이것은 문제를 조사하는 데 소요되는 시간을 줄이고 개발자가 질높은 코드를 푸시하는 데 더 많은 시간을 집중할 수 있도록 도와줍니다. 이들은 수정 사항과 기능을 매일 배포할 수 있으며, 다른 곳에서는 찾아볼 수 없는 InfoTrack의 데이터 레이크 검색 같은 혁신적인 솔루션을 릴리즈할 수 있습니다. 아울러, 비즈니스가 그 어느 때보다도 많은 데이터를 보유하여, 교차판매 기회를 파악하고 고객 이탈을 방지하는 데 도움이 됩니다. 

InfoTrack은 이제 개발 프로세스를 성숙시키고 Elastic Stack의 새로운 기능을 추가하는 데 중점을 두고 있습니다. 이것은 Elastic Cloud 콘솔에서 슬라이더를 클릭하고 드래그하여 쉽게 수행할 수 있습니다. 향후 계획에는 APM을 사용해 문서 전달 파이프라인에서 실패 지점을 추적하는 것이 포함되며, 따라서 실패가 자체의 기술 스택에서 비롯되든 아니면 파트너의 기술 스택에서 비롯되든, 문제를 더 빨리 해결할 수 있습니다. InfoTrack은 또한 Elastic Cloud 내에서 SIEM에 손쉽게 접근할 수 있어 크게 기대하고 있으며, 이것을 활용해 어떻게 위협을 모니터링하고, 보안 운영을 추진하고, 이와 같은 작업을 위해 사내 솔루션을 구축하지 않아도 되게 해주는지를 탐색하고 있습니다. 

Joshi 혁신팀장은 이렇게 말합니다. “우리의 목표는 4개월마다 전체 솔루션을 릴리즈하는 것입니다. Elastic은 우리가 이 목표를 달성할 수 있는 유연성과 효율성을 제공해줍니다.”