서버리스로 더 많은 서비스를 제공하세요

향후 10년을 생각하면서, 우리는 여전히 번개처럼 빠른 성능을 제공하는 더욱 단순한 사용자 경험이 필요하다는 것을 인식하고 있습니다. 우리는 많은 Elastic 사용자가 배포 및 확장에 대한 완전한 제어를 원하지만 또 다른 사용자들은 더 단순함을 원한다는 것을 알고 있습니다. SOC 분석가는 더 나은 위협 탐지를 위해 샤드를 확장하는 것이 아니라 조직을 보호하기를 원합니다. 개발자는 더 빠른 쿼리를 위해 인프라를 조정하는 것이 아니라 검색 애플리케이션을 구축하기를 원합니다. SRE는 가동 중단 시간을 최소화하는 데 도움이 되는 구성을 설정하는 것이 아니라 온라인 안정성을 보장하기를 원합니다. 우리는 클러스터 관리를 좋아하지만 여러분도 클러스터 관리를 좋아하실 필요는 없습니다! Elastic의 서버리스 아키텍처는 운영 책임을 제거하므로 여러분은 이제 클러스터 관리, 샤드 구성, 확장 및 ILM 설정에 대해 신경을 쓰지 않으셔도 됩니다. 데이터와 쿼리만 가져오면 플랫폼이 모든 확장과 관리를 처리합니다. 

더 긴 데이터 보관 기간을 갖추고 더 빠른 확장성을 확보하면서도 여전히 비용 균형을 유지하고 복잡성을 줄일 수는 없다는 말을 지겹도록 들으셨나요? 음, 이제는 그렇게 하실 수 있습니다. 많은 워크로드의 경우, 드웰 타임이 긴 SolarWinds와 같은 위협을 조사하든, 수백 개의 서비스에서 중단의 근본 원인을 식별하든, 검색 증강 생성을 통해 생성형 AI 워크로드를 지원하기 위해 벡터 검색을 사용하든, 규모와 속도가 모두 중요합니다. 

이것이 바로 우리의 서버리스 아키텍처가 저장 공간에서 컴퓨팅을 완전히 분리하고 객체 저장 공간에 의존하는 재설계되고 재구성된 Elasticsearch를 기반으로 하는 이유입니다. 클라우드 객체 저장소는 비용 효율적인 확장성을 제공하지만 대기 시간이 발생하므로 속도를 위한 새로운 기술이 필요합니다. 다행히도 효율적인 캐싱을 위해 Elasticsearch 및 Lucene 인덱스 데이터 구조를 최적화하는 데 있어 수년간의 경험과 향상된 쿼리 시간 병렬화를 결합하여 이러한 대기 시간 문제를 극복했습니다. 즉, 속도와 비용의 균형을 쉽게 맞출 수 있는 내장 컨트롤을 통해 속도와 확장성을 모두 누리실 수 있습니다.

Elastic의 새로운 서버리스 아키텍처는 Elasticsearch의 중요한 리엔지니어링을 의미합니다. 최신 클라우드 기반 서비스를 활용하고 번거로움 없는 관리로 최적화된 제품 경험을 제공하도록 구축되었습니다. 이는 데이터 레이크의 저장 공간 용량을 제공하면서도 Elasticsearch와 동의어인 빠른 검색 성능과 무간섭 클러스터 관리 및 확장을 통한 운영 단순성을 제공합니다. 아키텍처는 다음 네 가지 주요 원칙을 바탕으로 구축되었습니다.

• 컴퓨팅과 저장 공간의 분리
• 별도의 검색 및 색인 티어
• 기록 시스템으로서의 저렴한 객체 저장 공간
• 낮은 대기 시간 쿼리

여러 워크로드를 관리하기 위해 기본 인스턴스와 복제본 인스턴스에 의존하는 대신 Elastic의 서버리스 아키텍처는 고유한 색인 및 검색 티어를 지원합니다. 이러한 분리는 워크로드를 독립적으로 확장할 수 있고 각 사용 사례에 맞게 하드웨어를 선택하고 최적화할 수 있음을 의미합니다. 

또한 이 접근 방식은 서로 간섭하는 검색 및 색인 워크로드의 지속적인 문제를 효과적으로 해결합니다. 이를 통해 모든 검색 사용 사례 또는 워크로드에 대해 성능과 지출을 더 쉽게 최적화할 수 있습니다. 이 속성은 과도한 검색으로 인해 색인 작업이 중단되는 것을 방지하려는 대용량 로깅 및 보안 사용자와 검색 성능에 영향을 주지 않고 더 나은 정확도와 검색 성능을 위해 색인 시간 기능을 많이 사용하려는 검색 사용자에게 중요합니다.

서버리스 아키텍처는 저장 공간 비용을 줄이면서 확장성을 높이기 위해 저렴한 객체 저장 공간을 사용합니다. 지속성을 위해 객체 저장 공간을 활용함으로써 Elasticsearch는 더 이상 내구성을 위해 하나 이상의 복제본에 색인 작업을 복제할 필요가 없으므로 색인 비용과 데이터 중복이 줄어듭니다. 대신 세그먼트는 객체 저장 공간을 통해 유지되고 복제됩니다. 이는 다양한 요건에 대한 효율성을 창출합니다. 예를 들어, 로컬 디스크에 저장된 데이터를 최소화하여 색인 티어에 대한 저장 공간 비용을 줄입니다. 서버리스 아키텍처는 객체 저장소에 직접 색인하므로 일부만 로컬 데이터로 유지됩니다. 추가 전용 작업과 관련된 시나리오의 경우, 색인을 위해 특정 메타데이터만 보존하면 되므로 색인에 필요한 로컬 저장소가 크게 줄어듭니다.

객체 저장소는 엄청난 양의 데이터를 지원할 수 있지만 속도나 짧은 대기 시간은 알려져 있지 않습니다. 그렇다면 Elastic은 어떻게 객체 저장 공간을 사용하고 뛰어난 쿼리 성능을 유지할까요? 우리는 빠른 성능을 제공하기 위해 몇 가지 새로운 기능을 도입했습니다. 세그먼트 수준 쿼리 병렬화는 객체 저장소에서 데이터를 검색할 때 대기 시간을 줄여줍니다. 이를 통해 데이터가 로컬 캐시에 없을 때 S3와 같은 객체 저장소에 더 많은 요청을 신속하게 푸시할 수 있습니다. 또한 재사용성과 각 데이터 유형에 대한 최적의 Lucene 인덱스 형식 활용을 통해 캐싱이 "더 스마트"해졌습니다. 이는 객체 저장소와 캐싱 티어 모두에서 상당한 성능 향상을 가져온 새로운 기능 중 일부에 불과합니다.

또한 우리는 이 기회를 통해 검색, Observability, 보안을 위한 서버리스 아키텍처용 맞춤형 제품을 구축할 예정입니다. 그 목적은 간소화된 사용자 경험을 통해 각 워크플로우의 고유한 요건에 맞게 최적화하는 것입니다. 여기에는 더 빠르고 지속적인 온보딩, 기능의 긴밀한 통합, 각 사용 사례 작업에 대한 사용자 정의 인터페이스 최적화가 포함됩니다. 각 제품의 주요 특징은 다음과 같습니다.

• 검색: 서버리스 검색 경험은 개발자가 즉시 뛰어난 검색 경험을 빠르고 쉽게 만들 수 있도록 하는 데 중점을 둡니다. API는 데이터를 수집하고 Elasticsearch로 가져오는 쉬운 방법과 결합된 최전선이자 중심입니다. 이러한 파이프라인은 변환 및 기타 작업을 신속하게 완료할 수 있도록 단순화되었습니다. Java, .NET, Python 등과 같은 새로운 언어 클라이언트는 인라인 설명서와 함께 초기 학습 곡선과 작업을 완료하는 데 필요한 단계를 줄이기 위해 만들어졌습니다. 이를 통해 개발자가 보다 신속하게 가치를 얻을 수 있도록 돕는 간소화된 개발자 경험을 구축합니다.