새로운 프로즌 티어로 S3를 직접 검색

바로 여기에서 프로즌 티어가 중요한 역할을 합니다. 프로즌 티어를 사용하면 S3 또는 다른 객체 스토어에 데이터를 아카이브할 때 드는 정도의 비용으로 수년간의 데이터를 경제적으로 저장할 수 있으므로, 이러한 사용 사례를 충분히 지원할 수 있습니다. 주요 차이점은 프로즌 티어의 경우 Elasticsearch에서 데이터를 모두 검색할 수 있으며 프로즌 티어에서 데이터를 가져오는 Kibana 대시보드가 원활하게 작동한다는 것입니다. 아카이브에서 직접 데이터를 찾아 가져오고, 복원한 다음, 검색 가능하게 전환하는 작업은 더 이상 필요가 없습니다. 보존할 데이터와 삭제할 데이터들 사이에서 고민하고 선택할 필요도 없습니다. 이제 프로즌 티어를 사용하면 이 모든 것이 쉽고 매끄럽게 진행됩니다.

작동 방식

프로즌 티어는 검색 가능한 스냅샷을 활용하여 저장 공간과 컴퓨팅을 분리합니다. 데이터가 LIM(인덱스 수명 주기 관리) 정책에 따라 웜 또는 콜드 티어에서 프로즌 티어로 마이그레이션되면 로컬 노드의 인덱스가 S3 또는 선택한 객체 스토어로 마이그레이션됩니다. 콜드 티어는 인덱스를 객체 스토어로 마이그레이션하지만, 빠르고 일관된 검색을 위해 전체 데이터의 복사본 하나를 로컬 노드에 유지합니다. 반면에 프로즌 티어는 로컬 복사본을 모두 없애고 객체 스토어에서 데이터를 직접 검색합니다. 반복 검색의 속도를 높이기 위해 최근에 쿼리된 데이터의 로컬 캐시를 구축하지만, 캐시 크기는 프로즌 티어에 저장된 전체 데이터 크기의 일부분에 불과합니다.

일반적으로 10%가 로컬 캐시에 유지됩니다. 따라서 적은 수의 로컬 티어 노드로 수백 테라바이트의 프로즌 티어 데이터를 처리할 수 있습니다. 간단히 비교하자면, 64GB RAM이 탑재된 일반적인 웜 티어 노드로 10TB를 관리하는 경우 동일한 콜드 티어 노드로 2배인 20TB를 관리할 수 있으며 프로즌 티어 노드로는 최대 100TB까지 관리할 수 있습니다. 즉, RAM 대 저장 공간 비율이 1 대 1,500에 달하며 이는 보수적으로 잡은 추정치입니다.

비용 대비 성능

그렇다면 상충 관계에 있는 것은 무엇일까요? 짐작하시겠지만, 바로 성능입니다. 이것이 바로 Elastic에서 다양한 데이터 티어를 제공하는 이유입니다. 사용자는 조직에 적합한 ILM 정책을 유연하게 정의하여 핫, 웜, 콜드 및 프로즌 티어에 상주해야 하는 데이터의 양과 기간을 결정할 수 있습니다. 간헐적으로 검색하고 다른 티어보다 빠른 성능이 필요하지 않는 데이터를 프로즌 티어에 저장해야 합니다.

또한 Elastic에서는 느리게 실행되는 검색에도 가능한 최상의 사용자 경험을 제공할 수 있도록 하는 최적화에도 큰 진전을 이뤘습니다. Elasticsearch에 적용되는 비동기식 검색 기능을 개발했는데, 백그라운드에서 대시보드를 렌더링하고 나중에 검색할 수 있으므로 Kibana에서 자연스러운 사용자 경험이 제공됩니다. 그 외에도 사전 필터링과 일치하지 않는 인덱스 건너뛰기, 가능한 경우 검색 조기 종료, 텍스트 검색에 block-max WAND 사용 등 느린 실행 쿼리의 속도를 높이기 위해 일련의 쿼리 효율성 개선 사항을 릴리즈했습니다. 

Elasticsearch에서는 기본적으로 모든 데이터가 색인됩니다. 따라서 데이터 자체를 스캔할 필요 없이 간결한 인덱스 구조를 활용하여 대규모 데이터 세트에 대한 결과를 매우 빠르게 반환할 수 있으므로 프로즌 티어에서 데이터 검색이 특히 효율적으로 이루어집니다. 게다가 검색 가능한 스냅샷의 장점 중 하나가 Lucene에 대한 깊이 있는 전문 지식을 사용하여 쿼리에 응답하는 데 꼭 필요한 인덱스의 하위 집합만 가져온다는 것입니다. 

이러한 최적화 기능들이 한데 모여 프로즌 티어를 검색할 때 가장 빠르고 뛰어난 사용자 경험을 보장합니다. 또한 ILM 정책을 더 쉽고 빠르게 설정하고 구성할 수 있도록 새롭게 디자인된 ILM UI가 지원되므로 이제 완전한 Elastic 데이터 티어 세트를 빠르고 효과적으로 사용하는 데 필요한 모든 도구가 갖춰졌습니다.

퍼블릭 또는 프라이빗 저장 공간, 원하는 대로 선택

Elastic은 언제나 사용자에게 최소한의 개입으로 최대한의 유연성을 제공하기 위해 노력해 왔습니다. AWS S3, Azure Cloud Storage, Google Cloud Storage 및 MinIO에 대한 공식 지원 외에도, Elastic에서는 원하는 S3 호환 객체 스토어를 테스트하여 검색 가능한 스냅샷, 콜드 티어 및 프로즌 티어와 연동되는지 검증할 수 있는 리포지토리 테스트 키트를 출시합니다.

쉽게 사용 가능한 API 형태로 제공되는 테스트 키트를 통해 자체 S3 호환 객체 스토어에 대해 일련의 간이 테스트를 실행할 수 있습니다. 테스트에 성공한 경우 해당 객체 스토어를 사용하여 스냅샷을 저장하고 검색할 수 있으며 이를 콜드 티어 및 프로즌 티어의 객체 스토어로 사용할 수 있습니다. 이 키트는 검증 테스트 키트이므로 검증을 통과한 해당 S3 호환 저장 공간을 Elastic에서 공식적으로 지원하는 것은 아닙니다. 문제가 발견된 경우 Elastic에서 이를 해결하기 위해서는 지원되는 S3 디바이스에서 해당 문제를 재현할 수 있어야 합니다.

타임라인

프로즌 티어는 Elastic 7.12에서 기술 미리보기로 소개되고 있습니다. 핫, 웜 및 콜드 티어는 이미 정식 버전으로 제공되고 있으며 콜드 및 프로즌 티어를 지원하는 검색 가능한 스냅샷 기능도 마찬가지입니다. 프로즌 티어는 Elastic Cloud 7.12에서도 사용할 수 있으며 더 간단하고 즉시 사용 가능한 슬라이더가 곧 제공될 예정입니다. 

지금 바로 시작

프로즌 티어를 시작하려면 Elastic Cloud에서 클러스터를 구동하거나 Elastic Stack의 최신 버전을 설치하세요. 이미 Elasticsearch를 실행 중이신가요? 그렇다면 클러스터를 7.12로 업그레이드하신 후 다시 사용해 보세요. Elastic Cloud에서 사용해 보고 싶으시다면 Elastic Cloud 설명서에서 자세한 내용을 알아보세요. 프로즌 슬라이더가 출시되면 이러한 번거로운 작업이 필요 없어집니다. 프로즌 티어에 대한 자세한 내용은 검색 가능한 스냅샷 블로그, 검색 가능한 스냅샷 제품 설명서 또는 데이터 티어 제품 설명서에서 확인하실 수 있습니다.

이 문서에 설명된 기능의 릴리즈 여부 및 시기는 Elastic의 단독 재량에 따릅니다. 현재 이용할 수 없는 기능은 정시에 또는 전혀 제공되지 않을 수 있습니다.