출시

Elastic Stack 6.6.0 출시

By
Steve Kearns

6.6.0이 출시되었습니다!

이번 릴리즈에는 스택 전체에 걸쳐 간단하게 클러스터를 관리하고 확장할 수 있게 해주는 새 기능과 보다 효율적인 저장 공간으로 더 빨라진 위치 정보 도형 색인 및 쿼리 작업, Elasticsearch SQL에 대한 주요 개선 사항, 머신 러닝, Auditbeat, 그 밖에 더 많은 것들이 포함되어 있습니다!

Elasticsearch Service에서 클러스터를 배포하거나 스택을 다운로드하셔서 최신 기능을 직접 확인해 보세요.

인덱스 수명 주기 관리를 통해 적절한 규모로 데이터 수명 주기 관리

로깅, 메트릭, APM 같은 시계열 사용 사례를 대상으로 하는 사용자는 일반적으로 시간 기반의 인덱스에 데이터를 저장합니다. 이 데이터가 오래됨에 따라 가장 비용 효율적인 방법으로 데이터를 저장하기 위한 방법이 많이 있습니다. 예를 들어, 인덱스가 오래되면 사용자는 샤드의 수를 축소하거나 인덱스를 저장하는 데 사용되는 복제본의 수를 줄이거나 보다 저렴한 하드웨어에서 배포된 노드로 인덱스를 이동시킵니다. 또는 특정 기간보다 오래된 인덱스는 삭제할 수도 있습니다. 클러스터 외부에서 유지되는 인덱스(예: 큐레이터 또는 사용자 정의 자동화 스크립트)의 수명 주기를 관리하는 정책을 지정하는 기존의 방법은 한계가 있으며, 구성 및 모니터링을 위한 관리 오버헤드가 발생합니다. 새로운 인덱스 수명 주기 관리 기능은 이러한 데이터를 보다 통합적이고 간소하게 관리할 수 있는 방법을 제공하여 모범 사례를 한결 쉽게 실행할 수 있습니다.

수명 주기 관리 기능은 인덱스의 수명 주기를 hot, warm, cold, 삭제, 이렇게 네 단계로 나눕니다. 인덱스 수명 주기 정책을 정의하여 다음과 같이 할 수 있습니다.

  • 각 hot 노드마다 하나의 기본 샤드를 갖도록 하여 색인 작업 처리량을 최대화할 수 있습니다.
  • 일정 기간이 지나거나 기존 색인이 “가득 차면” 바로 hot 인덱스를 비어있는 새 인덱스와 교체할 수 있습니다.
  • 오래된 인덱스를 warm 노드로 옮겨서, 최적화된 저장 공간과 쿼리 작업을 위해 단일 샤드로 축소하여 단일 세그먼트로 강제 병합할 수 있습니다.
  • 나중에, 인덱스를 비용이 더 저렴한 저장 공간에 있는 cold 노드로 옮길 수 있습니다.

향후 릴리즈에서는 인덱스를 “고정(freeze)”시켜 검색 대기 시간은 늘어나지만 저장 공간을 줄이는 상태로 유지할 수 있게 됩니다. 그리고 최종적으로 더 이상 유용하지 않게 되면 인덱스를 삭제합니다.

이 모든 것이 인덱스 수명 주기 관리에서 자동으로 처리됩니다.

저장 공간 대 메모리 비율을 높여주는 고정(Frozen) 인덱스

Elasticsearch는 가능한 한 신속하고 효율적으로 검색을 수행하는 데 최적화되어 있습니다. 그리고 지금까지의 경우를 보면, 각각의 열린(Opened - 즉, 검색 가능한) 인덱스는 해당 인덱스와 관련된 쿼리가 빠르게 실행되도록 하기 위해 소량의 메모리를 사용했습니다. 해당 노드에서 인덱스의 크기와 숫자가 클수록, 인덱스를 이렇게 오픈 상태로 유지하는 데 필요한 메모리가 많아집니다. 이것은 해당 노드가 단일 JVM으로 처리할 수 있는 저장 공간의 양이 사실상 제한적이라는 뜻입니다. 대부분의 사용자와 사용 사례에 대해서는 이것이 문제가 되지 않습니다. 그러나 규제상의 이유로 데이터를 여러 해 동안 장기 보관해야 하는 등 일부 경우에는 데이터가 온라인으로 검색가능하도록 유지할 필요가 있으면서도 오래된 데이터에 대한 요청을 최대 성능으로 처리할 필요는 줄어듭니다.

고정(Frozen) 인덱스는 검색 대기 시간이 늘어나는 대신 디스크 저장 공간 대 메모리 비율을 높일 수 있습니다. 인덱스가 고정되면, 메모리를 점유하지 않기 때문에 단일 노드가 아주 적은 오버헤드로 수천 개의 인덱스를 쉽게 관리할 수 있습니다. 검색이 고정 인덱스를 대상으로 하면, 쿼리가 완전히 개방되어 검색이 이루어진 다음, 순차적으로 각 인덱스를 닫습니다. 닫힌(closed) 인덱스와는 달리, 고정 인덱스는 복제(replicate)가 됩니다. 고정 인덱스를 통해 클러스터 비용과 성능을 필요에 따라 최적화하는 방법을 원하는 대로 선택할 수 있습니다.

더 작고 빠른 Bkd 기반의 위치 정보 도형

Bkd 트리 데이터 구조는 계속 제공됩니다. 5.0 버전에서는 Bkd 기반의 위치 정보 포인트를 도입하여, 위치 정보 포인트 쿼리 작업에서 상당한 저장 공간, 메모리, 성능의 개선을 이루어냈습니다. 6.6.0 버전에서는 동일한 Bkd 기반의 이점을 위치 정보 도형에 탑재합니다! 이로써 검색 3관왕을 달성하게 되었습니다. 색인 작업은 더 빨라지고 디스크 상에서 더 적은 공간을 차지하며 메모리도 덜 사용합니다.

Elasticsearch SQL에 날짜 히스토그램 지원 추가

SQL 구문을 사용하는 날짜 히스토그램 기본 지원 등 시간 쿼리 처리에 많은 개선사항을 이룬 Elasticsearch SQL은 정식 출시를 계속 준비하고 있습니다. 이러한 개선은 모든 Elasticsearch SQL 사용자에게 유용하지만, 날짜 히스토그램 지원은 Kibana에서 시계열 차트 구축을 한결 쉽게 해주기 때문에 캔버스 사용자에게 가장 영향력이 클 것으로 기대합니다.

머신 러닝 주석 기능 도입

잠재적인 시스템이나 보안 문제를 조사할 때, 발견사항과 진행 상황을 기록하고 싶은 것이 당연합니다. 시스템 문제의 근본 원인과 해결을 위해 실행된 단계 등을 기록하는 것 말이죠. 이제, 머신 러닝 UI 내에서 바로 모든 사용자가 볼 수 있는 주석을 생성할 수 있습니다. 이것은 공동 작업을 간소화하고 Kabana를 떠나지 않고도 실행된 작업을 계속 기록할 수 있게 해줍니다.

Elastic APM에 새로운 에이전트 메트릭 추가

APM은 6.6 릴리즈에서 에이전트 메트릭을 도입합니다. 최신 버전의 에이전트는 이제 추적과 오류는 물론, 시스템과 프로세스 수준의 CPU와 메모리 메트릭을 자동으로 보고합니다.

아울러, 분산 추적이 이제 정식 기능이 됩니다. 그리고 모든 에이전트가 OpenTracing과 호환됩니다. 마지막으로, APM UI는 APM에서 관련 로깅이나 인프라 보기로 간편하게 이동할 수 있게 해줍니다. 그리고 자바 에이전트가 두 개의 새로운 멋진 기능을 도입했습니다. APM 블로그 포스팅의 모든 세부 사항을 읽어보세요.

이러한 변경 사항과 함께, Elastic APM이 이제 Elasticsearch Service(블로그 읽기)와 Elastic Cloud Enterprise (블로그 읽기)에서의 제공된다는 기쁜 소식도 알려드립니다.

잠깐만요, 아직 더 있습니다…

그 밖에도, Beats, Logstash, Kibana에서 새로운 기능과 개선 사항 몇 가지를 추가했습니다.

Auditbeat는 시스템으로부터 다양한 보안 관련 정보를 수집하기 위한 새로운 시스템 모듈을 추가했습니다. 여기에는 운영 체제, 프로세스, 소켓, 특정 호스트에 있는 사용자에 대한 데이터가 포함됩니다. 전용 블로그 포스팅에서 Auditbeat 시스템에 대해 더 자세히 읽어보실 수 있습니다.

머신 러닝은 이제 Auditbeat 데이터에 대한 머신 러닝 작업과 함께 패키지로 제공되어 사용자가 감사 데이터에서 흔히 발생하는 이상 징후 탐색을 바로 시작할 수 있게 해줍니다.

Filebeat에는 새로운 NetFlow 입력이 추가되어, UDP를 통해 Netflow 및 IPFIX 레코드를 수신하는 데 사용할 수 있습니다. NetFlow v1, v5, v6, v7, v8, v9와 IPFIX를 지원합니다.

Beats 중앙 관리를 사용할 때 이제 Metricbeat와 Filebeat를 구성하여 그 구성의 일부에 대한 수정을 거부할 수 있습니다. 이것은 원격 구성이 무엇을 수정할 수 있는지에 대해 실행 중인 비트 수준에서 효과적으로 적용할 수 있게 해줍니다. 보안 운영을 개선하기 위해, 이제 콘솔 출력과 파일 출력 섹션에 대한 수정이 기본적으로 차단됩니다.

Logstash에서는 좀더 성능이 좋은 자바 실행 엔진이 6.1 버전에서 베타로 도입되었는데 이제 정식 기능이 되었습니다.

Kibana에서는 오랫동안 많은 요청을 받아온 기능이 도입되었는데 바로 단일 Kibana 인스턴스를 여러 Elasticsearch 노드에 접속하도록 하는 기능으로서, 이전에 Kibana <> Elasticsearch 연결에서 단일 연결로 인한 실패 해결이 어려웠던 문제를 해결합니다. 시각화 측면에서는 Kibana 대시보드가 이제 PNG 파일로 내보낼 수 있게 됩니다. 이러한 변경 사항과 여러 가지 자세한 내용은 Kibana 6.6 릴리즈 하일라이트를 읽어보시기 바랍니다.

지금 사용해 보세요

Elasticsearch Service에서 클러스터를 배포하거나 스택을 다운로드하셔서 최신 기능을 직접 확인해 보세요.