Elasticsearch, Kibana, Elastic Cloud 7.16: 통합 및 실행 가능한 인사이트

Elastic 7.16이 릴리스되면서 사용 사례에 관계없이 데이터를 대규모로 안전하게 수집, 저장, 검색 및 분석하기가 그 어느 때보다 간편해졌습니다. ServiceNow와 같은 서드파티 솔루션과 Amazon Web Services(AWS) FireLens와 같은 클라우드 네이티브 통합을 살펴보고 팀과 시스템 전반에서 데이터를 실행 가능한 인사이트로 전환하고 워크플로우를 간소화하세요.

또한 7.16은 Elasticsearch를 개선하여 성능을 향상하고 리소스 소비를 극대화하며, 사용자에게 Kibana 시각화 등에 더 많은 컨텍스트를 추가할 수 있는 기능을 제공합니다.

팔을 걷어붙이고 시작할 준비가 되셨나요? 도움이 되는 다음 링크를 활용해 보세요.

• Elastic Cloud에서 새로운 기능 사용해 보기
• 최신 버전의 Elasticsearch, Kibana, Kubernetes의 Elastic Cloud 다운로드
• 릴리즈 노트에서 자세히 알아보기: Elasticsearch, Kibana, Elastic Cloud, Kubernetes의 Elastic Cloud
• Elasticsearch 새로운 변경 사항 확인

통합을 통해 데이터를 수집하고 연결하는 새로운 방법

데이터에서 인사이트로 손쉽게 전환

Microsoft Azure, Google Cloud 및 AWS와의 네이티브 통합을 비롯하여 통합 라이브러리가 증가함에 따라 애플리케이션, 인프라, 퍼블릭 콘텐츠 소스 등에서 손쉽게 데이터를 수집하고 연결할 수 있게 되었습니다.

7.16에서 제공하는 Kibana의 새로운 통합 UI를 사용하면 클릭 몇 번으로 Elastic Agent 지원 통합을 수행하고 새로운 소스에서 데이터를 수집하는 방법을 훨씬 더 빠르게 찾을 수 있습니다. 통합 UI에서는 Elastic Agent, Beats, Logstash, Elastic App Search 웹 크롤러, Workplace Search 콘텐츠 소스 커넥터, Elasticsearch 언어 클라이언트에서 지원하는 모든 통합을 검색할 수 있습니다.

개발자, 실무자 및 분석가는 모두 한곳에서 시작하여 자신의 필요에 가장 적합한 수집 방법을 사용할 수 있습니다. 또한 더 많은 Elastic Agent 지원 통합이 계속해서 정식 버전으로 출시되고 있으므로 사용자는 사용자 지정 수집 파이프라인을 구성하고 긴 YAML 파일을 수정하는 데 드는 시간을 줄이고 Elastic Stack을 사용하여 데이터를 탐색하는 데 더 많은 시간을 할애할 수 있습니다.

ServiceNow 워크플로우 간소화

기존 IT 서비스 관리(ITSM) 및 보안 인시던트 대응(SIR) 통합과 신규 IT 운영 관리(ITOM) 통합을 위한 새로운 ServiceNow 인증 애플리케이션은 애플리케이션, 보안 또는 인프라 ServiceNow 인시던트 생성의 자동화를 강화하고 수동으로 인시던트를 제출하고 정보를 이중으로 문서화하는 데 소요되는 시간과 리소스를 줄입니다.

이러한 업데이트 덕분에 팀은 Elastic 소스 데이터를 사용하여 인시던트 및 사례를 생성하고 업데이트할 때 항상 ServiceNow의 최신 정보를 사용하여 작업할 수 있습니다. 팀은 통합 가시성 및 보안 사용 사례에 맞춰 Kibana의 경보 규칙을 사용자 지정하여 후속 조치를 자동화하고, 관찰 가능한 사례를 ServiceNow로 푸시하여 조사를 강화할 수 있습니다. Elastic과 ServiceNow의 지속적인 협력을 통해 이러한 통합이 확대됨에 따라 워크플로우를 더욱 간소화할 수 있는 기능이 계속 제공될 것입니다.

AWS FireLens와의 새로운 네이티브 통합으로 운영 복잡성 감소

AWS FireLens와의 네이티브 통합을 통해 Elastic Cloud에 데이터를 보다 쉽게 수집할 수 있는 방법을 알려드리게 되어 기쁩니다. AWS FireLens는 Amazon Elastic Container Service(Amazon ECS) 시작 유형인 Amazon Elastic Compute Cloud(Amazon EC2)와 AWS Fargate를 위한 컨테이너 로그 라우터입니다. 이제 독립 실행형 데이터 수집기를 설치 및 관리하지 않고도 ECS 및 Fargate 로그를 사용하여 AWS 워크로드의 통합 가시성과 보안을 더욱 향상시킬 수 있습니다. 간소화된 데이터 아키텍처로 더 빠르게 데이터를 Elastic Cloud로 수집하고 운영 복잡성을 줄여보세요.

성능 향상, TCO 절감

7.16에서는 성능을 향상하고 복원력을 높이고 디스크 및 메모리 사용을 줄이는 몇 가지 기능을 도입하여 궁극적으로 총 소유 비용을 절감할 수 있게 되었습니다.

새로운 차원으로 확장

이제 데이터 노드에서 필드당 힙 소비 감소라는 이점을 활용할 수 있습니다. 테스트 결과에 따르면 7.16 이전에는 데이터 노드의 1,000 Beats 인덱스에서 데이터 구조를 저장하려면 4GB의 힙이 필요했지만, 이제는 수백 MB만 있으면 됩니다. 검색 속도도 크게 향상되었습니다. 이전에는 인덱스 패턴과 일치하는 모든 샤드로 요청을 팬아웃하곤 했지만, 이제는 노드당 하나의 요청으로 줄었습니다. 힙 소비를 줄이고 샤드 요청을 최적화하면 데이터와 함께 성장하고 Elasticsearch 클러스터를 새로운 차원으로 확장할 수 있습니다.

Elasticsearch의 성능 향상

Elasticsearch 7.9에 도입된 이벤트 쿼리 언어(EQL)는 로그, 메트릭, 추적과 같은 이벤트 기반 시계열 데이터에 대해 서로 다른 시간 범위의 이벤트를 연결하는 상관관계 언어입니다. 7.16에서는 시퀀스에서 null 값을 조인 키로 사용하던 방식을 없애 EQL 성능을 개선함으로써 830배 이상의 성능 향상이라는 놀라운 성과를 달성했습니다!

또 다른 주목할 만한 성능 향상은 정렬된 긴 필드(타임스탬프 포함)의 search_after입니다. Elastic에서는 이 중요한 기능을 개발하여 Lucene에 기여한 후 곧바로 Elasticsearch 7.16에 적용했습니다. 이 변경 덕분에 타임스탬프에 따라 정렬된 머신 생성 데이터의 인덱스에서 결과를 검색하는 성능과 집계 정보가 필요하지 않은 쿼리 성능이 최대 4배 향상됩니다. 이 변경 사항에 대한 자세한 설명은 Elasticsearch의 정렬 쿼리 최적화 블로그 게시물을 참조하세요.

마지막으로, 7.16에서 정식 출시된 벡터 타일 API는 (벡터 타일을 사용하여) 지도에 그려진 geo_points 및 geo_shapes를 검색할 때 크게 향상된 성능과 확장성을 제공합니다. 이 새로운 표준 및 유형의 API는 다른 API처럼 작동하여 JSON을 반환하지 않고, 대신 MapBox 벡터 타일 사양을 반환하므로 이 형식을 지원하는 모든 지도에서 쉽게 렌더링할 수 있습니다.

둘을 나란히 비교해보면 이점을 명확히 알 수 있습니다. 이러한 계산을 로컬 GPU로 오프로드하면 성능이 크게 향상되어 부드럽고 확장 가능한 줌이 지원됩니다.

벡터 타일로 부드럽고 확장 가능한 UX(왼쪽) 및 벡터 타일이 없는 UX(오른쪽). 오른쪽의 동영상은 2배속으로 재생되고 있음에도 불구하고 왼쪽 동영상을 따라갈 수 없습니다.

벡터 타일에 대한 이러한 변경은 데이터 노드에서 기하학적 구조가 단순화된다는 것을 의미합니다. 그 결과, 최종 사용자와 클러스터 내에서 데이터 노드와 조율 노드 간에 전달되는 데이터의 양이 감소하여 잠재적으로 성능과 확장성뿐만 아니라 총 소유 비용 절감에도 영향을 미칠 수 있습니다.

Elastic Stack과 Elastic Cloud 전반에 걸친 기타 업데이트

Kibana

• 목표대로 진행 중인지 확인: Kibana 시각화의 참조선은 목표, 경고 영역, 팀과 조직에 의미 있는 다른 메트릭 표준을 기준으로 메트릭을 추적하는 데 도움이 될 수 있습니다. 이를 사용하여 시각화에서 임계값, 주요 결과, 성능 기준을 표현하면 데이터의 의미를 효과적으로 전달할 수 있습니다.
• 8.0 이상으로 업그레이드: 업그레이드 도우미는 클러스터를 업그레이드하기 전에 완료해야 하는 단계를 보여주고 7.16 구성에서 사용되지 않는 Elasticsearch 또는 Kibana 설정을 식별합니다. 이 도우미는 문제 해결 프로세스를 안내하고 의사 결정을 위한 추가적인 컨텍스트도 제공합니다. 자세한 내용은 이 ElasticON 세션에서 확인하세요.
• 간편하게 변환 상태 모니터링: Kibana 경보의 새로운 규칙 유형을 사용하면 머신 러닝을 위한 지속적인 변환에 운영 문제가 발생하는 경우 알림을 받을 수 있습니다. 여기에는 변환 때문에 데이터 색인이 중단되었는지 또는 실패 상태인지 확인하는 작업이 포함됩니다.
• 7.16 기능에 대한 자세한 내용은 Kibana 설명서를 참조하세요.

Elastic Cloud

• EMEA의 새로운 3개 리전에서 AWS 기반 Elastic Cloud 사용: 이제 바레인, 케이프타운, 밀라노에서 AWS를 기반으로 Elastic Cloud 배포를 실행할 수 있습니다. 중동(바레인), 아프리카(케이프타운), 남유럽(밀라노) 리전에 대한 지원을 추가하여 3개 클라우드 서비스 제공자와 45개 이상의 리전에 걸쳐 애플리케이션, 데이터, 인프라를 검색, 관찰 및 보호할 수 있습니다. 지원되는 모든 리전은 리전 페이지에서 확인하실 수 있습니다.
• 다중 사용자 액세스: 다중 사용자 액세스를 활용하여 Elastic Cloud의 단일 조직 내에서 협업하도록 여러 사용자를 초대할 수 있다는 사실을 알고 계신가요? 동일한 조직의 구성원이라면 누구나 해당 조직과 연결된 Elastic Cloud 배포를 손쉽게 생성, 삭제 및 운영할 수 있습니다. 따라서 여러 사용자 간에 하나의 자격 증명 세트를 공유할 필요가 없습니다. 자세한 내용은 블로그를 참조하세요.

Elasticsearch

• 사전 구축된 ILM 정책: 7.16에는 사용자 지정 ILM 정책으로 전환할 때까지 시작 지점으로 사용할 수 있는 5개의 기본 제공 인덱스 수명 주기 관리(ILM) 정책이 포함되어 있습니다.
• Logstash Grok을 선호하시나요? Grok 프로세서에서 이제 Logstash Grok 필터의 ECS 패턴을 적용하여 Elastic Common Schema(ECS)를 지원합니다.
• 텍스트 분류 집계 지원: 7.16 이전에는 텍스트 분류가 머신 러닝 이상 징후 탐색에서만 가능했습니다. 이제 이상 징후 탐색 작업 없이도 텍스트 카테고리를 즉시 찾아 탐색할 수 있습니다. 따라서 “네트워크 지연 시간 동안 어떤 로그 메시지 유형이 발생하나요?” 또는 “업그레이드 후 일반적으로 표시되는 로그 메시지는 무엇인가요?”와 같은 질문에 답할 수 있습니다.
• 7.16 기능에 대한 자세한 내용은 Elasticsearch 설명서를 참조하세요.

사용해 보기

기존 Elastic Cloud 고객은 Elastic Cloud 콘솔에서 이 중 많은 기능을 바로 이용하실 수 있습니다. Elastic Cloud를 처음 접하시는 경우, 빠른 시작 안내서(빠른 시작을 위한 짤막한 길이의 교육용 비디오)나 무료 기초 교육 과정을 살펴보세요. 언제든 Elastic Cloud 14일 무료 체험판으로 시작하거나 자체 관리형 버전의 Elastic Stack을 무료로 다운로드할 수 있습니다.

이러한 기능 및 자세한 내용은 7.16 릴리즈 노트(Elasticsearch, Kibana, Elastic Cloud, Kubernetes의 Elastic Cloud)를 참조하고 다른 Elastic 7.16 주요 기능은 Elastic 7.16 발표 게시물을 참조하세요.