Elastic Stack 7.6.0 출시

Elastic Stack의 버전 7.6이 정식 출시된다는 기쁜 소식을 알려드립니다. 이번 릴리즈는 새로운 SIEM 탐색 엔진의 출범과 MITRE ATT&CK™ 참조 자료에 맞춘 일련의 큐레이팅된 탐색 규칙 세트를 통해 자동화된 위협 탐색을 간소화하고, Elasticsearch에 성능 개선을 가져오며, 수집 시 유추 기능으로 지도 머신 러닝을 좀더 턴키 방식으로 만들고, 새로운 데이터 통합의 출범으로 클라우드 가시성와 보안을 심화합니다. 이번 릴리즈에는 이 밖에도 새롭고 흥미로운 기능들이 훨씬 더 많이 탑재되어 있습니다.

Elastic Cloud의 Elasticsearch Service에서 버전 7.6 사용이 바로 가능합니다. 이 새로운 기능들은 유일한 호스트형 Elasticsearch 제품인 Elasticsearch Service에서만 이용하실 수 있습니다. 또는 자체적인 관리 환경에서도 Elastic Stack을 다운로드하실 수 있습니다.

전체적인 기능 소개는 개별 블로그 포스팅에 있지만, 따로 찾아보실 필요 없이 이 블로그에서 릴리즈 하이라이트를 소개해 드리겠습니다.

훨씬 더 빨라진 Elasticsearch

Elasticsearch 쿼리를 몇 배나 더 빠르게 하는 것은 늘 있는 일이 아닙니다. 이번에는 날짜별로 또는 다른 긴 값을 기준으로 정렬되는 쿼리의 성능을 극적으로 개선할 방법을 찾았습니다. 이를 위해, 정렬된 쿼리에 block-max WAND 최적화를 적용할 수 있었습니다. 이것은 확실히 결과를 바꾸지 않을 때는 새로운 결과 개수를 세지 않도록 하는 스마트한 방법이며, 7.0에서 top-k 결과 쿼리를 더 빨라지게 했던 것과 동일한 Block-Max WAND입니다.

와닿지 않는 분들을 위해 말씀드리자면, 이것은 매우 큰 혁신입니다. 제 시간에 맞춰 데이터를 정렬하는 것은  가시성과 보안 사례에서 가장 많이 하는 작업 중 하나입니다. Elastic Logs 앱에서 오류를 추적해 찾아내거나 Discover에서 위협을 조사하는 것은 이번 변경 사항 덕분에 보통 때보다도 훨씬 더 산뜻하게 처리할 수 있게 된 수많은 것들 중 하나일 뿐입니다. 7.6으로 업그레이드하기만 하면 이 속도 향상을 직접 느껴보실 수 있습니다.

교육에서 추론까지, 이제 Elastic Stack에 기본 탑재되는 지도 머신 러닝

Elastic Stack에서 머신 러닝의 목표는 언제나 조직의 누구나 사용할 수 있도록 아주 쉽게 만드는 것이었습니다. 5.4에서 처음으로 출시된 이래, 우리는 Kibana에서 시각화 작업을 하는 것만큼이나 쉽게 이상 징후를 탐색할 수 있도록 했고, 따라서 더 폭넓은 사용자층이 이를 이용하게 되고, 데이터 사이언스팀은 훨씬 더 효율적으로 작업할 수 있게 되었습니다. 7.6에서는 모델 교육에서부터 수집 시 추론을 위해 그 모델을 사용하는 것에 이르기까지 엔드 투 엔드 지도 머신 러닝 기능을 스택에 제공하게 되어 기대가 됩니다. 목적은 통합 가시성, 보안, 엔터프라이즈 검색 사용 사례 등에 걸쳐 실무자를 위해 Elasticsearch에서 분류와 회귀 같은 지도 머신 러닝 방법을 훨씬 더 턴키 방식으로 만드는 것입니다. 예를 들어, 보안 분석가는 이제 분류(classification)를 사용하여 봇 탐색 모델을 구축한 다음, 수집 시에 새로운 추론 수집 프로세서를 사용해 새로운 트래픽에 봇이라는 레이블을 붙일 수 있습니다. 이 모든 것이 Elasticsearch에서 기본으로 제공됩니다.

비지도 러닝과 이상 징후 탐색에서와 마찬가지로, 여기서 우리의 목표는 지도 머신 러닝을 누구나 쉽게 이용할 수 있도록 하는 것입니다. 따라서, 일반 데이터 과학 도구 키트를 만들거나 또는 사용자가 대충 꿰맞추고 여러 도구에 걸쳐 데이터를 이동하는 복잡한 워크플로우를 유지해야 하는 외부 머신 러닝 라이브러리에 통합을 제공하는 대신, 우리는 일반적인 사용 사례를 간소화하는 데 중점을 두어왔습니다. 이러한 접근으로, 우리는 전에는 불가능했던 새로운 사용 사례를 이용 가능하게 하고 운영적인 측면을 간편하게 유지하고 있습니다.

Elastic은 단순히 프레임워크를 구축하는 것뿐 아니라 실제 사용자이기도 합니다. 추론 수집 프로세서에서 사용할 수 있는 언어 확인 모델을 포함시켜 수집 시에 문서 상에 언어 레이블을 붙일 수 있게 되어 기대가 됩니다. 언어 확인은 수많은 사용 사례에 있어 핵심입니다. 예를 들어, 지원 센터는 이 기능을 사용해 들어오는 질문을 언어를 기준으로 적절한 지원 담당자나 지원 위치로 보낼 수 있습니다. 그리고 이를 사용해 들어오는 텍스트가 Elasticsearch에서 적절하게 색인되는지 확인할 수 있습니다. 이에 대해서는 블로그 포스팅을 눈여겨봐주세요!

BAI Communications의 Jeremy Foran 기술 전문가는 이렇게 말합니다. “뉴욕시와 토론토에서 대중 교통 시설의 와이파이 지하철 네트워크를 담당하고 있는 팀으로서, 우리는 시스템 문제와 접속 이상 징후를 탐색할 필요성을 절실히 인식하고 있습니다. 이것은 우리가 매일 통근하는 수백만 명의 사람들을 위해 양질의 접속을 제공할 수 있도록 해줍니다. 2017년에 우리는 Elastic의 비지도 머신 러닝이 지원하는 이상 징후 탐색으로 전환하여 그렇지 않았더라면 놓쳤을 문제들을 실시간으로 탐색하게 되었고, 네트워크 성능에 대한 영향을 최소화하였습니다. 미래에 대해, 그리고 전 세계적으로 더 많은 대중 교통 시설의 온보딩에 대해 전망해 볼 때, 우리는 계속해서 Elastic Stack 7.6의 지도 머신 러닝 기능을 활용해 새로운 네트워크 온라인 서비스를 제공할 예정입니다.”

이러한 기능과 그 밖의 기능 전체에 대한 더 자세한 내용은 Elasticsearch 7.6 블로그 포스팅과 Kibana 7.6 블로그 포스팅을 확인해 보시기 바랍니다.

Elastic Security

새로운 SIEM 탐색 엔진과 MITRE ATT&CK™- 규칙을 활용해 드웰 타임 0에 근접하기

Elastic Security 버전 7.6은 새로운 SIEM 탐색 엔진을 도입하여 스레드 탐색을 자동화하고 평균 진단 시간(Mean Time To Detect, MTTD)을 최소화합니다. Elasticsearch를 핵심으로 하는 Elastic SIEM은 이미 보안 조사 시간을 수 시간에서 수 분으로 줄입니다. 이 새로운 자동 탐색 기능으로, 우리는 그렇지 않았더라면 놓치게 될 위협이 드러나게 함으로써 드웰 시간을 줄이고 있습니다.

우리는 또한 ATT&CK 참조 자료에 맞춘 거의 100개에 달하는 기본 제공 규칙을 마련하고 있습니다. 이것은 다른 도구가 종종 놓치는 위협 신호가 드러나게 하는 데 도움이 될 수 있습니다. Elastic의 보안 전문가들이 만들고 유지 관리하는 이러한 규칙들은 위협 활동을 가리키는 도구, 전술 및 절차를 자동으로 탐색하기 위해 설계되었습니다. 탐색 엔진이 생성하는 신호의 위험과 심각도 점수는 효율적인 분류를 제공하며 분석가들이 가장 중요한 작업에 집중할 수 있도록 도와줍니다.

Elastic Security의 무료 기본 계층에서 탐색 엔진과 미리 패키지된 규칙을 출시하고 있으며, 이를 통해 어디에서나 보안 실무자들이 대규모로 자동화된 분석을 공개적으로 사용할 수 있게 됩니다.

Windows 엔드포인트에 대한 전례 없는 가시성으로 방어를 피해가려는 공격자의 시도를 무력화

Windows 시스템은 그 대중성와 관대한 사용자 권한 모델로 인해 주요 공격 대상입니다. 이번 릴리즈는 Windows 활동에 대한 가시성을 심화하여 고급한 위협의 회피 기술에 대해 전통적으로 취약한 위치의 데이터를 수집하고 보강합니다. 기본 탑재되는 새로운 탐색은 이 데이터를 활용하여 키보드 입력을 포착하고, 악성 코드를 다른 프로세서에 심으려는 시도 등을 탐색합니다. 실무자는 이러한 탐색 규칙이 발생시키는 이벤트와 자동화된 대응을 연결하여 계층화된 예방을 확립할 수 있습니다.

이 기능으로, Elastic Security는 모든 분석가가 이용할 수 있는 대규모의 Windows 크기와 가격대로 엔터프라이즈에 전례 없는 수준의 가시성과 보호를 제공하게 됩니다.

잠시만요, Elastic Security에는 마음에 드실 만한 기능이 더 많이 있습니다.

Elastic SIEM 7.6 정식 버전 출시 탐색 엔진뿐 아니라, 새롭게 디자인된 개요 페이지와 많은 UX 개선이 포함되어 위협 헌팅, 분류 및 조사의 속도를 높이는 데 도움이 됩니다. Amazon Web Services(AWS) 및 Google Cloud Platform(GCP) 로그와의 새로운 통합으로 더 강력한 클라우드 보안이 가능해집니다. Elastic Security 7.6 소개 포스팅에서 모든 자세한 내용에 대해 알아보세요.

Elastic Enterprise Search

기능상의 자율성을 희생하지 않는, 대기업을 위한 검색 통합

여러 사이트와 사업 단위에 걸쳐 검색 환경을 관리하는 것은 대기업에게는 어려운 일이 될 수 있습니다. Elastic App Search 7.6은 한 세트의 엔진을 쿼리 작업하는 문서 없는 엔진인 메타 엔진을 도입합니다. 메타 엔진으로, 조직은 단일한 검색 창에서 여러 엔진에 걸쳐 검색을 통합하는 기능을 갖추면서 동시에 계속해서 관리자가 각 개별 하위 엔진의 동작을 완전히 제어하도록 할 수 있습니다.

이 기능은 Elastic Cloud와 자체 관리형 버전의 App Search에 대해 제공됩니다.

Enterprise Search 제품은 현재 Workplace Search라고 합니다

Elastic Enterprise Search를 우리의 검색 제품군을 아우르는 새로운 “상위” 솔루션 이름으로 한 단계 높였습니다. 우리의 Enterprise Search 제품은 2019년 5월에 베타로 출시되었고, 이는 현재 Elastic Workplace Search라고 알려져 있습니다. Workplace Search는 팀과 조직들이 현대적인 워크플로우를 지원하는 수많은 도구에 걸쳐 흩어져 있는 모든 콘텐츠를 검색하고 찾을 수 있게 해줍니다. 모든 작업 데이터를 위한 단일한 검색창입니다.

Elastic Enterprise Search 업데이트에서 메타 엔진과 기타 개선 사항에 대해 알아보세요.

Elastic Observability

새로운 AWS와 GCP 통합은 클라우드 운영에 대한 한층 심도깊은 가시성을 제공합니다

우리는 통합을 클라우드 생태계로 확장하고 사용자가 계속해서 클라우드 운영에서 더 나은 탭들을 유지하도록 돕고 있습니다. AWS 청구 모듈은 엔터프라이즈가 AWS 대금 청구와 사용량을 추적하게 해줍니다. 이 데이터를 머신 러닝 및 알림 기능과 결합하여 지출을 감당할 수 없게 되기 전에 비정상적인 사용 패턴에 대한 알림을 받으세요. 새로운 GCP 모듈은 StackDriver가 모니터링하는 모든 GCP 서비스와 더불어 VM을 직접 모니터링할 수 있게 해줍니다. 기본 탑재되는 Kibana 대시보드는 최소한의 노력만으로도 순식간에 수집에서 인사이트로 이동할 수 있다는 뜻입니다. 이러한 새로운 클라우드 데이터 통합은, 최근 릴리즈에 추가된 몇 가지 다른 것들과 함께, 클라우드 운영에 대한 보다 심층적인 가시성을 제공해줍니다.

Elastic APM에서 기본 Jaeger 지원으로 공개 표준에 집중

오픈 소스에서부터 오픈 코드까지, 개방성은 우리가 하는 모든 것의 중심에 있습니다. 가시성 커뮤니티가 발전하여 OpenTracing과 OpenTelemetry 같은 이니셔티브로 공개 표준을 포용하는 것을 보게 되어 기쁩니다. 우리는 Elastic Observability에서 이러한 공개 표준을 지원할 것을 약속합니다. CNCF 졸업 단계 프로젝트인 Jaeger는 OpenTracing 표준과 호환되는 엔드 투 엔드 요청 추적에 대한 인기 있는 선택입니다. Elastic APM 에이전트는 초창기부터 OpenTracing와 호환되어 왔습니다. 버전 7.6에서 Jaeger 수집 지원으로 Elastic APM과 Jaeger 간에 훨씬 더 직접적인 연결을 제공하게 되어 무척 기대가 됩니다.

Elastic APM은 이제 Jaeger 수집으로 기능하며, 고객들은 기존의 Jaeger에서 계측된 코드를 변경할 필요 없이 APM을 통해 Jaeger에서 계측된 추적을 직접 Elasticsearch로 수집할 수 있습니다. 사용자들은 이제 Jaeger에서 계측된 추적을 Elastic APM으로 가져와 순식간에 거의 아무런 힘도 들이지 않고 그 로그 및 메트릭과 더불어 이를 탐색할 수 있습니다.

기타 Elastic Observability 하이라이트로는 다음을 들 수 있습니다.

• 머신 러닝이 지원하는 로그 분류, 이것은 로그를 유사한 형식으로 그룹화하고 추세 분석을 간소화합니다
• Elastic APM의 릴리즈 주석은 서비스의 새 버전이 언제 출시되는지를 탐색하고 자동으로 APM 앱에서 타임라인을 주석으로 달아줍니다.

상세한 블로그 포스팅에서 Elastic Observability의 모든 새로운 기능에 대해 알아보세요.

언제나 그렇듯, 더 많은 것들이 있습니다.

7.6에서 추가된 모든 업그레이드에 대한 자세한 내용은 아래의 개별 제품 블로그를 통해 확인해 보세요.

Elastic Stack

• Elasticsearch 7.6.0 출시
• Kibana 7.6.0 출시

솔루션

• Elastic Enterprise Search 업데이트
• Elastic Observability 7.6.0 출시
• Elastic Security 7.6.0 출시