Elastic Stack 7.6.0をリリース

Elastic Stackバージョン7.6を一般公開いたしました。新登場のSIEM検知エンジンと、MITRE ATT&CK™ナレッジベース準拠の精選された検知ルールで自動脅威検知をよりスムーズに実行できます。またElasticsearchのパフォーマンス向上により、教師ありの機械学習で投入時予測機能を手軽に活用することが可能です。さらにデータ統合モジュールが追加され、クラウドにより深い水準のオブザーバビリティとセキュリティが実現されます。今回のリリースにはこの他にもさまざまな改善が含まれています。

バージョン7.6はElasticが提供する唯一のマネージドサービス、Elastic CloudのElasticsearch Serviceで今すぐ使いはじめることができます。またElastic Stackをダウンロードして、セルフマネージドでお使いいただくことも可能です。

本記事は、今回のリリースのハイライトをお届けします。リリース詳細の各ブログ記事では、すべての新機能についてもれなくお伝えしています。併せてぜひご覧ください。

ますます速くなったElasticsearch

Elasticsearchのクエリが何倍も高速化する瞬間は、そうそう目撃できるものではありません。今回のリリースでは、日付や、その他の長い値でソート（並べ替え）するクエリのパフォーマンスが劇的に向上しました。この高速化は、ソートクエリにBlock-max WAND最適化を適用することで実現しました。「明らかに結果に影響しない場合に、新しい結果をカウントすることを止める」という変更です。お気づきでしょうか？7.0で、上位k件にヒットするクエリを高速化させたあのBlock-Max WANDと同じものです。

ともすると小さな変更点のように見えますが、劇的な進化です。時系列での並べ替えは、オブザーバビリティやセキュリティのユースケースで最も一般的なタスクの1つです。この変更は、Elastic Logsアプリでエラーを見るときや、Discoverで脅威を調査するときなど、幅広い場面で高速化の恩恵をもたらします。このメリットは、7.6にアップグレードするだけで自動的に享受していただくことができます。

教育から予測まで、Elastic Stackでネイティブに利用可能になった”教師あり”の機械学習

Elasticは、”組織のすべての人に非常に使いやすい機械学習”の提供を目指しています。 初回リリースの5.4は”Kibanaでの可視化と同じくらい簡単な異常検知”を提供しました。以来、従来の機械学習製品に比べて幅広いユーザー層に対応しつつ、データサイエンスチームの作業効率を向上させるプロダクトとして利用されています。7.6では、モデルの教育から、モデルを使って投入と同時に実施する予測まで、教師ありの機械学習機能をエンドツーエンドで利用可能になりました。今回Elasticが目指したのは、教師ありの機械学習メソッドを、Elasticsearchの”分類”や”リグレッション”と同じくらい手軽な機能として提供すること、そしてオブザーバビリティやセキュリティ、エンタープライズサーチなど、幅広い領域で使える機能にすることです。セキュリティアナリストによる活用例を考えましょう。たとえば、はじめに分類機能を使ってbot 検知モデルを開発します。次に新登場の予測投入プロセッサーを使って新たなトラフィックの投入時に、botによるものか、そうでないかを予測／分類します。7.6では、この一連のプロセスを、すべてElasticsearchでネイティブに実行することができます。

教師なし機械学習や異常検知と同様に、Elasticは教師ありの機械学習も”簡単で、誰にでも使える”機能にしたいと考えています。一般的なデータサイエンスツールキットや、機械学習の外部ライブラリとなる統合ツール、という形式でリリースしないのはそれが理由です。そうしたツールにはどうしても、ユーザーによる大規模な修繕や、ツール間でデータを移動させるなど複雑なワークフローの管理が生じてしまいます。Elasticはそうした煩雑さを避け、一般的なユースケースをシンプル化することに重点を置いています。このアプローチから今後も新しいユースケースを切り拓き、運用を限りなくシンプルに保ってゆく予定です。

Elasticはフレームワークを開発する企業ですが、ユーザー集団でもあります。予測投入プロセッサーと併用することで、投入時にドキュメントの言語を分類できる”言語特定モデル”のリリースは、私たちにとっても非常にワクワクするものです。言語特定は、多くのユースケースで重要な役割を果たしています。たとえば、サポートセンターでこの機能を使うと、寄せられた質問の言語に基づいて、適切なサポートエージェントやサポート拠点に転送する上で役立ちます。また、投入されるテキストがElasticsearchに正しくインデックスされているか、確認するために使用することも可能です。この機能については、近日公開予定のブログ記事で詳しくお伝えいたします。

BAI Communicationsでテクノロジースペシャリストを務めるジェレミー・フォーラン氏は次のコメントを寄せています。「私たちのチームはニューヨークとトロントで公共地下鉄のWi-Fiネットワークを運営しており、システムの問題や、接続の異常を検知することの重要性を熟知しています。検知は、何百万という通勤客に、確実に良質な接続を提供するための手段です。私たちは2017年に、Elasticの教師なし機械学習による異常検知を導入しました。異常検知でなければリアルタイムに把握できない問題を検知し、ネットワークパフォーマンスの問題による影響を最小化できると考えたのです。今後の運用や、世界の各都市の公共交通に参入する未来図を考慮し、私たちはElastic Stack 7.6の教師あり機械学習を引き続き活用する予定です。これからも、多数のネットワークを構築してゆきます」

ご紹介した機能や、その他の新機能について詳しくは、Elasticsearch 7.6ブログ記事およびKibana 7.6ブログ記事をご参照ください。

Elasticセキュリティ

新登場のSIEM検知エンジンと、MITRE ATT&CK™準拠ルールでゼロドゥエルタイムを目指す

Elasticセキュリティバージョン7.6より、脅威検知を自動化し、MTTD（Mean Time To Detect、検出までの時間）を最小化する新たな”SIEM検知エンジン”が加わりました。Elasticsearchのパワーを活用するElastic SIEMはこれまでも、数時間を要していたセキュリティ調査の時間を数分に短縮するなど、すぐれた性能を発揮してきました。今回の自動検知の導入で、従来は見落とす可能性のあった脅威を把握し、ドゥエルタイム（発生から認知までの時間）を短縮することが可能になります。

さらに、ATT&CKのナレッジベースに準拠した100以上の構成済みルールも登場しました。他のツールでは見落とされがちな脅威のシグナルを表面化させる上で役立ちます。一連のルールはElasticのセキュリティエキスパートにより作成／保守され、脅威となるアクティビティを示すツールや戦術、手順を自動で検知する設計です。検知エンジンにより生成されるシグナルのリスク、および重大度のスコアは、アナリストが効果的にトリアージし、重要な問題に集中する手助けとなります。

この検知エンジンとパッケージ化されたルールは、ベーシックライセンスから利用でき、無料で提供されます。あらゆる場所のセキュリティ担当者に、オープンでアクセシブル、大規模な自動分析を提供するための取り組みです。

Windowsエンドポイントへの比類ない可視性で、防御を回避する敵の試みを暴く

Windowsシステムは広く普及しており、比較的寛容なユーザー権限モデルを持つことから主要な攻撃対象となっています。7.6のリリースで、高度な脅威が持つ回避テクニックに対して従来脆弱とされる場所のデータ収集・エンリッチが可能になり、Windows上のアクティビティへの可視性が深まります。この検知機能はすぐに使いはじめることができ、前述のデータを活用して、キーボード入力を把握しようとする試みや、他のプロセスに悪意のあるコードを読み込ませる試みを検知します。また一連の検知ルールが生成するイベントと、自動化応答（例：プロセスのkill）を組み合わせて、防御をレイヤー化することも可能です。

この機能が加わったElasticセキュリティで、Windowsシステムを多く使う組織はかつてない水準の可視性と保護を構築する事が可能になります。費用面でも、あらゆるアナリストが利用できるソリューションとなっています。

Elasticセキュリティのその他の更新点

Elastic SIEMは、7.6より一般提供となりました。Elastic SIEMでは検知エンジンの追加のほか、概要ページとUXのデザインの刷新も行いました。脅威の追跡やトリアージ、調査をよりスピーディに実行するための改善です。Amazon Web Services（AWS）とGoogle Cloud Platform（GCP）のログ統合も新たに加わり、クラウドのセキュリティを一層強化することが可能になっています。詳しくは、Elastic Security 7.6リリースブログをご覧ください。

Elasticエンタープライズサーチ

機能面の自律性はそのままに、大企業内部の検索を一元化

大企業において、複数のサイトや事業ユニットを横断する検索エクスペリエンスを管理することは簡単ではありません。Elastic App Search 7.6より、複数のエンジンをクエリするドキュメントレスなエンジン、”メタエンジン”が登場しました。メタエンジンを導入する組織では、単一の検索バーから複数のエンジンを一元的に検索することが可能になる一方、管理者が個々のサブエンジンの挙動を完全に管理する権限はそのまま維持されます。

本機能は、Elastic CloudのApp Searchと、セルフマネージド版でお使いいただくことができます。

エンタープライズサーチから、Workplace Searchへ

Elasticでは今回のリリースより、”エンタープライズサーチ”を、傘下に複数の検索プロダクトファミリーを持つソリューション名として使用してまいります。2019年5月にベータをリリース以来、ご愛顧いただいているプロダクトの”エンタープライズサーチ”の名称は今後、”Elastic Workplace Search”となります。Workplace Searchを使うチームや組織は、現代の職場を支える多種多様なツールによって分断されたあらゆるコンテンツを横断的に検索し、必要なデータを見つけることが可能になります。つまり、「全業務データのための単一の検索ボックス」です。

メタエンジンと、その他の機能強化について詳しくはElasticエンタープライズサーチのアップデート情報をご覧ください。

Elasticオブザーバビリティ

新登場のAWSとGCP統合モジュールでクラウド運用の可視性を高める

今回のクラウドエコシステムへの統合拡充は、クラウド運用の監視性向上を図るものです。新登場のAWS請求モジュールは、法人組織のAWSの請求と使用量を追跡します。一連のデータを機械学習、およびアラート機能と組み合わせれば、請求が予算を上回る前に正常な使用量のパターンに基づく通知を受け取ることができます。同じく新登場のGCPモジュールは、VMと、StackDriverで監視されるGCPサービスを直接監視します。さらに構築済みのKibanaダッシュボードを使えば、投入からインサイト取得までを瞬時に、最小限の手間で実行することができます。最近リリースされた複数の機能と新登場のクラウドデータ統合モジュールを併用して、クラウド運用への可視性をさらに高めることが可能です。

オープンスタンダードを支持するElastic、Elastic APMでJaegerのネイティブサポートを開始

Elasticは、オープンソースとオープンコード、”オープンであること”を活動の基本方針にしています。最近オブザーバビリティのコミュニティで、OpenTracingやOpenTelemetryをはじめとするオープンスタンダードプロジェクトの開発や浸透が進んでいます。Elasticにとってもエキサイティングな動きであり、Elasticオブザーバビリティでもこれらのオープンスタンダードをサポートすることを決定しました。CNCFの”卒業”（graduated）プロジェクトであるJaegerは、エンドツーエンドにトレーシングをリクエストする人気の選択肢となっており、OpenTracingスタンダードとも互換性があります。Elastic APMの各種エージェントは、初期よりOpenTracing互換の仕様で提供されています。今回のバージョン7.6ではJaegerインテークのサポートが加わっており、Elastic APMとJaegerにより直接的な橋渡しが行われたことも大きなポイントです。

7.6以降、Elastic APMをJaegerインテークとして使うことができ、ユーザーはJaegerで実行したトレースをAPMサーバーから直接Elasticsearchに投入できます。投入時、既存のJaegerインストルメンテーションのコードを変更する必要がありません。Jaegerで実行したトレースをElastic APMに入れ、ログやメトリックとすばやく組み合わせてさらに探索する、といった作業も非常に手軽になります。

Elasticオブザーバビリティのその他のハイライト：

• 機械学習によるログ分類 ― 類似の形式を持つログをグループ化し、トレンド分析をシンプル化します
• Elastic APMのリリース注釈 ― サービスの新しいバージョンリリースが検知された場合に、APMアプリのタイムラインに自動で注釈を追加します

Elasticオブザーバビリティに登場したその他の新機能については、詳しいブログ記事をご覧ください。

併せてご覧ください

他にもたくさんの情報をお届けしています。7.6に追加された新機能については、各プロダクトの個別のブログ記事で詳しくご紹介しています。

Elastic Stackについて

• Elasticsearch 7.6.0リリース（ブログ記事）
• Kibana 7.6.0リリース（ブログ記事）

ソリューション

• Elasticエンタープライズサーチの最新情報
• Elasticオブザバビリティ7.6.0リリース（ブログ記事）
• Elasticセキュリティ7.6.0リリース（ブログ記事）