Elastic 7.11をリリース――検索可能スナップショットを一般公開、Coldティアが新登場、Schema on readベータ版を公開
Elastic 7.11を一般公開（GA）いたしました。今回のリリースでは、エンタープライズサーチ、オブザーバビリティ、セキュリティの各Elasticソリューションに多彩な新機能が登場しています。Elasticソリューションは、ElasticsearchやKibanaで構成されるElastic Stackをベースとしています。一般提供を開始した検索可能スナップショットやSchema on readのベータ版をはじめ、今回のリリースにはコスト、パフォーマンス、インサイト、柔軟性の最適化を強力に支援する各種新機能が搭載されています。
Elasticエンタープライズサーチの新しいWebクローラー（ベータ）を使うと、パブリックにアクセスできるWebサイトのコンテンツを簡単に検索することができます。Elasticオブザーバビリティにはサービスヘルスとホストの詳細ビューを表示する機能が登場し、根本原因分析やトラブルシューティングの操作性、アプリケーションのオブザーバビリティが向上しています。Elasticセキュリティには新たに事前構築済み検知ルール、機械学習ジョブ、カスタマイズ可能なアラート通知が登場して検知や修復の機能性が向上したほか、アナリストの一元的な作業スペースがSecOpsのプロセスとスムーズに連携するようになりました。
またElasticのサービスを管理する最適な手法であり、Elasticのソリューションを唯一クラウドで提供するElastic Cloudでも複数のリリースアナウンスを行っています。具体的には、Elastic Cloudで検索可能スナップショットの強力なサポートを開始したほか、データと機械学習ノードの自動スケールに関するアナウンス、クラスター横断検索（CCS）とクラスター横断レプリケーション（CCR）の強化による可用性と検索パフォーマンスの向上などがあります。Elastic 7.11の新機能はすべて、Elasticが最新リリースを提供する唯一のマネージドサービス、Elastic Cloudで今すぐ使いはじめることができます。またElastic Stackをダウンロードして、あるいはクラウドオーケストレーションプロダクトとして提供されるElastic Cloud EnterpriseやElastic Cloud for Kubernetesを活用して、セルフマネージドでお使いいただくことも可能です。
先日お伝えした通り、Elasticは7.11リリースよりElasticsearchとKibanaのライセンスオプションを変更します。具体的には、Apache 2.0によりライセンス提供されるコードから、Elastic LicenseとSSPLに基づくデュアルライセンス提供に移行します。またElasticは大幅なアップデートを通じて、Elastic Licenseを一層シンプルかつ寛容なライセンスにしました。Elasticの配布パッケージ、ならびに無料・有償を含む全機能のソースコードはElastic License v2の下に使用許諾され、また一連のコアな無料機能群のソースコードはSSPL v1によっても使用許諾されます。この変更は、Elasticコミュニティの圧倒的大多数のユーザーに一切の影響を与えません。
それではいよいよ、リリースのハイライトをご紹介します。また各機能の詳細、個別の製品ブログでもご紹介しています。併せてご覧ください。
Elastic Stack
安価なオブジェクトストアに格納する検索可能スナップショットに新登場のColdティアを組み合わせ、より多くのデータを保持・検索
検索可能スナップショットを使うと、AWS S3やMicrosoft Azure Storage、Google Cloud Storageなど、ローコストオブジェクトストレージに格納されたスナップショットのデータを検索できます。Elasticsearchクラスターのストレージコストと、検索パフォーマンス、データから取得するインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチが誕生しました。検索可能スナップショットはストレージコストを大幅に減少に引き下げ、また新登場のColdティア機能をサポートします。Coldティアは今回一般公開に移行し、Elastic Cloudでも提供を開始しました。パフォーマンスへの影響を最小限に抑えながら、インフラコストを最大50％削減することができます。
ランタイムフィールドで活用できるSchema on readが登場――柔軟性、コスト、効率性に優れるSchema on readと、超高速パフォーマンスのSchema on writeから自在に選択
ランタイムフィールドで、クエリ時にインデックスのスキーマを定義することができるようになりました。7.11でベータリリースされるこの機能を使うと、スキーマの作成中に新規データや新規のワークフローを発見することができます。コストとパフォーマンスのトレードオフ関係について選択しつつ、新しいインサイトの発見をもたらす比類ない柔軟性も確保できます。
Elasticsearchは超高速の分散型検索・分析エンジンとして知られますが、それはデータを格納するインデックスがディスク書き込み時に構造化インデックスとして作成されるアプローチ、いわゆる“Schema on write”のおかげです。構造を整理するには、Elasticsearchでデータがどう表現されるかについての理解と準備が欠かせません。その分、スピード、スケール、関連性という大きなメリットを享受できます。しかし時には、データスキーマを事前に計画するのではなく、データを新しい切り口で探索、調査するアプローチが必要となることもあります。そこで今回、検索時にランタイムフィールドにSchema on readを用いて流動的なデータストラクチャーを作成する方法が登場しました。この方法はフレキシブルで、最初にインサイトを取得するまでの時間を短縮できますが、総合的なパフォーマンスではトレードオフとなる部分もあります。そのため、検索シナリオに応じてユーザーがSchema on readとSchema on writeをすばやく切り替えることができるようになっています。
ランタイムフィールドは、今回のリリースではElasticsearchでサポートされます。将来的には、Kibana全体でサポートされる予定です。また7.11で、Schema on readはベータリリースとなります。詳しくは、ランタイムフィールドに関するブログをご覧ください。
新しいアラートフレームワークが一般公開へ移行、Elastic Stackと外部システムを横断するアラートと通知の作成と管理、監視を実現
デジタルなエコシステム内で発生している重要なイベントを把握することは、業務タイプを問わずミッションクリティカルな作業です。脅威検知からアプリケーションパフォーマンス警告、物理アセットの追跡まで、データインサイトに基づいて判断するには、重大な変更が生じたときにタイムリーにアラートが届く仕組みが不可欠です。このようにタイムリーなアラートをElastic Stackに提供する新しいアラートフレームワークは8か月前にベータリリースされていましたが、今回の7.11リリースで、この新しいアラートフレームワークが一般公開に移行しました。
ベータで公開中は大きな熱意をもってコミュニティに受け止められ、導入実績も多数に上りました。このことは、Elastic Stackの各ソリューションに深く統合され、一元的に管理でき、検知だけでなくアクションの促進を重視する、またユーザーのワークフローに直接統合されたフレームワークを構築するというElasticのコミットメントを強化する、大きな支えとなりました。このアラートインターフェースはElasticセキュリティとElasticオブザーバビリティに直接組み込まれているほか、PagerDutyやServiceNow、Microsoft Teamsといったプラットフォームとのサードパーティアラート統合に対応する形で拡張されています。また各種アラートは、ロールベースのアクセス制御機能を使って簡単に管理できます。
ご紹介した機能やその他の情報について、Kibana 7.11ブログ記事およびElasticsearch 7.11ブログ記事でもお伝えしています。併せてご覧ください。
Elasticエンタープライズサーチ
Elastic App SearchにWebクローラーが新登場、パブリックなWebサイトコンテンツを簡単に検索可能に
検索の目的でコンテンツを処理する方法は多数あります。これまでElastic App Searchは、JSONのアップロードやパース、および、APIエンドポイントを経由する方法でのコンテンツインジェストに対応していました。Elasticエンタープライズサーチ7.11より、ユーザーはパワフルなWebクローラーを使ってコンテンツをインジェストすることもできるようになりました。このWebクローラーはパブリックにアクセス可能なWebサイトの情報を取得し、コンテンツをお使いのApp Searchエンジンで手軽に検索できるようにします。App Searchの他のインジェスト方法と同様、スキーマの推論はインジェスト時に行われ、1クリックでほぼリアルタイムにアップデートできます。ユーザーはコードを書かずにクリックだけでWebクローラーをカスタマイズでき、除外するページやコンテンツ、語句などのルールをWebクローラーに指示したり、エントリーポイントを指定したりすることも可能です。
Elastic Workplace Search、クラウドコンテンツ管理システム大手のBoxに保存したコンテンツ検索のサポートを拡充
クラウドベースストレージの草分けの1つとしてもおなじみのBoxは、コンテンツ管理システムを代表するブランドへと進化しており、世界中に数百万人ものユーザーを抱えています。Elasticエンタープライズサーチは、Workplace SearchのコンテンツソースとしてBoxのサポートを開始しました。事前構築済みのコネクターにはドキュメントレベルの権限機能が搭載され、適切なユーザーに適切なコンテンツを表示できます。もちろん余計なものは表示しません。Boxがサポート対象に加わったことで、Google DriveやDropboxほか、これまでも頼れるコンテンツソースポートフォリオを提供してきたラインナップが一層充実しました。
Elastic Workplace Search、AtlassianのJira CloudとConfluence Cloud向けにドキュメントレベルの権限設定によるきめ細やかなアクセス制御の提供を開始
すべてのコンテンツを同じように作成、あるいは共有できるわけではありません。センシティブ情報や私的コンテンツは明確に定義された個人やグループで共有しなければなりません。さらに、コンテンツが手軽に検索できるようになってきている現在、ファイルをドキュメントレベルのアクセス制御で管理する仕組みはますます重要となっています。Elastic Workplace Searchは、AtlassianのJira CloudとConfluence Cloudでドキュメントレベルの権限サポートを開始しました。Elastic Workplace Searchから権限を引き継ぎ、同じものを前出のソースアプリケーションに設定できます。
その他のElasticエンタープライズサーチの新機能については、エンタープライズサーチ7.11リリースブログでご覧ください。
Elasticオブザーバビリティ
根本原因分析とトラブルシューティングを促進する、Elastic APMの新しいサービスヘルスビュー
最新のクラウドネイティブなアプリケーションは、典型的には数百のマイクロサービスの上に成り立っています。したがってインシデント調査のワークフローには、個々のサービスのパフォーマンスとヘルスをピンポイントで速やかに特定する能力が不可欠です。今回登場した“サービス概要ページ”は、サービスのヘルスに関するすべての情報を一元的に要約して表示します。これにより、開発者やSREsはパフォーマンスの問題のトラブルシューティングをより手軽に実行することが可能になります。
たとえばサービスレイテンシーやエラーレートの時系列チャートを通じて、時間経過におけるサービスKPIの高次のビューを確認することができます。またデプロイマーカーなどのオーバーレイの注釈や異常に関するアラートを使って、サービスの挙動の変化に関与した可能性がある主要なイベントに、リッチなコンテクストを追加することもできます。このサービス概要ページはスパークラインを活用して、サブコンポーネントの一時的な傾向をコンパクトなビューで表示します。サービスの挙動における異常な変化が見つけやすくなることで、調査がはかどるというメリットがあります。またサービス概要ページには、サービスをデプロイした基盤インフラストラクチャーのインスタンス（例：コンテナー）が原因でダウンしたサービスのヘルスも表示されます。この情報は、サービスの問題を、基盤インフラストラクチャーの問題を結びつけて理解する上で役立ちます。
今後のリリースでは追加のコンテンツやビューをリリースし、それらを組み合わせてトラブルシューティングと根本原因分析のワークフローの一層の効率化と迅速化を図る予定です。
インフラのトラブルシューティング迅速化を促す、Elastic Metricsの新しいホスト詳細ビュー
Elastic Metricsアプリのリソースヒートマップは、インフラストラクチャー内のトラブルを発見し、後続の調査ステップを絞り込む上で役立ちます。Metrics UIの新しいビューを使うと、高次のビューから簡単に移動して、個々のホストで何が起きているか調査することができます。ヒートマップのタイルをクリックするとポップアップウインドウが開き、主要なホストのメトリック、ホストで生成されたログ、ホストで実行中のプロセス、ホストのメタデータの時系列チャートなど、主要な情報を確認できます。
Elastic Common Schema（ECS）に新たなロギングライブラリが登場――ログとトレースを自動でリンク付け、コンテクストを追加
アプリケーションのトラブルシューティングのワークフローには、アプリケーションのログとトレースを相関付け、コンテクストを失うことなく画面を移動できる操作性が不可欠です。Elastic Common Schema（ECS）のロギングライブラリを使えば、APMエージェントが捉えたトレースコンテクストがアプリケーションログに自動で挿入され、ログからスムーズな分析に必要な相関関係をトレースすることができます。
ECSのロギングライブラリには、log4jをはじめとする人気のロギングフレームワーク向けプラグインがあります。開発者はこれを使って、ネイティブなワークフローを変更することなく、ECS準拠のJSON形式でアプリケーションログを書き出すことができます。ECSロガーはAPMエージェントが捕捉した関連するトレースコンテクストを自動でログに書き込みます。つまり、開発者は特別な作業を行うことなく、“オブザーブ可能な”アプリケーションを開発することが可能です。
その他の新機能について詳しくは、Elasticオブザーバビリティ7.11ブログ記事を併せてご覧ください。
Elasticセキュリティ
検索可能スナップショットとColdティアを組み合わせて、大量のセキュリティデータにアクセス
Elastic 7.11より検索可能スナップショットが一般提供へ移行し、またAmazon S3などのオブジェクトストアを活用できるColdティアが登場しました。セキュリティチームは最大50％もコストを削減しながら、数年分の大規模データに直接アクセスすることが可能になります。たとえば脅威ハンティングから調査、コンプライアンス、脅威プロファイリング、フォレンジック分析、攻撃者エミュレーションなど、幅広いユースケースに対応します。セキュリティデータの保持期間が長くなれば、たとえ非常に長いドゥエルタイムに直面した場合も、現場担当者は確実に必要なデータを手にすることができます。クラウドプラットフォームやアプリケーション、IDS/IPS、DNS、ワイヤーデータ、ホストアクティビティ、オブザーバビリティデータ、MDM、IoT、OT、およびその他のデータソースはコストが高すぎることにより、これまで日常の運用に組み込むことは困難とされてきました。今後はこうしたデータを運用可能な状態で、より大規模に保持することが可能になります。また、データを横断して自動検知を適用し、他の方法では検知できない、あるいは見過ごしてしまうようなセキュリティイベントを検出することも可能です。
事前構築済み機械学習ジョブ＆MITREサブテクニック準拠の検知ルールでクラウドアプリとホストへの攻撃を検知
アップデートされた機械学習ジョブと新登場の検知ルールを搭載するElastic Security 7.11は、最新のエンタープライズスタックを安全に保つ上で役立ちます。Elasticが開発した新しい一連の検知機能はMITRE ATT&CK®サブテクニックをサポートし、組織内で攻撃が展開される仕組みへの理解を深めることでATT&CK®フレームワークとの連携性を高めます。
クラウドアプリケーション向けの事前構築済み検知は、Google WorkspaceやMicrosoft 365、OktaをはじめとするSaaSテクノロジーを標的とする攻撃のテクニックと挙動を自動で発見し、IaaS（サービスとしてのインフラストラクチャー）テクノロジーを対象としたElasticの既存の保護機能を補完する役割を果たします。WindowsおよびLinux環境向けの事前構築済みセキュリティ分析コンテンツは永続化の解決、特権のエスカレーション、水平な移動に注目することで、攻撃者による広範なアクティビティを一元的に検知します。
またSUNBURSTや他の攻撃の検知をサポートするDGA（ドメイン生成アルゴリズム）検出手法について、先日Elasticセキュリティのリサーチャーによるブログ記事を公開しました。詳しくは、ブログ記事「machine learning for DGA detection」（機械学習を使ったSGA検知）をご覧ください。
SOCのワークフローを合理化し、レスポンスタイムを迅速化――アラート管理機能の向上、広範なルールアクションの登場、Timelineワークスペースの刷新、アクセシビリティナビゲーションの追加
アナリストが脅威を解決する際、アラートを効率的に管理することにより、作業スピードを保つことができます。カスタマイズ可能なアラート通知でSlackやServiceNowといったサードパーティのワークフローツールに重要なコンテクストを追加すれば、分析作業中の画面切り替えが減り、トリアージの速度が上がります。今回のアップデートで、アナリストはアラートを直接ケースに添付して対応のワークフローとの連携性を高め、また関連情報を集約することが可能になりました。拡充された一連のルールアクションはJira、ServiceNow、IBM Resilientとの統合を強化し、SOCの効率化に貢献します。
また、Timelineワークスペースが刷新され、脅威ハンティングやアラートのトリアージと調査を一層効率的に実行できるようになりました。専用タブで主要な情報を確認したり、全画面ビューでイベントを表示できるほか、他の関連イベントの情報を見失うことなくイベントの詳細にアクセスできます。複数のタイムラインの表示をスムーズに切り替えたり、ドラッグ＆ドロップのフィールドですばやく更新することも可能です。
Elasticセキュリティ 7.11ではアクセシビリティナビゲーションが向上し、キーボードナビゲーションとスクリーンレーダーが強化されています。日頃、アクセシビリティ機能を経由して内蔵ツールを使用するユーザーのニーズに応えるアップデートですが、ホットキーをはじめ、他のパワーユーザーにも魅力的な機能向上となっています。
詳しくは、Elastic セキュリティ7.11リリースブログをご覧ください。
Elastic Cloud
ストレージ密度を倍に、あるいはインフラコストの節約に――S3などのオブジェクトストアに検索可能スナップショットを入れて使えるColdティアが新登場
Elastic Cloudで、新登場の検索可能スナップショット機能とColdティアを活用できるようになりました。Elastic Cloudコンソールから、操作性に優れたColdティアスライダーを使って導入できます。このスライダー制御を使ってコスト効率に優れたデータ保持戦略を実装すると、コストはそのままで、データをより長期に保持することが可能になります。
具体的には、Hot-Warm-Coldアーキテクチャーを活用して古くなってゆく時系列データを保持する方法と場所を管理し、データストレージのコスト効率を最大化します。関連性が高く、アクセス頻度も高い最新データには、HotまたはWarmを指定できます。さらにインデックスライフサイクル管理を使って活用度の低いread-onlyデータを自動でColdティアに移し、Amazon S3や、Azure Blob Storage、Google Cloud Storageなどコスト効率と耐久性の高いオブジェクトストレージに入れておくことができます。
デプロイテンプレートを使ってすばやく立ち上げた後は、既存のデプロイでも、新規のデプロイでも、複数のテンプレートにわたって使えるWarmスライダーとColdスライダーで、データポリシーを管理できます。Elastic Cloudは、検索可能スナップショットとColdティアのメリットを活用する最も簡単な方法です。
データの自動スケールと機械学習ノードを活用したクラウドのスケールと運用合理化
リソースを絶えず監視、管理する作業からユーザーを解放し、キャパシティニーズに応じてクラスターを自動でスケールさせる新機能をご紹介します。Elastic Cloudより、フレキシブルなデータ自動スケールと機械学習ノードを組み合わせた新機能を近日リリース予定です。データノードの自動スケール機能を使うと、インジェストやインデックスされるデータ量が増えた場合も、必要なキャパシティを常に確保することができます。機械学習ベースの自動スケール機能は、メモリー上限を超えることなく、機械学習機能をシームレスに追加して円滑なエクスペリエンスを叶えます。Elasticは今後のリリースを通じて自動スケール機能の強化を図り、他のメトリックやユースケースもサポートしてゆく予定です。インフラストラクチャーをシームレスに拡張する自動スケール機能があれば、Elasticのテクノロジーを活用するユースケースを増やす際も安心です。
リージョンとクラウドプロバイダーを横断してデータを複製、検索――クラスター横断レプリケーションとクラスター横断検索の強化で可用性と検索パフォーマンスがさらに向上
クラスター横断レプリケーションとクラスター横断検索を強化し、異なるリージョンや異なるクラウドプロバイダーを横断して使用できるようになりました。ユーザーは、リージョンやクラウドプロバイダーが異なる複数のクラスターにわたってデータを検索したり、複製したりすることができます。
CCS（クラスター横断検索）を使うと、検索対象とするクラスターの数を自由に指定でき、整然とした単一のビューに全データが可視化されます。このようにデータサイロの壁を取り除き、すべてのデータを単一クラスターのデータのように関連付けることで新たなインサイトの生成が促進されます。CCR（クラスター横断レプリケーション）を使うと、複数のクラスターにわたるデータを複製し、コピーを格納できます。データセンターがダウンした場合も検索リクエストを処理できるほか、2つ以上のクラスターを用いてデータを1か所に集めたり、データをエンドユーザーに近い場所に置いてレイテンシーを軽減したりできます。
リージョンやクラウドプロバイダーを横断したデータを処理を実現する新機能のリリースにあたっては、著しいイノベーションを通じてセキュリティや信頼性、ネットワークトポロジーを解決する必要がありました。開発チームはそのハードワークを乗り越え、この新機能をユーザーのデプロイで手軽に活用することが可能となっています。
Elastic Cloudの最新情報はこの他にも、Elastic Cloud 7.11の最新情報ブログでご紹介しています。
併せてご覧ください
他にもたくさんのアップデートを行っています。7.11に追加された新機能については、各ソリューションやプロダクトの個別のブログ記事でもご覧いただけます。
Elastic Stack
Elasticsearch 7.11.0リリース（ブログ記事）
Elasticのソリューション
Elasticエンタープライズサーチ7.11.0リリース（ブログ記事）
Elasticオブザーバビリティ7.11.0リリース（ブログ記事）
Elasticセキュリティ7.11.0リリース（ブログ記事）