Elastic Common Schema
Elasticsearchのデータを構造化する
Elastic Common Schema(ECS)はElasticsearchに入れたデータを一律に構造化するスキーマで、かけ離れたソースのデータ分析に役立ちます。ECSを使うと、ダッシュボードや検知ルールなどの分析コンテンツをより広範に適用したり、検索をより細かに設定でき、フィールド名も覚えやすくなります。
Common Schemaを使う理由
インタラクティブな分析(例:検索、ドリルダウン、ピボット、可視化)を行う場合にも、自動化された分析(例:アラート、検知ルール、機械学習による異常検知)を行う場合にも、データは統一された方法で分析する必要があります。しかしデータソースが1つでない限り、データフォーマットが一律になることもありません。一般的に組織の環境は複合的で、多様なベンダー規格に基づいて、さまざまなデータタイプを扱っているためです。
ECSとは?
ECSは、一連の一般的なフィールドを定義するオープンソース&コミュニティ主導の規格です。ECSのElasticsearchデータタイプを活用すると、Elasticsearchにインジェストしたデータの値や使用に階層を持たせることが可能となります。ECSを使うことで、検索やドリルダウン、ピボット、データ可視化、機械学習ベースの異常検知、検知ルール、アラートなど、Elasticで実行する分析の様式が一律になります。
コンテンツ開発のシンプル化
ECSを活用すると、分析コンテンツの開発にかかる時間を短縮できます。組織に新しいデータソースが加わるたびに検索やダッシュボードを新規に作成する必要がなくなり、既存の検索やダッシュボードを使用し続けることができます。ECSを使えば、Elasticやパートナー、オープンソースプロジェクトなど、ECSを使用する他のパーティーから環境に直接分析コンテンツを導入することも簡単になります。
Elastic統合機能群
Elasticが提供する設定不要の統合機能群を使って、アプリやインフラ、クラウド、ネットワーク、ワークプレイスツール、エコシステム内の一般的な他のソースから、ログやイベント、メトリック、トレース、コンテンツなどをストリーミングして収集できます。Elasticの統合機能群を使って収集したデータは、セキュリティやオブザーバビリティをはじめとするElasticソリューションはもちろん、Elastic Stackを使ったその他のユースケースに確実に活用することができます。
統合機能群を経由してインジェストしたデータは、ECSにマッピングされています。ただ統合機能を有効化するだけでインジェストでき、データをすぐにECSフォーマットで操作し始めることが可能です。
データをECSにマッピングする
Elastic統合機能群は、データを自動でECSにマッピングします。しかしそれ以外のデータソースにも、ECSでの正規化によるメリットを活かしたいと思うことがあるかもしれません。お手元のデータをECSにマッピングする場合、利用できるオプションは多数存在します。こちらのブログ記事では一例として、セキュリティデータソースをECSにマッピングする事例をご紹介しています。
ECSを活用する
ECSはコミュニティからのフィードバックに基づく定期的なアップデートを通じて新たなユースケースを解決し、日々進化を遂げているスキーマです。
詳細については、Elastic.coまたはECSレポジトリに公開中のECSのドキュメントをご覧ください。
ご質問やご提案がございましたら、Elasticディスカッションフォーラム、またはSlack ECSコミュニティチャンネルへアクセスしていただくか、ECSレポジトリにissueを投稿してください。