Elastic Stackの有償オプション

Linuxの監査フレームワークデータを収集し、ファイルの整合性を監視します。Auditbeatからリアルタイムで送信されるイベント情報に基づいて、Elastic Stackがさらに分析を進めます。

FilebeatやMetricbeatを使って、お使いのWebサーバーやプロキシサーバーをさまざまな方法で監視できます。NGINX、Apache、HAProxy、IISなどに対応するモジュールや、事前設定済みダッシュボードも用意されています。

FilebeatとMetricbeatは、シンプルにデータを収集、パース、可視化する内部モジュールを搭載。MySQL、MongoDB、PostgreSQL、Microsoft SQLをはじめとする一般的なログフォーマットやデータストアのシステムメトリック、データベース、メッセージキューシステムに対応しています。

Amazon Web ServicesやGoogle Cloud、Microsoft Azureの広範なクラウドサービスにわたり、パフォーマンスと可用性をトラッキングしましょう。たった1つの画面で、効率的な分析を大規模に推進できます。さらにFunctionbeatを活用すれば、KinesisやSQS、CloudWatch Logsといったサーバーレスクラウドのアーキテクチャーをシンプルに監視することも可能です。

アプリケーションログを監視し、Kubernetesのメトリックとイベントをモニタリングして、Dockerコンテナーのパフォーマンスを分析しましょう。インフラ運用に特化したアプリで、あらゆるデータをリアルタイムに可視化・検索できます。

HTTP、DNS、SIPほか、各種のネットワーク情報から、アプリケーションの遅延やエラー、応答時間、SLA、ユーザーアクセスのパターン、傾向などを把握できます。このデータを活用して、ネットワーク内のトラフィックの流れを捉えてみましょう。

脅威を検知するカギは、あらゆる場所で見つかる可能性があります。環境全体で起きていることを、リアルタイムに把握してみましょう。無数の有償サービスのソースのほか、OSSソースからくるセキュリティデータに対応するElastic AgentとBeatsを使って、大規模な監視と検知を実現できます。

サービスを同じホストでテストする場合も、インターネット経由でテストする場合も、Heartbeatがあればアップタイムと応答時間のデータ生成が簡単になります。

ファイルデータビジュアライザーを使って、CSVやNDJSON、ログのファイルをElasticsearchインデックスにアップロードすることができます。ファイルデータビジュアライザーは、ファイルストラクチャーAPIを使用してファイルのフォーマットとフィールドマッピングを特定します。その後、データをインデックスにインポートすることができます。

Ingestノードを使用して、実際のドキュメントをインデックスする前にドキュメントを事前処理することができます。Ingestノードはバルクリクエストやインデックスリクエストを遮断し、ドキュメントを変換してから再びバルクAPIまたはインデックスAPIにドキュメントを渡します。Ingestノードにはappend、convert、date、dissect、drop、fail、grok、join、emove、set、split、sort、trimほか、25種類以上のプロセッサーがあります。

分析とは、テキストの変換プロセスです。Eメールにかならず"本文"がついてくるのと同じです。検索のために倒置されたインデックスと、トークンやタームを切り離すことはできません。内蔵のアナライザーを分析用のアナライザーとして使うことも、インデックスごとに、トークナイザーやフィルターを組み合わせて作成したカスタムアナライザーを定義して使用することもできます。

トークナイザーは文字のストリームを受け取り、個別のトークン（通常は個別の単語）に分解してから、トークンのストリームを出力します。トークナイザーは各タームの順序や位置も記録しています（フレーズや単語の近接性クエリに使用）。先頭と末尾の文字はタームが表現する元の単語から控除されます（検索スニペットの強調に使用）。Elasticsearchは多数のトークナイザーを搭載しており、そのトークナイザーを使ってカスタムアナライザーを構築することもできます。

トークンフィルターは、トークナイザーから来るトークンのストリームを受け取り、修正（例：小文字に変える）や、削除（例：ストップワードを除外する）、追加（例：同義語）を行うことができます。Elasticsearchは多数のトークンフィルターを搭載しており、そのトークンフィルターを使ってカスタムアナライザーを構築することもできます。

検索は、母国語で。Elasticsearchは30以上の言語アナライザーを提供しており、ロシア語やアラビア語、中国語などラテン文字を使用しない言語にも対応します。

Grokパターンとは、再使用可能な別の表現をサポートする正規表現のようなものです。Grokを使用して、ドキュメントの構造化フィールドからシングルテキストフィールドを抽出することができます。syslogログや、Apache、MySQLログのようなWebサーバーログ、（コンピューター用ではなく）人間用に書かれるログフォーマットに最適なツールです。

データフィードを使用している場合、スクリプトを追加して分析前にデータを変換することができます。データフィードには任意のscript_fieldsプロパティがあります。そこにスクリプトを指定し、カスタム表現を評価して、スクリプトフィールドに返すようにすることができます。この機能を使用して、さまざまなデータ変換を実施することができます。

Logstashの外部参照プラグインで、ログデータを投入時にエンリッチすることができます。ログ行を手軽に追加できるだけでなく、クライアントIPロケーションやDNS参照結果、前後のログ行といったコンテクスト情報を加えることも可能。Logstash向けの多彩なプラグインから、自由に選んで使えます。

一致投入プロセッサーを使うことにより、投入時にデータを参照して、エンリッチ済みデータをプルする最適なインデックスを指定することができます。特に、データに要素を追加するプロセスが不可欠なBeatsのユーザーに便利です。BeatsからLogstashにピボットする必要がなく、インジェストパイプラインだけで処理することが可能になります。また一致エンリッチプロセッサーによるデータの正規化は、高度な分析や一般的なクエリにも役立ちます。

地理空間一致エンリッチプロセッサーは、地理データを活用して検索とアグリゲーションの機能性を高めます。クエリやアグリゲーションを地理座標で定義する必要がありません。一致エンリッチプロセッサーと同様に、投入時にデータを参照して、エンリッチ済みデータをプルする最適なインデックスを判断することができます。

Elasticsearchは標準のRESTful APIとJSONを使用します。さらにElasticが開発・保守するクライアントライブラリがJava、Python、.Net、SQL、PHPといった多数の言語で用意されているほか、コミュニティによるクライアントもあります。無限の可能性を持つElasticsearch。あなたの自由なアイデアを妨げません。

Elasticsearchが提供する多彩なノードタイプの1つに、データ投入専用のノードがあります。インジェストノードは1つ以上の投入プロセッサーで構成されたパイプラインの事前処理を実行することができます。投入プロセッサーの動作タイプと必要なリソースにより、特定のタスクのみ実行する投入専用ノードを使う方がよい場合があります。

Elastic Agentは一元化された単体のエージェントです。ホストやコンテナーにデプロイしてデータを収集し、Elastic Stackに送信できます。Elastic Agentを活用することで、各ホストのログ、メトリック、その他のタイプのデータも監視対象に加わります。またElastic Agentが管理するホストでは、内蔵のEndpoint Security機能を活用可能です。セキュリティ関連イベントの監視を通じてエンドポイントを保護したり、KibanaのElasticセキュリティアプリからセキュリティデータを調査したりできます。

Beatsは、エージェントとしてサーバーにインストールできるオープンソースのデータシッパー。運用に関するデータをElasticsearchやLogstashに送ります。一般的なログやメトリック、その他さまざまなタイプのデータを捉えることができます。

ユースケースに解決を必要する具体的な課題がある場合、コミュニティBeatの活用をおすすめしています。Elasticは、そのプロセスをシンプル化するインフラを用意しました。libbeatライブラリにすべてGoで記述されているAPIが提供されています。どのBeatsでも、このAPIを使用してElasticsearchにデータをシッピングしたり、入力オプションの設定や、ロギングの実装などを行うことができます。

Logstashは、リアルタイムでパイプライン処理に対応するオープンソースのデータ収集エンジンです。Logstashは異なるソースから動的にデータを集め、正規化して指定の送信先に届けます。あらゆるデータをクレンジングし、アクセシブルになるよう整形。下流工程にある高度な分析や可視化など、幅広いユースケースで使えるデータにします。

インプットやコーデック、フィルター、アウトプットなど各種の独自プラグインをLogstashに追加することができます。プラグインを自由に開発し、Logstashの中核部にデプロイすることができます。Logstashで使用するオリジナルのJavaプラグインを記述することも可能です。

Apache Hadoop向けElasticsearch（Elasticsearch-Hadoop、ES-Hadoop）は、無料かつオープンな独立型、自己充足型の小型ライブラリです。ES-Hadoopを使うと、HadoopジョブでElasticsearchを操作することができます。Hadoopデータに役立つダイナミックな検索アプリケーションを手軽に構築したり、全文検索や、地理空間情報検索、アグリゲーション機能を使った深く遅延の少ない分析を実行したりできます。

無料かつオープンで言語不問。プラグインと統合を使って、Elasticsearchの機能性を手軽に拡張することができます。プラグインは、ユーザーがカスタマイズした方法でElasticsearchのコア機能を拡張します。統合とは、Elasticsearchを使いやすくする外部ツールやモジュールのことです。

Fleetは、人気のサービスやプラットフォーム向け統合機能をKibanaで追加、管理したり、Elastic Agentの集団を管理するWebベースUIとして使えます。各種の統合機能で新規データソースを簡単に追加できるほか、ダッシュボードや可視化、パイプラインなど設定不要で使えるアセットをシッピングして、ログから構造化フィールドを抽出します。

Kibanaのパイプライン管理UIで、複数のLogstashインスタンスを制御できます。Logstash側では、設定管理を有効化する操作を行うだけ。一元管理パイプライン設定で使用するLogstashとして登録されます。

Elasticsearchは、ドキュメントのフィールドについてさまざまなデータタイプをサポートしています。また、各データタイプについて複数のサブタイプも提供しています。それが、種類を問わず、データを可能な限り効率的かつ効果的に格納、分析、活用できる理由です。Elasticsearchで最適に扱うことができるデータタイプに、次のようなものがあります。

Elasticsearchは、超高速の全文検索を実現する目的で開発された倒置インデックスと呼ばれる構造を使用します。倒置インデックスは、ドキュメントに出現するユニークなすべての単語を列挙したリストと、各単語がどのドキュメントに出現するかを列挙したリストで構成されます。倒置インデックスを作成する際、はじめに各ドキュメントのコンテンツフィールドを単語（ターム、またはトークンと呼ばれます）に分割します。次に、ユニークなすべての単語を列挙し、並べ替えたリストを作成します。最後に、各タームが出現するドキュメントをリストアップします。

Elasticsearchは、構造化をデータ投入や分析の要件としていません（構造化されていれば、スピードが向上します）。シンプルに使いはじめることができる設計で、ドキュメントストアとしても効率的です。ElasticsearchはNoSQLデータベースではありませんが、類似の機能性を備えています。

転置インデックスでクエリを実行すると、検索タームをすばやく参照できます。しかし、並べ替えやアグリゲーションを実行するには、別のデータアクセスパターンが必要です。タームを参照してドキュメントを見つける代わりに、ドキュメントを参照してフィールドにあるタームを探せるようにしなければなりません。ドキュメントの値は、インデックス時にElasticsearchのオンディスクデータ構造になっています。そのため前述のデータアクセスパターンを使うことができ、検索を列で実行することが可能です。Elasticsearchが時系列とメトリック分析にすぐれた能力を発揮できる理由もここにあります。

ElasticsearchはLuceneでBKDツリー構造を使用し、地理空間データを格納します。これにより、地理座標（緯度・経度）とジオシェイプ（四角形・ポリゴン）のどちらも効率的に分析することができます。

Elastic Stackに保存データを暗号化するメニューは搭載されていませんが、ホストマシンにおけるディスクレベルの暗号化は常に推奨されています。スナップショットの対象についても、保存先データが確実に暗号化されていることが必要です。

フィールドレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つフィールドを制限します。ドキュメントベースの読み取りAPIで、どのフィールドにアクセスを許可するか定めることが可能です。

クラスターとは、共同ですべてのデータを保有し、全ノードを横断してフェデレーションによるインデキシングと検索を提供する1つ以上のノード（サーバー）の集合です。このアーキテクチャーでは、簡単に水平方向へのスケールを行うことができます。Elasticsearchはクラスター管理のための包括的でパワフルなREST APIとUIを提供しています。

スナップショットとは、実行中のElasticsearchクラスターのバックアップです。個々のインデックスのスナップショットを撮ることも、クラスター全体で撮ることもでき、スナップショットは共有ファイルシステムのレポジトリに格納されます。プラグインを使用し、リモートレポジトリを選択することもできます。

ソースレポジトリは、ソースのみのスナップショットを作成する機能です。スナップショットを最小限にすることで、最大50%のディスクスペースを節約します。ソースのみのスナップショットは格納フィールドとインデックスメタデータを含みます。インデックスやドキュメント値ストラクチャーを含まず、格納後は検索できません。

古いデータを使えるようにしておくと、分析には非常に役立ちます。問題は、膨大な量のデータのアーカイブに費用がかかることでした。したがって膨大な過去データの保持期間を、その有用性よりも、コスト面の制約で決定されることが少なくありませんでした。Elasticのロールアップは、過去データを要約して格納する機能です。分析に使えるように維持しつつ、生データにかかるストレージコストを大きく引き下げます。

Elasticsearchは、超高速の全文検索を実現する目的で開発された倒置インデックスと呼ばれる構造を使用します。倒置インデックスは、ドキュメントに出現するユニークなすべての単語を列挙したリストと、各単語がどのドキュメントに出現するかを列挙したリストで構成されます。倒置インデックスを作成する際、はじめに各ドキュメントのコンテンツフィールドを単語（ターム、またはトークンと呼ばれます）に分割します。次に、ユニークなすべての単語を列挙し、並べ替えたリストを作成します。最後に、各タームが出現するドキュメントをリストアップします。

ランタイムフィールドは、クエリ時にデータを要求する（schema on readの）フィールドです。ドキュメントのインデックス後を含むあらゆるタイミングで作成、修正でき、クエリの一部として定義できます。ランタイムフィールドはインデックス済みフィールドと同じインターフェースでクエリにエクスポーズされます。フィールドはデータストリーム中の一部のインデックスのランタイムフィールドにすることも、データストリーム中の他のインデックスのインデックス済みフィールドにすることも可能で、かつ、どのフィールドを使うかをクエリ側で認識する必要はありません。インデックス済みフィールドを使うとクエリを最適なパフォーマンスで実行できるのに対し、ランタイムフィールドにはインデックス済みドキュメントのデータ構造を後からフレキシブルに変更できるメリットがあり、補完的に使うことができます。

ランタイムフィールドのルックアップを用いると、ドキュメントをリンクする両方のインデックスにキーを定義することにより、ルックアップインデックスからの情報をプライマーインデックスからの結果と柔軟に結びつけることができます。この機能は、ランタイムフィールドと同様、クエリ時に用いられ、柔軟なデータエンリッチメントを可能にします。

クラスター横断検索（cross-cluster search、CCS）で、ノードを複数のクラスターを横断する連携クライアントのように実行させることができます。クラスター横断検索ノードは、リモートクラスターに直接は加わりません。ほとんど負荷をかけずにリモートクラスターへ接続し、連携された検索リクエストを実行します。

マッチするドキュメントのスコアを定義するのが類似度（関連性スコアリング/順位付けモデル）です。デフォルトで、ElasticsearchはBM25類似度を使用します。これはTF/IDFベースの高度な類似度で、（名前など）短いフィールドに最適なtf正規化に内蔵されています。さらにこの他にも、多数の類似度オプションを使用することができます。

HNSWアルゴリズムに基づく近似最近傍（ANN）のサポートを新たに開始したLucene 9を再構築し、_knn_search APIエンドポイントを導入しました、ベクトル類似度を活用し、よりスケーラブルで高パフォーマンスな検索を実行できます。そのからくりは、再現率とパフォーマンスのトレードオフです。すなわち、再現率をわずかに犠牲にすることで、（既存の総当たり式ベクトル類似度メソッドに比べた場合に）非常に大規模なデータセットではるかにすぐれたパフォーマンスを実現させています。

全文検索を実行するには、頼れるクエリ言語が必要です。ElasticsearchはJSONベースでクエリを定義する完全なクエリDSL（ドメイン固有言語、domain-specific language）を提供しています。シンプルなクエリでタームやフレーズをマッチさせることができ、複数のクエリの組み合わせに対応する複合クエリを開発することも可能です。クエリ時にフィルターを適用して、関連性スコアの算出前にドキュメントを除外することもできます。

非同期検索APIを使うと、長時間かかるクエリをバックグラウンドで実行できます。クエリの進捗を把握しながら、生成された順に結果を部分的に取得して利用できます。

強調表示機能は、検索結果から1つ以上のフィールドの文字列をハイライトします。クエリがマッチしている箇所が一目でわかります。強調表示をリクエストすると、レスポンスに強調表示要素が追加され、強調表示されたフィールドとフラグメントを含む検索ヒット部分を示します。

入力予測により、自動入力機能や、入力と同時に検索結果を表示するエクスペリエンスが提供されています。エンドユーザーの入力と同時に関連性の高い結果へ導くナビゲーターとなり、検索精度も高くなります。

編集スペルチェックは、編集距離からタームを提案する予測機能を応用しています。提案されるテキストはあらかじめ分析されており、提案されるタームは、分析されたテキストトークンごとに出力されます。

検索中に「もしかして～ですか？」と提案する、フレーズの入力予測機能を追加できます。ngram言語モデルに基づいて重み付けされた個別のトークンは使用しません。用語の入力予測機能に付加的なロジックを構築することにより、完全に修正されたフレーズを選択します。この入力予測機能は、共起性と頻度に基づいて取り上げるトークンを決定にすぐれた能力を発揮します。

クエリを使ってインデックスに格納されたドキュメントを探す、というのが標準的な検索モデルです。それとは対照的に、パーコレーターを使ってインデックスに格納されたクエリにドキュメントをマッチさせることができます。パーコレートクエリは一部にドキュメントを含んでおり、そのドキュメントをインデックスに格納されたクエリとマッチさせるために使用します。

プロファイルAPIは、検索リクエストを実行中する個々のコンポーネントのタイミングについて詳しい情報を提供します。行レベルで検索リクエストがどのように実行されたかのインサイトを入手できることで、特定のリクエストが遅延した理由を把握したり、改善措置を講じることができます。

フィールドレベルのセキュリティとドキュメントレベルのセキュリティを備え、エンドユーザーの検索において、読み取りアクセスのある範囲の結果だけを表示します。具体的には、ドキュメントベースの読み取りAPIからアクセスできるフィールドとドキュメントを制限します。

Kibanaに搭載されている"クエリのキャンセル"機能は、不要な処理の負荷を軽減させることでクラスター全体への影響を抑制します。ユーザーがクエリを変更/更新した場合や、ブラウザーのページを再読み込みした場合にElasticsearchリクエストの自動的なキャンセルが実行されます。

アグリゲーションフレームワークが、検索クエリに基づいてアグリゲーション済みデータを提供します。たとえるなら、アグリゲーションと呼ばれるシンプルなブロックを用意しておき、それを組み合わせて複雑なデータのサマリーを構築する、そんな仕組みです。アグリゲーションを、一連のドキュメントから分析的な情報を取得する作業の単位としてとらえることができます。

グラフ探索APIを使って、Elasticsearchインデックス中のドキュメントや用語に関する情報を抽出/要約することができます。グラフ探索APIについて理解するベストな方法は、Kibanaでグラフを使った関係性の探索を行ってみることです。

Elasticsearchインデックスのデータが一定時間内に指定した閾値を上回る、または下回るよう定期的にチェックするアラートを作成できます。Elasticsearchのクエリ機能をフルパワーで活用するアラートなら、データの重要な変化を見逃しません。

推定により、リグレッションや分類などの教師あり機械学習プロセスをバッチ分析だけでなく、連続的に実行することができます。教育済み機械学習モデルを流入データに使えるのも、推定のおかげです。

言語特定とは、訓練済みモデルを使ってテキストの言語を特定することです。推定プロセッサー内の言語特定モデルを参照することができます。

Elasticの機械学習は、データの正常な振る舞いのベースラインを作成します。この情報を活用すれば、未来の振る舞いを予測することもできます。未来の特定の日時の数値を予測する、あるいは時系列中の値が未来に再び発生する可能性を見積もる、といった使い方が可能です。

Elasticの機械学習機能は、データの正常な振る舞いの正確なベースラインを作成し、異常なパターンを特定することによって時系列データ分析を自動化します。異常が検知され、スコア付けされるだけではありません。機械学習の専有アルゴリズムを使用してデータ中の顕著なインフルエンサーへのリンク付けまで実行します。

アラートに教師なしの機械学習を組み合わせて、ルールや閾値の定義が難しい異常を検知しましょう。アラートフレームワークの異常スコアを活用し、問題が発生した場合に通知を受け取ることができます。

Elasticの機械学習機能は、指定した期間について"典型的"なユーザーやマシン、他のエンティティのプロファイルを構築します。そこから、母体データと比較して異常に振る舞う「外れ値」を特定することができます。

アプリのログイベントは構造化されていないことが多く、また変数データを含むこともあります。Elasticの機械学習機能は、メッセージの静的な部分とクラスターの類似メッセージを同時に観測し、カテゴリー別に分類します。

異常が検出された瞬間から、Elasticの機械学習は大きな影響を及ぼす要因の特定に向けて動き出します。たとえば、トランザクションに異常がある場合、問題の原因となっているクラッシュしたサーバーや、設定に誤りのあるスイッチをすばやく特定することができます。

データビジュアライザーはElasticsearchデータを深く理解する上で役立ちます。ログファイル、または既存のインデックスのメトリックやフィールドを解析し、機械学習分析に使用できるフィールドを特定することもできます。

複数の検知器を使用し、高度な機械学習ジョブを作成できます。マルチメトリックジョブでインプットデータストリームを分析し、挙動をモデル化しましょう。ジョブで定義した2つの検知器に基づく分析を実行したら、あとは異常エクスプローラーで結果を表示するだけです。

教師なしの機械学習による外れ値検出機能は、距離と密度に基づく4つの技術を使用して、"大部分"に比べて"普通ではない"データポイントを発見します。ジョブ作成APIで、外れ値を検出するデータフレーム分析ジョブを作成できます。

予期しないシステム障害や、異常検知に紛らわしい結果をもたらすイベントが生じた際、望ましいスナップショットで速やかにモデルを復元できます。

APMサーバーは、APMエージェントからデータを受け取り、Elasticsearchドキュメントに変換します。受け取りと変換は、HTTPサーバーエンドポイントを、収集したAPMデータをストリーミングするエージェントにエクスポーズすることで行われます。APMサーバーは、APMエージェントから受け取ったイベントを検証・処理した後、データをElasticsearchドキュメントに変換して、対応するElasticsearchインデックスに格納します。

APMエージェントは、運用中のサービスと同じ言語のオープンソースライブラリです。他のライブラリと同じように、運用中のサービスにインストールすると、サービスコードを記録してランタイムのパフォーマンスデータとエラーを収集します。収集データは短時間バッファされ、APMサーバーに送られます。

コードから問題を検索し、修正できます。ボトルネックを特定し、コードレベルの変化への注目を促すKibanaのAPMアプリがナビゲート。開発・テストのサイクルから、アプリケーションのパフォーマンス、ユーザーエクスペリエンスまで、開発のあらゆるフェーズでコードを最適化することができます。

インフラを通過するリクエストの数はいくつ？個々の取引を結びつける分散トレーシングを使えば1つのリクエストの全体像を追うことができ、サービスの状況を明確に把握できます。パスのどこでレイテンシーが生じるか特定することで、最適化が必要なコンポーネントもおのずとわかります。

目を離しているときも状況を把握できます。問題がある時も、万事うまくいっている時も、メールやSlackで通知が届きます。

サービスマップは、各サービスがどのように接続しているかを視覚的に表示し、トランザクションの平均持続時間、リクエスト率、エラー率といった高次のトランザクションメトリックのほか、CPU、メモリ使用量などの情報を提供します。

APMアプリで直接機械学習ジョブを作成してみましょう。機械学習機能がデータを自動でモデル化し、異常な振る舞いをすばやく検出します。

Kibanaのダッシュボードは可視化や検索のコレクションを表示します。ダッシュボードのコンテンツを思いのままにアレンジ、サイズ調整、編集することができ、保存後に共有することもできます。複数のダッシュボード間の移動や、Webアプリへジャンプする操作を可能にするカスタムドリルダウン機能で、アクションと意思決定を促進しましょう。

Canvasは、データを美しく表現する新しい手法です。Canvasは、データを色や形、テキスト、ユーザーの想像力と結びつけます。動的でマルチページ、ピクセルパーフェクトなデータ表現は、大型ディスプレイへの表示にも最適です。

User Experienceデータは、現実世界のユーザーエクスペリエンスを反映します。Webアプリケーションで観測されたパフォーマンスを定量化し、分析してみましょう。

Kibana LensのUIは使いやすく、直感的。ドラッグ＆ドロップの簡単な操作で、データの可視化プロセスをシンプルにします。何十億のログ行を探索する場合も、Webサイトトラフィックに潜む傾向を特定する場合も、Lensなら数クリックでデータのインサイトを入手できます。Kibanaの使用経験も、知識も必要ありません。

時系列ビジュアルビルダー（Time Series Visual Builder、TSVB）Elasticsearchのアグリゲーションフレームワークを最大に活用しています。無限のアグリゲーションとパイプラインアグリゲーションを組み合わせ、複雑なデータを有意義な手法で表示します。

Graph分析オプションで、Elasticsearchインデックスにある項目同士の関わりを見つけ出すことができます。インデックスされたターム同士の関係性を探索し、どの関係性が最も重要か確かめましょう。不正検知から"おすすめ"を提案するエンジンまで、幅広いアプリに役立てることができます。

Elastic Stackを使う現場にたびたび登場するのが、「どこで？」という問いです。攻撃者からネットワークを保護するときも、特定の地域でアプリのレスポンスが低速化するときも、タクシーで帰宅するときでさえ、地理データの検索が重要な役割を果たします。

アプリケーションや環境は日々進化しています。だから、Elastic Stackも進化しました。アプリやDocker、Kubernetesで起きていることを1か所で監視・検索・可視化できます。

コミュニティ発のプラグインモジュールで、さらにたくさんの機能をKibanaに追加してみましょう。オープンソースのプラグインを、幅広いアプリや機能拡張、可視化などで使うことができます。次のようなプラグインがあります。

わかりやすいチュートリアルで、データセットをElasticsearchに読み込む方法を学習できます。インデックスパターンの定義や、データの探索と発見、可視化やダッシュボードの作成方法も紹介されています。

Kibanaランタイムフィールドエディターでは、アナリストがElasticsearchのランタイムフィールド機能を使用して独自のカスタムフィールドを即座に追加することができます。このエディターはインデックスパターン、Discover、Kibana Lensで使用でき、ランタイムフィールドの作成、編集、または削除が可能です。

Kibanaなら、ダッシュボード関連の操作も簡単です。ダッシュボードのリンクを共有したり、Webページにiframeでダッシュボードを埋め込んだりでき、ライブデータのダッシュボードにも、現在時の静的なスナップショットにも対応しています。

内蔵のkibana_dashboard_only_user built-inロールを使用して、ログインしたユーザーがKibanaに表示できるコンテンツを制限できます。Kibanaのkibana_dashboard_only_userロールには、読み取り限定のアクセス許可が事前設定されています。このロールのユーザーがダッシュボードを開くと閲覧エクスペリエンスに制約があり、[編集]や[作成]のメニューは非表示になっています。

KibanaのSpaceを使用して、ダッシュボードやその他の保存済みオブジェクトを、わかりやすいカテゴリー別に整理することができます。いずれかのspaceを開くと、そのspaceに保存されているダッシュボードとオブジェクトだけが表示されます。セキュリティ面でも役立ちます。ユーザーからspaceへのアクセス権限を個別に制御できる、追加の保護レイヤーとして機能します。

カスタムバナーは、異なるロール、チーム、機能などに応じてKibanaのSpaceを差別化するのに役立ちます。各Kibana Spaceへの特定のお知らせやメッセージをカスタム作成することができ、また、どのSpaceにいるのかをユーザーがすばやく確認するのに役立ちます。

[ディスカバー]に保存した検索をCSVファイルにエクスポートし、外部のテキストエディターで使うことができます。

簡単にタグを作成し、ダッシュボードや視覚化に追加して、コンテンツ管理を効率化できます。

Kibanaの可視化やダッシュボードは、すばやくレポート生成してPDFやPNGに保存することができます。オンデマンドでレポートを取得したり、後で生成するようにスケジュール設定したり、特定の条件で生成されるように設定できるほか、関係者との自動共有も設定できます。

Kibanaのマップアプリは、複数の異なるインデックスを複層レイヤーとして1つのビューに表示します。同一の地図上にレイヤーを重ねることで、まとめて、リアルタイムに検索したり、絞り込むことが可能です。コロプレスレイヤーやヒートマップレイヤー、タイルレイヤー、ベクターレイヤーを含む豊富なオプションを搭載。“APMデータのオブザーバビリティ”など、ユースケースに特化したレイヤーも使えます。

ベクトルタイルを使ってマップを複数のタイルに分割することで最良のパフォーマンスを実現し、他の手法よりもスムーズにズームを実行できます。新登場のポリゴンレイヤーでは、デフォルトで［ベクトルタイルを使う］の設定が有効化されています。拡大縮小のオプションを変更すれば、10,000個のレコードを表示することも可能です。

ベクターシェイプの境界とグラデーションカラーでテーマに合わせたリージョンマップを作成できます。お好みのスタイルを選び、カスタムロケーションデータに適用してみましょう。

Elastic Maps Serviceはマップアプリをはじめ、Kibanaで地理空間データを可視化するすべてのサービスを支えています。地理データの可視化に欠かせないベースマップタイルや、シェイプファイル、その他の主要な機能を提供します。Kibanaのデフォルト配布では、マップ上で最大18倍まで拡大することができます。

Elasticマップサーバーは、ローカルインフラストラクチャーでElastic Maps Serviceのベースマップと境界を使用します。

GeoJSONアップロード機能はシンプルで使いやすく、堅牢です。Elasticsearchにデータを直接インジェストし、この機能を使用することで、ポイントやシェイプ、コンテンツでエンリッチ化されたGeoJSONファイルを地図にドラッグアンドドロップし、瞬時に可視化できます。GeoJSONで定義した境界を使ってメールやWebアプリアラートを有効化し、データ主導のオブジェクト移動を追跡することもできます。

エンティティが地理的境界を出入りしたり超えたりした場合に通知をトリガーします。エンティティが特定の境界内に留まっている間、その位置を追跡します。

マップアプリに内蔵されたシンプルかつパワフルなアップローダーを使って、Elasticでシェイプファイルを読み込みできます。地域の公開データや境界線データを手軽に読み込んで、分析や比較に活用してみましょう。

Filebeatでログやファイルを転送して1か所にまとめれば、シンプルなものはシンプルに扱うことができます。Filebeatにはauditd、Apache、NGINX、System、MySQLなど、多様なモジュールがあります。よく使われる形式のログを、1つのコマンドで簡単に収集、パース、可視化できます。

Filebeatダッシュボードサンプルを使って、Kibanaで簡単にログデータの探索をはじめることができます。事前構成済みのダッシュボードではじめて必要に応じてカスタマイズするスタイルなら、セットアップに時間がかかりません。

機械学習で実施するログレート分析は、ログレートが正常な範囲外にある時間を自動で強調表示することで、担当者による早期のログの異常の特定や、調査に役立ちます。

Logsアプリを使うと、コンパクト＆カスタマイズ可能な画面上でリアルタイムにログをtailすることができます。このログデータはメトリックアプリ内でメトリックと相関付けされ、問題の診断も簡単に行うことができます。

Metricbeatはサーバーにインストールできる軽量のシッパーです。サーバーで運用中のシステムや実行中のサービスからメトリックを定期的に収集します。CPUやメモリ、RedisやNGINXなど、システム統計情報を軽快に転送します。

Metricbeatダッシュボードサンプルを使って、Kibanaで運用するサービスの監視を簡単にはじめることができます。事前構成済みのダッシュボードではじめて必要に応じてカスタマイズするスタイルなら、セットアップに時間がかかりません。

メトリック用の閾値アラートを作成し、リアルタイムなフィードバックを受け取りましょう。KibanaのMetricsアプリから直接作成できます。さらに、文書やログ、Slack、シンプルなWebフックなど、お好みの通知方法を指定可能です。

Metrics UIを1クリックするだけ。インフラストラクチャーの一般的な問題を異常検知で捉えます。

Elasticsearchにメトリックデータを投入するセットアップが完了したら、Kibanaのメトリックアプリで監視して、リアルタイムに問題を特定しましょう。

Heartbeatはリモートサーバーにインストールする軽量なデーモンです。サービスのステータスを定期的に確認することにより、サービスを提供できているか判断します。Heartbeatが投入するサーバーデータをKibanaのアップタイムダッシュボードやアプリに表示することができます。

Heartbeatダッシュボードサンプルを使って、運用するサービスのステータスをKibanaで簡単に可視化できます。事前構成済みのダッシュボードを利用して導入した後、必要に応じてカスタマイズするアプローチなら、セットアップに時間がかかりません。

Uptimeアプリ内で直接、アベイラビリティデータに閾値ベースのアラートを手軽に作成しましょう。ドキュメント、ログ、Slack、シンプルなWebフックなど、好みの通知方法を選ぶことができます。

SSLやTSL証明書の有効期限終了が近づいているか確認し、通知を送信します。アップライムアプリ内でダイレクトにサービスの可用性を維持できます。

たとえばeコマースサイトの決済フローのように、複数のステップにわたるユーザーエクスペリエンスをシミュレートしてみましょう。各ステップの詳細なステータスを捉えて問題領域を特定することにより、卓越したデジタルエクスペリエンスを生み出すことができます。

Kibanaのアップタイムアプリで、ネットワークや環境内で生じる障害と接続の問題をすみやかに特定/診断することができます。便利なインターフェースで、ホストやサービス、Webサイト、APIなどを手軽に監視できます。

Elastic Common Schema（ECS）を使って、多様なソースからくるデータを一元的に分析できます。検知ルール、機械学習ジョブ、ダッシュボード、その他のセキュリティコンテンツを幅広いデータに適用できるだけでなく、検索範囲を精緻に絞り込むことができ、フィールド名も覚えやすくなります。

Elasticセキュリティは、Elastic AgentやElastic Beatsからくるデータに加え、Carbon Black、CrowdStrike、Microsoft Defender for Endpointなど各社のテクノロジーからくるエンドポイントデータもインタラクティブに分析できます。Session Viewでシェルアクティビティを、Analyzerでプロセスを調べます。

Elasticセキュリティは、インタラクティブなマップやグラフ、イベントテーブルを通しネットワークセキュリティ監視を行います。SuricataやZeekなどのOSSテクノロジーのほか、Cisco ASA、Palo Alto Networks、Check Pointといったベンダー供給のデバイス、AWS、Azure、GCP、Cloudflareなどのクラウドサービスを含む、多数のネットワークセキュリティソリューションをサポートします。

Elasticセキュリティはエンティティ分析に優れています。ユーザーアクティビティに対する可視性を提供し、担当者が内部脅威、アカウントの乗っ取り、権限の乱用、および関連するベクトルに対処するのを支援します。ユーザーデータは厳選されたビジュアライゼーションや表で示され、環境全体から収集されたデータを用いてセキュリティ監視が行われます。ユーザーコンテクストがハンティングまたは調査フロー内に表示され、詳しい内容に迅速にアクセスすることが可能です。

アナリストはタイムラインイベント探索を使用して、イベントの表示、フィルタリング、相関付け、注釈といった操作を実行し、データを収集して根本原因や攻撃範囲を明らかにし、調査員の協調を促し、情報を即時または長期的に参照できるようパッケージ化することができます。

組み込み型ケースマネジメントワークフローは、検知と対応の管理を強化します。Elasticセキュリティでケースを簡単に作成、更新、タグ付け、コメント、終了できるほか、外部システムとケースを統合することも可能です。オープンなAPIや事前構築済みのIBM Resilient、Jira、Swimlane、ServiceNow向け各種サポートを使って、既存のワークフローと統合できます。

検知エンジンは、テクニックベースの脅威検知を実行し、高い異常値についてアラートを発行します。Elasticセキュリティのセキュリティ調査エンジニアが開発・テストした事前構築済みルールにより、迅速な導入が可能です。Elastic Common Schema（ECS）用にフォーマットされたあらゆるデータ向けに、カスタムルールを作成することも可能です。

内蔵の機械学習で異常検知を自動化することにより、検知とハンティングのワークフローを強化できます。多彩な事前構築済みの機械学習ジョブを使ってすばやく導入可能です。機械学習の成果を、アラートや調査のワークフローでも活用できます。

Elasticセキュリティは、Elastic Agentによる振る舞い分析を活用するランサムウェア防御機能を搭載しています。この機能は、低レベルのシステムプロセスからデータを分析することで、Windowsシステムへのランサムウェア攻撃を検出して阻止します。これは、広く蔓延しているさまざまなランサムウェアに有効です。

Elastic Agentでの悪意のある振る舞いからの保護は、高度な脅威をエンドポイントで阻止することで、Linux、Windows、macOSのホストに新たな保護対策を追加します。悪意ある振る舞いからの保護機能は、脅威発動後の振る舞いを動的に防御して巧妙な脅威をただちに抑止することにより、既存のマルウェアおよびランサムウェア防御を補完する立役者となります。

シグネチャーレス型マルウェア防御は、Linux、Windows、macOSホスト上の悪意のある実行ファイルを瞬時に停止させます。この機能はElastic Agentによって提供されます。Elastic Agentはセキュリティデータの収集も行い、ホストベースのインスペクションや対応を可能にします。Kibanaベースの管理機能により、デプロイと管理が合理化されます。

Elastic Agentが搭載するメモリ保護機能は、シェルコードを経由するプロセスインジェクションに使われる多数のテクニックを抑止します。スレッド実行ハイジャッキングや非同期プロシージャコール、プロセスハロウイング、プロセスドッペルギャンギングなどのサブテクニックを抑止する仕組みです。

Elasticセキュリティを使って、すべてのエンドポイントにosqueryを手軽にデプロイできます。LinuxからWindows、macOSまでのホスト全体にわたり、効率的にハンティングと検査を実行しましょう。この手法を使ってリッチなホストデータに直接アクセスし、さらに事前構築やカスタムのSQLクエリで検索をかけてElasticセキュリティの分析に役立てることができます。

どれほど多数のホストからでも、Elastic Agentを使ってネットワークアクティビティを収集できます。ネットワークの境界内はもちろん、ファイアウォールではわからない境界の外のトラフィックも明らかにして分析しましょう。セキュリティチームが、水飲み場型攻撃やデータの抜き出し、DNS攻撃などの悪意のある振る舞いの解決に役立ちます。Network Packet Analyzer統合機能には、Npcapに使える無償の商業用ライセンスが含まれています。NpcapはWindows用のパケットスニッフィングライブラリとして広範にデプロイされており、OSを問わず、すべてのホストのネットワークについて可視性を確立します。

eBPFベースの軽量なエージェントを活用すれば、ハイブリッドクラウドのワークロードやクラウドネイティブなアプリを安全に保つことができます。ランタイムの脅威は、プリビルトやカスタムの検知ルールと機械学習モデルを使って自動的に検知しましょう。ターミナルスタイルの画面に表示されるリッチなコンテクストが調査を手助けします。

マルチクラウドな環境で、セキュリティポスチャーへの包括的な可視性を確立する方法があります。検知事項やベンチマークに基づく所見をCIS Controlsに照らして確認し、緩和策のガイダンスに沿って対応しましょう。速やかに改善を実施できます。