ログ分析とは？

ログ分析とは、ITシステムによって生成され、時系列でログとして格納されたデータを検索、調査、可視化するプロセスです。ログ分析はログ監視をさらに発展させたものです。ログを分析することで、オブザーバビリティチームは組織全体のパターンや異常を検知できます。アプリケーションやシステムに関する問題のすみやかな解決に役立つうえ、提供される運用上のインサイトを活用して将来の問題に前もって備えることもできます。また、さらなるインサイトを得るために、アーカイブされたログの履歴データにログ分析を適用することもできます。

ログデータは指数関数的に増加しています。人間が生成したデータと機械が生成したデータが同時に流入しており、それらのデータを管理するにはロギングツールをスケールする必要があります。従来の分析ツールでは、現在の複雑なシステムにおけるロギングデータの多様性と量に太刀打ちしきれない場合もあります。一元化された堅牢なロギングプラットフォームがなければ、課題（およびコスト）は大きくなります。なぜなら、データはビジネスプロセスが現在どのように進められているのかを把握するためのカギであり、将来の計画を立てるのにも役立つからです。

コンピューターにデータが記録されるようになった当初から、組織は大規模にログを確認しようとしてきました。しかし、ログはITエコシステム全体で生成されます。必要な情報がすべて含まれているようなログは少なく、通常はフォーマットもバラバラです。最新ツールでは、ログ分析のプロセスで情報を一元化し、使いやすく変換することができます。

ログデータは増え続けているため、情報の将来的な格納方法とアクセス方法を考えることが重要です。データ量に対応できるようになると、セキュリティ、不正行為、異常検知などその他の目的にログを容易に利用できるようになります。顧客がどのようにWebサイトを閲覧しているか分析したり、アプリケーションを使用する際にユーザーが不満を感じている点を分析したりするなど、ログ分析の用途は絶えず拡大しています。

ログ分析の実行には、いくつかの重要なステップがあります。

1. データの収集と一元化

   開始するには、すべてのログを1か所に集約します。すべてをひとまとめにすると分析しやすくなります。すべてのログを1か所に集めたら、解析してインデックスすることが重要です。ログは別々のシステムからデータを収集するため、命名規則、フォーマット、スキームなどが異なる可能性があります。最初に用語を統一すると、ログ分析プロセスで混乱（またはエラー）が生じることが少なくなります。ログ集約の詳細をご覧ください。

2. データの分析

   次に、検索と分析（クエリ）を実行してパターンを識別します。ソフトウェアによっては、このステップに可視化ツールを使用することがあります。レポートダッシュボードで、非技術系ユーザーや組織外のユーザー向けにデータを集約できます。詳細なログに比べて、グラフを確認する方が傾向や異常を簡単に把握できます。

3. 監視とアラートの設定

   問題を解決するには、ログ分析が不可欠です。しかし、リアルタイム監視とアラートを設定することで、組織は最大のROIを得られます。たとえば、相関分析では、1つの特定イベントに起因しているのにソースが異なるメッセージを検出します。そして、システムがログで特定されたパターンに基づいてアラートが必要なイベントを判断します。チームは、条件が変わったときにリアルタイムで通知を受け取ることができます。何が、いつ、どこで、なぜ発生したのか、パフォーマンスにどのように影響するのかといった情報が即座に提供されるため、復旧までの時間を短縮できます。

ログ管理のベストプラクティスを見る

SRE、IT運用部門、DevOpsエンジニア、ITエンタープライズアーキテクトがログ分析ツールの主なユーザーです。また、一部の組織ではコンプライアンス監査のためにログを確認する必要があり、この場合はユーザーや関係者の範囲が広がる可能性があります。

運用上の疑問に対する答えの多くがログから見つかります。ログを活用して以下を実現できます。

• 顧客エクスペリエンスの向上（解約率の低減）：ユーザーがアプリケーションをどのように利用しているか確認することで、ユーザーの興味を引き、ナビゲーションしやすいアプリケーションにするための適切な判断を下せます。
• リソース使用量とレイテンシーの削減：組織のリソースが最適化されていない場所を特定して、パフォーマンス問題を解決できます。
• 顧客行動の把握：顧客が何に興味を持っているか、どのような顧客が最も活動的で何を目指しているかといった情報をログから収集して、販売資料やマーケティング資料をパーソナライズできます。
• 不審な動きの検知：悪意ある行為者は組織全体に痕跡を残しています。行動を分析することで、悪意ある行為者が貴重なデータにアクセスする前に阻止できます。
• 監査への対応：規格や規制を守る必要がある企業では、日常的に監査が行われます。ログ分析を使用すると、確実に監査を実施できます。

ログ分析の主な課題は次のとおりです。

• スケール：ログが増えるにつれて、チームの課題も増えます。多くのログ分析ツールでは、エンタープライズログを確認するためにスケールが必要ですが、これは一般的には困難なことです。そのため、IT運用にAIを活用（AIOps）して大量のデータを管理することへの注目が高まっています。
• 一元化：組織内の状況を1か所で確認できることがログ分析の最大のメリットです。しかし、ログデータは変化に富んでいて、しばしばサイロ化されています。また、時代遅れのアーキテクチャーでは、最新のツールと統合できない可能性があります。そのため、ログを標準化して、情報を分析しやすくする必要があります。
• コスト：すべてのログデータをすぐに利用できるようにする必要はありませんが、必要になったらすぐに使えるようにしておく必要があります。ここでデータティアの設定された費用対効果の高いストレージを利用すると、オーバーヘッドを削減できます。
• 多様なデータ：複数のサービスやシステムにまたがる現在の分散アプリケーションは一層の複雑化が進んでおり、これに伴ってログデータも多様化しています。インフラストラクチャー、アプリケーション、サービスを横断する構造化ログから非構造化ログまで、ログデータを正規化して把握し、効率的にクエリを実行できるようにすることが重要です。

リアルタイムのアプリケーション監視やパフォーマンス監視から根本原因分析やSIEMまで、ログ分析でビジネスに大きな変革をもたらすことができます。ログ分析はその他にも多くのことに利用できます。ログデータを活用することで、セキュリティポリシーの確実な遵守やオンラインユーザーの行動調査が可能になるだけでなく、ビジネスに関して全体的により良い決断を下せるようになります。

ログデータの格納場所は、情報への即時アクセスが必要な期間とデータ量によって異なります。長期間格納する場合は、Amazon Simple Storage Service（S3）、AWS Glacier、または記録用ストレージを使用できます。また、さまざまなストレージ層を提供するElasticsearchなどの分散型ストレージシステムに直接格納することもできます。ツールを決める際は、分析する前にデータをどれだけリハイドレートしやすいかを調べることが重要です。一部のツールでは、データが検索可能になるまでに最大24時間かかります。

ログを最大限活用するには、特定イベントのログを一元化して自動的に処理できるログ分析ツールが必要です。このようなツールがあれば、詳細な分析を実行して意義深いインサイトを引き出し、パターンに基づいて予測を立てることができます。また、膨大な量のログを処理するためのスケールと、（分単位ではなく）ミリ秒単位で必要な回答を提供するスピードも必要です。

人気が高く、最も多くデプロイされているログ管理/検索ツールの1つであるElasticオブザーバビリティは、Elasticsearch上に構築されており、パワフルで柔軟性の高いログ管理/分析を実現します。Elasticなら、オブザーバビリティまたはセキュリティイニシアチブのために、オンプレミスからElastic Cloudまですぐにスケールできます。そして、ペタバイト規模のログデータを処理して、トラブルシューティングを実行したりインサイトを取得したりすることもできます。

Elasticでは、以下を実現できます。

• 簡単なデプロイで、幅広いユースケースに対応
• スケールと信頼性（最大ペタバイト規模のデータ）
• すでに使用しているツールとの統合、プラットフォームに組み込まれた高度な機械学習機能
• 使用量に応じて支払うシンプルなデータティア戦略でコストを削減
• ログ管理の一元化

ログ分析をオブザーバビリティのために使おうとセキュリティのために使おうと、Elasticに一度インジェストすればどこでも活用できます。

Elasticによるログ分析

• Log analytics with Elastic Stack（Elastic Stackによるログ分析）
• Log monitoring solutions（ログ監視ソリューション）
• Free log analytics training using Elasticsearch and Kibana（ElasticsearchとKibanaを使用する無料のログ分析トレーニング）