ElasticとAmazon S3 Storage Lensの新しい統合機能：管理を簡素化し、コストを抑え、リスクを低減

データやアプリケーションが急激に増加している今、それに伴ってログ、メトリック、トレースも急速な勢いで生成されており、それらの保存と管理はますます複雑化するばかりです。Elasticはこのたび新たにAmazon Simple Storage Service（Amazon S3）Storage Lensと統合されました。これにより、お客様はAmazon S3の使用状況とアクティビティのメトリックを、他のAWSやオンプレミスのデータセットとともに組織全体で包括的に可視化できるようになりました。

SREとDevOpsエンジニアは、ダッシュボード機能、組み込みの機械学習分析、しきい値ベースのアラートなど、Elastic Searchプラットフォームの強力な検索と分析の機能を使用して、傾向を特定し、Amazon S3 Storage Lensのデータを環境全体の他のパフォーマンス指標と相関付けることができます。これらのインサイトを活用して、アクセス頻度の低いオブジェクトを特定し、より安価なストレージに移行することで、ストレージコストを最適化することもできます。

このブログでは、ElasticとS3 Storage Lensの統合に関する詳細と、S3 Storage LensのメトリックをElastic Cloudに簡単に送信する方法について解説します。

ストレージの使用状況に関する明確なインサイトを取得する

Amazon S3はコスト効率と柔軟性に優れたストレージを提供しますが、大規模な組織全体で増え続けるストレージバケットの使用状況やコスト効率を最適化することは一筋縄ではいかない場合があります。Elasticを使用すれば、DevOpsチームやインフラチームは、S3 Storage Lensのメトリックをセキュリティイベント、アプリケーションメトリック、システムログとともに確認、集計、分析し、ストレージの最適化について情報に基づく意思決定を行うことができます。

Elasticオブザーバビリティは、クラウドとオンプレミスのエコシステム全体を一元的に可視化します。ユーザーはElasticオブザーバビリティを通じて、環境内のあらゆる場所で発生するイベントを監視して対応できます。Elasticは機械学習を使用し、ログ、メトリック、トレースをどんな規模でも単一のスタックで集約するため、エンドユーザーに影響が及ぶ前にパフォーマンスの問題を検出し、根本原因を特定できます。

• S3 Storage Lensのメトリックは、Amazon Elastic Compute Cloud（Amazon EC2）やAmazon S3 Glacierなどの他のAWSデータセットだけでなく、他のクラウドやオンプレミスのデータセットとも併せて表示されます。
• 時系列モデリングで現在のデータにある異常を検知することや、履歴データに基づいて将来の傾向を予測することもできます。
• しきい値アラートを使用すれば、Amazon S3オブジェクトストレージメトリックのしきい値を設定しておいて、特定の時間間隔内にメトリックがそのしきい値を上回った場合や下回った場合に通知を受け取り、ストレージの過剰/過小使用率を組織レベルだけでなくAmazon S3アカウントごとやバケットごとでも特定できます。
• Amazon S3 GlacierやAmazon S3 Glacier Deep Archiveなどの他の低コストなストレージに移行できるアーカイブ可能なオブジェクトを特定することで、コストを抑え、予算内に収めることができます。
• エンドツーエンドの分散トレーシング、エラー追跡、サービスの依存関係マッピング、アップタイム、APIヘルスなど、インフラ監視、APM（アプリケーションパフォーマンス監視）、エンドユーザーエクスペリエンス監視に関する幅広い機能により、パフォーマンスと可用性を最適化できます。

ユーザーはElasticとS3 Storage Lensの統合をKibana Web UIから直接インストールでき、組み込みのアラートやインタラクティブなダッシュボードを利用して、組織のデータから最大限の価値をすばやく引き出すことができます。Elasticは、カスタマイズ可能な組み込みのダッシュボードや自由に構成できるダッシュボードから、現場担当者のワークフロー向けに作成されたユースケース固有UIまで、さまざまな分析オプションを用意しています。

進化する脅威を検知、調査、対応する

Elasticでは共通のスキーマと単一のレポジトリが使われるため、S3 Storage Lensや他のデータセットから収集したオブザーバビリティデータをそのままXDR（eXtended Detection and Response、拡張検出および応答）にも使用して、平均検出時間をゼロに近づけることができます。ElasticセキュリティにはSIEMとエンドポイントセキュリティ機能が搭載されており、組織は多様なソースから大量のデータをインジェスト、保持できるほか、データを長期に格納、検索して検知と機械学習を活用する脅威ハンティングを強化できます。データサイロを排除し、アラート疲れを軽減して、組織がクラウド全体でセキュリティ脅威をすばやく阻止できる体制を整えます。

コスト効率に優れた方法でデータ、ログ、メトリックを格納する

ほとんどの組織はパターンを詳細に把握して運用水準を向上させるために履歴データを保持していますが、データのアクセシビリティを維持しながらストレージコストを削減するのに苦慮していることが少なくありません。そのような状況にElasticが役立ちます。Elasticを使用すれば、組織はAmazon S3などの低コストのオブジェクトストレージを使用して大量の履歴データを保持しつつ、データをアクティブで検索可能な状態に保つことができます。これにより、AWSとオンプレミスのログ、イベント、メトリックを、使用、分析、コンプライアンスのどの点でも安全に保管できます。あらゆる粒度のデータを任意の期間にわたって保管でき、データ量の増加に合わせて拡張できます。データ管理とティアリングは、インデックスライフサイクル管理と自動スケーリングの機能を通じて、組織のデータパフォーマンス、レジリエンス、保持期間の要件に基づいて自動化されます。

ElasticとAmazon S3 Storage Lensを使いはじめる

下のリファレンスアーキテクチャー図は、複数のS3バケットのメトリックをCloudwatchメトリックからElastic Cloudに送信する際の標準的な流れを示したものです。

実装ステップ：

Kibana UIで［Management］->［Integrations］に進み、［S3 Storage Lens］を検索します。AWS S3 Storage Lensとの統合機能をクリックして詳細を確認し、［Add AWS S3 Storage Lens］をクリックして適切な設定を入力したら、［Save integration］をクリックします。

AWS S3 Storage Lensのメトリックは、AWSによって24時間ごとにCloudWatchに公開されています。Elasticエージェントはデフォルトで毎日データを収集します。エージェントを設定すれば収集の頻度を減らすこともできます。

Kibana Lensを使用すれば、さまざまなカスタムユースケース向けに収集されたメトリックを確認できます。

まとめ

Amazon S3オブジェクトストレージのデータを他のログ、メトリック、トレースとまとめて単一の管理画面で分析し、運用上の複雑さを軽減しましょう。この効率性に優れたAWSとの統合機能は、場所や手段を自由に選んで実行できるスムーズなエクスペリエンスをお客様に提供するためのElasticの継続的な取り組みの一例に過ぎません。

ここでご紹介した以外のAWSとの統合機能について詳しくは、Elasticの統合機能のライブラリをご覧ください。AWSでElasticを使いはじめるには、AWS Marketplace（Elastic）またはelastic.coにアクセスしてください。