Logstash
データの一元化、変換、保管
Logstashは、オープンソースのサーバーサイドデータ処理パイプラインです。膨大な数のソースからデータを取り込み、変換して、お好みの格納庫(スタッシュ)に送信します。
投入 + α
インプット、フィルター、アウトプット
Logstashは形式や複雑さを問わず、データを動的に投入、変換、送信します。たとえばGrokフィルターで非構造化データから構造を抽出する、IPアドレスから地理的座標を解読する、あるいはセンシティブ情報を含むフィールドを匿名化・除外することができ、後工程の処理を楽にします。
インプット
形式、サイズ、ソースを問わない
データは多数のシステムにバラバラな形式で散在していたり、サイロ化されていたりします。Logstashは、さまざまなインプットをサポートし、多くの一般的なソースから、イベントを同時にプルすることができます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。
各種フィルター
データの解析と変換
データがソースからストアまで転送される間に、Logstashのフィルターが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換し、一般的なフォーマットにまとめて強力な分析に使えるようにします。
Logstashは、形式や複雑さに関係なく、データを動的に変換して次のように整形します。
- grokフィルターを使用して、非構造データから構造を抽出する
- IPアドレスから地理情報を得る
- 個人情報を匿名化し、機密情報フィールドを完全に除外する
- あらゆるソース、フォーマット、スキーマのデータ処理をシンプルにする
豊富なフィルターライブラリと汎用性の高いElastic Common Schemaを使えば、可能性は無限大です。
アウトプット
格納場所を選んでデータを転送
出力先のおすすめは、検索と分析の可能性を無限に切り拓くElasticsearchですが、他の出力先もサポートしています。
Logstashはさまざまな出力先に対応し、自由にデータを転送できます。この高い柔軟性により、ダウンストリームが多数ある場合でも利用できます。
監視
デプロイを完全に可視化
Logstashの洗練されたパイプラインは幅広い用途に使えます。そのためにもパフォーマンスや、可用性、ボトルネックを把握することが重要です。ElasticのMonitoringとパイプライン表示機能を使用することで、アクティブなLogstashノードも、デプロイの全体も手軽に監視できます。
管理と制御
ひとつのUIでデプロイを集中管理
パイプライン管理用のUIで複数のLogstashデプロイをまとめて把握でき、パイプラインの制御と管理がシンプルになります。シームレスに接続できるElasticのSecurityを併用することにより、予期しないデータの漏洩も防止できます。