Elastic Stackで一元管理データベースを監視する
本記事はElastic{ON} 2018での事例紹介セッションの要約です。Elastic{ON} 2018のトークはアーカイブで多数公開中です。また、お近くの都市で開催されるElastic{ON} Tourのスケジュールもご覧ください。
シティグループは世界100か国以上で金融サービスを展開し、世界160か国以上に顧客を抱えています。同社の大規模でグローバルな運用インフラを支える部門が、ビジネスアプリケーションチームです。事業規模が大きく、ITインフラが複雑であることから、ビジネスアプリケーションチームはこれまで数多くの難題に直面してきました。スケール化や事業回復力、ITアジリティ、IT資産活用、ITツーリング（ITツールの最適化）、新たなテクノロジーの導入など、シティグループのITチームは近年さまざまな側面で急速な進化を迫られています。同時に、コスト最適化も重要です。
こうした状況下で、特に大きな課題となっていたのが部門間でのITツーリング（ITツールの最適化）です。自動化ソフトウェアのデプロイや、デプロイ環境の増設、マルチユースな一元化ツールへの移行など、新たなトレンドに対応できるITツールはあらゆる部門で求められていました。基幹業務に関する技術的課題を多く抱える一方、ITチームはシティグループの経営陣からも多くの問い合わせを受けていました。経営陣もITインフラの活用や、ツールが事業にもたらすメリットにますます関心を寄せるようになったためです。
シティグループが業務を監視するためには、大量のデータが必要です。しかし、データが異なる部門や国のあちこちに、さまざまな形式で存在している限り、ツールやインフラの状態、運用の改善に役立つようなエンドツーエンドのインフラ監視システムを構築することは不可能です。そこでITチームはあらゆる場所で既存、および新規のツーリングパフォーマンスを追跡・監視でき、そのパフォーマンスを経営陣にわかりやすいレポートとして出力する統合監視システムを構築することにしました。
新たな統合監視システムには、次のすべての機能と仕様が必要です。
- 一元化されたデータストアとして振る舞うことが可能
- エージェントを設定可能
- ツールライセンスのサポートコストを軽減
- データガバナンスを統一し、一元化する
Elastic Stackを使ったデプロイ
類似のアーキテクチャーで検索解析テクノロジーが確かな実績を持つことから、シティグループのITチームはElastic Stackに注目しました。新たなインフラでツールのパフォーマンスを監視するには、メトリック、イベント、ログ（全社で1日に9千万ドキュメント）を投入する必要がありますが、Elasticsearchを使えば、あらゆるデータを1か所にまとめて格納、検索できるようになります。シティグループはElasticsearchを使用し、アクティブな、プライマリデータストレージクラスターを構築しました。このクラスターは各種データを30日間保持し、検索と可視化に対応します。30日を経過すると、自動のスナップショットでElasticsearchから安価なオンプレミスのオブジェクトストレージへデータを移行させる設計です。
シティグループでは、セキュリティオペレーションセンターと監査用のインデックス、さまざまなユースケースとレベルに応じたアクセス権限も設計する必要がありました。Elasticsearchを導入したことで、ITチームはデータのグループ化、ネーミングスキームの標準化、ロールベースのアクセス制御と、データガバナンス用認証の定義も実現させました。さらにシティグループではITチームと経営陣向けに、通常のダッシュボードと社内用APIを組み合わせ、手軽にデータを取得・分析できる環境を構築しています。基幹業務部門でもこのAPIを呼び出し、取得したデータをローカルシステムに投入して部署ごとに詳しく分析することができます。
シティグループではアラート（旧Watcher）を活用したコンテナーインフラ監視を構築し、1つの部署に限定せず、全部門にわたりコンテナーのメトリック、イベント、ログを収集するシステムも開発しました。収集された情報は監査、アラート管理、システム管理などの幅広いユースケースに使用されています。
監視ニーズの他に、シティグループのITチームでは経営陣を含む多様なユーザーグループにデータから得たインサイトを共有するスケーラブルで安全な手段を必要としていました。そこで作成されたのがKibanaをベースとするダシュボードです。このダッシュボードはリアルタイムなアプリケーション状態の集約ビュー、さらにメトリックやログ、コンテナーリソースの使用状況、トポロジー情報に関する個別のビューを表示します。ユーザーはこのダッシュボードでアプリケーションやコンテナーの詳細情報を取得し、ソースの問題を把握することができます。データ表示の切り替えも簡単です。運用チームとアプリケーションチームはツーリングのパフォーマンス監視やレポートの実行に際してトップダウン、あるいはボトムアップビューでデータを取得し、レポートから各種ツールの実際の効率を把握しています。
シティグループでインフラの監視を支える高度な検索解析テクノロジーについては、Elastic{ON}の事例紹介セッション「シティグループが実践するアプリインフラ監視」でさらに詳しくご紹介しています。
