株式会社アイキューブドシステムズ： Kubernetes環境のログを漏らさず取得、 稼働状況の可視化やユーザーから問い合わせがあった事象の分析に活用

モバイルデバイス管理サービスを提供するアイキューブドシステムズでは、ユーザーからの問い合わせ対応にElastic Stackを導入。ログを漏らさず収集できることに加え、コスト効率の高さなどが導入の大きなポイントになった。

モバイルデバイス管理（MDM：Mobile Device Management）サービスの「CLOMO MDM」で、10年連続で国内MDM市場シェアNo.1を誇る、株式会社アイキューブドシステムズ。同社では2010年、日本国内で初となるモバイルデバイス管理サービス「CLOMO MDM」iOS対応版をリリースし、その後AndroidやWindows、macOSなど対応デバイスを拡大。今では全国の企業や教育機関、公的機関などに広く採用されている。また、CLOMO MDMと合わせて使うことができる、モバイルデバイス用のブラウザ・メーラー・カレンダー・アドレス帳・ファイル共有の定番ビジネスアプリ「CLOMO SECURED APPs」も提供、こちらも多くの組織で活用されている。

MDMは、企業などの組織が業務で活用する多数のモバイルデバイスに対し、初期設定やセキュリティ管理などの運用を効率的に行えるようにするツール。デバイス側にインストールする専用アプリを通じて、管理システムからIT部門などがデバイスへ設定をプッシュしたり、セキュリティ設定などの情報を取得したりするなどの機能を持つ。アイキューブドシステムズでは、CLOMO MDMの開発からサポートまで一貫して提供しており、管理機能のシステムやプラットフォームも同社自身が運用している。

「CLOMO MDMの特徴としては、特にApple製デバイスに注力して対応している点が強みです。またAndroidについても、2019年にGoogleの認定を受けて『Android Enterprise Recommended』を取得しているほか、Windowsでも国内ベンダーで唯一マイクロソフト社と協業関係にあります」と説明するのは、同社製品開発運用本部 プラットフォーム運用部長の田崎大輔氏。CLOMO MDMのプラットフォームを展開・運用する責任者だ。

「CLOMO MDMのプラットフォームは現在、Microsoft Azure上で稼働しています。製品開発部が作ったシステムを、そのAzureに展開し、運用するのが我々の業務です。MDMのサービスは絶対に止められませんから、運用には大きな責任が伴います。また、我々プラットフォーム運用部の業務には、お客様からの問い合わせを受け付けるカスタマーサクセス部が回答できない事象についての調査・確認も含まれています。例えば『ログインできない』『管理コンソールから送ったコマンドが反映されない』といった事象は背景が複雑なので、サーバなどのログを精査しデータベース、ソースコードと突き合わせて、確認する必要があるのです」（田崎氏）

CLOMO MDMのプラットフォームは、2019年8月に仮想マシン環境からコンテナ環境へ切り替えられた。より柔軟なスケーリングが行えるようになることや、運用性の向上などが、移行の理由だ。一方でコンテナ環境では、コンテナが削除されるとログも消失してしまうため、その消失前にサーバログを収集する仕組みが必要となる。このログは、プラットフォーム運用部の業務に大きく関わるものだからだ。

「問い合わせを受けた事象の調査のためにも、ログを消さないことが重要なのです。一行たりとも漏らすわけにはいきません。該当する事象の情報をなくさないためにも必要ですが、事象の原因がCLOMOシステム側にないならその事実を確認するためにも、やはり不可欠なのです」と田崎氏は話す。

ちなみに、仮想マシン環境で運用していた頃には、コンテナ環境とは違ってログが消失することがほとんどないことから、各仮想マシンのログを直接検索して該当する事象の情報を探していたという。

「以前は複数の仮想マシンにログが分散していたため、仮想マシンごとにログを開いたウインドウを並べ、ウインドウごとにgrepで検索するといった作業が必要で、該当する事象を探すのは大変でした」（田崎氏）

こういったサーバログ関連の運用を改善するため、採用されたのがElastic Stackだった。コンテナ環境への移行と同時に利用を開始している。ログを漏らさず収集できることに加え、コスト効率の高さなども大きなポイントになったという。

「 Elastic Stack に変わったことで、仮想マシンごとに開いて検索していたウィンドウが、ひとつのkibana画面で検索することができ、Webアプリごとに仮想マシンを意識せず検索できる様になりました。また先日、Elastic Stackのライセンス更新を迎えたので、改めて他社製プロダクトについて見積もりをしてもらいました。しかし当社のログの量が多いことなどから、大幅に高い見積額が出てきたのです。それで、改めてElasticの価格設定には助けられていると感じました」（田崎氏）

現時点でのCLOMO MDMのプラットフォームは、Azure上のKubernetes環境に展開されている。導入されたElastic Stackのうち、FilebeatとLogstashも同じKubernetes環境で稼働しており、これらが収集したログはAmazon Web Services（AWS）上のElasticsearchへ送られ、同じくAWS上にあるKibanaで分析・可視化も行っている。これら各プロダクトの稼働を安定する上では、Elasticのサポートが役立ったと田崎氏は話す。

「サービスイン直後には、そのデータが正しく登録できないという問題がありました。原因は書き込まれるデータ量が多すぎることだと分かり、コンソールからスケールアウトすることで対応しました。しかし、データ量が多いことから、スケールアウトしてもなおメモリ上のログ保存期間を3～5日分までしか増やすことができせんでした。Elasticのサポートに相談し、Indexのテンプレートなど見直してもらった結果、データ量を削減できるようになりました。現在では、約18日分のログをメモリ上に置いておくことができています。その総容量は約7TB、日あたり400GBほどになる計算です」と、田崎氏は説明する。

こうして保存したログは、ユーザーから問い合わせのあった事象を調査するためにも用いられるが、Kibanaの可視化機能によるダッシュボードにも活用されている。ダッシュボードは田崎氏をはじめとするプラットフォーム運用部のほか、経営層向けのものも用意しているとのことだ。

「ダッシュボードは外部のテンプレートを参考に、我々自身がVisualizerを使って作成しました。我々はサーバシステムを止めない運用のため、日常的にダッシュボードを監視しています」（田崎氏）

Elastic Stackの活用で大きな効果が得られたのは、なんといってもログ検索だ。問い合わせ対応は、ほぼ毎日数件あり、問い合わせ一つずつについて、該当する事象をログの中から探さなければならない。その手間のかかる作業が、Elasticsearchのおかげで効率化されたという。結果として、問い合わせたユーザーへの回答も迅速に行えるようになった。

「以前は一次回答までに1件あたり平均11時間程度要していましたが、最近ではベストケースで3時間、ワーストケースでも7時間と、大幅に短縮されています。プラットフォームが複雑になっているにも関わらずです。全てのログを複数の仮想マシンを意識せず横断検索できるようになったことが大きいですね。検索キーを入れれば横断検索できる上に多彩な絞り込みも可能です。使い勝手も良く、該当する事象がすぐ分かるため、とても助かっています」と田崎氏は言う。

この効果には、Elasticsearchの効果だけでなく、田崎氏らがログに盛り込んだ検索を効率化する工夫もある。一般的に、HTTPアクセス1回につき多数の行にまたがるログが出力されるが、時系列では他のアクセスと混ざって分かりにくい。そこでアクセスごとに異なる識別情報をログに仕込んでおき、この識別情報をキーとしてクエリで絞り込んでいるとのことだ。

一方で田崎氏は、Kibanaによるダッシュボードにも効果を実感しているという。

「ダッシュボードからは、システムが不安定になりそうな気配や、対策を講じるとその兆候が落ち着いていく様子などが分かります。例えばアクセスが急に増えたとき、それに併せてKubernetesのPodや、Kubernetesが動作するノードがオートスケールしている様子なども一目で分かります。今では、問い合わせ対応とともに日々の状況把握にも、かけがえのない存在となっています」（田崎氏）

田崎氏は今後について、まず直近ではクラウドプロバイダの移行を検討しているという。

前述のように、CLOMO MDMのプラットフォームはAzure、ElasticsearchやKibanaはAWSと、それぞれ別のクラウドプロバイダで稼働している。大量のログの転送による通信コストを抑えるため、ElasticsearchやKibanaもAzureに移行したいと考えているわけだ。

「例えばAzure上でもインスタンスを柔軟に選べ、コスト面でもAWSより少し安価になっていることなど、最近のElasticはAzureへの対応を強化しているため、移行できるのではないかと考えています。まだ具体的な時期までは決めていませんが、AzureについてもElasticの手厚いサポートを期待しています」（田崎氏）

また田崎氏は、Elasticのプロダクトをさらに使いこなそうとしている。中でも強く興味を抱いているのが、Elasticの機械学習機能とのことだ。

「まだ具体的な計画として動いているわけではありませんが、ぜひ活用してみたい機能です。例えば、傾向を推測して次のアクションに、といったことができるようになると期待しています。もちろん使いこなす上では、その機能の詳細を把握したり、我々が持っているデータでどのようなことが分かるようになるのかなど、いろいろと見極めが必要ですが、いずれ挑戦したいですね。また、最近リリースされた機能の中でも、スナップショットからの検索や、オートスケールなどについて調べて、積極的に使っていきたいです」（田崎氏）