S3を直接検索できる、新登場のFrozenティア

Frozenティアは、このために開発されました。Frozenティアを導入すると上述のすべてのユースケースを実現でき、数年分のデータを、S3をはじめとするオブジェクトストアにアーカイブする場合と同様のコストでリーズナブルに格納できます。Frozenティアが他のティアと大きく異なるのは、データが完全に検索可能な形でElasticsearchに維持され、またどのようなKibanaのダッシュボードも、Frozenティアからデータをプルするだけで正常に動作するという点です。つまり、“アーカイブから手動でデータを見つけてプルし、復元して、やっと検索に使えるようになる”というプロセスは完全に過去のものになります。同様に、“どのデータを保持し、どれを削除するか”で葛藤するトレードオフも過去の遺物になります。Frozenティアなら、あらゆるデータを手軽に、シームレスに扱うことが可能です。

動作の仕組み

Frozenティアでは検索可能スナップショットを活用し、演算処理をストレージから分離します。インデックスライフサイクル管理（ILM）ポリシーに基づいてWarmまたはColdからFrozenティアへのデータ移行が実行される際、ローカルノードのインデックスはS3などの、ユーザー指定のオブジェクトストアに移行します。Coldティアではオブジェクトストアに複数のインデックスを移行しますが、ローカルノードに1つ、完全なデータの複製を保持することで高速かつ一貫した検索を実現します。Frozenティアの場合はそれと対照に、ローカルに複製が作成されず、オブジェクトストアのデータを直接検索します。反復検索を高速化するために、直近でクエリされたデータのローカルキャッシュが構築されますが、Frozenティアに格納される完全なデータサイズに比べてキャッシュのサイズはごくわずかです。

典型的なローカルのキャッシュサイズは10％程度であり、Frozenティアデータのサイズが数百テラバイトに上る場合も、ローカルティアノードはわずかな数で済みます。さらに具体的に比較してみましょう。たとえば64 GBのRAMの典型的なWarmティアノードで10 TBのデータを扱っているとき、Coldティアに移行すると約2倍の20 TB扱うことができますが、Frozenティアになると、扱うことのできるデータ量は一気に100 TBにまで増大します。RAM対ストレージ比率に換算すると1:1500になりますが、これは控えめに見積もった数字です。

コストvsパフォーマンス

さて、Frozenティアでトレードオフとなる部分に言及しておきましょう。お気づきかもしれませんが、パフォーマンスです。これは、Elasticが多様なデータティアを提供する理由でもあります。Hot、Warm、Cold、Frozenティアにそれぞれどの程度の期間、どれほどの量のデータを維持するか、組織にとって最適なILMポリシーをフレキシブルに定義することができます。Frozenティアに格納されるデータは、たまにしか検索されません。したがって、他のデータティアのように高速なパフォーマンスは必要ありません。

なお、Elasticは最近、比較的低速に実行される検索で可能なユーザーエクスペリエンスの上限を大幅に引き上げることに成功しました。Elasticが開発したElasticsearchの非同期検索機能は、ダッシュボードのレンダリングをバックグラウンドで実行し、時間をおいて取得することでKibanaに自然なエクスペリエンスをもたらします。さらにElasticは、低速で実行されるクエリのスピードを上昇させる、クエリ効率向上施策を複数導入しています。具体的には、事前フィルタリングに一致しないインデックスをスキップする機能や、可能な場合に検索を途中で終了する機能、block-max WANDを使うテキスト検索機能などがあります。 

Elasticsearchではデフォルトですべてのデータがインデックスされています。Frozenティアがとりわけ効率的なのは、この簡潔なインデックスストラクチャーを活用してデータ自体をスキャンするプロセスを回避しているためで、これにより大規模なデータセットでも高速に結果を返すことができます。また、ElasticはLuceneに関する豊かな知見を活かした工夫を検索可能スナップショットに複数組み込んでいます。その1つが、クエリの回答に本当に必要なインデックスのサブセットだけをプルダウンするという挙動です。 

このような広範な最適化のおかげで、Frozenティアでは可能な限り最良かつ高速なエクスペリエンスで検索を実行することが可能になっています。併せて、今回刷新されたILM UIから、ILMポリシーをはるかに簡単に設定できるようになりました。このUIには、Elasticが提供する全データティアをすばやく、効果的に扱うために必要なすべてのツールが揃っています。

パブリックストレージとプライベートストレージを、好みで使い分ける

Elasticは“可能な限り最高のフレキシビリティを、最小限の分断で提供する”というアプローチを採用しています。従来のAWS S3、Azure Cloud Storage、Google Cloud Storage、MinIOへのオフィシャルサポートに加えて、Elasticは検索可能スナップショットやColdティア、Frozenティアを扱うための、S3互換型オブジェクトストアのテスト・検証用レポジトリテストキットをリリースしました。

このテストキットは手軽な消耗型APIとして提供され、S3互換の独自のオブジェクトストアで一連のテストをすばやく実行することができます。テストにパスしたオブジェクトストアは、スナップショットの格納や検索に使用できるほか、ColdティアおよびFrozenティアのオブジェクトストアに使うことができます。本キットは検証用であり、テストをパスしたS3互換のオブジェクトストレージをElasticがオフィシャルにサポートするものではありません。この点に十分ご注意ください。問題が見つかった場合、Elasticが修正するには、サポート対象のS3デバイスでその問題が再現可能であることが条件となります。

タイムライン

Frozenティアは、Elastic 7.12でテクニカルプレビューに位置付けられています。Hot、Warm、Coldティアは既に一般公開に移行しており、またColdティアおよびFrozenティアをサポートするベースとして、検索可能スナップショット機能も一般公開されています。Frozenティアは7.12のElastic Cloudでも提供されており、また一層シンプルで、設定せず使えるスライダーもリリースの予定です。 

今すぐ使いはじめる

Frozenティアは、Elastic Cloudでクラスターを立ち上げて使いはじめることも、Elastic Stackの最新バージョンをインストールして使いはじめることもできます。すでにElasticsearchを導入済みの方は、お使いのクラスターを7.12にアップグレードするだけで新機能をお試しいただくことができます。Elastic Cloudで試用される場合は、Elastic Cloudドキュメントで詳細をご覧いただくことができます。現在準備中のFrozenスライダーがリリースされた後は、ドキュメントに記載の手順を実行していただく必要はなくなります。Frozenティアについてさらに詳細な情報は、検索スナップショットに関するブログ記事のほか、検索スナップショットプロダクトドキュメント、データティアプロダクトドキュメントでも公開しています。

本ドキュメントに記述されているあらゆる機能ないし性能のリリースおよびタイミングは、Elasticの単独裁量に委ねられます。現時点で提供されていないあらゆる機能ないし性能は、すみやかに提供されない可能性、または一切の提供が行われない可能性があります。