サーバーレスによるサービス向上

当社は今後10年のことを考えると、超高速のパフォーマンスを実現しながらもユーザーエクスペリエンスをシンプルにする必要があると認識しています。多くのElasticユーザーがデプロイやスケーリングを完全に制御したいと考えている一方で、よりシンプルさを求めているユーザーもいることがわかっています。SOCアナリストは、脅威検出の向上のためにシャードをスケーリングすることではなく、組織を保護することを望んでいます。開発者は、クエリを高速化するためのインフラを調整することではなく、検索アプリケーションを開発することを望んでいます。SREは、ダウンタイムを最小限に抑えるための構成を設定することではなく、オンラインで信頼性を確保することを望んでいます。私たちはクラスターの管理が大好きですが、お客様は必ずしもそうではありません。Elasticのサーバーレスアーキテクチャーを使用すると、運用上の責任から解放され、クラスターの管理や、シャードの設定、スケーリング、ILMのセットアップが不要になります。データとクエリさえ用意すれば、プラットフォームがスケーリングと管理をすべて処理してくれます。 

より高速なスケーリングと長期間のデータ保持を実現しながら、同時にコストのバランスをとって複雑さを軽減するのは無理だと何度も言われ続けてきていませんか？ところが、それが可能になりました。多くのワークロードでは、スケーリングとスピードの両方が重要です。SolarWindsなどで行う滞留期間の長い脅威の調査であれ、数百のサービスにわたる障害の根本原因の特定であれ、ベクトル検索を使用した検索拡張生成による生成AIワークロードの強化であれ、どちらも重要です。 

そのため、当社のサーバーレスアーキテクチャーは、再設計されて生まれ変わったElasticsearchに基づいています。コンピューティングはストレージと完全に分離され、オブジェクトストレージが利用されています。クラウドオブジェクトストアを使用すると費用対効果の高いスケーリングが可能になりますが、レイテンシが生じるため、スピードを高める新しい技術が必要です。幸いなことに、当社には効率的なキャッシングのためにElasticsearchとLuceneのインデックスデータ構造を最適化してきた長年の経験があり、高度なクエリ時間並列化と組み合わせて、このレイテンシの課題を解消することができます。つまり、組み込まれた制御機能を使用して、スピードとスケーリングの両方を発揮し、スピードとコストのバランスを簡単にとることができます。

Elasticの新しいサーバーレスアーキテクチャーは、Elasticsearchを抜本的に見直した証です。これは、最新のクラウドネイティブサービスを活用し、管理に手間のかからない最適化された製品エクスペリエンスを提供するよう構築されていました。データレイクのストレージ容量を提供しますが、Elasticsearchと同様の高速な検索パフォーマンスを発揮します。また、クラスター管理とスケーリングが自動のため、運用がシンプルです。このアーキテクチャーの根底には、次の4つの原則があります。

• 分離されたコンピューティングとストレージ
• 別個の検索ティアとインデックスティア
• レコードシステムとして安価なオブジェクトストレージ
• 低レイテンシのクエリ

Elasticのサーバーレスアーキテクチャーは、複数のワークロードを管理するのにプライマリとレプリカのインスタンスを利用することはせず、独立したインデックスティアと検索ティアをサポートします。このように分離することで、ワークロードを個別にスケーリングできるほか、ハードウェアをユースケースごとに選択して最適化できます。 

さらに、この手法であれば、検索とインデックスのワークロードが互いに干渉するという根強い問題を効果的に解決できます。それにより、あらゆる検索ユースケースやワークロードでパフォーマンスとコストの両方を最適化することが容易になります。こういった特性は、高負荷の検索によってインデックスオペレーションが阻害されることを避けたい大量ロギングユーザーやセキュリティユーザーにとって重要であるほか、検索パフォーマンスに影響を与えることなく、高負荷のインデックス時間機能を使用して関連性と検索パフォーマンスを高めたいユーザーにとっても重要です。

サーバーレスアーキテクチャーでは、安価なオブジェクトストレージを利用することで、スケールを拡大するとともにストレージコストを抑えています。永続化を目的としてオブジェクトストレージを活用することで、Elasticsearchは持続性のために1つ以上のレプリカにインデックスオペレーションを複製する必要がなくなりました。これにより、インデックスのコストとデータの複製を減らすことができます。代わりに、オブジェクトストレージによってセグメントが永続化され、複製されます。それにより、さまざまな要件での効率が高まります。たとえば、ローカルディスクに格納されるデータを最小限に抑えることで、インデックスティアのストレージコストが減少します。サーバーレスアーキテクチャーはオブジェクトストアに対して直接インデックスを行うので、ローカルに保持されるデータはごく少量で済みます。追加のみの操作を伴うシナリオの場合、特定のメタデータのみがインデックス目的で保持されるので、結果として、インデックスのために必要とされるローカルストレージが相当少なくなります。

オブジェクトストレージは大量のデータに対応できますが、そのスピードや低レイテンシについては知られていません。Elasticはどのようにしてオブジェクトストレージを使用して優れたクエリパフォーマンスを維持しているのでしょうか。当社は高速なパフォーマンスを提供するために、いくつかの新しい機能を導入しました。セグメントレベルのクエリ並列化によって、オブジェクトストレージからのデータ取得時のレイテンシが低減します。これにより、データがローカルキャッシュにない場合に、より多くのリクエストをS3などのオブジェクトストアに速やかにプッシュすることが可能になります。キャッシングも、再利用を行ったり、データタイプごとに最適なLuceneインデックス形式を利用したりして、「よりスマート」に実行されるようになっています。これらは、オブジェクトストアとキャッシュレイヤーの両方で大幅なパフォーマンス向上をもたらす新機能のうち、ほんの一部にすぎません。

当社はこの機会に、検索、オブザーバビリティ、セキュリティのためのサーバーレスアーキテクチャー用のカスタム製品の開発も行っています。その目的は、ユーザーエクスペリエンスを合理化して、各ワークフローに固有なニーズに対して最適化することです。これには、より高速な継続的オンボーディングや、より緊密な機能統合、各ユースケースの作業に対するカスタムインターフェースの最適化などがあります。各製品の主要なハイライトは次のとおりです。

• 検索：サーバーレス検索エクスペリエンスの焦点は、開発者が卓越した検索エクスペリエンスを設定なしで迅速かつ簡単に作成できるようにすることにあります。APIが中心となっていて、データをElasticsearchにインジェストして取り入れる簡単な方法と組み合わせることができます。これらのパイプラインは、変換などのタスクをすばやく完了できるようにシンプル化されています。初期の学習の苦労と、タスクを完了するために必要な手順を減らすために、Java、.NET、Pythonなどの新しい言語クライアントがインラインドキュメントとともに作成されています。開発者がもっと速やかに価値を得られるように、力を合わせて合理的な開発者エクスペリエンスを作成しています。