Elastic 8.0 ― 新時代のスピード、スケール、関連性、シンプルさ

Elastic 8.0を一般公開いたしました。Elasticsearchにベクトル検索機能を導入し、最先端の自然言語処理モデルのネイティブサポートを開始したほか、データの取り込みを大幅にシンプル化して、効率的なセキュリティエクスペリエンスを実現させました。Elastic 8.0は、スピード、スケール、関連性、シンプルさのすべての側面で新時代の到来を告げるリリースです。

はじめてみるElastic 8.0の新機能はすべて、Elasticが最新リリースを提供する唯一のマネージドサービス、Elastic Cloudで今すぐ使いはじめることができます。

スピード、スケール、関連性 ― おなじみの基盤で新時代へ

終わりがあれば、かならず、はじまりがあります。Elasticは2022年の初頭に、スピード、スケール、関連性のすべてに新時代の到来を告げるElastic 8.0を一般公開しました。

ユーザーやコミュニティの皆様もご承知の通り、Elasticは揺るぎない姿勢でスピード、スケール、関連性にコミットしています。流通する全検索エンジンの中でElasticsearchを確実に最も高速でスケーラブル、かつ高性能なプロダクトとするため、Elasticはすべてのリリースでかならず機能の強化と最適化を実施しています。

直近の3年間でも、性能が大きく向上しました。たとえばメモリ使用量の軽減（1ノードで管理するデータ量の増加）や、（特に大規模デプロイに顕著な影響を与える）クエリオーバーヘッドの削減、関連性を向上させる新機能の導入などです。

7.xシリーズのリリースでは、日付ヒストグラムと検索アグリゲーションのスピードが向上したほか、ページキャッシュのパフォーマンス強化や、新たな“事前フィルター”検索フェーズの開発を行ってきました。同時にElasticは、リソース要件の引き下げ（つまり、顧客が負担する総所有コストの削減）にも取り組んできました。具体的には、ユーザーが新たなFrozenティアと検索可能スナップショットを活用してストレージから演算処理機能を簡単に切り離し、使用するストレージ量を減らすという斬新な手法の導入によって、メモリヒープ量の縮小や、ARMアーキテクチャーへの完全なサポートを実現させています。

Elastic Stackの最適化は今後もはてしなく続きます。その最大の長所は、データを活用するユーザーがどのような選択をする場合も、強化された性能が大規模かつスピーディーな検索、解決、成功を支援することです。ユーザー側に高負荷な作業が生じることがありません。

検索関連性を高めるネイティブベクトル検索

Elastic 8.0は、ネイティブベクトル検索の包括的な機能セットを搭載しています。この機能を導入すると、エンドユーザーや社員が自身の言葉や言語で検索し、関連性の高い結果を受け取ることが可能になります。

Elasticはこの2年間、Elasticsearchにすぐれたベクトル検索機能を追加するための開発を行ってきました。これまでの流れを少し振り返ってみましょう。まずElasticsearch 7.0のリリースで、高次ベクトル向けのフィールドタイプを登場させました。さらにElasticsearch 7.3とElasticsearch 7.4から、ベクトル相似関数のサポートを開始しました。この一連のリリースを通じて、ElasticはElasticsearchのエコシステムにベクトル検索のテクニックを導入することを予告し、約束しました。お客様やコミュニティの中に、幅広いユースケースでベクトル検索を導入したいという熱いご要望があることを知り、奮起して開発を進めていたのです。

そして今回のElasticsearch 8.0リリースでは、自然言語処理（NLP）モデルのネイティブサポートをElasticsearchに直に組み込むことで、ベクトル検索がより実践的に実装されています。さらにElasticsearch 8.0は、近似最近傍（ANN、Approximate Nearest Neighbor）探索をネイティブにサポートします。これにより、高速かつ大規模に、ベクトルベースのクエリをベクトルベースのドキュメントコーパスと比較することが可能になりました。

分析を未踏の領域へ前進させるNLPのパワー

Elastic 8.0より、BERTなどのPyTorch機械学習モデルをElasticsearchでダイレクトに使用し、またそのモデルを使った推論をElasticsearch内でネイティブに実行することができるようになりました。ユーザーが独自開発したカスタムモデルに加え、コミュニティがHugging Faceのようなレポジトリに公開したモデルも使用することができます。

Elasticsearch内でユーザーがダイレクトに推論を実行できるようになったことで、検索アプリやエクスペリエンスで最先端のNLPのパワーを活用することも、これまでになく簡単になりました（つまり、コーディングなしでOK）。分散型の演算処理パワーを持つElasticsearchを使うことで効率が上がり、またデータを別のプロセスやシステムに移動する必要がなくなることで、NLP自体が大幅にスピードアップします。

スピーディー＆大規模に検索

Elastic 8.0のベースがLucene 9.0であることを考えると、高速かつ大規模に最新のNLPのアドバンテージを活用する一連の検索エクスペリエンスの立役者は、近似最近傍（ANN、Approximate Nearest Neighbor）探索のネイティブサポートだと言えます。ANNを導入すると、ベクトルベースのクエリと、ベクトルベースのドキュメントコーパス（小規模コーパスから大規模、巨大規模コーパスまで）とのすばやく、効率的な比較が可能になります。

要約すると、最新のNLPモデルとANN探索をネイティブにサポートするElastic 8.0は、ベクトル検索のパワーを解き放ち、ユーザーやコミュニティに提供するリリースです。詳しくは、NLPモデルとベクトル検索に関するウェビナーをご覧ください。またこのウェビナーに関連して、PyTorchを使ったNLPに関するブログ記事も公開しています。

ベクトル検索は近い将来、Elasticエンタープライズサーチのような検索ベースのソリューションにも搭載され、そのパワーをさらに簡単に活用することが可能になります。たとえば、“ユーザーが入力した検索語句が完全に一致しなくても、最良の検索結果が得られる”といったことです。ベクトル検索を活用すると「点と点をつなぐ」ことが可能になり、最も関連性にすぐれた検索結果を簡単に表示できます。

シンプルなことはシンプルなままに

AWS（Amazon Web Services）向けに、クラウドネイティブなオブザーバビリティの効率化を実現する2つの統合機能が登場

過去数回のリリースを通じて、Elasticはあらゆるソースから、あらゆるタイプのデータをElastic Stackに取り込むプロセスの大幅な効率化を実現してきました。Elastic 8.0では、新たにAWS Lambdaアプリと、Amazon Simple Storage Service（Amazon S3）Storage Lensに対応する2つのAWS統合機能が登場し、クラウドネイティブな統合機能の一層の拡充を果たしています。

新登場のAWS Lambdaアプリは、AWS Serverless Application Repository（SAR）にパブリッシュされます。ユーザーはこのアプリを使って、VMのプロビジョニングやデータシッパーのインストールといったオーバーヘッドを生じさせることなく、アーキテクチャーをシンプル化し、効率的にデータ統合を実行できます。もう少しわかりやすく言うと、ユーザーはAWSのコンソールで数回クリックするだけで、Amazon S3のログをElastic Cloudのデプロイにインジェストすることができるようになりました。

また、Elasticが12月に発表したAmazon S3 Storage Lens統合機能を使うと、Storage LensのメトリックをElastic Cloudのデプロイに簡単にシッピングできます。Elasticsearchのパワフルな検索・分析機能とKibanaのパワフルなダッシュボード機能を活用してAmazon S3の使用コストを最適化し、データ保護とユーザーアクティビティの傾向を確実に監視できます。 さらに、AWS Marketplaceで無料トライアルに登録して、AWSで手軽にElastic Cloudを使い始めることができるようになりました。

効率化したスタックセキュリティで不正アクセスからデータを保護

厳格なセキュリティの重要性は、かつてないほど高まっています。Elastic Stackは数年前から無料のセキュリティ機能群を搭載していますが、今回のリリースで、セキュリティの設定に必要な手順が一層シンプルになりました。Elasticは、「保護の必要がないクラスターなんてこの世に1つもないはず」と信じています。そこでElastic 8.0以降、セルフマネージドのクラスターのセキュリティ機能は、デフォルトで有効に設定されます。これにより、Elastic Stackのデータ、ネットワーク、ユーザーの安全が確保され、データ漏洩や不正アクセスを回避できます。自動生成のトークンや証明書などプロダクト内のアシスト機能を活用するプロセスの効率化とシンプル化によってユーザーの時間と手間を節約し、Elasticはすべてのユーザーにとってアクセシブルなセキュリティ機能の提供を実現させています。

Elastic Cloudをご利用中（またはご検討中）のお客様も、ご安心ください。Elastic Cloudでは、セキュリティ機能とロールベースのアクセス制御が常に有効になっています。一層シンプルになったスタックのセキュリティ機能について詳しくは、技術的詳細を含むブログ記事をご覧ください。

使い始める

ご紹介したElastic 8.0の新機能はすべて、Elasticが最新リリースを提供する唯一のマネージドサービス、Elastic Cloudで今すぐ使いはじめることができます。

Elasticを使うのは初めて、 という方は、Elastic Cloudの14日間トライアルで今すぐお試しください。マネージドサービスのメリットがピンと来なくても大丈夫です。セルフマネージド版のElastic Stackは、いつでも無料でダウンロードしてお使いいただけます。