Elasticsearch Relevance Engine™の概要 - AIを革新する高度な検索

本日は、関連性に優れたAI検索アプリケーションを作成するための新機能、Elasticsearch Relevance Engine™（ESRE™）についてご紹介します。ESREは、検索におけるElasticのリーダーシップと2年以上にわたる機械学習の研究開発を基盤としたものです。AIの最も優れた部分とElasticのテキスト検索を融合させており、洗練された検索アルゴリズムスイートと、大規模言語モデル（LLM）との統合機能を開発者にお届けします。さらに、Elasticのコミュニティから既に大きな信頼が寄せられているシンプルかつ統合されたAPIを使ってアクセスできるため、世界中の開発者が検索の関連性を高めるためにすぐに使い始めることができます。

Elasticsearch Relevance Engineの構成可能な機能を利用すると、以下のような形で関連性を向上させることができます。

• ハイブリッド検索の必須要素であるBM25fなど、高度な関連性順位付け機能を利用する
• Elasticのベクトルデータベースを利用して高密度埋め込みを作成、格納、検索する
• 広範な自然言語処理（NLP）タスクおよびモデルを使用してテキストを処理する
• Elasticで独自の変換器モデルを管理および使用して、ビジネス固有のコンテキストに対応できるようにする
• API経由でOpenAIのGPT-3やGPT-4といったサードパーティの変換器モデルと連携し、Elasticsearch環境に統合されたお客様のデータストアからコンテンツの直感的な要約を読み出す
• Elasticの設定不要なLearned Sparse Encoderモデルによりモデルの教育や保守をすることなく機械学習ベースの検索を導入し、幅広い領域をまたいだ関連性の高いセマンティック検索を実現する
• ハイブリッドな順位付け手法である逆順位融合（RRF）により低密度検索と高密度検索を容易に組み合わせ、自然言語クエリタイプとキーワードクエリタイプの組み合わせに応じてAI検索エンジンを最適化する
• LangChainなどのサードパーティ製ツールと統合し、高度なデータパイプラインや生成的AIアプリケーションの構築を支援する

「関連性を高めたい」、「検索アプリケーションのエクスペリエンスを改善したい」。検索の分野で絶えず進化の原動力としての役割を果たしてきたのは、このようなニーズです。関連性の高い検索結果を返すことができれば、検索アプリに対するユーザーエンゲージメントが高まり、収益と生産性の両面で大きな効果が期待できるからです。しかし、LLMと生成的AIが登場した現在、検索はさらに大きな進歩を遂げています。ユーザーの意図を理解したうえで、これまでにないレベルの具体性を備えた回答が得られるようになっているのです。

検索は、進化のたびにその関連性を高めていきます。しかし、新たなテクノロジーやユーザー行動の変化がもたらす新たな課題に対応することも欠かせません。キーワード検索を拡張してセマンティック検索を提供するにせよ、動画や画像に対する新たな検索手法を実現するにせよ、新しいテクノロジーで検索ユーザーに優れたエクスペリエンスを提供するためには、それに対応したツールが必要です。同じように、人工知能が隆盛を迎えた今日の世界では、お客様の評価を経た実績ある機能を備えた技術スタック上に構築された、拡張性の高い新たな開発者ツールキットが必要です。

生成的AIが勢いづき、ChatGPTなどの技術の採用が進むとともに、大規模言語モデルの機能に対する認知も進んでいる現在、開発者の間では、アプリケーション改善のために各種のテクノロジーを試したいという熱が高まっています。Elasticsearch Relevance Engineは、この生成的AIの世界に新時代の機能をもたらし、開発者チームがすぐに使える強力なツールを提供します。

Elasticsearch Relevance Engineの新機能はすべて、Elasticが最新リリースを提供する唯一のマネージドサービス、Elastic Cloudで今すぐ使いはじめることができます。またElastic Stackをダウンロードして、あるいはクラウドオーケストレーションプロダクトとして提供されるElastic Cloud EnterpriseやElastic Cloud for Kubernetesを活用して、セルフマネージドでお使いいただくことも可能です。

Elasticsearch Relevance Engine™は、開発者の迅速な進歩を促し、生成的AIを含めた自然言語検索の次のような課題に対応するうえで役立ちます。

1. エンタープライズデータ/コンテキストを認識：モデルに特定領域に関する十分な知識を組み込めていない可能性があります。この原因は、モデルを教育するデータセットにあります。LLMが生成するデータやコンテンツをカスタマイズするには、なんらかの方法でモデルに独自のデータを供給し、LLMがビジネスに特化した関連性の高い情報を提供できるようにする必要があります。
2. 関連性の向上：Elasticsearch Relevance Engineを使用すると、プライベートソースからのデータ統合も、ベクトル埋め込みを生成して保存し、セマンティック検索を使用してコンテキストを取得する作業も、シンプルに進めることができるようになります。ベクトル埋め込みとは、単語、フレーズ、文書を数値として表現したもので、LLMが単語の意味やその関係を理解するのに役立ちます。このベクトル埋め込みを使うと、変換器モデルの出力を迅速かつ大規模に行えるようになります。また、ESREでは、開発者が独自の変換器モデルをElasticに持ち込んだり、サードパーティ製のモデルと統合したりすることもできます。
   
   また、レイトインタラクションモデルが登場したことで、サードパーティのデータセットに対して大規模な教育や微調整を実施しなくても、すぐに関連性を向上できるようになっています。すべての開発チームが機械学習モデルの教育や保守を行うリソースや専門知識を持っているわけでも、スケール、パフォーマンス、スピードのトレードオフを理解しているわけでもないため、Elasticsearch Relevance Engineには、さまざまな領域に対応したセマンティック検索用に構築された検索モデルであるElastic Learned Sparse Encoderも含まれています。このモデルでは、低密度埋め込みと従来のキーワードベースのBM25検索を組み合わせ、ハイブリッド検索用の使いやすい逆順位融合（RRF）スコアラーを実現します。ESREを使うことで、開発者は機械学習ベースの関連付けやハイブリッド検索の手法を初日から利用できるようになります。
3. プライバシーとセキュリティ：ネットワーク上やコンポーネント間で機密データを使用したり安全に受け渡したりするうえで重要になるのが、データのプライバシーです。このことは、企業が革新的な検索エクスペリエンスを構築する場合でも変わりません。
   
   Elasticではロールベースと属性ベースのアクセス制御をネイティブにサポートしており、チャットアプリや質問回答アプリであっても、データへのアクセス権を持つロールだけがデータを表示できるようになっています。Elasticsearchは、特権を持つユーザーだけが特定のドキュメントにアクセスできるようにしたいという組織のニーズに応え、組織全体ですべての検索アプリケーションにわたってプライバシーとアクセス制御を維持できるようになっています。
   
   プライバシーが最大の懸念事項である場合、すべてのデータを組織のネットワーク内で管理することが、最優先事項であるだけでなく、義務となる場合もあります。エアギャップ環境でのデプロイ実施から、安全なネットワークへのアクセス支援まで、ESREはお客様の組織がデータの安全性を維持するために必要なツールを提供します。
4. サイズとコスト：大企業では、データ量も計算能力とメモリの所要量も膨大になるために、大規模言語モデルの利用が非常に高額になることが少なくありません。しかし、チャットボットのような独自の生成的AIアプリの構築を目指すのであれば、LLMと自社のプライベートデータを組み合わせる必要があります。
   
   Elasticsearch Relevance Engineは、手間や費用をかけずにデータフットプリントを削減できる精密なコンテキストウィンドウを備えており、企業が効率的に高い関連性を実現するうえで役立ちます。
5. データの鮮度：モデルは教育用データが収集された時点で時間的に止まってしまいます。つまり、生成的AIモデルが作成するコンテンツやデータは、教育に使ったデータと同じ鮮度しかないことになります。LLMからタイムリーな結果を引き出すためには、企業データを統合することが不可欠です。
6. 幻想：モデルに質問したり、モデルと会話したりしていると、説得力があり信頼できるように聞こえるものの、実際には事実ではなく予測であるような回答が返ってきたりします。これも、モデルをビジネス環境で役立てるためには、文脈に即してカスタマイズされた知識に基づいてLLMを使用する必要があるもう1つの理由です。
   
   Elasticsearch Relevance Engineを使用すると、開発者は生成的AIモデルのコンテキストウィンドウを介して独自のデータストアにリンクできます。検索結果が追加されることで、プライベートな情報源や専門領域の最新情報を提供できるため、情報を求められたときに、モデルのいわゆる"パラメトリックな"知識のみに頼るのではなく、より事実に近い情報を返すことができるようになります。