アプリケーションにAI検索を構築する
Elasticsearch Relevance Engine™（ESRE）は、人工知能ベースの検索アプリの原動力になることを目指して設計されています。ESREを使用すると、優れた関連性を備えたセマンティック検索を設定（業界領域の適合作業）なしで適用できます。また、外部の大規模言語モデル（LLM）との統合、ハイブリッド検索の実装、サードパーティ製または独自の変換器モデルの使用も可能です。
Elasticsearch Relevance Engineのセットアップを開始するのがどれほど簡単かご確認ください。
クイックスタートビデオを見るESREを使用する高度なRAGベースのアプリケーションを構築します。
トレーニングに登録する生成AIモデルの能力を活用しながら、非公開の社内データをコンテキストとして使用し、ユーザーの照会に対して最新の信頼できる応答を提供します。
動画を視聴するすべての開発者のためのAI
AIで検索をレベルアップ
専門知識のレベルを問わず、ESREを活用して、高度なAI関連性機能をアプリケーションに導入しましょう。ESREは初期の導入を支援する機能群であり、AIを活用してエクスペリエンスを構築します。機械学習や生成AI検索アプリのデプロイを柔軟に制御しながら、適合させることができます。
Elasticsearch Relevance Engine
Elasticsearch - オールインワンの最強ベクトル検索
埋め込みの生成や、ベクトルの格納、検索、管理を行います。Elastic独自のLearned Sparse Encoder機械学習モデルでセマンティック検索を実現しましょう。あらゆるタイプのデータを取り込めます。急速に進化する大規模言語モデルとの統合も可能です。
「RelativityOneの中でElasticsearchを活用する施策によって、お客様に大きなメリットをもたらすことができます。現在ESREを試験中ですが、AIを利用した強力な検索機能をお客様にもたらすことができる可能性に、大きな期待を寄せています。」
クリス・ブラウン氏, Relativity社、最高製品責任者
コードのサンプル
ベクトル検索の開発に着手
埋め込みモデルのインポート、埋め込みの生成、近似最近傍検索を使用した検索クエリの一括記述を単一のAPIで実行できます。
docker run -it --rm elastic/eland \
eland_import_hub_model \
--cloud-id $CLOUD_ID \
-u <username> -p <password> \
--hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 \
--task-type text_embedding \
--startFAQ
Elasticsearch Relevance EngineはAI検索アプリの開発に役立つ機能セットで、以下のような機能があります。
- 業界をリードする高度な関連性ランキング機能 - BM25を使用した従来型キーワード検索などに対応し、あらゆるドメインを対象にした関連性の高いハイブリッド検索の基盤となります。
- フルベクトルデータベース機能 - ベクトルの保存と検索に加えて埋め込みの生成も可能です。
- Elastic Learned Sparse Encoder – 複数のドメインを横断したセマンティック検索に対応する新しい機械学習モデルです。 ハイブリッドランキング機能（RRF） - ベクトル検索とテキスト検索を組み合わせ、幅広いドメインを横断する検索関連性を最適化できます。
- OpenAI GPT-3/GPT-4などサードパーティ変換器モデルを、API経由で統合することをサポートします。
- フルスイートのデータインジェストツール - データベースコネクター、サードパーティデータ統合、Webクローラー、カスタムコネクター作成用のAPIなどが揃っています。
- 開発者向けツール - テキスト、画像、時系列、地理情報、マルチメディアなど、あらゆる種類のデータを網羅する検索アプリケーションを開発できます。
Elasticsearchは、Webサイト（Eコマース製品やディスカバリなど）と内部情報（カスタマーサクセスのナレッジベースやエンタープライズサーチなど）に対応する、業界をリードする検索テクノロジーです。ESREには、AI駆動の検索エクスペリエンスを構築するためのツールキットが搭載されています。クエリを自然言語で（質問したり探している情報の種類を説明したりするかたちで）記述できます。この自然言語機能を生成AIと組み合わせることで、ユーザーのプライベートデータや専有データから得られたコンテキストを使用してモデルの能力を強化できます。
はい、Elasticsearch Relevance Engineに搭載されている機能は、Elasticsearch内の_search APIで統合されるよう設計されています。開発者はElastic APIや、Kibanaなどの使い慣れたツールを使用して、Elasticsearch Relevance Engineが備える機能をElasticsearchとシームレスに連携して操作できます。
Elastic Learned Sparse Encoderは、多様なドメインを横断した高関連性セマンティック検索のためにElasticが構築したモデルです。現時点では英語のみの対応となりますが、意味と言葉の関係性を捉えて情報検索に活用する機械学習モデルです。Elasticの新しい検索モデルを使用したベンチマークテストに関心をお持ちの場合は、こちらのブログ記事をご覧ください。
変換器とは、LLMの基盤となる深層ニューラルネットワークアーキテクチャです。変換器にはさまざまなコンポーネントが含まれています。エンコーダー、デコーダー、数百万（時には数十億）ものパラメーターを持つ「深層」ニューラルネットワークレイヤーなどで構成されます。通常はインターネット上のデータなど膨大な量のテキストで学習され、微調整してさまざまなNLPタスクを実行させることもできます。Elasticの新しい検索モデルは変換器アーキテクチャを採用していますが、多様なドメインを横断するセマンティック検索専用に設計されたエンコーダーのみで構成されています。
Elasticsearch Relevance Engineのすべての機能は8.8リリースに含まれていて、Elasticエンタープライズサーチのプラチナプランとエンタープライズプランで利用できます。手軽に埋め込みとベクトル検索の利用を開始したり、検索モデルを試してみたりできます。こちらで、Elastic Learned Sparse Encoderに搭載されている機能のデモを視聴できます。Elasticsearchのライセンスをお持ちの場合、無料でElasticsearch Relevance Engineを利用できます。
