ハイブリッド検索とは？
ハイブリッド検索の定義
ハイブリッド検索は、2つ以上の検索手法を組み合わせた検索アルゴリズムで、強力な情報検索戦略です。
通常ハイブリッド検索は、キーワード検索とセマンティック検索を組み合わせたもので、高度な機械学習技術を利用しています。セマンティック検索はテキストの意味に基づいて結果を検索しますが、全文検索は正確な単語の一致に焦点を当てます。ハイブリッド検索は、会話型クエリや「あれは何て言ったっけ？」という瞬間のように、ユーザーが正確なキーワードを入力しない、またはできない場合に不可欠です。
キーワード検索とセマンティック検索のどちらにも、それぞれ独自の長所があります。キーワード検索は、ランキングアルゴリズムと特定の用語を使用して、検索クエリに対する文書の関連性を判断します。セマンティック検索は、検索クエリを受け取ってコンテキストを考慮します。
ハイブリッド検索は、セマンティック検索と従来の検索の長所を組み合わせることで、検索精度を向上させます。セマンティックな理解と正確なクエリ用語の尊重を両立させるハイブリッド検索は、ユーザーの検索エクスペリエンスを向上するような結果を提供します。
ハイブリッド検索のコンポーネント
ハイブリッド検索は、キーワード、語彙、またはBM25（関連性を決定するランキングアルゴリズム）とセマンティック検索を組み合わせたものです。セマンティック検索は、検索で何を達成するかに焦点を当てますが、ベクトル検索は主にベクトル表現を使用してデータを取得することにより、どのように結果を達成するかに焦点を当てます。
セマンティック検索
セマンティック検索は、意味とコンテキストを理解することが目的です。このタイプの検索は、BM25検索のようにキーワードを単に一致させるのではなく、クエリ内の単語の背後にある意図を理解することに焦点を当てます。セマンティック検索は、言語のばらつきや曖昧さを考慮して、人間のクエリと実際の意味とのギャップを埋めます。活用するのは自然言語処理（NLP）、機械学習、ナレッジグラフ、ベクトルで、ユーザーの意図により関連が高く、コンテキストを組み込んだ結果を提供します。
コンテキストを判断するために、セマンティック検索は、既知のユーザーデータ、位置情報、または過去の検索履歴を使用して関連する結果を特定します。アメリカで「フットボール」を検索すると、世界の別の地域で同じ検索を行った場合とは異なる結果が得られます。セマンティック検索は、ユーザーの地理的所在地に基づいて結果を区別します。
ベクトル検索
ベクトル検索は、テキスト、画像、音声などのアイテムを数値表現またはベクトルを使用して表現し、類似性に基づいてデータを検索する技術的な検索手法です。これらのベクトルは、これらのアイテムの根本的な意味や特徴を捉えます。ベクトル検索は、ベクトル表現の類似性を測定することによってデータを検索します。
アプローチの組み合わせ
セマンティック検索とベクトル検索には多くの共通点があります。実際、セマンティック検索はベクトル検索を活用しています。
クエリが立ち上げられると、検索エンジンはクエリをベクトル埋め込みに変換します。kNNアルゴリズム（k近傍アルゴリズム）のようなアルゴリズムは、既存の文書のベクトルをクエリベクトルに一致させます。その後、アルゴリズムは概念的な関連性に基づいて結果を生成します。
セマンティック検索とベクトル検索が連携すると、プラットフォームは多言語検索や非構造化データを必要とする検索などの複雑なクエリを処理できます。
ハイブリッド検索の仕組み
ハイブリッド検索は、キーワード検索とベクトル検索を組み合わせて包括的な検索結果を提供します。ベクトル埋め込みは、文章や写真などのデータを、それらの意味や関係性を捉える数値に変換します。データはトークン化され、インデックス化され、数値埋め込みで表現されます。ベクトル検索は非構造化データの意味を捉えることができます。ベクトル検索はキーワード検索の限界を克服し、ユーザーが正確な説明やキーワードを思い出せなくても、意味する内容で検索できるようにします。ハイブリッド検索は、高密度ベクトルと低密度ベクトルの両方を解析して、最も関連性の高い結果を提供できます。
高密度ベクトル
高密度ベクトルはセマンティックな理解とコンテキストに基づくクエリを処理します。それらは、最新の機械学習で一般的に使用されており、特に埋め込み生成のようなタスクに使用されます。
低密度ベクトル
低密度ベクトルは従来のキーワードベースのインデックスを処理し、情報がまばらに含まれています。これらのベクトルは、大規模なデータセットで一般的に使用されます。
クエリ処理
ハイブリッド検索におけるクエリ処理は、低密度ベクトルをキーワードの正確な一致と優先順位付けに使用し、コンテキストの意味と意図を捉え、セマンティックな理解のためには高密度ベクトルを使用します。これら2種類のベクトルを組み合わせることにより、ハイブリッド検索は特異性と関連性のバランスが取れた包括的な検索結果を提供します。結果を達成するために、ハイブリッド検索は逆順位融合（RRF）を使用し、関連性指標がそれぞれ異なる複数の結果セットを1つの結果セットに統合します。
ハイブリッド検索のメリット
ハイブリッド検索は、さまざまな検索手法の長所を組み合わせて活用することで、従来の検索よりもユーザーに優れたメリットを提供します。その主なメリットは、より少ない労力でより正確な検索結果を提供することです。
さまざまな業界で、内部および外部の検索アルゴリズムは、ハイブリッド検索を使用して関連性の高い結果を提示できます。例えばeコマースのプラットフォームでは、「ポケットの付いた赤いドレス」と「高級レストランでの初ディナーデートにぴったりで、鍵やお金を入れるスペースのある赤いドレス」という検索を区別できます。
別の例として、企業の社内福利厚生文書で「犬」と検索すると、「オフィスのペットポリシー」という結果が出るかもしれません。特定の単語はクエリに含まれていないかもしれませんが、それがユーザーが求めていた答えである可能性があります。
全体的にハイブリッドは、言語の柔軟性により、ユーザーの検索エクスペリエンスの向上につながります。ハイブリッド検索は、セマンティックの理解と正確なクエリ用語のバランスを取ることで検索精度を高めます。したがって、会話型および複雑なクエリを効率的に処理することができ、行き詰まりやユーザーの不満を防ぐことができます。
RAGを用いたハイブリッド検索
検索拡張生成（RAG）は、プライベートまたは独自のデータソースを使用して、LLMの元のナレッジベースを補足するコンテキストを提供する検索手法です。RAGはクエリに有用です。なぜなら、生成AIシステムが外部情報ソースを利用して、より関連性の高い対応を生成することを可能にするからです。
RAGを使用したハイブリッド検索と追加のデータソースを取り込むことで、コンテキストを追加し、検索エクスペリエンスの関連性を向上させることができます。追加の情報ソースは、組織や顧客がクエリに回答するために必要なものであれば、インターネット上の新しい情報から、独自または機密のビジネス文書まで、何でもかまいません。
RAGには、単独で動作する言語モデルにはないメリットがいくつかあります。費用対効果が高く、コンピューティングとストレージの必要量が少なく、モデルが最新の情報にアクセスできるようにします。
Elasticを使用したハイブリッド検索
Elasticは、すぐに使えるセマンティック検索をサポートすることで、ハイブリッド検索の実装を簡単にします。Elasticを使用すると、共通プラットフォームや1つのAPIで、高い速度とスケールでハイブリッド検索を実行でき、最初から高い関連性を示せます。
ElasticのPlaygroundを使用すると、開発者は、ローコードのインターフェースで独自のプライベートデータを用いて、選択したLLMをグラウンディングできます。
Elasticは、新たに導入されたクエリリトリーバー（標準、kNN、RRF）を用いて、開発者がクエリの構築を簡素化する手助けをします。これらのクエリを使用することで、Elasticは選択されたデータを理解し、統合クエリを自動生成します。