検索精度を30%向上
Consensusのユーザーは、Elastic独自のMLモデルであるELSERの追加により、検索結果の精度と関連性が大幅に向上したことを実感しています。
検索レイテンシーを75%削減
ElasticのELSERを導入することで、セマンティック検索のレイテンシーが約4秒から1秒未満に短縮されました。
検索イノベーションのロードマップを提供
Consensusは、革新的なセマンティック検索、ベクトル検索、AI検索のツールを利用できるElasticという長期的な検索パートナーを得ました。
Consensusは、AIを使って研究論文からインサイトを見つける検索エンジンです。Consensus2.0は、ユーザーのクエリに基づいて、質問に関連する情報を論文から抽出します。これにより、ユーザーが探しているものに関連性のある結果を、より柔軟に得ることができます。
Consensusは、Elasticの高度なセマンティック検索とテキスト検索を備えた検索プラットフォームの新バージョンにより、100万人ものユーザーの学術研究を変革しています。
2022年に発表されたConsensusは、高度な人工知能（AI）と大規模言語モデル（LLM）を使用して、Semantic Scholarデータベースにある2億件以上の査読済み論文からインサイトを集約・抽出する先駆的な検索エンジンです。Consensusは、すべての科学的領域をカバーしているため、医学、人類学、心理学、気候科学など、さまざまな分野の研究者に選ばれています。
このアプリケーションが最初にリリースされたとき、Elastic Searchのデフォルト設定を含む、多数のソリューションに基づく推論パイプラインが使用されました。ConsensusのCPOであるクリスチャン・サーレム氏は、「当時Consensusは、検索エンジンに加えてLLMとAI要約機能を使用している、この業界では数少ない企業の1つでした」と述べています。
しかし、たった1年の間に人工知能の世界はどんどん変化します。AI検索の分野に参入する企業が増え、ますます混雑する市場で存在感を示すことが難しくなったのです。競合他社に先んじるために、Consensusは検索エンジンとAIの専門知識を持つエンジニアを採用し、検索の関連性とエンドユーザーエクスペリエンスを向上させました。Amazon SearchとGoogleで10年近くの経験を持つConsensusの主任検索エンジニア、クリス・ヴァラーノ氏が、ELSERプロジェクトを終始指揮しました。
チームは当初、ベクトル検索プラットフォームを適合させれば、検索性能を向上できると考えていましたが、数百万人のユーザーを対象とした本番レベルのサポートや、多くの有用な語彙機能が不足していることがすぐに明らかになりました。ヴェラーノ氏は、「これらの機能を社内で構築することもできましたが、変化の速い市場にいる小さなチームにとって、費用と時間のかかる選択肢でした」と述べています。
Consensusでは、通常の検索方法を完全に見直し、速度、精度、そして最も重要な検索の関連性を向上させました。
ベクトル検索とテキスト検索の長所を併せ持つ検索モデル
Consensusチームは、Elasticと、Elasticから最近リリースされた機能であるELSER（Elastic Learned Sparse Encoder）に注目しました。Elasticによってトレーニングされたこの新しい検索モデルでは、キーワードの完全一致に加え、文脈上の意味やユーザーの意図に基づいたセマンティック検索が可能になります。「従来のキーワード検索機能の利点を維持しながら、ベクトルAI検索に関連するすべての利点を手に入れることができます」とヴァラーノ氏。
ELSER搭載のConsensus 2.0のリリースにより、エンドユーザーはより高い検索精度と、上位の検索結果の要約を提供する新しい生成AI機能の恩恵を受けることができます。このソフトウェアは、検索クエリを受け取ると、すべての論文のアブストラクトとタイトルに対して、キーワード検索とベクトル検索を組み合わせて実行します。これにより、Consensusはユーザーのクエリとドキュメントの関連性をインテリジェントに測定できるようになります。
この関連性スコアは、引用回数、引用速度、公開日など、他の多くのメタデータと組み合わされて、結果が再ランク付けされ、考えられる上位20件までの結果が生成されます。Consensusソフトウェアは、OpenAIのGPT-4モデルを上位10件の結果に適用し、上位の研究の要約を1文にまとめます。
ELSERの初期ユーザーとして、ConsensusチームはElasticと緊密に協力しました。「実際に稼働させてみると、本当に期待以上でした。それまでに試した他のベクトル検索テストのすべてを圧倒的に凌駕しました」とヴァラーノ氏は言います。
また、チームメンバーたちは、Elasticの辞書機能、フレーズの完全一致、キーワード検索など、すぐに使える機能の重要性も強調しています。フィルタリング、用語の除外、ファジーマッチングも重要な役割を果たしました。
「そのまま使える機能がElasticにたくさん備わっていることに驚きました。ユーザーエクスペリエンスを向上させるツールや機能が豊富なので、わざわざ私たちが構築する必要がないほどです。」
ELSERとElasticは、ChatGPTが生成する要約のベースとなるElasticの検索結果を形作る、Consensusの検索拡張生成（RAG）ワークフローの基盤もサポートしています。「ElasticとELSERのおかげで、私たちは検索の品質に大きな自信を持っており、要約を生成するときにAIレイヤーが錯覚を起こすリスクもほぼありません」とサーレム氏は言います。
Consensusは当初、Google Cloud上でホストされる基盤インフラとアプリケーションに適しているとしてElasticを選択しました。「Elasticを採用した理由の1つは、Google Cloudと簡単に統合できるからです。どちらも細かな設定が可能なため、インフラを完全にコントロールできていると感じています」とサーレム氏。
Consensusは、人工知能の最新の進歩を利用して科学的インサイトを一般の人々に開放するものです。学生にとっての優れた研究Webサイトであると同時に、適切な情報源に基づいた査読済みの情報を、酒席での議論や家庭向けのテキストにも提供できるプラットフォームとなります。
より速く、よりスマートな検索
ELSERを搭載したConsensus 2.0のリリースにより、エンドユーザーは、論文から抽出された質問固有の情報と、AIが生成した上位結果の要約により、検索の関連性が大幅に向上していることを実感しました。検索も高速化され、平均4秒近くかかっていたセマンティック検索は、新バージョンでは1秒未満に短縮されました。「Elasticは私たちの業界において大きな差別化要因となっています。他人のデータの上に薄いAIラッパーを載せているのではなく、検索エンジンを所有し、その上にAI機能を追加しているのですから」とサーレム氏は語ります。
数字がそれを物語っています。リリース以来、Consensusのユーザーにとって有益な結果を生成するクエリの数は30%増加しています。サーレム氏はまた、より柔軟なクエリを使用できることを喜ぶユーザーからの好意的なフィードバックも得ています。「ユーザーは論文と完全に同じ用語を使う必要はありません。同義語や口語を使用した場合も、関連する結果が返されます」とサーレム氏。
小さなチームへの大きなサポート
当初8人ほどでスタートしたチームにとって、Elasticのサポートは必要不可欠なものでした。サーレム氏はこう言います。「Elasticのアカウントエグゼクティブは、プロジェクトのためにエンジニアやエキスパートを招集してくれました。双方とも、これを最新のAIテクノロジーを使用して新しい検索エンジンを構築するチャンスだと考えたのです。」
「Elasticには私たちのスタートアップチームよりも大きなクライアントがたくさんいるはずですが、そんなふうに感じさせません。私たちのプロジェクトはElasticのチームにとって本当に優先度の高いものだと感じましたが、他のベンダーについては必ずしもそうではありません。」
将来へ向けたAIロードマップ
まだ始まったばかりですが、サーレム氏をはじめとするConsensusチームは、今後のElastic AIのリリース、特に将来的にELSERと組み合わせることができるベクトル検索機能を心待ちにしています。「ElasticはAIとLLMを活用した検索機能の構築を全力で進めています。Elasticのおかげで私たちは技術的に可能なことの最前線に立つことができるので、素晴らしいパートナーです」とサーレム氏は言います。
また、Elasticにより、Consensusは競争の激しいAI検索分野で優位性を維持することができます。サーレム氏は現在、学術研究の枠を超え、質の高いデータセットや専門家の知識を、学術専門誌の外にまで広げたいと考えています。「私たちは、ソースから正確で精密な情報を直接得ることが、これまでになく必要とされる世界に生きています。私たちがこのニーズを満たすために検索サービスの幅を広げていくうえで、Elasticは非常に重要なパートナーです」とサーレム氏は言います。
