Consensus met à niveau sa plateforme de recherche académique avec la recherche sémantique et des outils d'IA de pointe d'Elastic

Lancé en 2022, Consensus est un moteur de recherche avant-gardiste qui s'appuie sur l'intelligence artificielle (IA) avancée et les grands modèles de langage (LLM) pour agréger et communiquer des informations issues de quelque 200 millions d'articles scientifiques évalués par des pairs venant de la base de données Semantic Scholar. Consensus prend en charge tous les domaines scientifiques. C'est donc lui que les chercheurs privilégient lorsqu'ils veulent faire des recherches, et ce, quel que soit le domaine dans lequel ils évoluent, qu'il s'agisse de la médecine, de l'anthropologie, de la psychologie ou encore de la climatologie.

À son lancement, le moteur se servait d'un pipeline d'inférence basé sur un grand nombre de solutions, parmi lesquelles Elastic Search avec ses paramètres par défaut. "À cette époque, nous faisions partie des quelques rares entreprises de notre domaine à utiliser des LLM et des fonctionnalités de synthèse par IA sur un moteur de recherche", indique Christian Salem, directeur des produits chez Consensus.

Mais lorsqu'on parle d'intelligence artificielle, il peut se passer beaucoup de choses en une année. Des entreprises de plus en plus nombreuses ont commencé à s'intéresser à la recherche adossée à l'IA. Sur cette place de marché bondée, difficile de se démarquer. Pour surpasser la concurrence, Consensus a recruté des ingénieurs experts dans les moteurs de recherche et l'IA, afin qu'ils améliorent la pertinence de la recherche et l'expérience des utilisateurs finaux. Chris Varano, ingénieur en chef de la recherche chez Consensus, compte près de dix ans d'expérience chez Amazon Search et Google, qu'il a mis à profit pour conduire le projet ELSER du début à la fin.

Au tout départ, son équipe et lui pensaient qu'il serait possible d'adapter une plateforme de recherche vectorielle pour obtenir de meilleures performances de recherche. Mais il s'est vite avéré qu'ils ne disposeraient pas du soutien en production nécessaire pour gérer des millions d'utilisateurs et qu'il manquerait des fonctionnalités lexicales utiles à cette plateforme. "Nous aurions pu développer ces fonctionnalités en interne", déclare Chris Varano. "Mais pour une petite équipe comme la nôtre évoluant dans un marché aussi rapide, ç'aurait été une option trop coûteuse et trop chronophage."

L'équipe de Consensus s'est tournée vers Elastic et sa nouvelle fonctionnalité, appelée ELSER (Elastic Learned Sparse Encoder). Ce modèle de récupération, entraîné par Elastic, permet aux entreprises de réaliser des recherches sémantiques basées sur la signification en contexte et l'intention de l'utilisateur, ainsi que sur les correspondances exactes par mots-clés. "Nous bénéficions de tous les avantages d'une recherche vectorielle adossée à l'IA, tout en conservant les points forts de la recherche traditionnelle par mots-clés", se réjouit Chris Varano.

Avec le lancement de Consensus 2.0 propulsé par ELSER, les utilisateurs bénéficient d'une précision de recherche optimale et de nouvelles fonctionnalités d'IA générative qui fournissent une synthèse des principaux résultats. La plateforme prend la requête de recherche et exécute une combinaison de recherche par mots-clés et de recherche vectorielle sur les résumés et les titres de tous les articles. Consensus obtient ainsi une mesure intelligente de la pertinence d'un document par rapport à la requête de l'utilisateur.

Ce score de pertinence est ensuite associé à de nombreux autres éléments de métadonnées, par exemple le nombre de fois où un article est cité, la moyenne pondérée du nombre de citations et la date de publication dudit article. Ces éléments permettent d'affiner le classement des résultats pour en faire ressortir les 20 premiers. La plateforme Consensus exécute ensuite le modèle GPT-4 d'OpenAI sur les dix premiers résultats pour générer une synthèse en une phrase des principales études.

Étant donné que l'équipe de Consensus a été l'une des premières à utiliser ELSER, elle a travaillé en étroite collaboration avec Elastic. "Lorsque nous avons réussi à faire fonctionner ce modèle, celui-ci a dépassé toutes nos attentes. Il a balayé tous les autres tests de recherche vectorielle que nous avions effectués", indique Chris Varano.

L'équipe souligne aussi le rôle important qu'a joué la fonctionnalité prête à l'emploi d'Elastic, qui comprend des fonctionnalités lexicales, la correspondance à une expression exacte et la recherche par mots-clés de façon générale. Le filtrage, l'exclusion de termes et la correspondance approximative ont également été très utiles.

ELSER et Elastic apportent aussi un support sous-jacent au workflow de génération augmentée de récupération (RAG), dans lequel les résultats de recherche d'Elastic forment le socle des synthèses générées par ChatGPT. "Avec Elastic et ELSER, nous avons une grande confiance dans la qualité de la recherche. Il y a donc peu, voire pas, de risque que notre couche d'IA hallucine lorsqu'elle génère des synthèses", indique Christian Salem.

Si Consensus a également sélectionné Elastic, c'est parce que les solutions qu'elle propose s'adaptent parfaitement à son infrastructure et à ses applications sous-jacentes, qui sont hébergées sur Google Cloud. "L'une des raisons pour lesquelles nous avons opté pour Elastic, c'est parce que ces solutions s'intègrent facilement à Google Cloud. Pour l'une comme pour l'autre, c'est un jeu d'enfants de les configurer, et nous avons le sentiment d'exercer un contrôle total sur notre architecture", déclare Christian Salem.

Avec le lancement de Consensus 2.0 propulsé par ELSER, les utilisateurs ont constaté une amélioration significative au niveau de la pertinence de la recherche, grâce à l'extraction d'informations sur le sujet interrogé et à des synthèses générées par IA sur les principaux résultats. La recherche est également plus rapide : elle est passée en moyenne de près de quatre secondes à moins d'une seconde. "Elastic change véritablement la donne dans notre domaine. Et nous ne restons pas inactifs : nous disposons de notre propre moteur de recherche, auquel nous ajoutons des fonctionnalités d'IA", déclare Christian Salem.

Les chiffres parlent d'eux-mêmes. Depuis son lancement, Consensus a vu le nombre de requêtes renvoyant des résultats utiles augmenter de 30 %. D'ailleurs, Christian Salem a reçu des retours positifs de la part des utilisateurs : ceux-ci apprécient la flexibilité que leur offrent les requêtes. "Ils n'ont pas besoin d'employer exactement le même terme que dans un article. Les synonymes et les termes familiers renvoient aussi des résultats pertinents", indique-t-il.

Consensus étant une toute nouvelle start-up comptant huit personnes, le support d'Elastic était essentiel pour elle. "Notre directrice de compte Elastic a mobilisé ses ingénieurs et ses experts sur le projet", explique Christian Salem. "Les deux parties ont vu ce projet comme une opportunité de créer un nouveau type de moteur de recherche avec les dernières technologies en matière d'IA."

Même si Consensus n'en est qu'à ses débuts, Christian Salem et son équipe ont hâte d'utiliser les futures technologies IA d'Elastic, en particulier les fonctionnalités de recherche vectorielle qui pourront être combinées à ELSER. "Elastic avance à grands pas en ce qui concerne la recherche adossée à l'IA et aux LLM. C'est un super partenaire qui nous place à l'avant-garde de ce qu'il est possible de faire avec la technologie", déclare Christian Salem.

Grâce à Elastic, Consensus peut aussi maintenir un avantage concurrentiel dans le domaine très prisé de la recherche adossée à l'IA. Aujourd'hui, l'objectif de Christian Salem est d'aller au-delà de la recherche académique et d'inclure des ensembles de données de haute qualité et des connaissances d'experts en dehors des revues évaluées par des pairs. "Nous vivons dans un monde où il est devenu essentiel d'obtenir des informations précises directement à la source. Elastic est un partenaire stratégique sur qui nous pouvons compter pour étendre notre offre de recherche afin de combler cette nécessité", indique Christian Salem.