Présentation d'Elasticsearch Relevance Engine™ – La recherche avancée révolutionnée par l'IA

Aujourd'hui, nous lançons Elasticsearch Relevance Engine™ (ESRE™), un ensemble de nouvelles fonctionnalités permettant de créer des applications de recherche basée sur l'IA extrêmement pertinentes. ESRE est l'aboutissement de plus de deux ans dans la recherche et le développement du Machine Learning et met à profit l'expertise d'Elastic en la matière. Elasticsearch Relevance Engine associe le meilleur de l'IA avec la recherche textuelle d'Elastic. ESRE donne aux développeurs une suite complète d'algorithmes de récupération sophistiqués et la capacité à intégrer de grands modèles de langage. Et même mieux, cette suite est accessible à l'aide d'une API simple et unifiée à laquelle la communauté Elastic fait déjà confiance. Les développeurs du monde entier peuvent commencer à l'utiliser immédiatement pour améliorer la pertinence de la recherche.

Comment ? Grâce aux fonctionnalités configurables d'Elasticsearch Relevance Engine. Voici comment celles-ci renforcent la pertinence :

• en appliquant des fonctionnalités avancées de classement selon la pertinence, notamment BM25f, une composante fondamentale de la recherche hybride ;
• en créant, en stockant et en interrogeant des plongements denses avec la base de données vectorielle d'Elastic ;
• en traitant le texte à l'aide d'un vaste éventail de tâches et de modèles de traitement du langage naturel (NLP) ;
• en permettant aux développeurs de gérer et d'utiliser leurs propres modèles de transformateur dans Elastic pour un contexte métier spécifique ;
• en intégrant des modèles de transformateur tiers comme GPT-3 et 4 d'OpenAI via une API pour récupérer une synthèse intuitive de contenus basés sur les datastores des clients consolidés au sein des déploiements d'Elasticsearch ;
• en favorisant une recherche adossée au ML sans entraînement ou en gérant un modèle à l'aide du modèle prêt à l'emploi Elastic Learned Sparse Encoder pour fournir une recherche sémantique extrêmement pertinente sur une variété de domaines ;
• en combinant facilement une récupération simple et complexe avec la fusion des rangs réciproques (RRF), une méthode de classement hybride qui donne le contrôle aux développeurs afin qu'ils puissent optimiser leur moteur de recherche basée sur l'IA en combinant des questions en langage naturel et des requêtes par mots clés ;
• en intégrant des outils tiers comme LangChain pour établir des pipelines de données sophistiqués et des applications d'IA générative.

La recherche doit son évolution à un besoin constant d'améliorer la pertinence et la façon dont nous interagissons avec les applications de recherche. Des résultats de recherche dont la pertinence est très élevée peuvent favoriser une plus grande implication des utilisateurs sur les applications de recherche et, de là, augmenter les revenus et la productivité. Dans le nouveau monde des grands modèles de langage et de l'IA générative, la recherche peut aller encore plus loin en comprenant l'intention de l'utilisateur et en lui fournissant un niveau de précision jamais vu jusque-là dans les réponses.

Plus particulièrement, chaque avancée en matière de recherche vient renforcer la pertinence tout en gérant les nouveaux défis posés par les technologies émergentes et les changements de comportement des utilisateurs. Qu'il s'agisse de prolonger la recherche par mots clés pour proposer une recherche sémantique ou d'activer de nouvelles modalités de recherche pour la vidéo et les images, les nouvelles technologies nécessitent des outils uniques pour offrir aux utilisateurs de meilleures expériences de recherche. De façon similaire, le monde actuel de l'intelligence artificielle nécessite un nouvel ensemble d'outils pour développeurs qui soit extrêmement scalable et qui soit adossé à une pile technologique avec des fonctionnalités éprouvées, testées par le client.

Face à la dynamique de l'IA générative et à l'adoption croissante de technologies telles que ChatGPT, ainsi qu'à une meilleure connaissance des capacités des grands modèles de langage, les développeurs ne veulent qu'une chose : se servir des technologies pour faire des expérimentations visant à améliorer leurs applications. Elasticsearch Relevance Engine fait son entrée dans une nouvelle ère de fonctionnalités dans l'univers de l'IA générative et propose aux développeurs des outils puissants qu'ils peuvent utiliser directement.

Elasticsearch Relevance Engine est disponible dès maintenant sur Elastic Cloud, la seule offre Elasticsearch hébergée qui propose toutes les nouvelles fonctionnalités de cette dernière version. Si vous préférez une expérience autogérée, vous pouvez aussi télécharger la Suite Elastic et nos produits d’orchestration du cloud, Elastic Cloud Enterprise et Elastic Cloud pour Kubernetes.

Elasticsearch Relevance Engine™ occupe une position privilégiée pour aider les développeurs à évoluer rapidement et à gérer les défis posés par la recherche en langage naturel, notamment l'IA générative.

1. Connaissance des données/du contexte de l'entreprise : le modèle peut ne pas avoir de connaissances internes suffisantes et pertinentes sur un domaine particulier. Ce manque est lié à l'ensemble de données sur lequel le modèle est entraîné. Pour que les données et les contenus générés par les grands modèles de langage soient adaptés, les entreprises ont besoin d'un moyen d'alimenter les modèles en données propriétaires, afin qu'ils puissent leur fournir des informations plus pertinentes.
2. Une pertinence exceptionnelle : avec Elasticsearch Relevance Engine, l'intégration de données à partir de sources privées est très simple, aussi simple que de générer et de stocker des plongements vectoriels pour récupérer du contexte à l'aide de la recherche sémantique. Les plongements vectoriels sont des représentations numériques de mots, de phrases ou de documents qui aident les grands modèles de langage à comprendre le sens des mots et leur relation. Ces plongements améliorent les sorties des modèles de transformateur avec rapidité et à grande échelle. ESRE permet également aux développeurs d'utiliser leurs propres modèles de transformateur dans Elastic ou d'intégrer des modèles tiers.
   
   Et ce, sans qu'il soit nécessaire de suivre une formation ou d'affiner les ensembles de données tiers, grâce à l'émergence des modèles à interaction tardive. Les équipes de développement n'ont pas toutes les ressources ou l'expertise nécessaires pour entraîner et gérer les modèles de Machine Learning. Elles ne savent pas forcément comment équilibrer échelle, performances et vitesse. C'est pourquoi Elasticsearch Relevance Engine inclut également un modèle de récupération conçu pour la recherche sémantique sur différents domaines. Son nom ? Elastic Learned Sparse Encoder. Ce modèle apparie les plongements avec une recherche BM25 traditionnelle par mots clés, ce, afin d'utiliser facilement l'outil de fusion des ranges réciproques (RRF) afin d'effectuer une recherche hybride. ESRE offre aux développeurs une pertinence optimisée par le Machine Learning et des techniques de recherche hybride, et ce dès le premier jour.
3. Confidentialité et sécurité : la confidentialité des données joue un rôle central dans la façon dont les entreprises utilisent et transmettent des données propriétaires en toute sécurité sur un réseau et entre les composants, même lors de la création d'expériences de recherche innovantes.
   
   Elastic inclut une prise en charge native pour le contrôle d'accès basé sur les rôles et les attributs pour garantir que seules les personnes dont le rôle permet d'accéder à des données peuvent consulter ces données, y compris pour le chat et les applications de réponse aux questions. Si votre entreprise a besoin de garder certains documents à la portée de personnes autorisées, Elastic peut l'aider à maintenir une confidentialité universelle et des contrôles d'accès sur l'ensemble de vos applications de recherche.
   
   Lorsque la confidentialité est une préoccupation majeure, il est impératif que vous puissiez conserver l'ensemble de vos données sur le réseau de votre entreprise. Depuis la mise en œuvre de déploiements dans des environnements air gap jusqu'à la prise en charge d'un accès à des réseaux sécurisés, ESRE vous fournit les outils dont vous avez besoin pour aider votre organisation à garantir la sécurité de ses données.
4. Dimensions et coûts : l'utilisation de grands modèles de langage peut être prohibitif pour bon nombre d'entreprises en raison des volumes de données, ainsi que de la puissance de calcul et de la mémoire nécessaires. Néanmoins, les entreprises qui souhaitent concevoir leurs propres applications d'IA générative, par exemple des chatbots, doivent utiliser de grands modèles de langage avec leurs données.
   
   Avec Elasticsearch Relevance Engine, les entreprises disposent d'un moteur qui offre de la pertinence de manière efficace grâce à des fenêtres contextuelles qui réduisent l'encombrement des données sans effort, ni frais.
5. Obsolescence : le modèle est gelé dans le temps au moment où les données d'entraînement sont collectées. Aussi, les contenus et les données que les modèles d'IA générative créent ont le même degré d'exactitude que celui des données à partir desquelles les modèles ont été entraînés. Il est essentiel d'intégrer régulièrement des données d'entreprise pour pouvoir obtenir des résultats opportuns à partir des grands modèles de langue.
6. Hallucinations : lorsque vous répondez à des questions ou que vous conversez avec le modèle, celui-ci peut inventer des faits qui peuvent sembler fiables et convaincants. Il s'agit en fait de projections qui ne sont pas factuelles. Voilà une autre raison qui témoigne de l'importance d'apporter des connaissances contextuelles et personnalisées aux grands modèles de langage pour que les modèles d'IA soient pleinement exploitables par les entreprises.
   
   Dans Elasticsearch Relevance Engine, les développeurs peuvent établir une liaison avec leurs propres datastores grâce à une fenêtre contextuelle dans les modèles d'IA générative. Les résultats de recherche ajoutés peuvent fournir des informations à jour provenant d'une source privée ou d'un domaine spécialisé. De là, ils peuvent renvoyer des informations plus factuelles lorsqu'on les y invite, plutôt que de s'appuyer uniquement sur les connaissances soi-disant "paramétriques" d'un modèle.