Definição

O que é a busca vetorial?

A busca vetorial aproveita o machine learning (ML) para capturar o significado e o contexto de dados não estruturados, incluindo texto e imagens, transformando-os em uma representação numérica. Frequentemente usada para busca semântica, a busca vetorial encontra dados semelhantes usando algoritmos de vizinho mais próximo aproximado (ANN). Em comparação com a busca tradicional por palavra-chave, a busca vetorial produz resultados mais relevantes e é executada mais rapidamente.

Por que os líderes de TI precisam de busca vetorial
Video thumbnail

Por que a busca vetorial é importante?

Quantas vezes você já procurou algo, mas não tinha certeza de como se chamava? Você pode saber o que a coisa faz ou ter uma descrição. Mas sem as palavras-chave, só lhe resta ficar procurando.

A busca vetorial supera essa limitação, permitindo que você faça buscas pelo que quer dizer. Ela pode fornecer respostas a consultas rapidamente com base na busca por similaridade. Isso acontece por que o embedding vetorial captura os dados não estruturados que vão além do texto: vídeos, imagens, áudio. Ela pode fornecer respostas a consultas rapidamente com base no contexto. Isso ocorre porque os embeddings vetoriais capturam sinônimos e associações — essencialmente, o significado por trás da sua busca. Você pode aprimorar a experiência de busca combinando a busca vetorial com filtragem e agregações para otimizar a relevância, implementando uma busca híbrida e combinando-a com a pontuação tradicional.

Video thumbnail

Como funciona um mecanismo de busca vetorial?

Mecanismos de busca vetorial — conhecidos como busca de bancos de dados vetoriais, busca semântica ou busca de cosseno — localizam os vizinhos mais próximos de uma determinada consulta (vetorizada).

Onde a busca tradicional depende de menções de palavras-chave, similaridade lexical e frequência de ocorrências de palavras, os mecanismos de busca vetorial usam distâncias no espaço de embedding para representar a similaridade. Encontrar dados relacionados torna-se uma busca pelos vizinhos mais próximos da sua consulta.

  • Embedding vetorial

    Os embeddings vetoriais são representações numéricas de dados e contexto relacionado, armazenadas em vetores de alta dimensão (densos). Os modelos que geram embeddings podem ser treinados com milhões de exemplos para entregar resultados mais relevantes e precisos. Em alguns casos, os dados numéricos coletados ou projetados para representar os principais recursos dos seus documentos podem ser usados como embeddings. Tudo o que você precisa é da capacidade de fazer uma busca eficiente.

  • Pontuação de similaridade

    No centro de um mecanismo de busca vetorial está a ideia de que, se os dados e documentos forem parecidos, seus vetores serão semelhantes. Ao indexar consultas e documentos com embeddings vetoriais, você encontra documentos semelhantes como os vizinhos mais próximos da sua consulta.

  • Algoritmo ANN

    Os algoritmos de vizinho mais próximo tradicionais, como o algoritmo de k-ésimo vizinho mais próximo (kNN), demoram muito na execução e esgotam os recursos computacionais. O ANN sacrifica a precisão perfeita em troca da execução eficiente em espaços de embedding de alta dimensão, em escala.

Casos de uso de busca vetorial

A busca vetorial não apenas alimenta a próxima geração de experiências de busca, mas também abre as portas para uma gama de novas possibilidades.

  • Busca semântica

    Com a busca vetorial, é possível fazer busca semântica ou por similaridade. Como o significado e o contexto são capturados no embedding, a busca vetorial encontra o que os usuários querem dizer, sem exigir uma correspondência exata de palavra-chave. Ela trabalha com dados textuais (documentos), imagens e áudio. Encontre com facilidade e rapidez produtos semelhantes ou relacionados à consulta.

  • Recomendações

    O modelo que gera o embedding aprende a reconhecer documentos semelhantes e seus vetores no espaço de embedding. Por exemplo, uma aplicação pode recomendar filmes ou produtos que outras pessoas que compraram o que você comprou também gostaram. Mas certifique-se de que os embeddings sejam derivados com alguma medida de popularidade ou simpatia como métrica de destino.

    As distâncias vetoriais podem ser combinadas com outras métricas para que as recomendações alcancem vários objetivos. Por exemplo, classifique as recomendações de produtos por pontuação de satisfação e potencial de receita.

  • Resposta a perguntas

    A conversão de documentos em embeddings de texto pode ser combinada com o processamento de linguagem natural (PLN) moderno para fornecer respostas de texto completo às perguntas. Essa abordagem libera os usuários de ter de estudar manuais longos e capacita suas equipes a fornecer respostas mais rapidamente.

    Um modelo transformador de “resposta a pergunta” pode usar a representação de embedding de texto para a base de conhecimento de documentos e sua pergunta atual para fornecer a correspondência mais próxima como uma “resposta”.

Mais coisas que você pode fazer com a busca vetorial

Não pare apenas na busca semântica!

  • Faça buscas em dados não estruturados de qualquer tipo. Você pode criar embeddings para texto, imagens, áudio ou medições de sensor.

  • Filtrar com metadados

    Filtre os resultados da busca vetorial usando metadados. Mantenha o recall sem sacrificar a velocidade aplicando um filtro de acordo com a busca do vizinho mais próximo aproximado (ANN).

  • Reclassificar os resultados da busca

    As similaridades vetoriais podem ser interpretadas como pontuações de similaridade que você pode reclassificar com outros dados. Isso inclui campos estáticos já em seu banco de dados de busca vetorial e novas propriedades aplicando modelos de machine learning.

  • Pontuação híbrida

    Para otimizar ainda mais, combine similaridades vetoriais com pontuações BM25F, conhecidas como pontuação híbrida. Isso permite que você tenha imagens classificadas por similaridade vetorial enquanto implementa o BM25F, o que pode fornecer melhores classificações para texto.

Como começar

Busca vetorial e PLN facilitadas com a Elastic

Você não precisa mover montanhas para implementar a busca vetorial e aplicar modelos de PLN. Com o Elasticsearch Relevance Engine™ (ESRE), você obtém um kit de ferramentas para criar aplicações de busca com IA que podem ser usados com IA generativa e grandes modelos de linguagem (LLMs).

Com o ESRE, você pode criar aplicações de busca inovadoras, gerar embeddings, armazenar e buscar vetores, e implementar a busca semântica com o Learned Sparse Encoder da Elastic. Saiba mais sobre como usar o Elasticsearch como seu banco de dados vetorial.

Video thumbnail

  • Busca semântica pronta para uso

    O Elastic Learned Sparse Encoder oferece busca semântica altamente relevante pronta para uso, sem adaptação de domínio. Está disponível com um clique ao configurar sua aplicação de busca. O modelo expande as consultas com palavras-chave relacionadas e pontuações de relevância, que ele aprendeu durante o processo de treinamento, para que você não precise configurar sinônimos.Além disso, diferentemente dos embeddings vetoriais densos, são facilmente interpretáveis.

  • Grandes modelos de linguagem

    Forneça aos LLMs informações específicas de negócios usando seus dados privados (não apenas dados treinados publicamente). Use o Elasticsearch e acesse a IA generativa com APIs e plugins integrados ao LLM de sua escolha.

  • Embedding de texto e muito mais

    Saiba como atribuir sentimentos e outras categorias aos seus dados com o Elastic. Aplique o reconhecimento de entidade nomeada (NER) para melhorar as experiências de busca com metadados adicionais.

Envolva-se conosco na busca vetorial e no PLN

Fique a par de tudo relacionado à IA.

Explore a IA generativa