可用于生产的十亿级向量数据库 — Elasticsearch

Elasticsearch 的开源向量数据库为创建、存储和搜索向量嵌入提供了一种高效的方法。

将文本搜索和向量搜索结合起来进行混合检索，实现两种功能的强强联合，从而提高相关性和准确性。

立即试用 Elasticsearch

了解使 Elasticsearch 和 Lucene 成为向量数据库首选的最新创新技术。

阅读博文

学习如何将 Elasticsearch 用作嵌入的向量数据库，支持搜索，并构建检索增强生成 (RAG)、摘要和问答等用例。

在 Search Labs 上了解更多信息

Elastic 率先提供更好的二进制量化 (BBQ)，这是一种针对向量数据库的优化方法，可实现更快、更准确的向量搜索，并减少 95% 的内存。

深入了解 BBQ

Elasticsearch - 部署最广泛的向量数据库

在两分钟内复制到本地试用

curl -fsSL https://elastic.co/start-local | sh

阅读文档

或

生产环境部署

开始免费云服务试用

或, 下载本地部署

向量数据库是您的起点……

要获得出色的搜索体验，您需要的不仅仅是向量数据库。Elasticsearch 提供多种检索类型、灵活的机器学习模型以及聚合、筛选和自动完成等高级搜索功能。

在云、无服务器、本地部署或受隔离网闸保护环境中运行。

阅读 Elasticsearch Relevance Engine 文档

创建推理终端

使用机器学习模型，并在数据摄取时将其应用于数据。

了解有关推理 API 和 E5 模型的更多信息。

PUT _inference/text_embedding/my-e5-endpoint
{
  "service": "elasticsearch",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1,
		"model_id": ".multilingual-e5-small"
  }
}

生成嵌入
通过将数据转换为密集向量中的数据，捕获数据的含义、上下文和关联。创建嵌入博文
POST _inference/my-e5-endpoint { "input": "How many adult mallard ducks fit in an american football field?" }

索引嵌入

Elasticsearch 的向量存储基于 Lucene 的 HNSW 算法，该算法超过了比较基准（参见“luceneknn”）。

我们的向量搜索方法

PUT my-index
{
  "mappings": {
    "properties": {
      "my_vector": {
        "type": "dense_vector"
      },
      "my_text" : {
        "type" : "text"
      },
      "category": {
        "type": "text"
      }
    }
  }
}



# Index a document
PUT my-index/_doc/2
{
  "my_vector" : [
        0.018743202,
        -0.011059246,
   …
        0.05155631,
        0.04044561
      ],
  "my_text" :"57,000 average sized mallard ducks fit on an American football field",
"category" : "weird_stats"
}

搜索嵌入

运行 kNN 搜索以满足您的用例需求 — 使用 Lucene 的 HNSW 索引或精确匹配，应用 ANN 算法来提高速度和规模。

探索 ANN 和 KNN。


GET /my-index/_search
{
  "retriever": {
    "knn": { 
      "field": "my_vector", 
      "query_vector_builder":{
      "text_embedding": {
        "model_id": "my-e5-endpoint",
        "model_text": "How many adult mallard ducks fit in an american football field??"
      }
    }, 
      "k": 10, 
      "num_candidates": 10 
    }
  }
}

使用筛选器和分面搜索来细化搜索

依靠 Elasticsearch 丰富的筛选和分面功能框架进行向量搜索，构建直观的最终用户应用程序。

了解 kNN 筛选

进一步了解分面搜索

GET /my-index/_search
{
  "retriever": {
    "knn": {
      "field": "my_vector",
      "query_vector_builder":{
      "text_embedding": {
        "model_id": "my-e5-endpoint",
        "model_text": "How many adult mallard ducks fit in an american football field??"
      }
    }, 
      "k": 10,
      "num_candidates": 10,
      "filter": [
        {
          "term": {
            "category": "weird_stats"
          }
        }
      ]
    }
  }
}

将检索方法与混合搜索相结合

使用混合检索，您可以从检索方法中选择最适合您用例的方法：BM25、Elastic 经过训练的稀疏编码器模型(ELSER) 或密集向量。

观看有关混合搜索的视频


GET /my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "bool": {
                "filter": [
                  {
                    "term": {
                      "category": "weird_stats"
                    }
                  }
                ]
              }
            }
          }
        },
        {
          "knn": {
            "field": "vector",
            "query_vector_builder": {
              "text_embedding": {
                "model_id": "my-e5-endpoint",
                "model_text": "How many adult mallard ducks fit in an american football field??"
              }
            },
            "k": 10,
            "num_candidates": 10
          }
        }
      ],
      "rank_constant": 1,
      "rank_window_size": 50
    }
  }
}

应用文档级安全性及合规性授权

分配具有文档和字段级安全性的细粒度基于角色的访问控制，并涵盖广泛采用的合规性框架。

设置授权

设置合规性

POST /_security/role/employee_role {
  "indices": [
    {
      "names": [ "example-index" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "state", "name.first", "name.last" ]
      }
    }
  ]
}


GET example-index/_search {
  "query": {...},
  "knn" = {...},
  "aggs": {...}
}

PUT _inference/text_embedding/my-e5-endpoint
{
  "service": "elasticsearch",
  "service_settings": {
    "num_allocations": 1,
    "num_threads": 1,
		"model_id": ".multilingual-e5-small"
  }
}