AI 혁신을 위한 고급 검색, Elasticsearch Relevance Engine™ 소개

blog-720x420_(1).png

오늘은 매우 정확한 AI 검색 애플리케이션을 만들기 위한 새로운 기능인 Elasticsearch Relevance Engine(ESRE)을 소개하겠습니다. ESRE는 검색 분야를 선도하는 Elastic의 리더십과 2년에 걸친 머신 러닝 연구 및 개발을 기반으로 구축되었습니다. Elasticsearch Relevance Engine은 AI의 장점과 Elastic의 텍스트 검색을 결합합니다. ESRE는 개발자들에게 정교한 검색 알고리즘의 전체 제품군과 대규모 언어 모델(LLM)과 통합할 수 있는 기능을 제공합니다. 더 좋은 점은 Elastic 커뮤니티에서 이미 신뢰하고 있는 간단한 통합 API를 통해 액세스할 수 있기 때문에 전 세계 개발자들이 즉시 이를 사용하여 검색 정확도를 높일 수 있다는 것입니다.

Video thumbnail

Elasticsearch Relevance Engine의 구성 가능한 기능은 다음과 같은 방법으로 정확도를 개선하는 데 도움이 될 수 있습니다.

  • 하이브리드 검색의 중요한 구성 요소인 BM25f 등 고급 정확도 순위 지정 기능 적용
  • Elastic의 벡터 데이터베이스를 사용하여 밀집 임베딩 생성, 저장 및 검색
  • 다양한 자연어 처리(NLP) 작업 및 모델을 사용하여 텍스트 처리
  • 개발자가 비즈니스 관련 컨텍스트에 맞게 Elastic에서 자체 트랜스포머 모델을 관리 및 사용하도록 허용
  • API를 통해 OpenAI의 GPT-3 및 4와 같은 서드파티 트랜스포머 모델과 통합하여 Elasticsearch 배포 내에 통합된 고객의 데이터 저장소를 기반으로 콘텐츠의 직관적인 요약을 검색
  • Elastic의 즉시 사용 가능한 Learned Sparse Encoder 모델을 사용하여 모델을 훈련하거나 유지관리하지 않고 ML 지원 검색을 활성화하여 다양한 도메인에 걸쳐 매우 정확한 시맨틱 검색 제공
  • 개발자가 AI 검색 엔진을 자연어 및 키워드 쿼리 유형의 고유한 조합에 최적화하도록 제어할 수 있는 하이브리드 순위 지정 방법인 상호 순위 결합(RRF)을 사용하여 희소 검색과 밀접 검색을 손쉽게 결합
  • LangChain과 같은 서드파티 도구와 통합하여 정교한 데이터 파이프라인 및 생성형 AI 애플리케이션 구축 지원

검색의 진화는 정확도를 개선하고 검색 애플리케이션과 상호 작용하는 방식을 개선해야 하는 지속적인 필요성에 의해 주도되어 왔습니다. 매우 정확한 검색 결과는 검색 앱에 대한 사용자 참여를 높이고 수익과 생산성 모두에 상당한 다운스트림 영향을 미칠 수 있습니다. LLM 및 생성형 AI의 새로운 세계에서 검색은 한 단계 더 나아갈 수 있습니다. 즉, 사용자의 의도를 이해하여 이전에는 볼 수 없었던 구체적인 응답을 제공할 수 있습니다.

특히, 모든 검색의 발전은 새로운 기술과 변화하는 사용자 행동으로 인해 제기된 새로운 문제를 해결하는 동시에 더 나은 정확도를 제공합니다. 시맨틱 검색을 제공하기 위해 키워드 검색을 확장하든 비디오 및 이미지에 대한 새로운 검색 양식을 활성화하든, 새로운 기술에는 검색 사용자에게 더 나은 경험을 제공하기 위한 고유한 도구가 필요합니다. 마찬가지로 오늘날의 인공 지능 세계에서는 고객이 테스트한 검증된 기능을 갖춘 기술 스택에 구축된 확장성이 뛰어난 새로운 개발자 툴킷이 필요합니다.

생성형 AI의 추진력과 더불어 ChatGPT와 같은 기술 채택이 증가하고, 대규모 언어 모델 기능에 대한 인식이 높아지면서 개발자는 애플리케이션을 개선할 수 있는 기술을 실험하고 싶어 합니다. Elasticsearch Relevance Engine은 생성형 AI 세계에서 새로운 기능의 시대를 열었으며 모든 개발자 팀이 즉시 사용할 수 있는 강력한 도구를 제공합니다.

Elasticsearch Relevance Engine은 Elastic Cloud에서 지금 제공되고 있습니다. 최신 릴리즈의 모든 새로운 기능들은 유일한 호스트형 Elasticsearch 제품인 Elastic Cloud에서만 이용하실 수 있습니다. 또한 Elastic Stack과 클라우드 오케스트레이션 제품들, Elastic Cloud Enterprise와 Kubernetes의 Elastic Cloud를 다운로드하셔서 자체 관리형 환경을 만드셔도 됩니다.

생성형 AI 모델의 한계 극복

Elasticsearch Relevance Engine™은 개발자가 빠르게 발전하고 생성형 AI를 비롯하여 자연어 검색의 이러한 문제를 해결할 수 있도록 지원합니다.

  1. 엔터프라이즈 데이터/컨텍스트 인식: 모델에 특정 도메인과 관련된 충분한 내부 지식이 없을 수 있습니다. 이는 모델 훈련에 사용된 데이터 세트에 따라 달라집니다. 기업이 LLM에서 생성하는 데이터와 콘텐츠를 맞춤화하기 위해서는 모델이 더 정확하고 비즈니스에 특화된 정보를 배울 수 있도록 모델에 독점 데이터를 제공하는 방법이 필요합니다.
  2. 탁월한 정확도: Elasticsearch Relevance Engine은 시맨틱 검색을 사용하여 컨텍스트를 검색하기 위해 벡터 임베딩을 생성하고 저장하는 것처럼 간단하게 프라이빗 소스의 데이터를 통합합니다. 벡터 임베딩은 단어, 구문 또는 문서의 숫자 표현으로, LLM이 단어의 의미와 해당 관계를 이해하는 데 도움이 됩니다. 이러한 임베딩은 속도와 확장성 측면에서 트랜스포머 모델의 출력을 향상시킵니다. ESRE는 또한 개발자가 자체 트랜스포머 모델을 Elastic으로 가져오거나 서드파티 모델과 통합할 수 있도록 합니다.

    Elastic은 또한 최신 상호 작용 모델의 출현으로 서드파티 데이터 세트에 대한 광범위한 훈련이나 미세 조정 없이도 이를 즉시 제공할 수 있다는 것을 깨달았습니다. 모든 개발 팀이 머신 러닝 모델을 훈련 및 유지관리하거나 확장성, 성능 및 속도에 대한 절충을 이해할 수 있는 리소스나 전문 지식을 보유하고 있는 것은 아니기 때문에 Elasticsearch Relevance Engine에는 다양한 도메인에 걸친 시맨틱 검색을 위해 구축된 검색 모델인 Elastic Learned Sparse Encoder도 포함되어 있습니다. 이 모델은 희소 임베딩을 기존의 키워드 기반 BM25 검색과 결합하여 하이브리드 검색을 위해 사용하기 쉬운 상호 순위 결합(RRF) 점수를 확보합니다. 개발자들은 ESRE를 통해 사용 첫날부터 머신 러닝 지원 정확도 및 하이브리드 검색 기술을 활용할 수 있습니다.
  3. 개인정보 보호 및 보안: 데이터 개인정보 보호는 기업이 네트워크를 통해 그리고 구성 요소 간에 독점 데이터를 사용하고 안전하게 전달하는 방법에서 핵심적인 역할을 합니다. 이는 혁신적인 검색 경험을 구축하는 경우에도 마찬가지입니다.

    Elastic은 역할 기반 및 속성 기반 액세스 제어를 기본적으로 지원하여 채팅 및 질문 답변 애플리케이션에서도 데이터에 대한 액세스 권한이 있는 역할만 데이터를 볼 수 있도록 합니다. Elasticsearch는 권한이 있는 개인만 특정 문서에 액세스할 수 있도록 유지해야 하는 조직의 요구를 지원함으로써 모든 검색 애플리케이션에서 보편적인 개인정보 보호 및 액세스 제어를 유지할 수 있도록 돕습니다.

    개인정보 보호가 최대 관심사인 경우, 모든 데이터를 조직의 네트워크 내에 유지하는 것이 매우 중요할 뿐만 아니라 의무 사항이 될 수 있습니다. ESRE는 조직이 에어 갭 환경에서 배포를 구현할 수 있도록 허용하는 것부터 보안 네트워크에 대한 액세스를 지원하는 것까지 조직이 데이터를 안전하게 유지하는 데 필요한 도구를 제공합니다.
  4. 규모와 비용: 데이터 볼륨과 필요한 컴퓨팅 성능 및 메모리는 많은 기업에서 대규모 언어 모델을 사용하지 못하는 장벽이 될 수 있습니다. 그러나 챗봇과 같은 자체 생성형 AI 앱을 구축하려는 기업은 LLM과 프라이빗 데이터를 결합해야 합니다.

    Elasticsearch Relevance Engine은 정밀한 컨텍스트 창으로 정확도를 효율적으로 제공하는 엔진을 기업에 제공하여 번거로움이나 비용 없이 데이터 공간을 줄일 수 있도록 돕습니다.
  5. 오래된 데이터: 모델은 데이터가 수집되는 시점에 고정됩니다. 따라서 생성형 AI 모델이 생성하는 콘텐츠와 데이터는 훈련에 사용된 데이터만큼만 최신입니다. LLM에서 결과를 적시에 도출하기 위해서는 기업 데이터 통합이 본질적으로 필요합니다.
  6. 환각: 질문에 답하거나 모델과 대화할 때 모델은 신뢰할 수 있고 설득력 있게 들리는 사실을 만들어 낼 수 있지만 실제로는 사실이 아닌 예측입니다. 이것이 비즈니스 컨텍스트에서 유용한 모델을 만들려면 LLM을 상황에 맞는 맞춤형 지식으로 교육하는 것이 매우 중요한 또 다른 이유입니다.

    Elasticsearch Relevance Engine을 사용하면 개발자가 생성형 AI 모델의 컨텍스트 창을 통해 자체 데이터 저장소에 연결할 수 있습니다. 추가된 검색 결과는 프라이빗 소스 또는 전문 도메인의 최신 정보를 제공할 수 있으므로 질문을 받았을 때 모델의 소위 ‘파라메트릭’ 지식에만 의존할 때 보다 더 사실에 기반한 정보를 반환할 수 있습니다.

벡터 데이터베이스로 강화

Elasticsearch Relevance Engine에는 복원력을 갖춘 프로덕션 등급 벡터 데이터베이스가 내재화되어 있습니다. 이는 개발자에게 풍부한 시맨틱 검색 애플리케이션을 구축할 수 있는 기반을 제공합니다. 개발 팀은 Elastic의 플랫폼에서 밀집 벡터 검색을 사용하여 키워드나 동의어로 제한되지 않는 보다 직관적인 질문 답변을 생성할 수 있습니다. 이미지와 같은 비정형 데이터를 사용하여 멀티 모달 검색을 구축하고, 심지어 사용자 프로필을 모델링하고 일치 항목을 생성하여 제품 및 검색, 구직 또는 중매 애플리케이션에서 검색 결과를 개인에 맞게 제공할 수 있습니다. 이러한 NLP 트랜스포머 모델은 또한 정서 분석, 명명된 엔터티 인식, 텍스트 분류와 같은 머신 러닝 작업을 지원합니다. Elastic의 벡터 데이터베이스를 사용하면 개발자가 실제 프로덕션 애플리케이션을 위해 확장성과 성능이 뛰어난 임베딩을 생성, 저장 및 쿼리할 수 있습니다.

Elasticsearch는 매우 정확한 검색에 탁월한 역량을 발휘합니다. ESRE를 통해 Elasticsearch는 기업의 독점 데이터에 연결된 생성형 AI를 위한 컨텍스트 창을 제공하여 개발자가 매력적이고 더 정확한 검색 경험을 구축할 수 있도록 합니다. 검색 결과는 사용자의 원래 쿼리에 따라 반환되며, 개발자는 해당 데이터를 원하는 언어 모델에 전달하여 컨텍스트가 추가된 답변을 제공할 수 있습니다. Elastic은 비즈니스에 맞춤 설정된 기업의 프라이빗 콘텐츠 저장소의 관련 컨텍스트별 데이터로 질문 답변 및 개인 맞춤 제공 기능을 강화합니다.

모든 개발자에게 탁월한 정확도를 바로 제공

Elasticsearch Relevance Engine의 릴리즈로 Elastic의 독점 검색 모델을 즉시 사용할 수 있게 되었습니다. 이 모델은 다운로드하기 쉽고 Elastic 웹 크롤러, 커넥터, API 등 Elastic의 전체 수집 메커니즘 카탈로그와 연동됩니다. 개발자는 이 모델을 검색 가능한 코퍼스와 함께 즉시 사용할 수 있으며 노트북의 메모리에 들어갈 정도로 작습니다. Elastic의 Learned Sparse Encoder는 기술 자료, 학술 저널, 법적 발견, 특허 데이터베이스와 같은 검색 사용 사례에 대해 도메인 전반에 걸친 시맨틱 검색을 제공하여 모델 적응이나 훈련 없이 매우 정확한 검색 결과를 제공합니다. 

대부분의 실제 테스트는 하이브리드 순위 기술이 가장 정확한 검색 결과 세트를 생성하고 있음을 보여줍니다. 지금까지는 핵심 구성 요소인 RRF를 놓치고 있었습니다.  이제 애플리케이션 검색 요구 사항에 RRF를 포함하고 있으므로 벡터 및 텍스트 검색 기능을 결합할 수 있습니다. 

머신 러닝은 시맨틱 컨텍스트로 검색 결과의 정확도를 높이는 데 앞장서고 있지만, 비용, 복잡성 및 리소스 요구 사항이 너무 많아 개발자가 이를 효과적으로 구현하는 데 어려움을 겪고 있습니다. 개발자가 매우 정확한 AI 지원 검색을 구축하기 위해서는 전문 머신 러닝 또는 데이터 과학 팀의 지원이 필요한 경우가 일반적입니다. 이러한 팀은 적절한 모델을 선택하고, 도메인별 데이터 세트로 훈련하고, 데이터 및 해당 관계의 변경으로 인해 모델이 발전함에 따라 모델을 유지 관리하는 데 상당한 시간을 소비합니다.

Go1이 확장 가능한 시맨틱 검색을 위해 어떻게 Elastic의 벡터 데이터베이스를 사용하는지 알아보세요.

전문 팀의 지원을 받지 못하는 개발자도 시맨틱 검색을 구현할 수 있으며, 다른 대안에 필요한 노력과 전문 지식 없이 처음부터 AI 지원 검색 정확도의 이점을 누릴 수 있습니다. 오늘부터 모든 고객은 더 뛰어난 정확도와 현대적이고 스마트한 검색을 실현하는 데 도움이 되는 빌딩 블록을 갖추게 됩니다.

사용해 보기

이러한 기능과 그 외 다양한 기능에 대해 알아보세요.

기존 Elastic Cloud 고객은 Elastic Cloud 콘솔에서 이 중 많은 기능을 바로 이용하실 수 있습니다. 클라우드에서 Elastic을 활용하고 있지 않으신가요? LLM 및 생성형 AI와 함께 Elasticsearch를 사용하는 방법을 확인해 보세요.

이 게시물에 설명된 기능의 릴리즈 및 시기는 Elastic의 단독 재량에 따릅니다. 현재 이용할 수 없는 기능은 정시에 또는 전혀 제공되지 않을 수 있습니다.

Elastic, Elasticsearch, Elasticsearch Relevance Engine, ESRE, Elastic Learned Sparse Encoder 및 관련 마크는 미국 및 기타 국가에서 Elasticsearch N.V.의 상표, 로고 또는 등록 상표입니다. 기타 모든 회사 및 제품 이름은 해당 소유자의 상표, 로고 또는 등록 상표입니다.