검색 정확도 30% 증가
Consensus 사용자는 Elastic의 독점 ML 모델인 ELSER를 추가하여 검색 결과의 정확성과 관련성이 크게 증가한 것을 확인했습니다.
검색 대기 시간 75% 단축
Elastic의 ELSER 배포로 시맨틱 검색 대기 시간이 거의 4초에서 1초 미만으로 단축되었습니다.
검색 혁신을 위한 로드맵 제공
Consensus는 혁신적인 시맨틱, 벡터 및 AI 기반 검색 도구에 액세스할 수 있는 Elastic의 장기 검색 파트너를 보유하고 있습니다.
Consensus는 AI를 사용해 연구 논문에서 인사이트를 찾는 검색 엔진입니다. Consensus 2.0은 사용자 쿼리를 기반으로 논문에서 질문 관련 정보를 추출합니다. 이를 통해 사용자가 찾고 있는 것과 더 유연하고 정확도가 높은 결과를 얻을 수 있습니다.
Consensus는 Elastic의 고급 시맨틱 검색 및 텍스트 검색 기능을 갖춘 새 버전의 검색 플랫폼을 통해 백만 명의 사용자를 위한 학술 연구를 혁신합니다.
2022년에 출시된 Consensus는 고급 인공 지능(AI)과 대규모 언어 모델(LLM)을 사용하여 Semantic Scholar 데이터베이스의 2억 개가 넘는 동료 평가 논문에서 유용한 정보를 집계하고 추출하는 선구적인 검색 엔진입니다. 모든 과학 영역이 다루어지기 때문에 Consensus는 의학, 인류학, 심리학, 기후 과학 등 다양한 분야의 연구자들 사이에서 선호되는 옵션입니다.
애플리케이션이 처음 시작되었을 때 Elastic Search의 기본 설정을 포함한 다양한 솔루션을 기반으로 하는 유추 파이프라인을 사용했습니다. Consensus의 CPO인 Christian Salem은 "당시 우리는 검색 엔진 위에 LLM 및 AI 요약 기능을 사용하는 업계의 몇 안 되는 회사 중 하나였다"고 말합니다.
하지만 인공 지능에게 1년은 긴 시간입니다. AI 검색 공간에 진입하는 기업이 늘어나면서 점점 더 복잡해지는 시장에서 눈에 띄는 것이 더 어려워졌습니다. 경쟁 우위를 유지하기 위해 Consensus는 검색 정확도와 최종 사용자 경험을 개선하기 위해 검색 엔진과 AI 전문 지식을 갖춘 엔지니어를 고용했습니다. Amazon Search 및 Google에서 거의 10년의 경험을 보유한 Consensus의 Chris Varano 수석 검색 엔지니어는 ELSER 프로젝트를 처음부터 끝까지 이끄는 데 도움을 주었습니다.
팀은 처음에 벡터 검색 플랫폼이 더 나은 검색 성능을 제공하도록 조정될 수 있다고 믿었지만 수백만 명의 사용자에 대한 프로덕션 수준 지원과 많은 유용한 어휘 기능이 부족하다는 것이 곧 분명해졌습니다. Varano 수석 검색 엔지니어는 "이러한 기능을 내부적으로 구축할 수도 있었지만 빠르게 변화하는 시장의 소규모 팀에게는 비용과 시간이 많이 소요되는 옵션이었다"고 말합니다.
Consensus는 일반 검색이 작동하는 방식을 완전히 점검하여 속도, 정확성, 그리고 가장 중요한 핵심 검색 정확도를 향상시켰습니다.
두 세계의 장점: 벡터 검색과 텍스트 검색
Consensus 팀은 Elastic과 최근 출시된 ELSER(Elastic Learned Sparse Encoder) 기능을 선택했습니다. Elastic에서 교육한 이 새로운 검색 모델을 사용하면 기업은 정확한 키워드 일치 외에도 문맥상의 의미와 사용자 의도를 기반으로 시맨틱 검색을 수행할 수 있습니다. Varano 수석 검색 엔지니어는 "기존 키워드 검색 기능의 장점을 유지하면서 벡터 AI 검색과 관련된 모든 이점을 얻는다"고 말합니다.
ELSER 기반의 Consensus 2.0 출시를 통해 최종 사용자는 검색 정확도가 향상되고 상위 결과 요약을 제공하는 새로운 생성형 AI 기능의 혜택을 누릴 수 있습니다. 소프트웨어는 검색어를 사용하여 모든 논문의 초록과 제목에 대해 키워드 검색과 벡터 검색의 조합을 실행합니다. 이를 통해 Consensus는 문서와 사용자 쿼리의 정확도를 지능적으로 측정할 수 있습니다.
그런 다음 이 정확도 점수를 인용 횟수, 인용 속도 및 게시 날짜를 포함한 다른 많은 메타데이터와 결합하여 결과 순위를 다시 지정하고 가능한 상위 20개 결과를 생성합니다. 그런 다음 Consensus 소프트웨어는 상위 10개 결과에 대해 OpenAI의 GPT-4 모델을 실행하여 상위 연구에 대한 한 문장 요약을 생성합니다.
ELSER의 초기 사용자 중 하나인 Consensus 팀은 Elastic과 긴밀하게 협력했습니다. "작동하고 나니 정말 기대 이상이었습니다. 이는 우리가 수행한 다른 모든 벡터 검색 테스트를 압도했습니다." Varano 수석 검색 엔지니어는 이렇게 말합니다.
팀은 또한 어휘 기능, 정확한 구문 일치, 일반적인 키워드 검색을 포함하여 Elastic의 기본 기능의 중요성을 강조합니다. 필터링, 용어 제외, 퍼지 매칭도 중요한 역할을 했습니다.
"Elastic이 기본적으로 제공하는 기능이 얼마나 많은지 보고 놀랐습니다. 우리가 구축할 필요가 없는 사용자 경험을 향상시키는 도구와 기능이 너무 많습니다."
ELSER 및 Elastic은 Elastic 검색 결과가 ChatGPT에서 생성된 요약의 기초를 형성하는 Consensus의 검색 증강 생성(RAG) 워크플로우에 대한 기본 지원도 제공합니다. Salem CPO는 "Elastic과 ELSER를 사용하여 검색 품질에 대한 높은 확신을 갖게 되었으며 요약을 생성할 때 AI 계층이 환각을 느낄 위험이 거의 또는 전혀 없다"고 말합니다.
또한 Consensus는 원래 기본 인프라와 Google Cloud에서 호스팅되는 애플리케이션에 적합한 솔루션으로 Elastic을 선택했습니다. "우리가 Elastic을 선택한 이유 중 하나는 Elastic이 Google Cloud와 매우 쉽게 통합되기 때문입니다. 둘 다 고도로 구성 가능하며 여전히 인프라를 완전히 제어할 수 있는 것처럼 느껴집니다." Salem CPO는 이렇게 말합니다.
Consensus는 인공 지능의 최신 발전을 사용하여 과학적 인사이트를 대중화하고 학생들을 위한 훌륭한 연구 웹사이트가 될 수 있으며 적절한 출처와 동료 검토 정보를 술집 토론과 단어 그룹 텍스트에 모두 제공하는 데 도움이 될 수 있는 플랫폼을 만듭니다.
더 빠르고 스마트한 검색
ELSER를 기반으로 하는 Consensus 2.0이 출시되면서 최종 사용자는 논문에서 추출한 질문별 정보와 AI가 생성한 상위 결과 요약을 통해 검색 정확도가 크게 향상되었습니다. 새 버전에서는 약 4초에 달하는 평균 시맨틱 검색 시간이 1초 미만으로 단축되어 검색 속도도 빨라졌습니다. "Elastic은 우리 공간에서 큰 차별화 요소입니다. 우리는 다른 사람의 데이터 위에 단순한 AI 래퍼가 아니라 검색 엔진을 소유하고 있으며 그 위에 AI 기능을 추가하고 있습니다." Salem CPO는 이렇게 말합니다.
수치 그 자체가 이를 입증해 보여줍니다. Consensus는 출시 이후 최종 사용자에게 유용한 결과를 생성하는 쿼리 수가 30% 증가했습니다. Salem CPO는 또한 보다 유연한 쿼리를 사용하는 것을 좋아하는 사용자들로부터 긍정적인 피드백을 받았습니다. “논문과 똑같은 용어를 사용할 필요는 없습니다. 동의어와 구어체 용어도 관련 결과를 반환합니다." Salem CPO는 이렇게 말합니다.
소규모 팀을 위한 큰 지원
약 8명으로 구성된 초기 단계의 스타트업으로서, Consensus를 위해서는 Elastic의 지원이 필수적이었습니다. Salem CPO는 이렇게 말합니다. "저희 Elastic 계정 담당자가 프로젝트를 중심으로 엔지니어와 전문가를 모았습니다. 양측 모두 최신 AI 기술을 활용해 새로운 종류의 검색 엔진을 구축할 수 있는 기회로 보았습니다.
Elastic에는 분명히 우리 스타트업 팀보다 규모가 더 큰 고객이 많겠지만, 그렇게 느껴지지는 않습니다. 우리 프로젝트가 Elastic 팀의 최우선 과제처럼 느껴졌는데, 다른 공급업체의 경우 항상 그런 것은 아닙니다."
미래를 향한 AI 로드맵
아직 초기 단계이지만 Salem CPO와 나머지 Consensus 팀은 향후 Elastic AI 릴리즈, 특히 향후 ELSER와 결합할 수 있는 벡터 검색 기능을 기대하고 있습니다. "Elastic은 AI 및 LLM 기반 검색을 통해 전속력으로 앞서 나가고 있습니다. Elastic은 우리가 기술을 통해 가능한 것의 최전선에 있게 해주기 때문에 훌륭한 파트너입니다." Salem CPO는 이렇게 말합니다.
Elastic은 또한 Consensus가 경쟁이 치열한 AI 검색 공간에서 우위를 유지할 수 있도록 해줍니다. Salem CPO는 이제 학문적 연구를 넘어 동료 검토 저널 외부의 고품질 데이터 세트와 전문 지식을 포함하기를 원합니다. "우리는 소스에서 직접 얻은 정확하고 정밀한 정보에 대한 필요성이 그 어느 때보다 더 큰 세상에 살고 있습니다. Elastic은 이러한 요구 사항을 충족하기 위해 검색 서비스를 확장하는 데 중요한 파트너입니다." Salem CPO는 이렇게 말합니다.
