정부 및 공공 부문을 위한 생성형 AI의 힘

현재 상태에서, GAI는 인상적인 콘텐츠, 대화, 이미지 등을 생성할 수 있습니다. 그러나 이러한 결과는 도구가 훈련된 데이터와 관련이 있을 뿐입니다. 대규모 언어 모델(LLM) 내부에서 지식의 모습을 제공하는 훈련 데이터 세트가 인터넷에서 공개적으로 이용 가능한 데이터를 기반으로 할 때, 생성되는 답변의 범위는 제한됩니다. 공개 데이터를 기반으로 하는 GAI는 종종 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하기 쉽습니다. 잘못된 정보가 정확한 것처럼 표시됩니다.

반면, GAI가 기관의 내부 데이터와 함께 사용될 때, 임무 결과를 크게 가속화하고, 시민 서비스를 개선할 수 있으며, 분석가와 사이버 보안 전문가 같은 정부 지식 근로자들을 적절한 시기에 적절한 데이터에 더 잘 연결할 수 있습니다. 왜 그럴까요? 그 기관 데이터는 필수적인 컨텍스트를 추가하기 때문입니다.

GAI와 민간 기관 데이터의 결합은 힘을 배가시키는 효과가 있습니다. 순진한 해결책은 프라이빗 데이터를 모델 자체에 베이크하는 것이지만, 훈련 또는 미세 조정 AI 모델의 복잡성과 비용은, 정부의 도메인 수와 상호 작용 지점을 곱한 것으로, 유지할 수 없는 정도가 됩니다. 대신, LLM에 제기된 동일한 질문을 먼저 Elastic의 AI 지원 검색 기능으로 가져갈 수 있으며, 여기서 내부 데이터를 기반으로 한 가장 정확도 높은 사실 기반 답변을 찾을 수 있습니다.

여러분의 데이터가 GAI로 가져오는 이 도메인별 컨텍스트는 출력을 여러분의 임무에 더 정확하고, 관련성이 있으며, 실행 가능하게 만들 수 있습니다. "자신의 데이터를 가져오는 것"의 전제 조건은 여러분의 데이터를 통합 데이터 플랫폼에 저장하여 한 곳에서 액세스하고 찾을 수 있도록 하는 것입니다.

특히 공공 부문의 경우, 민감도가 높은 데이터가 공개적으로 액세스 가능한 GAI 또는 자신의 데이터에 대한 제어권을 유지하지 않는 시스템과 혼합되는 것을 원하지 않습니다. 공개적으로 이용 가능한 GAI 제품(예: ChatGPT)으로 전송되는 검색 쿼리는 모델에 의해 소비되며, 이는 여러분의 내부 데이터가 더 이상 내부 데이터가 아님을 의미합니다. 조직이 정식으로 GAI를 기술 스택의 일부로 사용하지 않더라도, 직원들이 어쨌든 GAI를 사용할 것이 거의 확실합니다.

여러분의 IT 팀이 제어하고 인사이트를 가질 수 있는 방식으로 GAI를 여러분의 독점 데이터와 전략적으로 통합하여 내부 데이터가 올바른 권한을 가진 인력 내에서만 유지될 수 있도록 지원합니다. 그렇지 않으면, 직원이 의도치 않게 ChatGPT와 같은 공개 GAI 서비스에 민감한 데이터를 넣을 수 있으므로, 보안을 보장할 수 없습니다. 이상적으로, 독점적인 데이터를 민감한 정보를 처리하도록 설계된 플랫폼에 통합하여, 자체 데이터를 완벽하게 제어하고 역할 기반 액세스 제어(RBAC)를 사용하는 것이 좋습니다. 여기에서 더 자세히 보실 수 있습니다.

데이터는 오늘날 공공 부문 조직이 소유하고 있는 가장 전략적인 자산 중 하나입니다. 데이터가 단일 플랫폼에 통합되어 저장되면, GAI 및 검색 기술을 활용할 수 있으므로, 현실적인 영향은 매우 광범위할 수 있으며 다음과 같은 이점을 제공할 수 있습니다.

한 시민이 공공 주택 서비스를 신청하려고 한다고 상상해 보세요. 신청 과정은 여러 단계와 양식을 포함하는데, 이것은 필요와 위치에 따라 다릅니다. 단순히 웹페이지에서 일반적인 정보를 나열하는 것은 복잡할 것이고 한 시민의 독특한 상황을 다루지 않을 가능성이 있습니다. 반면에, 기관들이 그들 자신의 데이터를 GAI에 가져올 때, 한 시민은 그들의 개별 상황에 맞는 정보와 지침을 찾을 수 있습니다. 이 매우 정확도가 높은 정보는 종종 애초에 사람들이 필수적인 서비스에 접근하는 것을 방해하는 복잡성을 줄일 가능성이 있습니다.

또는, 다른 예를 들어, 여러분이 배심원으로 소환되었고 다음에 무슨 일이 일어나는지 알아야 합니다. 나는 어디로 가야 하는가? 시간이 얼마나 걸릴 것인가? 나는 배심원으로 선정되었는가? 담당 판사가 법정에서 휴대전화 사용을 허용하는가? 여러분의 데이터를 활용하여, GAI는 이 복잡한 정보를 간소화하고 개인화하여 잠재적으로 시민 경험을 향상시키고 정부 서비스 및 지도자와의 신뢰를 쌓을 수 있습니다.

법 집행 및 인텔리전스 커뮤니티의 경우, 올바른 데이터에 실시간으로 민주화된 액세스를 하는 것이 중요합니다. 이는 여러 조직이 서로 다른 형식의 서로 다른 정보의 데이터베이스를 가지고 프로젝트에 협력하는 경우에 특히 그렇습니다. 단일 GAI 쿼리를 통해 여러 데이터 유형과 소스에 걸쳐 답을 찾을 수 있는 기능을 갖추면, 잠재적으로 결과의 속도와 정확성을 높이고, 수동적인 작업과 시간 소모가 많은 작업을 줄이며, 필요한 모든 사람이 동일한 정확한 데이터 세트를 가지고 작업할 수 있도록 보장할 수 있습니다.

도메인별 컨텍스트와 GAI를 통합하면, 내부 팀이 작업을 수행하는 데 도움이 되는 필요한 정보를 신속하게 찾을 수 있습니다. 여러 데이터 세트와 형식에 걸쳐 빠른 쿼리를 통해 실시간으로 정확도가 높은 정보를 제공할 수 있으므로, 문서나 격리된 데이터베이스를 힘들게 (그리고 정신없이) 꼼꼼히 살펴볼 필요가 없습니다. 또한 대부분의 경우, 팀이 찾고 있는 정보는 공개 인터넷이나 AI 모델 교육 세트에서 찾을 수 없으므로, 직원들이 데이터 보안을 손상시킬 수 있는 공개 도구에 의존하지 않도록 독점 정보를 신속하게 찾을 수 있는 GAI 기반 도구를 제공하는 것이 중요합니다.

직원들이 효과 없는 검색과 수동 데이터 상관 관계에 더 적은 시간을 할애할 때, 특히 처음부터 시작할 리소스가 부족할 경우, 일상적인 업무에서 마찰의 근원이 되는 요소를 하나 줄임으로써 업무 만족도와 참여도를 향상시킬 수 있는 길을 열어줍니다.

기관의 데이터를 GAI와 통합하는 방법을 고려할 때, Elasticsearch 플랫폼은 강력한 도구가 될 수 있습니다. 모든 유형의 데이터를 수집하고, 경제적으로 저장하며, 어디에 있든 액세스하고, GAI 트랜스포머 모델과 통합할 수 있습니다.
Elastic은 10년 넘게 검색의 민주화를 위해 노력해왔으며, 그 기간의 상당 부분을 AI 및 머신 러닝(ML)에 투자해 왔습니다. 결과적으로, Elastic은 고객이 Elasicsearch 플랫폼에서 AI 및 ML을 통해 질문에 대한 관련 답변을 찾을 수 있도록 지원하는 Elasticsearch Relevance Engine(ESRE)을 방금 출시했습니다.

ESRE는 최고의 AI와 Elastic의 텍스트 검색을 결합하여, 대규모 언어 모델(LLM)과 통합할 수 있는 기능을 제공합니다. Elastic 커뮤니티에서 이미 신뢰하고 있는 간단한 통합 API를 통해 액세스할 수 있기 때문에, 전 세계 개발자들이 즉시 이를 사용하여 검색 정확도를 높일 수 있습니다.

즉, 이제 자신의 GAI 모델 또는 서드파티 GAI 모델을 Elasticsearch 플랫폼에 저장하고 있는 데이터에 직접 연결할 수 있습니다. 이를 통해 도메인별 데이터와 함께 GAI의 힘을 활용하여 정확하고 관련성이 높으며 실행 가능하고 안전한 답변을 생성할 수 있습니다.

ESRE에 대한 자세한 내용은 론칭 블로그를 참조하세요.

1. 통합 데이터 저장 공간 및 민주화된 액세스. 민주화된 액세스, 검색성 및 인사이트를 위해 Elasticsearch 플랫폼에 모든 데이터를 경제적으로 저장할 수 있습니다. 데이터가 플랫폼에 있으면, 위협 헌팅 및 인프라 모니터링과 같은 추가 사용 사례에 이를 사용할 수 있습니다.

2. 다음과 같은 중요 업무용 답변을 찾을 수 있는 기능.

• 정확한 답변: GAI에서 얻게 되는 답변과 여러분 자신의 데이터는 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보가 아닌 임무 관련 사실에 기초합니다.
• 관련성이 높은 답변: Elasticsearch에서 독점 데이터를 사용함으로써, 내부 데이터에 대한 LLM을 반복적으로 재교육할 필요가 없으며, 시간과 교육 비용을 절약하고, 정보를 항상 최신 상태로 유지할 수 있습니다.
• 실행 가능한 답변: Elasticsearch 플랫폼은 데이터와 인사이트에 대한 액세스를 민주화하여 팀이 어디서나 실시간으로 협업하고 의사 결정을 내릴 수 있도록 지원합니다.
• 보안이 유지되는 답변: 모든 직원이 모든 문서에 액세스할 수 있는 것은 아니며, 특정 데이터는 데이터 주권을 위해 특정 위치에 상주해야 합니다. Elasicsearch를 통해 전체 데이터 저장소에서 검색할 수 있는 기능을 유지하면서, 조직 내 특정 역할에 대한 데이터 액세스를 제한할 수 있습니다.

3. 비용 효율적인 구현. 수십 년에 걸친 정보 검색 최적화 작업 때문에, Elasticsearch는 훈련되거나 미세 조정된 대규모 언어 모델에서 동일한 지식을 추출하는 것보다 CPU 효율성이 훨씬 더 큰 방식으로 GAI 상호 작용에 지식을 제공합니다. 일부 추정치는 시맨틱 검색을 단지 ChatGPT 3.5를 사용하는 것보다 5배 또는 GPT-4의 CPU 비용보다 250배 더 효율적이라고 합니다.

GAI가 조직을 위해 얼마나 많은 가치를 창출할 수 있는지는 여러분의 데이터에 그리고 이 데이터가 통합되고 액세스될 수 있는지 여부에 달려 있습니다. 데이터가 여러 도구와 팀에 분산되어 있다면, GAI를 임무 목표와 매우 관련되게 만드는 데 필요한 컨텍스트와 콘텐츠가 부족할 수 있습니다. Elasticsearch 플랫폼은 모든 기관의 데이터를 하나의 데이터 저장소로 제공하고 협업, AI 인사이트 및 자동화를 위한 중앙 집중식 도약 지점 역할을 합니다.

• Elasticsearch 및 GAI에 대해 자세히 알아보세요. 
• 개인 정보 보호 우선 사용 사례를 위해 Elasticsearch 및 AI를 구현하는 방법에 대한 기술적 관점을 알아보세요.
• Elasicsearch 공공 부문 전문가에게 연락하여 AI가 기관의 임무에 어떻게 가치를 가져올 수 있는지에 대해 얘기해 보세요.

이 블로그 포스팅에서, Elastic은 각 소유자가 소유하고 운영하는 서드파티 생성형 AI 도구를 사용했거나 참조했을 수 있습니다. Elastic은 서드파티 도구에 대한 어떠한 통제권도 없으며 당사는 그 내용, 작동 또는 사용에 대한 책임이나 법적 의무가 없고 이러한 도구의 사용으로 인해 발생할 수 있는 손실 또는 손상에 대해 책임을 지지 않습니다. 개인 정보, 민감한 정보 또는 기밀 정보와 함께 AI 도구를 사용할 때 주의하세요. 제출하신 모든 데이터는 AI 교육을 위해 또는 다른 목적으로 사용될 수 있습니다. 제공하시는 정보가 안전하게 유지되거나 기밀로 유지된다는 보장은 없습니다. 사용 전에 생성형 AI 도구의 개인 정보 보호 관행 및 사용 약관을 숙지하셔야 합니다.

Elastic, Elasticsearch, ESRE, Elasticsearch Relevance Engine 및 관련 마크는 미국 및 기타 국가에서 Elasticsearch N.V.의 상표, 로고 또는 등록 상표입니다. 기타 모든 회사 및 제품 이름은 해당 소유자의 상표, 로고 또는 등록 상표입니다.