Elastic Agent 및 Fleet을 통해 보다 쉽게 시스템을 Elastic과 통합

오늘 여러분의 시스템과 애플리케이션을 Elastic Stack과 보다 쉽게 통합할 수 있는 3가지 주요 개선 사항을 발표하게 되어 기쁘게 생각합니다. 먼저, Elastic Agent가 정식 버전으로 출시됩니다. 통합 가시성과 보안을 모두 지원하는 단일한 통합 에이전트입니다. 통합 에이전트를 사용하면 구성하고 설치할 항목이 줄어들어 데이터 온보딩이 간소화됩니다.

둘째, 전체 Elastic Agent를 규모에 맞게 중앙에서 관리할 수 있는 새로운 Kibana 애플리케이션인 Fleet이 정식 버전으로 출시됩니다. 제어부 역할을 하여 에이전트 상태를 실시간으로 확인하고 에이전트를 원격으로 업그레이드하며 각 호스트에 대해 쿼리를 실행하고 보안 위협을 포함합니다.

셋째, Elastic의 첫 번째 정식 버전 통합 세트와 함께 Kibana에서 새로운 Integrations 앱을 출시합니다. 클릭 한 번으로 여러분의 시스템과 애플리케이션을 Elastic Stack과 통합할 수 있습니다. Integrations는 즉시 사용할 수 있는 로그 구문 분석, 대시보드, 머신 러닝 작업 등을 제공합니다. Fleet을 통해 Elastic Agent에 통합을 배포하여 몇 초 안에 데이터에서 인사이트를 얻을 수 있습니다.

규모에 맞는 데이터 수집의 어려움

모니터링이나 보안 솔루션을 채택할 때 가장 중요한 문제는 규모에 맞게 에이전트를 배포하고 관리하는 데 걸리는 시간입니다. 이로 인해 중요한 비즈니스 목표가 지연되고 총 소유 비용이 증가합니다. 대규모 조직에는 수백 개의 팀과 수십만 개의 서버, 노트북 및 애플리케이션이 있을 수 있습니다. 평가, 사용자 정의, 운영 및 보안 규정 준수 승인을 거친 후 여러 팀 및 환경에 걸쳐 배포하는 데 몇 개월이 걸릴 수 있습니다. 모니터링 또는 보안 인프라의 모든 문제는 비즈니스에 심각하고 중대한 영향을 미칠 수 있습니다.

Beats는 데이터를 Elastic Stack으로 전송하는 기존 솔루션이며 syslog와 같은 일반 솔루션보다 많은 것을 더 쉽게 제공합니다. 그러나 현재 APM 에이전트, APM 서버, 엔드포인트 보안 외에도 총 7개의 Beats가 있습니다. 이렇게 많은 바이너리를 설치하는 것은 특히 각 바이너리가 구성 관리 솔루션, 점진적 배포, 변경 관리 및 감사 요구 사항을 통해 설치되는 엔터프라이즈 환경에서는 복잡합니다.

또 다른 과제는 새로운 데이터 소스를 위한 통합을 추가하는 프로세스입니다. 현재, 사용자는 YAML 파일을 편집하여 모든 서버에 업로드해야 합니다. Ansible 또는 Chef와 같은 도구를 사용하여 구성을 푸시하는 경우도 많습니다. 안타깝게도 이로 인해 새로운 데이터 소스를 추가하는 작업은 복잡한 프로세스로, 종종 서드파티 도구가 필요하며 팀 전체의 전문가와 조율해야 합니다. 이는 여러 네트워크와 데이터 센터에 분산된 수십만 개의 에이전트를 처리할 때 훨씬 더 복잡해집니다.

모든 것을 처리하는 하나의 에이전트

Elastic Agent는 로그, 메트릭, APM 추적, 합성 및 시스템 보안을 위한 단일 통합 에이전트입니다. 하나의 명령을 실행하여 에이전트를 설치하기만 하면 됩니다. 이렇게 간단히 시작할 수 있습니다. 더 이상 여러 Beats를 배포할 필요가 없습니다. 이를 통해 인프라 전반에 걸쳐 더욱 신속하게 배포하고 시간이 지남에 따라 유지관리할 수 있습니다. 또한 Elastic Agent는 단일 창을 통해 관리되는 단일한 통합 구성을 가지고 있습니다. 따라서 Filebeat, Metricbeat 등에 대해 여러 구성 파일을 편집할 필요가 없습니다. 이렇게 하면 통합을 훨씬 쉽게 추가할 수 있습니다. Fleet를 통해 구성을 업데이트하여 신속하게 통합을 활성화하고 데이터를 수집하며 에이전트의 동작을 사용자 정의할 수 있습니다.

보다 간편한 통합 및 구성

새로운 Integrations 앱은 인기 있는 서비스와 플랫폼의 통합을 추가하고 관리할 수 있는 웹 기반 UI를 Kibana에 제공합니다. Elastic의 통합을 통해 새로운 데이터 소스를 쉽게 추가할 수 있을 뿐만 아니라 대시보드, 시각화 및 파이프라인과 같은 즉시 사용 가능한 자산과 함께 전송하여 로그에서 구조화된 필드를 추출할 수 있습니다. 자동으로 구현되므로 시스템을 구성하는 데 많은 노력을 들이지 않아도 됩니다. 이를 통해 몇 초 안에 보다 쉽게 설정하고 인사이트를 얻을 수 있습니다. 

Elastic의 새로운 정식 버전 통합을 통해 서버, 노트북, 컨테이너, VM 등을 포함한 시스템 인프라를 모니터링할 수 있습니다. 또한 보안 위협으로부터 시스템을 보호하고 보안 이벤트를 분석할 수도 있습니다. 70개 이상의 통합이 제공되며 지속적으로 추가 작업을 진행 중입니다.

또한 여러분의 시스템과 애플리케이션에 대한 통합을 구성할 수 있는 웹 기반 UI도 제공합니다. 관련 없는 설정이 많은 긴 YAML 파일을 편집하는 대신 웹 UI가 더 간결하며 안내 및 검증 기능을 제공합니다. 공통 로그 및 메트릭 위치에 대한 기본값이 이미 제공되었으므로 저장을 클릭하여 한 번의 클릭으로 통합을 배포할 수 있습니다.

정책의 일부로 이 Nginx 통합을 단일 에이전트 또는 에이전트 그룹에 추가할 수 있습니다. 에이전트 정책을 사용하면 원하는 수의 에이전트에 동일한 통합을 적용할 수 있으므로 규모에 맞게 많은 에이전트를 보다 쉽게 관리할 수 있습니다. 에이전트는 다음에 Fleet에 체크인할 때 업데이트를 받게 됩니다.

고급 사용자는 때로 YAML 파일, API 및 IaaS(Infrastructure as Code)를 선호합니다. Fleet은 API 우선 설계가 되어 있으며 UI에서 할 수 있는 모든 작업을 API를 사용하여 수행할 수 있습니다. 이를 통해 다른 시스템과 통합할 수 있습니다. Fleet을 사용하지 않으려면 독립형 모드에서 YAML 파일을 사용하여 Elastic Agent를 구성할 수도 있습니다.

중앙 집중식으로 Fleet 관리

Fleet은 제어부 역할을 하므로 대규모 에이전트 그룹을 중앙 집중식으로 관리할 수 있습니다. Fleet 페이지에서 모든 에이전트의 상태를 볼 수 있습니다. 여기서 어느 에이전트가 온라인 상태인지, 정상 상태인지, 비정상 상태인지와 마지막으로 체크인한 에이전트를 볼 수 있습니다. 에이전트 바이너리 및 에이전트 정책의 버전도 볼 수 있습니다.

에이전트 정책을 사용하여 에이전트 그룹을 정의할 수 있습니다. 에이전트 정책을 변경하면 모든 에이전트가 다음 체크인 중에 업데이트를 받습니다. 더 이상 SSH, Ansible Playbook 또는 기타 구성 방법을 사용하여 직접 업데이트를 배포할 필요가 없습니다.

Fleet의 또 다른 장점은 에이전트의 보안을 더 잘 유지할 수 있다는 것입니다. 실행 중인 통합에 대한 최소한의 권한으로 각 에이전트에 대해 Elasticsearch API 키를 자동으로 생성합니다. 에이전트별로 API 키를 해지할 수 있으므로 더 이상 각 호스트에 대해 광범위한 사용 권한을 가진 공유 자격 증명을 저장할 필요가 없습니다. 또한 Endpoint Security와 함께 Elastic Agent를 실행할 때 에이전트는 호스트에서 실행되는 위협으로부터 스스로를 보호할 수 있습니다.

Fleet Server는 Elastic Agent와의 통신을 관리하는 인프라 구성 요소입니다. 에이전트를 업데이트하고 호스트 간에 OSQuery를 실행하거나 네트워크 계층에서 보안 위협을 포함하도록 호스트를 분리하는 등의 작업을 실행하도록 지시하는 제어 영역을 제공합니다. 프라이빗 네트워크에서 중앙 집중식으로 또는 엣지에서 배포할 수 있습니다. 

데이터 스트림을 통해 데이터 관리 간소화

Elastic Agent가 수집한 데이터는 새 데이터 스트림 이름 지정 체계를 사용하여 저장됩니다. Beats보다 더 세분화된 인덱스에 데이터를 저장합니다. 인덱스당 필드 수 감소, 자동 완성 속도 향상, 스토리지 효율성 향상, 데이터 볼륨 소스에 대한 가시성 향상, 수명 주기 관리 정책 및 인덱스 권한 제어 등의 이점이 있습니다. 네임스페이스를 사용하면 환경 또는 팀 이름별로 원하는 방식으로 데이터를 그룹화할 수 있습니다.

이것이 Beats 사용자에게 갖는 의미

Beats가 곧 사라지지는 않을 것이며 Elastic Agent와 함께 계속 사용할 수 있습니다. 시스템을 Beats에서 Elastic Agent로 전환하는 동안 두 가지 모두를 병행하여 실행할 수 있습니다.

Elastic Agent와 Fleet이 훨씬 사용하기 쉽지만, Beats를 사용하는 것이 더 나은 경우도 일부 있습니다. 시간이 지나면서 이러한 격차를 해소해 나갈 것입니다. Fleet은 Logstash 또는 Kafka로의 출력을 아직 지원하지 않으며, 슈퍼 사용자 역할이 필요하고, 아울러Elastic Package Registry에서 통합 목록을 다운로드하려면 인터넷 연결이 필요합니다. Elastic은 또한 나머지 Beats 모듈 몇 개를 통합으로 전환하기 위해 노력하고 있습니다. 차이점에 대해 자세히 알아보려면 비교 페이지를 확인해 보세요.

사용해 보기

Kibana를 열고 메인 메뉴에서 Integration 앱으로 이동하여 직접 사용해 보세요. 여기에서 통합 목록을 볼 수 있으며, 앱이 Elastic Agent를 추가하는 과정을 안내합니다. 또는 Fleet 앱을 열어 Elastic Agent를 직접 추가하실 수 있습니다.

Elastic Agent와 Fleet은 모두 자유 개방형입니다. GitHub에서 Fleet과 Elastic Agent를 위한 코드를 찾을 수 있도록 커뮤니티와의 협업을 권해드리고고 싶습니다. 이번 여정에서 커뮤니티가 저희와 함께하길 고대하고 있습니다.

이번 릴리즈에서 여러분의 시스템과 애플리케이션을 Elastic Stack과 더 쉽게 통합할 수 있도록 지원해드리는 방법을 보시기 바랍니다. 여러분의 피드백으로 시간이 지날수록 훨씬 더 개선되어갈 것입니다. 부디 저희 토론 포럼에서 의견을 공유해 주세요.