Elasticsearch 기능

클러스터는 하나 이상의 노드(서버)의 모음으로, 이것들이 합쳐져 함께 사용자의 데이터를 유지하고, 모든 노드에 걸쳐 연결된 색인 및 검색 기능을 제공합니다. Elasticsearch 클러스터는 기본 샤드와 복제 샤드가 기능하며 한 노드가 중지되는 경우 장애 조치를 제공합니다. 기본 샤드가 중지되면, 복제 샤드가 그 자리를 대신합니다.

의도적이든 그 밖에 다른 어떤 이유로든 노드가 클러스터를 떠나면, 마스터 노드는 복제 노드로 그 노드를 대체하고 샤드의 균형을 다시 조정함으로써 이에 대응합니다. 이러한 작업은 모든 샤드가 가능한 한 빨리 전체적으로 복제되도록 함으로써 데이터 손실로부터 클러스터를 보호하기 위한 것입니다.

Elasticsearch 클러스터 내의 마스터 노드는 어느 샤드를 어느 노드에 할당할 지, 그리고 클러스터의 균형을 다시 맞추기 위해 언제 노드 간에 샤드를 이동할 지를 자동으로 결정하게 됩니다.

사용이 증가함에 따라, Elasticsearch도 함께 확장됩니다. 더 많은 데이터를 추가하고, 더 많은 사용 사례를 추가하세요. 리소스가 부족해지기 시작하면, 클러스터에 또 다른 노드를 추가하기만 하면 용량과 안정성을 늘릴 수 있습니다. 클러스터에 더 많은 노드를 추가할 때, 자동으로 복제 샤드를 할당하기 때문에 미래에 대비할 수 있습니다.

사용자 정의 노드 속성을 인식 속성으로 사용하여 샤드를 할당할 때 Elasticsearch가 사용자의 물리적 하드웨어 구성을 고려하도록 할 수 있습니다. 어느 노드가 동일한 물리적 서버에, 동일한 랙에, 또는 동일한 구역에 있는지 Elasticsearch가 아는 경우, 기본 샤드와 그 복제 샤드를 배포하여 장애가 발생하는 경우 모든 샤드 복사본을 잃게 되는 위험을 최소화할 수 있습니다.

클러스터 간 복제 기능(CCR) 기능은 원격 클러스터의 인덱스를 로컬 클러스터로 복제할 수 있게 합니다. 이 기능은 일반적인 사용 사례에서 사용할 수 있습니다.

데이터 센터 간 복제 기능은 한동안 Elasticsearch의 중요 업무용 애플리케이션의 필수 요건이었으며 이전에는 추가 기술을 활용하여 부분적으로 해결되었습니다. Elasticsearch의 클러스터 간 복제 기능을 이용하면, 데이터 센터, 지역 또는 Elasticsearch 클러스터에서 데이터를 복제하기 위한 추가 기술이 필요하지 않습니다.

클라우드 객체 스토리지를 사용하는 Elasticsearch 클러스터는 이제 ES 노드 간에 데이터를 전송하는 대신 ES 노드와 객체 스토리지에서 샤드 복제 및 샤드 복구와 같은 특정 데이터를 전송할 수 있으므로 데이터 전송 및 스토리지 비용이 절감됩니다.

인덱스 수명 주기 관리(ILM)에서 사용자는 4단계의 단계별 인덱스 유지 기간 및 각 단계 동안 인덱스에 취해져야 하는 조처를 제어하는 정책을 정의하고 자동화할 수 있습니다. 이렇게 하면 작업 비용을 훨씬 더 잘 관리할 수 있으며, 데이터도 여러 다른 리소스 계층으로 분류해 넣을 수 있습니다.

데이터 티어는 노드에 대한 인덱스 수명 주기 관리 정책을 자동으로 정의하는 노드 역할 속성을 통해 데이터를 Hot, Warm, Cold 노드로 분할하는 공식화된 방법입니다. Hot, Warm, Cold 노드 역할을 할당하면 인사이트를 약화시키지 않고 더 높은 비용과 더 높은 성능의 스토리지에서 더 저렴한 비용과 보다 낮은 성능의 스토리지로 데이터를 이동하는 프로세스를 크게 단순화하고 자동화할 수 있습니다.

관리자는 백그라운드 스냅샷 관리자인 스냅샷 수명 주기 관리(SLM) API를 사용하여 Elasticsearch 클러스터의 스냅샷을 생성할 케이던스를 정의할 수 있습니다. SLM은 전용 UI를 통해 사용자가 SLM 보존 정책을 구성하고, 스냅샷을 자동으로 생성, 예약 및 삭제할 수 있도록 지원합니다. 이를 통해 고객 SLA를 준수하는 복구가 가능한 빈도로 해당 클러스터가 적절하게 백업됩니다.

스냅샷은 Elasticsearch 클러스터 실행에서 얻어지는 백업입니다. 개별 인덱스나 전체 클러스터의 스냅샷을 찍어서 공유 파일 시스템의 리포지토리에 저장할 수 있습니다. 원격 리포지토리도 지원하는 플러그인이 제공됩니다.

검색 가능한 스냅샷을 사용하면 일반적인 스냅샷에서 스냅샷 복원을 완료하는 데 걸리는 시간을 단축하여 스냅샷을 직접 쿼리할 수 있습니다. 이 작업은 요청을 완료하기 위해 각 스냅샷 인덱스의 필요한 부분만 읽는 방식으로 이루어집니다. Cold 티어와 함께 검색 가능한 스냅샷은 Amazon S3, Azure Storage 또는 Google Cloud Storage와 같은 객체 기반 스토리지 시스템의 복제본 샤드를 백업하는 동시에 해당 시스템에 대한 전체 검색 액세스를 제공함으로써 데이터 스토리지 비용을 크게 절감할 수 있습니다.

분석을 위해 과거 데이터를 유지하는 것은 극히 유용합니다. 그러나 막대한 양의 데이터를 보관하는 데 드는 경제적인 비용으로 인해 과거 데이터를 유지하지 못하는 경우가 자주 있습니다. 따라서 보존 기간은 방대한 과거 데이터의 유용성보다는 경제적인 현실에 따라 달라지게 됩니다. 롤업 기능은 과거 데이터를 요약하고 저장하는 수단을 제공함으로써, 원시 데이터 저장 비용의 극히 일부만으로도 분석을 위해 사용할 수 있게 해줍니다.

데이터 스트림은 지속적으로 생성되는 시계열 데이터를 수집, 검색 및 관리할 수 있는 편리하고 확장 가능한 방법입니다.

데이터 트랜스폼은 2차원 표 형식 데이터 구조로서, 색인된 데이터를 좀 더 이해하기 쉽게 만들어줍니다. 데이터 트랜스폼은 데이터를 새로운 엔터티 중심의 인덱스로 피벗하는 집계를 수행합니다. 데이터를 변환하고 요약함으로써, 다른 머신 러닝 분석을 위한 소스로 활용하는 등 대안적인 방식으로 데이터를 시각화하고 분석할 수 있습니다.

업그레이드 도우미 API는 사용자가 Elasticsearch 클러스터 업그레이드 상태를 확인하여, 이전의 메이저 버전에서 생성된 인덱스를 재색인할 수 있게 해줍니다. 도우미는 사용자가 Elasticsearch의 다음 번 메이저 버전에 대비할 수 있도록 도와줍니다.

API 키 관리는 사용자가 자체 키를 관리하여 각 역할에 대한 액세스를 제한할 수 있을 정도로 유연해야 합니다. 전용 UI를 통해, 사용자는 API 키를 생성하고 이를 이용해 Elasticsearch와 상호 작용하는 동안 장기적인 자격증명을 제공할 수 있습니다. 이것은 자동화된 스크립트나 다른 소프트웨어와의 워크플로우 통합에서 흔히 있는 경우입니다.

일부 설정은 민감하며, 그 값을 보호하기 위해 파일 시스템 사용 권한에만 의존하는 것은 충분하지 않습니다. 이러한 사용 사례의 경우, Elasticsearch는 민감한 클러스터 설정에 대한 원치 않는 액세스를 방지하지 위해 키 저장소를 제공합니다. 키 저장소는 한층 강화된 보안을 위해 원하는 경우 비밀번호로 보호할 수 있습니다.

SSL/TLS, 노드 인증 인증서 등을 사용한 트래픽 암호화를 통해 Elasticsearch 노드 데이터상의 네트워크 기반 공격을 막을 수 있습니다.

Elastic Stack이 휴면 암호화를 기본으로 구현하지는 않지만, 모든 호스트 컴퓨터에서 디스크 수준의 암호화를 구성할 것을 권장합니다. 아울러, 스냅샷 대상 또한 데이터가 휴면 암호화되는지 확인해야 합니다.

역할 기반 액세스 제어(RBAC)는 역할에 권한을 할당하고 사용자나 그룹에게 역할을 할당함으로써 사용자를 승인할 수 있게 해줍니다.

Elastic Stack의 보안 기능은 또한 속성 기반 액세스 제어(ABAC) 메커니즘을 제공합니다. 이것은 사용자가 속성을 사용해 검색 쿼리와 집계에서 문서에 대한 접근을 제한할 수 있게 해줍니다. 이를 통해 역할 정의에서 액세스 정책을 구현하여, 사용자들이 모든 필요 속성을 갖는 경우에만 특정 문서를 읽을 수 있도록 할 수 있습니다.

필드 수준 보안은 사용자가 읽기 액세스 권한을 갖는 필드를 제한합니다. 특히, 도큐먼트 기반 읽기 API에서 액세스할 수 있는 필드를 제한합니다.

감사를 활성화하여 인증 실패 및 접속 거부와 같은 보안 관련 이벤트를 추적할 수 있습니다. 이러한 이벤트를 로깅하면 사용자가 의심스러운 활동에 대해 클러스터를 모니터링할 수 있으며, 공격을 받을 경우 증거를 제공합니다.

IP 필터링을 클러스터에 합류하고자 하는 다른 노드에 더하여 애플리케이션 클라이언트, 노드 클라이언트, 또는 이동 클라이언트에 적용할 수 있습니다. 노드의 IP 주소가 블랙리스트에 있는 경우, Elasticsearch 보안 기능은 Elasticsearch로의 연결이 가능하도록 하지만 즉시 해제되며 아무 요청도 처리되지 않습니다.

xpack.security.transport.filter.allow: "192.168.0.1"
xpack.security.transport.filter.deny: "192.168.0.0/24"

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

xpack.security.transport.filter.allow: "2001:0db8:1234::/48"
xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

Elastic Stack의 보안 기능은 영역과 하나 이상의 토큰 기반 인증 서비스를 이용해 사용자를 인증합니다. 영역은 인증 토큰을 기반으로 사용자를 확인하고 인증하는 데 사용됩니다. 보안 기능은 수많은 기본 영역을 제공합니다.

Elastic Stack은 Elasticsearch를 백엔드 서비스로 사용하여 Kibana에서 SAML 싱글 사인온(SSO)을 지원합니다. SAML 인증은 사용자가 Okta나 Auth0 같은 외부 ID 공급자를 이용해 Kibana에 로그인하게 해줍니다.

Elastic Stack의 보안 기능으로 기본 지원되지 않는 인증 시스템을 사용하는 경우, 사용자를 인증하기 위해 사용자 정의 영역을 생성할 수 있습니다.

크고 작은 조직들이 Elastic Stack을 믿고 필요한 경보들을 처리하는 데는 이유가 있습니다. 모든 소스에서 모든 형식의 데이터를 안정적으로 또 안전하게 수집함으로써, 분석가가 실시간으로 핵심 데이터를 검색, 분석, 시각화할 수 있습니다. 이 모든 것이 사용자 정의된 안정적인 경보 기능과 함께 제공됩니다.

이메일, IBM Resilient, Jira, Microsoft Teams, PagerDuty, ServiceNow, xMatters, Slack과 통합이 기본 제공되므로 간편하게 경보를 연결할 수 있습니다. 웹훅 출력을 통해 원하는 다른 타사 시스템과 통합할 수 있습니다.

Elasticsearch는 표준 RESTful API와 JSON을 사용하며 자바, Python, .NET, SQL, PHP 같은 다양한 언어로 클라이언트를 구축하고 유지관리합니다. 또한 우리 커뮤니티는 훨씬 많은 것을 기여해 왔습니다. 이러한 클라이언트는 사용하기 간편하며 Elasticsearch처럼 사용자가 수행하는 작업에 제한이 없습니다.

Elasticsearch는 쿼리를 정의하기 위해 JSON에 기반한 전체 쿼리 DSL(도메인 특정 언어)를 제공합니다. 쿼리 DSL은 용어 및 구문 일치, 부분 일치, 와일드카드, 정규식, 네스트 쿼리, 위치 정보 쿼리 등 풀텍스트 검색을 위한 강력한 검색 옵션을 제공합니다.

GET /kr/_search
{
    "query": {
        "match" : {
            "message" : {
                "query" : "this is a test",
                "operator" : "and"
            }
        }
    }
}

Elasticsearch SQL은 SQL 같은 쿼리가 Elasticsearch에 대해 실시간으로 실행되도록 해주는 기능입니다. REST 인터페이스, 명령 줄 또는 JDBC, 어느 것을 사용하든, 모든 클라이언트는 Elasticsearch 내에서 기본적으로 SQL을 사용해 데이터를 검색하고 집계할 수 있습니다.

특정 조건과 일치하는 이벤트 시퀀스를 쿼리할 수 있는 기능을 갖춘 Event Query Language(EQL)는 보안 분석과 같은 사용 사례를 위해 특별히 구축되었습니다.

Elasticsearch SQL JDBC 드라이버는 Elasticsearch를 위한 모든 기능이 갖추어진 풍부한 JDBC 드라이버입니다. Type 4 드라이버인데, 이 말은 JDBC 호출을 Elasticsearch SQL로 변환하는, 플랫폼과는 독립적으로 데이터베이스에 직접 작용하는 순수한 독립형 자바 드라이버라는 뜻입니다.

Elasticsearch SQL ODBC 드라이버는 Elasticsearch를 위한 모든 기능이 갖추어진 풍부한 3.80 ODBC 드라이버입니다. 핵심 레벨의 드라이버로서, Elasticsearch SQL ODBC API를 통해 접근 할 수 있는 모든기능을 노출시키며, ODBC 호출을 Elasticsearch SQL로 변환합니다.

Elasticsearch용 Tableau 커넥터를 사용하면 Tableau Desktop 및 Tableau Server 사용자가 Elasticsearch의 데이터에 손쉽게 액세스할 수 있습니다.

Elasticsearch는 보안을 구성하고 명령줄에서 다른 작업을 수행하기 위한 수많은 도구를 제공합니다.

문서 API를 사용해 개별 문서에서 또는 여러 문서에 걸쳐 CRUD 작업(생성, 읽기, 업데이트, 삭제)을 수행합니다.

Elasticsearch 검색 API는 사용자가 단순한 풀텍스트 검색 그 이상을 구현할 수 있게 해줍니다. 또한 제안 도구(용어, 문구, 완성 등)를 구현하고, 순위 평가를 수행하며, 왜 어느 문서가 검색을 통해 반환되었는지 또는 반환되지 않았는지에 대한 피드백까지도 제공하도록 도와줍니다.

집계 프레임워크는 검색 쿼리를 기반으로 집계된 데이터를 제공할 수 있도록 도와줍니다. 이것은 복잡한 데이터 요약을 구축하기 위해 구성될 수 있는 집계라고 하는 간단한 빌딩 블록을 기반으로 합니다. 집계는 문서 세트에 대해 분석적인 정보를 구축하는 작업 단위로 볼 수 있습니다.

수집 API를 사용하여 데이터 파이프라인에서 CRUD 작업을 수행하거나 시뮬레이트 파이프라인 API를 사용하여 일련의 문서에 대해 특정한 파이프라인을 실행합니다.

다양한 관리 관련 API로 Elasticsearch 클러스터를 프로그래밍 방식으로 관리하세요. 인덱스의 관리, 매핑, 클러스터, 노드, 라이선싱, 보안 등을 위한 수많은 API가 있습니다. 그리고 사람이 읽을 수 있는 형식으로 결과가 필요하시면, cat API를 사용하시면 됩니다.

Apache Hadoop용 Elasticsearch(Elasticsearch-Hadoop 또는 ES-Hadoop)는 무료 개방형이자 자체적으로 포함된 독립 실행형 소규모 라이브러리로서, Hadoop 작업이 Elasticsearch와 상호작용할 수 있게 해줍니다. ES-Hadoop을 사용해 동적 임베디드 검색 애플리케이션을 손쉽게 구축하고, 풀텍스트 검색과 위치 정보 쿼리, 집계를 통해 보다 깊이 있고 지연 시간이 짧은 Hadoop 데이터 분석을 실시할 수 있습니다.

Apache Hadoop용 Elasticsearch는 Apache Hive에 대한 최고의 지원을 제공합니다. Apache Hive는 Hadoop을 위한 데이터 창고 시스템으로, 손쉬운 데이터 요약화, 임시 쿼리, 그리고 Hadoop 호환 파일 시스템에 저장된 대규모의 데이터 세트 분석을 용이하게 합니다.

Apache Hadoop용 Elasticsearch는 빠른 범용 클러스터 계산 시스템인 Apache Spark에 대한 최고의 지원을 제공합니다. 이것은 자바, Scala, Python에서 고급 API와 일반 실행 그래프를 지원하는 최적화된 엔진을 제공합니다.

JDBC와 ODBC 인터페이스 덕분에, 폭넓은 서드파티 BI 애플리케이션이 Elasticsearch SQL 기능을 사용할 수 있습니다.

무료 개방형이며 언어에 구애받지 않는 애플리케이션으로서, 플러그인과 통합을 통해 Elasticsearch의 기능을 손쉽게 확장할 수 있습니다. 플러그인은 핵심 Elasticsearch 기능을 사용자 정의 방식으로 향상하는 방법이며, 통합은 한결 손쉽게 Elasticsearch를 가지고 작업할 수 있게 해주는 외부 도구 또는 모듈입니다.

정말 쉽게 시작할 수 있습니다. Elasticsearch와 Kibana를 아카이브로 또는 패키지 매니저와 다운로드하여 설치하면 됩니다. 금방 데이터를 색인, 분석, 시각화할 수 있습니다. 기본 배포를 이용하면, 30일 무료 체험판으로 머신 러닝, 보안, 그래프 분석 등과 같은 플래티넘 기능들을 시험 사용해 볼 수도 있습니다.

Elastic Cloud는 계속 증가하는 Elastic SaaS 제품군으로서 클라우드에서 Elastic 제품을 쉽게 배포, 운영, 확장하게 해줍니다. 쉽게 사용할 수 있고 관리되는 호스트형 Elasticsearch 환경에서부터 기본 제공되는 강력한 검색 솔루션에 이르기까지, Elastic Cloud는 Elastic을 원활하게 사용할 수 있는 기본 토대입니다. Elastic Cloud 제품을 14일간 무료로 사용해 보세요. 신용카드는 필요 없습니다.

Elastic Cloud Enterprise(ECE)를 이용해, 모든 규모 및 인프라에서 Elasticsearch와 Kibana를 프로비저닝, 관리, 모니터링하고 단일 콘솔에서 모든 것을 관리하세요. Elasticsearch와 Kibana를 실행할 실제 하드웨어, 가상 환경, 프라이빗 클라우드, 퍼블릭 클라우드 내 개인 영역, 또는 일반 퍼블릭 클라우드(예: Google, Azure, AWS)를 선택하세요. 모든 곳에서 이용 가능합니다.

Kubernetes Operator 패턴 위에 구축된 Kubernetes의 Elastic Cloud(ECK)는 기본 Kubernetes 오케스트레이션을 확장하여 Kubernetes의 Elasticsearch와 Kibana 설정 및 관리를 지원합니다. Kubernetes의 Elastic Cloud는 배포, 업그레이드, 스냅샷, 확장, 고가용성, 보안 및 Kubernetes에서 Elasticsearch를 실행하기 위한 여러 가지를 간단하게 처리할 수 있도록 간소화합니다.

공식 Elasticsearch와 Kibana Helm 차트로 몇 분 만에 배포하세요.

Docker Hub의 공식 컨테이너로 Docker에서 Elasticsearch와 Kibana를 실행하세요.