지속적인 통합
대량의 기술 데이터와 애플리케이션 데이터가 단기간 내에 통합될 수 있습니다.
로그와 지표(메트릭) 파일의 중앙화
다른 애플리케이션 계층의 정보를 중앙 통제하여 처음부터 끝까지 모든 활동을 분석할 수 있으며, 교차-기능 조회를 위해 서로 다른 환경의 트랜잭션 작업을 모니터링합니다.
문제에 대한 응답성 개선
특정 대상 분석과 앱 운영자 대시보드를 사용해 팀들은 더 효율적으로 이상 징후 탐색 및 인지를 할 수 있습니다.
회사 소개
BPCE Group은 프랑스에서 두 번째로 큰 뱅킹 그룹이며, 유럽 뱅킹 그룹 10위권 안에 드는 기업입니다.
총 직원 수 106,500명으로 3,100만 고객에게 서비스를 제공하고 있으며 그 중 900만이 회원입니다. 프랑스 경제의 20% 이상을 조달하고 있는 BPCE Group은 저축, 투자, 현금, 융자, 보험 솔루션 등 일체의 상품과 서비스를 고객에게 제공합니다. 그 협력적인 상황에 맞게, BPCE Group은 고객의 프로젝트를 돕고 고객과 장기적인 관계를 구축합니다.
보안과 확장성이 좋은 멀티비즈니스 서비스 플랫폼을 위한 처리 및 분석 능력
2015년에 설립된 BPCE Infogérance et Technologies는 BPCE Group을 담당하는 IT 자회사입니다. 회사간에 통합된 구매 방식으로, BPCE Group 전체 IT 운영 환경의 비용을 절감하고 서비스 품질을 개선하기 위해, 인프라를 통합하고, 풀 단위로 공동 구매를 하는 경제이익그룹(EIG)입니다. 또한 사용자와 정보 시스템을 위해 부가 가치 인프라 서비스(메시지 전송, 비디오 회의 등)도 제공합니다.
BPCE-IT는 IT-CE, i-BP, BPCE SA(IT 사업부), Natixis(융자, 결제, 증권), Palatine, Crédit Coopératif, 이렇게 여섯 개의 IT 제공 업체의 IT 관리 활동을 통합 관리하고 있습니다.
투자와 자원 풀링을 통해 통합 효율성을 개선하고자 하는 BPCE Group의 “Innov 2020” 전략 계획의 일환으로 IT 사용과 관련하여 다음과 같이 두 개의 목표를 명확하게 정의하였습니다.
- (인프라와 애플리케이션 모두의 측면에서) 성능과 기능적 분석을 위한 데이터 확보 및 활용성 극대화
- 유연성, 민첩성, 성능을 개선할 수 있도록 파트너(Natixis 와 같은 공급 업체, 내부 고객 등)에게 제공하는 서비스 개선
이 도전 과제를 해결하기 위해 BPCE-IT에서는 인프라와 애플리케이션과 관련된 대량의 로그 파일을 처리해야 했습니다. 이 로그 파일은 충분히 활용할 수 없었습니다. 회사는 실시간으로 대량의 기타 데이터를 처리하고 분석하는 역량을 위해 Elastic Stack을 선택했습니다. 아울러, 보안 기능으로 클러스터 데이터에 접근 권한도 제공하였습니다. 이를 통해 BPCE-IT는 해당 데이터를 확보하고 인프라 및 관리 비용을 최적화할 수 있었습니다.
방대한 양의 데이터를 실시간으로 최적화하여 처리하기 위해 Elastic Stack에 기반한 표준 아키텍처가 적용되었습니다. 이 시스템은 서비스 중단 및 성능 저하를 미리 예측하고 사전에 예방하기 위해서, 가능한 한 조기에 부서 간 활동을 분석하고 문제를 탐색할 수 있도록 하여 팀의 응답성을 크게 개선시켰습니다.
BPCE Group이 Elastic과 함께한 여정
BPCE-IT 아키텍처 및 보안 사업부
두 팀은 BPCE-IT가 총괄 및 운영하는 산업 서비스 제공의 핵심 구성요소로서 솔루션을 평가하고 오픈 소스를 사용하기 시작하여 BPCE Group 내 Elastic Stack 사용을 확산해 왔습니다.
- 아키텍처 및 혁신 사업부는 IT 솔루션 혁신, 실험 및 실행을 위한 로드맵 개발과 인프라 관리를 담당합니다.
- 정보 시스템 보안 사업부는 SOC 활동 강화 및 SIEM(보안 정보 이벤트 관리)의 점진적인 발전을 담당합니다.
로그 파일 사용을 가능케하고 멀티비즈니스 서비스를 제공하고자 합니다.
이에 따라 BPCE-IT는 BPCE Group의 내부 고객과 파트너(개발자, 통합자, 다양한 운영팀, Natixis 같은 자회사 및 기타)를 위한 다양한 서비스의 개발과 산업화를 위해 헌신하고 있습니다. 이 프로젝트에 내재적인 여러 가지 어려움으로 인해 BPCE Group은 Elastic 전문가들과 협력하여 공유 플랫폼 구축을 진행하고 있습니다. 여기에는 인프라와 애플리케이션 로그 파일(원격 뱅킹, 사이버 보안, 웹 API 등)의 분석, 운영 보안, IT 운영의 성능 및 최적화와 아울러 다양한 유스케이스의 요청으로 배포되는 클러스터의 중앙 관리와 지원이 포함됩니다.
BPCE Group 데이터 센터의 초기 서버 1,200대를 제대로 파악하고 나니, 현재 Elastic 알림 기능이 원활하게 작동되고 있습니다. 미리 설정된 구성에 따라 생성되는 알림의 정확도를 최적화하고, 다른 모니터링 솔루션으로 포착하기 어려운 문제를 파악하는 것이 가능해졌습니다. 궁극적으로, 현재 이메일 방식의 알림 시스템은 티켓 발행 플랫폼으로 통합되어 이상 징후, 사고, 지원 요청을 관리하게 됩니다.
확장성있는 클러스터에 저장되어 있는 대량의 로그 파일에 빠르고 안전하게 접근해야 합니다.
BPCE-IT는 단일 플랫폼에서 보안 장비의 많은 로그 파일들을 가능한 한 신속하게 관리하기 위한 솔루션을 찾고 있었습니다. 사고 응답 시간을 개선하고 시스템 상태의 가시성을 확보하는 것이 목적입니다. Elastic Stack의 오픈 소스로서의 본성, 확장가능한 아키텍처, 입증된 검색 및 근실시간에 가까운 대량의 로그 파일 분석 통합 능력이 BPCE-IT의 관심을 끌었습니다. SOC(보안 운영 센터) 프로젝트를 위해 Elastic Stack 플래티넘 구독을 하고, 전체 정보 시스템(IS)으로 로그 파일 수집을 확장하기로 결정했습니다. 결정적인 이점은 보안 기능, 즉 대규모의 데이터 접근의 권한별 관리입니다. 이것은 BPCE-IT의 운영 데이터에 전략적인 이익을 제공해 줍니다. 또한, Elastic은 보안 정보 이벤트 관리(SIEM)를 Logstash와 쉽게 통합하는 이점이 있습니다. 이것은 기존 SIEM 솔루션과 상관없이 로그 파일 수집 방안을 확보해줍니다. Elastic Stack은 “보안 위협 사전 감지”를 위해 대량의 보안 데이터 실시간 분석과 임시 검색도 제공합니다.
Elastic Stack은 저희 IS와 대단히 잘 통합됩니다. Stack은 로그 파일을 수집하고 자체 보안 플랫폼에서 실시간으로 가시성을 확보할 수 있게 해주었습니다. SOC 내에서 보안 위협 사전 감지 활동을 수행하기도 합니다.
뱅킹 애플리케이션의 적절한 운영
로그 파일의 중앙화는 부서별 분석을 가능하게 하여 종단 간의 트랜잭션을 추적할 수 있게 해줍니다. 따라서 문제 해결 절차를 좀더 효율적으로 진행할 수 있습니다. 그러나 직면하는 문제의 성격이 항상 같은 것은 아닙니다. 어떤 것은 인프라 사용과 관련되어 있고, 다른 것은 파트너 공급자가 제공한 소프트웨어의 이상 징후와 관련되어 있습니다. 애플리케이션의 콘텐츠와 기술 로그 파일에 의해 밝혀지는 이상 징후는 특히 새로운 유형의 처리와 관련해 100% 소프트웨어 안정성을 꾸준히 계속적으로 성취하기 위한 귀중한 정보입니다.
Elasticsearch는 운영 환경 상태의 다양한 고객 서비스를 추적하는 데, 그리고 소위 “운영 환경이 중단된” 활동을 분석하는 데 사용됩니다. 다시 말해, 소프트웨어 개발에 사용되는 회귀 테스트 및 인증 플랫폼입니다. 따라서 운영자들과 개발 및 유지 관리 팀들은 새로운 서비스 운영의 유효성을 검사하고 전반적인 기능에 문제나 부정적인 영향이 없는지 확인할 수 있습니다.
일반적으로 여러 조직에서 Elastic의 Kibana를 사용하여 다양한 방식으로 애플리케이션 로그 파일을 분석합니다. 모든 팀에게 도움이 될 수 있는 고유 시스템을 만들기 위해 시스템 통합의 일환으로 만들어진 조직인 “디지털 팩토리”는 BPCE-IT가 제공하는 서비스로부터 혜택을 얻는 내부 고객의 한 예입니다. 또 다른 예는 신규 조직인 89C3(Leet Speak 언어안에 BPCE)이며, 회사의 디지털 트랜스포메이션과 관련된 애플리케이션의 제품 개발 및 출시를 담당합니다.
우리는 알림 덕분에 응답성 측면에서, 특히 예외적인 응답 시간 및 로그 파일의 HTTP 오류 코드와 관련해 효과를 보았습니다. 알림 기능은 밝혀진 문제점에 따라, 오동작의 세부사항을 담당팀에게 자동으로 전송합니다. 또한, 관련 서비스간에 연결 사슬 개선시 종합적인 진단을 통해서 확장 중에도 성능을 측정할 수 있습니다.
Elastic 클러스터의 규모가 고객 수와 함께 증가했으므로, 사전 예방을 위한 자동화된 모니터링 시스템이 필요한 상황이 되었습니다. 솔루션의 다양한 관련 제품(Beats, Logstash, Kafka, Elasticsearch)에서 발생하는 색인 문제에 빠르게 대응해야 했기 때문입니다. Elastic Stack 알림 기능은 근실시간으로 문제를 탐색하여 운영자가 해당 문제를 인지하기 전에 서비스를 복구하고 데이터 가용성을 확보할 수 있게 해줍니다.
또한, 알림 기능은 가장 중요한 비즈니스 데이터를 일 단위로 자동으로 수집한 집계(aggregation) 데이터를 인덱스 생성 주기가 더 길고 가벼운 인덱스로 재배치 하였습니다. 이 방식으로, Kibana 대시보드의 성능과 응답 시간을 개선하였으며, 특정 인덱스의 디스크 공간은 최대 300배까지 절감하였습니다.
비즈니스 중심 실행 전략
SIEM과 쉽게 통합되는 솔루션으로 시스템의 운영 보안성을 확보하는 것이 BPCE-IT를 위한 첫 단계였습니다. 그 후, 데이터를 대규모로 최대한 잘 활용하기 위해서, 서로 다른 회사에 분리되어 있었던 인프라와 애플리케이션 로그 파일들을 처리하고 분석하기 시작했습니다. 다양한 소스의 데이터를 관리할 수 있는 수평적인 공용 로그 파일 분석 플랫폼을 구축하는 것이 목표였습니다.
이제 시스템으로 로그 파일을 통합하는 것은 언제나 가능한 것이 되었습니다. 애플리케이션을 실행하는 팀들은 이제 편하게 Kibana 인터페이스를 사용하고 있습니다. 응답성을 개선하기 위해 자동화된 알림이 정기적으로 실행됩니다. BPCE-IT는 또한 Kibana를 사용해 성능 지표(메트릭)를 만들고 회사 보고서를 생성합니다.
앞으로 제공할 서비스를 찾는 과정에서, Caisse d’Epargne 지점들의 워크스테이션의 안정성과 사용 패턴을 분석하는 POC(Proof Of Concept)를 통해 머신 러닝 플로그인의 유효성을 검증하였습니다. 여기에는 애플리케이션의 동작을 연구하는 한편, 문제의 빈도와 원인을 보다 잘 파악하여, 특히 미래의 문제를 예측하고 그 해결 시간을 단축시키는 것이 포함됩니다. 결국, BPCE Group의 모든 온라인 뱅킹 로그 파일을 이 플랫폼에서 수집하여 원격 서비스의 사용 패턴을 연구할 수 있을 것입니다.
대시보드 활용 사례
요청에 따른 다양한 서비스 제공을 위한 로그 파일 클러스터 확보
확장성이 좋고 풍부한 Elastic Stack 기능 덕분에, BPCE-IT는 다양한 서비스를 제공하고자 하는 임무를 달성하였으며, 이제 BPCE Group의 수많은 내부 고객과 파트너의 다양한 니즈에 대응하는 한편, 서비스를 확산하기 위해 노력하고 있습니다.
운영 환경 중에 있는 여러 사용 사례의 성공적인 배포를 통해, BPCE-IT는 이제 활성화된 “디지털 팩토리”의 다양한 인터페이스와 소프트웨어에서 로그 파일을 가져와 Elastic 클러스터에 적재하고 있습니다. 특별한 목표 한 가지는 머신 러닝 기능으로 이 데이터를 최대한 잘 활용해 예측 분석을 확립하고 코드 이상 징후나 애플리케이션 상호 종속성을 탐색할 수 있게 되는 것입니다.
애플리케이션 팀은 해당 환경에서 어떤 일이 일어나고 있는지 보다 잘 이해하기 위해서 때로는 사용하기 어려운 데이터를 최대한 활용할 수 있도록 정기적으로 성능 혹은 기능 분석을 요청합니다. 로그 파일 처리가 가능해짐으로써, 결국 유연성과 민첩성을 개선하는 고객들의 다양한 니즈를 만족시킬 수 있습니다.
BPCE-IT는 Elastic Cloud Enterprise(ECE)로 POC를 수행하여, 단일 콘솔에서 모든 Elasticsearch 클러스터의 파일럿 작업과 실행을 쉽게 처리할 수 있다는 것을 검증하였습니다. Elastic Stack 플래티넘 구독에 포함되어 있는 모든 기능을 BPCE Group의 모든 내부 클라이언트에게 프리미엄 서비스로 제공하는 것 또한 목표입니다. 아울러 BPCE-IT는 먼저 보안을 확보해야 하는 수많은 오픈 소스 클러스터의 데이터를 최대한 잘 활용하려고 합니다. 민감한 데이터가 자주 노출되곤 하는 위험성을 사용자가 항상 의식하고 있는 것은 아니기 때문입니다.
“주문형 클러스터” 모드에서 일 년 넘게 작업을 한 후, 서서히 기존 배포를 마이그레이션하면서 BPCE Group 내의 모든 회사에게 완전하고 동일한 서비스를 제공하고, 공통 관리 플랫폼에서 미래의 앱 개발 관리를 중앙화하기 위해 2019년 1분기 중에 ECE를 운영 환경으로 배포할 계획입니다.
2019년에 계획된 다른 프로젝트들과 함께 Elastic Stack을 계속해서 더욱 확장해나갈 것입니다. 정보 시스템 보안 부서가 1분기에 머신 러닝 기능을 이용한 또 다른 POC를 계획하고 있습니다. 뱅킹 사이버 사기와 데이터 손실 탐색을 개선하는 것이 목적입니다.
이 다양한 프로젝트는 파트너에게 제공되는 다양한 범위의 서비스를 향상시킬 뿐 아니라 데이터를 산업화하고 보안을 유지함으로써 집합적 효율성 개선을 목적으로 하는 BPCE Group의 “Innov 2020” 전략 계획과 긴밀히 연결되어 있습니다.