제공
EP 시스템은 Elasticsearch를 통해 사용자 중심의 서비스를 지원할 수 있는 유연성을 제공받았습니다.
확장 기능
Stack의 다양한 확장 기능을 통해 사용자의 요구사항을 쉽게 처리할 수 있습니다.
빠른 버전 관리
Elasticsearch의 주기적인 version up으로 사용자의 새로운 요구에 대한 대응을 쉽게 할 수 있습니다.
회사 소개(포스코 그룹 EP시스템)
포스코 그룹 EP 시스템은 포스코 및 포스코 그룹사의 업무 시스템으로 기업 포털로서의 인터넷과 기업 내부의 문서, 애플리케이션 및 인터넷 서비스의 게이트 역할을 수행하는 포스코 그룹 통합 인트라넷입니다. EP 시스템의 검색 시스템 운영팀은 검색엔진의 구축 및 운영을 담당하고 있으며, 40,000명(포스코 약 2만명/그룹사 약 2만명)의 포스코 및 포스코 계열사 내의 직원들에게 서비스를 제공하고 있습니다.
포스코IT 사업부 EP운영팀은 Elasticsearch로 검색엔진을 교체하면서 사용자의 만족도에 긍정적인 영향을 미칠 것이라고 판단하고 있습니다. 그들은 Elastic Stack의 다양한 확장 기능들을 이용하면서 다량의 데이터를 컨트롤하고 안정화할 수 있다는 것에 큰 만족감을 느끼고 있습니다. 또한 향후 서버의 장애를 미리 탐지하는 장애 예방 시스템과 사용자 맞춤 검색 등 Elastic Stack의 다양한 기능을 적용하여 프로젝트들을 진행할 예정입니다.
ELASTIC과 함께한 포스코 EP 시스템의 검색엔진 교체
The Who: 정진하 PM, 황의영, 김종철 및 포스코IT 사업부 EP (Enterprise Portal) 운영팀
다양해진 사용자의 요구 사항을 충족하기 위해 정진하 PM과 그의 팀은 검색엔진에 대해 좀 더 학습하고 포스코의 시스템에 맞도록 커스터마이징이 가능한 검색엔진을 찾기 위해 Elasticsearch Seoul Meetup에 주기적으로 참여하였습니다. Meetup을 통하여 Elastic 제품과 오픈소스 소프트웨어에 대해 학습하고 아키텍트 가능성 여부를 판단하여 기존의 Google Search Appliance (GSA) 기반의 검색엔진을 새로운 검색엔진으로 교체하기로 하였습니다.
Elasticsearch를 접하고 나서 사용자를 위해 우리가 개선사항을 적용할 수 있겠구나라는 희망을 보았기 때문에 교체를 한 것이 훌륭한 결정이었다고 생각합니다.
The What: 사용자의 다양한 요구에 빠르게 대응하기
기존의 Google Search Appliance 검색엔진을 활용한 EP 시스템의 검색 시스템은 사용자가 원하는 다양한 요구를 충족할 수 없었습니다. 이에 포스코IT 사업부 EP운영팀은 검색엔진을 교체하기로 결정합니다. 그들은 Elastic Stack을 선택하여 파일럿을 거쳐 현재 가동 서비스 중에 있으며, 사용자의 다양한 요구에 빠르게 대응 할 수 있게 되었습니다.
나아가 시스템 운영의 안정화는 물론, EP 시스템을 구성하는 솔루션을 자체적으로 구축할 수 있도록 솔루션 자력화와 기술력 향상에 집중하여 사용자 중심의 보다 나은 시스템 구현을 하고자 합니다.
The Why: 다양한 데이터를 콘트롤하고 안정화할 수 있는 검색엔진
EP운영팀은 여러 연계 시스템들의 다양한 검색 요건을 충족시키기 위해 Elasticsearch의 Aggregation 등의 전문검색기능을 사용하고 있고, 색인은 Elastic의 Logstash도 훌륭하지만 ICT에서 자력화한 안정적이고 고성능의 별도의 색인 솔루션을 사용 중에 있습니다.
색인된 데이터의 보안 문제로 유료버전인 내 Security 제품을 사용하고 있고, 엄청난 양의 데이터 및 연계된 수많은 시스템들의 데이터/시스템 안정성을 이유로 초기부터 플래티넘 라이선스로 Elastic 제품을 이용 중에 있습니다
The How: Elastic Stack의 다양한 확장기능, 주기적인 버전 업그레이드 및 버전 관리, 분산환경 개념의 유연한 검색엔진
Elastic Stack의 Logstash, Beats 등 다양한 확장 기능으로 개발자가 사용자에게 새로운 서비스를 더 많이, 더 쉽게 제공할 수 있었습니다. 또한 해당 기능을 제공할 뿐만 아니라 주기적으로 Elasticsearch 외 확장 기능들도 동시에 version up을 하는 등 버전 관리를 꾸준히 하여 사용자의 요구에 쉽게 대응할 수 있도록 해주었습니다.
- Elastic Stack 활용 방법
- Elasticsearch – 메인 검색엔진 으로 활용
- Kibana – 검색엔진 및 데이터 안정 모니터링
- Security – Indexing된 데이터의 보안 문제로 사용자 및 데이터 인증
- Logstash/Beats – 검색엔진과는 별도로 시스템장애예측을 위한 로그 데이터 수집 시 사용
결과 : 성공적인 검색엔진 교체를 통해 이루어진 내용
EP운영팀은 4개월간 POC를 진행하였고, 가동 시까지 POC를 제외한 전체 약 1년여 기간이 필요했습니다. 소요된 시간의 주요 요인은 많은 데이터를 추출 및 이관하는데 있었습니다.
Elasticsearch로 검색엔진을 교체한 EP 시스템의 검색 시스템은 한국어에 대한 검색 결과의 정확도가 높으며, 데이터를 색인하고 처리하는 속도가 빨라 다량의 데이터를 안정적으로 컨트롤할 수 있었습니다. 이를 통해 방금 등록한 문서가 바로 검색 결과에 나올 수 있어, 사용자가 검색 시스템의 처리 속도에 가장 만족하고 있습니다.
사용자들이 가장 만족할 부분을 생각해보면, 조금 전에 등록했던 문서를 검색했더니 바로 검색결과에 나올 수 있는 빠른 처리 속도라고 할 수 있습니다.
포스코IT 사업부 EP운영팀은 Elastic Stack의 머신러닝 및 Kibana 등을 통해 로그 데이터를 수집해서 서버의 장애를 미리 탐지하는 장애 예방 시스템을 구축하거나 개인 성향에 맞는 검색 결과를 1:1로 맵핑하여 사용자별로 다른 검색 결과를 제공해주는 사용자 맞춤 검색 시스템을 구축하는 등의 다양한 향후 과제를 진행할 예정입니다. Elastic Stack의 다양한 확장 기능은 포스코의 프로젝트들을 손쉽게 구현할 수 있도록 지원할 것입니다.
