Despliegue de un cluster de logging caliente-tibio en Elasticsearch Service
¿Quieres saber más sobre las diferencias entre Amazon Elasticsearch Service y nuestro Elasticsearch Service oficial? Visita nuestra página comparativa AWS Elasticsearch.
Hemos agregado muchísimas nuevas características a Elasticsearch Service en Elastic Cloud que reforzarán todos tus casos de uso, desde logging hasta analíticas de búsqueda, y más. Uno de los anuncios clave fue la incorporación de plantillas de despliegue de arquitectura caliente-tibia que, junto con un modelo de precios reducido, te brindará más valor cuando uses Elasticsearch Service para casos de uso de logging.
En este blog, hablaremos sobre cómo usar la nueva plantilla de despliegue caliente-tibio, junto con otras características del Elastic Stack poderosas, como Machine Learning y alertas, para ayudarte a encontrar más información dentro de tus datos de log, todo en menos de 10 minutos. Si no tienes una cuenta de Elasticsearch Service, asegúrate de registrarte en la prueba gratuita de 14 días.
¿Qué es una arquitectura caliente-tibia?
Una arquitectura caliente-tibia es una manera poderosa de separar un despliegue de Elasticsearch en nodos de datos “calientes” y nodos de datos “tibios”. Los nodos de datos calientes se ocupan de todos los datos nuevos que ingresan y cuentan con un almacenamiento más rápido para asegurar que puedan ingestar y recuperar datos rápidamente. Los nodos tibios cuentan con una densidad de almacenamiento mayor y son más rentables con períodos de retención de almacenamiento mayores para los datos de logging. Estos dos tipos de nodos de datos, al unirse, te permiten administrar de forma efectiva los datos que ingresan y que estén disponibles para la búsqueda y, al mismo tiempo, retener datos durante períodos más largos sin hacer saltar la banca.
Esto es útil especialmente para los casos de uso de logging, en los que el foco principal está en los logs recientes (por ejemplo, de las últimas 2 semanas) y los logs más antiguos (que pueden ser necesarios para cumplir con requisitos o por otras razones) pueden adaptarse a tiempos de búsqueda más lentos.
Creación de un despliegue caliente-tibio
Elasticsearch Service hace que desplegar una arquitectura caliente-tibia sea rápido, incluso la administración de las políticas de procesamiento de índices para mover datos de los nodos de datos calientes a los nodos de datos tibios, una característica única de Elastic Cloud que no ofrecen otros proveedores de Elasticsearch hospedados. ¿Qué tan rápido? En este blog, tendremos un cluster de logging caliente-tibio funcionando en menos de 5 minutos, incluido un nodo de Machine Learning complementario de 1 gb y un nodo Kibana de 1 gb.
Para comenzar, iremos a la consola de Elasticsearch Service y haremos clic en Crear despliegue.
Para este ejemplo, elegimos la región este de EE. UU con AWS y seleccionaremos la opción “Arquitectura caliente-tibia” de la sección “Optimizar tu despliegue”. Desde aquí, seleccionaremos Personalizar despliegue.
En la página de personalización, puedes escalar de manera independiente la configuración de la instancia caliente y la configuración de la instancia tibia. Para aprender a dimensionar estas instancias para tus necesidades específicas, asegúrate de leer nuestro blog sobre dimensionamiento caliente-tibio.
Vamos a mantener los valores predeterminados para este ejemplo.
Además, vamos a habilitar Machine Learning en nuestro despliegue. Todos los despliegues en Elasticsearch Service incluyen un nodo de Machine Learning de 1 gb y un nodo de Kibana de 1 gb sin cargo.
Desde aquí, haremos clic en Configurar procesamiento de índices.
Procesamiento de índices
El procesamiento de índices te permite definir por cuánto tiempo se mantienen los índices en los nodos calientes antes de ser trasladados a los nodos tibios. Los valores predeterminados incluyen índices populares creados por Beats (metricbeat-*, filebeat-*) y Logstash (logstash-*) con un período de un día antes del traslado. Vamos a mantener estos valores predeterminados para este ejemplo.
Nota: Siempre podrás cambiar estas reglas después del despliegue mediante la página Operaciones debajo del despliegue.
Una vez que esto esté terminado, vamos a volver a hacer clic en Crear despliegue.
¡Felicitaciones! ¡Ya puedes desplegar una arquitectura caliente-tibia poderosa!
Envío de datos
Ahora que nuestro despliegue caliente-tibio está listo, vamos a comenzar a enviar algunos datos de logging. Para hacerlo, vamos a instalar Beats en nuestra máquina local y después usaremos la ID y la contraseña de la nube de Elasticsearch Service generada en nuestro despliegue para comenzar a enviar datos. Para conocer todos los detalles sobre cómo configurar Beats y Elasticsearch Service, visita nuestro blog sobre cómo usar Metricbeat con Elasticsearch Service.
Para encontrar la ID de la nube, podemos ir a la página Despliegues y después a ID de la nube:
Nota: ¿Has olvidado tu contraseña? ¡No hay problema! Elasticsearch Service te permite restaurar la contraseña de usuario de Elastic en Despliegue -> Seguridad -> Restablecer contraseña.
Ahora que los datos fluyen de nuestra máquina local, iniciemos sesión en Kibana y veamos el dashboard. A medida que recibimos más datos, Elasticsearch Service continuará transfiriendo datos del nodo caliente al nodo tibio todos los días.
Agregar Machine Learning
Otra nueva característica interesante de Elasticsearch Service es que ahora es compatible con Machine Learning. Además, todos los usuarios pueden agregar un nodo de Machine Learning de 1 gb en su despliegue de manera gratuita. Como ya lo incluimos en nuestro despliegue, podemos navegar a Kibana y abrir la app de Machine Learning para crear actividades de Machine Learning.
Para obtener más información sobre Machine Learning y otros casos de uso, visita la siguiente página de características de Machine Learning de Elastic.
Conclusión
Las nuevas características de Elasticsearch Service hacen que poner a funcionar una arquitectura caliente-tibia sea tan fácil como hacer unos simples clics. Además, otras características del Elastic Stack, como el Machine Learning y la seguridad, te permiten un control más poderoso que nunca de tus logs y métricas con Elasticsearch Service.
¿Tienes curiosidad? No dejes pasar nuestra prueba de 14 días.