Primeros pasos con ES|QL (Elasticsearch Query Language)

ES|QL (Elasticsearch Query Language) es el nuevo lenguaje de búsqueda con barras verticales innovador de Elastic®, diseñado para acelerar los análisis de datos y procesos de investigación ofreciendo capacidades de agregación y procesamiento poderosas. 

Navega por las complejidades de identificar ataques cibernéticos en desarrollo o problemas de producción con facilidad y eficiencia mejoradas. 

ES|QL no solo simplifica la búsqueda, agregación y visualización de sets de datos masivos, sino que también empodera a los usuarios con características avanzadas, como búsquedas tipo lookup y procesamiento en tiempo real, todo desde una única pantalla en Discover.

Nuestros usuarios necesitan herramientas ágiles que no solo presentan datos, sino que ofrecen también métodos eficientes para darles sentido, además de la capacidad de actuar sobre la información en tiempo real y luego del procesamiento de datos de ingesta. 

El compromiso de Elastic con mejorar la experiencia de exploración de datos de los usuarios nos llevó a invertir en ES|QL. Está diseñado para ser accesible para los principiantes y poderoso para los expertos. Con la interfaz intuitiva de ES|QL, los usuarios pueden comenzar rápido y adentrarse en sus datos sin curvas de aprendizaje pronunciadas. La documentación en la app y autocompletar garantizan que elaborar búsquedas avanzadas se vuelva un flujo de trabajo sencillo. 

Además, ES|QL no solo muestra números, les da vida. Las visualizaciones contextuales impulsadas por el motor de sugerencias Lens se adaptan automáticamente a la naturaleza de tus búsquedas, lo cual brinda una vista clara de tu información. 

Además, una integración directa en las funcionalidades Dashboards y Alerting refleja nuestra visión de una experiencia integral y cohesiva. 

Básicamente, nuestra inversión en ES|QL fue una respuesta directa a las necesidades en evolución de nuestra comunidad; un paso hacia un flujo de trabajo más interconectado, revelador y eficiente.

Esto te pondrá en modo ES|QL en Discover.

Con ES|QL, puedes hacer una exploración de datos poderosa e integral. Te permite realizar una exploración de datos ad-hoc en Discover, crear agregaciones, transformar datos, enriquecer sets de datos y más directamente desde el generador de búsquedas. Los resultados se presentan en formato tabular o como visualizaciones; depende de la búsqueda que estés ejecutando.

A continuación, encontrarás ejemplos de búsquedas de ES|QL para observabilidad y cómo se representan los resultados tanto en formato tabular y como una representación visual. 

Búsqueda de ES|QL con el caso de uso de métricas:

La búsqueda anterior muestra cómo puedes usar el comando de origen siguiente, funciones de agregación y comandos de procesamiento: 

Comando de origen from (documentación)

from metrics*: inicia una búsqueda a partir de patrones de índice que coinciden con el patrón "metrics*". El asterisco(*) cumple la función de comodín, lo que significa que seleccionará datos de todos los patrones de índice cuyos nombres comiencen con "metrics". 

Agregaciones stats…by (documentación), max (documentación) y by (documentación) 

Este segmento agrega datos sobre la base de estadísticas específicas. Se desglosa de la siguiente manera: 

max_cpu=max(kubernetes.pd.cpu.usage.node.pct): para cada "kubernetes.pod.name" diferente, encuentra el porcentaje de uso de CPU máximo y almacena ese valor en una columna nueva denominada "max_cpu". 

max_mem = max(kubernettes.pod.memory.usage.bytes): para cada "kubernetes.pod.name" diferente, encuentra el uso de memoria máximo en bytes y almacena ese valor en una columna nueva denominada "avg_mem". 

Comandos de procesamiento (documentación)

• sort (documentación) 
• limit (documentación)

sort max_cpu desc: esto ordena las filas de datos resultantes según la columna "max_cpu" en orden descendente. Esto significa que la fila con el valor "max_cpu" más alto estará en la parte superior. 

limit 10: esto limita la salida a las primeras 10 filas luego de la clasificación. 

En resumen, la búsqueda: 

• Agrupa datos de todos los índices de métricas usando un patrón de índice.
• Agrega los datos para encontrar el porcentaje de uso de CPU máximo y el uso de memoria máximo para cada pod de Kubernetes diferente.
• Ordena los datos agregados según el uso de CPU máximo en orden descendente.
• Genera la salida de solo las primeras 10 filas con el uso de CPU más alto.

Visualizaciones contextuales: Al escribir búsquedas de ES|QL en Discover, recibirás representaciones visuales impulsadas por el motor de sugerencias Lens. La naturaleza de tu búsqueda determina el tipo de visualización que obtienes, ya sea una métrica un mapa de calor de histograma, etc. 

A continuación, encontrarás una representación visual en forma de gráfico de barras y una representación de tabla de la búsqueda anterior con las columnas max_cpu, avg_mem y kubernetes.pod.name:

Ejemplo de una búsqueda de ES|QL con el caso de uso de datos de series temporales y Observability: 

La búsqueda anterior muestra cómo puedes usar el comando de origen siguiente, funciones de agregación, comandos de procesamiento y funciones. 

Comando de origen from (documentación)

from apache-logs: inicia una búsqueda desde un índice denominado "apache-logs". Este índice contiene entradas de log relacionadas con el tráfico del servidor web Apache. 

where (documentación)

where url.original==”/login”: filtra los registros a solo aquellos en los que el campo "url.original" es igual a "/es/login". Esto significa que solo nos interesan las entradas de logs relacionadas con los intentos de inicio de sesión o accesos a la página de inicio de sesión. 

eval (documentación) y auto_bucket (documentación)

eval time_buckets =... : crea una columna nueva denominada "time_buckets". 

La función "auto_bucket" crea cubetas fáciles de usar para las personas y devuelve un valor datetime para cada fila que corresponde a la cubeta resultante a la que corresponde la fila. 

"@timestamp" es el campo que contiene la marca de tiempo de cada entrada de log. 

"50" es la cantidad de cubetas. 

"2023-09-11T21:54:05.000Z": hora de inicio de la creación de cubetas

"2023-09-12T00:40:35.000Z": hora de finalización de la creación de cubetas 

Esto significa que las entradas de log entre "2023-09-11T21:54:05.000Z" y "2023-09-12T00:40:35.000Z" se dividirán en 50 intervalos regulares y que cada entrada estará asociada a un intervalo específico según su marca de tiempo. 

El objetivo no es proporcionar exactamente la cantidad de cubetas objetivo, es elegir un rango con el que te sientas cómodo que proporcione, como máximo, la cantidad de cubetas objetivo. Si solicitas más cubetas, entoncesauto_bucket puede elegir un rango más pequeño. 

Agregaciones stats…by (documentación), count (documentación) y by (documentación) 

stats login_attempts = count(user.name) by time_buckets, user.name: agrega los datos para calcular la cantidad de intentos de inicio de sesión. Lo hace contando las instancias de "user.name" (representa usuarios únicos que intentan iniciar sesión). 

El conteo está agrupado por "time_buckets" (los intervalos de tiempo que creamos) y "user.name". Esto significa que por cada cubeta de tiempo, veremos cuántas veces intentó cada usuario iniciar sesión. 

sort (documentación) 

Sort login_attempts desc: Por último, los resultados agregados se ordenan según la columna "login_attempts" en orden descendente. Esto significa que el resultado mostrará la mayor cantidad de intentos de inicio de sesión en la parte superior. 

En resumen, la búsqueda:

• Selecciona datos del índice "apache-logs".
• Filtra entradas de logs relacionadas con la página de inicio de sesión.
• Agrupa en cubetas estas entradas en intervalos de tiempo específicos.
• Hace un conteo de la cantidad de intentos de inicio de sesión de cada usuario en cada uno de estos intervalos de tiempo.
• Genera la salida de resultados ordenados por la mayor cantidad de intentos de inicio de sesión en primer lugar.

A continuación, encontrarás una representación visual en forma de gráfico de barras y una representación de tabla de la búsqueda anterior con las columnas login_attempts, time_buckets y user.name.

Edita las visualizaciones de ES|QL directamente en Discover y Dashboards. No hace falta navegar a Lens para hacer ediciones rápidas; puedes hacer cambios sin inconvenientes. 

A continuación, puedes ver un video de un flujo de trabajo integral o leer la guía paso a paso:

1. Escribir una búsqueda de ES|QL

2. Obtener visualización contextual basada en la naturaleza de la búsqueda

3. Editar en línea la visualización

4. Guardarla en un Dashboard

5. Poder editar la visualización desde un Dashboard

Paso 1. Escribir una búsqueda ES|QL. Ejemplo de búsqueda que genera una visualización de métricas:

Paso 2. Obtener visualización contextual (en este caso, una visualización de métricas) basada en la naturaleza de la búsqueda. Luego puedes seleccionar el ícono de lápiz para entrar en modo de edición en línea.

Paso 3. Editar la visualización usando el modo de edición en línea

En el caso anterior, queremos que la visualización esté en modo de color dinámico, por lo que cambiamos a "Dynamic" (Dinámico).

También tenemos la oportunidad de definir los rangos de color que deseamos usar:

Paso 4. Guardar en un Dashboard

Paso 5. Poder editar la visualización desde un Dashboard

Puedes usar ES|QL para alertas de seguridad y observabilidad, configurando valores agregados como umbrales. Mejora la precisión de detección y recibe notificaciones procesables enfatizando tendencias significativas por sobre incidentes aislados a fin de reducir los falsos positivos. 

A continuación, nos enfocaremos en cómo crear un tipo de regla de alerta de ES|QL desde Discover. 

El nuevo tipo de regla de alerta está disponible dentro del tipo de regla de Elasticsearch existente. Este tipo de regla trae todas las funcionalidades nuevas disponibles en ES|QL y desbloquea nuevos casos de uso de alertas.

Con el nuevo tipo, los usuarios podrán generar una sola alerta basada en una búsqueda de ES|QL definida y previsualizar el resultado de la búsqueda antes de guardar la regla. Cuando la búsqueda devuelva un resultado vacío, no se generarán alertas.

Ejemplo de búsqueda para una alerta:

Paso 1. Haz clic en "Alerts" (Alertas) y luego en "Create search threshold rule" (Crear regla de umbral de búsqueda). Puedes comenzar a crear tu tipo de regla de alerta de ES|QL ya sea después de haber definido tu búsqueda de ES|QL en la barra de búsquedas o antes de haber definido tu búsqueda de ES|QL. El beneficio de hacerlo después de haberla definido es que la búsqueda se pega automáticamente en el elemento flotante "Create Alert" (Crear alerta). 

Paso 2. Comienza a definir tu tipo de regla de alerta de ES|QL.

Paso 3. Prueba tu búsqueda de tipo de regla de alerta. Puedes iterar en la búsqueda de ES|QL pegada y probarla haciendo clic en "Test query" (Probar búsqueda). Esto te dará una vista previa de los resultados en una tabla. 

Paso 4. Configura tu conecto y haz clic en "Save" (Guardar). Creaste correctamente un tipo de regla de alerta de ES|QL.

Puedes usar el comando de enriquecimiento (documentación) para mejorar tu set de datos de búsqueda con campos de otro set de datos, completo con sugerencias en contexto para la política seleccionada (es decir, que hacen referencia al campo coincidente y columnas enriquecidas).

Ejemplo de búsqueda que usa ENRICH, en la que se usa una política de enriquecimiento "servers-to-project" a través de la búsqueda para enriquecer el set de datos con nombre, server_hostname, y costo:

También facilitamos a los usuarios la creación de políticas de enriquecimiento agregando una visión general y un asistente para crear políticas de enriquecimiento. 

Para encontrar una visión general de políticas de enriquecimiento, navega a Stack Management (Gestión del stack) ⇒ Index Management (Gestión de índices) y allí verás una pestaña llamada Enrich Policies (Políticas de enriquecimiento):

Esta es la política de enriquecimiento usada en la búsqueda anterior: "servers-to-project":

Puedes comenzar a crear con facilidad una nueva política de enriquecimiento haciendo clic en Create enrich policy (Crear política de enriquecimiento). Tan pronto hayas creado y ejecutado una, luego se puede usar en una búsqueda de ES|QL en Discover.

Obtén más información sobre las políticas de enriquecimiento aquí y sobre el comando ENRICH en ES|QL aquí.