Este análisis profundo ahonda en los detalles de la migración a Elastic Common Schema (ECS) en un entorno de Beats e incluye un ejemplo de migración.

migrating-ecs-fullbleed.jpg

migrating-ecs-thumbnail.jpg

Migrating to Elastic Common Schema in Beats environments

Migración a Elastic Common Schema (ECS) en ambientes de Beats

<p>Presentamos el Elastic Common Schema (ECS), una nueva especificación que proporciona una manera coherente y personalizable de estructurar tus datos en Elasticsearch y facilitar el análisis de datos de diferentes fuentes. Con ECS, el contenido de analíticas, como los dashboards y los trabajos de Machine Learning, pueden aplicarse de manera más amplia, las búsquedas pueden diseñarse de manera más limitada y los nombres de campo son más fáciles de recordar.
</p>
<h2>¿Por qué un esquema común (Common Schema)?</h2>
<p>Ya sea que estés haciendo un análisis interactivo (por ejemplo, búsqueda, exploración profunda con dinamización, visualización) o un análisis automatizado (por ejemplo: alertas, detección de anomalías basada en Machine Learning), debes poder examinar tus datos de manera uniforme. Sin embargo, a menos que tus datos se originen en una sola fuente, te enfrentarás a incoherencias de formato, que son el resultado de lo siguiente:
</p>
<ul>
	<li>Tipos de datos dispares (por ejemplo: logs, métricas, APM, flujos, datos contextuales)</li>
	<li>Entornos heterogéneos con diversos estándares de proveedores</li>
	<li>Fuentes de datos similares, pero diferentes (por ejemplo: fuentes múltiples de datos del punto de conexión, como <a href="/es/beats/auditbeat">Auditbeat</a>, Cylance y Tanium)</li>
</ul>
<p>Imagina que buscas un usuario específico entre los datos que se originan de fuentes múltiples. Solo para buscar este campo, es probable que debas tener en cuenta varios nombres de campo, como el <code>usuario</code>, el <code>nombre de usuario</code>, <code>nginx.access.user_name</code> y el <code>inicio de sesión</code>. Hacer una búsqueda profunda y optimizar esos datos presentaría un desafío aún mayor. Ahora, imagina el desarrollo de contenido de analíticas, como una visualización, una alerta o un trabajo de Machine Learning: cada nueva fuente de datos agregaría complejidad o duplicación.
</p>
<h3>¿Qué es el Elastic Common Schema?</h3>
<p>ECS es una especificación de open source que define un conjunto común de campos de documentos para los datos ingestados en Elasticsearch. ECS está diseñado para admitir modelos de datos uniformes, lo que le permite analizar de forma centralizada datos de diversas fuentes con técnicas interactivas y automatizadas.
</p>
<p>ECS ofrece tanto la previsibilidad de una taxonomía especialmente diseñada como la versatilidad de una especificación inclusiva que se adapta a casos de uso personalizados. La taxonomía de ECS distribuye elementos de datos en campos que están organizados en estos tres niveles:
</p>
<table>
<tbody>
<tr>
	<td style="background-color: rgb(223, 223, 223);"><strong>Nivel</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Descripción</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);"><strong>Recomendación</strong>
	</td>
</tr>
<tr>
	<td><strong>Campos centrales de ECS</strong>
	</td>
	<td>Conjunto de nombres de campo totalmente definido que existe bajo un conjunto definido de objetos de nivel superior de ECS
	</td>
	<td>Estos campos son comunes a la mayoría de los casos de uso, por lo que el trabajo debe comenzar aquí
	</td>
</tr>
<tr>
	<td><strong>Campos extendidos de ECS</strong>
	</td>
	<td>Conjunto de nombres de campo parcialmente definido que existe bajo el mismo conjunto de objetos de nivel superior de ECS
	</td>
	<td>Los campos extendidos pueden aplicarse a casos de uso más limitados o estar más abiertos a la interpretación según el caso de uso
	</td>
</tr>
<tr>
	<td><strong>Campos personalizados</strong>
	</td>
	<td>Conjunto de campos sin definir y sin nombrar que existe bajo un conjunto de objetos de nivel superior proporcionado por el usuario, que no son de ECS ni deben entrar en conflicto con los campos u objetos de ECS
	</td>
	<td>Aquí es donde puedes agregar campos para los que ECS no tenga un campo correspondiente; aquí también puedes guardar una copia de los campos de eventos originales, como cuando haces la transición de tus datos a ECS
	</td>
</tr>
</tbody>
</table>
<h2>Elastic Common Schema en acción</h2>
<h3>Ejemplo 1: Análisis</h3>
<p>Pongamos a ECS a trabajar en el siguiente log de Apache:
</p>
<pre class="prettyprint">10.42.42.42 - - [07/Dec/2018:11:05:07 +0100] "GET /blog HTTP/1.1" 200 2571 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
</pre>
<p>El mapeo de este mensaje a ECS organiza los campos del log de la siguiente manera:
</p>
<table>
<tbody>
<tr>
	<td style="background-color: rgb(223, 223, 223);" width="25%"><strong>Nombre del campo</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);" width="38%"><strong>Valor</strong>
	</td>
	<td style="background-color: rgb(223, 223, 223);" width="37%"><strong>Notas</strong>
	</td>
</tr>
<tr>
	<td>@timestamp
	</td>
	<td><code>2018-12-07T11:05:07.000Z</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>ecs.version
	</td>
	<td><code>1.0.0</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.dataset
	</td>
	<td><code>apache.access</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>event.original
	</td>
	<td><code>10.42.42.42 - - [07/Dec ...</code>
	</td>
	<td>Log completo y sin modificaciones para auditorías&nbsp;
	</td>
</tr>
<tr>
	<td>http.request.method
	</td>
	<td><code>get</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.body.bytes
	</td>
	<td><code>2571</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.response.status_code
	</td>
	<td><code>200</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>http.version
	</td>
	<td><code>1.1</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>host.hostname
	</td>
	<td><code>webserver-blog-prod</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>message
	</td>
	<td><code>"GET /blog HTTP/1.1" 200 2571</code>
	</td>
	<td>Representación de texto de la información significativa del evento para una visualización precisa en un visualizador de logs
	</td>
</tr>
<tr>
	<td>service.name
	</td>
	<td><code>Company blog</code>
	</td>
	<td>Tu nombre personalizado para este servicio
	</td>
</tr>
<tr>
	<td>service.type
	</td>
	<td><code>apache</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>source.geo.*
	</td>
	<td>
	</td>
	<td>Fields for geolocation
	</td>
</tr>
<tr>
	<td>source.ip
	</td>
	<td><code>10.42.42.42</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>url.original
	</td>
	<td><code>/blog</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user.name
	</td>
	<td><code>-</code>
	</td>
	<td>
	</td>
</tr>
<tr>
	<td>user_agent.*
	</td>
	<td>
	</td>
	<td>Campos que describen al agente usuario
	</td>
</tr>
</tbody>
</table>
<p>Como se muestra arriba, el log sin procesar se preserva en el campo <code>event.original</code> de ECS para admitir casos de uso de auditorías. Además, ten en cuenta que por una cuestión de simplicidad, en este ejemplo se omiten algunos detalles sobre el agente de monitoreo (en el campo <code>agent.*</code>), algunos detalles sobre el host (en el campo <code>host.*</code>) y algunos campos más. Para obtener una representación más completa, revisa este <a href="https://gist.github.com/webmat/fc4902a61abf1cacbd5b717f1a3a6935">evento de ejemplo en JSON</a>.
</p>
<h3>Ejemplo 2: Búsqueda</h3>
<p>Piensa en una investigación sobre la actividad de una IP específica a través de una pila web completa: Un firewall de Palo Alto Networks, HAProxy (como lo procesa Logstash), Apache (mediante el módulo Beats), Elastic APM y además, Suricata IDS (personalizado, con su formato EVE JSON).
</p>
<p>Antes de ECS, tu búsqueda para esta IP podría haberse visto así:
</p>
<pre class="prettyprint">src:10.42.42.42 OR client_ip:10.42.42.42 OR apache2.access.remote_ip:10.42.42.42 OR context.user.ip:10.42.42.42 OR src_ip:10.42.42.42
</pre>
<p>Pero si has mapeado todas tus fuentes a ECS, tu búsqueda es mucho más simple:
</p>
<pre class="prettyprint">source.ip:10.42.42.42
</pre>
<h3>Ejemplo 3: Visualización</h3>
<p>El poder de ECS se revela de forma más fácil al ver cómo se puede aplicar a datos uniformemente normalizados de diversas fuentes de datos. Quizás estás monitoreando tu pila web en busca de amenazas con varias fuentes de datos de red: un firewall de Palo Alto de la nueva generación en el perímetro y los eventos y alertas de generación de Suricata IDS. ¿Cómo extraes los campos <code>source.ip</code> y <code>network.direction</code> de cada mensaje de manera tal que permita la visualización centralizada en Kibana y una exploración profunda con dinamización independiente? Con ECS, por supuesto, que te permite hacer un monitoreo centralizado con más facilidad que nunca.
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt71256f06dc672546/5c98d595975fd58f4d12646d/ecs-intro-dashboard-1360.jpg" data-sys-asset-uid="blt71256f06dc672546" alt="Búsqueda de direcciones IP en Kibana mediante Elastic Common Schema" "="">
</p><figcaption>Búsqueda de IP 10.42.42.42</figcaption>
<h2>Beneficios del Elastic Common Schema</h2>
<p>La implementación de ECS unifica todos los modos de análisis disponibles en el Elastic Stack, incluida la búsqueda, la exploración profunda con dinamización, la visualización de datos, la detección de anomalías basada en Machine Learning y las alertas. Una vez que se adopta completamente, los usuarios pueden hacer búsquedas con el poder de los parámetros de búsqueda estructurados y no estructurados. Además, ECS optimiza tu capacidad de correlacionar automáticamente los datos de diferentes fuentes, ya sea de dispositivos diferentes de un solo proveedor o de tipos de fuentes de datos completamente diferentes.
</p>
<p>ECS también reduce la cantidad de tiempo que tu equipo dedica al desarrollo de contenido de analíticas. En lugar de crear nuevas búsquedas y dashboards cada vez que tu organización agregue una nueva fuente de datos, podrán continuar aprovechando sus búsquedas y dashboards existentes. ECS también le facilitará enormemente a tu entorno la adopción de contenido de analíticas directamente de otras partes que usan ECS, ya sea Elastic, un socio o un proyecto de open source.
</p>
<p>Al hacer un análisis interactivo, ECS hace que sea más fácil recordar nombres de campo usados comúnmente, ya que hay un solo conjunto, en lugar de un conjunto diferente para cada fuente de datos. Con ECS, también es más fácil deducir nombres de campo olvidados, porque (salvo pocas excepciones) la especificación sigue una convención de nomenclatura simple y estándar.
</p>
<p>¿No quieres comenzar a adoptar ECS? No hay problema: estará aquí cuando lo necesites, pero no será un requisito si no lo necesitas.
</p>
<h2>Primeros pasos con el Elastic Common Schema</h2>
<p>ECS está disponible para revisión a través de un <a href="https://github.com/elastic/ecs">repositorio público de GitHub</a>. Actualmente, la especificación está en versión Beta2 y pronto estará disponible para el público en general. Está publicado bajo la licencia de open source de Apache 2.0, lo que permite la adopción universal por parte de la comunidad de Elastic en general.
</p>
<p><strong></strong>
</p>
<p>Suena automágico, ¿verdad? Bien, como con cualquier esquema, la implementación de ECS no es una tarea trivial. Pero si ya has configurado una plantilla de índice de Elasticsearch y has escrito algunas funciones de transformación con el nodo de ingesta de Logstash o Elasticsearch, tendrás cierta noción de lo que esto implica. Las versiones futuras de los módulos Elastic Beats producirán eventos con el formato de ECS de manera predeterminada y optimizarán esta parte de la transición. El nuevo <a href="/es/blog/introducing-auditbeat-system-module">módulo de sistemas para Auditbeat</a> es el primero de muchos.
</p>
<p>Para obtener más información sobre ECS, puedes ver nuestro seminario web <a href="/es/webinars/introducing-the-elastic-common-schema">Elastic Common Schema (ECS)</a>. En próximos artículos del blog, veremos cómo mapear tus datos a ECS (incluidos los campos que no están definidos en el esquema) y las estrategias para migrar a ECS.
</p>
<h2>Obtén más información</h2>
<ul>
	<li><a href="/es/blog/migrating-to-elastic-common-schema-in-beats-environments">Migración a Elastic Common Schema (ECS) en ambientes de Beats</a></li>
</ul>

elastic-stack-blog-banner.png

elastic-stack-blog-thumb.png

Introducing the Elastic Common Schema

Presentamos el Elastic Common Schema

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

mathieu-martin.jpg

Senior Software Engineer

Mathieu Martin

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/elastic-cloud-account-terms" target="_self">Condiciones de servicio</a>, y que acepta recibir las <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">comunicaciones seleccionadas</a> en los detalles de contacto que proporcionó anteriormente. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/serverless-preview-terms" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Al enviar esta información, aceptas los <a href="/es/agreements/global/cloud-services-monthly" rel="nofollow">Términos de servicio de Elastic</a>. Los datos personales se procesarán de conformidad con la <a href="/es/legal/privacy-statement">declaración de privacidad de Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/terms-of-use" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

Hosted by

All Solutions

Follow us on Youtube

Watch now (no PT)

Articles by

Share by Email

Filters

All (no PT translation)

Contact information

See when this webinar starts in my time zone

Ver cuándo comienza este webinar en mi zona horaria

Thank you for your interest!

Register to Attend

Small image for

Register to Watch

Continue reading

Featured webinar

What to explore next...

Reset all

Load more press releases

Sign In to Attend

Share

Upcoming webinar

Learn more

Search Integrations

Share on Reddit

Share on Twitter

Share on Facebook

Load more news

View more posts

On-demand webinar

Follow us on Facebook

Author

Press Release

You'll also receive an email with related content.

You'll also receive an email with related content

Además, te enviaremos contenidos relevantes

Print

Contact Info

Overview

Video for

Read less

The content on this page is not available in the selected language.

El contenido de esta página no está disponible en el idioma seleccionado. Elastic está trabajando para garantizar que el contenido esté disponible en varios idiomas.Gracias por tu paciencia mientras trabajamos.

Register now

Share this story

See All Posts

See all top stories

View next

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

¿No puedes asistir? Regístrate y te enviaremos la grabación. También recibirás un correo electrónico con contenido relacionado.

Follow us on LinkedIn

Highlights

Explore similar demos

Follow us on Twitter

Share on LinkedIn

Load More

See more insights

Speakers

Close

Thank you for registering. We will send you a confirmation email soon.

Gracias por registrarte. Te enviaremos un correo electrónico de confirmación pronto.

Author

Articles by Mathieu Martin

Senior Software Engineer, Elastic

Migración a Elastic Common Schema (ECS) en ambientes de Beats

Presentamos el Elastic Common Schema