Elasticsearch 7.7 usará mucha menos memoria heap que las versiones anteriores, lo que mejora la estabilidad del cluster de Elasticsearch y reduce el costo de almacenar grandes cantidades de datos.

<p>Como los usuarios de Elasticsearch desafían los límites de la cantidad de datos que pueden almacenar en un nodo de Elasticsearch, a veces agotan la memoria heap antes de agotar el espacio en disco. Este problema es frustrante para los usuarios porque <a href="/es/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster">acomodar la mayor cantidad de datos posible por nodo</a> suele ser importante para reducir costos.
</p><p>¿Por qué Elasticsearch necesita memoria heap para almacenar datos? ¿Por qué no necesita solo espacio en disco? Hay varias razones, pero la principal es que Lucene necesita almacenar cierta información en la memoria para saber adónde buscar en el disco. Por ejemplo, el índice invertido de Lucene incluye un diccionario de términos en el cual estos se agrupan en bloques en el disco siguiendo un orden de clasificación y un índice de términos para la búsqueda rápida en el diccionario de términos. Este índice de términos mapea los prefijos de los términos con la compensación en el disco donde se inicia el bloque que contiene términos con este prefijo. El diccionario de términos está en el disco, pero el índice de términos estaba en la heap hasta hace poco.
</p><p>¿Cuánta memoria necesitan los índices? Por lo general, necesitan unos pocos MB por GB de índice. No es mucho, pero vemos a los usuarios agregar cada vez más terabytes de disco en sus nodos, y los índices comienzan rápidamente a necesitar 10-20&nbsp;GB de memoria heap para almacenar esos terabytes de índices. Dada la recomendación de Elastic de no superar los 30&nbsp;GB de heap, esto no deja mucho margen para otros consumidores de dicha memoria, como las agregaciones, y abre las puertas a problemas de estabilidad si a la JVM no le queda espacio suficiente para las operaciones de gestión de clusters.
</p><p>Veamos algunas cifras concretas. Elastic ejecuta <a href="https://benchmarks.elastic.co">evaluaciones comparativas cada noche</a> en varios sets de datos y rastrea diversas métricas en el tiempo, especialmente el uso de memoria de los segmentos. El set de datos <a href="https://www.geonames.org/">Geonames</a> es interesante porque <a href="https://elasticsearch-benchmarks.elastic.co/index.html#tracks/geonames/nightly/default/6M">muestra con claridad el impacto de varios cambios en Elasticsearch&nbsp;7.x</a>:
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb41b157438550179/5ea2ddf2ae23d30cd1dfb100/heap-reduction-7-7-nightly-geonames-blog.png" data-sys-asset-uid="bltb41b157438550179" alt="Evaluaciones comparativas cada noche en el set de datos Geonames" style="display: block; margin: auto;">
</p><p>Este índice ocupa alrededor de 3&nbsp;GB en el disco y solía necesitar ~5.2&nbsp;MB de memoria hace 6&nbsp;meses, esta es una proporción de heap:almacenamiento de ~1:600. Entonces, si tenías un total de 10&nbsp;TB adjuntados en cada nodo, necesitabas 10&nbsp;TB/600&nbsp;=&nbsp;17&nbsp;GB de heap, solo para poder mantener abiertos los índices con datos del tipo nombre geográfico. Pero como puedes ver, mejoramos las cosas con el tiempo: los puntos (azul oscuro) comenzaron a necesitar menos memoria, después los términos (rosa), los campos almacenados (verde) y, por último, nuevamente los términos en una proporción mayor. La proporción de heap:almacenamiento ahora es de ~1:4000, casi 7&nbsp;veces mejor en comparación con las primeras versiones&nbsp;7.x y las&nbsp;6.x. Ahora solo necesitarías 2.5&nbsp;GB de memoria heap para mantener abiertos 10&nbsp;TB de índices.
</p><p>Los números varían <strong>MUCHO</strong> entre sets de datos, y la buena noticia es que Geonames es uno de los sets de datos que mostró la menor reducción en el uso de heap: mientras que el uso de heap disminuyó ~7&nbsp;veces en Geonames, disminuyó más de 100&nbsp;veces en los sets de datos <a href="https://elasticsearch-benchmarks.elastic.co/index.html#tracks/nyc-taxis/nightly/default/6M">NYC&nbsp;taxis</a> y <a href="https://elasticsearch-benchmarks.elastic.co/index.html#tracks/http-logs/nightly/default/6M">HTTP&nbsp;logs</a>. Nuevamente, este cambio ayudará a reducir costos almacenando muchos más datos por nodo de los que podían soportar las versiones anteriores de Elasticsearch.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7c2002e630ac3974/5ea2de1f52608c261aab78aa/heap-reduction-7-7-nightly-taxis-blog.png" data-sys-asset-uid="blt7c2002e630ac3974" alt="Evaluaciones comparativas cada noche en el set de datos NYC&nbsp;taxis" style="display: block; margin: auto;">
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb15c6244ebc49571/5ea2de6952608c261aab78b0/heap-reduction-7-7-nightly-http-logs-blog.png" data-sys-asset-uid="bltb15c6244ebc49571" alt="Evaluaciones comparativas cada noche en el set de datos HTTP&nbsp;Logs" style="display: block; margin: auto;">
</p><p>¿Cómo funciona esto y cuáles son los inconvenientes? Se ha aplicado la misma fórmula en varios componentes de los índices de Lucene con el tiempo: cambiar estructuras de datos de la heap de JVM a disco y confiar en la caché del sistema de archivos (con frecuencia llamada caché de la página o caché del SO) para mantener los bits calientes en la memoria. Esto puede interpretarse como que esta memoria aún se usa y está asignada en otra parte, pero la realidad es que una gran parte de dicha memoria simplemente nunca se usó según tu caso de uso. Por ejemplo, el último lanzamiento de <code>Terms</code> se debió al cambio de lugar del índice de términos del campo <code>_id</code> en el disco, que solo es útil cuando se usa la API GET o cuando se indexan documentos con ID específicas. La gran mayoría de los usuarios que indexan logs y métricas en Elasticsearch nunca realizan ninguna de estas operaciones, por lo que será una ganancia neta de recursos para ellos.
</p><h2>Reduce tu heap de Elasticsearch con la versión&nbsp;7.7</h2><p>Estamos muy entusiasmados por estas mejoras que estarán disponibles en Elasticsearch&nbsp;7.7, y esperamos que tú también. Mantente atento al próximo anuncio de lanzamiento y pruébalo tú mismo. Pruébalo en tu despliegue existente o <a href="/es/elasticsearch/service">activa una prueba gratuita</a> de Elasticsearch&nbsp;Service en Elastic&nbsp;Cloud (que siempre tiene la versión más reciente de Elasticsearch). Esperamos tus comentarios, cuéntanos tu opinión en <a href="https://discuss.elastic.co/">Discuss</a>.
</p>

blog-banner-release-elasticsearch.png

blog-thumb-release-elasticsearch.png

Coming in 7.7: Significantly decrease your Elasticsearch heap memory usage

Próximamente en la versión 7.7: Disminuye de forma significativa tu uso de memoria heap de Elasticsearch

Elasticsearch 7.0 removió el uso de las API que aceptan tipos, presentó nuevas API sin tipo y eliminó el soporte para el mapping del tipo _default_.

<p>Desde la versión 5.0, hemos estado haciendo mas fácil&nbsp;el camino para la eliminación de los tipos en Elasticsearch y, con la versión 7.0, llegó el momento de dejar de usarlos. El objetivo de los tipos era proporcionar una tenencia múltiple en un solo índice, que era incompatible con Lucene. Lamentablemente, se probó que los tipos causaban más problemas de los que resolvían.&nbsp;Después de largas discusiones sobre si debíamos recurrir a otras opciones para solucionar el problema, por ejemplo, mediante el uso de campos únicos por tipo o el mantenimiento de un índice por tipo, decidimos en cambio eliminar el soporte para tipos. Para facilitarles la transición a nuestros usuarios, distribuimos los cambios en cuatro versiones principales:
</p>
<ul>
	<li>En la versión 5.0, se implementó que los campos que comparten el mismo nombre en varios tipos tengan asignaciones compatibles.</li>
	<li>En la versión 6.0, se comenzó a evitar que los nuevos índices tuvieran más de un tipo y se desaprobó el uso del mappint&nbsp;<code>_default_</code>.</li>
	<li>En la versión 7.0, se desaprobó el uso de las API que aceptan tipos, presentó nuevas API sin tipo y eliminó el soporte para el mapping&nbsp;<code>_default_</code>.</li>
	<li>En la versión 8.0, se eliminarán las API que aceptan tipos.</li>
</ul>
<h2>API sin tipos</h2>
<p>Para todas las API que aceptan tipos en su ruta URL, cuerpo de solicitud o cuerpo de respuesta, se están desarrollando nuevas contrapartes "sin tipos". Tal es el caso de algunas API bastante comunes, como las de creación de índices, las de gestión de índices y las API GET. Un ejemplo vale más que mil palabras: así se ve una interacción en un cluster 7.0 con API sin tipo:
</p>
<pre class="prettyprint">PUT index
{
  "mappings": {
    "properties": { // Note how there is no top-level key with the type name
      "@timestamp": {
        "type": "date"
      }
    }
  }
}
PUT index/_doc/1 // _doc becomes the new endpoint for document index, get and delete requests
{
  "@timestamp": "2019-02-20"
}
POST index/_bulk
{"index": {"_id": "2"}} // no _type in the URL or in document metadata
{"@timestamp": "2019-03-01"}
{"update": {"_id": "1"}}
{"@timestamp": "2019-02-21"}
GET index/_doc/2
GET index/_search // unchanged, the `GET index/{type}/_search` endpoint is deprecated however
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2019-01-01"
      }
    }
  }
}
GET index/_explain/1 // note how the type does not appear in the URL anymore, this would have been "GET index/{type}/1/_explain" in 6.x
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2019-01-01"
      }
    }
  }
}
</pre>
<h2>¿Qué debo hacer?</h2>
<p>Algunos cambios son disruptivos y requerirán que implementes cambios en tu cluster <strong>antes</strong> de actualizarte a la versión 7.0. Otros cambios solo serán necesarios para la actualización a la versión 8.0 y se deben realizar después de la actualización a la versión 7.0.
</p>
<h3>Antes de la actualización</h3>
<h4>Asegurarte de estar usando la versión 6.8</h4>
<p>Si planeas actualizarte sin tiempo de inactividad de forma periódica, primero debes actualizarte a la versión 6.8, que es la única versión 6.x con algunas características como la compatibilidad con el parámetro <code>include_type_name</code>, que es necesario para una actualización a la versión 7.0 sin problemas.
</p>
<h4>Dejar de usar el&nbsp;_default_ mapping</h4>
<p>A partir de la versión 7.0, ya no se usará el mapping <code>_default_</code>. Si algunos índices actuales en versiones 6.x tienen un mapping&nbsp;<code>_default_</code>, no habrá problema, ya que el mapping&nbsp;<code>_default_</code> solo se rechazará en índices nuevos.
</p>
<p>Debes actualizar tus plantillas de índice y el código de tu aplicación para agregar estas asignaciones al tipo real, en lugar de incluirlas en un mapping <code>_default_</code>. Si el nombre del tipo no es tan importante para ti, te recomendamos que uses <code>_doc</code>, lo que facilitará la transición a las API sin tipo en el futuro.
</p>
<h4>Pasar <code>include_type_name=true</code> a las API de creación de índices, plantillas y mappings</h4>
<p>La transición a las API sin tipo significa que las API cuyos cuerpos de solicitud requieren un tipo ahora van a esperar un formato diferente:
</p>
<ul>
	<li>create index</li>
	<li>put mapping</li>
	<li>put template</li>
</ul>
<p>Mientras que otras API que devolvían tipos en la respuesta van a tener un formato de respuesta diferente:
</p>
<ul>
	<li>get index</li>
	<li>get mapping</li>
	<li>get field mapping</li>
	<li>get template</li>
</ul>
<p>Para que este cambio no resulte demasiado disruptivo, debes hacer que tu aplicación pase <code>include_type_name=true</code> para estas llamadas a la API, que es una instrucción de no operación en las versiones 6.x; esta instrucción les dirá a las versiones 7.x que hagan que estas API se comporten como lo hacían en las versiones 6.x. Veamos, por ejemplo, la siguiente llamada de creación de índice con este parámetro. Funciona de la misma manera en las versiones 6.8 y 7.x.
</p>
<pre class="prettyprint">PUT index?include_type_name=true
{
  "mappings": {
    "my_type": {
      "properties": { // Note how there is no top-level key with the type name
        "@timestamp": {
          "type": "date"
        }
      }
    }
  }
}
</pre>
<h3>Después de la actualización</h3>
<p>Si seguiste los pasos recomendados previos a la actualización, todo debería seguir funcionando bien. Sin embargo, en esta etapa todavía estás usando API que aceptan tipos, lo cual desencadena advertencias de desuso. Para eliminar estas advertencias, debes implementar el uso de API sin tipos.
</p>
<p>Para las API de creación de índice, plantillas y mappings, tendrás que eliminar <code>include_type_name=true</code> de los parámetros de URL y cambiar los cuerpos de solicitud o las expectativas sobre el formato de respuesta, que ya no incluye tipos. Por lo general, si el cuerpo de la solicitud o la respuesta incluían mappings, tenía una sección que se veía más o menos así:
</p>
<pre class="prettyprint">{
  "my_type": { // this key is no longer accepted in mappings as of 7.0
    "properties": ...
  }
}
</pre>
<p>Ahora, debe actualizarse de manera que ya no incluya un nombre de tipo, por lo que debe verse así:
</p>
<pre class="prettyprint">{
  "properties": ...
}
</pre>
<p>Para otras API como las de índice, GET o actualización, tienes que reemplazar el nombre del tipo en la URL con <code>_doc</code>. Esto funcionará independientemente del nombre del tipo de tu índice. Por ejemplo, si habitualmente realizabas llamadas de índice para un índice cuyo nombre de tipo era <code>my_type</code>, la llamada de índice se veía así:
</p>
<pre class="prettyprint">PUT index/my_type/1
{
  "@timestamp": "2019-02-20"
}
</pre>
<p>Ahora, debe reemplazarse con:
</p>
<pre class="prettyprint">PUT index/_doc/1
{
  "@timestamp": "2019-02-20"
}
</pre>
<h2>Conoce más</h2>
<p>Si te gustaría obtener más información acerca de la eliminación de tipos y cómo migrar a las API sin tipo, te recomendamos que revises nuestra <a href="/guide/en/elasticsearch/reference/7.0/removal-of-types.html">documentación sobre la eliminación de tipos</a>, donde profundizamos en más detalles acerca de lo que estos cambios implican y cómo uno puede prepararse para ellos.
</p>
<p><a href="/es/downloads/elasticsearch">Descarga la versión 7.0.0</a>, prueba estas nuevas API sin tipos y cuéntanos qué te parece en la sección de <a href="https://discuss.elastic.co/">Debate</a>.
</p>

types-typeless-banner.jpg

types-typeless-thumb.jpg

Goodbye, types. Hello, typeless.

Adiós, tipos. Hola, lenguajes sin tipos.

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

headshot-adrien-grand-300x300.jpg

Distinguished Software Engineer I

Adrien Grand

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/elastic-cloud-account-terms" target="_self">Condiciones de servicio</a>, y que acepta recibir las <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">comunicaciones seleccionadas</a> en los detalles de contacto que proporcionó anteriormente. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/serverless-preview-terms" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Al enviar esta información, aceptas los <a href="/es/agreements/global/cloud-services-monthly" rel="nofollow">Términos de servicio de Elastic</a>. Los datos personales se procesarán de conformidad con la <a href="/es/legal/privacy-statement">declaración de privacidad de Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/terms-of-use" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

Hosted by

All Solutions

Follow us on Youtube

Watch now (no PT)

Articles by

Share by Email

Filters

All (no PT translation)

Contact information

See when this webinar starts in my time zone

Ver cuándo comienza este webinar en mi zona horaria

Thank you for your interest!

Register to Attend

Small image for

Register to Watch

Continue reading

Featured webinar

What to explore next...

Reset all

Load more press releases

Sign In to Attend

Share

Upcoming webinar

Learn more

Search Integrations

Share on Reddit

Share on Twitter

Share on Facebook

Load more news

View more posts

On-demand webinar

Follow us on Facebook

Author

Press Release

You'll also receive an email with related content.

You'll also receive an email with related content

Además, te enviaremos contenidos relevantes

Print

Contact Info

Overview

Video for

Read less

The content on this page is not available in the selected language.

El contenido de esta página no está disponible en el idioma seleccionado. Elastic está trabajando para garantizar que el contenido esté disponible en varios idiomas.Gracias por tu paciencia mientras trabajamos.

Register now

Share this story

See All Posts

See all top stories

View next

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

¿No puedes asistir? Regístrate y te enviaremos la grabación. También recibirás un correo electrónico con contenido relacionado.

Follow us on LinkedIn

Highlights

Explore similar demos

Follow us on Twitter

Share on LinkedIn

Load More

See more insights

Speakers

Close

Thank you for registering. We will send you a confirmation email soon.

Gracias por registrarte. Te enviaremos un correo electrónico de confirmación pronto.

Author

Articles by Adrien Grand

Distinguished Software Engineer I, Elastic

Próximamente en la versión 7.7: Disminuye de forma significativa tu uso de memoria heap de Elasticsearch

Adiós, tipos. Hola, lenguajes sin tipos.