<a href="/de/elasticsearch">Elasticsearch</a> se usa ampliamente como motor de búsqueda y analítica. Sus capacidades como API de minería de textos no son tan conocidas.

En el siguiente artículo me gustaría mostrar cómo se puede hacer la clasificación de texto con Elasticsearch. Con formación en lingüística computacional y varios años de experiencia empresarial como profesional independiente en el campo de la minería de textos, tuve la oportunidad de implementar y probar las siguientes técnicas en diferentes situaciones.

Cuando me topé con Elasticsearch por primera vez, me fascinó su facilidad de uso, velocidad y opciones de configuración. Cada vez que trabajaba con Elasticsearch, encontraba una forma aún más simple de lograr lo que estaba acostumbrada a resolver con las herramientas y técnicas tradicionales del procesamiento de lenguajes naturales (NLP).

Entonces me di cuenta de que puede resolver <a href="http://dataconomy.com/2016/12/use-elasticsearch-text-mining%E2%80%8A-%E2%80%8Apart-1/">muchas cosas</a> de inmediato para las que se me capacitó para implementar desde cero.

La mayoría de las tareas de NLP comienzan con un pipeline de preprocesamiento estándar:

<ol>
	<li>
	Recopilación de datos
	</li>
	<li>
	Extracción de texto sin procesar
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Sentence_boundary_disambiguation">División de oraciones</a>
	</li>
	<li>
	Tokenización
	</li>
	<li>
	Normalización (derivación, <a href="https://github.com/jprante/elasticsearch-analysis-baseform">lematización</a>)
	</li>
	<li>
	Eliminación de palabras vacías
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Part-of-speech_tagging">Parte del etiquetado de las oraciones</a>
	</li>
</ol>
Algunas tareas de NLP, como el análisis sintáctico, requieren un análisis lingüístico profundo.

Para este tipo de tareas, Elasticsearch no proporciona la arquitectura y el formato de datos ideales listos para usar. Es decir, para tareas que van más allá del nivel de token, los plugins personalizados que acceden al texto completo deben escribirse o usarse.

Pero las tareas tales como clasificación, distribución en clusters, extracción de palabras clave, medición de similitudes, etc. solo requieren una representación de bolsa de palabras normalizada y posiblemente ponderada de un documento dado.

Los pasos 1 y 2 se pueden resolver con el <a href="/guide/en/elasticsearch/plugins/current/ingest-attachment.html">plugin de procesador de datos adjuntos de ingestión</a> (antes de 5.0 <a href="/guide/en/elasticsearch/plugins/5.0/mapper-attachments.html">plugin para datos adjuntos de mapeador</a>) en Elasticsearch.

La extracción de texto sin formato para estos plugins se basa en <a href="https://tika.apache.org/">Apache Tika</a>, que funciona en los formatos de datos más comunes (HTML/PDF/Word etc.).

Los pasos 4 a 6 se resuelven con los <a href="/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html">analizadores de lenguaje</a> listos para usar.

Mapeo de muestra:

<pre class="prettyprint"> {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"german"
 }
 }
 }
</pre>
Si el tipo de mapeo para un campo dado es "text" (texto) (antes de 5.0: "analyzed string" [texto analizado]) y el analizador está configurado en uno de los idiomas admitidos de forma nativa por Elasticsearch, la tokenización, la derivación y la eliminación de palabras vacías se realizarán automáticamente al momento de la indexación.

Por lo tanto, no se requiere ningún código personalizado ni ninguna otra herramienta para pasar de cualquier tipo de documento compatible con Apache Tika a una representación de bolsa de palabras.

Los analizadores de lenguaje también se pueden llamar a través de API REST, cuando Elasticsearch se está ejecutando.

<pre class="prettyprint">curl -XGET "http://localhost:9200/_analyze?analyzer=english" -d'
 {
 "text" : "This is a test."
 }'
 {
 "tokens":[
 {
 "token":"test",
 "start_offset":10,
 "end_offset":14,
 "type":"&lt;ALPHANUM&gt;",
 "position":3
 }
 ]
 }
</pre>
El enfoque sin Elasticsearch se ve así:

Recopilación del texto con un código personalizado, análisis de documentos a mano o con la biblioteca Tika, mediante el uso de una biblioteca de NLP tradicional o API como <a href="http://www.nltk.org/">NLTK</a>, <a href="https://opennlp.apache.org/">OpenNLP</a>, <a href="http://nlp.stanford.edu/">Stanford NLP</a>, <a href="https://spacy.io/">Spacy</a> o cualquier otra cosa que se haya desarrollado en algún departamento de investigación. Sin embargo, las herramientas desarrolladas en los departamentos de investigación generalmente no son muy útiles para un contexto empresarial. Con mucha frecuencia, los formatos de datos están patentados, las herramientas deben compilarse y ejecutarse en la línea de comando y los resultados a menudo simplemente se canalizan a la salida estándar. Las API REST son una excepción.

Con los analizadores de lenguaje Elasticsearch, por otro lado, solo necesitas configurar tu mapeo e indexar los datos. El preprocesamiento ocurre automáticamente al momento de la indexación.

<h3>Enfoque tradicional para la clasificación de texto</h3>
La clasificación de texto es una tarea tradicionalmente resuelta con Machine Learning supervisado. La entrada para entrenar un modelo es un conjunto de documentos etiquetados. La representación mínima de esto sería un documento JSON con 2 campos:

"content" (contenido) y "category" (categoría)

Tradicionalmente, la clasificación de texto se puede resolver con una herramienta como <a href="https://scikit-learn.org/0.19/datasets/twenty_newsgroups.html">SciKit Learn</a>, <a href="http://weka.wikispaces.com/Text+categorization+with+WEKA">Weka</a>, <a href="http://www.nltk.org/book/ch06.html">NLTK</a>, <a href="https://mahout.apache.org/users/classification/twenty-newsgroups.html">Apache Mahout</a>, etc.

<h3>Creación de los modelos</h3>
La mayoría de los algoritmos de Machine Learning requieren una representación del <a href="https://en.wikipedia.org/wiki/Vector_space_model">modelo de espacio vectorial</a> de los datos. El espacio de características suele ser algo así como las 10&nbsp;000 palabras más importantes de un conjunto de datos determinado. ¿Cómo se puede medir la importancia de una palabra?

Generalmente, con <a href="https://en.wikipedia.org/wiki/Tf%E2%80%93idf">TF-IDF</a>. Esta es una fórmula que se inventó en los años setenta del siglo pasado. TF-IDF es una ponderación que puntúa un término dentro de un documento determinado en relación con el resto del conjunto de datos. Si un término de un documento tiene una alta puntuación de TF-IDF, significa que es una palabra clave muy característica y distingue un documento de todos los demás documentos por medio de esa palabra.

Las palabras clave con las puntuaciones más altas de TF-IDF en un subconjunto de documentos pueden representar un tema. Puede procesar texto arbitrario, extraer las n palabras clave principales relativas al "modelo" real y ejecutar una búsqueda de coincidencia booleana con esas palabras clave.

Cada documento se convierte en un vector de características; después, con todas las instancias de entrenamiento para cada clase/categoría, se crea un modelo. Después de eso, los nuevos documentos se pueden clasificar de acuerdo con este modelo. Por lo tanto, el documento debe convertirse en un vector de características y, a partir de ahí, se calculan todas las similitudes. El documento se etiquetará con la categoría con la puntuación más alta.

<h3>Clasificación de texto con Elasticsearch</h3>
Todo lo anterior se puede resolver de una manera mucho más simple con Elasticsearch (o <a href="https://lingpipe-blog.com/2014/04/10/lucene4-document-classification/">Lucene</a>).

Solo necesitas ejecutar 4 pasos:

<ol>
	<li>
	Configurar tu mapeo ("content" [contenido]: "<a href="/guide/en/elasticsearch/reference/current/text.html">text</a>" [texto], "category" [categoría]: "<a href="/guide/en/elasticsearch/reference/current/keyword.html">keyword</a>" [palabra clave])
	</li>
	<li>
	Indexar tus documentos
	</li>
	<li>
	Ejecutar una <a href="/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html">More Like This Query</a> (búsqueda más similar a esta) (búsqueda MLT)
	</li>
	<li>
	Escribir un pequeño script que agregue los resultados de esa búsqueda por puntuación
	</li>
</ol>
<pre class="prettyprint">PUT sample
 POST sample/document/_mapping
 {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"english"
 },
 "category":{
 "type":"text",
 "analyzer":"english",
 "fields":{
 "raw":{
 "type":"keyword"
 }
 }
 }
 }
 }
 POST sample/document/1
 {
 "category":"Apple (Fruit)",
 "content":"Granny Smith, Royal Gala, Golden Delicious and Pink Lady are just a few of the thousands of different kinds of apple that are grown around the world! You can make dried apple rings at home - ask an adult to help you take out the core, thinly slice the apple and bake the rings in the oven at a low heat."
 }
 POST sample/document/2
 {
 "category":"Apple (Company)",
 "content":"Apple is an American multinational technology company headquartered in Cupertino, California, that designs, develops, and sells consumer electronics, computer software, and online services. Its hardware products include the iPhone smartphone, the iPad tablet computer, the Mac personal computer, the iPod portable media player, the Apple Watch smartwatch, and the Apple TV digital media player. Apple's consumer software includes the macOS and iOS operating systems, the iTunes media player, the Safari web browser, and the iLife and iWork creativity and productivity suites. Its online services include the iTunes Store, the iOS App Store and Mac App Store, Apple Music, and iCloud."
 }
</pre>
La búsqueda de MLT es una búsqueda muy importante para la minería de textos.

¿Cómo funciona? Puede procesar texto arbitrario, extraer las palabras clave con n principales relativas al "modelo" real y ejecutar una búsqueda de coincidencia booleana con esas palabras clave. Esta búsqueda se usa a menudo para recopilar documentos similares.

Si todos los documentos tienen una etiqueta de clase/categoría y una cantidad similar de instancias de entrenamiento por clase, esto es equivalente a la clasificación. Simplemente, ejecuta una búsqueda de MLT con el documento de entrada como campo similar y escribe un pequeño script que agregue puntuación y categoría de los mejores n resultados.

<pre class="prettyprint">GET sample/document/_search
 {
 "query":{
 "more_like_this":{
 "fields":[
 "content",
 "category"
 ],
 "like":"The apple tree (Malus pumila, commonly and erroneously called Malus domestica) is a deciduous tree in the rose family best known for its sweet, pomaceous fruit, the apple. It is cultivated worldwide as a fruit tree, and is the most widely grown species in the genus Malus. The tree originated in Central Asia, where its wild ancestor, Malus sieversii, is still found today. Apples have been grown for thousands of years in Asia and Europe, and were brought to North America by European colonists. Apples have religious and mythological significance in many cultures, including Norse, Greek and European Christian traditions.",
 "min_term_freq":1,
 "max_query_terms":20
 }
 }
 }
</pre>
Esta muestra solo pretende ilustrar el flujo de trabajo. Para una clasificación real, necesitarás un poco más de datos. Así que no te preocupes si con ese ejemplo no obtienes ningún resultado real. Simplemente, agrega más datos y funcionará.

Este es un pequeño script de Python que procesa la respuesta y devuelve la categoría más probable para el documento de entrada.

<pre class="prettyprint">from operator import itemgetter
 def get_best_category(response):
 categories = {}
 for hit in response['hits']['hits']:
 score = hit['_score']
 for category in hit['_source']['category']: 
 if category not in categories:
 categories[category] = score
 else:
 categories[category] += score
 if len(categories) &gt; 0:
 sortedCategories = sorted(categories.items(), key=itemgetter(1), reverse=True)
 category = sortedCategories[0][0]
 return category
</pre>
¡Y ahí está tu clasificador de texto de Elasticsearch!

<h3>Casos de uso</h3>
La clasificación de texto es un caso de uso muy común del mundo real para NLP. Piensa en los datos del comercio electrónico (productos). Mucha gente dirige tiendas de comercio electrónico con enlaces de afiliados. Los datos los proporcionan varias tiendas y a menudo vienen con una etiqueta de categoría. Pero cada tienda tiene otra etiqueta de categoría. Por lo tanto, los sistemas de categorías deben estar unificados y, por ende, todos los datos deben volver a clasificarse de acuerdo con el nuevo árbol de categorías. O deben pensar en una aplicación de Inteligencia de Negocios donde los sitios web de las empresas necesiten clasificarse según su sector (peluquería vs. panadería, etc.).

<h3>Evaluación </h3>
Evalué este enfoque con un <a href="http://ana.cachopo.org/datasets-for-single-label-text-categorization">conjunto de datos de clasificación de texto estándar</a>: El <a href="http://qwone.com/~jason/20Newsgroups/">conjunto de datos 20 Newsgroups</a>. La mayor precisión (92&nbsp;% de etiquetas correctas) se logró con un umbral de puntuación de alta calidad que incluyó solo el 12&nbsp;% de los documentos. Al etiquetar todos los documentos (100&nbsp;% de recuperación), el 72&nbsp;% de las predicciones fueron correctas.

Los mejores algoritmos para la clasificación de texto en el conjunto de datos 20 Newsgroups son generalmente SVM y Naive Bayes. Tienen una mayor precisión promedio en todo el conjunto de datos.

Entonces, ¿por qué deberías considerar usar Elasticsearch para la clasificación si hay mejores algoritmos?

Hay algunas razones prácticas: entrenar un modelo de SVM lleva mucho tiempo. Especialmente cuando trabajas en una empresa emergente o necesitas realizar adaptaciones rápidas para diferentes clientes o casos de uso que podrían convertirse en un problema real. Por lo tanto, es posible que no puedas volver a entrenar tu modelo cada vez que cambien tus datos. Lo experimenté yo misma trabajando en un proyecto para un gran banco alemán. Por lo tanto, trabajarás con modelos obsoletos que seguramente ya no obtendrán tan buenos resultados.

Con el enfoque de Elasticsearch, el entrenamiento se realiza al momento de la indexación, y tu modelo se puede actualizar dinámicamente en cualquier momento con cero tiempo de inactividad de tu aplicación. Si tus datos ya están almacenados en Elasticsearch, no necesitas ninguna infraestructura adicional. Con más del 10&nbsp;% de resultados altamente precisos, generalmente puedes llenar la primera página. En muchas aplicaciones, eso es suficiente para una primera buena impresión.

¿Por qué entonces usar Elasticsearch cuando hay otras herramientas?

Porque tus datos ya están allí y se van a calcular previamente las estadísticas subyacentes de todos modos. ¡Es casi como si recibieras un poco de NLP gratis!

<hr>
<img src="https://api.contentstack.io/v2/uploads/58c91685a65c8d5d34e7a9c4/download?uid=blt17cf02e7ec334bcf" data-sys-asset-uid="blt17cf02e7ec334bcf" alt="Saskia Vola" width="148" height="160" style="float:left; width: 148px; height: 160px; margin:0 10px 10px 0;">
	

Saskia Vola estudió Lingüística Computacional en la Universidad de Heidelberg y comenzó a trabajar en el campo de la minería de textos en 2009. Después de unos años en el ámbito de las empresas emergentes de Berlín, decidió convertirse en una profesional independiente a tiempo completo y disfrutar de la vida como nómada digital. A medida que recibió más y más ofertas de proyectos relevantes, decidió comenzar una plataforma para trabajadores independientes de NLP/AI llamada <a href="http://textminers.io/">textminers.io</a>

magnet-letters-pile.jpg

thumb-magnet-letters-pile.jpg

Text Classification made easy with Elasticsearch

Clasificación de textos facilitada con Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

bio-saskia-vola.jpg

Saskia Vola

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/elastic-cloud-account-terms" target="_self">Condiciones de servicio</a>, y que acepta recibir las <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">comunicaciones seleccionadas</a> en los detalles de contacto que proporcionó anteriormente. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/serverless-preview-terms" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Al enviar esta información, aceptas los <a href="/es/agreements/global/cloud-services-monthly" rel="nofollow">Términos de servicio de Elastic</a>. Los datos personales se procesarán de conformidad con la <a href="/es/legal/privacy-statement">declaración de privacidad de Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/terms-of-use" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.

Hosted by

All Solutions

Follow us on Youtube

Watch now (no PT)

Articles by

Share by Email

Filters

All (no PT translation)

Contact information

See when this webinar starts in my time zone

Ver cuándo comienza este webinar en mi zona horaria

Thank you for your interest!

Register to Attend

Small image for

Register to Watch

Continue reading

Featured webinar

What to explore next...

Reset all

Load more press releases

Sign In to Attend

Share

Upcoming webinar

Learn more

Search Integrations

Share on Reddit

Share on Twitter

Share on Facebook

Load more news

View more posts

On-demand webinar

Follow us on Facebook

Author

Press Release

You'll also receive an email with related content.

You'll also receive an email with related content

Además, te enviaremos contenidos relevantes

Print

Contact Info

Overview

Video for

Read less

The content on this page is not available in the selected language.

El contenido de esta página no está disponible en el idioma seleccionado. Elastic está trabajando para garantizar que el contenido esté disponible en varios idiomas.Gracias por tu paciencia mientras trabajamos.

Register now

Share this story

See All Posts

See all top stories

View next

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

¿No puedes asistir? Regístrate y te enviaremos la grabación. También recibirás un correo electrónico con contenido relacionado.

Follow us on LinkedIn

Highlights

Explore similar demos

Follow us on Twitter

Share on LinkedIn

Load More

See more insights

Speakers

Close

Thank you for registering. We will send you a confirmation email soon.

Gracias por registrarte. Te enviaremos un correo electrónico de confirmación pronto.

Author

Articles by Saskia Vola

Clasificación de textos facilitada con Elasticsearch

Sign up for Elastic Cloud free trial