Prestar más servicios sin servidor

Si pensamos en la próxima década, reconocemos la necesidad de una experiencia de usuario más simple que siga brindando un rendimiento ultrarrápido. Sabemos que muchos usuarios de Elastic quieren tener el control total para desplegar y escalar, pero otros desean mayor simpleza. Los analistas de SOC quieren proteger sus organizaciones, no escalar shards para una mejor detección de amenazas. Los desarrolladores desean crear aplicaciones de búsqueda, no ajustar la infraestructura para búsqueda más rápida. Los SRE quieren garantizar la confiabilidad en línea, no realizar configuraciones para ayudar a minimizar el tiempo de inactividad. Nos encanta gestionar clusters, pero tú no tienes que hacerlo. La arquitectura sin servidor de Elastic elimina la responsabilidad operativa, así que puedes despedirte de gestionar clusters, configurar shards, escalar y configurar ILM. Solo trae tus datos y búsquedas, y la plataforma se encarga de todo el escalado y la gestión. 

¿Estás cansado de escuchar que no puedes tener escalabilidad más rápida con períodos de retención de datos más prolongados y balancear los costos además de disminuir la complejidad? Bueno, ahora puedes. En muchas cargas de trabajo, tanto la escala como la velocidad importan; ya sea para investigar amenazas como SolarWinds (que tienen un tiempo de permanencia prolongado), identificar la causa raíz de una interrupción de servicio en cientos de servicios o usar labúsqueda de vectores para impulsar cargas de AI generativa con generación aumentada de recuperación. 

Por eso nuestra arquitectura sin servidor se basa en un Elasticsearch rediseñado y repensado, que desacopla por completo el procesamiento del almacenamiento y se basa en el almacenamiento de objetos. Los almacenes de objetos en el cloud ofrecen escalabilidad rentable, pero introducen latencia, lo que requiere nuevas técnicas para lograr velocidad. Afortunadamente, nuestra experiencia de años en optimizar las estructuras de datos de índice de Elasticsearch y Lucene para almacenamiento en caché eficiente, junto con la paralelización mejorada del tiempo de búsqueda, superan este desafío de latencia. Esto significa que puedes disfrutar tanto de velocidad como de escala con los controles integrados para balancear con facilidad la velocidad y el costo.

La nueva arquitectura sin servidor de Elastic marca un importante rediseño de Elasticsearch. Se creó para aprovechar los servicios más recientes nativos del cloud y brindar experiencias de producto optimizadas con administración sin inconvenientes. Brinda la capacidad de almacenamiento de un lago de datos, pero con el rendimiento de búsqueda rápido sinónimo de Elasticsearch y la simpleza operativa con escala y gestión de clusters sin intervención. La arquitectura se asienta sobre cuatro principios clave:

• Procesamiento y almacenamiento desacoplados
• Niveles separados de búsqueda e indexación
• Almacenamiento de objetos económico como sistema de registro
• Búsqueda de baja latencia

En lugar de depender de instancias primarias y réplicas para gestionar varias cargas de trabajo, la arquitectura sin servidor de Elastic brinda soporte a distintos niveles de indexación y búsqueda. Esta separación significa que las cargas de trabajo pueden escalarse de manera independiente y que el hardware se puede seleccionar y optimizar para cada caso de uso. 

Además, este enfoque aborda efectivamente el problema persistente de cargas de trabajo de búsqueda e indexación que interfieren entre sí. Esto hace que sea más sencillo optimizar tanto el rendimiento como el gasto para cualquier carga de trabajo o caso de uso de búsqueda. Esta propiedad es importante para los usuarios de seguridad y logging de alto volumen que desean evitar que las búsquedas intensivas interrumpan las operaciones de indexación y para los usuarios de búsqueda que desean usar características de tiempo de indexación intensivas para un mejor rendimiento de búsqueda y relevancia sin afectar su rendimiento de búsqueda.

La arquitectura sin servidor depende de un almacenamiento de objetos económico para alcanzar una mayor escala y reducir los costos de almacenamiento. Gracias a que aprovecha el almacenamiento de objetos para la persistencia, Elasticsearch ya no necesita replicar las operaciones de indexación en una o más réplicas para la durabilidad, y de este modo reduce los costos de indexación y la duplicación de datos. En cambio, los segmentos persisten y se replican a través del almacenamiento de objetos. Esto genera eficiencia en varios requisitos. Por ejemplo, reduce los gastos de almacenamiento correspondientes al nivel de indexación minimizando los datos almacenados en discos locales. La arquitectura sin servidor indexa directamente en el almacén de objetos, por lo que solo una fracción se retiene como datos locales. En los casos que involucran operaciones de solo anexado, solo es necesario preservar metadatos específicos para indexación, lo que lleva a una importante reducción del almacenamiento local necesario para fines de indexación.

Los almacenes de objetos pueden brindar soporte a enormes cantidades de datos, pero no son conocidos por la velocidad ni la baja latencia. Entonces, ¿cómo Elastic usa almacenamiento de objetos y mantiene un excelente rendimiento de búsqueda? Bueno, introdujimos varias capacidades nuevas para brindar rendimiento rápido. La paralelización de búsqueda a nivel del segmento reduce la latencia al recuperar datos del almacén de objetos. Esto permite que más solicitudes se envíen rápidamente a los almacenes de objetos como S3 cuando los datos no están en la memoria caché local. El almacenamiento en caché también es "más inteligente" gracias a la capacidad para volver a usarla y al aprovechamiento de los formatos de índice óptimos de Lucene para cada tipo de datos. Estas son solo algunas de las capacidades nuevas que dan como resultado mejoras importantes de rendimiento tanto en el almacén de objetos como en las capas de caché.

También aprovechamos esta oportunidad a fin de crear productos personalizados para la arquitectura sin servidor para búsqueda, observabilidad y seguridad. El objetivo es optimizar conforme a las necesidades únicas de cada flujo de trabajo con una experiencia de usuario optimizada. Esto incluye la incorporación continua y más rápida, una mejor integración de las capacidades y la optimización de interfaces personalizadas para el trabajo de cada caso de uso. Algunos aspectos destacados de cada producto que vale la pena mencionar incluyen los siguientes:

• Búsqueda: la experiencia de búsqueda sin servidor se enfoca en asegurarse de que los desarrolladores puedan crear experiencias de búsqueda excepcionales de fábrica, rápido y fácil. Las API son protagonistas, junto con las formas sencillas de ingestar e ingresar datos en Elastic. Estos pipelines se simplificaron para permitir que la transformación y otras tareas se completen rápido. Los nuevos clientes de lenguaje, como Java, .NET, Python y otros, se crearon para reducir la curva de aprendizaje inicial y los pasos necesarios para completar tareas, junto con la documentación integrada; lo que colectivamente crea una experiencia de desarrollador optimizada que ayuda a los desarrolladores a obtener valor más rápido.