Sirva mais com serverless

Ao pensarmos na próxima década, reconhecemos a necessidade de uma experiência de usuário mais simples, mas que ainda ofereça altíssimo desempenho. Sabemos que muitos usuários da Elastic querem ter controle total para implantação e escalabilidade, mas outros querem mais simplicidade. Os analistas de SOC querem proteger suas organizações, e não ficar redimensionando shards para melhor detecção de ameaças. Os desenvolvedores querem criar aplicações de busca, e não ficar ajustando a infraestrutura para consultas mais rápidas. Os SREs querem garantir a confiabilidade online, e não ficar definindo configurações para ajudar a minimizar o tempo de inatividade. A gente pode adorar ficar gerenciando clusters, mas você não precisa fazer isso! A arquitetura serverless da Elastic remove a responsabilidade operacional, para que você possa dizer adeus ao gerenciamento de clusters, à configuração de shards, ao redimensionamento e à configuração do ILM. Basta trazer seus dados e consultas, e a plataforma cuidará de todo o redimensionamento e gerenciamento. 

Está cansado(a) de ouvir que você não pode ter escalabilidade mais rápida com períodos mais longos de retenção de dados e ainda equilibrar custos e reduzir a complexidade? Bem, agora você pode. Para muitas cargas de trabalho, tanto a escala quanto a velocidade são importantes, seja investigando ameaças como o SolarWinds, que têm um longo tempo de permanência, identificando a causa raiz de uma interrupção em centenas de serviços ou usando a busca vetorial para alimentar cargas de trabalho de IA generativa com geração ampliada de recuperação. 

É por isso que nossa arquitetura serverless é baseada em um Elasticsearch reprojetado e reimaginado, que separa totalmente a computação do armazenamento e depende do armazenamento de objetos. Os armazenamentos de objetos na nuvem oferecem escalabilidade econômica, mas introduzem latência, exigindo novas técnicas para aumentar a velocidade. Felizmente, nossos anos de experiência na otimização de estruturas de dados de índices do Elasticsearch e do Lucene para um armazenamento em cache eficiente, combinado com paralelização aprimorada no tempo de consulta, superam esse desafio de latência. Isso significa que você pode ter velocidade e escala com controles integrados para equilibrar facilmente velocidade e custo.

A nova arquitetura serverless da Elastic marca uma reengenharia significativa do Elasticsearch. Ela foi desenvolvida para aproveitar as vantagens dos serviços nativos da nuvem mais recentes e oferecer experiências de produto otimizadas com administração descomplicada. Além disso, fornece a capacidade de armazenamento de um data lake, mas com o alto desempenho de busca característico do Elasticsearch e simplicidade operacional com gerenciamento e escala de cluster automatizados. A arquitetura é baseada em quatro princípios:

• Computação e armazenamento dissociados
• Camadas separadas de busca e indexação
• Armazenamento de objetos econômico como sistema de registro
• Consulta de baixa latência

Em vez de depender de instâncias primárias e de réplica para gerenciar várias cargas de trabalho, a arquitetura serverless da Elastic oferece suporte para camadas distintas de indexação e busca. Com essa separação, as cargas de trabalho podem ser redimensionadas de forma independente, e o hardware pode ser selecionado e otimizado para cada caso de uso. 

Além disso, essa abordagem lida de forma eficaz com o problema persistente da interferência entre cargas de trabalho de busca e indexação. Fica mais fácil otimizar o desempenho e os gastos para qualquer caso de uso ou carga de trabalho de busca. Essa propriedade é importante para os usuários de segurança e logging de alto volume que querem evitar que buscas pesadas interrompam as operações de indexação, bem como para os usuários de busca que querem utilizar recursos pesados de tempo de indexação para obter melhor relevância sem afetar o desempenho da busca.

A arquitetura serverless conta com armazenamento de objetos econômico para oferecer maior escala e, ao mesmo tempo, reduzir os custos de armazenamento. Ao aproveitar o armazenamento de objetos para persistência, o Elasticsearch não precisa mais realizar operações de indexação para uma ou mais réplicas para garantir a durabilidade, reduzindo assim o custo de indexação e a duplicação de dados. Em vez disso, os segmentos persistem e são replicados por meio do armazenamento de objetos. Isso cria eficiências para vários requisitos. Por exemplo, reduz as despesas de armazenamento para a camada de indexação, minimizando os dados armazenados em discos locais. A arquitetura serverless indexa diretamente no armazenamento de objetos, portanto, apenas uma fração é retida como dados locais. Para cenários que envolvem operações somente de anexação, apenas metadados específicos precisam ser preservados para indexação, resultando em uma redução substancial no armazenamento local necessário para fins de indexação.

Os armazenamentos de objetos podem acomodar grandes quantidades de dados, mas não são conhecidos por oferecer velocidade ou baixa latência. Então, como a Elastic usa o armazenamento de objetos e mantém um ótimo desempenho de consulta? Bem, introduzimos vários novos recursos para oferecer alto desempenho. A paralelização de consultas no nível de segmento reduz a latência ao recuperar dados do armazenamento de objetos. Isso permite que mais solicitações sejam enviadas rapidamente para armazenamentos de objetos como o S3 quando os dados não estão no cache local. O cache também se tornou “mais inteligente” por meio da capacidade de reutilização e do aproveitamento dos formatos ideais de índice do Lucene para cada tipo de dados. Esses são apenas alguns dos novos recursos que resultam em melhorias significativas de desempenho tanto no armazenamento de objetos quanto nas camadas de cache.

Também aproveitamos esta oportunidade e criamos produtos para busca, observabilidade e segurança customizados para a arquitetura serverless. O objetivo é otimizar para as necessidades exclusivas de cada fluxo de trabalho com uma experiência de usuário simplificada. Isso inclui onboarding mais rápido e contínuo, maior integração dos recursos e otimização de interfaces customizadas para o trabalho de cada caso de uso. Destaques de cada produto:

• Search — A experiência de busca serverless se concentra em garantir que os desenvolvedores possam criar experiências de busca excepcionais e prontas para uso com rapidez e facilidade. As APIs estão na frente e no centro, combinadas com maneiras fáceis de ingerir e trazer dados para o Elasticsearch. Esses pipelines foram simplificados para permitir que a transformação e outras tarefas sejam concluídas rapidamente. Novos clientes de linguagens como Java, .NET, Python e outras foram criados para reduzir a curva de aprendizado inicial e as etapas necessárias para concluir tarefas, juntamente com documentação em linha, criando coletivamente uma experiência simplificada que ajuda os desenvolvedores a extrair benefícios mais rapidamente.