Recursos do Elastic Stack

Colete seus dados do framework de auditoria do Linux e monitore a integridade dos seus arquivos. O Auditbeat envia esses eventos em tempo real para o restante do Elastic Stack para análise posterior.

O Filebeat e o Metricbeat oferecem várias maneiras de monitorar seus servidores web e servidores proxy, incluindo módulos e dashboards pré-configurados para NGINX, Apache, HAProxy, IIS e muitos outros.

O Filebeat e o Metricbeat incluem módulos internos que simplificam a coleta, a análise e a visualização de formatos de log comuns e métricas de sistema de datastores, bancos de dados e sistemas de enfileiramento como MySQL, MongoDB, PostgreSQL, Microsoft SQL e muitos outros.

Acompanhe o desempenho e a disponibilidade em uma ampla variedade de serviços na nuvem da Amazon Web Services, do Google Cloud e do Microsoft Azure em um único painel para gerar análises eficientes em escala. Além disso, o Functionbeat oferece simplicidade ao observar sua arquitetura de nuvem sem servidor, incluindo Kinesis, SQS e logs do CloudWatch.

Monitore os logs das suas aplicações, fique de olho nas métricas e eventos do Kubernetes e analise o desempenho dos containers do Docker. Visualize e faça buscas em todos eles em um app criado para operações de infraestrutura.

Informações de rede, como HTTP, DNS e SIP, permitem que você monitore a latência e os erros de aplicações, os tempos de resposta, o desempenho do SLA, os padrões e as tendências de acesso do usuário e muito mais. Aproveite esses dados para entender como o tráfego está fluindo pela sua rede.

A solução para detectar uma ameaça pode vir de qualquer lugar. Portanto, é importante ter uma imagem em tempo real do que está acontecendo no seu ambiente. O Agent e os Beats ingerem inúmeras fontes comerciais e de sistemas de suporte a operações (OSS) de dados de segurança, permitindo monitoramento e detecção em escala.

Esteja você testando um serviço do mesmo host ou na web aberta, o Heartbeat facilita a geração de dados de tempo de funcionamento e tempo de resposta.

Com o File Data Visualizer, você pode carregar um arquivo CSV, NDJSON ou de log em um índice do Elasticsearch. O File Data Visualizer usa a API de estrutura de arquivo para identificar o formato do arquivo e os mapeamentos de campo, após os quais você pode escolher importar os dados para um índice.

Use um nó de ingestão para pré-processar documentos antes que a indexação real do documento aconteça. O nó de ingestão intercepta solicitações em massa e de índice, aplica transformações e, em seguida, passa os documentos de volta para o índice ou bulk APIs. O nó de ingestão oferece mais de 25 processadores diferentes, incluindo append, convert, date, dissect, drop, fail, grok, join, remove, set, split, sort, trim e outros.

A análise é o processo de conversão de texto, como o corpo de qualquer email, em tokens ou termos que são adicionados ao índice invertido para busca. A análise é realizada por um analisador que pode ser integrado ou customizado, definido a cada índice usando uma combinação de tokenizadores e filtros.

Um tokenizador recebe um fluxo de caracteres, divide-o em tokens individuais (geralmente palavras individuais) e gera um fluxo de tokens. O tokenizador também é responsável por registrar a ordem ou posição de cada termo (usado para consultas de proximidade de frase e palavra) e os deslocamentos de caractere inicial e final da palavra original que o termo representa (usado para destacar snippets de busca). O Elasticsearch tem vários tokenizadores integrados que podem ser usados para criar analisadores personalizados.

Os filtros de token aceitam um fluxo de um tokenizador e podem modificar tokens (por exemplo, aplicar letras minúsculas), excluir tokens (por exemplo, remover palavras irrelevantes) ou adicionar tokens (por exemplo, sinônimos). O Elasticsearch tem vários filtros de token integrados que podem ser usados para criar analisadores customizados.

Faça buscas em seu próprio idioma. O Elasticsearch oferece mais de 30 analisadores de idioma diferentes, incluindo muitos idiomas com conjuntos de caracteres não latinos, como russo, árabe e chinês.

Um padrão grok é como uma expressão regular que dá suporte a expressões com alias que podem ser reutilizadas. Use o grok para extrair campos estruturados de um único campo de texto em um documento. Esta ferramenta é perfeita para logs de syslog, logs de servidor web como o Apache, logs MySQL e qualquer formato de log que geralmente é escrito para consumo humano em vez de consumo por computador.

Se você usa feeds de dados, pode adicionar scripts para transformar seus dados antes de analisá-los. Os feeds de dados contêm uma propriedade script_fields opcional, na qual você pode especificar scripts que avaliam expressões personalizadas e retornam campos de script. Usando essa funcionalidade, você pode realizar uma variedade de transformações.

Enriqueça seus dados de log na ingestão com os plugins de pesquisa externa do Logstash. Complemente facilmente as linhas de log e forneça mais contexto com informações como localização de IP do cliente, resultados de pesquisa de DNS ou até mesmo dados de linhas de log adjacentes. O Logstash tem uma variedade de plugins de pesquisa para você escolher.

O processador de ingestão de correspondência permite que os usuários pesquisem dados no momento da ingestão e indica o índice do qual extrair dados enriquecidos. Isso ajuda os usuários dos Beats que precisam adicionar alguns elementos a seus dados — em vez de alternar dos Beats para o Logstash, os usuários podem consultar o pipeline de ingestão diretamente. Os usuários também poderão normalizar os dados com o processador para obter melhores análises e consultas mais comuns.

O processador enrich de correspondência geográfica é uma maneira útil e prática de permitir que os usuários aprimorem seus recursos de busca e agregação, utilizando seus dados geográficos sem precisar definir consultas ou agregações em termos de coordenadas geográficas. De forma semelhante ao processador enrich de correspondência, os usuários podem pesquisar dados no momento da ingestão e encontrar o índice ideal do qual extrair dados enriquecidos.

O Elasticsearch usa APIs RESTful e JSON padrão. Também desenvolvemos e mantemos clientes em muitas linguagens, como Java, Python, .NET, SQL e PHP. Além disso, nossa comunidade contribui com muitas outras. Elas são fáceis de trabalhar, a sensação é de naturalidade ao usar e, assim como o Elasticsearch, não limitam o que você quer fazer com elas.

O Elasticsearch oferece uma variedade de tipos de nós, um dos quais é específico para ingestão de dados. Os nós de ingestão podem executar pipelines de pré-processamento, compostos por um ou mais processadores de ingestão. Dependendo do tipo de operações realizadas pelos processadores de ingestão e dos recursos necessários, pode fazer sentido ter nós de ingestão dedicados que realizarão apenas essa tarefa específica.

O Elastic Agent é um agente unificado que você pode implantar em hosts ou containers para coletar dados e enviá-los ao Elastic Stack. Use-o para adicionar monitoramento de logs, métricas e outros tipos de dados a cada host. Seu host controlado pelo Elastic Agent pode usar a integração do Endpoint Security para fornecer proteção, monitorando o host para eventos relacionados à segurança e permitindo a investigação de dados de segurança por meio do app Elastic Security no Kibana.

Os Beats são agentes de dados open source que você instala como agentes nos seus servidores para enviar dados operacionais ao Elasticsearch ou ao Logstash. A Elastic fornece Beats para capturar uma variedade de logs, métricas e outros tipos de dados comuns.

Se você tem um caso de uso específico para resolver, recomendamos que você crie um Beat de comunidade. Criamos uma infraestrutura para simplificar o processo. A biblioteca libbeat, escrita inteiramente em Go, oferece a API que todos os Beats usam para enviar dados ao Elasticsearch, configurar as opções de entrada, implementar logging e muito mais.

O Logstash é um mecanismo open source de coleta de dados com recursos de pipeline em tempo real. O Logstash pode unificar dinamicamente dados de fontes diferentes e normalizar os dados em destinos de sua escolha. Limpe e democratize todos os seus dados para diversos casos de uso avançados de analítica e visualização downstream.

Você pode adicionar seus próprios plugins de entrada, codec, filtro ou saída ao Logstash. Os plugins podem ser desenvolvidos e implantados independentemente do núcleo do Logstash. E você também pode escrever seu próprio plugin Java para uso com o Logstash.

O Elasticsearch para Apache Hadoop (Elasticsearch-Hadoop ou ES-Hadoop) é uma pequena biblioteca gratuita e aberta, independente e autocontida que permite que os trabalhos do Hadoop interajam com o Elasticsearch. Use-o para desenvolver facilmente aplicações de busca dinâmicas e incorporadas e oferecer dados do Hadoop ou executar analítica profunda e de baixa latência usando consultas e agregações geoespaciais de texto completo.

Como o Elasticsearch é uma aplicação gratuita, aberta e independente de linguagem, é fácil estender sua funcionalidade com plugins e integrações. Os plugins são uma maneira de aprimorar a funcionalidade principal do Elasticsearch de maneira customizada, enquanto as integrações são ferramentas ou módulos externos que facilitam o trabalho com o Elasticsearch.

O Fleet fornece uma UI web no Kibana para adicionar e gerenciar integrações para serviços e plataformas populares, bem como gerenciar uma frota de Elastic Agents. Além de proporcionarem uma maneira fácil de adicionar novas fontes de dados, nossas integrações vêm com ativos prontos para uso, como dashboards, visualizações e pipelines para extrair campos estruturados dos logs.

Controle várias instâncias do Logstash na UI de gerenciamento de pipeline no Kibana. No lado do Logstash, basta habilitar o gerenciamento de configuração e registrar o Logstash para usar as configurações de pipeline gerenciadas centralmente.

O Elasticsearch é compatível com vários tipos de dados diferentes para os campos em um documento, e cada um desses tipos de dados oferece seus próprios e múltiplos subtipos. Isso lhe permite armazenar, analisar e utilizar dados da maneira mais eficiente e eficaz possível, independentemente de seu tipo. Alguns dos tipos de dados para os quais o Elasticsearch é otimizado:

O Elasticsearch usa uma estrutura chamada índice invertido, que é projetada para permitir buscas de texto completo muito rápidas. Um índice invertido consiste em uma lista de todas as palavras únicas que aparecem em qualquer documento e, para cada palavra, uma lista dos documentos em que ela aparece. Para criar um índice invertido, primeiro dividimos o campo de conteúdo de cada documento em palavras separadas (que chamamos de termos ou tokens), criamos uma lista ordenada de todos os termos únicos e, em seguida, listamos em qual documento cada termo aparece.

O Elasticsearch não exige que os dados sejam estruturados para serem ingeridos ou analisados (embora a estruturação melhore a velocidade). Esse design faz com que começar seja simples e também torna o Elasticsearch um armazenamento de documentos eficaz. Embora o Elasticsearch não seja um banco de dados NoSQL, ele oferece funcionalidade semelhante.

Um índice invertido permite que as consultas pesquisem termos de busca rapidamente, mas para a classificação e as agregações, é necessário um padrão de acesso a dados diferente. Em vez de pesquisar o termo e localizar documentos, eles precisam poder pesquisar o documento e encontrar os termos que ele contém em um campo. Os valores doc são a estrutura de dados em disco no Elasticsearch, construída no momento da indexação do documento, o que possibilita esse padrão de acesso aos dados para que a busca ocorra de forma colunar. Isso permite que o Elasticsearch se destaque na análise de séries temporais e de métricas.

O Elasticsearch usa as estruturas de árvore BKD no Lucene para armazenar dados geo. Isso permite a análise eficiente de geopontos (latitude e longitude) e geoformas (retângulos e polígonos).

Embora o Elastic Stack não implemente a criptografia em repouso, é recomendável que a criptografia no nível do disco seja configurada em todas as máquinas host. Além disso, os destinos dos snapshots também devem garantir que os dados sejam criptografados em repouso.

A segurança no nível de campo restringe os campos aos quais os usuários têm acesso de leitura. Em particular, restringe quais campos podem ser acessados por APIs de leitura baseadas em documentos.

Um cluster é uma coleção de um ou mais nós (servidores) que juntos armazenam todos os seus dados e fornecem indexação federada e recursos de busca em todos os nós. Essa arquitetura simplifica o redimensionamento horizontal. O Elasticsearch fornece uma REST API abrangente e poderosa e UIs que você pode usar para gerenciar seus clusters.

Um snapshot é um backup gerado de um cluster do Elasticsearch em execução. Você pode gerar um snapshot de índices individuais ou de todo o cluster e armazená-lo em um repositório em um sistema de arquivos compartilhado. Existem plugins disponíveis que também oferecem suporte para repositórios remotos.

Um repositório de origem permite criar snapshots mínimos e somente de origem que ocupam até 50% menos espaço em disco. Os snapshots somente de origem contêm campos armazenados e metadados de índice. Eles não incluem estruturas de valores de índice ou doc e não é possível fazer buscas neles quando restaurados.

Manter os dados históricos disponíveis para análise é extremamente útil, mas muitas vezes evitado devido ao custo financeiro de arquivar grandes quantidades de dados. Os períodos de retenção são, portanto, influenciados pelas realidades financeiras e não pela utilidade dos dados históricos. O recurso de rollup fornece um meio de resumir e armazenar dados históricos para que ainda possam ser usados para análise, mas por uma fração do custo de armazenamento de dados brutos.

O Elasticsearch usa uma estrutura chamada índice invertido, que é projetada para permitir buscas de texto completo muito rápidas. Um índice invertido consiste em uma lista de todas as palavras únicas que aparecem em qualquer documento e, para cada palavra, uma lista dos documentos em que ela aparece. Para criar um índice invertido, primeiro dividimos o campo de conteúdo de cada documento em palavras separadas (que chamamos de termos ou tokens), criamos uma lista ordenada de todos os termos únicos e, em seguida, listamos em qual documento cada termo aparece.

Um campo de tempo de execução é um campo que é avaliado no momento da consulta (esquema na leitura). Os campos de tempo de execução podem ser introduzidos ou modificados a qualquer momento, inclusive após a indexação dos documentos, e podem ser definidos como parte de uma consulta. São expostos a consultas com a mesma interface dos campos indexados; portanto, um campo pode ser um campo de tempo de execução em alguns índices de um fluxo de dados e um campo indexado em outros índices desse fluxo de dados, e as consultas não precisam estar cientes disso. Embora os campos indexados forneçam um desempenho de consulta ideal, os campos de tempo de execução os complementam apresentando flexibilidade para alterar a estrutura de dados após a indexação dos documentos.

Os campos de tempo de execução de pesquisa oferecem a flexibilidade de adicionar informações de um índice de pesquisa aos resultados de um índice principal, definindo uma chave em ambos os índices que vincula os documentos. Assim como os campos de tempo de execução, esse recurso é usado no momento da consulta, proporcionando um enriquecimento de dados flexível.

O recurso de busca entre clusters (CCS) permite que qualquer nó atue como um cliente federado em vários clusters. Um nó de busca entre clusters não ingressará no cluster remoto; em vez disso, ele se conecta a um cluster remoto de maneira leve para executar solicitações de busca federada.

Uma similaridade (pontuação de relevância/modelo de classificação) define como os documentos correspondentes são pontuados. Por padrão, o Elasticsearch usa a similaridade BM25 — uma similaridade avançada baseada em TF/IDF que tem uma normalização tf integrada ideal para campos curtos (como nomes) — mas muitas outras opções de similaridade estão disponíveis.

Com base no novo vizinho mais próximo aproximado do Lucene 9 ou suporte para ANN com base no algoritmo HNSW, o novo endpoint da API _knn_search facilita uma pesquisa mais escalável e com mais desempenho por similaridade de vetor. Ele faz isso permitindo uma compensação entre recall e desempenho, ou seja, permitindo um desempenho muito melhor em conjuntos de dados muito grandes (em comparação com o método de similaridade de vetor de força bruta existente) ao fazer pequenos compromissos no recall.

A busca de texto completo requer uma linguagem de consulta robusta. O Elasticsearch fornece uma DSL (linguagem específica do domínio) de consulta completa baseada em JSON para definir consultas. Crie consultas simples para corresponder a termos e frases ou desenvolva consultas compostas que possam combinar várias consultas. Além disso, filtros podem ser aplicados no momento da consulta para remover documentos antes que recebam uma pontuação de relevância.

A API de busca assíncrona permite que os usuários executem consultas demoradas em segundo plano, acompanhem o andamento das consultas e recuperem resultados parciais assim que estiverem disponíveis.

Os realçadores permitem que você obtenha snippets realçados de um ou mais campos nos resultados da busca para poder mostrar aos usuários onde estão as correspondências da consulta. Quando você solicita realces, a resposta contém um elemento de realce adicional para cada ocorrência de busca que inclui os campos e os fragmentos realçados.

O sugeridor de preenchimento fornece a funcionalidade de preenchimento automático/busca ao digitar. Esse é um recurso de navegação para guiar os usuários para resultados relevantes enquanto eles digitam, melhorando a precisão da busca.

O termo sugeridor está na raiz da verificação ortográfica, sugerindo termos com base na distância de edição. O texto de sugestão fornecido é analisado antes de os termos serem sugeridos. Os termos sugeridos são fornecidos por token de texto de sugestão analisado.

O sugeridor de frase adiciona a funcionalidade “você quis dizer” à sua busca, criando lógica adicional em cima do sugeridor de termos para selecionar frases corrigidas inteiras, em vez de tokens individuais ponderados com base nos modelos de linguagem de n-grama. Na prática, esse sugeridor poderá tomar melhores decisões sobre quais tokens escolher com base na coocorrência e nas frequências.

Invertendo o modelo de busca padrão de usar uma consulta para encontrar um documento armazenado em um índice, os percoladores podem ser usados para corresponder documentos a consultas armazenadas em um índice. A própria consulta percolate contém o documento que será usado como uma consulta para corresponder às consultas armazenadas.

A API de perfil fornece informações detalhadas de tempo sobre a execução de componentes individuais em uma solicitação de busca. Ela fornece insight sobre como as solicitações de busca são executadas especificamente para que você possa entender por que certas solicitações são lentas e tomar medidas para melhorá-las.

A segurança no nível de campo e a segurança no nível de documento restringem os resultados da busca apenas ao que os usuários têm acesso de leitura. Em particular, restringe quais campos e documentos podem ser acessados por meio de APIs de leitura baseadas em documentos.

O cancelamento de consulta é um recurso útil do Kibana que ajuda no impacto geral do cluster ao reduzir a sobrecarga de processamento desnecessária. O cancelamento automático das solicitações do Elasticsearch ocorrerá quando os usuários alterarem/atualizarem suas consultas ou atualizarem a página do navegador.

O framework de agregações ajuda a fornecer dados agregados com base em uma consulta de busca. Ele é baseado em blocos de construção simples chamados agregações que podem ser compostos para construir resumos complexos dos dados. Uma agregação pode ser vista como uma unidade de trabalho que constrói informações analíticas sobre um conjunto de documentos.

A Graph explore API permite extrair e resumir informações sobre os documentos e termos no seu índice do Elasticsearch. A melhor maneira de entender o comportamento dessa API é usar o Graph no Kibana para explorar as conexões.

Crie alertas de limite para verificar periodicamente quando os dados nos seus índices do Elasticsearch ficam acima ou abaixo de um certo limite dentro de um determinado intervalo de tempo. Nossos recursos de alerta lhe proporcionam todo o poder da linguagem de consulta do Elasticsearch para identificar alterações nos dados que sejam interessantes para você.

A inferência permite que você use processos de machine learning supervisionado, como regressão ou classificação, não apenas como uma análise de lote, mas de maneira contínua. A inferência torna possível o uso de modelos de machine learning treinados nos dados recebidos.

A identificação de idioma é um modelo treinado que você pode usar para determinar o idioma do texto. Você pode fazer referência ao modelo de identificação de idioma em um processador de inferência.

Depois que o machine learning da Elastic cria linhas de base de comportamento normal para seus dados, você pode usar essas informações para extrapolar o comportamento futuro. Em seguida, crie uma previsão para estimar um valor de série temporal em uma data futura específica ou estime a probabilidade de um valor de série temporal ocorrer no futuro.

Os recursos de machine learning da Elastic automatizam a análise de dados de séries temporal criando linhas de base precisas de comportamento normal nos dados e identificando padrões anômalos nesses dados. As anomalias são detectadas, pontuadas e vinculadas a influenciadores estatisticamente significativos nos dados usando algoritmos proprietários de machine learning.

Para alterações mais difíceis de definir com regras e limites, combine alertas com recursos de machine learning sem supervisão para encontrar o comportamento incomum. Então, use as pontuações de anomalia no framework de alerta para receber notificações quando surgirem problemas.

Use os recursos de machine learning da Elastic para criar um perfil do que um usuário, máquina ou outra entidade “típica” faz em um período especificado e, em seguida, identificar discrepâncias quando eles se comportam de forma anormal em comparação com a população.

Os eventos de log da aplicação geralmente não são estruturados e contêm dados variáveis. Os recursos de machine learning da Elastic observam as partes estáticas da mensagem, agrupam mensagens semelhantes e as classificam em categorias.

Depois que uma anomalia é detectada, os recursos de machine learning do Elastic facilitam a identificação das propriedades que a influenciaram significativamente. Por exemplo, se houver uma queda incomum nas transações, você poderá identificar rapidamente o servidor com falha ou o switch mal configurado que está causando o problema.

O Data Visualizer ajuda você a entender melhor seus dados do Elasticsearch e identificar possíveis campos para análise de machine learning analisando as métricas e os campos em um arquivo de log ou em um índice existente.

Crie trabalhos complexos de machine learning com vários detectores. Use o Anomaly Explorer para visualizar os resultados após um trabalho multimétrica ter analisado o fluxo de entrada de dados, modelado seu comportamento e executado a análise com base nos dois detectores que você definiu no trabalho.

A detecção não supervisionada de discrepâncias utiliza usa quatro técnicas diferentes de machine learning baseadas em distância e densidade para descobrir quais pontos de dados são incomuns em comparação com a maioria. Crie trabalhos de analítica de estrutura de dados para detecção de discrepâncias usando a API específica para esse fim.

Reverta rapidamente um modelo para um snapshot desejado caso ocorra uma interrupção não planejada do sistema ou outro evento que cause resultados enganosos na detecção de anomalia.

O APM Server recebe dados de agentes do APM e os transforma em documentos do Elasticsearch. Ele faz isso expondo um endpoint de servidor HTTP para o qual os agentes transmitem os dados do APM que coletam. Depois que o APM Server validou e processou os eventos dos agentes do APM, o servidor transforma os dados em documentos do Elasticsearch e os armazena nos índices correspondentes do Elasticsearch.

Os agentes de APM são bibliotecas opne source escritas no mesmo idioma do seu serviço. Você os instala no seu serviço como qualquer outra biblioteca. Eles instrumentam seu código e coletam dados de desempenho e erros em tempo de execução. Esses dados são armazenados em buffer por um curto período e enviados para o APM Server.

A localização e a correção de empecilhos em seu código se resume à busca. Nosso app de APM dedicado no Kibana permite identificar gargalos e manter o foco em alterações problemáticas no nível do código. Consequentemente, você obtém um código melhor e mais eficiente que resulta em um ciclo mais ágil de desenvolvimento, teste e implantação; aplicações mais rápidas; e melhores experiências para os clientes.

Quer saber como as solicitações estão fluindo por toda a sua infraestrutura? Combine as transações com um trace distribuído e obtenha uma visão clara de como os serviços estão interagindo. Localize os problemas de latência no processo e identifique os componentes que precisam de otimização.

Acompanhe o desempenho do seu código. Receba uma notificação por email quando algo der errado ou uma notificação do Slack quando algo der muito certo.

Os mapas de serviços são uma representação visual de como seus serviços estão conectados e fornecem métricas gerais das transações, como duração média da transação, taxas de solicitação e erro, além do uso de CPU e memória.

Crie um trabalho de machine learning diretamente do app APM. Encontre rapidamente o comportamento anômalo com recursos de machine learning que modelam seus dados automaticamente.

Um dashboard do Kibana exibe uma coleção de visualizações e buscas. Você pode organizar, redimensionar e editar o conteúdo do dashboard e depois salvá-lo para poder compartilhar. Pode também criar detalhamentos customizados entre vários dashboards ou até mesmo para apps da web a fim de orientar ações e decisões.

O Canvas é uma maneira totalmente nova de fazer os dados terem um visual incrível. O Canvas combina dados com cores, formas, texto e sua própria imaginação para exibir dados de forma dinâmica, com várias páginas e pixels perfeitos em telas grandes e pequenas.

Os dados do User Experience refletem as experiências do usuário do mundo real. Quantifique e analise o desempenho percebido da sua aplicação web.

O Kibana Lens é uma UI intuitiva e fácil de usar que simplifica o processo de visualização de dados por meio de uma experiência de arrastar e soltar. Independentemente de você estar explorando bilhões de logs ou identificando tendências no tráfego do seu site, o Lens leva você dos dados aos insights em apenas alguns cliques, sem necessidade de experiência prévia no Kibana.

Usando todo o poder do framework de agregação do Elasticsearch, o Time Series Visual Builder (TSVB) é um visualizador de dados de série temporal que combina um número infinito de agregações e agregações de pipeline para exibir dados complexos de maneira significativa.

Os recursos de análise de dados gráficos permitem descobrir como os itens em um índice do Elasticsearch estão relacionados. Você pode explorar as conexões entre os termos indexados e ver quais conexões são as mais significativas. Isso pode ser útil em uma variedade de aplicações, desde detecção de fraude até mecanismos de recomendação.

“Onde” é uma pergunta crucial para muitos usuários do Elastic Stack. Seja para proteger a rede de ataques, investigar a lentidão nos tempos de resposta das aplicações em locais específicos ou conseguir uma carona até a sua casa, os dados geo e a busca desempenham um papel importante.

As aplicações e o ambiente estão evoluindo, e o Elastic Stack também. Monitore, busque e visualize o que está acontecendo em suas aplicações, no Docker e no Kubernetes — tudo em um só lugar.

Adicione ainda mais funcionalidades ao Kibana com módulos de plugin orientados pela comunidade. Os plugins open source estão disponíveis para uma variedade de apps, extensões, visualizações e muito mais. Os plugins incluem:

Com nosso tutorial fácil de seguir, você aprende a carregar um conjunto de dados no Elasticsearch, definir um padrão de indexação, descobrir e explorar os dados, criar visualizações e dashboards e muito mais.

O editor de campos de tempo de execução do Kibana usa a funcionalidade do Elasticsearch para dar aos analistas acesso para que adicionem seus próprios campos customizados em tempo real. Nos padrões de indexação, no Discover e no Kibana Lens, esse editor está disponível para criar, editar ou remover campos de tempo de execução.

No Kibana, você pode compartilhar facilmente um link direto para um dashboard do Kibana ou incorporar o dashboard em uma página da web como um iframe — na forma de um dashboard ao vivo ou um snapshot estático do momento atual.

Use a função integrada kibana_dashboard_only_user para limitar o que os usuários veem quando fazem login no Kibana. A função kibana_dashboard_only_user é pré-configurada com permissões somente leitura para o Kibana. Quando os usuários abrirem um dashboard, terão uma experiência visual limitada. Todos os controles de edição e criação ficam ocultos.

Com o Spaces no Kibana, você pode organizar seus dashboards e outros objetos salvos em categorias significativas. Quando estiver em um espaço específico, você verá apenas os dashboards e outros objetos salvos que pertencem a ele. E com a segurança habilitada, você pode controlar quais usuários têm acesso a espaços individuais, oferecendo uma camada extra de proteção.

Banners customizados ajudam a diferenciar o Kibana Spaces para diferentes funções, equipes, funções e muito mais. Adapte comunicados e mensagens específicos aos Kibana Spaces de forma individualizada e ajude os usuários a identificar rapidamente em qual espaço eles estão.

Exporte buscas salvas no Discover para arquivos CSV e use-as com editores de texto externos.

Crie tags facilmente e adicione-as a dashboards e visualizações para contar com um gerenciamento de conteúdo eficiente.

Gere relatórios rapidamente de qualquer visualização ou dashboard do Kibana e salve-os em PDF ou PNG. Obtenha um relatório sob demanda, agende-o para mais tarde, dispare-o com base nas condições especificadas e compartilhe-o automaticamente com outras pessoas.

Adicione camadas de índices exclusivos a uma única visualização usando o app Maps no Kibana. E como as camadas estão no mesmo mapa, você pode buscar e filtrar em todas elas em tempo real. As opções incluem camadas coropléticas, camadas de mapa de calor, camadas de bloco, camadas vetoriais e até mesmo camadas para casos de uso específicos, como observabilidade para dados de APM.

Os blocos vetoriais particionam seu mapa em blocos e oferecem o melhor desempenho e um zoom suave em relação aos métodos alternativos. Todas as novas camadas de polígonos habilitam a configuração 'Use vector tiles' (Usar blocos vetoriais) por padrão. Você pode alterar as opções de redimensionamento nas configurações da camada se preferir a abordagem de 10 mil registros.

Crie mapas de região — mapas temáticos nos quais as formas vetoriais de contorno são coloridas usando um gradiente — usando os dados de localização customizados em um esquema de sua escolha.

O Elastic Maps Service melhora todas as visualizações geoespaciais no Kibana (incluindo o app Maps) fornecendo blocos de mapa de base, shapefiles e os principais recursos essenciais para a visualização de dados geo. Com a distribuição padrão do Kibana, você pode ampliar até 18x em um mapa.

O Elastic Maps Server usa os mapas de base e os limites do Elastic Maps Service na infraestrutura local.

Embora simples e fácil de usar, o recurso de carregamento do GeoJSON é robusto. Por meio de ingestão direta no Elasticsearch, os criadores de mapas podem arrastar e soltar em um mapa os arquivos GeoJSON preenchidos com pontos, formas e conteúdo, para visualização instantânea. Habilite alertas de email ou webapp usando os limites definidos pelo GeoJSON ao rastrear o movimento de objetos orientado por dados.

Dispare notificações quando uma entidade entrar, sair ou cruzar um limite. Monitore a localização de uma entidade enquanto ela permanece dentro de um limite especificado.

Carregue shapefiles no Elastic com este carregador simples, mas poderoso, integrado à aplicação Maps. Carregue facilmente limites e dados abertos locais para análise e comparação.

O Filebeat ajuda você a simplificar as coisas simples, oferecendo uma maneira leve de encaminhar e centralizar logs e arquivos. O Filebeat vem com módulos internos (auditd, Apache, NGINX, System, MySQL e outros) que simplificam a coleta, análise e visualização de formatos de log comuns em um único comando.

Os dashboards de exemplo do Filebeat facilitam a exploração de dados de log no Kibana. Comece rapidamente com esses dashboards pré-configurados e customize-os para atender às suas necessidades.

A análise da taxa de log com machine learning destaca automaticamente os períodos em que a taxa está fora dos limites normais para que você possa identificar e inspecionar anomalias rapidamente.

O app Logs fornece rastreamento de logs em tempo real em uma exibição compacta e customizável. Os dados de log são correlacionados com as métricas no app Metrics, facilitando o diagnóstico de problemas.

O Metricbeat é um agente lightweight que você pode instalar nos seus servidores para coletar periodicamente métricas do sistema operacional e dos serviços executados no servidor. Da CPU à memória, do Redis ao NGINX, o Metricbeat é uma maneira leve de enviar estatísticas do sistema e dos serviços.

Os dashboards de exemplo do Metricbeat facilitam para você começar a monitorar seus servidores no Kibana. Comece rapidamente com esses dashboards pré-configurados e customize-os para atender às suas necessidades.

Crie alertas de limite para suas métricas com feedback em tempo real, diretamente no app do Metrics no Kibana, e receba uma notificação na forma de sua preferência — documentos, logs, Slack, webhooks simples e muito mais.

Encontre problemas comuns de infraestrutura com detecção de anomalia com apenas um clique diretamente na UI do Metrics.

Depois que as métricas estiverem sendo transmitidas para o Elasticsearch, use o app Metrics no Kibana para monitorá-las e identificar problemas em tempo real.

O Heartbeat é um daemon leve que você instala em um servidor remoto para verificar periodicamente o status dos seus serviços e determinar se eles estão disponíveis. O Heartbeat ingere os dados do servidor que serão exibidos no dashboard Uptime (Tempo de funcionamento) e no app no Kibana.

Os dashboard do Heartbeat de exemplo facilitam a visualização do status dos seus serviços no Kibana. Comece rapidamente com esses dashboards pré-configurados e customize-os para atender às suas necessidades.

Crie facilmente alertas baseados em limite a partir dos seus dados de disponibilidade diretamente no app Uptime e receba uma notificação na forma de sua preferência — documentos, logs, Slack, webhooks simples e muito mais.

Faça uma verificação ou receba uma notificação quando seus certificados SSL ou TLS estiverem expirando e mantenha seus serviços disponíveis diretamente no app Uptime.

Simule a experiência do usuário em jornadas de várias etapas — como o fluxo de finalização de compra em uma loja de comércio eletrônico. Capture informações detalhadas de status em cada etapa do caminho para identificar áreas problemáticas e criar experiências digitais excepcionais.

O app Uptime no Kibana ajuda a identificar e diagnosticar rapidamente interrupções e outros problemas de conectividade em sua rede ou ambiente. Monitore facilmente hosts, serviços, websites, APIs e muito mais com essa interface útil.

Analise uniformemente dados de diversas fontes com o Elastic Common Schema (ECS). Regras de detecção, trabalhos de machine learning, dashboards e outros conteúdos de segurança podem ser aplicados de forma mais ampla, as buscas podem ter mais filtros e os nomes dos campos ficam mais fáceis de lembrar.

O Elastic Security permite a análise interativa de dados de endpoint do Elastic Agent e do Elastic Beats, além de tecnologias como Carbon Black, CrowdStrike e Microsoft Defender for Endpoint. Explore a atividade do shell com o Session View e os processos com o Analyzer.

O Elastic Security possibilita o monitoramento da segurança da rede com mapas interativos, gráficos, tabelas de eventos e muito mais. Ele oferece suporte para inúmeras soluções de segurança de rede, incluindo tecnologias de sistema de suporte a operações (OSS) como Suricata e Zeek, dispositivos de fornecedores como Cisco ASA, Palo Alto Networks e Check Point, e serviços em nuvem como AWS, Azure, GCP e Cloudflare.

O Elastic Security é excelente na analítica de entidades. A solução fornece visibilidade da atividade do usuário, ajudando os profissionais a lidar com ameaças internas, controle de contas, abuso de privilégios e vetores relacionados. A coleta em todo o ambiente oferece suporte para o monitoramento de segurança, com dados dos usuários apresentados em visualizações e tabelas selecionadas. O contexto do usuário é apresentado dentro do fluxo de uma caça ou investigação, com mais detalhes rapidamente acessíveis.

O explorador de eventos da linha do tempo permite aos analistas visualizar, filtrar, correlacionar e anotar eventos, reunir dados para revelar a causa raiz e o escopo dos ataques, alinhar os investigadores e empacotar informações para referência imediata e de longo prazo.

Os fluxos de trabalho integrados de gerenciamento de casos aprimoram o controle sobre a detecção e a resposta. Com o Elastic Security, os analistas podem facilmente abrir, atualizar, marcar, comentar e fechar casos, além de integrá-los a sistemas externos. Uma API aberta e o suporte pré-criado para IBM Resilient, Jira, Swimlane e ServiceNow permitem o alinhamento com os fluxos de trabalho existentes.

O mecanismo de detecção executa a detecção de ameaças com base em técnicas e alerta sobre anomalias de alto valor. As regras pré-criadas desenvolvidas e testadas pelos engenheiros de pesquisa do Elastic Security permitem uma adoção rápida. É possível criar regras customizadas para qualquer dado formatado para o Elastic Common Schema (ECS).

O machine learning integrado automatiza a detecção de anomalia, aprimorando os fluxos de trabalho de detecção e caça. Um portfólio possibilita a rápida adoção de trabalhos de machine learning pré-criados. Os fluxos de trabalho de alerta e investigação aproveitam os resultados do machine learning.

O Elastic Security previne ransomware com análise comportamental realizada no Elastic Agent. O recurso interrompe ataques de ransomware em sistemas Windows analisando dados de processos de sistema de baixo nível e é eficaz em uma variedade de famílias de ransomware generalizadas.

A proteção contra comportamento malicioso no Elastic Agent bloqueia ameaças avançadas no endpoint, fornecendo uma nova camada de proteção para hosts Linux, Windows e macOS. A proteção contra comportamento malicioso reforça a prevenção contra malware e ransomware existente com prevenção dinâmica de comportamento pós-execução, interrompendo ameaças avançadas em seu caminho.

A prevenção contra malware sem assinatura interrompe imediatamente os executáveis maliciosos em hosts do Linux, Windows e macOS. O recurso é fornecido com o Elastic Agent, que também coleta dados de segurança e permite inspeção e resposta baseadas em host. O Kibana simplifica a implantação e a administração.

A proteção da memória no Elastic Agent interrompe muitas das técnicas usadas para injeção de processo via shellcode, interrompendo subtécnicas como sequestro de execução de thread, chamada de procedimento assíncrona, esvaziamento de processo e duplicação de processo.

O Elastic Security permite que os usuários implantem facilmente osquery em todos os endpoints, simplificando a caça e a inspeção em hosts Linux, Windows e macOS. A solução fornece acesso direto a dados de host avançados, recuperáveis com uma consulta SQL pré-criada ou customizada para análise no Elastic Security.

Colete atividade de rede de um número ilimitado de hosts com o Elastic Agent. Analise-a para revelar o tráfego dentro e fora do perímetro da rede que os firewalls não podem ver, ajudando as equipes de segurança a lidar com comportamentos maliciosos, como ataques de watering hole, exfiltração de dados e ataques de DNS. A integração do Network Packet Analyzer inclui uma licença comercial gratuita do Npcap, a biblioteca de sniffing de pacotes largamente implantada para Windows, proporcionando visibilidade da rede em todos os hosts, independentemente do sistema operacional.

Proteja cargas de trabalho de nuvem híbrida e aplicações nativas da nuvem usando um agente lightweight com tecnologia eBPF. Detecte automaticamente ameaças em tempo de execução com regras de detecção personalizadas e modelos de machine learning. Investigue com visualização semelhante à de terminais que exibe contexto amplo.

Ganhe visibilidade em sua postura de segurança em todos os ambientes multinuvem. Analise as descobertas, avalie o desempenho das descobertas com os controles CIS e siga a orientação de remediação para impulsionar um aperfeiçoamento rápido.