What is telemetry data?

Os dados de telemetria fornecem insights essenciais sobre o desempenho dos seus sistemas. Eles são cruciais para a resolução proativa de problemas e para a tomada de decisões informadas. Para conseguir isso, porém, não se pode confiar apenas em dados brutos — você precisa ter acesso a insights em tempo real. É isso que os dados de telemetria fornecem.

Telemetria é o processo de coleta, transmissão e análise de dados de fontes remotas como servidores, aplicações e dispositivos de monitoramento. Esse processo pode ser dividido nas seguintes etapas:

1. Coleta de dados. Sensores, software e outras ferramentas de monitoramento coletam dados como comportamento do usuário, métricas de desempenho e condições ambientais.
2. Transmissão de dados. Envio dos dados coletados para um sistema central.
3. Análise e monitoramento. Depois que os dados são recebidos, são processados, analisados e exibidos para fornecer insights sobre o status, o desempenho e o comportamento dos sistemas monitorados.

Para conseguir isso, você precisa ter os dados de telemetria corretos. Esses são todos os dados brutos que incluirão fontes como logs, métricas, eventos e outros traces criados por sistemas, aplicações ou dispositivos. Sem esses dados brutos, a análise e o monitoramento não serão tão úteis ou precisos.

Logs

Logs são listas de registros de texto, registrando eventos distintos que acontecem dentro de um sistema ou aplicação. Cada registro terá um carimbo de data e hora e fornecerá informações detalhadas para depuração e análise. Eles são essenciais para depuração e solução de problemas, relatórios de conformidade, compreensão do comportamento do usuário e vários tipos de auditoria.

Existem diferentes tipos de logs, incluindo logs de aplicações, logs de sistema, logs de rede e logs de acesso. Todos esses são dados de telemetria valiosos que podem ser usados para traçar um quadro preciso do que aconteceu, quando aconteceu e quem (ou o que) estava envolvido.

Traces

Um trace é essencialmente o rastro de navegação que uma solicitação deixa à medida que se move por um sistema. É um registro do caminho percorrido por uma solicitação, mostrando o fluxo e o tempo preciso em vários serviços. Isso inclui traces de aplicações distribuídas e traces de solicitações de ponta a ponta em arquiteturas de microsserviços.

Como dados de telemetria, esses traces fornecem dados valiosos para ajudar na otimização do desempenho, na compreensão das dependências do sistema, na análise da causa raiz e na identificação de gargalos.

Métricas

Métricas são as mensurações numéricas de um sistema, software ou aplicação capturadas em tempo de execução. Essas métricas permitem realizar análises quantitativas de desempenho ao longo do tempo e incluem uso de CPU, taxa de solicitação, taxa de erro, tempo de resposta e utilização de memória.

Na telemetria, essas métricas desempenham um papel importante na geração de visibilidade de aspectos como integridade, desempenho e comportamento do sistema. Essa visibilidade pode fornecer insights para uma variedade de ferramentas, desde monitoramento de desempenho e detecção de anomalias até planejamento de capacidade e monitoramento de conformidade com SLA.

Eventos

Eventos são registros de ocorrências notáveis ou mudanças de estado dentro do seu sistema. Eles capturam momentos ou mudanças significativos que afetam o sistema ou o negócio e diferem dos logs porque geralmente incluem informações contextuais adicionais. Esses eventos incluirão ações do usuário como logins e compras, alterações de estado do sistema e eventos específicos da empresa.

Devido aos dados contextuais extras, os eventos são vitais para inteligência de negócios, monitoramento da integridade do sistema, auditoria de conformidade e automação de disparos. Também é ótimo para análise do comportamento do usuário, pois você pode ver exatamente o que eles fizeram e quando.

Etapa 1. Defina suas metas

A primeira etapa na configuração dos seus dados de telemetria é decidir exatamente o que você está tentando alcançar. Você precisa identificar objetivos específicos para coletar seus dados de telemetria, como melhorar o desempenho do sistema, aprimorar a experiência do usuário ou talvez identificar ameaças à segurança. Uma boa maneira de fazer isso é alinhar suas metas de telemetria com seus objetivos de negócios existentes.

Depois, você precisa determinar quais principais indicadores de desempenho (KPIs) e métricas serão necessários para monitorá-los. Por exemplo, se sua meta é melhorar o desempenho do sistema, você pode querer monitorar tempos de resposta, taxas de erro e utilização de recursos. Outra consideração importante ao decidir suas metas de telemetria é privacidade e conformidade. Você deve analisar os regulamentos relevantes (CCPA, GDPR etc.) e definir diretrizes para coleta de dados que atendam a esses regulamentos e respeitem a privacidade do usuário.

Etapa 2. Configure suas ferramentas

A próxima etapa é selecionar e configurar as ferramentas apropriadas para alcançar suas metas. Você deve escolher ferramentas de coleta de telemetria que ajudem você a fazer isso e que se integrem facilmente ao seu conjunto de tecnologias existente. Isso pode incluir ferramentas de monitoramento de performance de aplicação (APM), agregadores de log ou SDKs customizados.

Você precisa implementar mecanismos de coleta, integrando frameworks de log ou agentes de monitoramento às suas aplicações. O OpenTelemetry pode ser uma boa opção independente de fornecedor para isso. Isso provavelmente envolverá adicionar instrumentação de código ou configurar sistemas existentes para receber os dados necessários.

Para configurar seus parâmetros de coleta, você precisará definir especificações de coleta de dados, como taxas de amostragem, tipos de eventos a serem capturados e nível de detalhes para seus logs. Em seguida, configure a filtragem de dados para filtrar e excluir informações sensíveis e a anonimização para cumprir os regulamentos de privacidade.

Etapa 3. Envie seus dados

Em seguida, você precisará enviar seus dados de telemetria. Para começar, você precisará implementar protocolos de transmissão para enviar seus dados. Pode ser HTTPS (ou HTTP) para apps da web, MQTT para dispositivos IoT ou até mesmo protocolos especializados como OpenTelemetry (OTLP). Isso inclui garantir que as transferências sejam seguras com mecanismos de criptografia e autenticação.

Para lidar com interrupções de rede e garantir a confiabilidade, você deve configurar o buffer de dados local e a lógica de repetição. Também precisará equilibrar o volume e a frequência da transmissão de dados para minimizar o impacto potencial no desempenho das aplicações e na largura de banda da rede.

Etapa 4. Armazene seus dados

Então, você precisa escolher a solução de armazenamento mais apropriada para receber seus dados de telemetria. Você pode configurar diferentes armazenamentos para diferentes tipos de dados ou pode ser muito mais simples adotar uma abordagem de armazenamento distribuído usando o Elasticsearch e sua busca e replicação entre clusters para criar uma malha de dados.

Em seguida, você precisará implementar políticas de retenção, definindo por quanto tempo diferentes tipos de dados devem ser armazenados. Para decidir isso, considere os requisitos analíticos e regulatórios que se aplicam a esses dados. As decisões sobre o armazenamento dos seus dados de telemetria geralmente exigirão o equilíbrio entre a necessidade de desempenho analítico e o custo de armazenamento.

Outra consideração é o particionamento e a indexação — queremos organizar o armazenamento para otimizar o desempenho das consultas usando recursos como particionamento e indexação baseados em tempo. O backup e a recuperação de desastres também devem ser implementados para proteger contra perda de dados e garantir acesso contínuo aos dados de telemetria.

Etapa 5. Analise seus dados de telemetria

Por fim, você precisa ser capaz de analisar e visualizar seus dados de telemetria. Isso inclui o desenvolvimento de dashboards e visualizações para representar as principais métricas e tendências. Você também precisa implementar sistemas de alerta para receber notificações quando as métricas excederem limites predefinidos ou quando anomalias forem detectadas.

Para aproveitar ao máximo seus dados de telemetria, configure analítica avançada como análise estatística e machine learning para identificar melhor os padrões e prever tendências futuras. Isso funciona especialmente bem quando você combina insights de diferentes tipos de dados para obter uma visão abrangente da atividade do sistema e do comportamento do usuário.

Aqui estão alguns dos principais benefícios que você obtém ao criar processos de telemetria eficazes usando seus dados:

• Visibilidade em tempo real. Ao monitorar e analisar métricas e logs críticos, você obtém insights instantâneos sobre o que está indo bem e onde pode fazer melhorias.
• Detecção e resolução proativas de problemas. Seus dados de telemetria permitem identificar anomalias e padrões que podem indicar problemas potenciais antes que eles se agravem.
• Melhoria na eficiência operacional. Você pode otimizar seus fluxos de trabalho e aumentar a produtividade implementando monitoramento e coleta de dados automatizados.
• Resolução mais rápida de problemas. Com seus dados de telemetria detalhados, você pode identificar rapidamente a causa raiz de um problema, reduzindo o tempo médio até a resolução (MTTR).
• Aperfeiçoamento na tomada de decisões. Ao ter todos os dados necessários disponíveis, você pode tomar decisões orientadas por dados e fazer escolhas estratégicas informadas sobre alocação de recursos, desenvolvimento de produtos e melhorias de UX.

Para obter todos os benefícios, é crucial usar uma plataforma de dados unificada para consolidar seus dados de telemetria. Dessa forma, você pode reunir dados de várias fontes e reduzir a necessidade de integração manual.

Essa consolidação não só oferece os benefícios acima, mas também melhora a escalabilidade e a eficiência de custos, ao mesmo tempo em que garante consistência em todo o processamento de dados. É também por isso que padrões abertos como o OpenTelementry Semantic Conventions (Otel SemConv) são tão importantes. Eles garantem que você tenha interoperabilidade entre suas diferentes ferramentas e plataformas.

Como acontece com qualquer tecnologia, o uso de dados de telemetria traz benefícios e desafios. A maneira de superar esses desafios é entendê-los e fazer um plano sobre como superá-los.

• Segurança e privacidade dos dados. A segurança e a privacidade dos dados dos seus usuários e clientes são vitais. Não apenas porque é uma boa prática, mas também porque podem ter enormes repercussões regulatórias e de reputação. Para combater isso, você precisa implementar medidas de segurança robustas como criptografia, controles de acesso e log abrangente. Você também precisa proteger as informações sensíveis e manter um controle rígido sobre o acesso aos seus dados.
• Integração com software legado. Você precisa incluir suporte para uma variedade de formatos e fontes implementando uma ingestão de dados flexível. Isso possibilita incorporar dados de telemetria de sistemas modernos e legados em uma plataforma unificada.
• Armazenamento econômico. Com opções de armazenamento em níveis e políticas de gestão de ciclo de vida das informações (ILM), você pode otimizar seus custos de armazenamento e, ao mesmo tempo, garantir a acessibilidade dos dados. A arquitetura hot‑warm‑cold também pode ajudar você a equilibrar desempenho e custo-benefício.
• Suporte para padrões abertos. Para garantir a interoperabilidade, use padrões abertos como o OpenTelemetry o quanto antes. Isso permite que você prepare sua infraestrutura de telemetria para o futuro e integre-a facilmente com outras ferramentas e plataformas.

Anteriormente no guia, abordamos o OpenTelemetry, o framework de observabilidade open source que unifica a coleta de dados e padroniza os formatos de dados de telemetria. Ele também oferece uma abordagem de telemetria que evita a dependência de um determinado fornecedor e é muito escalável para manipulação de dados de alto volume.

Isso vai totalmente ao encontro dos nossos compromissos com padrões abertos na Elastic, e é por isso que contribuímos com nossa especificação open source Elastic Common Schema (ECS) para o OpenTelemetry.

Também incluímos a ingestão contínua de dados formatados para OTel no Elasticsearch como parte da nossa função de observabilidade mais ampla. Isso significa que você pode usar a analítica avançada do Elasticsearch e fazer buscas com dados do OTel, além de preparar sua plataforma de observabilidade para o futuro.

Essa combinação da Elastic e do OpenTelemetry resolve muitos dos principais desafios que você provavelmente enfrentará:

• Consolidar fontes de dados heterogêneas
• Garantir a segurança e a privacidade dos dados
• Gerenciar a integração de software legado
• Otimizar custos de armazenamento
• Lidar com diversos tipos de dados
• Apoiar padrões abertos para interoperabilidade

• Guia do OpenTelemetry
• APM e OpenTelemetry: a chave para revelar insights dos seus logs
• Integração do OpenTelemetry (página em inglês)
• Componentes de dados para uma solução de observabilidade (página em inglês)