What is continuous profiling?

Criação contínua de perfis é o processo de coleta constante de dados de desempenho das aplicações em execução em ambientes de produção para otimizar o desempenho e melhorar o uso de recursos.

Ao contrário dos métodos tradicionais que coletam dados ad-hoc ou sob demanda, a criação contínua de perfis captura métricas em tempo real. Isso fornece uma imagem muito mais precisa e atual do desempenho e do comportamento da aplicação. Ela também se concentra especificamente em ambientes de produção, monitorando a utilização de recursos e fornecendo insights no nível do código. Isso não é útil apenas no curto prazo, mas também permite análises de longo prazo com sobrecarga mínima.

Sua evolução em relação às práticas tradicionais de criação de perfis é destacada por vários avanços importantes, incluindo a mudança da análise ad-hoc para a coleta contínua de dados, a grande redução do impacto no desempenho por meio da inovação do eBPF e sua integração com ferramentas de observabilidade. Os modernos criadores contínuos de perfis também incorporam recursos automatizados de análise que usam IA e machine learning e podem oferecer suporte para várias linguagens de programação. Eles também são desenvolvidos para funcionar bem com sistemas distribuídos e nativos da nuvem.

Identificação e resolução de gargalos de desempenho

A criação contínua de perfis permite detectar e resolver gargalos de desempenho em tempo real. Ao coletar constantemente dados de utilização de recursos como CPU, memória, E/S de disco etc., você obtém insights detalhados sobre o comportamento do sistema conforme ele acontece. Isso significa que os desenvolvedores podem identificar exatamente onde há ineficiências em seu código, para que possam resolver problemas de desempenho e melhorar o desempenho geral das aplicações de forma proativa.

Vantagens da equipe de desenvolvimento

A criação contínua de perfis também aumenta a qualidade do código, facilitando para os desenvolvedores a identificação e a resolução de problemas de desempenho que podem não aparecer em ambientes de desenvolvimento ou teste. Isso leva a um código de produção mais robusto e eficiente. Além disso, melhora a solução de problemas ao possibilitar a análise de dados em tempo real, o que significa identificação mais rápida de problemas intermitentes. Isso reduz o tempo de depuração e aumenta a produtividade. Ao fornecer insights sobre o desempenho e o comportamento das aplicações, a criação contínua de perfis também ajuda as equipes de SRE com escalabilidade e confiabilidade. Isso ocorre porque eles podem garantir que uma aplicação possa lidar com cargas maiores sem sofrer uma baixa no desempenho.

Benefícios para os negócios

Ao usar a criação contínua de perfis para otimizar o uso de recursos, a empresa pode reduzir custos diminuindo o consumo de recursos de nuvem e custos associados. Também pode ajudar a minimizar a pegada de carbono dos data centers, ajudando as empresas a melhorar a responsabilidade ambiental geral no setor de tecnologia.

A melhoria no desempenho de uma aplicação também pode criar indiretamente uma melhor experiência para os usuários, o que pode resultar em maior satisfação do cliente e potencialmente maior retenção.

Etapa 1. Coleta de dados

A primeira etapa na criação contínua de perfis é coletar os dados necessários. Esse processo normalmente usa técnicas de amostragem de baixa sobrecarga para coletar métricas como alocação de memória, uso de CPU e operações de E/S. Isso é feito integrando ferramentas como eBPF, JProfiler e Universal Profiling da Elastic.

Essas ferramentas são integradas aos sistemas usando agentes, bibliotecas ou módulos do kernel. O método depende da tecnologia específica escolhida e do nível de acesso necessário. Também há diferenças nas abordagens de criação de perfis com seus impactos e requisitos de recursos:

1. Criadores de perfis leves e sempre ativos. Têm sobrecarga mínima, o que os torna adequados para uso contínuo em produção.
2. Criadores de perfis de amostragem. Realizam coletas de dados periódicas, com sobrecarga baixa a moderada.
3. Criadores de perfis de instrumentação. Coletam dados mais detalhados, mas com maior sobrecarga. São frequentemente usados em ambientes de desenvolvimento, teste ou preparação.
4. Ferramentas de tracing. Realizam uma coleta de dados abrangente, mas com uma sobrecarga significativa. São normalmente usadas para sessões de depuração específicas.

Etapa 2. Análise

Após a coleta, os dados são analisados para identificar gargalos de desempenho, padrões de uso de recursos e possíveis otimizações. Esse processo de análise geralmente envolve agregação de dados ao longo do tempo, referência cruzada com eventos das aplicações e uso de métodos estatísticos para detectar anomalias e tendências. O objetivo desta etapa é transformar os dados em insights práticos.

A criação contínua de perfis também pode ser associada a dados de monitoramento de performance de aplicação (APM), como traces, para entender exatamente qual código foi executado quando um determinado trace ocorreu, acelerando o tempo médio até a causa raiz ao melhorar o contexto.

Técnicas avançadas costumam ser usadas nesta fase para melhorar a análise, incluindo o uso de machine learning e ferramentas de IA. Estes podem ser especialmente bons para classificar problemas automaticamente, prever o desempenho futuro e sugerir otimizações que podem ser feitas.

Etapa 3. Visualização

A etapa de visualização transforma os complexos dados de desempenho coletados em representações visuais intuitivas e fáceis de entender. Esta é a etapa que ajuda desenvolvedores e equipes de operações a identificar rapidamente os gargalos de desempenho, padrões de uso e áreas de otimização. Técnicas comuns incluem gráficos de chama, que facilitam a identificação de caminhos de código importantes, e gráficos de gelo, que representam onde o tempo relativo é gasto em diferentes partes do código.

Essas visualizações geralmente são interativas, possibilitando que o visualizador amplie, filtre dados e se aprofunde em áreas ou funções problemáticas específicas. A maioria das ferramentas de criação de perfis fornece dashboards que reúnem diversas visualizações e métricas em um só lugar.

Casos de uso

1. Otimização de plataforma de e-commerce. Use a criação contínua de perfis para identificar consultas lentas ao banco de dados que estão afetando o processo de finalização da compra e reduza o tempo de carregamento da página otimizando funções que consomem muitos recursos.
2. Desempenho da arquitetura de microsserviços. Identifique gargalos específicos nas comunicações entre serviços e otimize a alocação de recursos em todos os sistemas distribuídos. Otimização de custos da nuvem: identifique códigos ineficientes que estão causando uso excessivo de memória e/ou CPU e reduza os custos de hospedagem na nuvem otimizando o uso de recursos.
3. Sistemas de processamento de dados em tempo real. Detecte e resolva gargalos no processamento de dados e otimize pipelines de processamento de fluxo para reduzir a latência.
4. Gerenciamento e resolução de incidentes. Identifique rapidamente a causa raiz dos problemas de desempenho, o que reduz o tempo médio até a resolução (MTTR).

Práticas recomendadas

1. Integre a criação contínua de perfis no início do processo de desenvolvimento e use técnicas de amostragem de baixa sobrecarga.
2. Automatize a coleta de dados, a análise e os alertas para obter consistência e rápida resposta.
3. Conecte com suas ferramentas de APM e observabilidade existentes para obter insights abrangentes.
4. Implemente a integração de pipeline de CI/CD e obtenha criação contínua de perfis para execuções de testes de unidade.
5. Estabeleça rotinas regulares de revisão e ciclos de feedback para todas as otimizações em andamento.
6. Mantenha todas as ferramentas de criação de perfis atualizadas e com manutenção regular.
7. Treine os membros da equipe para interpretar e analisar efetivamente os dados de criação de perfis.

Sobrecarga de desempenho

Mesmo com técnicas de amostragem de baixa sobrecarga, todo tipo de criação contínua de perfis introduzirá alguma sobrecarga de desempenho para os sistemas que estão sendo monitorados. Eles podem afetar o desempenho das aplicações, especialmente em ambientes com recursos limitados. Estas são três coisas que você pode fazer para minimizar a sobrecarga de desempenho:

• Sempre que possível, use criadores de perfis baseados em eBPF que tenham sobrecarga mínima
• Implemente uma criação contínua de perfis adaptativa para reduzir a frequência durante períodos de alta carga
• Concentre-se em criar perfis apenas de componentes críticos em vez de sistemas inteiros

Preocupações com a privacidade dos dados

Como em qualquer processo que inclui coleta de dados, existe o risco de que os dados coletados incluam informações sensíveis, especialmente dados do usuário. Para resolver esses problemas:

• Implemente controles de acesso robustos e criptografia para todos os dados de criação de perfis
• Anonimize ou ofusque dados sensíveis antes de armazenar, compartilhar ou exibir
• Cumpra rigorosamente todas as regulamentações relevantes de proteção de dados

Armazenamento e gerenciamento de dados

A criação contínua de perfis pode gerar grandes volumes de dados que precisarão ser armazenados e gerenciados. Isso precisa ser feito de forma eficiente, com estratégias como:

• Implementar políticas de retenção de dados que limitem a duração do armazenamento
• Compactar os dados
• Aproveitar o armazenamento na nuvem para melhorar a escalabilidade

A tecnologia está sempre mudando e evoluindo, o que pode melhorar a criação contínua de perfis e criar desafios novos e inesperados. Não é possível prever isso de forma proativa, mas é importante estar ciente de novas ferramentas ou técnicas para poder decidir se são adequadas para sua empresa.

Por exemplo, o OpenTelemetry recentemente anunciou que agora oferece suporte para a criação de perfis e está trabalhando em um modelo de dados de criação de perfis baseado em padrões abertos. Mudanças no setor como essa podem fazer uma grande diferença na adoção da criação contínua de perfis em sua plataforma de observabilidade, minimizando a dependência de um só fornecedor.

A Elastic lançou o Universal Profiling, que fornece às empresas a criação contínua de perfis de todo o sistema, sempre ativa, durante todo o seu pipeline de desenvolvimento. Ele usa a criação de perfis do eBPF para capturar apenas os dados necessários e se integra ao OpenTelemetry para melhorar a observabilidade e revelar insights mais profundos. A Elastic oferece às equipes:

• Visibilidade de todo o sistema. O Elastic Universal Profiling captura e analisa dados do seu kernel, código das aplicações e bibliotecas de terceiros.
• Implantação sem atrito. O agente pode ser implantado sem operações intrusivas ou alterações no código-fonte da aplicação. Assim, é fácil começar a receber dados da criação de perfis em questão de minutos.
• Visualização dos dados. Os dados da criação de perfis podem ser inspecionados por meio de traces da stack, gráficos de chama e visualizações de funções no Kibana, simplificando a filtragem e a comparação de dados ao longo do tempo para identificar melhorias de desempenho ou detectar regressões.

• Continuous profiling: The key to more efficient and cost-effective application (Criação contínua de perfis: a chave para uma aplicação mais eficiente e econômica)
• Why metrics, logs, and traces aren’t enough (Por que métricas, logs e traces não são suficientes)
• OpenTelemetry and Elastic: Working together to establish continuous profiling (OpenTelemetry e Elastic: trabalhando juntos para estabelecer perfis contínuos)
• Elastic Universal Profiling agent, a continuous profiling solution (O agente do Elastic Universal Profiling, uma solução de criação contínua de perfis)