As Três Pilares da Testagem de Carregamento

Nesta entrada discutimos os “três pilares” da testagem de carga.

Os três pilares da testagem de desempenho são: Capacidade Processora, Tempo de Resposta e Uso. Estes três métricos são essenciais para a concepção eficaz de testes de desempenho e para o correto interpretação dos resultados.

Nota: no inglês “testes de carga” é conhecido como “Testes de Carga ou LT”, que será o termo usado neste artigo.

Definições #

Começamos definindo um termo que identifica o ambiente onde o aplicativo é executado. Este termo em inglês é conhecido como System Under Test ou SUT. Geralmente, SUT descreve uma coleção de componentes geralmente organizados em várias camadas de hardware, cada uma realizando um função específica. Por exemplo: servidor aplicativo, servidor web, etc.

Capacidade de Processamento (usando o termo em inglês: Throughput): uma razão ou proporção que representa a quantidade de trabalho realizado dentro de um período definido. Por exemplo, transações por minuto. No caso do JMeter, o Relatório de Sumário de Listeners fornece a média de throughput para todas as transações e individualmente para cada uma delas.

Resposta ao Tempo (usando o termo em inglês: Tempo de Resposta): é um valor que representa a quantidade de tempo que passa desde que o usuário envia uma transação até que receba a resposta completa. No caso do JMeter, o Relatório de Sumário de Listeners também reporta o Tempo de Resposta Médio para todas as transações e individualmente para cada uma delas.

Markdown utilizado (usando o termo em inglês: Utilização: um porcentual que representa quanto da resouce ocupada pelo SUT (CPU, Memória, I/O, etc) no momento específico.)

JMeter não reporta diretamente o Utilização; é necessário instalar o Monitoramento de Performância plugin e inicializar o agent-performante no SUT. Uma alternativa mais eficiente é usar um Gerenciamento de Performance Aplicativo (APM). Por exemplo, New Relic, Dynatrace, etc.

Perspectiva Gráfica #

A gráfica mostra as três métricas como função do carregamento criado por Usuários Concurrentes. De fato, aumentos no carregamento direta impactam a Throughput, o Tempo de Resposta e a Utilização. Inicialmente, essa relação é mais ou menos linear (Carregamento Leve). Gradualmente, subsequentes incrementos na carregamento que transformam a relação em non-linear (Zonas de Carregamento Pesado e Buckle).

Um exemplo deste método não-linear é a saturação do CPU quando o número de processos ultrapassa o número de CPUs (Utilização). A Resposta ao Tempo aumentará progressivamente conforme os novos processos esperam por oportunidades para serem executados, e consequentemente, a Tensão de Trabalho também diminuirá progressivamente.

Este conceito, certamente incompatível, é essencial para a design de um carga eficaz e corretamente interpretar os resultados.

Usos Práticos #

Um uso prático dessas três métricas é na interpretação dos resultados de uma carga-teste. Para um número fixo de VUsers, o Relatório Geral no Relatório Geral mostra uma combinação de Tensão e Tempo de Resposta, mas sem informações sobre a correspondente Utilização não há como identificar qual seção da gráfica (acima) os resultados estão localizados. Eles poderiam estar na zona de Carga Moderada, onde o ambiente pode estar sobconfigurado; alternativamente, se os resultados estiverem na zona de Buckling Zone, uma alta adição de Carga causaria testes que são inaceitáveis, provavelmente porque a capacidade do SUT está em seu limite.

Outra aplicação prática está relacionada à especificação de requisitos ou metas para LT. É comum indicar as exigências de uma LT apenas em termos de número de usuários (VUsers). Esta exigência é incompleta porque o número real de usuários que um aplicativo pode suportar não é conhecido previamente. Uma exigência mais clara deve ser acompanhada por informações detalhadas sobre carga, especialmente a frequência com que cada componente da carga é executado; isto é, a throughput esperada. De forma semelhante, o tempo de resposta para cada componente do SUT é particularmente relevante. Finalmente, especificar o nível de utilização para cada um dos componentes do SUT indica a quantidade desejada de recursos híbridos.

Conclusão #

Os três pilares da testagem de desempenho são essenciais para a concepção de testes de desempenho e para uma interpretação correta dos resultados. O importante é que essas três métricas fornecem contexto na fase de requisitos, design e interpretação dos resultados.