Testes de desempenho

baseados na nuvem:
problemas e desafios
Position Paper: Cloud-based Performance Testing: Issues
and Challenges
Junzan Zhou, Shanping Li, Zhen Zhang, Zhen Ye
College of Computer Science and Technology
Zhejiang University, Hangzhou, China

Gustavo de Araújo Cardoso

João Antonio Aparecido Cardoso
Sumário
1. Introdução
2. Visão Geral
3. Trabalho Relacionado
4. Questões e Desafios
5. Avaliação e Validação
6. Conclusão
7. Conclusão da Dupla
8. Referências
1.Testes de desempenho na nuvem
Em nuvens, uma grande quantidade de recursos (por ex., memória, CPU,
disco) é compartilhada entre máquinas de processamento e
armazenamento com o intuito de prover um ambiente escalonável e
tolerante a falhas.

O teste de desempenho é uma forma essencial de revelar problemas de

desempenho, que vão desde uma baixa taxa de transferência até uma
inconsistência ou falha do sistema.

Geralmente, o teste de desempenho inclui: testes de carga, estresse,

usabilidade, disponibilidade, escalabilidade, segurança,
compatibilidade, conformidade, desempenho.

Um dos fatores críticos para o sucesso da execução de testes é o uso de

ambientes de testes adequados e similares ao ambiente de produção
tanto do ponto de vista da infraestrutura quanto do ponto de vista dos
dados.
2.Vantagens

▶ Facilidade de criação de “usuários virtuais”;

▶ Custo (licenças, infra, máquinas e etc);
▶ Variedade (SOs diferentes, usuários);
▶ Elasticidade (EC2);
▶ Combinações (hardware, softwares, dispositivos);
▶ Mudança inevitável.
2.Desvantagens

▶ Segurança;
▶ Leis diversas;
▶ Queda Sistema;
▶ Local dos dados.
O teste de software nas
nuvens pode ser classificado
em duas categorias:
▶ Testando usando a nuvem
▶ Teste da nuvem
Teste usando a nuvem
▶ Fidelidade dos testes em função do uso de uma infra-
estrutura realística e similar a produção;
▶ Economia no tempo da preparação e restauração do
ambiente de testes;
▶ Aumento da infra-estrutura somente quando é
necessário;
▶ Pagamento apenas do que é usado e somente quando
for usado;
▶ Redução dos custos de licenciamento (ferramentas de
testes, sistemas operacionais, etc);
▶ Redução de gastos com recursos ociosos;
▶ Diversidade de combinações de infra-estrutura e
dispositivos;
▶ Escala geográfica para a realização de testes de
desempenho.
Teste da nuvem
▶ Funcionalidade
▶ Interoperabilidade
▶ Confiabilidade
▶ Usabilidade
▶ Eficiência
▶ Segurança
▶ Compatibilidade
▶ Desempenho
▶ Escalabilidade
▶ Conformidade
3.Trabalho Relacionado
▶ Kim et al. - problemas que impedem a adoção rápida
da computação em nuvem

▶ Zohar et al. descreveu uma metodologia de realização

de testes de desempenho para um sistema de
gerenciamento de rede baseado no Amazon AWS

▶ Jun Wang e Fanpeng Meng tentaram responder as

duas questões do teste na nuvem: (1) Por que testes
baseados em nuvem, (2) Como fazer testes baseados
em nuvem.
4.Questões e Desafios
Problemas de testes de desempenho baseados em nuvem

Problemas Descrição

Qualidade Como controlar a qualidade dos testes de desempenho?

Análise de
Como analisar os resultados do teste de desempenho?
dados

Como manter os dados de teste seguros? Como evitar

Segurança
serviços sendo mal utilizados?

Quanto um teste precisará? Quantos recursos são

Custo
necessários para um teste?

SLA Como garantir o SLA do teste de desempenho?

4.Questões e Desafios

▶ Qualidade - A qualidade da geração de carga de

trabalho é muito importante para gerar resultados de
testes de desempenho convincentes. Caso contrário, os
resultados do teste serão inacreditáveis e causarão
desperdício de recursos de teste. Em uma plataforma de
nuvem, a qualidade do teste de desempenho pode ser
influenciada por dois fatores principais:

1) excesso de carga de trabalho nas máquinas de teste;

2) variação de desempenho da nuvem
4.Questões e Desafios
▶ Análise de Dados - A análise de dados do teste de
desempenho é mais complicada e mais difícil do que na LAN.
Isso é por causa da instabilidade e dos recursos
compartilhados da nuvem.
▶ Segurança - A maioria dos aplicativos enfrenta os problemas
de segurança ao migrar para a nuvem. Usuários e provedores
de nuvem pública podem estar vulneráveis a riscos de
segurança, como acesso não autorizado, infecção por
malware e perda de informações confidenciais. Para testes
de desempenho, há duas principais preocupações de
segurança:
1) proteção de informações críticas;
2) proteção de serviços de teste de desempenho contra uso
ilegal.
4.Questões e Desafios

▶ Custo - O problema do custo é descobrir quanto é necessário

para um teste de desempenho. É uma das principais
preocupações dos consumidores. Eles esperam aplicar o
menor recurso com o custo mínimo para um teste.
Os provedores de serviços de nuvem cobram recursos como
CPU, armazenamento e rede de maneira diferente.

Exemplo: Amazon não cobra nada por transferências de

dados entre a nuvem e outros serviços da Web da Amazon na
mesma região (ou seja, entre o Amazon EC2 US West e o
Amazon S3 no US West). Pode-se reduzir custos usando
serviços gratuitos e baratos.
5.Avaliação e Validação
5.Avaliação e Validação
▶ Focaram na qualidade de geração de carga de trabalho
na nuvem. Usando uma página web chamada JPetStore
de demonstração de comércio eletrônico como um
sistema de destino e produziram cargas de trabalho
sintéticas na nuvem pública EC2 e LAN para produzir
resultados comparáveis.
▶ Usuários virtuais fizeram "Login“, três ações na sessão e
depois “Logoff”. Sessões diferentes com proporções
diferentes. O tempo de reflexão (think time) é definido
em 3 segundos para todas as ações. Ajustaram a carga
em uma máquina de teste alterando o número de
usuários virtuais.
5.Avaliação e Validação
5.Avaliação e Validação
5.Avaliação e Validação
5.Avaliação e Validação

▶ 1. A geração de carga de trabalho sintética na LAN é

mais estável que a nuvem.
▶ 2. A estabilidade diminui com o aumento da carga tanto
na LAN quanto na nuvem, mas é mais nítida na nuvem.
▶ 3. A estabilidade e precisão da geração de carga está
relacionada com o poder de computação das máquinas
de teste. Máquinas mais rápidas geram cargas melhores.
▶ 4. Se o Carga para o cliente de teste for alto, o
resultado do teste do tempo de resposta pode não ser
preciso.
6.Conclusão
▶ Ao migrar o teste de desempenho para a nuvem, é
imperativo garantir a qualidade da geração de carga de
trabalho.
▶ Problemas de segurança também podem impedir a
disseminação de testes de desempenho baseados em
nuvem.
▶ Custo, análise de dados, e SLA, também apresentam muitos
desafios para resolvê-los.
▶ Nem todas as atividades de teste de desempenho são
adequadas para serem executadas na nuvem. Antes da
migração para testes em nuvem, os riscos e benefícios
entre testes em Nuvem e LAN devem ser bem analisados.
7.Conclusão da Dupla
▶ Demasiadamente Resumido (Position Paper);
▶ Técnico demais (difícil entendimento);
▶ Resultados pouco conclusivos (trabalho terá
continuidade);
▶ Difícil compreensão dos resultados.
8.Referências bibliográficas
Junzan Zhou , Shanping Li , Zhen Zhang , Zhen Ye, Position paper: cloud-based
performance testing: issues and challenges, Proceedings of the 2013
international workshop on Hot topics in cloud services, April 20-21, 2013,
Prague, Czech Republic [doi>10.1145/2462307.2462321]
Caetano, C. Teste De Software Nas Nuvens. Disponível em:
<http://www.qualister.com.br/blog/teste-de-software-nas-nuvens>.
Acesso em: 20 abril 2018.
Yunes, R. 1-2-3 testando: três razões para fazer testes na nuvem. Disponível em:
<https://canaltech.com.br/computacao-na-nuvem/1-2-3-testando-tres-
razoes-para-fazer-testes-na-nuvem-101790>. Acesso em: 21 abril 2018.
Beringer, F. Cloud Testing 101 - An Introduction to Cloud Testing. Disponível em:
<https://www.youtube.com/watch?v=l6XQa9hTOy0&feature=youtu.be>.
Acesso em: 19 abril 2018.