Universidade de So Paulo Instituto de Cincias Matemticas e de Computao Departamento de Sistemas de Computao

Avaliao de Desempenho
Introduo
Aula 1 Marcos Jos Santana Regina Helena Carlucci Santana

Contedo
1. Introduo 2. Planejamento de Experimentos 3. Tcnicas para Avaliao de Desempenho 4. Anlise de Resultados

Contedo
1. Introduo
Motivao Pontos Envolvidos com a Avaliao de Desempenho Etapas de um Experimento

2. Planejamento de Experimentos

3. Tcnicas para Avaliao de Desempenho

4. Anlise de Resultados

Contedo
1. Introduo

2. Planejamento de Experimentos
Conceitos Bsicos Carga de trabalho Modelos para Planejamento de Experimento

3. Tcnicas para Avaliao de Desempenho 4. Anlise de Resultados

Contedo
1. Introduo

2. Planejamento de Experimentos
3. Tcnicas para Avaliao de Desempenho
Tcnicas de Aferio: Prottipos, Benchmarks e Monitores Tcnicas de Modelagem: Soluo Analtica e por Simulao

4. Anlise de Resultados

Contedo
1. Introduo 2. Planejamento de Experimentos

3. Tcnicas para Avaliao de Desempenho

4. Anlise de Resultados
Anlise Estatstica dos Resultados Comparao de Resultados

Contedo
1. Introduo
Motivao
Pontos Envolvidos com a Avaliao de Desempenho Etapas de um Experimento

2. Planejamento de Experimentos

3. Tcnicas para Avaliao de Desempenho

4. Anlise de Resultados

Avaliao de Desempenho
Motivao

Por qu se preocupar com isso?

Por qu saber qual a temperatura no final de semana?

A avaliao da temperatura importante para planejar!

Motivao
Por qu se preocupar em avaliar um sistema?
Obter o melhor desempenho possvel a um menor custo.

O que melhor desempenho possvel? O que deve ser analisado?

Depende do ponto de vista

Motivao
O que o sistema precisa? Qual o tipo de usurio? Qual o objetivo do sistema?

Como se d o gerenciamento de recursos?

Motivao
Exemplo 1: Tornar um sistema mais rpido
1. Identificar os pontos de atraso e verificar o impacto desse atraso 2. Propor solues

3. Avaliar solues

Motivao
Como Agilizar?
1. Identificar os pontos de atraso e verificar o impacto desse atraso:
Verificar a freqncia com que o procedimento ocorre Eventos raros e lentos:
Pouco impacto Muita otimizao para ser perceptvel Exemplo: procedimento ao ligar o computador, falha ao entrar em uma regio crtica Muito impacto Pequena otimizao pode ser perceptvel Exemplo: processo escalonador

Eventos freqentes:

2. Propor solues 3. Avaliar solues

Avaliao de Desempenho de Sistemas Computacionais

Motivao
Exemplo2: Tornar um sistema mais seguro
1. Identificar os pontos vulnerveis e verificar o impacto desses pontos

2. Propor solues
3. Avaliar solues Avaliao de Desempenho de Sistemas Computacionais

Contedo
1. Introduo
Motivao

Pontos Envolvidos com a Avaliao de Desempenho

Etapas de um Experimento

2. Planejamento de Experimentos
3. Tcnicas para Avaliao de Desempenho 4. Anlise de Resultados

Avaliao de Desempenho
O que vem a ser isso? Quando se preocupar com o desempenho?

Quem deve se preocupar com a avaliao?

Como medir o desempenho? Que tcnicas utilizar?

O que medir?
Como confiar nas mtricas obtidas?

Avaliao de Desempenho
O que vem a ser isso?
Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliao? Como medir o desempenho? Que tcnicas utilizar?

O que medir?
Como confiar nas mtricas obtidas?

O que vem a ser Avaliao de Desempenho?

Avaliar um sistema (computacional ou no)
buscar uma mtrica que indique quantidade ou qualidade, por exemplo, de um servio prestado;

Determinar a eficincia com a qual um sistema atinge seus objetivos

Avaliao de Desempenho
Avaliar um sistema (computacional ou no) Determinar a eficincia com a qual um sistema atinge as necessidades e expectativas de seus usurios e de seus desenvolvedores, para uma dada aplicao

Avaliao de Desempenho O que vem a ser isso?

Anlise detalhada:
Dos recursos do sistema

Dos gerenciadores
Dos Usurios

Dos objetivos do sistema e da avaliao

Caso contrrio pode-se trocar um conjunto de problemas por outro

Exemplo
Como avaliar um aqurio?

Avaliao de Desempenho
O que vem a ser isso?

Quando se preocupar com o desempenho?

Quem deve se preocupar com a avaliao?
Como medir o desempenho? Que tcnicas utilizar? O que medir? Como confiar nas mtricas obtidas?

Avaliao de Desempenho
Quando se preocupar com a avaliao de desempenho?

Usurio reclamando
Troca de sistema

Comparao entre sistemas

Avaliao de um projeto

Avaliao de Desempenho
O que vem a ser isso? Quando se preocupar com o desempenho?

Quem deve se preocupar com a avaliao?

Como medir o desempenho? Que tcnicas utilizar? O que medir? Como confiar nas mtricas obtidas?

Avaliao de Desempenho
Quem deve se preocupar com a avaliao de desempenho?
cada domnio implica em um profissional exemplo: sistemas computacionais:
analista de sistemas; gerente de sistemas; engenheiro de sistemas; projetista de hardware ou software; programador; etc.

Avaliao de Desempenho
O que vem a ser isso? Quando se preocupar com o desempenho?

Quem deve se preocupar com a avaliao?

Como medir o desempenho? Que tcnicas utilizar?

O que medir?

Como confiar nas mtricas obtidas?

Tcnicas para Avaliao de Desempenho

Como medir o desempenho?
Como escolher a tcnica mais adequada? Deve deixar a anlise isenta No deve ser um fator degenerador Deve considerar o domnio da aplicao Intruses em sistemas j estabelecidos nem sempre so bem-vindas

Tcnicas para Avaliao de Desempenho

Tcnicas de Aferio:

Realizam experimentao no sistema

Construo de Prottipos; Coleta de Dados; Benchmarks.

Tcnicas de Modelagem:

Criam abstraes desse sistema

Desenvolvimento de um Modelo Soluo do Modelo

Avaliao de Desempenho
Por qu se preocupar com isso? O que vem a ser isso? Quando se preocupar com o desempenho?

Quem deve se preocupar com a avaliao?

Como medir o desempenho? Que tcnicas utilizar?

O que medir?
Como confiar nas mtricas obtidas?

Planejamento de Experimentos
Varivel de Resposta
O que medir?
Quero ter a informao mais fiel possvel sobre o comportamento de um sistema Diversos enfoques: Responsividade tempo que leva para executar um servio Produtividade taxa de execuo de um servio por unidade de tempo Utilizao recurso utilizado para a execuo do servio

Planejamento de Experimentos
Varivel de Resposta O que medir?
Velocidade Confiabilidade Disponibilidade Mtricas individuais Mtricas globais

Planejamento de Experimentos
Varivel de Resposta
O que medir?
Medida de Posio - Mdia Medida de Disperso - Variabilidade Distribuio Mximo e mnimo Desvio Padro Intervalo de confiana

Avaliao de Desempenho
Qual ou quais medidas devem ser consideradas?

Cuidado

Avaliao de Desempenho
Washington a Paris

Aeronave

Velocidade

Boeing 747

6.5 horas

610 mph

BAD/Sud Concorde

3 horas

1350 mph

Avaliao de Desempenho
Aeronave

Washington a Paris
6.5 horas

Velocidade

Passageiros

Throughput (pmph)
286,700

Boeing 747

610 mph

470

BAD/Sud Concorde

3 horas

1350 mph

132

178,200

Tempo para executar a tarefa

tempo de resposta, latncia

Tarefas por dia, por hora, etc.

Throughput, bandwidth

Avaliao de Desempenho
O que vem a ser isso? Quando se preocupar com o desempenho? Quem deve se preocupar com a avaliao? Como medir o desempenho? Que tcnicas utilizar? O que medir?

Como confiar nas mtricas obtidas?

Avaliao de Desempenho
Como confiar nas mtricas obtidas? Avaliao versus Anlise
Qual a diferena? Avaliar obter, produzir, levantar dados a respeito de uma entidade;
exemplo: determinar o consumo de um automvel usar alguma tcnica para medir a distncia percorrida e o volume de combustvel consumido;

Avaliao de Desempenho
Avaliao versus Anlise
Qual a diferena? Analisar verificar a preciso, a validade, o significado da grandeza produzida durante a avaliao.
exemplo: se a avaliao do automvel levou a 20 Km/litro de gasolina, ento a anlise se preocupa em se certificar que:
a metodologia utilizada foi correta; que os nmeros levantados so suficientemente precisos; e, ento, conclui se o desempenho avaliado bom, ruim, etc.

Avaliao de Desempenho
1. Introduo
Motivao Introduo Avaliao de Desempenho

Etapas de um Experimento

2. Planejamento de Experimentos 3. Anlise de Resultados 4. Tcnicas para Avaliao de Desempenho

Etapas a serem consideradas

1. Estudar o sistema e definir os objetivos
2. Determinar os servios oferecidos pelo sistema

3. Selecionar mtricas de avaliao

4. Determinar os parmetros que afetam o desempenho do sistema 5. Determinar o nvel de detalhamento da anlise 6. Determinar a Tcnica de Avaliao apropriada 7. Determinar a carga de trabalho caracterstica 8. Realizar a avaliao e obter os resultados 9. Analisar e interpretar os resultados 10. Apresentar os resultados

Planejamento de Experimento

Tcnica de Avaliao Anlise dos

Resultados

Pontos Importantes para a Avaliao de Desempenho

1. Entendimento completo do sistema, dos problemas e dos objetivos da avaliao
2. Abordagem sistemtica 3. No devem ser considerados parmetros, cargas, mtricas, etc. arbitrrios. 4. Definio de uma carga de trabalho caracterstica 5. Definio da metodologia mais apropriada 6. Definio do nvel de detalhamento

7. Anlise dos resultados

8. Considerar os limites, suposies e margem de erro

Avaliao de Desempenho
1. Introduo
Motivao Introduo Avaliao de Desempenho Etapas de um Experimento

2. Planejamento de Experimentos
Conceitos Bsicos Carga de trabalho Modelos para Planejamento de Experimento

3. Anlise de Resultados 4. Tcnicas para Avaliao de Desempenho