Análise Da Completude Dos Relatos de Experimentos em Elasticidade Na Computação em Nuvem: Um Mapeamento Sistemático

Helaine Solange Lins Barreiros
ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS

EM ELASTICIDADE NA COMPUTAAO EM NUVEM: UM
MAPEAMENTO SISTEMTICO
Dissertao de Mestrado
Universidade Federal de Pernambuco

posgraduacao@cin.ufpe.br
www.cin.ufpe.br/~posgraduacao
RECIFE
2015

Centro de Informtica
Ps-graduao em Cincia da Computao
Helaine Solange Lins Barreiros
ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS

EM ELASTICIDADE NA COMPUTAAO EM NUVEM: UM
MAPEAMENTO SISTEMTICO
Trabalho apresentado ao Programa de Ps-graduao em

Cincia da Computao do Centro de Informtica da Universidade Federal de Pernambuco como requisito parcial para
obteno do grau de Mestre em Cincia da Computao.
Orientador: Vinicius Cardoso Garcia

Co-Orientador: Sergio Soares
RECIFE
2015
Eu dedico esta dissertao a toda a minha famlia, amigos e

professores que me deram o suporte necessrio para chegar
at aqui.
Agradecimentos
A Emanoel Barreiros, meu esposo, pelo carinho, dedicao, pacincia, compreenso e
suporte em todos os momentos mais decisivos e marcantes de minha vida.
Ao melhor presente que o meu pequeno Davi Barreiros, por simplesmente existir e fazer
os momentos mais difceis se transformarem nos mais inspiradores apenas com o seu lindo
sorriso.
A Dulce Lins, Marcos Lins, Heline Lins, Igor Lins e Jssica Barbosa, Rejane Barreiros, Manoel
Barreiros, Manoela Barreiros, Maurcio Barreiros e Thuanne Paiva, minha famlia, que uniram
todos os esforos para que este sonho se tornasse realidade.
Ao meu orientador Vinicius Garcia, obrigada pela oportunidade, confiana, suporte e parceria
durante a caminhada do mestrado.
Ao meu co-orientador Sergio Soares, obrigada pelo apoio e disponibilidade para conversas
e orientaes at mesmo nos momentos mais corridos de seus compromissos.
A Adauto Trigueiro, Alex Nery, Andreza Leite, Diogo Vincius, Emanoel Barreiros, Eudis
Teixeira, Gert Ucha, Jos Fernando, Juliana Saraiva, Leandro Marques, Liliane Fonseca, Marco
Machado, Michael Frana, Samuel Romeiro, Thiago Jamir, Vilmar Nepomuceno, Vinicius
Garcia que uniram esforos para analisar os estudos deste mapeamento.
A FACEPE, que acreditou no projeto e nos financiou.
A todos do laboratrio INES, que compartilharam conversas e ideias.
Aos integrantes dos grupo de pesquisa ASSERT Lab e ESEG pelas participao ativa no desenvolvimento desta pesquisa.
A todos que no foram mencionados acima, mas contriburam de maneira direta ou indireta para
a realizao e concluso deste trabalho.
Eu amo aqueles capazes de sorrir em meio aos problemas.

LEONARDO DA VINCI
Resumo
Contexto: Para que os leitores possam avaliar a validade de um estudo emprico, replicar
seus resultados, ou para que editores possam julgar efetivamente o verdadeiro potencial de
impacto da pesquisa, os autores devem relatar e documentar cuidadosamente elementos da
pesquisa como: motivao, objetivo, mtodo, anlise dos dados, resultados, concluses e
limitaes. Infelizmente autores tm indicado que a comunicao dos resultados de estudos
empricos (EE) na computao em nuvem (CN) omitem informaes relevantes destes elementos
de pesquisa.Tais inconvenincias na comunicao dos resultados destes estudos, ampliadas a todo
um campo de pesquisa, podem levar a um conjunto potencial de evidncias fracas ou ilusrias
para futuras pesquisas cientficas.
Objetivo: Apesar de crticas aos relatos dos estudos empricos serem evidenciadas, at o
presente momento, no foi realizada uma caracterizao das informaes omitidas pelos autores.
Neste sentido, o presente estudo tem como objetivo apresentar um esforo primeiro que analisa
nos relatos a apresentao dos elementos de pesquisa acima citados, considerados essenciais para
a anlise da validade e protencial de uma pesquisa emprica. Analisar a forma de apresentao
dos resultados um primeiro passo relevante para a compreenso do cenrio atual da prtica
dos relatos dos estudos empricos. Assim, foi analisado nos relatos o grau de completude: o
quo presentes esto as informaes dos elementos da pesquisa em seus relatos. Afim de realizar
uma anlise mais profunda, o foco inicial da pesquisa foi direcionado ao mtodo emprico de
experimentao, com foco nas avaliaes da caracterstica de elasticidade da CN.
Mtodo: Atravs de um mapeamento sistemtico da literatura (MSL) foram identificados
os experimentos em elasticidade na computao em nuvem e, atravs de instrumento de avaliao
criado com base em orientaes existentes para se reportar experimentos na engenharia de
software experimental, a completude de seus relatos foi avaliada.
Resultado: Aps a avaliao inicial de 3.611 estudos, foram selecionados e analisados
os relatos de 59 experimentos. Constatamos que em geral os autores omitem informaes
relacionadas ao planejamento da pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos dados, relao dos resultados com pesquisas anteriores, ameaas
validade e generalizao dos resultados. Em relao ao ndice de completude o maior grau
foi 6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Tambm
foi realizada uma breve anlise qualitativa que revela que, ainda que reportadas, muitas das
informaes apresentadas pelos relatos so superficiais e dificultam a interpretao, validao,
generalizao e replicao dos resultados dos estudos.
Palavras-chave: Engenharia de Software, Computao em Nuvem, Elasticidade, Engenharia
de Software Experimental, Experimentos.
Abstract
Context: To enable readers to assess the validity of an empirical study, replicate their
results, or allow publishers to effectively judge its true potential impact of research, the authors
should report and carefully document elements of research, such as: motivation, goal, method,
data analysis, findings, conclusions and limitations. Unfortunately authors have indicated that
communication of the results of empirical studies in cloud computing omit relevant information
from these elements. Such inconveniences in reporting the results of these studies, expanded to
an entire field of research, can lead to a potential set of weak or misleading evidence for future
scientific research.
Objective: Despite criticism of the reports of empirical studies are highlighted, to date,
has not been performed a characterization of the information omitted by the authors. In this
sense, this study aims to present a first effort which analyzes the reports presenting the research
elements mentioned above, considered essential for the analysis of the validity and protencial
of empirical research. To examine how to present the results is an important first step towards
understanding the current state of the practice of the reports of empirical studies. Thus, it was
analyzed in the reports of the studies the degree of completeness: which information from
research elements in their reports. In order to conduct a deeper analysis of the reports, the initial
focus of the research was directed to the empirical method of experimentation, focusing on
evaluations of cloud computing elasticity characteristic.
Method: Through a systematic mapping of literature were identified experiments on
elasticity in the cloud computing and through an assessment instrument, created based on existing
guidelines to report experiments in experimental software engineering, the completeness of their
reports was evaluated.
Results: After the initial evaluation of 3,611 studies, 59 experiments were selected and
had their reports analyzed. It was found that in general the authors omit information related
to the research design, data collection, execution procedures, instrumentation, data analysis,
comparison of the results with previous research, threats to validity and generalizability of the
results. In relation to the completeness index, the highest score reached was 6.67 on a scale of 0
to 10, and such completion is considered low in quantitative terms. A brief qualitative analysis
was also conducted which reveals that, although reported, much of the information presented by
the reports are superficial and difficult to interpret, validate, generalize and hinder replication of
study results.
Keywords: Software Engineering, Cloud Computing, Elasticity, Empirical Software Engineering, Experiments.
Lista de Figuras
1.1
Linha do tempo dos guias para relato de experimentos. (do autor) . . . . . . . .
22
2.1
Infraestrutura de Computao em Nuvem (obtido de EMC Corporation ) . . .
26
2.2
Mecanismos de elasticidade na computao em nuvem (do autor). . . . . . . .
29
2.3
Movimentao da comunidade para a criao dos guias para reportar experimentos na engenharia de software . . . . . . . . . . . . . . . . . . . . . . . . . . .
36
3.1
Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades. .
42
3.2
Metodologia planejada para a realizao do mapeamento sistemtico . . . . . .
45
4.1
Esquema de execuo da primeira rodada de seleo dos estudos do mapeamento

sistemtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
53
Esquema de execuo da segunda rodada de seleo dos estudos do mapeamento

sistemtico . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55
Participao das estratgias de busca no quantitativo de estudos candidatos

identificados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
57
Distribuio do quantitativo dos estudos candidatos identificados pela busca

automtica em relao s fontes de dados . . . . . . . . . . . . . . . . . . . .
58
Distribuio dos estudos candidatos resultantes da busca manual em relao aos

meios de publicao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
58
4.6
Participao das fontes de busca . . . . . . . . . . . . . . . . . . . . . . . . .
59
4.7
Distribuio temporal dos estudos selecionados . . . . . . . . . . . . . . . . .
59
4.8
Distribuio do quantitativo de estudos selecionados por fonte de dado e ano. .
61
4.9
Distribuio dos estudos selecionados por pases
. . . . . . . . . . . . . . . .
61
4.10 Distribuio dos estudos selecionados por pases
. . . . . . . . . . . . . . . .
62
4.11 Distribuio do quantitativo de estudos por tipo de instituio e ano . . . . . .
62
4.12 Distribuio dos estudos por modelo de servio e ano. . . . . . . . . . . . . . .
63
4.13 Pontuaes dos estudos nas questes que avaliam o ttulo. . . . . . . . . . . . .
64
4.14 Pontuao geral obtida pelos estudos na avaliao do resumo. . . . . . . . . . .
65
4.15 Pontuaes dos estudos nas questes que avaliam o resumo. . . . . . . . . . .
66
4.16 Pontuao geral obtida pelos estudos na introduo. . . . . . . . . . . . . . . .
67
4.17 Pontuao geral obtida pelos estudos na fundamentacao. . . . . . . . . . . . .
68
4.18 Pontuaes dos estudos nas questes que avaliam a fundamentao. . . . . . .
68
4.19 Pontuao geral obtida pelos estudos no planejamento. . . . . . . . . . . . . .
69
4.20 Pontuaes dos estudos nas questes que avaliam o planejamento. . . . . . . .
70
4.21 Pontuao geral obtida pelos estudos na anlise. . . . . . . . . . . . . . . . . .
70
4.2
4.3
4.4
4.5
4.22
4.23
4.24
4.25
4.26
Pontuaes dos estudos nas questes que avaliam a anlise. . .

Pontuao geral obtida pelos estudos na discusso. . . . . . .
Pontuaes dos estudos nas questes que avaliam a discusso.
Pontuao geral obtida pelos estudos nas concluses. . . . . .
Pontuaes dos estudos nas questes que avaliam a discusso.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
71
72
72
73
73
G.1 Ambiente do Revisor: listagem de estudos para reviso . . . . . . . . . . . . . 134

G.2 Tela de anlise de estudos no ExtractViewer . . . . . . . . . . . . . . . . . . . 135
Lista de Tabelas
3.1
3.2
3.3
39
40
3.4
3.5
3.6
Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .

Taxonomia para classificao dos estudos secundrios segundo Cooper . . . . .
Resultado da aplicao da Taxonomia de Cooper para a classificao do mapeamento sistemtico desta pesquisa . . . . . . . . . . . . . . . . . . . . . . . . .
Fontes de Busca Manual e Perodo de Coleta . . . . . . . . . . . . . . . . . .
String de Busca utilizada na pesquisa dos estudos do MS . . . . . . . . . . . .
Lista dos Critrios de Excluso em ordem alfabtica. . . . . . . . . . . . . . .
4.1
4.2
4.3
4.4
4.5
4.6
4.7
Quantitativo de estudos candidatos localizados por fonte de dados. . . . . . . .

Critrios de excluso apliados na primeira etapa de seleo dos estudos candidatos
Valores de referncia para interpretao do teste Kappa . . . . . . . . . . . . .
Resultado dos testes Kappa . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Resumo da busca e seleo de estudos na primeira etapa . . . . . . . . . . . .
Resumo da busca e seleo de estudos na segunda etapa . . . . . . . . . . . . .
Lista dos autores com mais de uma publicao . . . . . . . . . . . . . . . . . .
52
54
55
56
59
60
63
A.1 Listagem dos estudos selecionados em ordem alfabtica . . . . . . . . . . . . .
41
47
47
48
94
B.1 Estudos excludos em ordem alfabtica . . . . . . . . . . . . . . . . . . . . . . 107

C.1 Lista das venues identificadas e ordem de quantidade de publicao . . . . . . 111
D.1 Lista dos grupos de pesquisa identificados . . . . . . . . . . . . . . . . . . . . 115
E.1 Listagem dos autores identificados e as respectivas quantidades de publicaes
F.1
F.2
F.3
122
String de Busca para identificar estudos secundrios existentes . . . . . . . . . 124

Configurao da equipes e pesquisadores participantes . . . . . . . . . . . . . 125
Lista dos Critrios de Excluso em ordem alfabtica. . . . . . . . . . . . . . . 129
Sumrio
1
Introduo
21
1.1
Contribuio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
1.2
Estrutura da Dissertao . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
Referencial Terico
25
2.1
Computao em Nuvem . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
2.1.1
Caractersticas Essenciais . . . . . . . . . . . . . . . . . . . . . . . .
27
2.1.2
Modelos de Servio . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
2.1.3
Formas de Distribuio . . . . . . . . . . . . . . . . . . . . . . . . . .
28
2.1.4
Acordo de Nvel de Servio . . . . . . . . . . . . . . . . . . . . . . .
28
2.1.5
Elasticidade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.1.5.1
Elasticidade x Escalabilidade . . . . . . . . . . . . . . . . .
30
2.1.5.2
Velocidade de Adio x Remoo . . . . . . . . . . . . . . .
30
2.1.5.3
Mtodo . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
2.1.5.4
Poltica . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
Engenharia de Software Experimental . . . . . . . . . . . . . . . . . . . . . .
31
2.2.1
Mtodos Empricos na Engenharia de Software Experimental . . . . .
32
2.2.1.1
Estudo de Caso . . . . . . . . . . . . . . . . . . . . . . . .
33
2.2.1.2
Survey . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
2.2.1.3
Etnografia . . . . . . . . . . . . . . . . . . . . . . . . . . .
34
2.2.1.4
Pesquisa-ao . . . . . . . . . . . . . . . . . . . . . . . . .
34
2.2.1.5
Experimento Controlado . . . . . . . . . . . . . . . . . . .
34
2.2.1.6
Teoria Fundamentada . . . . . . . . . . . . . . . . . . . . .
35
Guias para Relato de Experimentos . . . . . . . . . . . . . . . . . . .
35
2.3
Engenharia de Software Baseada em Evidncias . . . . . . . . . . . . . . . . .
37
2.4
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
2.2
2.2.2
Mtodo
39
3.1
Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .
39
3.2
Classificao do Estudo Sistemtico Segundo Cooper . . . . . . . . . . . . . .
40
3.3
Ciclo da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
3.3.1
Etapa de Definio da Pesquisa . . . . . . . . . . . . . . . . . . . . .
42
3.3.1.1
Reviso Informal da Literatura . . . . . . . . . . . . . . . .
43
3.3.1.2
Definio do Tema, Objetivo e Escopo . . . . . . . . . . . .
43
3.3.1.3
Definio da Metodologia . . . . . . . . . . . . . . . . . . .
44
3.3.2
Etapa de Planejamento do Mapeamento Sistemtico . . . . . . . . . .
44
3.3.2.1
45
Definio do Protocolo . . . . . . . . . . . . . . . . . . . .
3.3.2.1.1
Questes de Pesquisa . . . . . . . . . . . . . . . .
45
3.3.2.1.2
Estratgia de Busca dos Estudos . . . . . . . . . .
46
3.3.2.1.3
Estratgia de Seleo dos Estudos . . . . . . . . .
47
3.3.2.1.4
Avaliao da Qualidade . . . . . . . . . . . . . . .
48
3.3.2.1.5
Estratgia de Extrao . . . . . . . . . . . . . . . .
48
Reviso do Protocolo . . . . . . . . . . . . . . . . . . . . .
49
3.3.3
Etapa de Execuo da Pesquisa . . . . . . . . . . . . . . . . . . . . .
49
3.3.4
Etapa de Divulgao dos Resultados . . . . . . . . . . . . . . . . . . .
49
3.3.5
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
3.3.2.2
Resultados
51
4.1
Execuo do Mapeamento Sistemtico . . . . . . . . . . . . . . . . . . . . . .
51
4.1.1
Busca dos Estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
4.1.2
Seleo dos Estudos Primrios . . . . . . . . . . . . . . . . . . . . . .
52
4.1.3
Extrao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . .
56
4.1.4
Sintetizao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . .
56
4.2
Anlise Geral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
57
4.3
Anlises das Evidncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
4.3.1
4.3.2
4.3.3
4.3.4
4.4
5
SQ1 - O ttulo permite que o leitor identifique que o estudo um relato

de experimento? . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
SQ2 - Informaes importantes do resumo como motivao, objetivos,

mtodos, resultados, limitaes e concluses da pesquisa so relatadas?
65
SQ3 - A introduo do relato apresenta referncias declarao do

problema, objetivos e contexto da pesquisa? . . . . . . . . . . . . . . .
66
SQ4 - A fundamentao informa sobre a tecnologia em investigao, s

possveis opes alternativas ela, pesquisas relacionadas e a relevncia
para a prtica? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
67
4.3.5
SQ5 - O relato apresenta informaes sobre o planejamento da pesquisa? 67
4.3.6
SQ6 - O relato detalha a anlise dos dados da pesquisa? . . . . . . . .
4.3.7
SQ7 - Os resultados, suas implicaes e ameaas validade so relatados? 71
4.3.8
SQ8 - As concluses do estudo apresentam um resumo conciso da

pesquisa, seus impactos e trabalhos futuros? . . . . . . . . . . . . . . .
72
Discusso dos Resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73
70
Consideraes Finais
77
5.1
Ameaas validade . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
77
5.2
Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
78
5.3
Concluses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
79
19
Referncias
81
Apndice
87
A Estudos Primrios Includos
89
B Estudos Primrios Excludos
95
C Listagem dos Meios de Publicao Identificados
109
D Grupos de Pesquisa Identificados
113
E Autores Envolvidos
117
F Protocolo do Mapeamento Sistemtico
123
F.1
Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
F.2
Necessidade do Estudo Secundrio . . . . . . . . . . . . . . . . . . . . . . . . 124
F.3
Pesquisadores Envolvidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
F.4
Escopo do Estudo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
F.5
Questes de Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
F.6
Processo de Busca . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

F.6.1
F.7
Critrios de Incluso e Excluso . . . . . . . . . . . . . . . . . . . . . 129
Processo de Seleo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

F.7.0.0.1
F.8
Avaliao da Qualidade . . . . . . . . . . . . . . . 130
Processo de Sntese . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
G Ferramenta ExtractViewer
133
G.1 Contexto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

G.2 Propsito da Ferramenta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
G.3 Tecnologias Utilizadas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
G.4 Telas do Sistema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
H Instrumento de Coleta
137
H.0.1 Ttulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

H.0.2 Autoria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.3 Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
H.0.4 Introduo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
H.0.5 Fundamentao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.6 Planejameto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
H.0.7 Anlises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
H.0.8 Discusso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
H.0.9 Concluso e Trabalhos Futuros . . . . . . . . . . . . . . . . . . . . . . 144
20
H.0.10 Apndices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
21
1
Introduo
MARTENS; TEUTEBERG (2011) enfatizam a necessidade de se aumentar a utilizao
de mtodos empricos na computao em nuvem para facilitar a transferncia de tecnologias
entre academia e industria. Ao mesmo tempo, alguns autores relatam enfrentar dificuldades
para interpretar os relatos de estudos empricos pois no conseguem avaliar a validade da
pesquisa e seu potencial de impacto por causa da omisso e superficialidade das informaes
reportadas (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em geral, tais registros apontam desde o descuido em
no apresentar as questes de pesquisa, a omisso de procedimentos metodolgicos, a no
caracterizao do contexto da pesquisa, a ocultao da anlise dos dados at a superficialidade
na discusso dos resultados.
O problema com os relatos de estudos empricos tambm recorrente em outras reas
da engenharia de software (ES). Por exemplo, na comunidade de software de cdigo aberto,
uma recente reviso da literatura identificou que a qualidade dos relatos de estudos empricos
precisa ser substancialmente melhorada STOL; BABAR (2009). Em geral, os autores dos estudos
analisados no descreveram claramente a motivao da pesquisa, no justificam a escolha do
mtodo, a seleo da amostra dos dados e nem as limitaes da pesquisa. J outro estudo
sistemtico no campo do desenvolvimento gil de software, constatou que a fora das evidncias
de seus estudos empricos foi considerada muito baixa e prejudicou o processo de extrao dos
dados por causa da superficialidade e omisso de informaes DYB; DINGSYR (2008).
Na engenharia de software experimental (ESE), rea da ES dedicada aos mtodos empricos, alguns autores tambm apontam insuficincias no relato de sues estudos. Tais problemas
incluem relatrios incompletos, informaes relacionadas dispersas em diferentes sees do
relato e falta de utilizao de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
tambm enfatizam a necessidade de melhorar a forma como os estudos so publicados, atravs
de uma forma consistente, utilizando resumos estruturados, ttulos significativos e esquemas de
palavras-chave. SMITE et al. (2008) recomendam tambm que os relatos devem ser mais claros
e consistentes para permitir que profissionais possam aprender atravs da literatura existente.
Em estudo sistemtico realizado, DYB; KAMPENES; SJ BERG (2006) relatam dificuldades
22
CAPTULO 1. INTRODUO
em avaliar o poder estatstico dos estudos pois em 67% deles no era possvel identificar quais
testes foram realizados para se avaliar as hipteses.
Outras reas do conhecimento como a medicina e psicologia, reportam problemas no
relato de seus experimentos. Tais problemas so similares aos relatados na engenharia de
software e vrias melhorias tem sido alcanadas atravs da padronizao e criao de diretrizes
para reportar os resultados destes experimentos. Muitas revises tm registrado deficincias nos
relatrios dos experimentos realizados na pesquisa mdica, e tais anlises culminaram na criao
e utilizao de guias para como melhor report-las ALTMAN et al. (2001); MOHER; SCHULZ;
ALTMAN (2001). A psicologia tambm tem vivenciado problemas similares e tambm aderiu
utilizao de guias para publicao dos resultados dos experimentos realizados ASSOCIATION
et al. (2001); WILKINSON (1999); HARRIS (2008); SHIFFMAN et al. (2003).
Pode ser observado na literatura da ES, a iniciativa de se seguir o mesmo movimento
promissor da medicina e psicologia na criao de guias para auxiliar os esforos de melhoria da
prtica de experimentao. Tais esforos datam da dcada de 80, e como pode ser visto na linha
do tempo da Figura 1.1, so apresentados em forma de livros, guias, avaliaes e estudos do
estado da arte. Neste movimento possvel observar que guias implcitos (cor preta) e explcitos
(cor azul) foram construdos para se relatar experimentos na ES. Entretanto, apenas em 2008 foi
apresentada por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) a verso final do primeiro
guia especfico para orientar os pesquisadores a relatar estudos empricos de experimentao.
Figura 1.1 Linha do tempo dos guias para relato de experimentos. (do autor)
As inconvenincias na comunicao dos resultados, ampliadas a todo um campo de

pesquisa, podem levar a um conjunto potencial de evidncias fracas ou ilusrias para futuras
pesquisas cientficas. Apesar das crticas de alguns autores, at o presente momento, no
1.1. CONTRIBUIO
23
foi realizada uma caracterizao das informaes omitidas nos relatos de estudos emprcos
realizados no contexto da computao em nuvem. Neste sentido, o presente estudo tem como
objetivo apresentar um esforo primeiro que analisa nos relatos a apresentao destes elementos
de pesquisa j mencionados, considerados essenciais para a anlise da validade e potencial das
pesquisas empricas. Analisar a forma de apresentao dos relatos um primeiro passo relevante
para a compreenso do cenrio atual da prtica de comunicao das pesquisas empricas. Assim,
foi analisado nos relatos o grau de completude: a presena das informaes dos elementos da
pesquisa em seus relatos.
Afim de realizar uma anlise inicial mais profunda e obter uma contribuio mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado s pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este um mtodo
emprico bem representativo mediante as caractersticas da rea de pesquisa em computao
em nuvem. Entretanto, mediante s limitaes de tempo e espao, foi necessrio condensar o
escopo da pesquisa e ento foi decidido estudar os relatos dos experimentos que avaliavam a
caracterstica mais marcante da computao em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matm a representatividade da rea de pesquisa
como um todo, tanto em nmero quanto natureza dos experimentos realizados.
1.1
Contribuio
Apesar da necessidade de se realizar mais estudos empricos na computao em nuvem,

necessrio que seus relatos sejam escritos de maneira a permitir que a credibilidade no resultado
produzido permita a utilizao de suas evidncias. Neste sentido, acreditamos que atravs da
caracterizao da situao da atual prtica dos relatos dos experimentos, realizados no contexto
da computao em nuvem, permita trazer tona o debate sobre como os resultados dos estudos
empricos poderiam ser melhor reportados, e assim possibilitar que as descobertas e evidncias
empricas possam ser utilizadas com confiabilidade tanto pela academia quanto pela indstria.
1.2
Estrutura da Dissertao
Alm deste captulo introdutrio a presente dissertao est organizada de acordo com a
seguinte estrutura:
Captulo 2 (Referencial Terico): este captulo trata de toda a fundamentao terica para o entendimento do trabalho. Primeiramente o paradigma da computao em
nuvem apresentado permeando suas caractersticas essenciais, modelos de servio,
formas de distribuio e acordo de nvel de servio. Outro ponto do paradigma discutido em detalhe a sua principal caracterstica e objeto deste trabalho: a elasticidade.
Em seguida a engenharia de software experimental abordada em relao sua
24
CAPTULO 1. INTRODUO
definio, influncia sofrida pelo posicionamento filosfico do pesquisador, seus
mtodos e uma discusso especial sobre guias para relato de experimentos. Logo
depois a engenharia de software baseada em evidncias discutida em sua definio,
mtodos e aplicao na pesquisa.
Captulo 3 (Metodologia): o captulo detalha toda a abordagem metodolgica e mtodos empregados na pesquisa. So discutidos aspectos relacionados classificao,
ciclo da pesquisa, a utilizao do mtodo de pesquisa de mapeamento sistemtico da
literatura e as peculiaridades de sua instanciao.
Captulo 4 (Execuo e Resultados): apresenta e discute os resultados obtidos nesta
pesquisa por meio de uma anlise geral dos estudos selecionados. As perguntas de
pesquisas so respondidas e os principais achados so discutidos.
Captulo 5 (Consideraes Finais): trata das ameaas validade da pesquisa e
respectivas mitigaes. Apresenta as perspectivas de trabalhos futuros para que a
comunidade possa dar continuidade pesquisa. E por fim as lies aprendidas e
concluses so enunciadas.
25
2
Referencial Terico
Este captulo tem como objetivo explanar os conceitos e estudos utilizados como base
para a presente pesquisa. Na seo 2.1 so apresentados os conceitos da Computao em Nuvem
(CN). A seo 2.2 discute as noes relacionadas Engenharia de Software Experimental (ESE) e
seus mtodos. A seo 2.3 expe os conceitos da Engenharia de Software Baseada em Evidncias
(ESBE) para apoiar o mtodo de pesquisa adotado.
2.1
Computao em Nuvem
J em 1960, pesquisadores como Douglas Parkhill e John McCarthy tem trabalhado no

desenvolvimento de um modelo computacional chamado Computao Utilitria (PARKHILL,
1966). Foi em 1961, durante um discurso para celebrar o centenrio do MIT, que John McCarthy
sugeriu publicamente que recursos computacionais fossem providos sob demanda e bilhetados
por meio de um modelo de negcio utilitrio como energia, gua e telefonia(FEATHER, 2000).
O modelo foi adotado por vrios paradigmas de computao (BUYYA et al., 2009; LI
et al., 2009) e tambm resistiu a cenrios prejudiciais (CAMPBELL-KELLY, 2009) como o
movimento de descentralizao promovido pela onda dos computadores pessoais na dcada de
1980. Entretanto, por volta do ano 2000, graas ao crescimento acelerado de tecnologias de
comunicao como a internet, a ideia ressurgiu.
A computao em nuvem uma evoluo concretizada do modelo de computao
utilitria proposto por McCarthy e cada vez mais tem estado em evidncia. Tal fato tem atrado
os olhares de gigantes como a Amazon, Google, Salesforce, Microsoft, IBM, HP, entre outros.
Estas organizaes tm ofertado servios como Amazon EC21 , Google App Engine2 , Salesforce3 ,
Windows Azure4 , Dropbox5 , dentre outros, que oferecem solues confiveis com promessas de
baixo custo, atravs das quais seus usurios podem ter acesso aos servios de maneira ubqua.
1 http://aws.amazon.com/pt/ec2/
2 https://appengine.google.com
3 http://www.salesforce.com/br/
4 http://www.windowsazure.com/pt-br/
5 http://www.dropbox.com/
26
CAPTULO 2. REFERENCIAL TERICO
O termo nuvem uma abstrao que encobre toda a complexidade de infraestrutura que
fornecida atravs de servios utilizando hardware compartilhado para computao e armazenamento (BUYYA et al., 2009). Em geral, como pode ser visto na Figura 2.1, a infraestrutura da
nuvem composta por uma grande quantidade de mquinas ou ns fsicos conectados em rede.
Cada uma das mquinas pode ter diferentes configuraes de hardware e software e variar em
termos de capacidade de CPU, memria e armazenamento em disco (SOROR et al., 2010).
Figura 2.1 Infraestrutura de Computao em Nuvem (obtido de EMC Corporation )
Existem diversas propostas de definio para o paradigma da computao em nuvem,

entretanto a definio do National Institute of Standards and Technology (NIST) bastante
aceita na comunidade: "Modelo que permite o acesso atravs de rede ubqua, de acordo com a
demanda, a um pool compartilhado de recursos computacionais que podem ser rapidamente
provisionados e liberados com um esforo mnimo de gerenciamento ou interao com o provedor
de servicos" (MELL; GRANCE, 2009).
Nas prximas sub-sees sero apresentados, de maneira sucinta e objetiva, aspectos
e termos importantes relacionados computao em nuvem que so importantes para o entendimento desta pesquisa: (i)caractersticas essenciais, (ii) modelos de servio, (iii) formas de
distribuio, (iv) acordo de nvel de servio e (v) elasticidade. Dentre os aspectos a elasticidade
ser explanada com um pouco mais de de detalhes, visto que este o aspecto que objeto desta
pesquisa.
2.1. COMPUTAO EM NUVEM
2.1.1
27
Caractersticas Essenciais
As caractersticas essenciais representam as vantagens oferecidas pelas solues da

computao em nuvem e a destingue de outros paradigmas computacionais, suas as principais
caractersticas so (MELL; GRANCE, 2009):
1. Alocao de recursos sob demanda: permite que o usurio possa dimensionar a
infra-estrutura necessria de recursos computacionais sob demanda. Similar a um
servio sob demanda, esta caracterstica permite que usurios solicitem recursos em
tempo de execuo medida que necessitar.
2. Amplo acesso rede: os recursos so disponbilizados atravs do ambiente de rede
e devem estar disponveis para acesso atravs de uma ampla gama de dispositivos
como tablets, PCs, smartphones, entre outros.
3. Pooling de Recursos: os recursos computacionais do provedor de servio so estruturados para servir a mltiplos usurios utilizando um modelo multi-tennant (MT),
que disponibiliza diferentes recursos fsicos e virtuais de maneira dinmica conforme
a necessidade do usurio. H um senso de independncia local, ou seja, o usurio no
precisa ter conhecimento da localizao fsica dos recursos computacionais, bastando
apenas especificar a localizao em um nvel de abstrao mais alto (pas, estado,
etc).
4. Elasticidade rpida: caracterstica que permite que os recursos disponveis ao
usurio paream ilimitados, pois tais recursos podem ser adicionados e removidos de
maneira rpida e automtica, conforme a necessidade da carga de trabalho.
5. Servio medido: os recursos de um provedor cloud so automaticamente controlados
e otimizados, atravs da capacidade de medio em um nvel de abstrao adequado
para o tipo de servio. A utilizao dos recursos pode ser controlada, monitorada e
relatada com transparncia entre o provedor e consumidor do servio.
2.1.2
Modelos de Servio
Os provedores da computao em nuvem oferecem seus servios de acordo com trs

modelos apresentados abaixo:
1. Infraestrutura Como Servio (IaaS): atravs deste modelo o provedor de servios
pode comercializar elementos de infraestrutura (cpu, memria, armazenamento, etc).
Neste modelo a responsabilidade de corrigir / atualizar / manter o sistema operacional
ou qualquer outro software do cliente. O provedor de servio ir tarifar o usurio por
hora e quantidade de recursos alocados e consumidos. Neste modelo o usurio no
28

administra a infraestrutura fsica mas sim os sistemas operacionais, armazenamento,
aplicativos e componentes de rede.
2. Plataforma Como Servio (PaaS): neste modelo o provedor de servios fornece
sistemas operacionais, linguagens de programao e ambientes de desenvolvimento
de software. Neste modelo o usurio tem controle sobre configuraes e aplicaes
implantadas nesta infraestrutura.
3. Software Como Servio (SaaS): software de propsito especfico o produto fornecido neste modelo de servio. Os sistemas so disponibilizados ao usurio por meio
de interfaces como um navegador de internet. O usurio pode administrar e controlar
apenas configuraes especficas do prprio sistema.
2.1.3
Formas de Distribuio
Os ambientes de computao em nuvem podem ser distribudos de quatro formas diferentes nos quesitos acesso e disponibilidade: (i) Nuvem Privada, (ii) Nuvem Pblica, (iii) Nuvem
Comunidade e (iv) Nuvem Hbrida (MELL; GRANCE, 2009). As restries de acesso dependem
do processo de negcio, tipo de informao e nvel de viso desejado.
1. Nuvem Pblica: a infraestrutura da nuvem disponibilizada ao pblico geral, acessvel qualquer usurio que tenha conhecimento da localicao do servio.
2. Nuvem Privada: a infraestrutura de utilizao exclusiva de uma organizao,
sendo disponibilizada local ou remotamente, administrada pela prpria empresa ou
terceiros.
3. Nuvem Comunitria: a infraestrutura compartilhada por uma comunidade de
organizaes com interesses em comum.
4. Nuvem Hbrida: a infraestrutura composta por duas ou mais nuvens de quaisquer
tipos mencionados acima. A conexo entre elas feita via tecnologia proprietria ou
padronizada e permite a portabilidade de dados e aplicaes.
2.1.4
Acordo de Nvel de Servio
Embora os consumidores de servios em nuvem no tenham controle sobre os recursos

computacionais adquiridos, eles precisam ter garantias em relao qualidade do servio, sua
disponibilidade, confiabilidade e desempenho. Do ingls Service Level Agreement (SLA), o
acordo de nvel de servio representa um contrato que cuida das garantias entre o cliente e
o provedor de servio. Nele so especificados os atributos de qualidade e seus respectivos
valores aceitveis. Como exemplo podemos citar que em um SLA pode se especificar que a
2.1. COMPUTAO EM NUVEM
29
disponibilidade de um determinado servio no deve ser inferior a 98% e a elasticidade de um

recurso seja superior a 80% por exemplo.
2.1.5
Elasticidade
Ainda no existe na comunidade da computao em nuvem um consenso sobre a definio

da elasticidade, entretanto neste trabalho estamos utilizando a definio de HERBST; KOUNEV;
REUSSNER (2013). A descreve que a elasticidade a capacidade que o sistema tem de se
adaptar cargas de trabalho atravs do provisionamento e desprovisionamento (preferencialmente
automtico) de recursos, de tal modo que em cada instante no tempo os recursos disponveis pelo
provedor de servico correspondam, o mais prximo possvel, demanda atual do consumidor.
Tal capacidade transmite ao usurio a sensao de que os recursos so ilimitados e podem ser
adquiridos em qualquer quantidade e a qualquer instante.
Do ponto de vista do provedor de servios a elasticidade permite uma melhor utilizao
dos recursos computacionais, propiciando economia em escala e permitindo que mltiplos
usuarios possam ser servidos simultneamente. Da perspectiva do usurio, a elasticidade
evita principalmente a disposio inadequada de recursos e por consequncia a degrao de
desempenho do sistema. Aumento da capacidade de recursos locais (CALHEIROS et al., 2012;
MARSHALL; KEAHEY; FREEMAN, 2010), reduo de custos (SHARMA et al., 2011) e
economia de energia (SHEN et al., 2011) tambm so outros benefcios alcanados com a
utilizao da elasticidade. Os principais mecanismos relacionados implementao podem ser
vistos na Figura 2.2.
Figura 2.2 Mecanismos de elasticidade na computao em nuvem (do autor).
A seguir sero apresentados brevemente os conceitos fundamentais relacionados elasticidade e seus mecanismos: elasticidade x escalabilidade, velocidade de ao x remoo, mtodo
e poltica.
30
2.1.5.1

Elasticidade x Escalabilidade
possvel observar que com frequncia a elasticidade confundida com a escalabilidade

de sistemas, os dois so conceitos relacionados porm diferentes. A escalabilidade a capacidade
que um sistema tem de adicionar mais recursos a fim de atender a uma necessidade de carga
de trabalho maior ISLAM et al. (2012). J a elasticidade consiste no acrscimo e decrscimo
de recursos de acordo com a carga de trabalho, enquanto a escalabilidade considera apenas o
acrscimo. Outro aspecto importante que a escalabilidade um conceito livre de tempo e no
considera o tempo que o sistema leva para atingir o nvel de desempenho desejado, enquanto
que, para a elasticidade, alguns apontam o tempo como um elemento central que depende da
velocidade de resposta a uma determinada alterao de carga de trabalho (COUTINHO et al.,
2014).
2.1.5.2
Velocidade de Adio x Remoo
Existem dois principais conceitos de velocidade em relao elasticidade: velocidade de

adio (scale up) e velocidade de remoo (scale down) (HERBST; KOUNEV; REUSSNER,
2013). A velocidade de adio definida como o tempo que o sistema leva para sair de um
estado subdimensionado para um estado timo ou superdimensionado de recursos. A velocidade
de remoo o tempo que o sistema leva para passar de um estado superdimensionado de
recursos para um estado timo ou subdimensionado. Outro conceito relacionado a preciso,
que definida como o desvio absoluto da atual quantidade de recursos alocados em relao
necessidade de demanda real.
2.1.5.3
Mtodo
Atravs do mtodo possvel decidir qual ser o tratamento dado aos novos recursos
provisionados. Segundo vrios autores, quanto diviso, a elasticidade pode se dar horizontalmente ou verticalmente (ALI-ELDIN; TORDSSON; ELMROTH, 2012; GUERRERO; SACHS;
PETROV, 2010; SHARMA et al., 2011; SULEIMAN et al., 2011).
A elasticidade horizontal consiste na adio/remoo do quantitativo de instncias de
um usurio, alm da migrao para novos ns de processamento. Estas instncias podem ser
aplicaes, containers ou mquinas virtuais (MV). Em geral, a replicao o mtodo mais
utilizado para prover elasticidade.
A elasticidade vertical equivale a adio / remoo de recursos como memria, CPU e
armazenamento a partir de uma instncia virtual. Existem duas abordagens para se prover esse
tipo de elasticidade:
Redimensionamento: significa alterar os recursos de uma instncia em tempo de

execuo. Exemplo: adicionar mais CPU e memria a uma MV. mais comum em
sistemas operacionais baseados em Unix uma vez que o mesmo suporta mudanas
sem reinicializaes.
2.2. ENGENHARIA DE SOFTWARE EXPERIMENTAL

31
Substituio: consiste na adio de servidores com um maior poder de processamento

para substituir os de menor desempenho. Em geral esta abordagem mais comum
em provedores de nuvem pblica.
A migrao a estratgia de elasticidade que transfere uma mquina virtual ou aplicativo

que est em execuo em um servidor fsico para um outro. As MVs ou aplicativos podem ser
migrados de um servidor para outro para o balanceamento de carga por exemplo.
2.1.5.4
Poltica
Existem duas polticas de reao da nuvem em relao a execuo de aes de elasticidade: manual e automtica.
Poltica Manual: neste tipo de poltica o usurio responsvel por monitorar seu
ambiente e recursos a fim de operar todas as aes de elasticidade. Para tal, o provedor
de servio deve fornecer ao usurio uma interface ou API por meio da qual o mesmo
iterage com o sistema.
Poltica Automtica: o controle e aes so tomadas pela prpria nuvem ou pela
aplicao que est executando nela, em conformidade com as regras e configuraes
que foram definidas pelo usurio ou SLA. Atravs da coleta de informaes dos
sistemas de monitoramento a nuvem decide quando e como os recursos de elasticidade
sero utilizados. De acordo com a tcnica a poltica automtica pode ser classificada
como reativa e preditiva (GALANTE; BONA, 2012).
Reativa: fundamentada em regras de mecanismos baseadas em gatilhos.
Uma regra possui um conjunto de condies que, quando so satisfeitas,
disparam um gatilho que ir tomar algumas aes sobre os recursos da
nuvem. Este mecanismo alimentado por meio dos dados fornecidos pelo
sistema de monitoramento de infra-estrutura ou da aplicao na nuvem.
Preditiva: utiliza heursticas e tcnicas matemticas/analticas para tentar
prever o comportamento da carga de trabalho no sistema e, com base nisto,
decidir quando adicionar ou remover os recursos.
2.2
Engenharia de Software Experimental
Embora pertena a cincia da computao, que uma rea de conhecimento relacionado

s cincias exatas, a engenharia de software experimental (ESE) possui caractersticas peculiares fortemente relacionadas com as cincias sociais. Pesquisas empricas permitem adquirir
conhecimentos por meio da explorao, descrio, previso e avaliao de fenmenos naturais, a
32
partir de evidncias obtidas em observaes sistemticas ou experimentao (SJOBERG; DYBA;

JORGENSEN, 2007).
Um mtodo emprico dotado de um conjunto de princpios que se organizam em
torno dos tipos de dados coletados e analisados, assim permite avaliar tarefas organizadas por
pessoas de maneira sistemtica, disciplinada, quantificada e controlada. Estudos empricos
podem propiciar a avaliao de tecnologias da engenharia de software e determinar em que
tipos de tarefas e ambientes tais tecnologias so teis, apoiando, por exemplo, pesquisadores e
profissionais na tomada de deciso sobre uma tcnica ou ferramenta a adotar (SJBERG et al.,
2005).
Antes de dissertar sobre os tipos de estudos empricos importante saber que, ao
selecionar o mtodo, o pesquisador norteado por sua postura filosfica, a qual influencia todas
as decises na pesquisa, entretanto tal postura comumente suprimida (CRESWELL, 2013).
Logo a seguir so apresentados os quatro os tipos dominantes de posicionamentos filosficos na
pesquisa cientfica:
Positivismo: o conhecimento obtido atravs da lgica, lida com a complexidade

utilizando a reduo do problema em partes menores. Nele o pesquisador propenso
a utilizar mtodos quantitativos como experimentos controlados (seo 2.2.1.5) e
surveys (seo 2.2.1.2).
Construtivismo: procura adquirir o conhecimento atravs da observao e do olhar
das pessoas. Tambm conhecido como interpretativismo, este tipo de viso tende a
no separar os fenmenos estudados de seus contextos. Costuma nortear mtodos
qualitativos como estudos de caso (seo 2.2.1.1) e etnogrficos (seo 2.2.1.3).
Teoria crtica: julga o conhecimento pelo seu potencial libertador. Assim, a pesquisa
considerada um ato poltico, visto que o conhecimento empodera aquele que
o adquire. Tambm conhecida como "participativismo"ou "advocativismo" um
mtodo propenso a aderir teoria crtica e pesquisa-ao (seo 2.2.1.4) .
Pragmatismo: em geral, os pesquisadores pragmticos julgam a pesquisa pela sua
utilidade em resolver problemas. Para o mesmo, todo o conhecimento aproximado
e incompleto. Em geral, neste perfil, os pesquisadores adotam uma mistura de vrios
mtodos.
Apresentados os posicionamentos filosficos, agora sero apresentados brevemente os

mtodos empricos que tratam de estudos primrios na engenharia de software experimental.
2.2.1
Mtodos Empricos na Engenharia de Software Experimental
A prtica da engenharia de software experimental (ESE) na engenharia de software (ES)

foi evidenciada por BASILI; SELBY; HUTCHENS (1986). Recentemente outras pesquisas
33
evidenciam a importncia e desenvolvem ambientes de apoio utilizao dos mtodos empricos:

guias, mtodos, ferramentas, entre outros. Tais mecanismos permitem projetar, planejar, executar,
analisar e reportar estudos empricos, alm de organizar e facilitar o processo de execuo de
forma distribuda. Outro benefcio a simplificao da replicao destes estudos, uma vez que
os mesmos tendem a ser mais bem documentados.
Em suma, atravs dos mtodos empricos, a engenharia de software experimental se
preocupa em investigar como processos de desenvolvimento de software e ferramentas realmente
funcionam, de forma a compreender seus limites e projetar aperfeioamentos. Outro ponto
interessante a ser observado a discusso sobre a utilizao de abordagens mistas dos mtodos
empricos nas pesquisas. Tal prtica permite que pesquisadores adotem mais de uma estratgia
emprica. A ideia surgiu do reconhecimento de que os mtodos possuem suas limitaes porm
so complementares entre si (EASTERBROOK et al., 2008; CRESWELL, 2013).
A seguir, sero apresentadas as principais estratgias empricas que tratam de estudos
primrios nas pesquisas da ES segundo EASTERBROOK et al. (2008): estudo de caso, survey,
etnografia, pesquisa-ao, experimento controlado e teoria fundamentada.
2.2.1.1
Estudo de Caso
Estudo de caso um mtodo emprico originado nas cincias sociais e, ainda hoje,
h divergncias na literatura quanto ao seu conceito. Tem por objetivo investigar fenmenos
que ocorrem em seu contexto real, principalmente, quando as fronteiras entre o contexto e
os fenmenos no so evidentes (YIN, 2013). De forma a compreender como e porque, tal
fenmeno acontece sem que haja nenhum controle sobre as variveis envolvidas (FUKS, 2011)
Entretanto h muita confuso em relao aos estudos de caso na ES, pelo fato do mtodo
ser frequentemente utilizado para denominar demonstraes simples do uso de uma determinada
tecnologia (SJOBERG; DYBA; JORGENSEN, 2007), quando na verdade o mtodo sistemtico
e rigoroso no apoio a pesquisas exploratrias e qualitativas (RUNESON; HST, 2009).
2.2.1.2
Survey
Originado na economia e sociologia o survey o mtodo emprico utilizado para identificar caractersticas de populaes amplas por meio da produo de dados estatsticos (KITCHENHAM; PFLEEGER, 2008). Valendo-se de questionrios, os pesquisadores selecionam
uma amostra representativa da populao e procuram respostas de um conjunto de populao,
relacionadas s aes, experincias, opinies ou comportamentos desta em relao ao objeto de
estudo.
Alm de questionrios, podem ser utilizados entrevistas estruturadas e tcnicas de logging
para a coleta dos dados. Tambm possvel observar a utilizao da estratgia em conjunto com
outros mtodos quando se deseja descrever, explanar e explorar informaes preliminares ou
ainda levantar as variveis do estudo a serem avaliadas (TRAVASSOS; GUROV; AMARAL,
34
2002). Em funo destas caractersticas os surveys tendem a lidar com pesquisas quantitativas,
descritivas e de design fixo (RUNESON; HST, 2009).
2.2.1.3
Etnografia
Oriundo da antropologia e com o objetivo de compreender culturas, o mtodo visa o

entendimento aprofundado das prticas de uma determinada populao. Segundo ROBINSON;
SEGAL; SHARP (2007), o intuito da etnografia estudar uma comunidade de pessoas para
entender a iterao social entre seus membros na busca pela resposta de uma pergunta de
pesquisa.
Uma caracterstica marcante do mtodo que o pesquisador passa a ser acolhido pelo
grupo, ou seja, passa a ser oficialmente aceito pela comunidade estudada (KARN; COWLING,
2006). Na ES a etnografia pode auxiliar a compreenso da cultura das prticas de software em
contextos pequenos e at em grandes comunidades (EASTERBROOK et al., 2008).
2.2.1.4
Pesquisa-ao
Em geral, os pesquisadores utilizam este mtodo com o intuito de resolver problemas

do mundo real e, concomitantemente, estudar a experincia da resoluo do problema em si.
Distingue-se das demais pelo fato do pesquisador deixar de ser um observador neutro para atuar,
modificar e aprender a partir da ao que realiza durante o estudo (FUKS, 2011). Assim, as
principais caracterstias do mtodo a expanso do conhecimento cientfico, desenvolvimento de
competncias dos envolvidos e criao de um vnculo de trabalho colaborativo em uma situao
imediata que utiliza feedbacks em um processo cclico (LAU, 1999).
2.2.1.5
Experimento Controlado
Experimentao, tambm conhecida como experimento controlado o objeto de estudo

desta pesquisa, permite que o conhecimento seja gerado de forma sistemtica, disciplinada,
quantificvel e controlada (WOHLIN et al., 2012). Com origem nas cincias naturais como
biologia e fsica, o experimento um mtodo de pesquisa utilizado para investigar um conjunto
de hipteses testveis apropriado para: observar fenmenos, formular teorias, confirmar um
conhecimento convencional, explorar relacionamentos, validar medidas e avaliar a predio de
modelos.
Normalmente conduzido em laboratrio, este mtodo requer uma elevada necessidade de
controle do ambiente (JURISTO; MORENO, 2013). Atravs dos processos experimentais, os
pesquisadores observam como as variveis se relacionam, presumindo um relacionamento de
causa (tratamento de variveis) e efeito (resultados) (FUKS, 2011).
Segundo EASTERBROOK et al. (2008) as etapas de um experimento so orientadas
atravs da definio de uma hiptese e teoria subjacente, onde o pesquisador controla as variveis:
35
fixa algumas e varia outras. Atravs deste processo, os pesquisadores investigam como as
variveis se relacionam e se existe alguma relao de causalidade entre elas.
2.2.1.6
Teoria Fundamentada
Surgido na sociologia e tambm conhecido como grounded theory, o mtodo preocupa-se

com os procedimentos de coleta e anlise. O objetivo criar e/ou aperfeioar teorias atravs
da extrao sistemtica de dados qualitativos. Criar uma estrutura integrada para se explicar
ou prever fenmenos por meio de dados primrios algo complexo, entretanto este processo
se torna cientfico e quantificvel por meio deste mtodo (CORBIN; STRAUSS, 2014; FUKS,
2011).
Diferente de outas abordagens da ESE, dos quais parte-se sempre de teorias existentes
para o planejamento da pesquisa e coleta dos dados, neste mtodo o processo inverso (FUKS,
2011). Parte-se de uma situao ou tema de pesquisa, coleta-se e analisa-se dados de onde se
emerge uma teoria fundamentada. Os dados podem ser coletados por meio de entrevistas e
observaes diretas que, em seguida, so comparadas para identificar categorias (variveis), em
seguida o pesquisador inicia a comparao com teorias correntes na literatura cientfica (CORBIN; STRAUSS, 2014).
2.2.2
Guias para Relato de Experimentos
O relatrio de um estudo emprico comunica suas concluses e achados, sendo a principal

fonte de informao para se avaliar a qualidade e validade de seus resultados. Ao se reportar um
experimento, objeto de estudo desta pesquisa, importante priorizar quais informaes devem
ser includas em seu relatrio. No contexto da engenharia de software possvel observar na
literatura que, desde 1980, pesquisadores procuram fornecer recomendaes para se reportar
experimentos, como visto na Seo 1 e na linha do tempo na Figura 1.1.
Entretanto, a engenharia de software no a primeira rea de pesquisa que encontra
problemas relacionados aos relatrios insuficientes. Outras reas como medicina e psicologia
tratam problemas similares e tm conseguido vrias melhorias atravs da padronizao e criao
de diretrizes para seus relatrios. Muitas revises tm registrado deficincias nos relatrios
na pesquisa mdica, que resultaram em guias para como report-los ALTMAN et al. (2001);
MOHER; SCHULZ; ALTMAN (2001). A psicologia tambm tem vivenciado problemas similares e guias para publicao foram desenvolvidos (ASSOCIATION et al., 2001; WILKINSON,
1999; HARRIS, 2008; SHIFFMAN et al., 2003).
A importncia de se utilizar guias para criao de relatrios se aplica a todos os tipos
de estudos empricos, entretanto a necessidade de se criar guias especficos para padronizar o
relato de experimentos vem sendo reportado por diversos autores ao logo do tempo (LOTT;
ROMBACH, 1996; PICKARD; KITCHENHAM; JONES, 1998; SHULL et al., 2003; VEGAS;
JURISTO; BASILI, 2003; WOHLIN; PETERSSON; AURUM, 2003; SJBERG et al., 2005).
36
Figura 2.3 Movimentao da comunidade para a criao dos guias para reportar experimentos na
engenharia de software
Da mesma forma possvel observar um movimento da comunidade na criao de diretrizes

para melhorar tais relatos (SINGER, 1999; WOHLIN et al., 2000; JURISTO; MORENO, 2001;
KITCHENHAM; PFLEEGER, 2002; JEDLITSCHKA; PFAHL, 2005; KITCHENHAM et al.,
2006; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
possvel observar na linha do tempo da Figura 2.3 a movimentao da comunidade
para a criao de um guia especfico para relatar experimentos na engenharia de software. Os
marcos no formato circular e com textos de cor preta representam estudos que criticam o relato
dos experimentos. J os marcos no formato triangular e na cor azul representam os movimentos
de resposta da comunidade no sentido de melhorar e contribuir com a construo do guia.
A primeira movimentao para criao do guia foi feita por SINGER (1999) que publicou
sugestes de como utilizar guia existente na psicologia para reportar resultados experimentais na
engenharia de software. Em 2002 o primeiro guia para realizar, reportar e verificar resultados
experimentais na engenharia de software foi publicado por KITCHENHAM; PFLEEGER (2002).
Tal guia foi baseado em outros existentes na medicina e em experincias prticas e lies
aprendidas pelos prprios autores do estudo. SHULL et al. (2003) criou um conjunto de
orientaes sobre como escrever artigos cientficos, incluindo em especial a apresentao de
estudos empricos. WOHLIN et al. (2000) publica livro onde sugere um esboo de como reportar
estudos empricos. JURISTO; MORENO (2001) fornecem um roteiro de perguntas a serem
respondidas ao se reportar experimentos. JEDLITSCHKA; PFAHL (2005) publicam o primeiro
guia especfico para reportar experimentos na Engenharia de Software (JEDLITSCHKA; PFAHL,
2005).
KITCHENHAM et al. (2006) publicaram uma avaliao do guia de Jedlitschka juntamente com recomendaes de melhorias e correes de alguns problemas. No mesmo ano uma
nova verso do guia foi publicada, incorporando as sugestes de melhorias e correes. Em 2007
2.3. ENGENHARIA DE SOFTWARE BASEADA EM EVIDNCIAS
37
foi lanada uma nova verso do guia incorporando sugestes de mais pesquisadores. Em 2008
foi lanada a verso final do guia, com todas as sugestes de melhorias e defeitos registrados
anteriormente (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008).
O presente trabalho utilizou o guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008)
como base para construir o instrumento de coleta, pelo fato do mesmo ser uma evoluo de
todos os guias publicados anteriormente que tratavam do relato de experimentos na ES. O fato
de o desenvolvimento do guia ter sido iterativo e seu teor validado, incorporado feedbacks dos
membros da comunidade tambm pesou na escolha pelo guia. Outro ponto importante o fato
do guia apresentar um contedo com orientaes detalhadas por sees e subsees seguidas de
exemplos.
2.3
Engenharia de Software Baseada em Evidncias
A Engenharia de Software Baseada em Evidncias (ESBE) um paradigma da ES que

permite identificar, selecionar e sintetizar evidncias a partir de estudos primrios (KITCHENHAM; CHARTERS, 2007). Surgido inicialmente na medicina, o objetivo enunciado da ESBE
proporcionar os meios pelos quais as melhores evidncias de pesquisas possam ser integradas s
experincias prticas e valores humanos no processo de tomada de deciso no desenvolvimento
e manuteno de software.
Segundo KITCHENHAM; CHARTERS (2007) so trs os mtodos sistemticos para se
conduzir pesquisas com base nos princpios da ESBE:
1. Revises Sistemticas da Literatura (RSL) convencionais: destinadas a identificar, analisar e interpretar as evidncias disponveis relacionadas a uma questo
especfica de pesquisa, uma RSL tem uma metodologia bem definida e a questo de
pesquisa especfica tratada de maneira imparcial. RSLs em geral agregam resultados
sobre a eficcia de um tratamento, interveno ou de uma tecnologia. Normalmente
esto relacionadas a questes do tipo: Um tratamento X aplicado a uma populao
P mais eficiente para se obter o resultado R no contexo C quando comparado com
o tratamento Y?
2. Mapeamento Sistemtico da Literatura (MSL): tambm categorizado como estudo exploratrio, apresenta uma ampla reviso de estudos primrios em uma rea ou
tpico especfico no intuito de identificar quais as provas disponveis sobre um tema
em questo. Normalmente relacionados a questes do tipo O que sabemos sobre o
tema X?, MSLs objetivam identificar todas as pesquisas que procuram responder
questes amplas e exploratrias sobre as tendncias de uma determinada rea de
pesquisa.
3. Meta-anlise: o mtodo pelo qual, atravs de anlise estatstica, se sintetiza os
resultados de diferentes estudos primrios independentes para integrar, combinar e
38

resumir seus resultados de forma a responder a uma determinada questo de pesquisa.
O mtodo tambm pode ser utilizado em revises sistemticas que integram os
resultados dos estudos includos.
Alguns autores apontam que, no mbito da computao em nuvem, os relatrios dos

estudos empricos so difceis de ser intepretados e analisados pois a forma como os pesquisadores os apresentam suprimem informaes relevantes (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a). Atravs de
um MSL, o presente trabalho espera agregar e consolidar evidncias que permitam analisar e
interpretar o estado da prtica dos relatos dos estudos empricos na CN, tomando como base
guias existentes para tal, na engenharia de software experimental. Assim, espera-se identificr
as lacunas existentes de forma a contribuir com a melhoria da apresentao dos resultados de
estudos empricos na CN.
2.4
Resumo
Este captulo descreveu todo o referencial terico utilizado durante o desenvolvimento

desta pesquisa. Foram explanados os principais conceitos e definies da computao em
nuvem e, em mais detalhes, aspectos relacionados elasticidade. Tambm discorremos sobre
a engenharia de software experimental e seus principais mtodos empricos e, em especial,
tecemos uma discusso um pouco mais consistente sobre os guias para relatar experimentos. E,
por fim, abordamos os principais mtodos da engenharia de software baseada em evidncias.
No prximo captulo ser apresentado, mtodo utilizado para o desenvolvimento da pesquisa e
detalhes relacionados sua classificao, ciclo de desenvolvimento e detalhes do planejamento
do mapeamento sistemtico.
39
3
Mtodo
O objetivo deste captulo detalhar a abordagem metodolgica utilizada na presente
pesquisa por meio de trs sees: Classificao Geral da Pesquisa, Classificao do Estudo
Sistemtico Segundo Cooper e Ciclo da Pesquisa.
A Seo 3.1 apresenta a classificao da pesquisa perante cinco aspectos; j a Seo 3.2
apresenta a classificao do mapeamento sistemtico mediante taxonomia amplamente utilizada
em estudos sistemticos; a por fim Seo 3.3 apresenta uma viso geral do planejamento
metodgico da pesquisa atravs de suas etapas e atividades.
3.1
Classificao Geral da Pesquisa
A pesquisa realizada nesta dissertao foi classificada perante cinco aspectos: mtodo de
abordagem, mtodo de procedimento, objetivo, natureza dos dados e posicionamento filosfico.
Atravs da Tabela 3.1 possvel observar o quadro metodolgico que resume estes elementos.
Quadro Metodolgico
Mtodo de Abordagem
Indutivo
Mtodo de Procedimento Mapeamento Sistemtico da Literatura
Quanto ao Objetivo
Pesquisa Descritiva
Natureza dos Dados
Qualitativa
Posicionamento Filosfico Pragmtico
Tabela 3.1: Classificao Geral da Pesquisa
Quanto ao mtodo de abordagem essa dissertao de carter indutivo, uma vez que
baseia-se em estudos primrios particulares para delinear o cenrio geral do tema em discusso. As concluses so concebidas por meio de uma cadeia de raciocnio ascendente onde
se permite, atravs dos dados obtidos, realizar inferncias de uma verdade geral sobre o tema
estudado (MARCONI; LAKATOS, 2004).
Justificado pela natureza exploratria das perguntas deste trabalho, o mtodo de procedimento adotado foi o mapeamento sistemtico da literatura (MSL), um tipo de reviso
40
CAPTULO 3. MTODO
sistemtica da literatura (RSL). Este tipo de procedimento utilizado em pesquisas mais amplas, que permitem uma perspectiva geral e de granulao grossa de uma determinada rea sob
investigao (KITCHENHAM, 2004; PETERSEN et al., 2008a).
No que diz respeito ao objetivo, a pesquisa classificada como descritiva, uma vez
que os fatos foram sistematicamente coletados, registrados, classificados e interpretados com
o intuito de analisar e caracterizar a completude dos relatos dos experimentos em elasticidade
realizados no contexto da computao em nuvem (ANDRADE, 2001).
Em relao natureza dos dados e das anlises adotadas, a pesquisa caracteriza-se
majoritariamente como qualitativa , uma vez que foca em aspectos mais profundos atravs
da anlise detalhada, classificao e interpretao do contexto do objeto de pesquisa (MARCONI; LAKATOS, 2004; CRESWELL, 2013). Tambm possvel perceber pequenos traos
quantitativos, uma vez que foram utilizados mtodos estatsticos para representar os dados da
pesquisa.
Do ponto de vista do posicionamento filosfico o estudo pragmtico, uma vez que tem
como objetivo auxiliar na resoluo dos problemas relacionados completude dos relatos dos
experimentos por meio de abordagem majoritariamente qualitativa, no abstendo-se de alguns
mtodos quantitativos.
3.2
Classificao do Estudo Sistemtico Segundo Cooper
Originalmente proposta para classificar revises sistemticas da literatura nas reas da

educao e psicologia, a Taxonomia de Cooper (TC) bastante aplicada a estudos sistemticos
de outras reas de pesquisa em geral (COOPER, 1988). Conforme pode ser observada na
Tabela 3.2 a taxonomia sugere a classificao perante seis caractersticas, onde em algumas delas
(marcadas com *) mais de um valor pode ser assumido.
Caracterstica
Foco*
Objetivo*
Perspectiva
Cobertura
Organizao*
Pblico-Alvo*
Categoria
Resultados de pesquisa [ou] Mtodos de pesquisa [ou] Teorias [ou] Prticas e
aplicaes
[Integrao (Generalizao; Resoluo de conflito; Construo de pontelingustica) ] [Crtica] [Identificao de questes centrais]
[Representao neutra] [Exposio de posio]
[Exaustiva] [Exaustiva com seleo seletiva] [Representativa] [Central ou piv]
[Histrica] [Conceitual] [Metodolgica]
[Estudiosos especializados] [Estudiosos gerais] [Profissionais] [Pblico geral]
Tabela 3.2: Taxonomia para classificao dos estudos secundrios segundo Cooper
A utilizao desta taxonomia tem o intuito de auxiliar a comunidade em trs pontos
especficos: (i) avaliao da qualidade dou trabalho, (ii) divulgao comunidade atravs de
um conjunto de termos bem definidos e, (iii) facilitar a pedagogia em cursos de graduao
3.2. CLASSIFICAO DO ESTUDO SISTEMTICO SEGUNDO COOPER
41
(COOPER, 1988). Na Tabela 3.3 possvel observar o resultado da classificao do estudo de

mapeamento sistemtico desta dissertao mediante a taxonomia de Cooper.
Caractersticas
Foco
Objetivo
Perspectiva
Cobertura
Organizao
Audincia
Classificao
[Resultados de Pesquisa] [Prticas ou aplicaes]
[Integrao (Generalizao) ] [Identificao de problemas centrais]
[Representao neutra]
[Exaustiva com citao seletiva]
[Metodolgica]
[Acadmicos Especializados] [Praticantes]
Tabela 3.3: Resultado da aplicao da Taxonomia de Cooper para a classificao do mapeamento

sistemtico desta pesquisa
Ao focar em resultados de pesquisa espera-se contribuir para o entendimento da prtica

dos relatos de experimentos em elasticidade na computao em nuvem a partir da anlise de uma
parcela representativa dos experimentos publicados por esta comunidade. O foco em prticas e
aplicaes importante e de grande valor para se entender certas tendncias.
Quanto ao objetivo, os enfoques escolhidos foram: integrao/generalizao e identificao de problemas centrais. Atravs destes espera-se integrar, organizar e sintetizar o
conhecimento por meio da agregao e consolidao das evidncias existentes na literatura e
identificar lacunas que permitam a melhora da rea de pesquisa estudada.
No que diz respeito perspectiva, a literatura ser discutida sob o ponto de vista neutro.
O intuito de se dissertar desta forma tende a evitar a transmisso de posicionamento ou opinio
do pesquisador, bem como inibir qualquer vis pr-existente do pesquisador. Tambm inteno
apresentar todas as evidncias sobre o tema investigado revelando seus pontos positivos e
negativos.
No quesito cobertura esta pesquisa classificada como exaustiva com citao seletiva,
visto que tentou-se selecionar a maior parte da literatura relacionada ao tema em discusso
atravs de buscas manuais e automticas, entretanto as fontes de pesquisas e perodo de cobertura
foram limitados.
Em relao organizao a dissertao est disposta de maneira metodolgica, visto
que os resultados esto agrupados em torno de ideias similares para facilitar a discusso e
interpretao dos resultados de acordo com as perguntas de pesquisa e aspectos metodolgicos
relacionados ao relato dos experimentos.
Por fim, em relao audincia a dissertao est direcionada aos pesquisadores especializados tanto da computao em nuvem, quanto da engenharia de software experimental,
que desejem conhecer o atual estado da prtica do relato dos experimentos em elasticidade na
computao em nuvem.
42
3.3
CAPTULO 3. MTODO
Ciclo da Pesquisa
O objetivo desta seo apresentar como foi planejada a metodologia para realizao
deste trabalho de mestrado em suas etapas e atividades. A Figura 3.1 apresenta todas as etapas
e respectivas atividades planejadas desde a definio da pesquisa at a divulgao de seus
resultados.
A seguir sero detalhadas as etapas de definio e planjeamento da pesquisa e divulgao
dos resultados. Escolheu-se apresentar a etapa de Execuo na Seo 4, visto que estas informaes dizem respeito materializao do mtodo planejado para a pesquisa na forma da execuo
do mapeamento sistemtico. A seguir sero apresentados os planejamentos de atividades, decises de pesquisa e suas particularidades. Quanto ordem, a execuo das atividades sequencial
e definida pelo fluxo das setas e suas direes.
Figura 3.1 Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades.
3.3.1
Etapa de Definio da Pesquisa
Esta etapa foi fundamental para todo o delineamento da pesquisa e teve como principais
objetivos: (i) identificao das oportunidades de pesquisa, (ii) definio do tema a ser trabalhado,
(iii) escopo, (iv) perguntas de pesquisa e (v) definio da metodologia e do mtodo emprico a
ser utilizado. Nas demais sub-sees a seguir, todas as definies da pesquisa sero detalhadas
seguindo a ordem de acontecimentos.
3.3. CICLO DA PESQUISA

3.3.1.1
43
Reviso Informal da Literatura
Com o intuito de obter um maior conhecimento sobre as necessidades da CN foi realizada

uma reviso informal da literatura para se identificar as oportunidades de pesquisa. Atravs desta
reviso foi possvel perceber a necessidade em se aumentar a utilizao de mtodos empricos
nas pesquisas da computao em nuvem, e assim, melhorar o rigor metodolgico das evidncias
de pesquisas (SILVA; ROSE; CALINESCU, 2013b; JAMSHIDI; AHMAD; PAHL, 2013). Ficou
evidente que os relatrios dos estudos empricos na CN so incompletos e apresentam uma
baixa qualidade metodolgica, dificultando, por exemplo, a avaliao da qualidade, interpretao,
generalizao, replicao e validade de seus resultados (DURAO et al., 2014; LI et al., 2013;
HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
3.3.1.2
Definio do Tema, Objetivo e Escopo
Para adquirir um maior embasamento terico sobre o assunto e definir o tema, objetivo e
escopo da pesquisa, foi realizada uma reviso bibliogfica tradicional nos principais temas relacionados ao assunto: computao em nuvem, estudos empricos e engenharia de software baseada
em evidncias. Assim observamos que, o problema em questo no especfico apenas do contexto da CN (SMITE et al., 2008; KAMPENES et al., 2009; RUNESON; STEFIK; ANDREWS,
2013) e que existe uma mobilizao dos pesquisadores da engenharia de software experimental
para melhorar os relatrios dos estudos empricos atravs da utilizao de guias para reportar
resultados(CARVER, 2010; BUDGEN; ZHANG, 2009; ?; KITCHENHAM; CHARTERS, 2007;
SMITE et al., 2008).
No melhor do nosso conhecimento e atravs de pesquisas feitas na literatura (Seo F.2),
at o inicio da presente pesquisa no haviam estudos sistemticos, no contexto da computao
em nuvem, que caracterizassem a completude dos relatos de maneira aprofundada, baseado em
guias existentes na literatura da engenharia de software experimental. Assim, conclumos que
o problema apresentava relevncia para gerar contribuies importantes, conforme discusso
apresentada na Seo 1.
As prticas de avaliao no contexto da CN so reportadas em vrias fontes como blogs,
revistas, relatrios tcnicos, publicaes acadmicas, etc. Publicaes acadmicas, em particular,
normalmente so mais formais e seguem um processo rigoroso de reviso. Considerando a
documentao especfica produzida nas publicaes formais, limitamos a este trabalho apenas s
publicaes acadmicas. No h desconfiana de que as publicaes informais tambm possam
fornecer informaes altamente relevantes, entretanto impraticvel explorar e coletar dados
teis atravs de diferentes fontes de dados de uma s vez.
A fim de realizar uma anlise inicial mais profunda e obter uma contribuio mais
relevante no estudo destes relatos, o foco inicial deste trabalho foi direcionado s pesquisas que
utilizaram realizaram experimentos. Escolheu-se focar em experimentos pois este um mtodo
emprico bem representativo mediante as caractersticas da rea de pesquisa em computao
44
CAPTULO 3. MTODO
em nuvem. Entretanto, mediante s limitaes de tempo e espao, foi necessrio condensar o

escopo da pesquisa e ento foi decidido estudar os relatos dos experimentos que avaliavam a
caracterstica mais marcante da computao em nuvem: a elasticidade. Embora o escopo tenha
sido reduzido, a quantidade de estudos avaliados matm a representatividade da rea de pesquisa
como um todo, tanto em nmero quanto natureza dos experimentos realizados.
Diante destes fatos, a pesquisa foi direcionada a compreender o estado da prtica de
comunicao dos resultados de experimentos em elasticidade na CN, fundamentado em guias
existentes na ESE, na perspectiva de profissionais e pesquisadores, a fim de identificar as lacunas
para melhoria da qualidade das evidncias empricas das publicaes cientficas.
3.3.1.3
Definio da Metodologia
Uma vez definidos o tema, objetivo e escopo da pesquisa, o prximo passo foi definir
qual seria o mtodo emprico a ser utilizado. Dentre os mtodos apresentados anterioremente
(Seo 2.2.1 e Seo 2.3) o mtodo considerado mais adequado foi o Mapeamento Sistemtico
da Literatura, tomando como base o objetivo, natureza exploratria das questes de pesquisa e
apresentao dos resultados pretendidos.
Inicialmente existia a dvida entre se realizar uma reviso sistemtica ou mapeamento
sistemtico. Em sua grande maioria, as revises sistemticas tem como objetivo avaliar, comparar ou decidir entre tcnicas, entretanto nosso objetivo a realizao de uma anlise temtica o
que se adequa mais ao objetivo de um mapeamento sistemtico. Outro aspecto que foi decisivo
na escolha do mtodo foi a ampla natureza exploratria da pergunta de pesquisa: Quo completos so os relatos de experimentos em elasticidade na computao em nuvem, em relao
apresentao de elementos da pesquisa que permitam a interpretao, avaliao da validade
e o potencial da pesquisa?. Visto que parte do objetivo realizar uma anlise de viso mais
profunda das evidncias da prtica dos relatos dos experimentos, o mtodo escolhido foi o
mais adequado, uma vesz que para tal precisamos integrar de forma exaustiva e sintetizar as
evidncias existentes (KEELE, 2007; PETERSEN et al., 2008a; BUDGEN et al., 2008). Outro
fator est relacionado forma de apresentao dos resultados, pois em um estudo de mapeamento
sistemtico eles so apresentados de forma categorizada e proporcionam uma viso sumria
que permite a melhor visualizao dos dados em forma de grficos e mapas (PETERSEN et al.,
2008a). Nas sub-sees a seguir todo o planejamento do mapeamento sistemtico ser detalhado
seguindo atravs da definio do protocolo da pesquisa.
3.3.2
Etapa de Planejamento do Mapeamento Sistemtico
Esta etapa foi fundamental para o planejamento do mapeamento sistemtico e teve

como atividades: (i) definio do protocolo e (ii) reviso do protocolo. Nesta etapa o principal
artefato produzido o protocolo do mapeamento que encontra-se em anexo no Apndice F desta
dissertao.
45
Diferente de um processo no estruturado de reviso da literatura, um estudo sistemtico

procura reduzir o vis do pesquisador atravs de uma sequncia precisa e rigorosa de passos
metodolgicos. Toda a metodologia do mapeamento sistemtico desta pesquisa foi planejada em
trs fases como ilustra a Figura 3.2.
Figura 3.2 Metodologia planejada para a realizao do mapeamento sistemtico
A seguir sero apresentados os detalhes de planejamento do mapeamento e todas as

decises e informaes necessrios para a compreenso da pesquisa.
3.3.2.1
Definio do Protocolo
O objetivo do protocolo de um estudo sistemtico reduzir o vis do pesquisador e

fornecer um processo reproduzvel e transparente para a realizao do estudo. O protocolo do
mapeamento desta pesquisa foi construdo com base em guias existentes na literatura (KITCHENHAM, 2004; KEELE, 2007; PETERSEN et al., 2008b; ARKSEY; OMALLEY, 2005).
A seguir sero apresentados, atravs de pargrafos breves, apenas alguns dos elementos
relacionados ao planejamento do mapeamento, entretanto, possvel ter acesso ao protocolo
como um todo no Apndice F. Como pode ser visto na Figura 3.2 o planejamento compreende a
definio dos seguintes pontos: questes de pesquisa, estratgia de busca dos estudos, estratgia
de seleo dos estudos, avaliao da qualidade e estratgia de extrao.
3.3.2.1.1 Questes de Pesquisa A formulao das questes de pesquisa crucial e direciona
todas as atividades de busca, seleo, extrao dos dados e anlise dos estudos (KITCHENHAM;
CHARTERS, 2007). O objetivo desta pesquisa realizar um diagnstico da comunicao dos
resultados dos experimentos realizados na computao em nuvem para verificar se os autores
46
CAPTULO 3. MTODO
apresentam em seus relatos um conjunto de elementos que permitam interpretar, avaliar a

validade e o potencial de tais estudos como: motivao, objetivo, mtodo, anlise dos dados,
resultados, concluses e limitaes. Com este objetivo e tomando como base as orientaes
criadas por JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), que orientam os pesquisadores a
relatar o resultado de experimentos com base em um conjunto de informaes essenciais para
seu entendimento, foi criado o conjunto de questionamentos abaixo:
QP1 - Quo completos so os relatos de experimentos em elasticidade na computao

em nuvem, em relao apresentao de elementos da pesquisa que permitam a
interpretao, avaliao da validade e o potencial da pesquisa?
SQP1 - O ttulo permite que o leitor identifique que o estudo um relato

de experimento?
SQP2 - Informaes importantes do resumo como motivao, objetivos,
SQP3 - A introduo do relato apresenta referncias declarao do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentao informa sobre a tecnologia em investigao, s
possveis opes alternativas a ela, pesquisas relacionadas e a relevncia
para a prtica?
SQP5 - O relato apresenta informaes sobre o planejamento da pesquisa?
SQP6 - O relato detalha a anlise dos dados da pesquisa?
SQP7 - Os resultados, suas implicaes e ameaas validade so relatados?

SQP8 - As concluses do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?
3.3.2.1.2 Estratgia de Busca dos Estudos A busca dos estudos inclui as estratgias manuais e automticas. Foi planejado que ambas as estratgias deveriam ser executadas pelo autor da
pesquisa e os resultados obtidos exportados para o sistema ExtractViewer, ferramenta criada para
auxiliar toda a realizao do estudo sistemtico. Mais informaes sobre a feramenta podem
ser obtidas no Apndice G As fontes de busca manuais planejadas e os respectivos perodos de
coleta so as apresentadas na Tabela 3.4.
Para a estatgia automtica planejou-se a utilizao dos mecanismos IEEE Xplore Digital
Library 1 , ACM Digital Library 2 , Elsevier Scopus 3 , Springer Link 4 . A string de busca
1 http://ieeexplore.ieee.org
2 http://portal.acm.org
3 http://www.scopus.com
4 http://link.springer.com

Fonte
EASE International Conference on Evaluation
and Assessment in Software Engineering
ESEM International Symposium on Empirical
Software Engineering and Measurement
ESE Empirical Software Engineering Journal
CLOUD IEEE International Conference on
Cloud Computing
CLOUDCOM IEEE International Conference
on Cloud Computing Technology and Science
TPDS IEEE Transactions on Parallel and Distributed Systems
47
Perodo
2006-2014
Tipo
Conferncia
rea
ESE
2007-2014
Simpsio
ESE
2006-2014
2009-2014
Journal
Conferncia
ESE
CN
2010-2014
Conferncia
CN
2006-2014
Journal
CN
Tabela 3.4: Fontes de Busca Manual e Perodo de Coleta

definida apresentada na Tabela 3.5. Foram utilizados os principais sinnimos para a definio
da computao em nuvem e seus modelos de servio. Para encontrar os experimentos mais
efetivamente foi utilizado o termo experimento conforme as orientaes de DIESTE; GRIMN;
JURISTO (2008). Com o objetivo de encontrar os experimentos que claramente declaravam
realizar experimentos em elasticidade o termo foi includo na string de busca.
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Elasticity)
[AND]
(Experiment OR Evaluate OR Evaluation OR Evaluating OR Benchmark)
Tabela 3.5: String de Busca utilizada na pesquisa dos estudos do MS
3.3.2.1.3 Estratgia de Seleo dos Estudos A seleo dos estudos foi planejada em duas
etapas, onde a primeira consiste na leitura do ttulo e resumo de todos os estudos pelo autor
da pesquisa em conjunto com um pesquisador experiente e, apenas os trabalhos claramente
fora do escopo da pesquisa e duplicados devem ser excludos. Em caso de dvida em relao
permanncia do estudo o mesmo deve ser mantido para a segunda rodada de seleo conforme
recomenda KITCHENHAM; CHARTERS (2007).
A segunda etapa contempla a participao de pesquisadores configurados em duplas e
todos os estudos devem ser lidos sinteticamente e analisados conforme os critrios de excluso
definidos. O grau de concordncia entre os revisores deve ser calculado para garantir que o
resultado obtido no foi meramente ao acaso.
48
CAPTULO 3. MTODO
Quanto aos critrios de excluso, os mesmos foram definidos com objetivo de identificar
apenas os experimentos que avaliavam a elasticidade na computao em nuvem, o que deixa
implcito que todos os estudos que no se enquadraram nestes critrios deve ser automaticamente
includos. A lista dos critrios pode ser observada na Tabela 3.6. Todo o processo deve ser
assitido pela ferramenta ExtractViewer e cada um dos revisores, de posse de suas credenciais de
acesso devem proceder com a anlise dos estudos designados a ele. Mais detalhes sobre as telas
e informaes disponibilizadas aos revisores pode ser vista no Apndice G. Inicialmente alguns
dos critrios podem parecer similares entre si, entretanto o objetivo realizar uma anlise com
granularidade fina a fim de facilitar futuros estudos com os resultados das selees de estudos
realizada nesta reviso.
Cdigo
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11
Critrios de Excluso
O arquivo no corresponde ao Estudo. (Ex: ndice)
O arquivo no um Estudo. (Ex: proceedings, editorial)
O Estudo duplicado.
O Estudo um slideshow ou resumo expandido.
O Estudo est fora do intervalo de avaliao.
O Estudo est relacionado Elasticidade mas no relata um Experimento.
O Estudo est relacionado Elasticidade, reporta um Experimento porm no
avalia Elasticidade.
O Estudo no est disponvel.
O Estudo no est em ingls.
O Estudo no est relacionado Computao em Nuvem.
O Estudo no est relacionado Elasticidade na Computao em Nuvem.
Tabela 3.6: Lista dos Critrios de Excluso em ordem alfabtica.
3.3.2.1.4 Avaliao da Qualidade O intuito desta pesquisa ser exaustiva, e identificar a

maior quantidade de experimentos em elasticidade para obter uma representatividade ampla da
populao. Assim sendo, a anlise de qualidade dos estudos selacionados no foi realizada, uma
vez que nesta caso a incluso do maior nmero de estudos pode contribuir potencialmente para a
formao de uma viso ampla da prtica atual dos relatos dos experimentos.
3.3.2.1.5 Estratgia de Extrao Foi planejado que o processo de extrao dos dados seria
feito em duas partes: extrao dos metadados e extrao atravs do instrumento de anlise de
completude dos relatos. A primeira parte contempla os metadados relacionados ao ttulo do
estudo, autores, instituies, pases, fonte e ano de publicao. Uma vez que tais dados devem
ser coletados durante a etapa de busca e importados para o sistema ExtractViewer, sua extrao
deve ser realizada atravs de consultas ao banco de dados do sistema. J a segunda parte deve
ser extrada atravs da leitura e aplicao do instrumento de coleta nos estudos selecionados
conforme orientaes e detalhes apresentados no Apndice H e Seo 2.2.2.

3.3.2.2
49
Reviso do Protocolo
Com a concluso do protocolo, conforme orientao dos guias utilizados, o mesmo foi
apreciado por especialistas da computao em nuvem, engenharia de software experimental
e engenharia de software baseada em evidncias. Aps a realizao dos sucessivos ajustes
propostos, a verso final do protocolo foi ento estabelecida para permitir assim o incio da etapa
de execuo da pesquisa.
3.3.3
Etapa de Execuo da Pesquisa
Como explanado no incio deste captulo os resultados das atividades de execuo do

mapeamento sistemtico sero apresentados na Seo 4.
3.3.4
Etapa de Divulgao dos Resultados
Esta etapa possui uma dinmica de execuo diferente das demais em termos de execuo,
suas atividades so: (i) Escrita da Dissertao e (ii) Submisso Journal. Todos os resultados
detalhados e demais detalhes relacionados execuo e planejamento da pesquisa esto sendo
divulgados por meio desta dissertao. Ao dissertar tentou-se acrescentar a maior quantidade
de informaes possveis em relao ao mtodo da pesquisa, de forma a propiciar uma melhor
visualizao do planejamento e da execuo do mtodo, transparecer a credibilidade da pesquisa
e facilitar possveis replicaes.
A execuo da primeira atividade, escrita da dissertao, no foi sequencial e sim
iterativa e incremental, onde em cada etapa do ciclo da pesquisa as informaes produzidas eram
redigidas e registradas nesta dissertao.
A segunda atividade, submisso journal, extrapola o marco de apresentao deste trabalho
de dissertao e visa apresentar comunidade os resultados desta pesquisa de maneira mais
ampla. Aps a concluso e apresentao do trabalho sero recebidas as sugestes de correo e
melhorias e, aps a realizao das mesmas, os resultados desta pesquisa sero submetidos dois
peridicos: ESE e TPDS.
3.3.5
Resumo
Neste captulo foi descrita a metodologia utilizada nesta pesquisa, sua classificao,
estruturao, planejamento, conduo e as razes de uso dos procedimentos ou mtodos. Tambm
foi apresentada a estratgia planejada para a divulgao dos resultados obtidos na pesquisa. No
prximo captulo so apresentados todos os detalhes de execuo do mapeamento sistemtico e
uma anlise dos resultados obtidos.
51
4
Resultados
Este captulo tem como objetivo trazer informaes a cerca da etapa de execuo do
mapeamento sistemtico e apresentar os resultados encontrados na anlise das evidncias. Na
seo Execuo do Mapeamento Sistemtico so apresentados todo os detalhes da execuo do
mapeamento, compreendendo as atividades de busca, seleo, extrao dos dados e sintetizao
dos resultados.
A anlise e discusso dos resultados obtidos constituem as principais contribuies deste
trabalho e sero apresentados em trs Sees distintas: Anlise Geral, Anlises das Evidncias
e Discusso dos Resultados. A Seo 4.2 apresenta os dados quantitativos do processo de
mapeamento sistemtico e caractersticas gerais dos estudos analisados. A Seo 4.3 apresenta a
anlise das evidncias identificadas respondendo a cada uma das perguntas de pesquisa. E por
fim a Seo 4.4 se dedica a discutir os principais resultados obtidos.
4.1
Execuo do Mapeamento Sistemtico
O intuito desta seo apresentar os detalhes da etapa de execuo do mapeamento

sistemtico que se inicia com a seleo dos estudos e resulta na sintetizao da informao.
Nas prximas sub-sees sero apresentados os detalhes de execuo relativos s atividades e
informaes pertinentes ao entendimento do contexto e interpretao da pesquisa.
4.1.1
Busca dos Estudos
A atividade de busca foi guiada pelo planejamento realizado na Seo 3.3.2.1.2 e executada em dois momentos: (i) busca automtica e (ii) busca manual. No foi necessrio nenhum
replanejamento desta atividade e todos os estudos foram coletados juntamente com suas informaes de metadados. Todos os resultados foram importados e devidamente tratados pela
ferramenta ExtractViewer. importante ressaltar que esta atividade conhecidamente laborosa e
exige do pesquisador um certo volume de trabalho manual e repetitivo na montagem e organizao das informaes que so apreciadas na atividade de seleo dos estudos primrios. Neste
52
CAPTULO 4. RESULTADOS
quesito, o apoio da ExtractViewer foi essencial para diminuir a propenso a erros e acelerar o
andamento da pesquisa.
No primeiro momento foram executadas as buscas automticas e para todas elas a
string de busca foi adaptada para atender sintaxe do mecanismo. Toda a lgica e semntica
definidas foram inteiramente mantidas. A busca no IEEE Xplore foi realizada sem maiores
dificuldades e o engenho permitiu que o resultado fosse exportado por completo em um nico
arquivo no formato csv. Todos os metadados necessrios para a interpretao dos estudos foram
adquiridos e importados sem nenhuma intercorrncia. Na ACM Digital Library houve um pouco
de dificuldade na exportao dos resultados, visto que o engenho no apresenta a funcionalidade
especfica para este propsito. Mesmo com tais dificuldades, todos os dados da pesquisa e
metadados dos estudos foram adquiridos e importados para a ferramenta. No Springer Link
tambm houve a mesma dificuldade em relao exporto dos resultados. Por fim, no Elsevier
Scopus a busca foi executada sem maiores dificuldades e os resultados exportados por completo
em um arquivo csv. A nica diferena deste engenho que a consulta era executada em sistema
de processamento em lotes e o resultado da consulta era recebido via email.
J a busca manual foi realizada com sucesso em todas as conferncias planejadas e concluda sem intercorrncias. Todas as buscas foram importadas com sucesso para a ExtractViewer
e a contabilizao destes por conferncia pode ser vista na Tabela 4.1. Ao trmino das atividades
desta etapa foram identificados 3.611 estudos candidatos para anlise. Mais detalhes em relao
a anlise dos engenhos utilizados podem ser conferidos na Seo 4.2 deste captulo.
Fonte de Dados
ACM Digital Library
IEEEXplorer Digital Library
Elsevier Scopus
Springer Link
TPDS
CLOUDCOM
CLOUD
EASE
ESE
ESEM
Tipo
Quantidade de Estudos
Automtica
Automtica
Automtica
Automtica
Manual
Manual
Manual
Manual
Manual
Manual
490
170
163
251
1315
517
454
85
75
91
Tabela 4.1: Quantitativo de estudos candidatos localizados por fonte de dados.
4.1.2
Seleo dos Estudos Primrios
O processo de seleo dos estudos foi realizado em duas rodadas sequenciais: primeira
rodada e segunda rodada. Ambas as rodadas utilizaram a ferramenta ExtractViewer. Atravs
dela os revisores puderam trabalhar em paralelo em um ambiente distribudo, o que ajudou a
acelerar a execuo desta etapa.
4.1. EXECUO DO MAPEAMENTO SISTEMTICO
53
Na primeira rodada, como ilusta a Figura 4.1, o ttulo, resumo e palavra-chave de todos
os 3.611 estudos candidatos foram lidos e avaliados pelo autor e outro pesquisador experiente.
As anlises desta rodada foram feitas pelo autor do estudo atravs da ferramenta ExtractViewer.
Figura 4.1 Esquema de execuo da primeira rodada de seleo dos estudos do mapeamento sistemtico
Apenas os trabalhos claramente fora do escopo da pesquisa (3.260) e os considerados

duplicados (155) foram excludos. Os estudos duplicados foram identificados automaticamente
pela ferramenta atravs das informaes de metadados e apresentou uma efetividade de 97%.
Todos os indcios de duplicaes foram verificados pelo autor para ratificar a veracidade da
informao. Neste momento tambm foram ratificas todas as informaes de metadados dos
estudos. Ao final desta rodada restaram 196 estudos. Mais detalhes sobre o resultado do processo
de seleo podem ser obtidos na Seo 4.2. O grande quantitativo de estudos excludos chamou
ateno e resolveu-se analisar em detalhes o motivo que tenha levado ocorrncia deste fato.
Atravs de tal anlise chegou-se aos dados da Tabela 4.2 e podemos observar que o grande
quantitativo de estudos excludos estava relacionado ao fato de o estudo no estar relacionado
computao em nuvem ou elasticidade.
Por meio destes dados foi possvel perceber um achado que chamou bastante a ateno: o
jornal IEEE Transactions on Parallel and Distributed Systems, apresentou uma grande quantidade
de estudos excludos pelo motivo "O Estudo no est relacionado Computao em Nuvem".
Apesar de no existir ainda um jornal especfico para a rea de pesquisa da computao em
nuvem, e tal jornal por ser relacionado grande rea de pesquisa de sistemas distribudos a qual
a computao em nuvem pertence, esperava-se que existisse grande possibilidade de encontrar
estudos relevantes para a pesquisa. Entretanto, foi possvel perceber que a estratgia de incluso
deste jornal no teve o efeito esperado.
J as conferncias "IEEE International Conference on Cloud Computing Technology and
Science" e "IEEE International Conference on Cloud Computing" apresentarem um alto volume
de excluso pelo critrio "O Estudo no est relacionado Elasticidade na Computao em
Nuvem". Tal fato pode ser compreensvel, visto que estudos sobre avaliao em elasticidade comearam a despontar na literatura em 2009 e o auge de publicaes datam de 2012 (COUTINHO
et al., 2014).
54
Origem dos Dados
IEEE Transactions on Parallel

and Distributed Systems
Busca
Manual
IEEE International Confe- Manual

rence on Cloud Computing Technology and Science
IEEE International Confe- Manual
rence on Cloud Computing
ACM Digital Library
Automtica
Springer Link
Automtica
Motivo Excluso
Recup.
O Estudo no est rela- 1315

cionado Computao
em Nuvem.
O Estudo no est rela517
cionado Elasticidade
na Computao em Nuvem.
O Estudo no est rela- 251
Excl.
1199
%
Excl.
91%
480
93%
421
93%
323
66%
121
48%
Tabela 4.2: Critrios de excluso apliados na primeira etapa de seleo dos estudos candidatos
A segunda rodada contou com a participao de 18 pesquisadores, configurados em 10
duplas para realizar a anlise dos 196 estudos resultantes da primeira rodada. O processo de
seleo pode ser visto na Figura 4.2 que contm a mesma semntica da Figura 4.1. Vale destacar
que o processo apresentado repetido para cada uma das duplas participantes. A configurao
de duplas foi feita conforme a Tabela F.2 e cada uma delas analisou 10% dos trabalhos, o que
resulta em aproximadamente 20 estudos por revisor.
Com o acesso ao sistema, cada integrante das duplas analisou todos os estudos presentes na sua lista, registrando os possveis critrios aplicados e caso desejasse os respectivos
comentrios. Ao final das anlises a ferramenta identificou todos os conflitos existentes entre
os revisores de cada uma das duplas. Todos os conflitos foram resolvidos atravs de reunio e
sem intercorrncias e ao final desta etapa foram selecionados 59 estudos. A listagem dos estudos
selecionados, juntamente com seu respectivo cdigo, ttulo, ano, origem dos dados e autores
apresentado no Apndice A.
Para mensurar o grau de confiabilidade da aplicao dos critrios a segunda rodada,
foram executados testes de Kappa (VIERA; GARRETT, 2005) para aferir a concordncia entre
os revisores (KITCHENHAM; CHARTERS, 2007; EDWARDS et al., 2002). A estatstica de
Kappa denotada pela letra "K"e calculada atravs de um teste que retorna valores de menos
infinito a 1, sendo interpretado conforme a Tabela 4.3. O clculo desta estatstica acompanhado
de um teste de confiabilidade, que ajuda a identificar se o valor de K foi obtido atravs de mera
chance por meio de um p-value (VIERA; GARRETT, 2005).
4.1. EXECUO DO MAPEAMENTO SISTEMTICO
55
Figura 4.2 Esquema de execuo da segunda rodada de seleo dos estudos do mapeamento sistemtico
Kappa
<0
0,0
0,01 - 0,20
0,21 - 0,40
0,41 - 0,60
0,61 - 0,80
0,81 - 0,99
Concordncia
Menos que mera chance de concordncia
Nvel pobre de concordncia
Nvel leve de concordncia
Nvel razovel de concordncia
Nvel moderado de concordncia
Nvel substancial de concordncia
Nvel quase perfeito de concordncia
Tabela 4.3: Valores de referncia para interpretao do teste Kappa

Ao final foi analisado o ndice de concordncia global e obteve-se um valor K=0,376,
que conforme a Tabela 4.3 considerado um nvel de concordncia razovel. Para este teste
obtivemos um p-value=0,001, que permite rejeitar a hiptese de que o resultado tenha acontecido
ao acaso. Tal resultado foi obtido com certa surpresa, uma vez que somadas todas as duplas
houveram 139 concordncias contra 57 discordncias, configurando um nvel de concordncia
de 71%, que mostra-se aparentemente moderado para ser considerado apenas razovel.
No que diz respeito anlise de concordncia entre os integrantes das duplas, foram
obtidos os valores apresentados na Tabela 4.4. As estatsticas indicam que as duplas D4, D7 e
D8 se enquadram em um nvel de concodncia substancial, tendo como rejeitada a hiptese nula
de concordncia por mera chance. As duplas D1, D2, D3, D5, D9 e D10 apresentaram um nvel
razovel de concordncia. J a dupla D6 apresentou um nvel de concordncia leve, com p-value
mostrando no ser possvel rejeitar a hiptese de que esse resultado se deu por mero acaso. Ao
analisar, em especial, os conflitos e as respectivas discordncias foi possvel observar que o
principal fator de discordncia foi na diferenciao dos conceitos de elasticidade. Tal resultado
pode ser considerado relativamente natural, visto que a dupla foi composta por um especialista
em CN e outro em ESE. Assim sendo, foi considerado que o ndice de 71% de concordncia
56
quanto incluso/excluso dos estudos primrios evidencia uma taxa segura de confiabilidade
para os critrios utilizados nesta pesquisa.
Dupla
D1
D2
D3
D4
D5
D6
D7
D8
D9
D10
Kappa
0,21
0,36
0,26
0,61
0,24
0,05
0,66
0,78
0,38
0,21
p-value
0,36
0,04
0,16
0,003
0,21
0,83
0,002
0,001
0,07
0,36
Concordncia
Nvel leve de concordncia
Tabela 4.4: Resultado dos testes Kappa

Ao analisar os ndices de concordncia procurou-se entender e investigar o principal
motivo que levou a este grau de discordncia entre os revisores e foi observado que os principais
motivos de conflito foram dois: (i) atestar que o estudo reportava um experimento e (ii) atestar
se o experimento avaliava elasticidade. Entretanto, acreditamos que a discordncia do ponto (i)
foi causada pelo uso indiscriminado da terminologia dos estudos empricos. Houveram estudos
em que o autor declarava em um trecho do artigo ter realizado um experimento e, logo em
outro trecho do mesmo artigo alegar que foi realizado um estudo de caso. Quanto ao ponto (ii)
observou-se que a dificuldade ocorreu pela confuso que existe entre os conceitos de elasticidade
e escalabilidade.
4.1.3
Extrao dos Dados
A atividade de extrao dos dados ocorreu sem maiores intercorrncias e foi realizada por
dois pesquisadores conforme justificado na Seo 3.3.2.1.5. A etapa de extrao dos metadados
dos estudos foi realizada atravs de consultas sql executadas diretamente do banco de dados
do sistema ExtractViewer. A extrao dos dados para identificar a completude dos relatos foi
norteado pelo instrumento de coleta detalhado no Apndice H.
4.1.4
Sintetizao dos Dados
Em particular, os dados coletados durante a extrao podem ser distinguidos entre

metadados das publicaes e dados sobre a caracterizao dos relatos. Os metadados foram
utilizados principalmente para realizar uma investigao estatstica dos estudos selecionados,
enquanto que os dados de relato dos experimentos foram analisados com o objetivo de responder
s questes de pesquisa apresentadas na Seo 4.3.
4.2. ANLISE GERAL
4.2
57
Anlise Geral
O objetivo desta seo apresentar uma anlise dos dados obtidos no mapeamento
sistemtico. Sero apresentados inicialmente dados relacionados busca, seleo e extrao
dos dados. Em seguida sero apresentados dados relacionados aos estudos selecionados, seus
metadados, grupos de pesquisa, pas e outras caractersticas gerais.
Atravs do grfico da Figura 4.3 possvel visualizar a participao das estratgias de
busca no quantitativo de estudos candidatos identificados. Fica ntido que a maior participao
na identificao dos estudos foi da estratgia manual (70%), entretanto ao final do processo
de seleo dos estudos este cenrio se inverte e o maior nmero de estudos selecionados
proveniente da estratgia automtica (92%).
Figura 4.3 Participao das estratgias de busca no quantitativo de estudos candidatos identificados
A anlise da busca automtica apresentada na Figura 4.4 revela que o engenho de busca
ACM se sobressai no quantitativo de estudos candidatos identificados (490), entretanto ao final
da seleo dos estudos o IEEE apresentou a maior quantidade de estudos selecionados (29).
A anlise da busca manual apresentada na Figura 4.5 revela que o jornal IEEE Transactions on Parallel and Distributed Systems retornou o maior quantitativo de estudos candidatos. Tal
fato se justifica pelo fato do jornal ser de publicao mensal e o perodo de busca ter compreendido o perodo de nove anos. Nas anlises tambm foi possvel constatar que ao final da segunda
etapa de seleo dos estudos a estratgia utilizada apresentou uma baixa preciso ao se comparar
a quantidade de estudos candidatos (1315) versus a de estudos selecionados (2).
Ainda sobre os engenhos de busca, podemos atravs da Figura 4.6 observar a participao
de cada deles no quantitativo dos estudos selecionados. Como j pode ser visto, a estratgia
manual identificou um grande nmero de estudos candidatos, entretanto foi o que teve o menor
desempenho em relao aos estudos selecionados, sendo a estratgia automtica a mais efetiva.
As anlises realizadas na primeira e segunda etapa do processo de seleo de estudos esto
58
Figura 4.4 Distribuio do quantitativo dos estudos candidatos identificados pela busca automtica em
relao s fontes de dados
Figura 4.5 Distribuio dos estudos candidatos resultantes da busca manual em relao aos meios de
publicao
resumidas na Tabela 4.5 e Tabela 4.6 respectivamente. As tabelas apresentam informaes que
indicam por critrios e fonte de dados os quantitativos aplicados. Os critrios so apresentados
na forma de seus respectivos cdigos e suas descries podem ser vistas na Tabela 3.6.
Os 59 estudos selecionados esto apresentados no Apndice A, bem como seus respectivos cdigos iniciados com a sigla EPS (estudo primrio selecionado). J os estudos
excludos na segunda etapa esto apresentados no Apndice B, tambm com os respectivos
codigos iniciados com a sigla EPE (estudo primrio excludo).
A distribuio temporal dos estudos selecionados pode ser observada no grfico da Figura 4.7. Observa-se que o primeiro relato de experimento que avalia elasticidade na computao
em nuvem data de 2010. Tambm possvel perceber uma tendncia de crescimento do quantitativo de publicaes apesar da inquietude vivenciada em meados de 2010 em relao segurana,
que influenciou negativamente as tendncias em servios sob-demanda e a elasticidade (DURAO
4.2. ANLISE GERAL
59
Figura 4.6 Participao das fontes de busca
Fontes
Est.
C1
ACM
490
1
IEEE
170
1
Scopus
163
0
Springer
251
1
ESE
75
0
CLOUD
454
0
CLOUDCOM 517
0
TPDS
1315 0
EASE
85
0
ESEM
91
0
Total
3.611 3
C2
9
0
6
22
0
0
2
32
0
0
71
C3
31
42
58
5
0
8
6
5
0
0
155
C4
12
0
0
0
0
1
0
2
0
15
C5
0
0
0
1
0
0
0
0
0
0
1
1 Etapa
Excludos
C6 C7 C8
11
4
0
4
6
0
4
4
0
14
0
0
0
0
0
1
1
0
3
0
0
0
0
0
0
0
0
0
0
0
37 15
0
C9
1
0
0
0
0
0
0
0
0
0
1
C10
37
0
3
73
73
6
9
1.199
85
89
1.574
Tabela 4.5: Resumo da busca e seleo de estudos na primeira etapa

et al., 2014).
Figura 4.7 Distribuio temporal dos estudos selecionados
C11
324
53
64
122
2
421
480
75
0
2
1.543
Incl.
60
64
24
13
0
16
17
2
0
0
196
60
Fontes
Est.
ACM
60
IEEE
64
Scopus
24
Springer
13
ESE
0
CLOUD
16
CLOUDCOM 17
TPDS
2
EASE
0
ESEM
0
Total
196
C1
0
0
0
0
0
0
0
0
0
0
0
C2
0
0
0
0
0
0
0
0
0
0
0
C3
1
2
0
0
0
0
0
0
0
0
3
C4
1
5
0
0
0
1
0
0
0
7
2 Etapa
Excludos
C5 C6 C7 C8
0
8
22
0
0
5
16
0
0
4
5
5
0
1
3
0
0
0
0
0
0
3
4
0
0
4
4
0
0
0
0
0
0
0
0
0
0
0
0
0
0
25 54
5
C9
0
0
0
0
0
0
0
0
0
0
0
C10
4
0
0
3
0
2
1
0
0
0
10
C11
10
7
2
3
0
3
7
1
0
0
33
Selec.
14
29
8
3
0
3
1
1
0
0
59
Tabela 4.6: Resumo da busca e seleo de estudos na segunda etapa

Ao se analisar os meios de publicao dos estudos selecionados percebe-se que no existe
uma fonte especfica para a publicao de experimentos em elasticidade. Atravs do Apndice C
nota-se uma grande disperso delas, sendo as cinco mais representativas: (i) International
Conference on Cloud Computing, (ii) IEEE Transaction on Parallel and Distributed Systems,
(iii) Journal of Computer Science and Technology, (iv) IEEE/ACM International Symposium on
Cluster, Cloud and Grid Computing e (v) International Conference on Distributed Computing
Systems. Tal constatao pode contribuir para a identificao de melhores fontes de busca na
realizao de futuras pesquisas sobre experimentao em elasticidade na computao em nuvem.
No grfico da Figura 4.8 apresentada a distribuio dos estudos selecionados por fonte
de dado e ano. possivel perceber que o IEEE Xplorer, ACM Digital Library e o Scopus so as
fontes de dados mais regulares na distribuio dos estudos por ano. J a CLOUDCOM e o IEEE
Transaction on Parallel and Distributed Systems foram os menos consistentes.
A contagem dos pases que mais publicaram foi feita da seguinte forma: para cada pas
de cada grupo de pesquisa em uma publicao selecionada, o nmero de publicaes no pas era
aumentado. Por este motivo alguns artigos foram contados para mais de um pas. A Figura 4.9
apresenta a quantidade de publicaes por pas. Dentre os 17 pases os 5 que mais se destacaram
no relato de experimentos em elasticidade foram: (i) Estados Unidos, (ii) China, (iii) Alemanha,
(iv) Brasil) e (v) Frana.
Ao todo foram identificados 68 grupos de pesquisa distribudos entre os 17 pases. A
listagem dos grupos encontra-se no Apndice D deste trabalho. As cinco principais instituies
que apresentam maior quantidade de publicaes foram as acadmicas: (i) Technische Universitt Dresden, (ii) University of New South Wales, (iii) Carleton University, (iv) Universidade
Federal do Cear e (v) Imperial College London. A Figura 4.10 apresenta a distribuio destas
instituies de acordo com a sua finalidade principal.
Na Figura 4.11 possvel perceber, em 2014, o surgimento de publicaes que relatam
4.2. ANLISE GERAL
61
Figura 4.8 Distribuio do quantitativo de estudos selecionados por fonte de dado e ano.
Figura 4.9 Distribuio dos estudos selecionados por pases
experimentos em elasticidade pela indstria. Dentre os relatos foram identificadas as publicaes

das seguintes instituies da indstria: (i) Canonical Ltd - Reuno Unido (1), (ii) SAP AG Alemanha (1) e (iii) SIGMA Informatique - Frana (1). Tambm possvel perceber tendncias
de crescimento em relao s publicaes feitas pela academia e instituies de pesquisas. A
INRIA Centre Rennes - Frana foi a instituio de pesquisa com a maior quantidade de estudos
(2) e os pas com a maior quantidade de instituies de pesquisa so os Estados Unidos (5) e
62
Figura 4.10 Distribuio dos estudos selecionados por pases
Frana (4). J s instituies acadmicas foram lideradas pelos Estados Unidos (13), Brasil (7)
e China (7).
Figura 4.11 Distribuio do quantitativo de estudos por tipo de instituio e ano
Em relao distribuio dos estudos selecionados pelo modelo de servio e ano, como
mostra a Figura 4.12, possvel observar que 78% dos estudos giram em torno da modalidade
IaaS e PaaS. Tambm constatamos que apenas 5% deles so relacionados apenas a SaaS.
Os 59 estudos primrios selecionados foram conduzidos por 217 autores no total. A
listagem completa destes autores pode ser encontrada no Apndice E. Na Tabela 4.7 possvel
observar os 12 autores que esto envolvidos em mais de um trabalho, em sua maioria eles so
da academia e representam os seguintes pases: (i) Alemanha, (ii), Austrlia, (iii) Brasil, (iv)
Canad, (v) Frana e (vi) Portugal.
4.3. ANLISES DAS EVIDNCIAS
63
Figura 4.12 Distribuio dos estudos por modelo de servio e ano.
Instituio
Fetzer, C.
Venugopal, S.
Ajila, S.A.
Da .Silva, T.L.C.
Machado, J.C.
Martin, A.
Matos, M.
Morin, C.
Nascimento, A.M.
Nikravesh, A.Y.
Oliveira, R.
Vilaa, R.
Publicaes
3
3
2
2
2
2
2
2
2
2
2
2
Tipo
Academia
Academia
Academia
Academia
Academia
Academia
Academia
Pesquisa
Academia
Academia
Academia
Academia
Pas
Alemanha
Austrlia
Canad
Brasil
Brasil
Alemanha
Portugal
Frana
Canad
Canad
Portugal
Portugal
Tabela 4.7: Lista dos autores com mais de uma publicao
4.3
Anlises das Evidncias
Entre os estudos selecionados, foram extradas e mapeadas as evidncias relevantes para

responder s perguntas desta pesquisa. A seguir ser apresentada uma sub-seo para sintetizar
as evidncias de cada uma das perguntas de pesquisa. importante ressaltar que todos os
estudos selecionados receberam um identificador exclusivo, conforme apresentado na Tabela A.1
presente no Apndice A. Assim, ao longo desta seo, os estudos sero citados atravs destes
identificadores.
Vale ressaltar, que o intuito da aplicao do instrumento de pesquisa foi o de identificar se
64
os autores relatam elementos da pesquisa que permitam analisar sua validade e potencial como:
motivao, objetivo, mtodo, anlise dos dados, resultados, concluses e limitaes. Assim,
como o objetivo no era de ranquear os estudos e sim obter um grau de completude em relao
ao guia de JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008), no foi aplicado na computao
do valor o conceito de pesos entre os acertos obtidos e sim o somatrio dos mesmos. Maiores
detalhes sobre o instrumento de pesquisa, seus critrios, objetivos e contabilizao de pontos
podem ser obtidos no Apndice H.
4.3.1
SQ1 - O ttulo permite que o leitor identifique que o estudo um

relato de experimento?
O ttulo do relato de um experimento deve ser informativo, uma vez que atravs dele
potenciais leitores so alertados sobre a existncia de um artigo de interesse. O guia utilizado
recomenda que o ttulo indique facilmente que o estudo trata de um experimento, incluindo
termos como experimento, experimento controlado, quasi-experimento, replicao de
experimento. Uma outra recomendao que, caso o espao disponvel para o ttulo permita,
tambm se inclua informaes do tratamento e as variveis dependentes do experimento.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.1 do Apndice H. A pontuao mxima possvel neste critrio tem o valor 3, sendo
atribuda a pontuao mxima 1 para cada uma das perguntas respondidas completamente. O
desempenho dos estudos foi considerado ruim e nenhum deles alcanou a pontuao geral
mxima como pode ser visto na Figura 4.13. A maior nota obtida foi 2, alcanada pelos estudos
EPS54 e EPS1, o que representa apenas 3% do total de estudos. A segunda maior nota, 1, foi
alcanada por 24 estudos (41%) . Porm o que chamou bastante a ateno foi que 53% (33) dos
estudos no pontuou em nenhum dos itens avaliados nesta seo.
Figura 4.13 Pontuaes dos estudos nas questes que avaliam o ttulo.
Nenhum dos estudos apresenta em seu ttulo termos que fazem referncia a um experimento, nem mesmo os estudos que se dedicam exclusivamente a relatar o experimento. J
65
em relao a apresentao do(s) tratamento(s) utilizado(s) no ttulo, os estudos obtiveram as

seguintes pontuaes: 68% (40) obtiveram nota 0, 2% (1) obteve nota 0.5 e 30% (18) obtiveram
nota 1. E sobre a apresentao da(s) varivel(is) dependente(s) no ttulo, as pontuaes obtidam
foram as seguintes: 83% (49) obtiveram nota 0, 2% (1) obteve nota 0.5 e 15% (9) obtiveram
nota 1.
4.3.2
SQ2 - Informaes importantes do resumo como motivao, objetivos, mtodos, resultados, limitaes e concluses da pesquisa so
relatadas?
O resumo de um estudo uma fonte importante de informaes, sendo muitas vezes a

nica parte de livre acesso aos potenciais leitores. Assim, os resumos devem reunir de maneira
sucinta e objetiva os principais pontos do estudo. O intuito desta pergunta de pesquisa identificar
se os resumos do relato permitem identificar as principais questes relacionadas pesquisa:
motivao, objetivo, mtodo, resultados, limitaes e concluses.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.3 do Apndice H e tentam identificar informaes importantes sobre a fundamentao,
objetivo, mtodo, resultados, limitaes e concluses da pesquisa. A maior pontuao possvel
de ser alcanada 13, sendo atribudo o valor mximo de 1 ponto para cada questo respondida
completamente. Aps a avaliao dos estudos a pontuao geral foi distribuda conforme o
grfico da Figura 4.14. O desempenho dos estudos foi considerado ruim. A maior pontuao
geral no foi alcanada. A pontuao mxima obtida foi 8, alcanada por 5 (8%) estudos e a
menor foi 3 em 15 (25%) estudos.
Figura 4.14 Pontuao geral obtida pelos estudos na avaliao do resumo.
O quantitativo de acertos em cada uma das perguntas pode ser visto no grfico da
Figura 4.15. Em geral, 88% dos estudos apresentam a motivao para realizao da pesquisa,
enquanto que 3% apresentam parcialmente e 8% no apresentam tal informao. O objetivo
66
claramente descrito em 98% dos casos. Em 100% dos casos o objeto estudado apresentado.
Em 83% o foco da pesquisa completamente apresentado, porm em apenas 47% dos casos a
perspectiva do estudo apresentada. J sobre o mtodo verificou-se que em apenas 42% dos
estudos ele citado, enquanto que nenhum deles cita os procedimentos de anlise. Os resultados
das pesquisas so mencionados em apenas 61% dos resumos. Nenhum dos estudos citou
limitaes da pesquisa e apenas 27% dos estudos abordou o impacto dos resultados alcanados
no estudo.
Figura 4.15 Pontuaes dos estudos nas questes que avaliam o resumo.
Apesar de no existir na literatura da engenharia de software um formato padro para

se construir resumos, recomenda-se fortemente a utilizao do formato estruturado pois tal
abordagem ajuda a melhorar a clareza dos mesmos (KITCHENHAM, 2004; BRERETON et al.,
2007; JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Na anlise realizada no identificamos
nenhum estudo que tenha apresentado seu resumo no formato estruturado.
4.3.3
SQ3 - A introduo do relato apresenta referncias declarao do

O propsito da introduo fornecer ao potencial leitor boas razes para a leitura do

restante da publicao. Nela a pesquisa precisa ser colocada em um contexto mais amplo para
que o problema de pesquisa possa ser introduzido. No existe na literatura da engenharia de
software um padro especfico para a criao de introdues, entretanto o guia utilizado orienta
que a introduo apresente uma descrio sobre a declarao do problema, objetivos e contexto
da pesquisa.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.4 do Apndice H. A mior pontuao possvel de ser alcanada 3. A computao geral
das notas so apresentadas no grfico da Figura 4.16. Foi possvel observar que, de maneira
geral, 98% dos estudos apresentam todas as informaes esperadas na introduo.
67
Figura 4.16 Pontuao geral obtida pelos estudos na introduo.
Apenas 1 estudo no apresentou a formulao do problema. Apenas 1 estudo apresentou

a pergunta de pesquisa de maneira parcial. Apenas 1 estudo no mencionou tal informao.
4.3.4
SQ4 - A fundamentao informa sobre a tecnologia em investigao, s possveis opes alternativas ela, pesquisas relacionadas e
a relevncia para a prtica?
O propsito da fundamentao fornecer ao leitor uma compreenso ampla do cenrio

da pesquisa reportada. Segundo JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) tal seo
deve apresentar: (i) uma descrio da tecnologia em investigao, (ii) possveis abordagens
alternativas ela, (iii) descrio dos estudos relacionados que investigaram a mesma tecnologia
e (iv) os nves de relevncia dela para a prtica.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.5 do Apndice H. A pontuao mxima que pode ser obtida nesta seo 4, sendo a
pontuao mxima de 1 ponto atribudo para cada pergunta. A totalizao geral das notas pode
ser vista no grfico da Figura 4.17, onde foi possver constatar que em geral 88% dos estudos
apresentam todas as informaes esperadas na seo.
A distribuio dos acertos por perguntas pode ser observado no grfico da Figura 4.18.
Observa-se que as descries das tecnologias e solues alternativas so descritas quase que pela
totalidade dos estudos. Os trabalhos relacionados so mencionados por 92% dos estudos. O
impacto da pesquisa citado por 93% dos estudos.
4.3.5
SQ5 - O relato apresenta informaes sobre o planejamento da pesquisa?
O relato de um experimento deve apresentar informaes relacionadas realizao e

anlise dos resultados da pesquisa. O objetivo destas informaes facilitar a interpretao e
68
Figura 4.17 Pontuao geral obtida pelos estudos na fundamentacao.
Figura 4.18 Pontuaes dos estudos nas questes que avaliam a fundamentao.
replicao do experimento, funcionando como uma receita para o experimento(SINGER, 1999).

Elas tambm permitem ao leitor analisar criticamente a validade do estudo. Tais informaes
so valiosas para estudos de reviso sistemtica da literatura ou meta-anlises(KITCHENHAM,
2004; KITCHENHAM; PFLEEGER, 2002).
O nvel de detalhe das informaes dependem principalmente de restries de tamanho
impostas pelo tipo da publicao. Entretanto, no guia utilizado, recomenda-se que sejam apresentadas informaes que descrevam o objetivo, participantes, material experimental, atividades,
hipteses, parmetros e variveis, desenho do experimento, procedimentos para conduo e de
anlise. No caso dos estudos selecionados no conseguimos identificar nenhum experimento que
envolvessem participantes humanos, por este motivo nenhuma pergunta relacionada foi includa
no instrumento de coleta.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.6 do Apndice H. A pontuao mxima a ser alcanada neste quesito 13. possvel
observar uma certa variao nas notas gerais obtidas pelos estudos atravs do grfico da Figura 4.19. Como pode ser observado a pontuao geral mxima atingida foi de 11 pontos pelo
69
estudo EPS36, j a mais baixa foi de 1 ponto obtida pelo estudo EPS34.
Figura 4.19 Pontuao geral obtida pelos estudos no planejamento.
Ao examinar individualmente as pontuaes obtidas, no grfico da Figura 4.20, possvel

constatar que dentre as perguntas, o menor desempenho obtido foi na pergunta relativa s
variveis dependentes do experimento. Os objetivos do experimento foram citados por 100%
dos estudos. As unidades experimentais foram claramente citadas por 81% (48) dos estudos,
parcialmente por 2% (1) e omitidas por 17% (10) deles. Os materiais experimentais como
equipamentos, instrumentos de coleta, entre outros, foram explicitamente mencionados por 80%
(47) dos estudos, parcialmente por 2% (1) e omitido por 19% (11) dos estudos. As atividades
foram explicitamente mencionados por 85% (50) dos estudos, parcialmente por 3% (2) e
omitido por 12% (7) dos estudos. 17% dos relatos (10) no mencionam uma hiptese, 20% (12)
apresentam parcialmente e 63% explicitam uma hiptese. Em 98% (58) dos estudos as variveis
dependentes no so citadas, enquanto que em 90% (53) dos casos as variveis independentes
so mencionadas claramente. As mtricas utilizadas nos experimentos so claramente descritas
em 88% (52) dos estudos.
Quanto ao desenho experimental 75% (44) dos estudos reportaram claramente a informao, enquanto que em 8% (5) foi parcialmente e em 17% (10) a mesma foi omitida. No
caso das informaes a respeito dos instrumentos, materiais e ferramentas apenas 22% (13)
dos relatos apresentam claramente estas informaes, 8% (5) apresentam parcialmente e em
69% (41) esto ausentes. Os procedimentos para execuo do experimento foram reportados
claramente em 66% (39) dos experimentos, em 7% (4) parcialmente e em 27% (16) no esto
presentes. A coleta dos dados explicitamente detalhada em 61% (36) dos casos, enquanto que
em 2% (1) parcialmente e em 37% (22) inexistente. No que se refere ao teste da hiptese
em apenas 24% (14) dos casos ele explicitamente mencionado, enquanto que em 2% (1)
parcialmente e em 75% (44) ele no explicitado.
70
Figura 4.20 Pontuaes dos estudos nas questes que avaliam o planejamento.
4.3.6
SQ6 - O relato detalha a anlise dos dados da pesquisa?
JEDLITSCHKA; CIOLKOWSKI; PFAHL (2008) sugere que em relao s anlises o

relato deve apresentar trs tipos de informaes: estatstica descritiva, preparao do conjunto
de dados e teste da hiptese investigada. Tambm recomendada a disponibilizao dos dados
brutos da pesquisa, de forma a facilitar pesquisas futuras como meta-anlises(KITCHENHAM;
PFLEEGER, 2002). O guia utilizado tambm sugere que qualquer tipo de preparao de dados
necessria seja relatada. Em relao ao teste de hiptese recomenda-se que seja explicitado como
o dado foi avaliado (teste estatstico) e que o modelo de anlise escolhido seja descrito.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.7 do Apndice H. Em relao pontuao o maior valor possvel de 5 pontos, sendo
atribudo no mximo o valor de 1 ponto para cada questo. O resumo da avaliao das perguntas
pode ser visto no grfico da Figura 4.21. A maior pontuao foi 3 alcanada pelo estudo EPS18,
enquanto que a menor pontuao possvel foram obtidas por 26 estudos.
Figura 4.21 Pontuao geral obtida pelos estudos na anlise.
Na anlise de cada pergunta em especfico, as pontuaes alcanadas esto apresentadas
71
no grfico da Figura 4.22. De um modo geral o dempenho dos estudos foram supreendentemente
baixos em relao s perguntas relacionadas aos dados brutos, validao do modelo de anlise,
preparao e avaliao dos dados. Em todos os casos estas informaes foram omitidas em pelo
menos 93% dos estudos. Em 54% (32) dos estudos, os dados no so apresentados atravs de
estatstica descritiva.
Figura 4.22 Pontuaes dos estudos nas questes que avaliam a anlise.
4.3.7
SQ7 - Os resultados, suas implicaes e ameaas validade so relatados?
Segundo o guia utilizado em um relato de experimento os resultados devem ser apresentados atravs de pelo menos trs elementos: avaliao dos resultados e implicaes, ameaas
validade e inferncias. O grande prpsito quando se discute os resultados deve ser apresentar os
achados da pesquisa e se as hipteses investigadas podem ser confirmadas ou refutadas.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.8 do Apndice H. A pontuao mxima a ser alcanada de 3 pontos. As distribuies
das pontuaes gerais podem ser observadas no grfico da Figura 4.23. A pontuao mxima a
ser obtida de 8 pontos sendo 1 o valor mximo a ser atribudo a cada questo. Ao se analisar as
notas gerais dos estudos identificamos que 4 foi a maior nota alcanada pelo estudo EPS26 e 0
alcanada pelo estudo EPS17.
O grfico da Figura 4.24 apresenta uma viso da potuao obtida pelos estudos em
cada uma das questes. Em 88% (52) dos estudos os resultados da pesquisa so apresentados
claramente, em 8% (5) parcialmente e em 3% (2) a informao omitida. Em apenas 12% (7)
dos relatos claramente relacionados pesquisas anteriores, em 88% (52) nenhuma informao
apresentada. As ameaas validade so relatadas nitidamente em apenas 5% (3) estudos,
parcialmente em 2% (1) e em 93% (55) a informao no apresentada. Em 44% (26) estudos
a generalizao da pesquisa citada claramente e em 56% (33) ela no relatada. Apenas 12%
72
Figura 4.23 Pontuao geral obtida pelos estudos na discusso.
(7) dos estudos as lies aprendidas so citadas claramente, em 3% (2) parcialmente e em 85%
(50) a mesma no foi apresentada.
Figura 4.24 Pontuaes dos estudos nas questes que avaliam a discusso.
4.3.8
SQ8 - As concluses do estudo apresentam um resumo conciso da

pesquisa, seus impactos e trabalhos futuros?
As concluses do relato devem ser baseadas nos resultados e devem discutir sobre os
seguintes topicos: resumo, impacto da pesquisa e trabalhos futuros (JEDLITSCHKA; CIOLKOWSKI; PFAHL, 2008). Tambm sugerido, quando possvel, que informaes sobre o
impacto em custo, tempo e qualidade sejam discutidas.
As perguntas criadas para responder esta questo de pesquisa esto presentes na Seo H.0.9 do Apndice H. A maior pontuao geral que pode ser alcanada de 3 pontos,
possveis de atribuio cada questo. As pontuaes gerais alcanadas pelos estudos apresentada no grfico da Figura 4.25.
4.4. DISCUSSO DOS RESULTADOS
73
Figura 4.25 Pontuao geral obtida pelos estudos nas concluses.
A anlise da pontuao individual das questes pode ser vista no grfico da Figura 4.26.
Em geral os estudos apresentam claramente um resumo conciso da pesquisa e seus resultados.
Os impactos da pesquisa so claramente apresentados por 59% (35) dos estudos, parcialmente
por 2% (1) e no relatados por 39% (23). Os trabalhos futuros so indicados explicitamente por
69% (41) dos estudos e no relatados por 31% (18).
Figura 4.26 Pontuaes dos estudos nas questes que avaliam a discusso.
4.4
Discusso dos Resultados
Aps a caracterizao dos relatos dos 59 experimentos selecionados, ficou bastante

evidente a dificuldade relatada por alguns autores da comunidade em se encontrar, nos relatos,
informaes importantes para se interpretar, analisar a validade e o potencial de impacto dos
estudos (DURAO et al., 2014; LI et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011;
SILVA; ROSE; CALINESCU, 2013a). Em relao ao ndice de completude o maior grau foi
6.67 em uma escala de 0 a 10, sendo considerada baixa em valores quantitativos. Tambm
74
foi realizada uma breve anlise qualitativa que revela que, ainda que reportadas, muitas das
informaes apresentadas pelos relatos so superficiais e dificultam a interpretao, validao,
generalizao e replicao dos resultados dos estudos.
Em geral, as informaes mais negligenciadas pelos autores so relativas ao planejamento da pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos
dados, relao dos resultados com pesquisas anteriores, ameaas validade e generalizao dos
resultados. Em geral, no foram encontrados problemas relacionados introduo dos relatos j
que todos apresentam s informaes esperadas e sem problemas relacionados compreenso.
O mesmo caso acontece quando analisamos s informaes referentes fundamentao da
pesquisa.
A forma como os autores descrevem o ttulo dos estudos no permite aos potenciais
leitores a fcil identificao do experimento. Em 53% dos casos nenhum termo que permita
a fcil identificao do experimento, os tratamentos utilizados e as variveis dependentes foi
informado. Em geral, a simples incluso do termo experimento aumentaria a probabilidade e a
preciso de se identificar tais estudos com mais facilidade.
J na apresentao do resumo, nenhum dos estudos trouxe informaes sobre o desenho
experimental, procedimentos de anlise e coleta dos dados. Informaes sobre os principais
achados da pesquisa, limitaes, anlise dos resultados e impacto da pesquisa so mencionados
em poucos estudos e quando citados a informao superficial. Tornar os resumos mais
claros, objetivos e consistentes muito importante, uma vez ele a nica parte de livre acesso
aos potenciais leitores do estudo. Apesar das fortes recomendaes na utilizao do formato
estruturado, no conseguimos identificar a utilizao dele em nenhum dos estudos avaliados.
No que se refere s informaes de planejamento da pesquisa o cenrio chamou bastante
a ateno, tanto pela quantidade de informaoes relevantes omitidas quanto pela superficialidade
das informaes apresentadas. Em muitas situaes em que dados esperados so apresentados
as informaes deixam a desejar do ponto de vista qualitativo da informao. O relato dos
procedimentos de obteno dos dados insatisfatrio, pois no esclarece de onde e nem como os
dados utilizados so coletados. O mesmo acontece com os dados referentes aos procedimentos
de execuo, que mesmo sendo apresentados pela grande maioria dos estudos o contedo da
informao incompleto e qualitativamente insuficiente. Outro ponto que chamou bastante a
ateno que os procedimentos relativos aos instrumentos, materiais e ferramentas utilizados nos
experimentos no recebem a devida importncia nos relatos. As hipteses, quando mencionadas,
no apresentavam nenhum grau de formalismo em sua representao e forma de avaliao.
Diante destas circunstncias a interpretao, entendimento e anlise das informaes por parte
do leitor perigosamente comprometida. Em todos os casos a replicao dos experimentos seria
pouco factvel considerado o nvel das informaes apresentadas. Tambm percebemos que
nenhum dos estudos mencionou utilizar algum guia ou mecanismo de suporte para a realizao
ou planejamento dos experimentos.
Outro achado preocupante diz respeito anlise dos dados dos experimentos. Menos
4.4. DISCUSSO DOS RESULTADOS
75
da metade dos estudos apresentam a anlise dos dados do experimento atravs de estatstica
descritiva. Em apenas dois dos relatos os dados brutos da pesquisa foram disponibilizados. Na
maior parte dos estudos foi mencionado qualquer referncia ao tratamento ou preparao dos
dados necessrios para a anlise dos dados. O mesmo acontece em relao s hipteses, que
quando existem no estudo os mesmos no mostram como a sua avaliao foi realizada. Outra
constatao relevante diz respeito no utilizao de mtodos estatsticos na anlise dos dados.
No quesito apresentao dos resultados os estudos selecionados apresentaram um baixo
desempenho. A maior parte deles no relaciona seus resultados pesquisas anteriores. As ameaas validade tambm no foram direcionadas na maior parte dos estudos. As generalizaes
dos resultados no so citadas pela maioria, e nos casos em que estas so feitas no apresentam o
grau de confiana necessrio, uma vez que muitos dados e informaes relevantes so omitidas.
Tambm foi possvel constatar que as lies aprendidas durante a execuo do experimento so
pouco reportadas.
Tambm foi possvel constatar que so poucos os estudos que se dedicam unicamente
a relatar os experimentos. Em geral, os autores apresentam suas tcnicas, algoritmos e/ou
abordagens e incluem no relato apenas uma seo destinada ao experimento em si. Tal fato
tem impacto direto na disposio e organizao das informaes apresentadas no relato e,
diferentemente das orientaes apresentadas no guia de JEDLITSCHKA; CIOLKOWSKI;
PFAHL (2008), decidiu-se ento procurar pelas informaes estudadas em todas as sees
apresentadas pelo estudo. Outro achado que chamou a ateno foi que em nenhum dos estudos
analisados, foi feita meno a qualquer guia para relatar ou at mesmo conduzir e planejar os
experimentos.
Os resultados deste estudo sistemtico apresentam informaes iniciais sobre o estado
da prtica do relato de experimentos em elasticidade na computao em nuvem. Esperamos
que atravs dos indcios encontrados o resultado desta pesquisa possa trazer tona o debate
e iniciativas que permitam que os resultados dos estudos empricos sejam melhor relatados.
A mobilizao em torno de tal aperfeioamento vai ajudar, no somente comunidade da
computao em nuvem, a melhor entender os resultados, limitaes e permita um melhor
aproveitamento dos estudos empricos realizados.
77
5
Consideraes Finais
Este captulo apresenta as consideraes finais do trabalho. Sero discutidas as ameaas
validade do estudo, recomendaes para trabalhos futuros e as concluses obtidas com a
pesquisa.
5.1
Ameaas validade
Nesta seo so apresentadas possveis limitaes e ameaas validade do estudo

juntamente com as respectivas aes de mitigao adotadas.
De acordo com SJOBERG; DYBA; JORGENSEN (2007) e KITCHENHAM (2010) as
principais ameaas validade deste estudo so: (1) vis de seleo de publicaes, (2) pouca
acurcia na extrao dos dados, (3) erros de classificao, (4) basear-se em apenas um engenho
de busca, (5) conduzir o processo de seleo e excluso por apenas uma pessoa. A seguir sero
explanadas as medidas tomadas para mitigar cada uma destas ameaas.
Para evitar o vis na seleo das publicaes (1) considerou-se as principais conferncias
tanto da engenharia de software emprica como da computao em nuvem, na mesma linha
tambm foram includos dois peridicos. A escolha de tais fontes de publicaes foi auxiliada
por especialistas da CN e da ESE. Vale ressaltar que a busca automtica foi includa com o
intuito de identificar em quais venues esto sendo utilizadas na publicao dos experimentos em
elasticidade. De fato possvel perceber que tal estratgia foi crucial para o desenvolvimento
desta pesquisa atravs da pulverizao de venues presentes identificadas atravs dos estudos
selecionados (vide Apndice C).
Para conter o problema relacionado extrao dos dados (2) foi criado um formulrio
estruturado, onde os pesquisadores tinham acesso a exemplos e orientaes sobre os procedimentos de coleta das informaes relevantes. Nesta mesma direo, considerando o nmero
elevado de estudos selecionados, o processo de computao das pontuaes obtidas foi executado
por um sistema criado exclusivamente para esta finalidade, uma vez que atividades repetitivas
aumentam a possibilidade de falhas no processo. As pontuaes tambm foram validadas por
dois pesquisadores de forma a garantir que no houvessem erros inseridos pelo programa criado.
78
CAPTULO 5. CONSIDERAES FINAIS
A ameaa relacionada aos erros de classificao (3) foi reduzida com a utilizao de
classificao bem definida e j existente na literatura da computao (2.1.2). Atravs de sua
utilizao os estudos foram separados de acordo com o modelo de servio abordado. Outra
estratgia adotada foi a participao de outro pesquisador experiente para validar o resultado da
classificao aplicada.
Quanto a possibilidade de problema apontada pelo item 4 foram utilizados quatro engenhos de busca automtica: IEEE Xplore, Scopus, Science Direct e Springer Link. As estratgias
de busca manuais foram acrescentadas ao estudo com o intuito de identificar estudos que no
fossem identificados atravs das strings de busca criadas.
O vis apontado pelo item 5 foi contido atravs da participao de outros pesquisadores
experientes nas reas da engenharia de software experimental, computao em nuvem e engenharia de software baseada em evidncias. Para aumentar a confiabilidade no resultado dos estudos
selecionados e garantir que o resultado produzido no foi gerado ao mero acaso, foi realizado
teste Kappa de concordncia entre as duplas de revisores participantes.
5.2
Trabalhos Futuros
A partir da realizao desta pesquisa, pode-se levantar algumas oportunidades de trabalhos futuros, bem como direcionamentos para novas pesquisas, que podero contribuir para a
melhoria de pesquisas no contexto da computao em nuvem.
Desenvolver novos recursos (framework, guia, processo, etc.) voltados a apoiar

o relato de experimentos na computao em nuvem, de acordo com as lacunas
observadas ao longo deste trabalho.
Desenvolver um framework, ou modelo, ou guia, ou processo que apoie a avaliao
da completude dos relatos de experimentos na computao em nuvem.
Expandir esta pesquisa visando avaliar os relatos de mais tipos de mtodos empricos
como estudos de caso, suveys, entre outros.
Expandir esta pesquisa visando avaliar outras reas da computao em nuvem que
no somente a elasticidade.
Realizar pesquisas destinadas a identificar razes que ajudem a entender os altos
ndices apresentados em relao no utilizao de mecanismos existentes capazes
de apoiar a realizao e relato de experimentos.
Avaliar os resultados encontrados nesta dissertao atravs da replicao deste estudo.
Conduo de mais um mapeamento sistemtico para identificar como as demais reas
do conhecimento cientfico caracterizam e fazem uso de informaes apresentadas
nos relatos de estudos para tomar decises baseadas em evidncias empricas.
5.3. CONCLUSES
5.3
79
Concluses
Este trabalho realizou um mapeamento sistemtico da literatura para caracterizar a

completude dos relatos de experimentos que avaliam elasticidade na computao em nuvem.
Constatamos que em geral os autores omitem informaes relacionadas ao planejamento da
pesquisa, coleta dos dados, procedimentos de execuo, instrumentao, anlise dos dados,
relao dos resultados com pesquisas anteriores, ameaas validade e generalizao dos resultados. Utilizando oito perguntas de pesquisa e um instrumento de avaliao, fomos capazes de
identificar que o maior grau de completude alcanado pelos estudos foi 6.67, numa escala de 0 a
10, sendo tal completude considerada baixa em valores quantitativos.
Podemos observar que, em geral, a forma como os ttulos dos estudos so construdos no
permitem identificar com facilidade se o estudo se trata de um relato de experimento. Em nenhum
dos estudos o resumo foi apresentado no formato estruturado e em geral omitem informaes
importantes. Em geral as informaes de introduo e fundamentao da pesquisa so bem
reportas. O mesmo no pode ser dito em relao ao planejamento e anlise estatstica dos estudos,
pois estes dados so muito omitidos pelos autores. Tambm identificamos que os estudos no
constumam relatar lies aprendidas durante o processo de experimentao.
Tambm foi realizada uma anlise qualitativa preliminar que revela que, ainda que
reportadas, muitas das informaes apresentadas pelos relatos so superficiais dificultando a
interpretao, validao, generalizao e replicao dos resultados dos estudos. Outro achado
curioso que em nenhum dos estudos selecionados foi feita meno utilizao de quaisquer
guias ou mecanismos de suporte para conduzir, planejar ou reportar tais experimentos.
Os resultados deste estudo sistemtico apresentam informaes iniciais importantes
sobre o estado da prtica do relato de experimentos na computao em nuvem. Esperamos
que atravs dos indcios encontrados o resultado desta pesquisa possa trazer tona o debate
e iniciativas que permitam que os resultados dos estudos empricos sejam melhor relatados.
imprescindvel a necessidade de melhoria destes relatos e tal aperfeioamento vai ajudar
comunidade da computao em nuvem a melhor entender e aproveitar os resultados dos estudos
empricos realizados.
81
Referncias
ALI-ELDIN, A.; TORDSSON, J.; ELMROTH, E. An adaptive hybrid elasticity controller for
cloud infrastructures. In: NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM
(NOMS), 2012 IEEE. Anais. . . [S.l.: s.n.], 2012. p.204212.
ALTMAN, D. G. et al. The revised CONSORT statement for reporting randomized trials:
explanation and elaboration. Annals of internal medicine, [S.l.], v.134, n.8, p.663694, 2001.
ANDRADE, M. M. d. Introduo metodologia do trabalho cientfico. [S.l.]: So Paulo:
Atlas, 2001.
ARKSEY, H.; OMALLEY, L. Scoping studies: towards a methodological framework.
International journal of social research methodology, [S.l.], v.8, n.1, p.1932, 2005.
ASSOCIATION, A. P. et al. Publication manual of the American psychological association.
[S.l.]: American Psychological Association Washington, DC, 2001.
BASILI, V. R.; SELBY, R. W.; HUTCHENS, D. H. Experimentation in software engineering.
Software Engineering, IEEE Transactions on, [S.l.], n.7, p.733743, 1986.
BRERETON, P. et al. Lessons from applying the systematic literature review process within the
software engineering domain. Journal of Systems and Software, [S.l.], v.80, n.4, p.571583,
Apr. 2007.
BUDGEN, D. et al. Using mapping studies in software engineering. Proceedings of PPIG,
[S.l.], v.2, 2008.
BUDGEN, D.; ZHANG, C. Preliminary reporting guidelines for experience papers.
International Conference on Evaluation and Assessment in Software Engineering, [S.l.],
p.110, 2009.
BUYYA, R. et al. Cloud computing and emerging IT platforms: vision, hype, and reality for
delivering computing as the 5th utility. Future Generation computer systems, [S.l.], v.25, n.6,
p.599616, 2009.
CALHEIROS, R. N. et al. The Aneka platform and QoS-driven resource provisioning for elastic
applications on hybrid Clouds. Future Generation Computer Systems, [S.l.], v.28, n.6,
p.861870, 2012.
CAMPBELL-KELLY, M. Historical reflections The rise, fall, and resurrection of software as a
service. Communications of the ACM, [S.l.], v.52, n.5, p.2830, 2009.
CARVER, J. Towards reporting guidelines for experimental replications: a proposal. 1st
International Workshop on Replication in Empirical . . . , [S.l.], p.25, 2010.
COOPER, H. M. Organizing knowledge syntheses: a taxonomy of literature reviews.
Knowledge in Society, [S.l.], v.1, n.1, p.104126, 1988.
CORBIN, J.; STRAUSS, A. Basics of qualitative research: techniques and procedures for
developing grounded theory. [S.l.]: Sage publications, 2014.
82
REFERNCIAS
COUTINHO, E. F. et al. Elasticity in cloud computing: a survey. Annals of

Telecommunications - Annales Des Tlcommunications, [S.l.], Nov. 2014.
CRESWELL, J. W. Research design: qualitative, quantitative, and mixed methods approaches.
[S.l.]: Sage publications, 2013.
DICKERSIN, K.; SCHERER, R.; LEFEBVRE, C. Identifying relevant studies for systematic
reviews. BMJ: British Medical Journal, [S.l.], v.309, n.6964, p.1286, 1994.
DIESTE, O.; GRIMN, A.; JURISTO, N. Developing search strategies for detecting relevant
experiments. Empirical Software Engineering, [S.l.], v.14, n.5, p.513539, Nov. 2008.
DURAO, F. et al. A systematic review on cloud computing. The Journal of Supercomputing,
[S.l.], Jan. 2014.
DYB, T.; DINGSYR, T. Empirical studies of agile software development: a systematic
review. Information and software technology, [S.l.], v.50, n.9, p.833859, 2008.
DYB, T.; KAMPENES, V. B.; SJ BERG, D. I. A systematic review of statistical power in
software engineering experiments. Information and Software Technology, [S.l.], v.48, n.8,
p.745755, Aug. 2006.
EASTERBROOK, S. et al. Selecting empirical methods for software engineering research. In:
Guide to advanced empirical software engineering. [S.l.]: Springer, 2008. p.285311.
EDWARDS, P. et al. Identification of randomized controlled trials in systematic reviews:
accuracy and reliability of screening records. Statistics in medicine, [S.l.], v.21, n.11,
p.16351640, 2002.
FEATHER, J. Architects of the Information Society. Thirty-five Years of the Laboratory for
Computer Science at MIT. Publishing Research Quarterly, [S.l.], v.16, n.2, p.95, 2000.
FUKS, H. Sistemas colaborativos. [S.l.]: Elsevier Brasil, 2011.
GALANTE, G.; BONA, L. C. E. D. A Survey on Cloud Computing Elasticity. 2012 IEEE Fifth
International Conference on Utility and Cloud Computing, [S.l.], n.1, p.263270,
Nov. 2012.
GUERRERO, P.; SACHS, K.; PETROV, I. From Active Data Management to Event-Based
Systems and More. [S.l.]: Springer, 2010.
HARRIS, P. Designing and reporting experiments in psychology. [S.l.]: McGraw-Hill
Education (UK), 2008.
HERBST, N. R.; KOUNEV, S.; REUSSNER, R. Elasticity in Cloud Computing : what it is , and
what it is not. Presented as part of the 10th International Conference on Autonomic
Computing, [S.l.], 2013.
HUANG, Q. et al. Evaluating open-source cloud computing solutions for geosciences.
Computers & Geosciences, [S.l.], v.59, p.4152, 2013.
ISLAM, S. et al. How a consumer can measure elasticity for cloud platforms. In: ACM/SPEC
INTERNATIONAL CONFERENCE ON PERFORMANCE ENGINEERING, 3. Proceedings. . .
[S.l.: s.n.], 2012. p.8596.
REFERNCIAS
83
JAMSHIDI, P.; AHMAD, A.; PAHL, C. Cloud Migration Research: a systematic review. IEEE
Transactions on Cloud Computing, [S.l.], v.1, n.2, p.142157, 2013.
JEDLITSCHKA, A.; CIOLKOWSKI, M.; PFAHL, D. Reporting experiments in software
engineering. In: Guide to advanced empirical software engineering. [S.l.]: Springer, 2008.
p.201228.
JEDLITSCHKA, A.; PFAHL, D. Reporting guidelines for controlled experiments in software
engineering. In: EMPIRICAL SOFTWARE ENGINEERING, 2005. 2005 INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2005. p.10pp.
JURISTO, N.; MORENO, A. Basics of Software Engineering Experimentation Kluwer
Academic. [S.l.]: Boston, 2001.
JURISTO, N.; MORENO, A. M. Basics of software engineering experimentation. [S.l.]:
Springer Science & Business Media, 2013.
KAMPENES, V. B. et al. A systematic review of quasi-experiments in software engineering.
Information and Software Technology, [S.l.], v.51, n.1, p.7182, Jan. 2009.
KARN, J.; COWLING, A. Using ethnographic methods to carry out human factors research in
software engineering. Behavior research methods, [S.l.], v.38, n.3, p.495503, 2006.
KEELE, S. Guidelines for performing systematic literature reviews in software engineering. In:
Technical report, Ver. 2.3 EBSE Technical Report. EBSE. [S.l.: s.n.], 2007.
KITCHENHAM, B. A.; PFLEEGER, S. L. Personal opinion surveys. In: Guide to Advanced
Empirical Software Engineering. [S.l.]: Springer, 2008. p.6392.
KITCHENHAM, B. Evidence-based software engineering. Software Engineering, . . . , [S.l.],
2004.
KITCHENHAM, B. Whats up with software metrics?A preliminary mapping study. Journal
of systems and software, [S.l.], v.83, n.1, p.3751, 2010.
KITCHENHAM, B.; CHARTERS, S. Guidelines for performing systematic literature reviews in
software engineering. In: . [S.l.: s.n.], 2007.
KITCHENHAM, B. et al. Evaluating guidelines for empirical software engineering studies. In:
ACM/IEEE INTERNATIONAL SYMPOSIUM ON EMPIRICAL SOFTWARE
ENGINEERING, 2006. Proceedings. . . [S.l.: s.n.], 2006. p.3847.
KITCHENHAM, B.; PFLEEGER, S. Preliminary guidelines for empirical research in software
engineering. . . . Engineering, IEEE . . . , [S.l.], v.28, n.8, p.721734, 2002.
LAU, F. Toward a framework for action research in information systems studies. Information
Technology & People, [S.l.], v.12, n.2, p.148176, 1999.
LI, Q. et al. Adaptive management of virtualized resources in cloud computing using feedback
control. In: INFORMATION SCIENCE AND ENGINEERING (ICISE), 2009 1ST
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2009. p.99102.
LI, Z. et al. On evaluating commercial Cloud services: a systematic review. Journal of Systems
and Software, [S.l.], 2013.
84
REFERNCIAS
LOTT, C. M.; ROMBACH, H. D. Repeatable software engineering experiments for comparing

defect-detection techniques. Empirical Software Engineering, [S.l.], v.1, n.3, p.241277,
1996.
MACDONELL, S. G.; SHEPPERD, M. J. Comparing Local and Global Software Effort
Estimation ModelsReflections on a Systematic Review. In: EMPIRICAL SOFTWARE
ENGINEERING AND MEASUREMENT, 2007. ESEM 2007. FIRST INTERNATIONAL
SYMPOSIUM ON. Anais. . . [S.l.: s.n.], 2007. p.401409.
MARCONI, M. d. A.; LAKATOS, E. M. Metodologia cientfica. [S.l.]: Atlas So Paulo, 2004.
MARSHALL, C.; BRERETON, P.; KITCHENHAM, B. Tools to support systematic reviews in
software engineering: a feature analysis. In: INTERNATIONAL CONFERENCE ON
EVALUATION AND ASSESSMENT IN SOFTWARE ENGINEERING, 18. Proceedings. . .
[S.l.: s.n.], 2014. p.13.
MARSHALL, P.; KEAHEY, K.; FREEMAN, T. Elastic site: using clouds to elastically extend
site resources. In: IEEE/ACM INTERNATIONAL CONFERENCE ON CLUSTER, CLOUD
AND GRID COMPUTING, 2010. Proceedings. . . [S.l.: s.n.], 2010. p.4352.
MARTENS, B.; TEUTEBERG, F. Risk and compliance management for cloud computing
services: designing a reference model bt - 17th americas conference on information systems
2011, amcis 2011, august 4, 2011 - august 8, 2011. 17th Americas Conference on
Information Systems 2011, AMCIS 2011, University of Osnabrueck, Germany, v.3,
p.20412050, 2011.
MELL, P.; GRANCE, T. The NIST definition of cloud computing. National Institute of
Standards and Technology, [S.l.], v.53, n.6, p.50, 2009.
MOHER, D.; SCHULZ, K. F.; ALTMAN, D. G. The CONSORT statement: revised
recommendations for improving the quality of reports of parallel group randomized trials. BMC
Medical Research Methodology, [S.l.], v.1, n.1, p.2, 2001.
NASIR, U.; NIAZI, M. Cloud computing adoption assessment model (CAAM). In:
INTERNATIONAL CONFERENCE ON PRODUCT FOCUSED SOFTWARE
DEVELOPMENT AND PROCESS IMPROVEMENT, 12. Proceedings. . . [S.l.: s.n.], 2011.
p.3437.
PARKHILL, D. The Challenge of the Computer Utility. [S.l.]: Addison-Wesley Publishing
Company, 1966. n.p. 246. (The Challenge of the Computer Utility).
PETERSEN, K. et al. Systematic mapping studies in software engineering. EASE08
Proceedings of the 12th international conference on Evaluation and Assessment in
Software Engineering, [S.l.], p.6877, 2008.
PETERSEN, K. et al. Systematic mapping studies in software engineering. In:
INTERNATIONAL CONFERENCE ON EVALUATION AND ASSESSMENT IN
SOFTWARE ENGINEERING, 12. Anais. . . [S.l.: s.n.], 2008. v.17, n.1.
PETTICREW, M.; ROBERTS, H. Systematic reviews in the social sciences: a practical guide.
[S.l.]: John Wiley & Sons, 2008.
REFERNCIAS
85
PICKARD, L. M.; KITCHENHAM, B. A.; JONES, P. W. Combining empirical results in

software engineering. Information and software technology, [S.l.], v.40, n.14, p.811821,
1998.
ROBINSON, H.; SEGAL, J.; SHARP, H. Ethnographically-informed empirical studies of
software practice. Information and Software Technology, [S.l.], v.49, n.6, p.540551, 2007.
RUNESON, P.; HST, M. Guidelines for conducting and reporting case study research in
software engineering. Empirical software engineering, [S.l.], v.14, n.2, p.131164, 2009.
RUNESON, P.; STEFIK, A.; ANDREWS, A. Variation factors in the design and analysis of
replicated controlled experiments - Three (dis)similar studies on inspections versus unit testing.
Empirical Software Engineering, [S.l.], p.128, 2013.
SHARMA, U. et al. A cost-aware elasticity provisioning system for the cloud. In:
DISTRIBUTED COMPUTING SYSTEMS (ICDCS), 2011 31ST INTERNATIONAL
CONFERENCE ON. Anais. . . [S.l.: s.n.], 2011. p.559570.
SHEN, Z. et al. Cloudscale: elastic resource scaling for multi-tenant cloud systems. In: ACM
SYMPOSIUM ON CLOUD COMPUTING, 2. Proceedings. . . [S.l.: s.n.], 2011. p.5.
SHIFFMAN, R. N. et al. Standardized reporting of clinical practice guidelines: a proposal from
the conference on guideline standardization. Annals of Internal medicine, [S.l.], v.139, n.6,
p.493498, 2003.
SHULL, F. et al. Replicated studies: building a body of knowledge about software reading
techniques. SERIES ON SOFTWARE ENGINEERING AND KNOWLEDGE
ENGINEERING, [S.l.], v.12, p.3984, 2003.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A systematic review of cloud lock-in solutions.
In: CLOUD COMPUTING TECHNOLOGY AND SCIENCE (CLOUDCOM), 2013 IEEE 5TH
INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2013. v.2, p.363368.
SILVA, G. C.; ROSE, L. M.; CALINESCU, R. A Systematic Review of Cloud Lock-In
Solutions. 2013 IEEE 5th International Conference on Cloud Computing Technology and
Science, [S.l.], p.363368, Dec. 2013.
SINGER, J. Using the American Psychological Association (APA) style guidelines to report
experimental results. Proceedings of Workshop on Empirical Studies in . . . , [S.l.], p.15,
1999.
SJOBERG, D. I.; DYBA, T.; JORGENSEN, M. The future of empirical methods in software
engineering research. In: FUTURE OF SOFTWARE ENGINEERING, 2007. Anais. . .
[S.l.: s.n.], 2007. p.358378.
SJBERG, D. I. et al. A survey of controlled experiments in software engineering. Software
Engineering, IEEE Transactions on, [S.l.], v.31, n.9, p.733753, 2005.
SMITE, D. et al. Reporting Empirical Research in Global Software Engineering: a classification
scheme. 2008 IEEE International Conference on Global Software Engineering, [S.l.],
p.173181, 2008.
86
REFERNCIAS
SOROR, A. A. et al. Automatic virtual machine configuration for database workloads. ACM
Transactions on Database Systems (TODS), [S.l.], v.35, n.1, p.7, 2010.
STOL, K.-J.; BABAR, M. A. Reporting Empirical Research in Open Source Software: the state
of practice. 5th IFIP WG 2.13 International Conference on Open Source Systems (OSS
2009), [S.l.], p.156169, 2009.
SULEIMAN, B. et al. On understanding the economics and elasticity challenges of deploying
business applications on public cloud infrastructure. Journal of Internet Services and
Applications, [S.l.], v.3, n.2, p.173193, 2011.
TRAVASSOS, G. H.; GUROV, D.; AMARAL, E. Introduo engenharia de software
experimental. [S.l.]: UFRJ, 2002.
VEGAS, S.; JURISTO, N.; BASILI, V. R. A Process for identifying relevant information for a
repository: a case study for testing techniques. In: Managing Software Engineering
Knowledge. [S.l.]: Springer, 2003. p.199230.
VIERA, A. J.; GARRETT, J. M. Understanding interobserver agreement: the kappa statistic.
Family Medicine, [S.l.], v.37, n.5, p.360363, 2005.
WILKINSON, L. Statistical methods in psychology journals: guidelines and explanations.
American psychologist, [S.l.], v.54, n.8, p.594, 1999.
WOHLIN, C. et al. Experimentation in software engineering: an introduction. 2000. [S.l.]:
Kluwer Academic Publishers, 2000.
WOHLIN, C. et al. Experimentation in software engineering. [S.l.]: Springer Science &
Business Media, 2012.
WOHLIN, C.; PETERSSON, H.; AURUM, A. Combining data from reading experiments in
software inspections. Lecture Notes on Empirical Software Engineering, World Scientific
Publishing, River Edge, NJ, USA, [S.l.], p.85132, 2003.
YIN, R. K. Case study research: design and methods. [S.l.]: Sage publications, 2013.
ZHANG, H.; BABAR, M. A.; TELL, P. Identifying relevant studies in software engineering.
Information and Software Technology, [S.l.], v.53, n.6, p.625637, June 2011.
Apndice
89
A
Estudos Primrios Includos
As informaes apresentadas neste apndice so detalhadas no Captulo 4. Por causa
de limitaes de espao esto sendo apresentadas apenas informaes de cdigo, ttulo, ano,
origem, autores e nota.
Cd.
Ttulo
Ano
Origem
Autores
Nota
EPS1
A
benefit-aware
on- 2013
demand
provisioning
approach for multi-tier
applications in cloud
computing
Springer
Heng Wu; Wenbo Zhang; 4,51

Jianhua Zhang; Jun Wei;
Tao Huang
EPS2
A Cost-Aware Elasticity 2011

Provisioning System for
the Cloud
IEEE
Upendra Sharma; Shenoy; 5,10

P.; Sahu; S.; Shaikh; A.
EPS3
A General Scalable and 2014

Elastic Content-based Publish;Subscribe Service
IEEE
Wang; Y.; Ma; X.
EPS4
A Language Support for 2014

Cloud Elasticity Management
IEEE
Kouki; Y.; de Oliveira; 5,29

F.A.; Dupont; S.; Ledoux;
T.
EPS5
A Pluggable Autoscaling
Service for Open Cloud
PaaS Systems
2012
IEEE
Bunch; C.; Arora; V.; 5,29

Chohan; N.; Krintz; C.;
Hegde; S.; Srivastava; A.
EPS6
A virtualization based elas- 2011

tic model for high performance computing clusters
in a Networked Control
System
IEEE
Xu Lijun; Fei Minrui; Yu

Wei; Song Yang; Du Dajun
5,78
4,02
90
APNDICE A. ESTUDOS PRIMRIOS INCLUDOS
EPS7
Adaptive Load Balancing 2013

Algorithm Based on Prediction Model in Cloud Computing
ACM
Yingchi Mao;
Ren; Xi Chen
EPS8
An analysis of elasticity in 2013

cloud computing environments based on allocation
time and resources
IEEE
Ferreira Coutinho; E.; Gon- 5,20

calves Gomes; D.; Neuman
de Souza; J.
EPS9
Auto-scaling emergency 2011

call centres using cloud
resources
to
handle
disasters
IEEE
Venugopal; S.; Han Li; 5,88

Ray; P.
EPS10 Automated control for elas- 2010

tic storage
ACM
Harold C. Lim; Shivnath

Babu; Jeffrey S. Chase
EPS11 Automated control of web- 2013

server performance in a
cloud environment
IEEE
SaiKrishna; P.S.; Pasu- 3,43

marthy; R.
EPS12 Automatic elasticity in

OpenStack
2012
ACM
Leander Beernaert; Miguel

Matos; Ricardo Vilaa; Rui
Oliveira
EPS13 Automatic scaling of selec- 2012

tive SPARQL joins using
the TIRAMOLA system
ACM
Evangelos Angelou; Ni- 5,29

kolaos Papailiou; Ioannis
Konstantinou; Dimitrios
Tsoumakos; Nectarios Koziris
EPS14 Autonomic resource pro- 2014

visioning for cloud-based
software
ACM
Pooyan Jamshidi; Aakash

Ahmad; Claus Pahl
5,88
EPS15 Autonomic resource provi- 2013

sioning in cloud systems
with availability goals
Scopus
Casalicchio E.; Menasce

D.A.; Aldhalaan A.
5,10
EPS16 Benchmarking cloud ser- 2010

ving systems with YCSB
ACM
Brian F. Cooper; Adam 4,31

Silberstein; Erwin Tam;
Raghu Ramakrishnan; Russell Sears
EPS17 Benchmarking
Private
Cloud Performance with
User-Centric Metrics
IEEE
Bin Sun; Hall; B.; Hu

Wang; Da Wei Zhang; Kai
Ding
2014
Daoning
5,88
5,39
5,49
4,51
91
EPS18 Bursting the Cloud Data 2014

Bubble: Towards Transparent Storage Elasticity in
IaaS Clouds
IEEE
Nicolae; B.; Riteau; P.; Ke- 6,67

ahey; K.
EPS19 Cloud PARTE: elastic com- 2013

plex event processing based on mobile actors
ACM
Janwillem Swalens; Thi- 5,49

erry Renaux; Lode Hoste;
Stefan Marr; Wolfgang De
Meuter
EPS20 Cloud Resource Auto- 2014

scaling System Based on
Hidden Markov Model
(HMM)
IEEE
Nikravesh; A.Y.; Ajila; 5,88

S.A.; Lung; C.-H.
EPS21 Dynamic resource alloca- 2013

tion using auto-negotiation
in Haizea
IEEE
Chokhani; P.; Somani; G.
4,41
EPS22 Dynamic resource alloca- 2013

tion using virtual machines
for cloud computing environment
TPDS
Xiao; Z. and Song; W. and

Chen; Q.
5,10
EPS23 Dynamic scaling of call- 2012

stateful SIP services in the
cloud
ACM
Nico Janssens; Xueli An; 4,31

Koen Daenen; Claudio Forlivesi
EPS24 Elastic data partitioning for 2013

cloud-based SQL processing systems
IEEE
Lipyeow Lim
EPS25 Elastic
management
of web server clusters
on distributed virtual
infrastructures
Scopus
Moreno-Vozmediano R.; 3,53

Montero R.S.; Llorente
I.M.
EPS26 Elastic Scaling of a High- 2014

Throughput Content-Based
Publish;Subscribe Engine
IEEE
Barazzutti; R.; Heinze; T.; 5,88

Martin; A.; Onica; E.; Felber; P.; Fetzer; C.; Jerzak;
Z.; Pasin; M.; Riviere; E.
EPS27 Elastic VM for Cloud Re- 2011

sources Provisioning Optimization
Scopus
Dawoud W.; Takouna I.; 5,39

Meinel C.
2011
5,00
92
EPS28 Elasticity Controller for

Cloud-Based Key-Value
Stores
2012
IEEE
Arman; A.; Al-Shishtawy; 4,51

A.; Vlassov; V.
EPS29 ElasTraS: An elastic; sca- 2013

lable; and self-managing
transactional database for
the cloud
ACM
Sudipto Das; Divyakant

Agrawal; Amr El Abbadi
EPS30 Enabling cost-aware and 2014

adaptive elasticity of multitier cloud applications
Scopus
Han R.; Ghanem M.M.; 5,69

Guo L.; Guo Y.; Osmond
M.
EPS31 Energy Management in

IaaS Clouds: A Holistic
Approach
CLOUD
Feller; E. and Rohr; C. and

Margery; D. and Morin; C.
EPS32 ERES: An Energy-Aware 2013

Real-Time Elastic Scheduling Algorithm in Clouds
IEEE
Huangke Chen; Xiaomin 5,59

Zhu; Jianghan Zhu; Jianjiang Wang
EPS33 Evaluating and Optimizing 2011

Indexing Schemes for a
Cloud-Based Elastic KeyValue Store
IEEE
Chiu; D.; Shetty;

Agrawal; G.
EPS34 Formal Modeling and Eva- 2013

luation of Service-Based
Business Process Elasticity
in the Cloud
IEEE
Amziani; M.; Melliti; T.; 3,33

Tata; S.
EPS35 Hierarchical
self- 2013
optimization of SaaS
applications in clouds
Scopus
Simmons B.; Ghanbari H.; 4,71

Liaskos S.; Litoiu M.; Iszlai G.
EPS36 How a consumer can me- 2012

asure elasticity for cloud
platforms
ACM
Sadeka Islam; Kevin Lee; 6,27

Alan Fekete; Anna Liu
EPS37 Lightweight Resource Sca- 2012

ling for Cloud Applications
IEEE
Rui Han; Li Guo; Ghanem; 4,51

M.M.; Yike Guo
EPS38 Measuring Prediction Sen- 2014

sitivity of a Cloud Autoscaling System
IEEE
Nikravesh; A.Y.; Ajila; 5,59

S.A.; Chung-Horng Lung
EPS39 Merkat: A Market-Based 2013

SLO-Driven Cloud Platform
IEEE
Costache; S.; Parlavantzas; 5,29

N.; Morin; C.; Kortas; S.
2012
5,49
5,98
A.; 4,31
93
EPS40 MeT: workload aware elas- 2013

ticity for NoSQL
ACM
Francisco Cruz; Francisco

Maia; Miguel Matos; Rui
Oliveira; Joo Paulo; Jos
Pereira; Ricardo Vilaa
5,39
EPS41 Modeling for Dynamic 2011

Cloud Scheduling Via Migration of Virtual Machines
CLOUDCOM Wubin Li and Tordsson; J. 4,22

and Elmroth; E.
EPS42 Modeling Performance of 2013

Elasticity Rules for CloudBased Applications
IEEE
Suleiman; B.; Venugopal; 5,69

S.
EPS43 Non-Intrusive
Elastic
Query Processing in the
Cloud
2013
Springer
Ticiana L. Coelho da Silva; 4,71

Mario A. Nascimento; Jos
Antnio F. de Macdo; Flvio R. C. Sousa; Javam C.
Machado
EPS44 OCSO: Off-the-cloud ser- 2014

vice optimization for green
efficient service resource
utilization
Springer
Daren Fang; Xiaodong Liu; 5,00

Lin Liu; Hongji Yang
EPS45 Opportunistic Service Pro- 2012

visioning in the Cloud
CLOUD
Bjorkqvist; M. and Chen; 4,80

L.Y. and Binder; W.
EPS46 Optimal Cloud Resource 2013

Auto-Scaling for Web Applications
IEEE
Jing Jiang; Jie Lu; Guang- 5,49

quan Zhang; Guodong
Long
EPS47 Optimizations and Analy- 2013

sis of BSP Graph Processing Models on Public
Clouds
IEEE
Redekopp; M.; Simmhan; 5,10

Y.; Prasanna; V.K.
EPS48 Profiling core operations 2012

for elasticity in cloud environments
IEEE
Azevedo; E.; Dias; C.; 4,71

Dantas; R.; Sadok; D.; Fernandes; S.; Simoes; R.; Kamienski; C.
EPS49 QoS-aware multi-cloud 2014

brokering for NGN services: Tangible benefits of
elastic resource allocation
mechanisms
IEEE
Magedanz; T.; Schreiner; 4,02

F.
94
EPS50 SaaS performance and

scalability evaluation in
clouds
2011
IEEE
Gao; J.; Pattabhiraman; P.; 6,18

Xiaoying Bai; Tsai; W.T.
EPS51 Scalable and elastic real- 2014

time click stream analysis
using StreamMine3G
ACM
Andr Martin; Andrey 5,29

Brito; Christof Fetzer
EPS52 Self-adaptive resource allo- 2013

cation for elastic process
execution
CLOUD
Hoenisch; P.a and Schulte; 4,61

S.a and Dustdar; S.a and
Venugopal; S.b
EPS53 Self managing monitoring

for highly elastic large
scale cloud deployments
Scopus
Ward J.S.; Barker A.
EPS54 SpringFS: bridging agility 2014

and performance in elastic
distributed storage
ACM
Lianghong Xu; James Ci- 5,49

par; Elie Krevat; Alexey
Tumanov; Nitin Gupta; Michael A. Kozuch; Gregory
R. Ganger
EPS55 StackSync: bringing elas- 2014

ticity to dropbox-like file
synchronization
ACM
Pedro Garcia Lopez; Marc

Sanchez-Artigas;
Sergi
Toda; Cristian Cotes; John
Lenton
EPS56 StreamCloud: An Elastic 2012

and Scalable Data Streaming System
IEEE
Gulisano; V.; Jimnez- 4,61

Peris; R.; Patio-Martnez;
M.; Soriente; C.; Valduriez; P.
EPS57 Supporting elasticity in

OpenMP applications
2014
Scopus
Galante G.; Bona L.C.E.
EPS58 Towards non-intrusive elas- 2012

tic query processing in the
cloud
Scopus
Da Silva T.L.C.; A. Nasci- 5,49

mento M.; MaCedo J.A.F.;
Sousa F.R.C.; MacHado
J.C.
EPS59 Vertical Scaling for Priori- 2012

tized VMs Provisioning
IEEE
Yazdanov; L.; Fetzer; C.
2014
Tabela A.1: Listagem dos estudos selecionados em ordem

alfabtica
4,02
5,29
5,10
5,88
95
B
Estudos Primrios Excludos
Este apndice apresenta a lista dos estudos primrios excludos, demais informaes
podem ser vistas na Seo 4.2. Por causa de limitaes de espao esto sendo apresentadas
apenas informaes de cdigo, ttulo, ano, origem e autores.
Cdigo
Ttulo
Ano
Origem
Autores
EPE1
A case for dynamic memory 2013

partitioning in data centers
ACM
Daniel Warneke,
Leng
EPE2
A Cloud,based Dynamic 2011

Workflow for Mass Spectrometry Data Analysis
IEEE
Nagavaram, A.; Agrawal, G.;

Freitas, M.A.; Telu, K.H.;
Mehta, G.; Mayani, R.G.; Deelman, E.
EPE3
A Cloud,unaware Program- 2011

ming Model for Easy Development of Composite Services
CLOUDCOM
Tejedor, E. and Ejarque, J.

and Lordan, F. and Rafanell,
R. and Alvarez, J. and Lezzi,
D. and Sirvent, R. and Badia,
R.M.
EPE4
A flexible elastic control plane

for private clouds
2013
ACM
Upendra Sharma, Prashant

Shenoy, Sambit Sahu
EPE5
A Framework and Mid- 2013

dleware for Application,Level
Cloud Bursting on Top of
Infrastructure,as,a,Service
Clouds
IEEE
Leitner, P.; Rostyslav, Z.;

Gambi, A.; Dustdar, S.
EPE6
A Framework for Dynamic

Resource Provisioning and
Adaptation in IaaS Clouds
CLOUDCOM
Ta Nguyen Binh Duong and

Xiaorong Li and Goh, R.S.M.
2011
Christof
96
APNDICE B. ESTUDOS PRIMRIOS EXCLUDOS
EPE7
A framework for self,healing

and
self,adaptation
of
Cloud,hosted
web,based
applications
EPE8
2013
CLOUDCOM
Magalhes, J.P.a and Silva,

L.M.b
A Framework for the Coordi- 2013

nation of Multiple Autonomic
Managers in Cloud Environments
IEEE
de Oliveira, F.A.; Ledoux, T.;

Sharrock, R.
EPE9
A Hadoop approach to advan- 2013

ced sampling algorithms in
molecular dynamics simulation on cloud computing
IEEE
Jin Niu; Bai, S.; Khosravi, E.;

Seung,Jong Park
EPE10
A holistic model for resource

representation in virtualized
cloud computing data centers
CLOUDCOM
Guzek, M. and Kliazovich, D.

and Bouvry, P.
EPE11
A queueing model to achi- 2013

eve proper elasticity for cloud
cluster jobs
CLOUD
Salah, K.
EPE12
A Stack,on,Demand Execu- 2010

tion Model for Elastic Computing
IEEE
Ma, R.K.K.; King Tin Lam;

Cho,Li Wang; Chenggang
Zhang
EPE13
A versatile code execution iso- 2013

lation framework with security first
ACM
Johannes
Meyer
EPE14
A virtual machine re,packing 2013

approach to the horizontal vs.
vertical elasticity trade,off for
cloud autoscaling
ACM
Mina Sedaghat, Francisco

Hernandez,Rodriguez, Erik
Elmroth
EPE15
Abstractions
for
Loo- 2010
sely,Coupled and Ensemble,Based Simulations on
Azure
CLOUDCOM
Luckow, A and Jha, S.
EPE16
Accelerating
MapReduce
Analytics Using CometCloud
CLOUD
AbdelBaky, M. and Hyunjoo

Kim and Rodero, I and Parashar, M.
2013
2012
Krude,
Ulrike
97
EPE17
Achieving High Throughput

by Transparent Network
Interface Virtualization on
Multi,core Systems
EPE18
2010
CLOUDCOM
Huiyong Zhang and Yuebin

Bai and Zhi Li and Niandong
Du and Wentao Yang
ACME: A scalable parallel 2014

system for extracting frequent
patterns from a very long sequence
ACM
Majed Sahli, Essam Mansour,

Panos Kalnis
EPE19
Admission Control for Elastic

Cloud Services
2012
CLOUD
Konstanteli, K. and Cucinotta,

T. and Psychas, K. and Varvarigou, T.
EPE20
Agility and Performance in

Elastic Distributed Storage
2014
ACM
Lianghong Xu, James Cipar,

Elie Krevat, Alexey Tumanov,
Nitin Gupta, Michael A. Kozuch, Gregory R. Ganger
EPE21
Albatross: lightweight elasti- 2011

city in shared storage databases for the cloud using live
data migration
ACM
Sudipto Das, Shoji Nishimura,

Divyakant Agrawal, Amr El
Abbadi
EPE22
An approach for dynamic sca- 2013

ling of resources in enterprise
cloud
CLOUDCOM
Kanagala, K. and Sekaran,

K.C.
EPE23
An architecture for evaluating 2013

distributed application deployments in Multi,Clouds
CLOUDCOM
Papaioannou, A. and Magoutis, K.
EPE24
An architecture framework for 2012

application,managed scaling
of cloud,hosted relational databases
ACM
Liang Zhao, Sherif Sakr, Liming Zhu, Xiwei Xu, Anna

Liu
EPE25
An Autonomic Approach to 2014

Risk,Aware Data Center Overbooking
IEEE
Tomas, L.; Tordsson, J.
EPE26
An Elastic OLAP Cloud Plat- 2011

form
IEEE
Brezany, P.; Yan Zhang; Janciak, I.; Peng Chen; Sicen Ye
EPE27
An
improved
max,min
task,scheduling algorithm for
elastic cloud
Scopus
Li X., Mao Y., Xiao X., Zhuang Y.
2014
98
EPE28
Analysis over factors of inno- 2014

vation in Chinas fast economic growth since its beginning
of reform and opening up
Springer
Chun Ding, Junyang Li
EPE29
Automated, Elastic Resource 2013

Provisioning for NoSQL Clusters Using TIRAMOLA
IEEE
Tsoumakos, D.; Konstantinou,

I.; Boumpouka, C.; Sioutas,
S.; Koziris, N.
EPE30
Balance your bids before your 2014

bits: the economics of geographic load,balancing
ACM
Jose Camacho, Ying Zhang,

Minghua Chen, Dah Ming
Chiu
EPE31
C,Cube: Elastic continuous

clustering in the cloud
2013
IEEE
Zhenjie Zhang; Hu Shu;

Zhihong Chong; Hua Lu; Yin
Yang
EPE32
Cashing in on the cache in the

cloud
2012
TPDS
Han, H.a and Lee, Y.C.b and

Shin, W.a and Jung, H.b and
Yeom, H.Y.a and Zomaya,
A.Y.b
EPE33
Client Classification Policies 2012

for SLA Enforcement in Shared Cloud Datacenters
ACM
Mario Macias, Jordi Guitart
EPE34
Cloud effectiveness model
Scopus
Feehs R.J.
EPE35
Cloud services evaluation fra- 2012

mework
ACM
Miguel Reixa, Carlos Costa,

Manuela Aparicio
EPE36
CLOUDQUAL: A Quality 2014

Model for Cloud Services
IEEE
Xianrong Zheng; Martin, P.;

Brohman, K.; Li Da Xu
EPE37
Cloudy with a Chance of Load

Spikes: Admission Control
with Fuzzy Risk Assessments
2013
IEEE
Tomas, L.; Tordsson, J.
EPE38
Computational Neuroscience
as a Service: Porting MIIND
to the Cloud
2011
CLOUDCOM
Gerckens, B. and Djemame,

K. and de Kamps, M.
EPE39
Constructing elastic scientific 2013

applications using elasticity
primitives
Scopus
Galante G., Bona L.C.E.
EPE40
Converting a High Perfor- 2011

mance Application to an Elastic Cloud Application
CLOUDCOM
Rajan, D. and Canino, A and

Izaguirre, Jesus A and Thain,
D.
2013
99
EPE41
Cost,effective cloud HPC re- 2013

source provisioning by building semi,elastic virtual clusters
ACM
Shuangcheng Niu, Jidong

Zhai, Xiaosong Ma, Xiongchao Tang, Wenguang Chen
EPE42
Cost and utilization optimiza- 2013

tion of Amazon EC2 instances
CLOUD
Kokkinos, P.a and Varvarigou,

T.A.a and Kretsis, A.b and
Soumplis, P.b and Varvarigos,
E.A.b
EPE43
Cost Optimization of Elasti- 2013

city Cloud Resource Subscription Policy
IEEE
Hwang, R.; Lee, C.; Chen, Y.;

Zhang,Jian, D.
EPE44
Criterions for Databases in 2015

Cloud Computing Environment
Scopus
Pati S.P., Pattnaik P.K.
EPE45
Critical Evaluation on jClouds

and Cloudify Abstract APIs
against EC2, Azure and
HP,Cloud
IEEE
Graham, S.T.; Xiaodong Liu
EPE46
CSLA: A language for impro- 2012

ving cloud SLA management
Scopus
Kouki Y., Ledoux T.
EPE47
Decentralizing the cloud: 2014

How can small data centers
cooperate?
IEEE
Hao Zhuang; Rahman, R.;

Aberer, K.
EPE48
Defining a measure of cloud

computing elasticity
2012
IEEE
Shawky, D.M.; Ali, A.F.
EPE49
DELMA: Dynamically ELas- 2011

tic MapReduce Framework
for CPU,Intensive Applications
IEEE
Fadika, Z.; Govindaraju, M.
EPE50
DIMO: distributed index for

matching multimedia objects
using MapReduce
2014
ACM
Ahmed Abdelsadek, Mohamed Hefeeda
EPE51
Distributed approximate spec- 2012

tral clustering for large,scale
datasets
ACM
Mohamed Hefeeda, Fei Gao,

Wael Abd,Almageed
EPE52
Does the Cloud need new al- 2012

gorithms? An introduction to
elastic algorithms
CLOUDCOM
Yike Guo and Ghanem, M.

and Rui Han
2014
100
EPE53
Dynamic Resource Manage- 2014

ment in Cloud,based Distributed Virtual Environments
ACM
Yunhua Deng, Siqi Shen, Zhe

Huang, Alexandru Iosup, Rynson Lau
EPE54
Dynamic Scalability of a Con- 2013

solidation Service
IEEE
El Rheddane, A.; De Palma,

N.; Boyer, F.; Dumont, F.; Menaud, J.,M.; Tchana, A.
EPE55
Economic aspects of hybrid 2012

cloud infrastructure: User organization perspective
Springer
Oleksiy Mazhelis, Pasi Tyrvinen
EPE56
Efficient Autoscaling in the 2011

Cloud Using Predictive Models for Workload Forecasting
CLOUD
Roy, N. and Dubey, A and

Gokhale, A
EPE57
Efficient provisioning of
bursty scientific workloads
on the cloud using adaptive
elasticity control
2012
ACM
Ahmed Ali,Eldin, Maria Kihl,

Johan Tordsson, Erik Elmroth
EPE58
Elastic Admission Control for

Federated Cloud Services
2014
IEEE
Konstanteli, K.; Cucinotta, T.;

Psychas, K.; Varvarigou, T.A.
EPE59
Elastic Cloud Caches for

Accelerating Service,Oriented
Computations
2010
ACM
David Chiu, Apeksha Shetty,

Gagan Agrawal
EPE60
Elastic executions from inelas- 2011

tic programs
ACM
Iulian Neamtiu
EPE61
Elastic management of clus- 2009

ter,based services in the cloud
ACM
Rafael Moreno,Vozmediano,
Ruben S. Montero, Ignacio M.
Llorente
EPE62
Elastic Memory Management 2013

of Virtualized Infrastructures
for Applications with Dynamic Memory Requirements
Scopus
Molto G., Caballer M., Romero E., De Alfonso C.
EPE63
Elastic resource management 2013

for heterogeneous applications on PaaS
ACM
Hao Wei, Shurui Zhou, Ting

Yang, Rui Zhang, Qianxiang
Wang
EPE64
Elastic resources framework 2013

in IaaS, preserving performance SLAs
CLOUD
Dhingra, M.a and Lakshmi,

J.a and Nandy, S.K.a and Bhattacharyya, C.b and Gopinath,
K.b
101
EPE65
Elastic SI,Cache:
consis- 2011
tent and scalable caching in
multi,tier architectures
ACM
Francisco
Perez,Sorrosal,
Marta Patio,Martinez, Ricardo Jimenez,Peris, Bettina
Kemme
EPE66
Elastic Stream Computing

with Clouds
2011
CLOUD
Ishii, A and Suzumura, T.
EPE67
Elastic virtualized network

services
2012
IEEE
Baldi, Mario; Di Benedetto,

Marco
EPE68
Elasticity,aware virtual ma- 2013

chine placement for cloud datacenters
IEEE
Kangkang Li; Jie Wu; Blaisse,

A.
EPE69
Elasticity as a service for fede- 2013

rated cloud testbeds
IEEE
Carella, G.; Magedanz, T.;

Campowsky, K.; Schreiner, F.
EPE70
Elasticity Economics of
Cloud,Based Applications
2012
IEEE
Suleiman, B.
EPE71
ElastMan: Elasticity manager

for elastic key,value stores in
the cloud
2013
Scopus
Al,Shishtawy A., Vlassov V.
EPE72
EQS: An Elastic and Scalable

Message Queue for the Cloud
2011
CLOUDCOM
Nam,Luc Tran and Skhiri, S.

and Zimanyi, E.
EPE73
Esc: Towards an Elastic

Stream Computing Platform
for the Cloud
2011
CLOUD
Satzger, B. and Hummer, W.

and Leitner, P. and Dustdar, S.
EPE74
Evaluation criteria for cloud

services
2013
CLOUD
Costa, P.a and Santos, J.P.b

and Silva, M.M.D.a
EPE75
EventWave: programming
model and runtime support for
tightly,coupled elastic cloud
applications
2013
ACM
Wei,Chiu Chuang, Bo Sang,

Sunghwan Yoo, Rui Gu, Milind Kulkarni, Charles Killian
EPE76
Exploiting application dyna- 2013

mism and cloud elasticity for
continuous dataflows
IEEE
Kumbhare, A.; Simmhan, Y.;

Prasanna, V.K.
EPE77
Exploring Alternative Appro- 2011

aches to Implement an Elasticity Policy
CLOUD
Ghanbari, H. and Simmons, B.

and Litoiu, M. and Iszlai, G.
102
EPE78
Formal modeling and evalua- 2013

tion of stateful service,based
business process elasticity in
the cloud
Scopus
Amziani M., Melliti T., Tata

S.
EPE79
GA,based cloud resource esti- 2012

mation for agent,based execution of bag,of,tasks applications
Springer
J. Octavio Gutierrez,Garcia,
Kwang Mong Sim
EPE80
Going viral: flash crowds in

an open CDN
2011
ACM
Patrick Wendell, Michael J.

Freedman
EPE81
How elastic is your virtualized

datacenter fabric?
2013
ACM
Daniel Crisan, Robert Birke,

Nikolaos Chrysos, Mitch Gusat
EPE82
How is the weather tomor- 2009

row?: towards a benchmark
for the cloud
ACM
Carsten Binnig, Donald Kossmann, Tim Kraska, Simon Loesing
EPE83
Is your cloud elastic enough?: 2012

performance modelling the
elasticity of infrastructure as
a service (IaaS) cloud applications
ACM
Paul C. Brebner
EPE84
JCatascopia: Monitoring Elas- 2014

tically Adaptive Applications
in the Cloud
IEEE
Trihinas, D.; Pallis, G.; Dikaiakos, M.D.
EPE85
Kaleidoscope:
cloud mi- 2011
cro,elasticity via VM state coloring
ACM
Roy Bryant, Alexey Tumanov,

Olga Irzak, Adin Scannell,
Kaustubh Joshi, Matti Hiltunen, Andres Lagar,Cavilla,
Eyal de Lara
EPE86
Key consideration factors of

adopting cloud computing for
science
2012
IEEE
Chia,Lee Yang; Bang,Ning

Hwang; Yuan, B.J.C.
EPE87
Kingfisher: Cost,aware elasti- 2011

city in the cloud
IEEE
Upendra Sharma; Shenoy, P.;

Sahu, S.; Shaikh, A.
EPE88
Latency,aware elastic scaling 2014

for distributed data stream processing systems
ACM
Thomas Heinze, Zbigniew Jerzak, Gregor Hackenbroich,

Christof Fetzer
103
EPE89
LEMO,MR: Low Overhead 2010

and Elastic MapReduce Implementation Optimized for Memory and CPU,Intensive Applications
CLOUDCOM
Fadika, Z. and Govindaraju,

M.
EPE90
Long,term SLOs for reclai- 2014

med cloud computing resources
ACM
Marcus Carvalho, Walfredo

Cirne, Francisco Brasileiro,
John Wilkes
EPE91
Managing a SaaS application 2011

in the cloud using PaaS policy
sets and a strategy,tree
IEEE
Simmons, B.; Ghanbari, H.;

Litoiu, M.; Iszlai, G.
EPE92
Managing elasticity across

multiple cloud providers
2013
ACM
Fawaz Paraiso, Philippe

Merle, Lionel Seinturier
EPE93
Managing large numbers of

business processes with cloud
workflow systems
2012
ACM
Xiao Liu, Yun Yang, Dahai

Cao, Dong Yuan, Jinjun Chen
EPE94
Managing service perfor- 2013

mance in the Cassandra
distributed storage system
CLOUDCOM
Chalkiadaki, M. and Magoutis, K.
EPE95
MELA: Monitoring and

Analyzing Elasticity of Cloud
Services
2013
IEEE
Moldovan, D.; Copil, G.;

Hong,Linh Truong; Dustdar,
S.
EPE96
MoSQL: an elastic storage en- 2013

gine for MySQL
ACM
Alexander Tomic, Daniele Sciascia, Fernando Pedone
EPE97
Multi,objective Reinforce- 2010

ment Learning for Responsive
Grids
Springer
Julien Perez, Ccile Germain,Renaud, Balazs Kgl,

Charles Loomis
EPE98
On estimating actuation de- 2013

lays in elastic computing systems
IEEE
Gambi, A.; Moldovan, D.; Copil, G.; Truong, H.,L.; Dustdar, S.
EPE99
On the elasticity of NoSQL 2011

databases over cloud management platforms
ACM
Ioannis Konstantinou, Evangelos Angelou, Christina Boumpouka, Dimitrios Tsoumakos,

Nectarios Koziris
EPE100
Optimal Deployment And

Scheduling Of Elastic Cloud
Services In SaaS Scenarios
Scopus
Xu C., Yang J., Ling X., Lin

H.
2014
104
EPE101
Optimization,Based Virtual
Machine Manager for Private
Cloud Computing
2011
CLOUDCOM
Niyato, D.
EPE102
Pepper: An Elastic Web Ser- 2010

ver Farm for Cloud Based on
Hadoop
CLOUDCOM
Krishnan, S. and Counio, J.C.
EPE103
PRESC {2} :
efficient
self,reconfiguration of cache
strategies for elastic caching
platforms
Springer
Xiulei Qin, Wei Wang, Wenbo

Zhang, Jun Wei, Xin Zhao,
Hua Zhong, Tao Huang
EPE104
Profiling,Based Task Sche- 2014

duling for Factory,Worker
Applications in Infrastructure,as,a,Service Clouds
IEEE
Zabolotnyi, Rostyslav; Leitner, Philipp; Dustdar, Schahram
EPE105
QUELLE , A framework for

accelerating the development
of elastic systems
Scopus
Moldovan D., Copil G., Truong H.,L., Dustdar S.
EPE106
RACE: a scalable and elas- 2013

tic parallel system for discovering repeats in very long sequences
ACM
Essam Mansour, Ahmed

El,Roby, Panos Kalnis, Aron
Ahmadia, Ashraf Aboulnaga
EPE107
Rafhyc: an Architecture for 2013

Constructing Resilient Services on Federated Hybrid
Clouds
Springer
Vctor Mndez Muoz,

Adrian Casajs Ramo, Vctor
Fernndez Albor, Ricardo
Graciani Diaz, Gonzalo
Merino Arvalo
EPE108
Real,Time Tasks Oriented

Energy,Aware Scheduling in
Virtualized Clouds
2014
IEEE
Xiaomin Zhu; Yang, L.T.; Huangke Chen; Ji Wang; Shu

Yin; Xiaocheng Liu
EPE109
Responsive elastic computing
2009
ACM
Julien Perez, Ccile Germain,Renaud, Balzs Kgl,

Charles Loomis
EPE110
Scaling Non,elastic Applicati- 2011

ons Using Virtual Machines
CLOUD
Knauth, T. and Fetzer, C.
EPE111
Schedule optimization for

data processing flows on the
cloud
Scopus
Kllapi H., Sitaridi E., Tsangaris M.M., Ioannidis Y.
1996
2014
2011
105
EPE112
Scheduling Scientific Work- 2011

flows Elastically for Cloud
Computing
CLOUD
Cui Lin and Shiyong Lu
EPE113
Service specification in cloud 2009

environments based on extensions to open standards
ACM
Fermn Galn, Americo Sampaio, Luis Rodero,Merino, Irit

Loy, Victor Gil, Luis M. Vaquero
EPE114
SLA,Based and Consu- 2012

mer,centric Dynamic Provisioning for Cloud Databases
CLOUD
Sakr, S. and Liu, A
EPE115
SLA
evaluation
in
cloud,based
data,centric
distributed services
Scopus
Ravindran K., Iannelli M.
EPE116
SLA
evaluation
with 2014
on,the,fly
measurements
of distributed service implementation over clouds
ACM
Kaliappa Ravindran, Arun

Adiththan, Michael Iannelli
EPE117
soCloud: a service,oriented 2014

component,based PaaS for managing portability, provisioning, elasticity, and high availability across multiple clouds
Springer
Fawaz Paraiso, Philippe

Merle, Lionel Seinturier
EPE118
Software architecture defini- 2012

tion for on,demand cloud provisioning
Springer
Clovis Chapman, Wolfgang

Emmerich, Fermn Galn Mrquez, Stuart Clayman, Alex
Galis
EPE119
SpeQuloS: a QoS service for

hybrid and elastic computing
infrastructures
Springer
Simon Delamare, Gilles Fedak, Derrick Kondo, Oleg

Lodygensky
EPE120
SYBL: An extensible lan- 2013

guage for controlling elasticity in cloud applications
Scopus
Copil G., Moldovan D., Truong H.,L., Dustdar S.
EPE121
Symbiotic
and
sensiti- 2014
vity,aware architecture for
globally,optimal benefit in
self,adaptive cloud
ACM
Tao Chen, Rami Bahsoon
2014
2013
106
EPE122
The case for elastic operating

system services in fos
EPE123
2012
ACM
Lamia Youseff, Nathan Beckmann, Harshad Kasture, Charles Gruenwald, David Wentzlaff, Anant Agarwal
Time,based evaluation of ser- 2013

vice,based business process
elasticity in the cloud
Scopus
Amziani M., Klai K., Melliti

T., Tata S.
EPE124
Towards an Elastic Applica- 2011

tion Model for Augmenting
the Computing Capabilities of
Mobile Devices with Cloud
Computing
Springer
Xinwen Zhang, Anugeetha

Kunjithapatham, Sangoh Jeong, Simon Gibbs
EPE125
Towards Efficient Deploy- 2013

ment of Cloud Applications through Dynamic Reverse
Proxy Optimization
IEEE
Wei Yuan; Hailong Sun; Xu

Wang; Xudong Liu
EPE126
Towards elastic multi,tenant 2012

database replication with quality of service
Scopus
Sousa F.R.C., Machado J.C.
EPE127
Towards exploiting the full

adaptation potential of cloud
applications
2014
ACM
Clarissa Cassales Marquezan,

Florian Wessling, Andreas
Metzger, Klaus Pohl, Chris
Woods, Karl Wallbom
EPE128
Towards the formalization of 2014

properties of cloud,based elastic systems
ACM
Marcello M. Bersani, Domenico Bianculli, Schahram

Dustdar, Alessio Gambi,
Carlo Ghezzi, Sr?an Krsti?
EPE129
Trade,Off
Analysis
of
Elasticity Approaches for
Cloud,Based
Business
Application
Scopus
Suleiman B., Sakr S., Venugopal S., Sadiq W.
EPE130
Transactional Auto Scaler: 2014

Elastic Scaling of Replicated In,Memory Transactional
Data Grids
ACM
Diego Didona, Paolo Romano,

Sebastiano Peluso, Francesco
Quaglia
EPE131
Transforming
reactive
auto,scaling into proactive
auto,scaling
ACM
Laura R. Moore, Kathryn

Bean, Tariq Ellahi
2012
2013
107
EPE132
True elasticity in multi,tenant 2012

data,intensive compute clusters
ACM
Ganesh Ananthanarayanan,
Christopher Douglas, Raghu
Ramakrishnan, Sriram Rao,
Ion Stoica
EPE133
V,Cache: Towards Flexible

Resource Provisioning for
Multi,tier Applications in IaaS
Clouds
2013
IEEE
Yanfei Guo; Lama, P.; Jia Rao;

Xiaobo Zhou
EPE134
Vertical/Horizontal Resource 2014

Scaling Mechanism for Federated Clouds
IEEE
Chien,Yu Liu; Meng,Ru Shie;

Yi,Fang Lee; Yu,Chun Lin;
Kuan,Chou Lai
EPE135
VOLTAIC: volume optimiza- 2012

tion layer to assign cloud resources
ACM
Hugo E. T. Carvalho, Otto

Carlos M. B. Duarte
EPE136
XDB , A Novel Database Ar- 2014

chitecture for Data Analytics
as a Service
IEEE
Binnig, C.; Salama, A.; Zamanian, E.; Kornmayer, H.; Listing, S.; Mueller, A.C.
EPE137
Zephyr: live migration in sha- 2011

red nothing databases for elastic cloud platforms
ACM
Aaron J. Elmore, Sudipto Das,

Divyakant Agrawal, Amr El
Abbadi
Tabela B.1: Estudos excludos em ordem alfabtica
109
C
Listagem dos Meios de Publicao Identificados
O objetivo este apndice apresentar a lista das meios de publicaes identificados
atravs dos estudos selecionados nesta pesquisa, de forma colaborar com pesquisas futuras
sobre experimentao em elasticidade na computao em nuvem.
Cdigo
Venue
Estudos
V1
International Conference on Cloud Computing
V2
IEEE Transaction on Parallel and Distributed Systems
V3
Journal of Computer Science and Technology
V4
IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing
V5
International Conference on Distributed Computing Systems
V6
International Symposium on Cluster, Cloud and Grid Computing
V7
International Conference on Coud Computing Technology and Science
V8
Communications and Electronics
V9
IEEE International Workshop on Quality of Service
V10
IEEE Recent Advances in Intelligent Computational Systems
V11
International Conference on Autonomic Computing
V12
Concurrency Computation Practice and Experience
V13
International Middleware Conference
V14
Future Generation Computer Systems
V15
Annual International Computers, Software and Applications Conference

Workshops
V16
FAST
V17
Workshop on Programming Based on Actors, Agents, and Decentralized

Control
V18
IEEE International Conference on Embedded and Ubiquitous Computing
110
APNDICE C. LISTAGEM DOS MEIOS DE PUBLICAO IDENTIFICADOS
V19
IEEE International Symposium on Service Oriented System Engineering
V20
International Conference on Contemporary Computing
V21
IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing
V22
ACM European Conference on Computer Systems
V23
International Conference on Cloud and Green Computing
V24
Chinese Control Conference
V25
International Symposium on Software Engineering for Adaptive and

Self-Managing Systems
V26
International Conference on Parallel and Distributed Systems
V27
Workshop on Secure and Dependable Middleware for Cloud Monitoring

and Management
V28
ACM Transactions on Database System
V29
Frontiers of Computer Science
V30
International Conference on Semantic Computing
V31
International Conference on Utility and Cloud Computing
V32
ACM International Conference on Distributed Event-Based Systems
V33
International Parallel & Distributed Processing Symposium
V34
Euromicro International Conference on Parallel, Distributed, and

Network-Based Processing
V35
International Conference on Cloud Engineering
V36
International Conference on Cloud Computing Technology and Science
V37
International Enterprise Distributed Object Computing Conference
V38
Workshops on Enabling Technologies: Infrastructure for Collaborative

Enterprises
V39
ACM Symposium on Cloud Computing
V40
International Workshop on Semantic Web Information Management
V41
IEEE Latin America Conference on Cloud Computing and Communications
V42
International Conference on Innovative Computing and Cloud Computing
V43
NETWORKING
V44
Communications in Computer and Information Science
V45
IEEE Latin American Conference on Cloud Computing and Communications
V46
International Symposium on Parallel & Distributed Processing
V47
Journal of Cloud Computing: Advances, Systems and Applications
111
V48
ACM Cloud and Autonomic Computing Conference
V49
International Conference on Big Data
V50
ACM/SPEC International Conference on Performance Engineering
V51
Software Engineering for Self-Adaptive Systems II
V52
International Workshop on Data Intensive Distributed Computing
Tabela C.1: Lista das venues identificadas e ordem de quantidade de publicao
113
D
Grupos de Pesquisa Identificados
O objetivo este apndice apresentar a lista dos grupos de pesquisas identificados atravs
dos estudos selecionados nesta pesquisa, de forma colaborar com pesquisas futuras sobre
experimentao em elasticidade na computao em nuvem.
Instituio
Publicaes
Tipo
Pas
Technische Universitt Dresden
Academia
Alemanha
University of New South Wales
Academia
Austrlia
Carleton University
Academia
Canad
Universidade Federal do Cear
Academia
Brasil
Imperial College London
Academia
Reino Unido
INRIA Centre Rennes
Pesquisa
Frana
Universidade do Minho
Academia
Portugal
Alcatel-Lucent Bell Labs
Pesquisa
Blgica
Argonne National Laboratory
Pesquisa
Estados Unidos
Arizona State University
Academia
Estados Unidos
Canonical Ltd
Indstria
Reino Unido
Carnegie Mellon University
Academia
Estados Unidos
Central University of Rajasthan
Academia
India
Chinese Academy of Sciences
Academia
China
Dublin City University
Academia
Irlanda
Duke University
Academia
Estados Unidos
Edinburgh Napier Universit
Academia
Reino Unido
Universidade Federal do Paran
Academia
Brasil
Fraunhofer FOKUS Institute
Pesquisa
Alemanha
George Mason University
Academia
Estados Unidos
HASLab - INESC TEC
Pesquisa
Portugal
Hohai University
Academia
China
IBM China Development Lab
Pesquisa
China
114
APNDICE D. GRUPOS DE PESQUISA IDENTIFICADOS
IBM Research
Pesquisa
Estados Unidos
IBM Research Zurich Lab
Pesquisa
Sua
IBM Toronto Software Lab
Pesquisa
Canad
IBM Watson Research Center
Pesquisa
Estados Unidos
IIT Madras
Academia
India
Institut Mines-Telecom
Pesquisa
Frana
Intel Labs
Pesquisa
Estados Unidos
KTH Royal Institute of Technology
Academia
Sucia
LNM Institute of Information Technology
Pesquisa
India
Mines-Nantes
Pesquisa
Frana
National ICT Australia
Pesquisa
Austrlia
National Technical University of Athens
Academia
Grcia
National University of Defense Technology
Academia
China
Ohio State University
Academia
Estados Unidos
Peking University
Academia
China
Potsdam University
Academia
Alemanha
San Jose State University
Academia
Estados Unidos
SAP AG
Indstria
Alemanha
Shanghai University
Academia
China
SIGMA Informatique
Indstria
Frana
Tsinghua University
Academia
China
Umea University
Academia
Sucia
Universidad Complutense de Madrid
Academia
Espanha
Universidad Politecnica de Madrid
Academia
Espanha
Universidade Federal de Campina Grande
Academia
Brasil
Academia
Brasil
Universidade Federal do ABC
Academia
Brasil
Universitat Rovira i Virgili
Academia
Espanha
Universit de Neuchtel
Academia
Sua
University Montpellier
Academia
Frana
University of Alberta
Academia
Canad
University of California
Academia
Estados Unidos
University of Chicago
Academia
Estados Unidos
University of Evry Val dEssonne
Academia
Frana
University of Hawaii
Academia
Estados Unidos
University of Lugano
Academia
Sua
University of Massachusetts
Academia
Estados Unidos
115
University of Southern California
Academia
Estados Unidos
University of St Andrews
Academia
Reino Unido
University of Technology Sydney
Academia
Austrlia
Vienna University of Technology
Academia
ustria
Vrije Universiteit Brussel
Academia
Blgica
Washington State University
Academia
Estados Unidos
Yahoo! Research
Pesquisa
Estados Unidos
York University
Academia
Canad
Tabela D.1: Lista dos grupos de pesquisa identificados
117
E
Autores Envolvidos
A informao apresentada neste apndice refere-se lista dos autores identificados na
pesquisa. Mais informaes detalhadas podem ser encontradas na seo 4.2 .
Autores
Estudos
Fetzer, C.
Venugopal, S.
Ajila, S.A.
Da Silva, T.L.C.
MacHado, J.C.
Martin, A.
Matos, M.
Morin, C.
Nascimento, A.M.
Nikravesh, A.Y.
Oliveira, R.
Sousa, F.R.C
Vilaa, R.
Aakash Ahmad
Adam Silberstein
Agrawal, G.
Al-Shishtawy, A.
Alan Fekete
Aldhalaan A.
Alexey Tumanov
Amr El Abbadi
Amziani, M.
Anna Liu
Arman, A.
118
APNDICE E. AUTORES ENVOLVIDOS
Arora, V.
Azevedo, E.
Barazzutti, R.
Barker A.
Beernaert, L.
Bin Sun
Binder, W.
Bjorkqvist, M
Bona L.C.E.
Brian F. Cooper
Brito, A.
Bunch, C.
Casalicchio E.
Chen, L.Y.
Chen, Q.
Chiu, D.
Chohan, N.
Chokhani, P.
Chung-Horng Lung
Claudio Forlivesi
Claus Pahl
Costache, S.
Cristian Cotes
Cruz, F.
Da Wei Zhang
Dantas, R.
Daoning Ren
Daren Fang
Dawoud W.
de Oliveira, F.A.
Dias, C.
Dimitrios Tsoumakos
Divyakant Agrawal
Du Dajun
Dupont, S.
Dustdar, S.a
Elie Krevat
119
Elmroth, E.
Erwin Tam
Evangelos Angelou
Fei Minrui
Felber, P.
Feller, E.
Fernandes, S.
Ferreira Coutinho, E.
Galante G.
Gao, J.
Ghanbari H.
Ghanem M.M.
Ghanem, M.M.
Goncalves Gomes, D.
Gregory R. Ganger
Guangquan Zhang
Gulisano, V.
Guo L.
Guo Y.
Guodong Long
Hall, B.
Han Li
Han R.
Harold C. Lim
Hegde, S.
Heinze, T.
Heng Wu
Hoenisch, P.a
Hongji Yang
Hu Wang
Huangke Chen
Ioannis Konstantinou
Iszlai G.
James Cipar
Janwillem Swalens
Jeffrey S. Chase
Jerzak, Z.
120
Jianghan Zhu
Jianhua Zhang
Jianjiang Wang
Jie Lu
Jimnez-Peris, R.
Jing Jiang
John Lenton
Jun Wei
Kai Ding
Kamienski, C.
Keahey, K.
Kevin Lee
Koen Daenen
Kortas, S.
Kouki, Y.
Krintz, C.
Ledoux, T.
Li Guo
Lianghong Xu
Liaskos S.
Lin Liu
Lipyeow Lim
Litoiu M.
Llorente I.M.
Lode Hoste
Lung, C.-H.
Ma, X.
MaCedo J.A.F.
MaCedo, J.A.F.
Magedanz, T.
Maia, F.
Marc Sanchez-Artigas
Margery, D.
Meinel C.
Melliti, T.
Menasce D.A.
Michael A. Kozuch
121
Montero R.S.
Moreno-Vozmediano R.
Nectarios Koziris
Neuman de Souza, J.
Nico Janssens
Nicolae, B.
Nikolaos Papailiou
Nitin Gupta
Onica, E.
Osmond M.
Parlavantzas, N.
Pasin, M.
Pasumarthy, R.
Patio-Martnez, M.
Pattabhiraman, P.
Paulo, J.
Pedro Garcia Lopez
Pereira, J.
Pooyan Jamshidi
Prasanna, V.K.
Raghu Ramakrishnan
Ray, P.
Redekopp, M.
Riteau, P.
Riviere, E.
Rohr, C.
Rui Han
Russell Sears
Sadeka Islam
Sadok, D.
Sahu, S.
SaiKrishna, P.S.
Schreiner, F.
Schulte, S.a
Sergi Toda
Shaikh, A.
Shenoy, P.
122
Shetty, A.
Shivnath Babu
Simmhan, Y.
Simmons B.
Simoes, R.
Somani, G.
Song Yang
Song, W.
Soriente, C.
Srivastava, A.
Stefan Marr
Sudipto Das
Suleiman, B.
Takouna I.
Tao Huang
Tata, S.
Thierry Renaux
Tordsson, J.
Tsai, W.T.
Upendra Sharma
Valduriez, P.
Vlassov, V.
Wang, Y.
Ward J.S.
Wenbo Zhang
Wolfgang De Meuter
Wubin Li
Tabela E.1: Listagem dos autores identificados e as respectivas quantidades de publicaes
123
F
Protocolo do Mapeamento Sistemtico
F.1
Introduo
No mbito da computao em nuvem autores apontam dificuldades na avaliao da

qualidade, interpretao, generalizao e validade dos resultados por causa da completude e
superficialidade das informaes reportadas pelos estudos realizados (DURAO et al., 2014; LI
et al., 2013; HUANG et al., 2013; NASIR; NIAZI, 2011; SILVA; ROSE; CALINESCU, 2013a).
Tambm apontada por MARTENS; TEUTEBERG (2011) a necessidade de se aumentar a
utilizao de mtodos empricos na computao em nuvem para facilitar a transferncia de
tencologias entre academia e industria. Para tal, necessria uma melhoria substncial no
relato dos estudos empricos para se possa utilizar mais efetivamente os resultados j alcanados.
SILVA; ROSE; CALINESCU (2013b), aponta em sua reviso sistemtica que dentre os estudos
avaliados apenas 2% deles apresentou suas perguntas de pesquisa. LI et al. (2013). tambm
criticam a qualidade das informaes apresentadas pelos estudos. DURAO et al. (2014). fala
que os relatos apresentam informaes insuficientes sobre o contexto das avaliaes, ambiente e
procedimentos metodolgicos, prejudicando interpretao e avaliao das evidncias.
Em geral, no contexto da engenharia de software experimental, autores tambm apontam
insuficincias no relato de todos os tipos de informaes avaliadas em experimentos. Tais
problemas incluem relatrios incompletos, informaes reportadas em diferentes sees do
relato e falta de utilizao de uma terminologia consistente. MACDONELL; SHEPPERD (2007)
tambm enfatiza a necessidade de melhorar a forma como os estudos so publicados, atravs
de uma forma consistente, utilizando resumos estruturados, ttulos significativos e esquemas
de palavras-chave. SMITE et al. (2008) recomenda tambm que os relatos devem ser mais
consistentes. Em estudo sistemtico realizado DYB; KAMPENES; SJ BERG (2006) relatam
dificuldades em avaliar o poder estatstico dos estudos pois em 67% deles era possvel identificar
quais testes foram realizados para avaliar hipteses.
Apesar de vrios autores apontarem problemas relacionados completude dos relatos
dos estudos empricos na CN, at o momento nenhum estudo apresentou uma viso holstica dos
problemas existentes. Motivado pela necessidade de se produzir melhores evidncias de estudos
124
APNDICE F. PROTOCOLO DO MAPEAMENTO SISTEMTICO
empricos na CN, e como um primeiro esforo neste sentido, o presente trabalho se prope a:
identificar os experimentos em elasticidade na computao em nuvem, caracteriz-los e, atravs
de guias existentes na literatura da engenharia de software experimental, avali-los quanto a
completude de seus relatos.
F.2
Necessidade do Estudo Secundrio
A necessidade do estudo envolve a identificao e caracterizao dos Experimentos

realizados em Elasticidade na CN, com o intuito de analisar a completude de seus Relatrios
baseado em guidelines existentes na literatura da Engenharia de Software Experimental. O
estudo proposto est completamente direcionado anlise do relatrio e no do Experimento
realizado. Para demonstrar que no existia na literatura uma avaliao semelhante realizamos
buscas em julho de 2014 nos engenhos IEEExplorer1 , Scopus2 , ACM3 e Google Acadmico4
atravs da string de busca presente na Tabela F.1:
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider
<OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR>
Software-as-a-Service"<OR> Software as a Service)
[AND]
(Systematic Literature Review <OR> Systematic Review <OR> SLR <OR> Systematic
Mapping <OR> Literature Survey <OR> Research Review <OR> Research Synthesis
<OR> Secondary Study)
Tabela F.1: String de Busca para identificar estudos secundrios existentes

Nenhum dos estudos encontrados estava relacionado s perguntas de pesquisa. Considerando a importncia de uma apresentao sistemtica e padronizada dos relatos de experimentos
e as evidncias da literatura que apontam problemas em sua completude, tornam-se oportunas a
consolidao e anlise propostas neste estudo de reviso.
F.3
Pesquisadores Envolvidos
A etapa de busca, a primeira etapa de seleo dos estudos, bem como a sntese, foram
executados exclusivamente pela pesquisara Helaine Barreiros. A segunda etapa de seleo dos
1 http://ieeexplore.ieee.org/
2 http://www.scopus.com/
3 http://dl.acm.org/
4 http://scholar.google.com/
F.4. ESCOPO DO ESTUDO
125
estudos ser realizada com a participao de oito pesquisadores configurados em dez duplas.
A etapa de extrao de dados e aplicao do instrumento de coleta ser executada por dois
pesquisadores.
Todo o processo ser realizado sob a superviso do orientador Professor Doutor Vinicius
Garcia e co-orientador Professor Doutor Sergio Soares. A equipe envolvida na pesquisa
apresentada na Tabela F.2
Dupla
Revisor 1
Especialidade
CN
ESBE
Revisor 2
D1
Andreza Leite (AL)
D2
Michael Frana (MF)
ESBE
Juliana Saraiva (JS)
D3
Eudis Teixeira (ET)
ESBE
ESE
Helaine Barreiros
D4
Alex Nery (AN)
D5
Gert Ucha (GU)
D6
Diogo Vincius (DV)
D7
Vinicius Garcia (VG)
D8
Emanoel Barreiros (EB)
D9
Liliane Fonseca
D10
Vilmar Nepomuceno (VN)
ESBE
ESE
CN
CN
ESBE
CN
ESBE
ESE
ESBE
ESE
ESBE
ESE
ESBE
ESE
Marco Machado (MM)
Vilmar Nepomuceno
Jos Fernando (JF)
Leandro Marques (LM)
Emanoel Barreiros (EB)
Thiago Jamir (TJ)
Samuel Romeiro (SR)
Adauto Trigueiro (AT)
Especialidade
CN
ESBE
ESBE
ESE
CN
ESBE
ESE
ESBE
ESE
CN
CN
ESBE
ESBE
ESE
CN
ESBE
ESBE
ESE
ESBE
ESE
Tabela F.2: Configurao da equipes e pesquisadores participantes
F.4
Escopo do Estudo
J que este estudo envolve a pesquisa sistemtica em computao em nuvem, a populao

do estudo composta por todos os artigos que reportaram experimentos em elasticidade em
computao em nuvem. O universo de estudos primrios dever ser obtido atravs da execuo
de buscas manuais e automatizadas, detalhadas na Seo F.6.
Este mapeamento est interessado apenas em estudos que tenham reportado experimentos
que avaliem a caracterstica de elasticidade da computao em nuvem. Entretanto, a busca
deve ser ampla o suficiente para reduzir o risco de no selecionar estudos relevantes que no
tenham sido reportados claramente como experimentos (usando termos no padres da rea de
experimentos), algo comum na rea.
126
esperado que os resultados do mapeamento contribuam com o conhecimento da

rea atravs da agregao da informao. Embora a maior parte dos artigos cientficos sejam
publicados por instituies da academia, acredita-se que um nmero razovel de estudos so
realizados pela indstria e laboratrios de pesquisa especializados. Desta forma, o contexto
do presente trabalho pode ser considerado majoritariamente acadmico, mas no possvel
desprezar seu apelo industrial, evidenciado pelos dados (principalmente organizaes dos autores)
encontrados por este trabalho.
F.5
Questes de Pesquisa
O presente estudo secundrio objetiva pesquisar a literatura e mapear estudos primrios

que realizam experimentos em elasticidade em computao em nuvem. Ainda, tambm objetivo
deste estudo avaliar a completude destes trabalhos atravs de um instrumento elaborado a partir
de um guia para o relatrio de experimentos em engenharia de software, uma vez que no existe
tal instrumento para computao em nuvem. As perguntas de pesquisa a serem respondidas so:
QP1 - Quo completos so os relatos de experimentos em elasticidade na computao

em nuvem?
SQP1 - O ttulo permite que o leitor identifique que o estudo um relato

de experimento?
SQP2 - Informaes importantes do resumo como motivao, objetivos,
SQP3 - A introduo do relato apresenta referncias declarao do
SQP4 - A fundamentao informa sobre a tecnologia em investigao, s
possveis opes alternativas a ela, pesquisas relacionadas e a relevncia
para a prtica?
SQP5 - O relato apresenta informaes sobre o planejamento da pesquisa?
SQP6 - O relato detalha a anlise dos dados da pesquisa?
SQP7 - Os resultados, suas implicaes e ameaas validade so relatados?

SQP8 - As concluses do estudo apresentam um resumo conciso da pesquisa, seus impactos e trabalhos futuros?
KITCHENHAM; CHARTERS (2007) orienta a utilizao da esturtura PICOC para

descrever os cinco elementos que compem as perguntas de pesquisa (PETTICREW; ROBERTS,
2008):
F.6. PROCESSO DE BUSCA

Population (Populao): Quem so os participantes/populao de interesse?
Intervention (Interveno): As intervenes a serem aplicadas?
Compration (Comparao): O tipo de comparao a ser feita.
Outcome (Resultados): Quais os resultados de interesse?
Context (Contexto): Contexto da pesquisa.
127
No entanto a utilizao desta estrutura mais conveniente quando aplicada questes de

pesquisa mais especficas como as presentes em RSL. Como as pergunta de pesquisa do presente
estudo so de carter amplo e exploratrio seu uso neste trabalho no se justifica.
F.6
Processo de Busca
.
O processo de busca de um estudo sistemtico deve ser rigoroso e imparcial, capaz de
permitir que a maior quantidade de estudos primrios relacionados s perguntas de pesquisa
sejam encontrados (DICKERSIN; SCHERER; LEFEBVRE, 1994). Na prtica, a identificao de
estudos primrios pode ser difcil por vrias razes como por exemplo: estratgia inadequada de
pesquisa, heterogeneidade da linguagem, limitaes dos termos de indexao, entre outras. Uma
estratgia de pesquisa ideal deve atender aos seguintes questionamentos relativos ao processo de
busca (ZHANG; BABAR; TELL, 2011):
Que abordagem ser utilizada no processo de busca (Exemplo: manual ou automtica)?

Onde pesquisar e em que parte do artigo deve ser feita a busca? (Exemplo: resumo,
palavra chave)
O qu deve ser procurado e quais a strings de pesquisa sero utilizadas nos engenhos
de busca?
Qual o intervalo de tempo a ser pesquisado?
Na inteno de avaliar o mximo nmero possvel de estudos em um intervalo de tempo

relativamente curto, alguns engines de busca devem ser utilizados:
IEEEXplore Digital Library 5 ;
ACM Digital Library 6 ;
5 http://ieeexplore.ieee.org
6 http://portal.acm.org
128

Elsevier Scopus 7 ;
Springer Link 8 .
A busca manual deve ser utilizada como estratgia para ampliar a cobertura da pesquisa
e tentar reduzir o risco de no selecionar estudos relevantes que por ventura ainda no estejam
indexados pelos engenhos. Devem ser utilizadas fontes de dados as principais conferncias
e peridicos da engenharia de software emprica e da computao em nuvem, devidamente
escolhidas atravs da consulta a especialistas da rea:
EASE International Conference on Evaluation and Assessment in Software Engineering (2006 a 2014);
ESEM International Symposium on Empirical Software Engineering and Measurement (2007 a 2014);
ESEJ Empirical Software Engineering Journal (2006 a 2014);
CLOUD IEEE International Conference on Cloud Computing (2009 a 2014);
CLOUDCOM IEEE International Conference on Cloud Computing Technology

and Science (2010 a 2014);
TPDS IEEE Transactions on Parallel and Distributed Systems (2006 a 2014).
Pesquisadores reportam que buscas automatizadas so falhas em alguns pontos importantes (BRERETON et al., 2007; KEELE, 2007), logo, importante no apenas confiar em tais
mecanismos, com o intuito de reduzir os riscos de no selecionar estudos relevantes.
Os termos relevantes identificados foram os seguintes:
Computao em Nuvem: could computing, cloud platform, cloud service, cloud

provider, PaaS, SaaS, IaaS, platform as a service, platform-as-a-service, software as a
service, software-as-a-service, infrastructure as a service, infrastructure-as-a-service;
Elasticidade: elasticity;
Experimento: experiment, evaluate, evaluation, evaluating, benchmark;
Algumas palavras chave podem parecer no estar relacionadas a experimentos, mas elas
foram escolhidas, novamente, na tentativa de no excluir sem avaliao estudos que realizam
experimentos mas no se classificam como tal. Infelizmente, este fato ainda ocorre na rea de
computao em nuvem. Uma string de busca foi ento elaborada para ser aplicada nos engenhos
de busca escolhidos:
7 http://www.scopus.com
8 http://link.springer.com
F.7. PROCESSO DE SELEO
129
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud
Provider <OR> PaaS <OR> Platform as a Service <OR> Platform-as-aService <OR> IaaS <OR> Infrastructure as a Service <OR> Infrastructureas-a-Service <OR> SaaS <OR> Software-as-a-Service<OR> Software as a
Service)
[AND] (Elasticity)
[AND] (Experiment OR Evaluate <OR> Evaluation OR Evaluating <OR>
Benchmark)
F.6.1
Critrios de Incluso e Excluso
Um detalhe importante a considerar a incluso e excluso de artigos. O pesquisador

deve ser muito cuidadoso quando analisa as palavras-chave, ttulo e resumo, pois a anlise mal
conduzida pode levar excluso indevida de estudos potencialmente relevantes. No presente
mapeamento, todos os estudos que esto claramente foram do escopo devem ser removidos no
incio do processo baseando-se na anlise das palavras-chave, ttulo e resumo. Aps a seleo
inicial, a verso completa de cada artigo deve ser recuperada para que uma anlise mais detalhada
possa ser realizada. Os critrios listados na Tabela F.3 devem ser aplicados com a iteno de
remover estudos irrelevantes.
Cdigo
C01
C02
C03
C04
C05
C06
C07
C08
C09
C10
C11
Critrios de Excluso
O arquivo no corresponde ao Estudo. (Ex: ndice)
O arquivo no um Estudo. (Ex: proceedings, editorial)
O Estudo duplicado.
O Estudo um slideshow ou resumo expandido.
O Estudo est fora do intervalo de avaliao.
O Estudo est relacionado Elasticidade mas no relata um Experimento.
O Estudo est relacionado Elasticidade, reporta um Experimento porm no
avalia Elasticidade.
O Estudo no est disponvel.
O Estudo no est em ingls.
O Estudo no est relacionado Computao em Nuvem.
O Estudo no est relacionado Elasticidade na Computao em Nuvem.
Tabela F.3: Lista dos Critrios de Excluso em ordem alfabtica.
F.7
Processo de Seleo
O processo de seleo detalhado a seguir:
1. O pesquisador utiliza os engenhos de busca e aplica a string de busca como um filtro.
As buscas manuais tambm so realizadas. Neste segundo caso, todos os estudos
so includos para avaliao de ttulo, palavras-chave e resumo. Como resultado,
130

uma lista de estudos primrios potencialmente relevantes so gerados. Neste passo
muitos estudos podem ser retornados e muitos estudos no relacionados ao tpico de
interesse da pesquisa pode estar entre os artigos retornados. Todos os estudos que
esto claramente fora do escopo do trabalho so removidos aps a avaliao do ttulo,
palavras-chave e resumo. No so mantidos registros dos estudos removidos nesta
etapa. Todos os estudos devem ser avaliados por pelo menos dois pesquisadores para
evitar o vis de avaliao;
2. A lista de artigos gerada pelos pesquisadores comparada com a lista final criada. Caso existam discordncias na deciso de incluir ou remover um artigo do
mapeamento, ele mantido para evitar a remoo de um estudo potencialmente
relevante;
3. Cada artigo na lista obtido e avaliado pelos pesquisadores. Nesta fase, todo o
artigo avaliado. Os critrios de incluso so aplicados. Todos os estudos devem ser
avaliados por pelo menos dois pesquisadores;
4. O conjunto final de estudos documentado.
Foi criado um instrumento, com base em guia existente na literatura, para se avaliar a
completude dos relatos. O respectivo formulrio e suas orientaoes de utilizao esto detlhados
na Seo H. Sempre que estudos devem ser avaliados, discordncias referentes a sua permanncia
no mapeamento podem surgir uma vez que mais de um pesquisador avalia cada artigo.
Cada revisor dever analisar a lista de estudos na ferramenta ExtractViewer e registrar as
informaes pertinentes. Aps a avaliao, a ferramenta cria um relatrio descrevendo os estudos
que foram includos e excludos e identifica os conflitos a serem resolvidos. Eventualmente
conflitos devem ser resolvidos em uma reunio com a presena dos integrantes do time. Cada
integrante deve apresentar sua opinio defendendo a incluso ou excluso. Os resultados
desta reunio devero ser registrados na ferramenta ExtractViewer. uma boa prtica ter um
pesquisador snior supervisionando as reunies de resoluo de conflitos para auxiliar na sua
conduo e atuar como voto de minerva caso os avaliadores no cheguem a um acordo.
F.7.0.0.1 Avaliao da Qualidade Nos estudos de reviso sistemtica comum se avaliar
a qualidade dos estudos que foram includos na pesquisa atravs da aplicao dos critrios de
incluso/excluso. Tal avaliao complementar ao processo de aplicao dos critrios e tem
como objetivo avaliar a qualidade dos estudos segundo trs aspectos: (i) vis, (ii) validade interna
e (iii) validade externa. Atravs deste instrumento o pesquisador pode, por exemplo, decidir um
critrio mnimo para que o estudo seja includo na pesquisa.
Uma vez que no presente trabalho deseja-se contruir uma viso panormica da atual
situao dos relatos dos experimentos interessante que todos os estudos que atendam o critrio
de incluso/excluso sejam includos para anlise. Assim sendo, a anlise de qualidade dos
F.8. PROCESSO DE SNTESE
131
estudos selacionados no foi realizada, uma vez que a incluso do maior nmero de estudos pode
contribuir potencialmente para a formao de uma viso ampla.
F.8
Processo de Sntese
Em particular, os dados coletados devero ser distinguidos entre metadados das publicaes e dados sobre o relato dos experimentos em elasticidade. Os metadados devem ser
utilizados principalmente para realizar uma investigao estatstica dos estudos selecionados,
enquanto os dados de relato dos experimentos devem ser analisads com o objetivo de responder
s questes de pesquisa.
133
G
Ferramenta ExtractViewer
O intuito deste apndice apresentar uma breve descrio da ferramenta ExtractViewer
que foi desenvolvida e utilizada neste trabalho de mapeamento sistemtico.
G.1
Contexto
conhecido pela comunidade o quo intensivo o processo de avaliao sistemtica

de estudos e a importncia de se ter um suporte ferramental que apoie o desenvolvimento da
pesquisa. Entretanto, sabe-se que o conjunto de ferramentas existentes ainda no fornecem
um apoio completo a todo o processo de um estudo sistemtico em um ambiente de trabalho
completamente distribudo (MARSHALL; BRERETON; KITCHENHAM, 2014). Atravs destas
dificuldades, vivenciadas na prtica durante a realizao deste estudo sistemtico, que surgiu a
ferramenta ExtractViewer.
G.2
Propsito da Ferramenta
A ferramenta ExtractViewer1 foi fundamental para acelerar e apoiar a execuo das

atividades do processo de mapeamento sistemtico, alm de diminuir a propenso erros,
naturalmente advindos de processos manuais e repetitivos. O conjunto de features inicialmente
desenvolvidos da ferramenta permitiu: (i) importar os resultados do processo de busca, (ii)
acessar facilmente os arquivos dos estudos, (iii) aplicar os critrios de incluso e excluso, (iv)
identificar conflitos e resolv-los e (vi) extrair dados da pesquisa.
O sistema foi concebido de modo a permitir que todas estas atividades pudessem ser
realizadas de forma distribuda, proporcionando mais velocidade na concluso desta etapa do
estudo. Foram disponibilizados, alm do acesso aos arquivos dos estudos, todas as informaes
de metadados obtidas, de forma a assitir o processo de seleo: ttulo, autor, ano, resumo, conferncia e engenho de busca. Tambm foi permitido aos revisores registrar todas as observaes
1 https://subversion.assembla.com/svn/assert-cloud/mapping-application-web
134
APNDICE G. FERRAMENTA EXTRACTVIEWER
que julgassem relevantes durante suas anlises, o que posterioremente apoiou a resoluo de
conflitos e anlise dos estudos.
G.3
Tecnologias Utilizadas
A ferramenta vem sendo desenvolvida na linguagem Java para web, proporcionando aos
pesquisadores um ambiente de trabalho distribudo e acessvel atravs da internet. A camada de
apresentao foi desenvolvida em JSF utilizado o framework Primefaces. A camada de acesso
dados foi implementada utilizado o framework Hibernate e banco de dados PostgreSQL. O
framework Apache POI foi utilizado no desenvolvimento de alguns relatrios em formato de
planiha Excel.
Toda a arquitetura da aplicao foi desenvolvida utilizando o framework de aplicao
Spring em todas as camadas do sistema. Foi utilizado o container de servlets Apache Tomcat para
publicao do sistema. O projeto de desenvolvimento foi construdo utilizando a IDE Eclipse e o
cdigo-fonte do projeto est disponvel no repositrio Assembla.
G.4
Telas do Sistema
A seguir so apresentadas, respectivamente, na Figura G.1 e Figura G.2 algumas das

telas do ambiente do revisor para a visualizao da lista de artigos a serem analisados e de anlise
dos estudos.
Figura G.1 Ambiente do Revisor: listagem de estudos para reviso
G.4. TELAS DO SISTEMA
Figura G.2 Tela de anlise de estudos no ExtractViewer
135
137
H
Instrumento de Coleta
O presente instrumento tem como objetivo aferir, no relatos dos experimentos, o grau do
que denominamos completude: o quo completas so as informaes relacionadas metodologia
e concluses dos estudos segundo s diretrizes e orientaes estabelecidas para se reportar
experimentos na engenharia de software experimental, de acordo com o guia de JEDLITSCHKA;
CIOLKOWSKI; PFAHL (2008).
O instrumento proposto contempla quase que na ntegra as orientaes do guia, excluindo
apenas trechos relacionados experimentos com participantes humanos que no faziam sentido
para o contexto dos experimentos da computao em nuvem. O mesmo foi dividido em sees,
cada uma delas correspondendo s sees esperadas em um relatrio de experimento segundo o
guia: Ttulo, Autoria, Resumo, Introduo, Fundamentao, Planejamento, Anlises, Discusso,
Concluso e Trabalhos Futuros (contabilizados como uma seo) e Apndices.
Para cada seo h um conjunto de perguntas (51 no total) onde para cada uma delas a
pontuao alcanada de 0,0 pontos caso a resposta para a pergunta seja NO, 0,5 ponto caso a
resposta para a pergunta seja PARCIALMENTE, e 1,0 ponto caso a resposta para a pergunta
seja SIM. A seguir cada seo do instrumento ser detalhada juntamente com as perguntas
correspondentes e seus objetivos.
Vale ressaltar que embora o instrumento indique que cada informao deva estar presente
em uma seo especfica, este tipo de exigncia no foi feita durante a extrao dos dados, pois
foi obsevado que pouqussimos estudos apresentavam as sees como foram especificadas no
presente instrumento, o que faria com que a nota dos mesmos fosse muito reduzida mesmo
quando eles apresentassem as informaes requeridas pelo instrumento. Dessa forma, decidiu-se
ser flexvel neste quesito e considerar a informao onde quer que ela estivesse presente no artigo.
Foi-se mais rigoroso em relao localizao das informaes apenas na seo de resumo.
H.0.1
Ttulo
Segundo o guia espera-se que o ttulo do trabalho seja informativo, transmitindo o

mximo de informao de maneira direta, simples e objetiva. Desta forma sugerido que no
ttulo do relato de experimento, o autor: (i) utilize-se o termo experimento, (ii) indique o
138
APNDICE H. INSTRUMENTO DE COLETA
tratamento que est sendo aplicado no experimento e (iii) apresente as variveis dependentes.
Com base nestas orientaes foram criadas no instrumento de coleta as seguintes perguntas:
1.1 O ttulo apresenta o termo experimento?
1.2 O ttulo apresenta o(s) tratamento(s) utilizado(s) no experimento?
1.3 O ttulo apresenta a(s) varivel(is) dependente(s) do experimento?
Em relao presena o termo experimento bastante intuitiva, pois facilmente

transmite ao potencial leitor a informao de que aquele estudo realiza um experimento. Esta
informao bastante importante. Alm disso, espera-se que os trabalhos tambm apresentem os
tratamentos utilizados no experimento e as variveis dependentes sendo medidas. Por exemplo,
o ttulo a seguir, do estudo EPS7 interessante pois informa o tratamento utilizado: Adaptive
Load Balancing Algorithm Based on Prediction Model in Cloud Computing. No entanto, no
apresenta a varivel dependente sendo medida. Neste caso, poderia-se medir o tempo de resposta
do algoritmo, a preciso do modelo de predio, por exemplo.
H.0.2
Autoria
Esta seo visa identificar se o estudo fornece informaes de contato dos autores.
Apenas uma pergunta faz parte desta seo:
2.1 As informaes de contato dos autores foi apresentada?
Neste item, se pelo menos os nomes, instituies e emails forem fornecidos, o estudo
sendo avaliado recebe 1,0 ponto. Caso o estudo deixe de apresentar algumas dessas informaes,
ele recebe 0,5. Caso no fornea nenhuma das informaes acima, ele recebe 0,0 pontos.
H.0.3
Resumo
Esta seo uma das mais importantes do instrumento, pois trata de uma das poucas
sees utilizadas pelos potenciais leitores para decidirem se o estudo em questo de seu
interesse ou no. Esta seo possui treze perguntas, divididas em seis subsees:
Fundamentao
3.1.1 Apresenta a motivao da pesquisa?
Objetivo
3.2.1 Descreve o objetivo da pesquisa?
3.2.2 1Apresenta o objeto estudado?
3.2.3 Define o foco da pesquisa?
139
3.2.4 Apresenta qual a perspectiva (ponto de vista)?
3.3.1 Descreve o mtodo da pesquisa?
3.3.2 Apresenta o desenho experimental?
3.3.3 Apresenta os critrios de seleo?
3.3.4 Descreve a coleta de dados?
3.3.5 Aborda os procedimentos de anlise?
Mtodo
Resultados
Limitaes
3.4.1 Apresenta os principais achados da pesquisa?
3.5.1 Apresenta as principais limitaes da pesquisa?
Concluso
3.6.1 Apresenta o impacto dos resultados?
O item que identifica se o resumo apresenta a motivao e o objetivo da pesquisa so

auto-explicativas. A pergunta que tenta reconhecer o objeto sendo estudado tenta identificar, por
exemplo, a tecnologia, tcnica, algoritmos, ferramentas sendo estudadas. O foco da pesquisa
tenta identificar em que aspecto do objeto estudado o trabalho tentou investigar, por exemplo,
desempenho, custo, melhoria de SLA. A pergunta que tenta identificar a perspectiva vai apontar,
quase sempre, se o estudo foi executado sob a tica do cliente ou do provedor de servio.
Sobre o mtodo de pesquisa, espera-se que o estudo informe que realizou prioritariamente
um experimento. Em alguns casos, estudos podem, erradamente, reportar que realizaram estudo
de caso. Nesse caso, a pontuao atribuda 1,0 ponto, pois pelo menos ele informou o mtodo
utilizado para avaliao. O desenho experimental tambm deve ser informado, detalhando o
arranjo experimental, por exemplo com o tratamento, as variveis dependentes e independentes.
Tambm prefere-se o resumo estruturado, comumente recomendado na engenharia de software
experimental, mas tal formato no foi exigido no presente instrumento.
H.0.4
Introduo
O principal propsito da introduo motivar o leitor a ler todo o trabalho. Tambm

papel da introduo expor o contexto em que a pesquisa foi desenvolvida e a definio do
problema estudado. Assim, o instrumento tenta identificar a presena destes itens atravs das
seguintes perguntas:
140

Formulao do Problema
Objetivo da Pesquisa
4.1.1 Apresenta o contexto da pesquisa?
4.2.1 Apresenta o problema da pesquisa?
Contexto da Pesquisa
4.3.1 Apresenta o objetivo da pesquisa?
Os trechos a seguir foram extrados de estudo EPS18. Um exemplo de um texto descrevendo o contexto da pesquisa pode ser encontrado abaixo:
[...]Plataformas de computao em nuvem tanto pblicas (por exemplo.
Amazon EC2) como privadas esto ganhando aceitao como uma maneira
econmica de compartilhamento e gerenciamento de recursos de
computao. Na comunidade cientfica de computao, onde os usurios
precisam lidar com grandes quantidades de dados (terabytes e acima), a
gesto de grandes bases de dados paralelas em uma plataforma de
computao em nuvem especialmente atraente dado o crescimento
exponencial dos dados cientficos e os recursos fortemente limitados
(financeiros). Uma das principais vantagens de uma plataforma de
computao em nuvem a capacidade dos usurios cientficos poderem
pagar pelos recursos de computao que precisam, quando precisam. Para
aproveitar essa elasticidade proporcionada por uma plataforma de
computao em nuvem, um sistema de processamento paralelo SQL baseado
em nuvem precisa ser capaz de expandir e diminuir o nmero de ns de
banco de dados com facilidade. [...]
NICOLAE ET AL.
O trecho a seguir, do mesmo artigo, relata o problema de pesquisa:

[...]Infelizmente, sistemas de processamento de SQL paralelo convencionais
so projetados para executar em um cluster dedicado com um nmero
relativamente fixo de mquinas. Alterar o nmero de mquinas requer uma
redistribuio do banco de dados paralela que envolve tipicamente um
processo maioritariamente manual para (1) Reparticionar os dados, (2)
mover os dados particionados para os ns corretos da base de dados e (3) o
carregamento dos dados particionados.[...]
NICOLAE ET AL.
141
Novamente do mesmo artigo, o trecho a seguir relata o objetivo do trabalho:
[...]Neste artigo apresentamos um primeiro esforo para tratar o problema
de soporte de particionamento de dados elsticos em bancos de dados
DBMS paralelos baseados em nuvem.[...]
NICOLAE ET AL.
H.0.5
Fundamentao
importante para todos os tipos de leitores, sejam eles pesquisadores ou profissionais,

que tenham entendimento da fundamentao terica por trs da pesquisa sendo reportada pelo
estudo sendo lido. Alguns autores sugerem que a seo de fundamentao seja dedicada
a este tema, o que tambm proposto pelo presente instrumento de avaliao. Assim as
perguntas a seguir tentam identificar a presena do mnimo aceitvel de informaes na seo da
fundamentao:
5.1.1 Descreve a tecnologia investigada?

5.1.2 Apresenta solues alternativas ou compara tecnologias que tratam do mesmo
problema?
5.1.3 Apresenta trabalhos relacionados?
5.1.4 Apresenta a relevncia para a prtica?
A relevncia para a prtica pode ser identificada atravs da presena de informaes que
descrevam o quo eficiente ou efetiva foi a aplicao da tcnica na indstria.
H.0.6
Planejameto
Esta seo mais extensa, dedicando-se a identificar o quo completo foi o planejamento
do experimento. As perguntas utilizadas pelo instrumento so as seguintes:
Objetivos
Unidades Experimentais
6.1.1 Define os objetivos do experimento?
6.2.1 Descreve as unidades experimentais?
Materiais Experimentais
6.3.1 Descreve os materiais experimentais?
142

Atividades
Hipteses, Parmetros e Variveis

6.5.1 Apresenta as hipteses?
6.5.2 Apresenta as variveis dependentes?
6.5.3 Apresenta as variveis independentes?
6.5.4 Descreve as mtricas?
Desenho Experimental
6.4.1 Descreve as tarefas executadas?
6.6.1 Apresenta o desenho experimental?
Procedimentos
6.7.1 Apresenta os instrumentos/materiais/ferramentas?
6.7.2 Descreve os procedimentos de execuo do experimento?
6.7.3 Detalha como a coleta dos dados ser realizada?
Procedimentos de Anlise
6.8.1 Descreve como a hiptese ser testada?
As unidades experimentais dizem respeito aos participantes do experimento. No caso de

experimentos que envolvem participantes no-humanos, estes participantes so os equipamentos
utilizados para executar o experimento. Os materiais experimentais dizem respeito a todo o
material necessrio para a execuo do experimento, por exemplo, arquivos de configurao
necessrios, questionrios, checklists. Em relao s tarefas, basicamente estamos interessado
nos workloads sendo executados. As hipteses devem estar relacionadas aos objetivos, onde
para cada objetivo, uma hiptese nula deve ser apresentada, juntamente com sua(s) hiptese(s)
alternativa(s). Variveis dependentes dizem respeito s variveis cujos valores sero medidos
pelo experimento, por exemplo o tempo de resposta de um determinado hypervisor. As variveis
independentes so aquelas que esto sendo manipuladas e permitem a observao do efeito dessa
manipulao nas variveis dependentes. Esto diretamente ligadas aos tratamentos utilizados
no experimento, por exemplo, um novo algoritmo preditivo a ser usado pelo hypervisor.
importante tambm relatar o desenho experimental utilizado, justificando-o. No exemplo anterior, poderia-se usar o desenho de um fator e dois tratamentos, onde seria possvel realizar a
comparao do desempenho do hypervisor utilizando um algoritmo tradicional e um algoritmo
novo desenvolvido.
Em relao aos instrumentos, materiais e ferramentas, espera-se que o pesquisador
relate todo o ferramental necessrio para a execuo do experimento. Por exemplo, se foi
143
necessria a implementao de alguma instrumentao para a execuo dos testes, se foram
usados benchmarks. Em relao aos procedimentos de execuo, o autor deve relatar quaisquer
alteraes necessrias no sistema para execuo do experimento, cronograma de realizao, entre
outros. A coleta de dados tambm deve ser descrita. Pode ser feita, por exemplo, atravs de
programas especficos para coleta de dados da execuo, atravs da utilizao de APIs especficas
da plataforma onde o sistema est sendo executado, atravs de arquivos de log, etc. Por fim,
importante relatar como as hipteses sero testadas, quais testes estatsticos de hipteses sero
necessrios/adotados.
H.0.7
Anlises
Na seo de anlises os autores devem se preocupar em descrever como se procedeu

a anlise dos dados e sua preparao. Para avaliar a completude neste quesito, as seguintes
perguntas foram utilizadas:
Estatstica Descritiva
7.1.1 Apresenta os dados atravs de estatstica descritiva?
7.1.2 Disponibiliza os dados brutos da pesquisa?
Preparao dos Dados

7.2.1 Apresenta como os dados foram preparados?
Teste de Hiptese
7.3.1 Apresenta a forma como os dados foram avaliados?
7.3.2 Mostra como o modelo de anlise foi validado?
A estatstica descritiva aquela que est interessada em descrever e sumarizar um

conjunto de dados. As medidas normalmente usadas so as medidas de tendncia central (mdia,
mediana e moda) e de disperso (desvio padro, varincia, valores mximo e mnimo). Entendese que devido natureza industrial do tema investigado pela presente pesquisa (elasticidade em
computao em nuvem), a disponibilizao dos dados brutos da pesquisa difcil, pois trata-se de
dados sensveis, muitas vezes confidenciais, mas quando estes so disponibilizados, adicionam
boa credibilidade pesquisa. Quaisquer preparao nos dados tambm devem ser relatadas,
incluindo (se propriado) quaisquer transformao nos dados, identificao de outliers e suas
potenciais remoes, tratamento de dados inexistentes (por exemplo, data points faltando em
sries temporais). As duas ltimas perguntas da seo dizem respeito a como foi feita a avaliao
dos dados e se/como foram aplicados os testes estatsticos de hiptese.
144
H.0.8
Discusso
Embora em muitos artigos a anlise e discusso sejam apresentadas na mesma seo,

sugere-se que elas sejam feitas em sees distintas. Com o intuito de identificar a completude
dos trabalhos neste quesito, as seguintes perguntas foram elaboradas:
Avaliao dos Resultados e Implicaes

8.1.1 Os resultados das avaliaes so apresentados?
8.1.2 Os resultados so relacionados a pesquisas anteriores?
Ameaas validade
Inferncias
8.2.1 As ameaas validade foram direcionadas?
8.3.1 Os achados foram generalizados para um escopo mais abrangente?
Lies Aprendidas
8.4.1 Apresenta experincias adquiridas durante a execuo do experimento?
Ao contrrio da seo de anlises, que tem como objetivo mostrar os dados crus, a seo
de discusso deve interpret-los. Pode incluir uma viso geral sobre os dados, alguma discusso
sobre a generalizao dos resultados, potenciais impactos em custos, tempo e qualidade. Nesta
seo, quando apropriado, os autores devem relatar se as hipteses foram confirmadas ou no.
Tambm importante relatar as ameaas validade (ameaas validade de construto, interna,
externa e de concluso).
H.0.9
Concluso e Trabalhos Futuros
Apresenta o fechamento da pesquisa, concluses mais importantes e faz um breve

resumo dos resultados. importante apresentar os impactos da pesquisa (por exemplo, custo,
desempenho, qualidade). Ainda na dimenso do impacto da pesquisa possvel descrever, por
exemplo, o nvel de maturidade da pesquisa, tempo para retorno do investimento. Para medir a
completude desta seo, as seguintes perguntas foram elaboradas:
Resumo
9.1.1 Apresenta um resumo conciso da pesquisa e seus resultados?
9.2.1 Descreve os impactos da pesquisa?
Impacto
145
Trabalhos Futuros
H.0.10
9.3.1 Aponta para trabalhos futuros?
Apndices
Os apndices podem conter informaes adicionais da pesquisa que no tinham espao

no corpo do artigo. Esta seo pode ser usada, por exemplo, para mostrar mais detalhadamente materiais experimentais, cargas de trabalho, dados brutos. A seguinte pergunta deve ser
respondida nesta seo:
10.1 Acrescenta materiais experimentais?

Análise Da Completude Dos Relatos de Experimentos em Elasticidade Na Computação em Nuvem: Um Mapeamento Sistemático

Diunggah oleh

Informasi Dokumen

Judul Asli

Hak Cipta

Format Tersedia

Bagikan dokumen Ini

Bagikan atau Tanam Dokumen

Opsi Berbagi

Apakah menurut Anda dokumen ini bermanfaat?

Apakah konten ini tidak pantas?

Hak Cipta:

Format Tersedia

Análise Da Completude Dos Relatos de Experimentos em Elasticidade Na Computação em Nuvem: Um Mapeamento Sistemático

Diunggah oleh

Hak Cipta:

Format Tersedia

Helaine Solange Lins Barreiros

ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS

Universidade Federal de Pernambuco

Universidade Federal de Pernambuco

Helaine Solange Lins Barreiros

ANLISE DA COMPLETUDE DOS RELATOS DE EXPERIMENTOS

Trabalho apresentado ao Programa de Ps-graduao em

Orientador: Vinicius Cardoso Garcia

Eu dedico esta dissertao a toda a minha famlia, amigos e

Eu amo aqueles capazes de sorrir em meio aos problemas.

Linha do tempo dos guias para relato de experimentos. (do autor) . . . . . . . .

Infraestrutura de Computao em Nuvem (obtido de EMC Corporation ) . . .

Mecanismos de elasticidade na computao em nuvem (do autor). . . . . . . .

Ciclo geral da pesquisa de mestrado apresentado em suas etapas e atividades. .

Metodologia planejada para a realizao do mapeamento sistemtico . . . . . .

Esquema de execuo da primeira rodada de seleo dos estudos do mapeamento

Esquema de execuo da segunda rodada de seleo dos estudos do mapeamento

Participao das estratgias de busca no quantitativo de estudos candidatos

Distribuio do quantitativo dos estudos candidatos identificados pela busca

Distribuio dos estudos candidatos resultantes da busca manual em relao aos

Participao das fontes de busca . . . . . . . . . . . . . . . . . . . . . . . . .

Distribuio temporal dos estudos selecionados . . . . . . . . . . . . . . . . .

Distribuio do quantitativo de estudos selecionados por fonte de dado e ano. .

Distribuio dos estudos selecionados por pases

4.10 Distribuio dos estudos selecionados por pases

4.11 Distribuio do quantitativo de estudos por tipo de instituio e ano . . . . . .

4.12 Distribuio dos estudos por modelo de servio e ano. . . . . . . . . . . . . . .

4.13 Pontuaes dos estudos nas questes que avaliam o ttulo. . . . . . . . . . . . .

4.14 Pontuao geral obtida pelos estudos na avaliao do resumo. . . . . . . . . . .

4.15 Pontuaes dos estudos nas questes que avaliam o resumo. . . . . . . . . . .

4.16 Pontuao geral obtida pelos estudos na introduo. . . . . . . . . . . . . . . .

4.17 Pontuao geral obtida pelos estudos na fundamentacao. . . . . . . . . . . . .

4.18 Pontuaes dos estudos nas questes que avaliam a fundamentao. . . . . . .

4.19 Pontuao geral obtida pelos estudos no planejamento. . . . . . . . . . . . . .

4.20 Pontuaes dos estudos nas questes que avaliam o planejamento. . . . . . . .

4.21 Pontuao geral obtida pelos estudos na anlise. . . . . . . . . . . . . . . . . .

Pontuaes dos estudos nas questes que avaliam a anlise. . .

G.1 Ambiente do Revisor: listagem de estudos para reviso . . . . . . . . . . . . . 134

Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .

Quantitativo de estudos candidatos localizados por fonte de dados. . . . . . . .

A.1 Listagem dos estudos selecionados em ordem alfabtica . . . . . . . . . . . . .

B.1 Estudos excludos em ordem alfabtica . . . . . . . . . . . . . . . . . . . . . . 107

String de Busca para identificar estudos secundrios existentes . . . . . . . . . 124

Acordo de Nvel de Servio . . . . . . . . . . . . . . . . . . . . . . .

Velocidade de Adio x Remoo . . . . . . . . . . . . . . .

Engenharia de Software Experimental . . . . . . . . . . . . . . . . . . . . . .

Mtodos Empricos na Engenharia de Software Experimental . . . . .

Guias para Relato de Experimentos . . . . . . . . . . . . . . . . . . .

Engenharia de Software Baseada em Evidncias . . . . . . . . . . . . . . . . .

Classificao Geral da Pesquisa . . . . . . . . . . . . . . . . . . . . . . . . . .

Classificao do Estudo Sistemtico Segundo Cooper . . . . . . . . . . . . . .

Etapa de Definio da Pesquisa . . . . . . . . . . . . . . . . . . . . .

Reviso Informal da Literatura . . . . . . . . . . . . . . . .

Definio do Tema, Objetivo e Escopo . . . . . . . . . . . .

Etapa de Planejamento do Mapeamento Sistemtico . . . . . . . . . .

Estratgia de Busca dos Estudos . . . . . . . . . .

Estratgia de Seleo dos Estudos . . . . . . . . .

Etapa de Execuo da Pesquisa . . . . . . . . . . . . . . . . . . . . .

Etapa de Divulgao dos Resultados . . . . . . . . . . . . . . . . . . .

Execuo do Mapeamento Sistemtico . . . . . . . . . . . . . . . . . . . . . .

Busca dos Estudos . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Seleo dos Estudos Primrios . . . . . . . . . . . . . . . . . . . . . .

Extrao dos Dados . . . . . . . . . . . . . . . . . . . . . . . . . . . .