Definio e Gerncia de Objetivos de Software Alinhados ao Planejamento Estratgico

Andrea Oliveira Soares Barreto, Ana Regina Cavalcanti da Rocha COPPE/UFRJ - Universidade Federal do Rio de Janeiro Caixa Postal 68511 CEP 21945-970 - Rio de Janeiro, Brazil
{ansoares, darocha}@cos.ufrj.br

Abstract. This paper presents an approach to support the definition of the business aligned software improvement goals and also to support the management of these goals. The approach promotes continuous monitoring of the defined goals and the execution of appropriate actions to address detected deviation, considering also the scenario of high maturity software organizations. This approach comprises three main components: a Method for Strategic, Tactical and Operational Planning in software organizations; an Infrastructure for Monitoring Strategic, Tactical and Operational Goals; and a Strategy for Corrective Actions Recommendation. The approach development and evaluation and the main results are described in this paper. Resumo. Este trabalho apresenta uma abordagem que apoia a definio de objetivos de software alinhados ao negcio da organizao e a gerncia desses objetivos. A abordagem promove a monitorao contnua dos objetivos definidos e a execuo de aes apropriadas para tratar os desvios detectados, considerando, inclusive o cenrio das organizaes de software de alta maturidade. Essa abordagem contm trs componentes principais: um Mtodo para Planejamento Estratgico, Ttico e Operacional em organizaes de software; uma Infraestrutura para Monitorao dos Objetivos definidos; e uma Estratgia para Recomendao de Aes Corretivas. O desenvolvimento da abordagem, sua avaliao e os principais resultados obtidos so descritos neste artigo.

1. Introduo
Organizaes que buscam a melhoria de seus processos de software precisam se preocupar em implementar melhorias que estejam alinhadas ao negcio da organizao. Estudos indicam que o alinhamento dessa melhoria aos objetivos de negcio um dos fatores crticos de sucesso (Pries-Heje e Johansen 2010; Guzmn et al. 2010; Montoni 2010). Assim, ao identificar seus objetivos de melhoria de software, uma organizao precisa se preocupar em definir objetivos alinhados aos objetivos de negcio. Neste trabalho utilizado o conceito de objetivo de software como um tipo de objetivo de melhoria de software que: uma decomposio de um objetivo de negcio; mensurvel; e diz respeito apenas a produtos ou processos de software (Barreto 2011). Apesar de existirem na literatura vrias evidncias da necessidade de alinhamento das melhorias de processos de software aos objetivos de negcio obter esse alinhamento pode no ser to simples (Becker et al. 2008). Especificamente em

organizaes de alta maturidade, obter esse alinhamento pode se mostrar mais complexo, uma vez que, neste contexto, a organizao precisa, ainda, planejar o controle estatstico de seus processos de software (SEI 2010; SOFTEX 2009). Alm de definir objetivos de melhoria de software alinhados aos seus objetivos de negcio, uma organizao tambm precisa acompanh-los continuamente de modo a detectar possveis ameaas ao alcance desses objetivos e, se necessrio, tomar aes adequadas com o intuito de facilitar o alcance dos objetivos. Para que essa monitorao seja bem sucedida, um dos problemas a ser tratado, a dificuldade em detectar desvios, descobrir as causas e ento tomar aes apropriadas (Boffoli et al. 2008). Diante das dificuldades supracitadas e da carncia de estudos que tratem essas dificuldades, este trabalho teve como objetivo geral definir uma abordagem que apoie as organizaes na definio de objetivos de software alinhados ao negcio da organizao e na gerncia desses objetivos promovendo a monitorao contnua e a execuo de aes mais adequadas para tratar os desvios detectados. Visando alcanar o objetivo geral deste trabalho e com base nas etapas de um trabalho cientfico propostas por Wazlawick (2009) e Appolinario (2006), o desenvolvimento da pesquisa foi orientado pelas seguintes etapas: (i) Definio do tema da pesquisa; (ii) Reviso da literatura; (iii) Definio do objetivo da pesquisa; (iv) Elaborao da abordagem proposta; (v) Anlise da viabilidade da abordagem proposta; e (vi) Evoluo da abordagem proposta. Inicialmente as trs primeiras etapas foram executadas de forma iterativa. Posteriormente, a reviso da literatura continuou at a concluso do trabalho, inclusive com a execuo de estudos baseados em reviso sistemtica da literatura. A partir do objetivo definido, iniciou-se ento a elaborao da abordagem proposta, que composta por trs componentes principais, conforme detalhado na seo 4. Nessa etapa os componentes da abordagem foram identificados, a proposta para cada componente foi elaborada e as ferramentas de apoio utilizao da abordagem foram desenvolvidas. Para apoiar a elaborao da proposta, um survey foi realizado, conforme descrito na seo 4.3. Para cada componente da abordagem, medida que a etapa de elaborao da proposta foi concluda, um estudo de viabilidade foi realizado. O primeiro e o segundo componentes foram utilizados em organizaes de software, e, para o terceiro componente, a viabilidade foi analisada com base em um estudo experimental, conforme descrito na seo 5. Para apoiar o planejamento e a execuo do estudo experimental, dois estudos baseados em reviso sistemtica da literatura foram realizados, conforme descreve a seo 5. Por fim, a partir dessas anlises de viabilidade, a abordagem proposta inicialmente foi evoluda. A seo a seguir apresenta uma breve reviso da literatura sobre melhoria de processos de software e planejamento estratgico. A seo 3 descreve algumas abordagens relacionadas monitorao de objetivos e execuo de aes para tratar eventuais desvios. Na seo 4, a abordagem proposta descrita em detalhes. A seo 5 descreve as avaliaes da abordagem proposta que foram realizadas neste trabalho e a seo 6 apresenta as consideraes finais e concluses deste trabalho.

2. Alinhamento Estratgico da Melhoria de Processos de Software

Uma organizao pode ser analisada sob trs nveis: Estratgico, Ttico e Operacional. No nvel estratgico so definidos os objetivos estratgicos, que so de longo prazo, e as

aes para alcan-los. No nvel ttico, que responsvel pela comunicao entre os nveis estratgico e operacional, so definidos os objetivos tticos, que normalmente so de mdio ou curto prazo, e as aes para alcan-los. O nvel operacional a base da organizao onde so definidas as tarefas a serem executadas (Chiavenato 2000). No nvel ttico, no contexto das organizaes de software, os objetivos tticos podem ou no estar relacionados ao software. Quando relacionados ao software, pode-se dizer que esses objetivos representam os objetivos de melhoria de software da organizao. Nesse nvel, alm de definirem seus objetivos tticos, organizaes de software precisam planejar a medio de software e, se desejam alcanar uma maior maturidade de seus processos de software, elas tambm precisam planejar o controle estatstico de processos (SEI 2010; SOFTEX 2009). Alguns trabalhos tm sido desenvolvidos com o objetivo de promover o alinhamento estratgico da melhoria de software, dentre eles: o BOQM - Balanced Objective-Quantifiers Methodology (Guzmn et al. 2010); um roadmap para alinhar a estratgia de negcio e as melhorias de processo de software (Asato et al. 2009); e, uma proposta para a conduo de programas de melhoria de processos alinhado aos objetivos organizacionais (Becker 2007). No entanto, observou-se que ainda existiam questes a serem respondidas relacionadas definio dos objetivos tticos e objetivos de melhoria alinhados estrategicamente, e integrao do planejamento da medio e do controle estatstico de processos ao planejamento ttico da organizao.

3. Monitorao de Objetivos e Execuo de Aes Corretivas

Alm de definir seus objetivos, uma organizao precisa acompanh-los continuamente, verificar se esto sendo atingidos e detectar previamente desvios que ameacem o alcance desses objetivos. Nesse contexto, a organizao precisa tomar aes que a levem a alcanar esses objetivos (McBride 2008). Porm, analisar desvios e determinar quais aes tendem a ser mais adequadas pode ser difcil (Barreto e Rocha 2010a). Diante dessa dificuldade, sistemas de recomendao tm sido desenvolvidos para auxiliar na busca por informaes e apoiar a tomada de decises em situaes onde falta experincia ou no possvel, sem auxlio tecnolgico, considerar todas as informaes disponveis (Robillard et al. 2010). Alguns sistemas de recomendao so descritos em (Thies e Roth 2010; Trindade 2009). Recomendaes podem ser baseadas em conhecimento adquirido com experincias anteriores. Uma das abordagens para apoiar a captura, organizao e armazenamento de experincias anteriores e o aprendizado sobre como resolver novos problemas a partir de solues passadas o Raciocnio Baseado em Casos RBC (Case-Based Reasoning - CBR). Nessa abordagem, a anlise de similaridade um fator crtico uma vez que a eficcia do RBC depende essencialmente da escolha de um conceito de similaridade adequado para o domnio da aplicao e a estrutura dos casos usados (Wangenheim e Wangenheim 2003). Algumas aplicaes do RBC para recomendao so descritas em (Santos e Corts 2010; Bomfim et al. 2007).

4. Abordagem Proposta para Definio e Gerncia de Objetivos de Software

A abordagem proposta neste trabalho composta por trs componentes: (i) Mtodo para Planejamento Estratgico, Ttico e Operacional em Organizaes de Software; (ii)

Infraestrutura para Monitorao de Objetivos; e (iii) Estratgia para Recomendao de Aes Corretivas, conforme mostra a Figura 1.
Componente I - Mtodo para Planejamento Estratgico, Ttico e Operacional em Organizaes de Software Mtodo para Planejamento Estratgico, Ttico e Operacional
Conceitos para definio de objetivos Legenda Troca de informaes e dados

Objetivos e indicadores de monitorao

Base de Objetivos

Informaes de medidas

Modelo de Informao para Planejamento Estratgico, Ttico e Operacional

Monitorao de informaes e dados

Componente II - Infraestrutura para Monitorao de Objetivos Monitorao, Deteco e Notificao de Desvios

Desvios

Coletas das medidas

Execuo dos Projetos

Base de Medidas

Aes Recomendadas Casos

Recomendao de Aes
Casos

Anlise das Aes Executadas

Base de Casos

Componente III Estratgia para Recomendao de Aes Corretivas

Figura 1. Viso geral da abordagem proposta

A definio e a utilizao do mtodo para planejamento estratgico, ttico e operacional so apoiadas por um modelo de informao que descreve os conceitos necessrios para a elaborao do planejamento nos trs nveis. Esse modelo de informao e o mtodo para planejamento estratgico, ttico e operacional so usados como base para os demais componentes da abordagem proposta. A aplicao do mtodo permite a definio de objetivos estratgicos, tticos e operacionais, bem como a associao de indicadores para a monitorao dos objetivos definidos. Esses objetivos so acompanhados pela infraestrutura de monitorao, com base nas medidas coletadas para os indicadores de monitorao. A infraestrutura de monitorao responsvel por analisar continuamente os valores coletados para os indicadores, detectar e notificar a ocorrncia de desvios e armazenar os desvios detectados na base de casos que est descrita na seo 4.3. Durante a notificao de um desvio, a estratgia para recomendao de aes corretivas identifica casos de desvios similares ao desvio atual e recomenda as aes executadas com sucesso nos casos similares. Tanto as aes recomendadas como a ao executada pelo usurio so armazenadas na base de casos. Aps a recomendao da ao, a estratgia analisa as novas medidas coletadas para o indicador que evidenciou o desvio e infere o efeito da ao executada. O efeito percebido pela estratgia submetido validao do usurio e, ento, ele armazenado na base de casos. Essa abordagem foi definida considerando a sua aplicao em dois cenrios: (i) Cenrio sem alta maturidade: cenrio das organizaes de software cujos processos so

aderentes aos nveis iniciais de maturidade e que no esto buscando atingir a alta maturidade; e, (ii) Cenrio com alta maturidade: cenrio das organizaes de software cujos processos j so aderentes aos nveis mais altos de maturidade ou que esto buscando atingir a alta maturidade. A principal diferena na aplicao da abordagem proposta nesses cenrios est na utilizao do mtodo para planejamento estratgico, ttico e operacional. No cenrio (i), a aplicao do mtodo no precisa considerar o controle estatstico de processos. Assim, os objetivos e indicadores de monitorao so definidos com base na anlise de dados de medies anteriores, sem a aplicao de tcnicas estatsticas. A aplicao do mtodo no cenrio (ii) deve considerar o controle estatstico de processos e a definio de objetivos especficos relacionados aos processos a serem controlados estatisticamente. Nesse cenrio, a infraestrutura de monitorao dos objetivos e a estratgia para recomendao tambm devem monitorar os objetivos relacionados aos processos usando o controle estatstico de processos. No contexto deste trabalho tambm foram desenvolvidas as seguintes ferramentas de apoio: (i) Ferramenta de apoio execuo do mtodo para planejamento estratgico, ttico e operacional em organizaes de software; (ii) Ambiente de apoio monitorao dos objetivos que implementa a infraestrutura para monitorao de objetivos proposta; e, (iii) Sistema de recomendao de aes corretivas que implementa a estratgia para recomendao de aes corretivas. 4.1. Mtodo para Planejamento Estratgico, Ttico e Operacional O mtodo proposto descreve os passos a serem executados em cada um dos nveis e diretrizes para o planejamento. A Figura 2 apresenta a viso geral do mtodo.

Figura 2. Viso geral do mtodo para planejamento estratgico, ttico e operacional em organizaes de software

Em cada nvel da organizao realizado um planejamento onde os objetivos daquele nvel so definidos, juntamente com os indicadores para monitorao de cada objetivo. Os objetivos so monitorados e aes corretivas so executadas, se necessrio.

Para facilitar a elaborao dos planejamentos estratgico, ttico e operacional importante definir alguns conceitos, bem como a relao existente entre eles. Para isso, um modelo de informao para planejamento estratgico, ttico e operacional em organizaes de software foi proposto neste trabalho. O modelo define uma terminologia padro e uma relao entre os objetivos, sendo responsvel por associar as informaes necessrias para definir e monitorar os objetivos estratgicos, tticos e operacionais em organizaes de software. Esse modelo descreve os seguintes conceitos bsicos: Objetivo Estratgico, Interao entre Objetivos, Iniciativa Estratgica, Objetivo Ttico, Objetivo Ttico no Relacionado a Software, Objetivo de Software, Objetivo de Software de Mdio Prazo, Objetivo de Software de Curto Prazo, Objetivo Quantitativo de Qualidade e Desempenho, Objetivo do Projeto e Indicador de Monitorao. A Figura 3, a Figura 4 e a Figura 5 apresentam, respectivamente, as etapas para planejamento estratgico, ttico e operacional, segundo o mtodo proposto. Maiores detalhes relacionados a cada nvel esto descritos em (Barreto e Rocha 2010b).

Figura 3. Etapas do planejamento estratgico

Figura 4. Etapas do planejamento ttico

Figura 5. Etapas do planejamento do projeto

4.2. Infraestrutura para Monitorao de Objetivos A infraestrutura para monitorao dos objetivos proposta visa acompanhar continuamente os indicadores associados aos objetivos com o intuito de detectar e notificar eventuais ocorrncias de desvios. A Figura 6 ilustra a infraestrutura proposta.
Mtodo para Planejamento Estratgico, Ttico e Operacional Objetivos Indicadores de Monitorao Regras para Anlise dos Indicadores

Execuo dos Projetos

Coletas das medidas

Base de Medidas

Nova Coleta

Monitorao, Deteco e Notificao de Desvios

Notificao do Desvio Novo Desvio

Base de Casos

Figura 6. Infraestrutura para Monitorao dos Objetivos

Durante a execuo dos projetos, as medidas identificadas no planejamento da medio so coletadas e armazenadas na base de medidas. A infraestrutura acompanha continuamente todas as medidas coletadas na organizao, verifica se a medida que est sendo coletada usada para monitorar algum objetivo e, caso afirmativo, analisa o valor coletado de modo a detectar desvios potenciais ou desvios reais. A anlise das medidas coletadas e a deteco dos desvios so baseadas nas regras para anlise dos indicadores de monitorao (critrios de deciso) detalhadas juntamente com a definio dos objetivos e indicadores. Para cada coleta registrada que est associada a uma medida usada para monitorar algum objetivo, cada regra definida para anlise do indicador, descrita no procedimento de anlise associado ao objetivo, verificada de modo a identificar aquela que atendida pelo valor coletado. A partir disso, se a regra atendida no est associada a um desvio, a anlise da coleta finalizada e o valor coletado interpretado como aceitvel. Por outro lado, se a regra atendida est associada a um desvio, ele detectado, armazenado na base de casos, descrita na seo 4.3, e ento notificado. A Figura 7 apresenta uma tela do ambiente de apoio monitorao dos objetivos implementado neste trabalho, destacando a notificao de dois desvios detectados.

Figura 7. Notificao de desvios no ambiente de apoio monitorao

4.3. Estratgia para Recomendao de Aes Corretivas Para desenvolver a estratgia para recomendao de aes corretivas proposta, inicialmente o problema a ser tratado pela estratgia foi definido e, ento, buscou-se definir uma soluo para esse problema, considerando a necessidade de aproveitar o conhecimento associado s experincias anteriores. A partir da soluo definida, as etapas para o desenvolvimento da soluo foram identificadas e executadas, originando a estratgia proposta. A Figura 8 ilustra essa estratgia.
Infraestrutura para Monitorao de Objetivos
1 3 4

Cenrio de Ocorrncia do Desvio Estratgia para Recomendao de Aes Corretivas

Aes Recomendadas

Ao Executada

Recomendao de Aes

Base de Medidas
Novas Coletas relacionadas ao cenrio de ocorrncia do desvio

Ao executada

Base de Casos
6
Caso n Caso Caso 1 Cen rio de Ocorrncia do Desvio Efeito da Ao Executa da
Cenrio de ocorrncia do desvio

Efeito da Ao Executada

Anlise das Aes Executadas

A o Executada

Figura 8. Estratgia para Recomendao de Aes Corretivas

Essa estratgia aplica o RBC, considerando que um caso contm trs partes: problema, soluo e avaliao da soluo. O problema descrito como o cenrio de ocorrncia do desvio. A soluo registra a ao executada para tratar o desvio e a avaliao da soluo descreve o efeito da ao. O cenrio de ocorrncia do desvio descreve: informaes do desvio, objetivo afetado, informaes da coleta do indicador que sinalizou o desvio e contexto da coleta da medida. Ao detectar um desvio, a infraestrutura para monitorao solicita estratgia as aes mais adequadas, informando o cenrio de ocorrncia do desvio. Com base nesse cenrio, e considerando os casos armazenados na base de casos, a estratgia para recomendao sugere as aes mais adequadas. Vale destacar que a recomendao das aes mais adequadas envolve sugerir: (i) aes que se mostraram efetivas para tratar os desvios detectados em experincias de desvios que ocorreram anteriormente em cenrios similares ao atual e que, por isso, poderiam ser executadas para tratar o desvio atual; e, (ii) aes que no deveriam ser executadas no cenrio atual, considerando que em experincias anteriores similares, a execuo dessas aes aumentou o desvio, ao invs de trat-lo. A recomendao da estratgia apresentada ao usurio que escolhe qual ao ser executada, podendo ser qualquer ao, inclusive alguma que no tenha sido recomendada. A ao escolhida para execuo informada estratgia e esta armazena a ao escolhida na base de casos. Posteriormente, quando novas coletas so registradas para o indicador que sinalizou o desvio, a estratgia analisa as novas coletas considerando o cenrio de ocorrncia do desvio e as regras de anlise associadas ao indicador que sinalizou o desvio e infere o efeito da ao executada segundo um conjunto de heursticas definidas neste trabalho, que pode ser positivo, negativo ou indiferente. A anlise do efeito realizada pela estratgia submetida validao do usurio e ento o resultado dessa validao considerado pela estratgia, ao sugerir as aes mais adequadas. Uma das definies mais importantes para a anlise de similaridade entre casos a definio de quais informaes sero consideradas na comparao entre casos, isto , os ndices do caso. Buscando-se caracterizar um conjunto de informaes relevantes para indicar o grau de similaridade entre cenrios de ocorrncia de desvios, um survey foi realizado. Como principal resultado, foi obtido um conjunto de caractersticas de projeto e o grau de relevncia de cada caracterstica para a anlise de similaridade entre cenrios de ocorrncia de desvios, conforme mostra a Tabela 1. Uma descrio detalhada do planejamento e execuo do survey, bem como a anlise dos resultados obtidos esto descritas em (Barreto e Rocha 2010a).
Tabela 1. Conjunto de caractersticas resultante do survey
Caracterstica Categoria do Objetivo Indicador Cliente Experincia da Equipe Experincia do Gerente Natureza do projeto Complexidade do Software Tipo de Software Grau de Relevncia 5,90% 5,76% 5,27% 5,26% 4,98% 4,83% 4,79% 4,71% Caracterstica Estabilidade dos Requisitos Tamanho do Projeto Inovao Tecnolgica Tecnologias Domnio da Aplicao Restrio de Recursos Humanos Restrio de Recursos Financeiros Grau de Relevncia 4,71% 4,67% 4,63% 4,47% 4,36% 4,27% 4,27% Caracterstica Tipo de Desvio Nvel Restrio de Cronograma Tamanho da Equipe Durao do Projeto Modelo de Ciclo de Vida Paradigma Grau de Relevncia 4,11% 4,07% 4,05% 3,89% 3,87% 3,66% 3,47%

Na estratgia para recomendao de aes corretivas, esse conjunto de caractersticas usado para analisar a similaridade entre cenrios de ocorrncia de desvios. Cada caracterstica considerada um ndice do caso e o grau de relevncia de cada caracterstica interpretado como o peso do ndice, conforme descrito a seguir. Para medir a similaridade entre casos, a estratgia proposta aplica uma medida baseada na medida de similaridade Weighted Nearest Neighbor WNN, considerando a representao do caso definida para a estratgia. Essa medida calcula a similaridade entre dois casos considerando a soma ponderada da similaridade entre cada ndice (cada ndice possui um peso a ser considerado no clculo). A medida de similaridade proposta, denominada SimCOD - Similaridade entre Cenrios de Ocorrncia de Desvio, indica a grau de similaridade entre dois cenrios de ocorrncia de desvio: o cenrio de ocorrncia do desvio atual - CODa e o cenrio de ocorrncia de um desvio ocorrido no passado - CODp. Detalhes dessa medida, as frmulas de clculo e uma situao hipottica ilustrando o uso da medida proposta para anlise de similaridade entre dois cenrios de ocorrncia de desvios so apresentados em (Barreto e Rocha 2010a). A estratgia proposta foi implementada em um Sistema de Recomendao de Aes Corretivas. Nesse sistema, a alimentao da base de casos se d automaticamente, sempre que um desvio detectado, uma ao executada para tratar esse desvio e o efeito da ao executada analisado pelo sistema. A Figura 9 mostra a tela do sistema com as aes recomendadas para tratar um desvio detectado, permitindo o registro da ao executada e o prazo esperado para observar o efeito dessa ao.

Figura 9. Recomendao de aes corretivas no sistema de recomendao

Para viabilizar a anlise automtica do efeito das aes executadas e a recomendao das aes mais adequadas dois agentes foram implementados: o agente

de anlise do efeito e o agente de recomendao de aes. O agente de recomendao implementa algoritmos de recuperao sequencial e de dois nveis. O agente de anlise do efeito da execuo da ao responsvel por monitorar continuamente a base de medidas procura de novas coletas registradas para indicadores associados a desvios com ao executada e ainda sem efeito registrado. Para isso ele verifica um conjunto de heursticas propostas neste trabalho para a anlise desse efeito, identifica aquela que aplicvel a cada coleta e ento infere e registra o efeito na base de casos.

5. Avaliaes da Abordagem Proposta

A abordagem proposta neste trabalho apoia as organizaes na definio de objetivos de software alinhados estrategicamente, na execuo de aes mais adequadas para tratar desvios relacionados aos objetivos definidos e, consequentemente, no alinhamento estratgico das melhorias de software. Assim, para avaliar a abordagem como um todo seria necessrio avaliar o uso de toda a abordagem em organizaes de software, desde a elaborao do planejamento estratgico e das melhorias de software alinhadas estrategicamente at a execuo de vrios projetos que operacionalizassem o planejamento estratgico, de modo a analisar a real contribuio da utilizao da abordagem. Nesse contexto, considerando a limitao de tempo, avaliaes intermedirias dos componentes da abordagem foram realizadas ao longo deste trabalho, medida que os componentes foram desenvolvidos. Os resultados obtidos nas avaliaes intermedirias vo ao encontro dos resultados esperados para este trabalho. Com o intuito de analisar a viabilidade de uso do Mtodo para Planejamento Estratgico, Ttico e Operacional em Organizaes de Software, o modelo e o mtodo propostos neste trabalho foram utilizados em uma organizao. Com relao ao mtodo utilizado, na percepo dos participantes a sequncia dos passos se mostrou adequada. Segundo os participantes, o uso de um mtodo para orientar as etapas e um modelo de informao para identificar as informaes que deveriam ser descritas se mostrou bastante interessante, pois facilitou o planejamento estratgico, guiando as discusses e evitando longas reunies para se chegar s definies necessrias. Foram identificadas vrias melhorias, tanto no mtodo como no modelo de informao propostos, que foram analisadas e implementadas, permitindo uma evoluo da proposta. Uma descrio detalhada da aplicao do mtodo proposto pode ser encontrada em (Barreto e Rocha 2009). Os resultados obtidos com essa experincia de aplicao do mtodo apresentam indcios de que a utilizao do mtodo orienta as etapas dos planejamentos estratgico, ttico e operacional, promovendo a definio de objetivos de melhoria de software alinhados ao negcio da organizao. Em relao Infraestrutura para Monitorao de Objetivos Estratgicos, Tticos e Operacionais em Organizaes de Software, ao longo do desenvolvimento dessa proposta foram realizadas experincias de aplicao dessa infraestrutura no contexto de duas organizaes de software. Essas experincias utilizaram um processo off-line, uma vez que, devido a limitaes para disponibilizar o ambiente desenvolvido no contexto real das duas organizaes, optou-se por solicitar que as organizaes enviassem ao pesquisador as informaes dos objetivos definidos e das medidas coletadas durante a monitorao desses objetivos. A partir disso, essas informaes foram submetidas ao ambiente de monitorao desenvolvido, para que os desvios, potenciais ou reais, fossem detectados. Foram considerados 3 indicadores distintos,

monitorados em 10 projetos atravs de 94 coletas. Essas informaes permitiram que a infraestrutura proposta detectasse, armazenasse e notificasse 40 desvios. Essas experincias permitiram avaliar se o ambiente de monitorao desenvolvido realmente era capaz de detectar os desvios conforme esperado. Foi possvel observar que para todas as coletas registradas no ambiente, os desvios foram detectados corretamente, tanto desvios potenciais como desvios reais. Essas tambm experincias permitiram identificar melhorias na infraestrutura que direcionaram uma evoluo da proposta. As melhorias identificadas foram analisadas e implementadas, dando origem verso da infraestrutura apresentada. Os resultados obtidos indicam que a aplicao dessa infraestrutura em um contexto real vivel e que tende a auxiliar a deteco contnua e proativa dos desvios. Para caracterizar a viabilidade de utilizao da Estratgia para Recomendao de Aes Corretivas, um estudo experimental foi realizado. A verso inicial da estratgia para recomendao de aes considerava somente a aplicao da tcnica de recuperao sequencial e, por isso, inicialmente o sistema de recomendao foi avaliado considerando somente essa tcnica. Porm, os resultados obtidos inicialmente indicaram a necessidade de melhorar o desempenho da estratgia com relao qualidade da recomendao. Por isso, a estratgia para recomendao de aes corretivas e o sistema de recomendao desenvolvido foram evoludos para tambm considerarem a aplicao da tcnica de recuperao de dois nveis. O objetivo do estudo foi analisar a estratgia com o propsito de caracterizar a viabilidade de uso com relao ao desempenho (qualidade da recomendao e tempo gasto) do sistema de recomendao que implementa a estratgia proposta em comparao com a opinio de especialistas. Para definir como a qualidade da recomendao seria caracterizada, um estudo baseado em reviso sistemtica da literatura foi executado, e com base nesse estudo, as seguintes medidas foram selecionadas: Preciso (probabilidade de uma ao recomendada pelo sistema de recomendao ser adequada), Cobertura (probabilidade de uma ao adequada ser recomendada pelo sistema de recomendao) e F1 (mdia balanceada entre Preciso e Cobertura). Uma medida de Acurcia definida na literatura tambm foi selecionada, como uma anlise complementar. Para determinar o que seria um desempenho aceitvel quanto qualidade da recomendao foi considerado que as recomendaes dos participantes foram adequadas, uma vez que os participantes so especialistas em gerncia de projetos. Assim, os valores das medidas Preciso, Cobertura, F1 e Acurcia para o sistema de recomendao foram calculados com relao opinio dos participantes. Considerando que as medidas Preciso e Cobertura so conflitantes entre si e que a medida F1 apresenta uma mdia harmnica dessas duas medidas, a anlise da qualidade da recomendao foi baseada somente na medida F1. Para definir o que seria um valor aceitvel para a medida F1, um segundo estudo baseado em reviso sistemtica da literatura foi executado. Esse estudo teve como resultado principal um conjunto de avaliaes recentes de sistemas de recomendao usando as medidas Preciso, Cobertura e F1 com valores mdios de 60,16%, 61,12% e 57,91%, respectivamente. Assim, foi definido o valor de referncia para a medida F1: 57,91%. Esse valor indica que na mdia, balanceando a Preciso e a Cobertura, 57,91% das aes recomendadas

pelo sistema so adequadas. No estudo realizado neste trabalho, essas medidas foram calculadas para trs valores mnimos de similaridade: 60%, 65% e 70%. Foram definidas duas hipteses nulas: H01: O sistema de recomendao que implementa a estratgia proposta apresenta valores para a medida F1 inferiores a 57,91%; e H02: O tempo gasto pelo sistema de recomendao para recomendar as aes mais adequadas superior ao tempo gasto pelos participantes do estudo para determinar as aes mais adequadas. Os principais resultados do estudo so exibidos na Figura 10.
Mdia consolidada das medidas Preciso, Cobertura, F1 e Acurcia - tcnica de recuperao de dois nveis
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Preciso Similaridade 70% Cobertura F1 Acurcia Similaridade 60%

Desvio padro consolidado das medidas Preciso, Cobertura, F1 e Acurcia - tcnica de recuperao de dois nveis
100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Preciso Similaridade 70% Cobertura F1 Acurcia Similaridade 60%

Similaridade 65%

Similaridade 65%

Figura 10. Mdia e desvio padro das medidas Preciso, Cobertura, F1, Acurcia

Considerando que o tempo mdio gasto pelo sistema de recomendao, quando aplicada a tcnica de recuperao de dois nveis, foi de 27 segundos, e que o tempo mdio gasto pelos participantes foi de 11,8 minutos, a hiptese nula H02 foi rejeitada. Com relao qualidade da recomendao, considerando que o sistema, quando aplicada a tcnica de recuperao de dois nveis, apresentou valores para a medida F1 superiores a 57,91%, pode-se dizer que o sistema de recomendao apresentou um desempenho aceitvel dado que o valor mdio da medida F1 (64,01%) superior ao valor de referncia. Porm, considerando o desvio padro mdio da medida F1 obtida pelo sistema de recomendao (15,89%) e o desvio padro mdio do valor de referncia (17,34%), no foi possvel rejeitar a hiptese nula H01. Assim, os resultados deste estudo apresentam indcios de que o desempenho do sistema de recomendao proposto equivalente ao desempenho dos sistemas considerados no clculo do valor de referncia. A anlise complementar da medida Acurcia tambm mostrou um bom desempenho do sistema de recomendao, uma vez que quando aplicada a tcnica de recuperao de dois nveis, a Acurcia foi superior a 75%. Essa medida indica que, considerando os dados analisados nesse estudo, a probabilidade de a estratgia proposta fazer recomendaes adequadas, isto , recomendar aes adequadas e no recomendar aes no adequadas superior a 75%. Portanto, os resultados da avaliao experimental apresentam indcios de que a estratgia proposta til para o gerente de projetos no momento da monitorao dos objetivos do projeto, uma vez que ela capaz de fazer boas recomendaes de aes para tratar os desvios detectados. Maiores detalhes desse estudo experimental e dos estudos baseados em reviso sistemtica da literatura realizados neste trabalho esto descritos em (Barreto 2011).

6. Concluso
Este trabalho apresentou uma abordagem que apoia as organizaes na definio de objetivos de melhoria de software alinhados ao negcio da organizao e na gerncia desses objetivos de modo a promover a monitorao contnua e a execuo de aes mais adequadas para tratar os desvios detectados, considerando, inclusive o cenrio das organizaes de software de alta maturidade. A abordagem define um modelo de informao e um mtodo para planejamento estratgico, ttico e operacional em organizaes de software; uma infraestrutura para a monitorao contnua e proativa dos objetivos definidos; uma estratgia para recomendao de aes para tratar desvios detectados na monitorao dos objetivos, e tambm disponibiliza ferramental de apoio para a utilizao da abordagem proposta. As principais contribuies deste trabalho so: (i) a abordagem para definio e gerncia de objetivos de software alinhados ao planejamento estratgico, considerando, inclusive, o cenrio de organizaes de software de alta maturidade; (ii) o mtodo e o modelo de informao para planejamento estratgico, ttico e operacional; (iii) a infraestrutura de apoio monitorao contnua e proativa dos objetivos; (iv) a estratgia para recomendao de aes corretivas a partir de um aprendizado contnuo sobre a execuo de aes na organizao; (v) a ferramenta de apoio execuo do mtodo proposto; (vi) o ambiente de apoio monitorao dos objetivos; (vii) o sistema de recomendao que implementa a estratgia para recomendao; (viii) o conjunto de caractersticas relevantes para a anlise de similaridade entre cenrios de desvio em projetos e o grau de relevncia de cada caracterstica; (ix) a medida de similaridade definida (SimCOD) que indica a grau de similaridade entre dois cenrios de desvio; e (x) a lista de avaliaes de sistemas de recomendao e os valores obtidos para as medidas Preciso, Cobertura e F1 resultantes do estudo baseado em reviso sistemtica. Esses resultados esto descritos em publicaes, conforme citado anteriormente.

Referncias
Appolinario, F., 2006, Metodologia da Cincia: Filosofia e prtica da pesquisa, So Paulo, Thomson. Asato, R., Spinola, M.M., Costa, I., Silva, W.H.F., 2009, "Alignment Between the Business Strategy and the Software Processes Improvement: A Roadmap for the Implementation", In: Portland International Conference on Management of Engineering & Technology, pp.1066-1071, Portland, Estados Unidos. Barreto, A.O.S, 2011, Definio e Gerncia de Objetivos de Software Alinhados ao Planejamento Estratgico, Tese de D. Sc., COPPE/UFRJ. Barreto, A.O.S., Rocha, A.R., 2009, "Definio e Monitorao de Objetivos de Software Alinhados ao Planejamento Estratgico". In: VIII Simpsio Brasileiro de Qualidade de Software, Ouro Preto, Brasil, pp. 114-128, Junho. Barreto, A.O.S., Rocha, A.R., 2010a, "Analyzing the Similarity among Software Projects to Improve Software Project Monitoring Processes", In: 7th International Conference on the Quality of Information and Communications Technology (QUATIC), Porto, Portugal, pp. 441-446, Outubro.

Barreto, A.O.S., Rocha, A.R., 2010b, Defining and Monitoring Strategically Aligned Software Improvement Goals, In: 11th International Conference on Product Focused Software Process Improvement, LNCS, v. 6156/2010, Ireland, pp. 380394. Becker, A.L., 2007, Alinhamento Estratgico de Programas de Melhoria do Processo de Software em Micro e Pequenas Empresas, Dissertao de M. Sc., PUCRS. Becker, A.L., Prikladnicki, R., Audy, J.L.N., 2008, Strategic Alignment of Software Process Improvement Programs Using QFD, In: 1st International Workshop on Business Impact of Process Improvements, pp. 9-14, Leipzig, Germany, May. Boffoli, N., Bruno, G., Caivano, D., Mastelloni, G., 2008, Statistical Process Control for Software: a Systematic Approach, In: 2nd IEEE International Symposium on Empirical Software Engineering and Measurement, pp. 327-329, Germany, October. Bomfim, E., Oliveira, J., Souza, J.M., 2007, Using a CBR Approach Based on Ontologies for Recommendation and Reuse of Educational Processes, International Journal of Web Based Communities, v. 3, n. 2, pp. 170-182. Chiavenato, I., 2000, Administrao: Teoria, Processo e Prtica, SP, MakronBooks. Guzmn, J.G., Mitre, H.A., Amescua, A., Velasco, M., 2010, Integration of strategic management, process improvement and quantitative measurement for managing the competitiveness of software engineering organizations, Software Quality Journal, v. 18, n. 3, pp. 341359. McBride, T., 2008, The mechanisms of project management of software development, Journal of Systems and Software, v. 81, n. 12, pp. 2386-2395. Montoni, M.A., 2010, Uma Investigao sobre os Fatores Crticos de Sucesso em Iniciativas de Melhoria de Processos de Software, Tese de D. Sc., COPPE/UFRJ. Pries-Heje, J., Johansen, J., 2010, SPI Manifesto, Version A.1.2.2010. Robillard, M.P., Walker, R.J., Zimmermann, T., 2010, Recommendation Systems for Software Engineering, IEEE Software, v. 27, pp. 80-86. Santos, V.A., Corts, M.I., 2010, Organizational Knowledge Management through Software Process Reuse and Case-based Reasoning, In: 12th International Conference on Enterprise Information Systems, pp. 223-228, Madeira, Portugal. SEI, 2010, Capability Maturity Model Integration (CMMI) for Development, Version 1.3, Carnegie Mellon University, Software Engineering Institute. SOFTEX, 2009, MPS.BR - Melhoria de Processo do Software Brasileiro, Guia Geral : 2009, SOFTEX - Associao para Promoo da Excelncia do Software Brasileiro. Thies, A., Roth, C., 2010, Recommending Rename Refactorings, International Workshop Recommendation Systems for Software Engineering, pp.1-5, South Africa. Trindade, C.C., 2009, Presley: Uma Ferramenta de Recomendao de Especialistas para Apoio Colaborao em Desenvolvimento Distribudo de Software, Dissertao de M. Sc., Centro de Informtica, UFPE, Recife, Brasil. Wangenheim C.G., Wangenheim, A., 2003, Raciocnio Baseado em Casos, Manole, SP. Wazlawick R.S. 2009, Metodologia de Pesquisa para Cincia da Computao, Elsevier