SPICE: UN MARCO PARA LA EVALUACIN DE PROCESOS SOFTWARE

Antonio de Amescua, Juan Llorns, ngel Garca

Departamento de Informtica
Universidad Carlos III de Madrid
amescua@inf.uc3m.es

Resumen
Para que una organizacin mejore la calidad de sus productos debe tener un mtodo
probado, consistente y fiable para evaluar el estado de sus procesos y adems, unos
medios para usar los resultados de la evaluacin como parte de un programa de mejora
coherente. El proyecto internacional SPICE, llevado a cabo por la organizacin ISO, ha
obtenido en su primera fase del proyecto un Informe Tcnico Tipo 2 (ISO 15504) 1
formado por un conjunto de documentos todos ellos bajo el ttulo general de Evaluacin
del Proceso Software.
Como consecuencia de la ausencia de informacin relativa a los resultados del proyecto
SPICE2, este artculo pretende ofrecer una visin general as como describir los
elementos principales del mismo.

Palabras Clave
SPICE, Mejora del proceso software, Evaluacin del proceso software, Capacidad del
proceso del suministrador.

1. Introduccin
En Junio de 1991 el comit ISO/IEC JTC1/SC7 aprob un estudio para que se
investigara las necesidades y requerimientos para un estndar de evaluacin de procesos
software. Un ao ms tarde, se obtuvo como conclusin que exista un consenso
internacional para dicho estndar. En Junio de 1993 arranc el proyecto SPICE con los
objetivos de:
a) ayudar al proyecto de estandarizacin, en su etapa preparatoria, para desarrollar los
borradores iniciales de trabajo.
b) realizar las pruebas de usuario, obteniendo datos de la experiencia que constituirn la
base de la revisin del Estndar antes de emitirlo como International Standard.
c) crear el conocimiento del mercado y evolucionar el estndar.
El proyecto SPICE ha logrado ya el primer objetivo. Se ha obtenido el Technical Report
Type 2 que consta de las partes que muestra la figura 1.
El marco proporciona un enfoque estructurado de la evaluacin de los procesos
software, mediante el cual:
se anima a la auto-evaluacin;
1

Desde un punto de vista oficial la ISO 15504 debera ser el trmino a emplear; sin embargo, es de
esperar que se siga denominando SPICE.
2
Un punto importante es que los documentos de la ISO 15504 slo se pueden obtener oficialmente a
travs de los canales de ISO o a travs de un miembro de una organizacin que sea official liason con
ISO, como por ejemplo el European Software Institute.

 se aborda la idoneidad de la gestin de los procesos evaluados;

tiene en cuenta el contexto en el que operan los procesos evaluados;
produce un conjunto de valores del proceso (perfil del proceso) en vez de un
resultado (valido/no valido).
Este marco es vlido para todos los dominios de aplicaciones y tamaos de organizacin.

P a rte 7
G u a p a r a u t iliz a r la e n la
m e jo r a d e l p ro c e s o
( in fo r m a t iv o )

P a rte 1
C o n c e p to s y
g u a in t r o d u c t o r ia
( in fo r m a t iv o )

P a rte 9
V o c a b u la r io

P a rte 8
G u a p a r a d e t e r m in a r la c a p a c id a d
d e l p r o c e s o d e l s u m in is t a r d o r
( in fo r m a t iv o )

P a rte 6
G u a p a ra
c u a lific a r e v a lu a d o r e s
( in fo r m a t iv o )

P a rte 3
L a r e a liz a c i n d e
u n a e v a lu a c i n
( n o r m a t iv a )

P a rte 4
G u ia p a r a r e a liz a r
e v a lu a c io n e s
( in fo r m a t iv a )

P a rte 2
M o d e lo d e r e fe r e n c ia p a r a lo s
p r o c e s o s y la c a p a c id a d d e l p r o c e s o
( n o r m a tiv o )

Figura 1 Informe Tcnico: Componentes y las relaciones entre ellos.

El uso de la evaluacin del proceso en una organizacin debera estimular principalmente

a:
a) una cultura de mejora constante y al establecimiento de los mecanismos adecuados
para soportar y mantener tal cultura;
b) la ingeniera de procesos para cumplir los requisitos del negocio;
c) la optimizacin de recursos.
Como resultado se obtendrn organizaciones con alta sensibilidad hacia el cliente y hacia
los requisitos del mercado, minimizando los costes de sus productos y logrando una
satisfaccin del usuario final.
El Informe Tcnico ha sido diseado para satisfacer a tres usuarios diferentes:
evaluadores, clientes y suministradores.

Para evaluadores:

un marco que define todos los aspectos para dirigir

evaluaciones.

Para clientes:

un medio para determinar la capacidad actual y potencial de

los procesos software del suministrador. Estos obtendrn los
beneficios de:
a) reducir incertidumbre para seleccionar suministradores
software, al conocer los riesgos asociados con el
contratista;
b) dotar de controles adecuados para contener el riesgo;
c) suministrar una mtrica para elegir entre coste estimado del
proyecto y capacidad de los suministradores que compiten.

Para suministradores:

un medio para determinar la capacidad actual y potencial de

sus propios procesos software;
un instrumento para definir reas y prioridades para la mejora
del proceso software;
un marco que defina un mapa de caminos para la mejora del
proceso software.

Los beneficios principales de un enfoque estandarizado para la evaluacin del proceso

son:
1. proporcionar un modelo para la mejora del proceso pblico y compartido;
2. conducir a un entendimiento comn del uso de la evaluacin del proceso para la
mejora del proceso y la evaluacin de la capacidad;
3. facilitar la evaluacin de la capacidad en un concurso abierto;
4. realizar una revisin regular y controlada sobre la experiencia de la utilizacin;
5. ser cambiado nicamente mediante el consenso internacional;
6. animar la armonizacin de los esquemas existentes.

2. Visin General
El marco para la evaluacin de procesos software se puede utilizar por organizaciones
implicadas en la planificacin, gestin, monitorizacin, control y mejora de la
adquisicin, suministro, desarrollo, operacin, evolucin y soporte del software.
La evaluacin del proceso examina los procesos utilizados por una organizacin para
determinar si son efectivos para conseguir sus objetivos. Los resultados de la evaluacin
se pueden utilizar para conducir las actividades de mejora o para la determinacin de la
capacidad del proceso.

Proceso
Se examina
por la
Identifica
cambios al

Evaluacin
del Proceso

Conduce a

Mejora
del Proceso

Identifica la
capacidad y los
riesgos del

Conduce a

Motiva

Determinacin
de la capacidad

Figura 2: Contexto para la utilizacin de la Evaluacin del Proceso Software

La figura 2 muestra la relacin entre evaluacin del proceso y sus dos principales
contextos para su utilizacin: la mejora del proceso y la determinacin de la capacidad
del proceso.

3. Elementos principales de SPICE

Los elementos esenciales para comprender SPICE son los siguientes:
3.1 Modelo de Referencia
Los resultados de la evaluacin del proceso se describe en un modelo de dos
dimensiones: Dimensin del proceso y Dimensin de la capacidad. Esto es lo que se
denomina arquitectura del modelo de referencia.
Dimensin del proceso: que est caracterizado por los objetivos del proceso
que constituye los elementos fundamentales a medir;
Dimensin de la capacidad del proceso: que est caracterizado por una serie
de atributos de proceso, aplicables a cualquier proceso, que representan
caractersticas necesarias para gestionar y mejorar su capacidad de realizacin.
Dimensin del proceso: El modelo de referencia agrupa los procesos en
categora de procesos. Estos procesos se corresponden con los definidos en
ISO 12207 Software Life-Cycle Process. (tabla 1). La descripcin de cada
proceso consta de:
una declaracin del objetivo del proceso describiendo a un alto nivel
los objetivos generales del proceso, y tambin una descripcin en
trminos genricos de los probables resultados de una implementacin
efectiva del proceso; y

 una o ms observaciones proporcionando mayor informacin sobre los

procesos y su relacin a los procesos definidos en ISO 12207 y a otros
procesos en este modelo de referencia.
Dimensin de la capacidad: Est formada por seis niveles de capacidad y
nueve atributos de proceso. Un nivel de capacidad est formado por uno o
varios atributos que conjuntamente proporcionan una mejora importante en la
capacidad de realizar un proceso. Los niveles proporcionan una manera
racional de progresar en la mejora de la capacidad de cualquier proceso.
El modelo de referencia por s solo no se puede usar como base para realizar
evaluaciones fiables y consistentes de la capacidad de proceso puesto que no es
suficiente el nivel de detalle. Se debe soportar con un conjunto de indicadores
comprensibles del rendimiento y capacidad del proceso (Parte 5 del Informe Tcnico).

Categora de Proceso
ID
Nombre
CUS
Cliente-Suministrador
Constadelosprocesosque
directamenteimpactanalcliente,
soportaneldesarrolloylaentrega,al
cliente,delsoftwareproporcionndole
sucorrectaoperacinyutilizacin.

ENG

CUS.1
CUS.2
CUS.3
CUS.4
CUS.5

Adquirir software
Gestionar las necesidades del cliente
Suministrar software
Operar software
Proporcionar servicio al cliente

ENG.1
ENG.2
ENG.3
ENG.4
ENG.5
ENG.6
ENG.7

Desarrollar los requisitos y diseo del

sistema
Desarrollar los requisitos software
Desarrollar el diseo software
Implementar el diseo software
Integrar y probar el software
Integrar y probar el sistema
Mantener el sistema y el software

SUP.1
SUP.2
SUP.3
SUP.4
SUP.5
SUP.6
SUP.7
SUP.8

Desarrollar documentacin
Realizar la gestin de la configuracin
Realizar el aseguramineto de la calidad
Realizar la verificacin del producto
Realizar la validacin del producto
Realizar revisiones conjuntas
Realizar auditorias
Realizar resolucin de problemas

Soporte

Constadelosprocesosquepuedenser
empleadosporcualquieradelosotros
procesos(incluyendolosprocesosde
soporte)endistintospuntosdelciclo
devidadelsoftware.

MAN

ID

Ingeniera

Constadelosprocesosque
directamenteespecifican,
implementan,omantienenunsistema,
elproductosoftwareysu
documentacindeusuario.

SUP

Proceso
Nombre

Gestin

Constadelosprocesosquecontienen MAN.1
prcticasdeunanaturalezagenrica MAN.2
quepuedenserutilizadaspor
MAN.3
cualquieraquegestionecualquierclase
MAN.4
deproyectoenunciclodevida
software.

Gestionar el proyecto
Gestionar la calidad
Gestionar los riesgos
Gestionar los subcontratistas

Constadelosprocesosqueestablecen ORG.1
losobjetivosdelnegociodela
ORG.2
organizacinydelproductodeproceso
ORG.3
dedesarrollo,yactivosderecursosque,
cuandosonempleadosporlosproyectos ORG.4
enlaorganizacin,ayudarnala
ORG.5
mismaalograrsusobjetivosde
negocio.

Ingeniera del negocio

Definir el proceso
Mejorar el proceso
Proporcionar recursos humanos con
habilidades
Proporcionar la infraestructura de
ingeniera del software

ORG

Organizacin

Tabla 1 Categoras de procesos y procesos

3.2 Niveles de Capacidad y Atributos de Proceso

La figura 3 sintetiza la dimensin de la capacidad de proceso, indicando los atributos de
proceso (PA) de cada nivel de capacidad. A continuacin, se describe cada nivel.

Niveles de Capacidad

Atributos de Proceso

Optimizando 5
Previsible
4
Establecido
Gestionado
Realizado
Incompleto

5.1 Cambio del Proceso

5.2 Mejora Continua
4.1 Medicin del Proceso
4.2 Control del Proceso
3.1 Definicin del Proceso
3.2 Recurso del Proceso
2.1 Gestin del Rendimiento
2.2 Gestin del Producto

1.1 Rendimiento del Proceso

1
0

Figura 3 Dimensin de la Capacidad de Proceso

Nivel 0: Proceso Incompleto

El proceso no est implementado o no logra conseguir su objetivo. No hay atributos en
este nivel.
Nivel 1: Proceso Realizado
El propsito implementado logra su objetivo definido.
PA 1.1: Rendimiento del Proceso
El proceso emplea un conjunto de prcticas, que son iniciadas por unos
productos identificables y produce unos productos identificables, que satisfacen el
propsito del proceso.
Nivel 2: Proceso Gestionado
El proceso Realizado entrega productos con una calidad aceptable en un margen de
tiempo y necesidades de recursos definidos.
PA 2.1: Gestin del Rendimiento
La ejecucin del proceso se gestiona para producir productos en un plazo de
tiempo y con unos requisitos preestablecidos.
PA 2.2: Gestin del Producto

La ejecucin del proceso se gestiona para producir productos que se documentan

y se controlan satisfaciendo sus requisitos funcionales y no funcionales, de
acuerdo con los objetivos de calidad del producto del proceso.
Nivel 3: Proceso Establecido
El proceso Gestionado se realiza utilizando un proceso definido basado en los principios
de la ingeniera del software.
PA 3.1: Definicin del Proceso
La ejecucin del proceso utiliza una definicin de proceso basada en un proceso
estndar, que permite contribuir a los objetivos de negocio definidos en la
organizacin.
PA 3.2: Recursos del Proceso
La ejecucin del proceso utiliza eficazmente recursos humanos con las
habilidades adecuadas y una infraestructura de proceso que contribuyen a los
objetivos de negocio definidos de la organizacin.
Nivel 4: Proceso Previsible
El proceso Establecido se realiza constantemente dentro de los lmites de control
definidos para lograr sus objetivos.
PA 4.1: Medicin del Proceso
La ejecucin del proceso se soporta por los objetivos y mediciones que son
utilizadas para asegurar que la implementacin del proceso contribuye a la
consecucin de los objetivos.
PA 4.2: Control del Proceso
La ejecucin del proceso se controla a travs de la recopilacin y anlisis de
mediciones para controlar y corregir, donde sea necesario, el rendimiento del
proceso para lograr fiablemente los objetivos del proceso definidos.
Nivel 5: Proceso Optimizando
El proceso Previsible optimiza su rendimiento para satisfacer las necesidades de negocio
actuales y futuras y logra repetidamente satisfacer sus objetivos de negocio definidos.
PA 5.1: Cambio de Proceso
Los cambios a la definicin, gestin y rendimiento del proceso son controlados
mejor para conseguir los objetivos de negocio de la organizacin.
PA 5.2: Mejora Continua
Los cambios a los procesos se identifican y se implementan para asegurar la
mejora continua en el cumplimiento de los objetivos del negocio definidos de la
organizacin.
3.3 Atributos del Proceso
Un atributo del proceso representa una caracterstica medible de cualquier proceso. Los
atributos de capacidad del proceso son los elementos bsicos del esquema de evaluacin.
Cada atributo se evala entre un rango de cuatro puntos:
N No conseguido
No hay evidencia de que se consigue el atributo
definido.
P Conseguido parcialmente
Se ha conseguido algo el atributo definido.
L Bastante conseguido
Se ha conseguido significativamente el atributo
definido.

F Conseguido completamente Se ha conseguido totalmente el atributo definido.

El nivel de capacidad se derivar de los valores de los atributos de los procesos.
3.4 Perfil del Proceso
Una evaluacin SPICE se realiza con el propsito de obtener un perfil de cada uno de los
procesos (o instancias de proceso) dentro del alcance de la evaluacin. Este perfil
muestra la capacidad de la unidad organizativa para lograr el objetivo del proceso.
La evaluacin examina a un nmero de instancias de proceso con el fin de obtener los
datos necesarios para producir un perfil del proceso. Una instancia de proceso es una
implementacin particular de un proceso. Por ejemplo, para cada vez que se realiza la
prueba de un mdulo del sistema, habr una instancia de Realizar Prueba de Unidad. Las
instancias de proceso examinadas durante la evaluacin tiene que ser cuidadosamente
seleccionadas para asegurar que la evaluacin alcanzar su propsito y cubrir su
alcance.
Se evala cada instancia de proceso examinando sus atributos, y obteniendo como
consecuencia un valor. Estos valores son decididos mediante el anlisis de los
indicadores asociados y juzgando su existencia. Las decisiones sobre la existencia de
indicadores estn basados en una objetiva evidencia, la cual es registrada para soportar y
justificar los resultados de la evaluacin.
El resultado bsico de la evaluacin es un conjunto de valores de los atributos de cada
instancia de proceso. stos se pueden combinar para producir un nivel de capacidad para
la instancia del proceso. Los valores para las distintas instancias del mismo proceso se
pueden combinar para producir un perfil del proceso como unidad.
Instancia de Proceso
Atributo
Indicador
Instancia de Proceso
Atributo
Indicador
Instancia de Proceso
Proceso
Atributo
Instancia de Proceso
Figura 4 rbol de Evaluacin

Indicador

Se realizan dos tipos de juicio durante la evaluacin de una instancia de un proceso. El

primero es para ver si el proceso se realiz, para ello se examina si las prcticas y los
tipos de productos esperados existen. Este juicio es la base del valor del atributo de
Rendimiento del Proceso, examinando si la instancia est al nivel No realizado, o a uno
de los niveles de mayor de capacidad.
El segundo juicio determina cmo de bien se gestiona ese proceso. Se examina la
existencia de diferentes prcticas y productos con objeto de realizar los juicios sobre los
diferentes atributos de capacidad. Se registran, para soportar los valores de cada
atributo, la evidencia sobre la existencia de las prcticas y de sus caractersticas y
productos.
Los valores de los atributos se sitan en una escala de cuatro niveles de consecucin: no
(N), parcialmente (P), en su mayora (L), completamente (F). La instancia del proceso
se da en uno de estos valores segn el logro de cada uno de los nueve atributos. Este
conjunto formado por los nueve valores de atributos es el perfil de la instancia del
proceso.
Nivel de Atributo
5
4
3
2
1
Nivel de Capacidad
=

Atributo
5.2
5.1
4.2
4.1
3.2
3.1
2.2
2.1
1.1

Valor de la Instancia A
N
N
P
P
L
L
L
L
L

Valor de la Instancia B
N
N
N
N
P
P
L
L
F

Figura 5 Perfil de la Instancia del Proceso

Una vez obtenidos los valores de los atributos se puede calcular un nivel de capacidad
para la instancia del proceso. Los atributos estn asociados con los niveles de capacidad.
Para conseguir un nivel de capacidad, una instancia del proceso tiene que ser valorada
como conseguida completamente para todos los atributos asociados con los niveles
inferiores, y conseguida en su mayora o completamente por los atributos de ese nivel.
Los valores para las distintas instancias de un proceso se puede combinar para producir
los perfiles de distribucin de frecuencias para el proceso general. Para cada atributo se
puede producir un perfil de las instancias del proceso que fueron valoradas en cada uno
de los niveles de consecucin. Se puede tambin producir un nivel que muestre el
nmero (o porcentaje) de instancias del proceso en cada nivel de capacidad.

10

4. Ventajas y Desventajas
SPICE ofrece una base para una evaluacin muy detallada del estado actual del proceso
de una organizacin. Por su gran nivel de descomposicin de los procesos e indicadores,
proporciona evaluaciones objetivas y con resultados repetibles, especialmente cuando es
realizada por evaluadores entrenados y cualificados. El European Software Institute
(ESI) ya ofrece cursos para ello.
Al disminuir la subjetividad se consigue reducir discordias sobre los resultados de la
evaluacin y a adoptar actitudes positivas de los equipos hacia la evaluacin.
Por contra se requiere un gran esfuerzo para realizar las evaluaciones y por tanto un alto
coste. Las evaluaciones se pueden llevar a cabo por personal interno de tal manera que
se puedan ver reducidos estos costes. Es importante tener en cuenta que la evaluacin no
necesita abordarse a toda la organizacin, las evaluaciones SPICE se puede realizar
nicamente en aquellos procesos que sean reas de problema.
El modelo de referencia SPICE no contiene una estrategia de mejora del proceso. Esto
puede verse como positivo o negativo dependiendo de lo que se quiera.
Pero la ventaja principal es que al disponer de un estndar internacional se pueden
realizar comparaciones a nivel mundial entre evaluaciones en contextos similares.
Bibliografa
ISO/IEC JTC1/SC7: Information Technology - Software Process Assessment
Part 1: Concepts and Introductory Guide.
Part 2: A Reference Model For Processes And Process Capability.
Part 3: Performing And Assessment.
Part 4: Guide To Performing Assessments.
Part 5: An Assessment Model And Indicator Guidance.
Part 6: Guide To Qualification Of Assessors.
Part 7: Guide For Use In Process Improvement
Part 8: Guide For Use In Determining Supplier Process Capability
Part 9: Vocabulary.
Introduction to Process Assessment, Jos Luis Iparragurri, European Software Institute.
Madrid SEPG, 20-21 March 1997, Tutorial Materials.
Introduction to SPICE. Bob Smith. European Software Institute. The European
Observatory on Software Best Practices. Madrid, 1996.
SPICE Architecture. Bob Smith. European Software Institute. The European
Observatory on Software Best Practices. Madrid, 1996.

11