0 Introduccin
01 Presentacin
Organizacin del curso
Agenda del curso.
Por favor mantenga su celular apagado.
3 de 418
0 - Introduccin
02 - Tabla de contenidos
El presente curso se ha desarrollado de acuerdo con el programa de estudios del ao 2010 de
Probador, Certificado Nivel Bsico, que consta de siete captulos:
Captulo 0
Captulo I
Captulo II
Captulo III
Captulo IV
Captulo V
Captulo VI
Introduccin.
Fundamentos de Pruebas.
Pruebas a travs del Ciclo de Vida Software.
Tcnicas Estticas.
Tcnicas de Diseo de Pruebas.
Gestin de Pruebas.
Herramientas de Pruebas.
4 de 418
0 - Introduccin
03 - Organizaciones internacionales
Programa de capacitacin del ISTQB*
En 1998. Se desarrolla en Gran Bretaa, un programa de capacitacin de mltiples
niveles.
Los fundamentos del proceso de pruebas software son formulados en el programa de
estudios para el nivel bsico (Syllabus for Foundation Level - edicin actual: marzo de
2010).
Desde 2004 tambin se cuenta con certificaciones para el Nivel Avanzado (Advanced
Level): Jefe de Pruebas (Test Manager). Probador Tcnico (Technical Tester). Probador
Funcional (Functional Tester)
El Nivel Experto se encuentra listo para descarga.
Los Comits de Pruebas (Testing Boards) locales de cada pas conforman la estructura de
la organizacin del "International Software Testing Qualification Board" (www.istqb.org)
Por ejemplo en Hispanoamrica: HISPANIC America Software Testing Qualification Board
(HASTQB)
*ISTQB = International Software Testing Qualification Board (Comit Internacional de
Clasificacin de pruebas de software)
5 de 418
0 - Introduccin
04 - Programa de estudios y evaluacin
El conjunto de diapositivas est basado en el
Programa de Estudios de
Probador Certificado - Nivel Bsico del ISTQB
Versin 2010 (marzo).
A continuacin del curso de formacin tendr lugar un examen al que se puede asistir
para obtener el certificado de Probador Certificado. Nivel Bsico (Certified Tester
Foundation Level).
La evaluacin es realizada por un examinador perteneciente a una organizacin
independiente (por ejemplo ISQI*).
Los temas de la evaluacin estn extrados de las secciones correspondientes a las dadas
en el curso de formacin. El examen es del tipo seleccin mltiple, con una duracin de
60 minutos.
Cada pregunta tiene una (de cuatro) nica respuesta correcta. Tienen que ser
respondidas un total de 40 preguntas, de las cuales 26 (65%) tienen que ser respondidas
de forma correcta con el objeto de aprobar el examen
* ISQI International Software Quality Institute
6 de 418
0 - Introduccin
05 - Objetivos
Objetivos principales para la formacin de Probador
Certificado
Aprender las tcnicas bsicas para planificar las pruebas.
Aplicar las tcnicas de pruebas software en proyectos.
Seleccionar las tcnicas y objetivos de pruebas apropiados.
Aprender una terminologa comn.
Audiencia
El curso est dirigido a probadores de software, desarrolladores y jefes de proyecto en un
entorno de produccin software as como en un entorno de produccin industrial que
deseen dar a su conocimiento un fundamento de mayor solidez.
Documentos
Conjunto de diapositivas propios de la presentacin.
Ejercicios y sus soluciones.
Referencias y glosario.
7 de 418
8 de 418
9 de 418
10 de 418
11 de 418
12 de 418
13 de 418
14 de 418
15 de 418
16 de 418
sin
la
17 de 418
18 de 418
19 de 418
20 de 418
21 de 418
22 de 418
23 de 418
Precondiciones.
Conjunto de valores de entrada.
Conjunto de resultados esperados.
Forma en la cual se debe ejecutar el caso de prueba y verificar los resultados.
Pos condiciones esperadas.
24 de 418
25 de 418
26 de 418
27 de 418
28 de 418
29 de 418
30 de 418
Probar y volver a probar (re-test) son actividades propias del proceso de pruebas.
Las pruebas muestran los fallos.
Volver a probar (re-test) verifica que el defecto ha sido corregido.
La depuracin y la correccin de defectos son actividades propias del desarrollo.
A travs de la depuracin los desarrolladores pueden reproducir los fallos, analizar el
estado del programa y detectar el defecto correspondiente con el objeto de corregirlo.
31 de 418
32 de 418
33 de 418
34 de 418
35 de 418
36 de 418
37 de 418
38 de 418
39 de 418
40 de 418
41 de 418
42 de 418
43 de 418
44 de 418
45 de 418
46 de 418
47 de 418
48 de 418
49 de 418
50 de 418
51 de 418
52 de 418
53 de 418
54 de 418
55 de 418
56 de 418
- tareas
57 de 418
58 de 418
59 de 418
60 de 418
La
actividad
CONSTRUCTIVA
del
desarrollador
61 de 418
62 de 418
63 de 418
64 de 418
65 de 418
66 de 418
67 de 418
68 de 418
69 de 418
70 de 418
71 de 418
72 de 418
73 de 418
74 de 418
75 de 418
76 de 418
77 de 418
78 de 418
79 de 418
80 de 418
81 de 418
82 de 418
83 de 418
84 de 418
85 de 418
86 de 418
87 de 418
88 de 418
89 de 418
90 de 418
91 de 418
92 de 418
93 de 418
94 de 418
95 de 418
96 de 418
97 de 418
98 de 418
99 de 418
100 de 418
101 de 418
102 de 418
103 de 418
104 de 418
105 de 418
106 de 418
107 de 418
108 de 418
109 de 418
110 de 418
111 de 418
112 de 418
113 de 418
114 de 418
115 de 418
116 de 418
117 de 418
118 de 418
119 de 418
120 de 418
121 de 418
122 de 418
123 de 418
124 de 418
125 de 418
Pruebas funcionales
Pruebas no funcionales
Pruebas estructurales
Pruebas relacionadas con los cambios
126 de 418
127 de 418
128 de 418
129 de 418
130 de 418
131 de 418
132 de 418
133 de 418
134 de 418
135 de 418
136 de 418
137 de 418
138 de 418
139 de 418
140 de 418
141 de 418
142 de 418
143 de 418
144 de 418
145 de 418
146 de 418
147 de 418
148 de 418
149 de 418
150 de 418
151 de 418
152 de 418
153 de 418
154 de 418
155 de 418
156 de 418
157 de 418
158 de 418
159 de 418
160 de 418
161 de 418
162 de 418
163 de 418
164 de 418
165 de 418
166 de 418
167 de 418
168 de 418
169 de 418
170 de 418
171 de 418
172 de 418
173 de 418
El
ejemplo
puede
fcilmente corregido.
ser
174 de 418
175 de 418
176 de 418
177 de 418
178 de 418
179 de 418
180 de 418
objeto de
pruebas y
requisitos sobre
el objeto de
pruebas
Definicin de
los requisitos
de las pruebas
y criterios de
prueba
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso
de
Caso
de
Caso
Prueba
1de
Prueba
Prueba14
Caso
de
Caso
de
Caso
Prueba
1de
Prueba
Prueba11
181 de 418
objeto de
pruebas y
requisitos sobre
el objeto de
pruebas
Definicin de
los requisitos
de las pruebas
y criterios de
prueba
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso de
Prueba 1
Caso
de
Caso
Casode
Prueba
1de
Prueba
Prueba14
Caso
de
Caso
Casode
Prueba
1de
Prueba
Prueba11
182 de 418
183 de 418
184 de 418
185 de 418
186 de 418
187 de 418
188 de 418
189 de 418
190 de 418
191 de 418
192 de 418
193 de 418
194 de 418
195 de 418
196 de 418
197 de 418
198 de 418
199 de 418
200 de 418
201 de 418
Ahora son cuatro en lugar de una las clases de equivalencia vlidas (CEv)
o Primera clase de equivalencia vlida
(CEv)
0 x 15
o Segunda clase de equivalencia vlida
(CEv)
16 x 50
o Tercera clase de equivalencia vlida
(CEv)
51 x 85
o Cuarta clase de equivalencia vlida
(CEv)
86 x 100
202 de 418
Clase de equivalencia
CE1:
0 x 15
CE2:
16 x 50
Valor de porcentaje VLIDO
CE3:
51 x 85
CE4: 86 x 100
CE5:
x<0
CE6:
x >100
Valor de porcentaje INVLIDO
CE7: x = no entero
CE8: x = no numrico
Representativo
+10
+20
+80
+90
-10
+200
+1,5
A
203 de 418
204 de 418
205 de 418
206 de 418
207 de 418
208 de 418
209 de 418
210 de 418
211 de 418
212 de 418
213 de 418
214 de 418
215 de 418
216 de 418
217 de 418
218 de 418
219 de 418
220 de 418
221 de 418
222 de 418
223 de 418
Definicin
Si causa A, entonces efecto E.
Si causa A, entonces no efecto E
Smbolo
A
o (or)
y (and)
exclusivo (exclusive)
o causa A, o causa B
Ex
inclusivo (inclusive)
B
A
B
A
B
A
B
A
B
A
requerido (required)
224 de 418
Receptor
correcto
TAN
Vlido
~
~
~
Realizar
Transferencia
TAN identificado
como utilizado
Denegar
Transferencia
Solicitar TAN
nuevamente
225 de 418
Causa
Efecto
Descripcin
T01
T02
T03
T04
T05
Suficiente cobertura
Receptor correcto
TAN vlido
Realizar Transferencia
Marcar TAN como utilizado
Denegar transferencia
Solicitar TAN nuevamente
S
S
S
S
S
No
No
No
No
No
S
No
No
No
No
S
No
No
No
No
No
S
226 de 418
227 de 418
228 de 418
229 de 418
230 de 418
Fallecido
Fallecido
Casado
fallece
fallece
Casado
se casa
Divorciado
Viudo
se casa
muerte
pareja
se divorcia
Casado
fallece
Fallecido
fallece
Fallecido
se casa
soltero
es soltero
no nacido
231 de 418
Estado1
(Inicial)
no nacido
no nacido
no nacido
no nacido
no nacido
no nacido
Estado2
Estado3
soltero
soltero
soltero
soltero
soltero
soltero
fallecido
casado
casado
casado
casado
casado
Estado4
fallecido
viudo
viudo
divorciado
divorciado
Estado5
Estado final
fallecido
casado
fallecido
casado
fallecido
fallecido
fallecido
casado
fallecido
casado
232 de 418
Fallecido
Fallecido
Casado
fallece
fallece
Casado
se casa
Divorciado
Viudo
se casa
muerte
pareja
se divorcia
error
Casado
Soltero
muerte
pareja
es soltero
No nacido
Fallecido
fallece
Fallecido
se casa
se divorcia
error
fallece
233 de 418
234 de 418
235 de 418
236 de 418
Cocinero
237 de 418
238 de 418
239 de 418
240 de 418
241 de 418
242 de 418
243 de 418
244 de 418
245 de 418
246 de 418
247 de 418
Cobertura de sentencia.
Cobertura de decisin o rama (branch).
Cobertura de camino (path).
Cobertura de condicin.
248 de 418
249 de 418
if (i > 0) {
j = f(i);
if (j > 10){
while (k > 10){
}
}
}
250 de 418
251 de 418
252 de 418
253 de 418
Cobertura de sentencia.
Cobertura de decisin o rama (branch).
Cobertura de camino (path).
Cobertura de condicin.
254 de 418
( )
Sinnimo de:
( )
255 de 418
256 de 418
257 de 418
258 de 418
259 de 418
Cobertura de sentencia.
Cobertura de decisin o rama (branch).
Cobertura de camino (path).
Cobertura de condicin.
260 de 418
261 de 418
262 de 418
263 de 418
264 de 418
265 de 418
Cobertura de sentencia.
Cobertura de decisin o rama (branch).
Cobertura de camino (path).
Cobertura de condicin.
266 de 418
267 de 418
268 de 418
269 de 418
a = 3 (true)
b = 7 (false)
a > 2 OR b < 6 (true)
Los cambios de una sub condicin,
a = 3 (true)
b = 5 (true)
a > 2 OR b < 6 (true)
cambian el resultado global para tres de
a = 1 (false)
b = 5 (true)
a > 2 OR b < 6 (true)
los cuatro casos de prueba.
a = 1 (false)
b = 7 (false)
a > 2 OR b < 6 (false)
o Slo para el caso dos (true OR true
= true) el cambio en la sub condicin no resultar en un cambio en la condicin
global. Este caso de prueba puede ser omitido.
270 de 418
271 de 418
272 de 418
273 de 418
274 de 418
275 de 418
276 de 418
277 de 418
278 de 418
279 de 418
280 de 418
281 de 418
282 de 418
283 de 418
284 de 418
285 de 418
286 de 418
287 de 418
288 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
289 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
La gestin de pruebas como parte del proceso de pruebas
El proceso de pruebas es una actividad que cubre el proceso de desarrollo software en su
totalidad.
Las actividades propias de la gestin de pruebas son necesarias a lo largo de todo el
proceso de pruebas.
Actividad
Concepcin de pruebas
Planificacin de pruebas
Control de pruebas
Pruebas de aceptacin
290 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Los equipos de prueba deberan ser independientes
Ventajas.
o Imparcialidad, no hay vinculacin personal con el objeto de prueba.
o Se pueden cuestionar hechos respecto de la base de pruebas (test basis) y verificar
las suposiciones hechas durante al diseo de pruebas.
Desventajas.
o Aumenta el esfuerzo dedicado a la comunicacin, presentacin de conflictos del tipo
"tener la ltima palabra".
o Desarrolladores pierden el sentido de responsabilidad
291 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Otras formas de conformar equipos de prueba
Los desarrolladores prueban sus propios programas.
Los probadores tambin son miembros del equipo de desarrollo.
Los probadores tambin son miembros del equipo del proyecto o estructura de la
organizacin.
Especialistas para tareas especficas.
Equipos de prueba externos.
292 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Perfiles del personal de pruebas
El proceso de pruebas requiere personas con una amplia variedad de habilidades y
cualidades.
Se explicarn en detalle los siguientes roles asociados al proceso de pruebas:
o Jefe de pruebas o director de pruebas (test manager).
o Diseador de pruebas (test designer).
o Ingeniero de automatizacin de pruebas (test automation engineer).
o Administrador de pruebas (test administrator) / Administrador del sistema de
pruebas (test system administrator).
o Probador (tester).
o Experto tcnico (technical expert).
Nota:
Se pueden especificar roles adicionales, por ejemplo administrador de base de datos, probador
de carga.
293 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Jefe de pruebas (test leader) o director d pruebas (test manager) o coordinador de pruebas
(test coordinator)
Planifica, realiza el seguimiento y control del proyecto de pruebas.
Competencias especiales necesarias:
o Gestin de pruebas y calidad software.
o Planificacin y control de pruebas.
o Experiencia como jefe de proyecto.
o Habilidades de gestor.
294 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Diseador de pruebas (test designer)
Disea los casos de prueba necesarios y establece el orden en el cual tendr lugar la
ejecucin de los casos de prueba.
Competencias especiales necesarias en el rea de:
o Conocimiento de desarrollo y pruebas.
o Conocimiento de ingeniera de software.
o Conocimiento de especificaciones tcnicas.
o Conocimiento de requisitos funcionales.
295 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Ingeniero de automatizacin de pruebas (test automation engineer)
Evala las posibilidades de la automatizacin de pruebas y las implementa.
Competencias especiales necesarias:
o Experiencia como probador (tester).
o Conocimiento tcnico (know how) en el diseo y automatizacin de pruebas.
o Conocimientos de programacin.
o Amplios conocimientos en el uso de las herramientas.
296 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Administrador del sistema de pruebas (Test system administrator)
Prepara y opera el entorno de pruebas.
o Es responsable de cumplir los requisitos del sistema de pruebas.
Competencias especiales necesarias:
o Administracin de sistemas (o acceso a la administracin del sistema).
o Conocimiento de herramientas de desarrollo y pruebas.
o Sistemas de base de datos, si aplica.
o Redes, s aplica.
o Instalacin y operacin del sistema (por ejemplo el sistema operativo)
297 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Probador software (software tester)
Ejecuta las pruebas de acuerdo con la especificacin de casos de prueba.
Competencias especiales necesarias:
o Conocimiento bsico del software.
o Conocimiento bsico de pruebas.
o Operacin y uso de herramientas de pruebas.
o Experiencia en la ejecucin de pruebas.
o Conocimiento de los objetos de prueba.
298 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Experto tcnico (Technical expert)
Asiste al equipo de pruebas cuando es necesario.
Competencias especiales necesarias:
o Administracin de bases de datos o diseo de bases de datos.
o Experto en Interfaces de usuario.
o Experto en redes.
Dependiendo del tipo de problema o del entorno de pruebas puede ser necesario que
expertos adicionales en pruebas formen parte del equipo de pruebas.
o En algunas ocasiones son necesarias competencias especiales que no que no se
encuentren directamente relacionadas con las pruebas, por ejemplo expertos en
usabilidad, expertos en seguridad, etc.
299 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Competencias no tcnicas (soft skills)
Adicionalmente a las competencias tcnicas, los miembros del equipo de pruebas
requieren de las siguientes competencias y experiencias:
o Miembros del equipo: diplomacia.
o Disposicin a preguntar sobre hechos aparentemente obvios.
o Persistencia, fuerte personalidad.
o Meticulosidad y creatividad.
o Capacidad para tratar situaciones complejas.
o Facilidad de aprendizaje
300 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Organizacin de equipos de pruebas
Utilizar una organizacin apropiada para cada proyecto especfico.
Direccin de equipo
de pruebas
Que
Quien
Jefe de pruebas
Planificacin
Especificacin
Ejecucin
Evaluacin y control
Actividades de
infraestructura de
pruebas
Diseo de casos de
prueba
Ejecucin de pruebas
Evaluacin de
pruebas
Equipo de pruebas
Equipo de pruebas
funcionales
Equipo de pruebas
Equipo de pruebas
funcionales
No todos los roles los asume una persona independiente. En equipos de pruebas pequeos una
persona asume mltiples roles
301 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Introduccin
* Esta no es una tarea particular del jefe de pruebas, la administracin de la configuracin es necesaria en
todas las fases del desarrollo de software.
302 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas - Gestin de las pruebas
Redaccin del plan de pruebas.
o Creacin de un documento que soporta mtodos, recursos y plazos para las
actividades del proceso de pruebas.
303 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, Planificacin del ciclo de pruebas /1
Direccin de equipo
de pruebas
Que
Quien
Jefe de pruebas
Planificacin
Especificacin
Ejecucin
Evaluacin y control
Actividades de
infraestructura de
pruebas
Diseo de casos de
prueba
Ejecucin de pruebas
Evaluacin de
pruebas
Equipo de pruebas
Equipo de pruebas
funcionales
Equipo de pruebas
Equipo de pruebas
funcionales
304 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, Planificacin del ciclo de pruebas /2
Enfoque de pruebas: implementacin de una estrategia de pruebas para un proyecto
especfico.
Ciclo de pruebas: ciclo a travs del proceso de pruebas para un objeto de prueba
especfico.
Actividades
del
(recordatorio):
o
o
o
o
o
proceso
de
pruebas
305 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, planificacin del ciclo de pruebas /3
Planificacin de pruebas.
o Planificacin del proceso de pruebas: debe ser desarrollado en una fase temprana
del proyecto. El resultado debe estor reflejado en un documento (plan de pruebas
esttico - static test plan).
Planificacin del ciclo de pruebas
o Planificacin detallada de un ciclo de pruebas: El plan de pruebas esttico ser
detallado para describir un ciclo de pruebo especfico. Los detalles dependen de la
situacin particular del proyecto (por ejemplo progreso del desarrollo, resultados de
pruebas, disponibilidad de recursos).
Tareas del jefe de pruebas:
o Iniciacin, control y supervisin de pruebas y ciclos de pruebas.
306 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, planificacin del ciclo de pruebas /4
La planificacin de las pruebas comienza al Inicio del proyecto.
Hitos, presupuesto y prioridades de las diversas actividades del proceso de pruebas
requieren ser abordados.
Elije herramientas de pruebas y decide sobre la automatizacin de pruebas
o Diferentes herramientas y grados de automatizacin para los diferentes niveles de
pruebas.
307 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, planificacin del ciclo de pruebas /5
Los recursos deben ser planificados.
o stos son escasos y con frecuencia, deben ser asignados de forma Individual.
o Durante los ciclos de pruebas, pueden ocurrir retrasos de tal forma que la
planificacin de los recursos de pruebas debe ser revisada.
El desarrollo del proyecto debe ser tenido en cuenta.
o A lo largo del proyecto pueden ocurrir retrasos de tal forma que puedan poner en
peligro a la planificacin (plazos). La planificacin puede ser modificada.
o En este caso, los casos de prueba planificados tienen que ser filtrados con el objeto
de cumplir con los hitos. sta es, con mucha frecuencia la primera medida tomada
cuando los plazos se reducen.
308 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Planificacin de pruebas, planificacin del ciclo de pruebas /6
Se debe tener en cuenta las evaluaciones de pruebas anteriores.
o Los resultados actuales de las actividades de pruebas, pueden influir en la
planificacin de otras actividades. Por ejemplo, dependiendo del nmero de errores
encontrados en un primer ciclo de pruebas, el segundo ciclo va a ser ms corto o
ms largo.
El control de las pruebas en ejecucin se realiza usando mtricas establecidos en el plan
de pruebas
309 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Especificacin de pruebas /1
Direccin de equipo
de pruebas
Que
Quien
Jefe de pruebas
Planificacin
Especificacin
Ejecucin
Evaluacin y control
Actividades de
infraestructura de
pruebas
Diseo de casos de
prueba
Ejecucin de pruebas
Evaluacin de
pruebas
Equipo de pruebas
Equipo de pruebas
funcionales
Equipo de pruebas
Equipo de pruebas
funcionales
310 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Especificacin de pruebas /2
El objetivo principal del proceso de pruebas es detectar la mayor cantidad de defectos
relevantes con el menor esfuerzo posible.
Todas las pruebas documentadas en el plan de pruebas son especificadas, es decir, se
establece como se estructuran y como deben ser ejecutadas. Este proceso es iniciado por
el jefe de pruebas.
o Los casos de prueba estn constituidos por pasos unitarios, cada paso consta de uno
accin y de un resultado esperado.
o Los casos de prueba deberan ser obtenidos con la colaboracin del personal que
cuente con conocimiento de los requisitos funcionales del software
o Los casos de prueba deberan ser diseados teniendo en mente su carcter
repetitivo.
311 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Ejecucin de pruebas /1
Direccin de equipo
de pruebas
Que
Quien
Jefe de pruebas
Planificacin
Especificacin
Ejecucin
Evaluacin y control
Actividades de
infraestructura de
pruebas
Diseo de casos de
prueba
Ejecucin de pruebas
Evaluacin de
pruebas
Equipo de pruebas
Equipo de pruebas
funcionales
Equipo de pruebas
Equipo de pruebas
funcionales
312 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Ejecucin de pruebas /2
Comparacin de resultados esperados y obtenidos en el proyecto.
o Cada ciclo de pruebas requiere ser ajustado al plan de pruebas.
Han ocurrido retrasos o cambios?
Los resultados obtenidos se encuentran dentro del rango esperado?
El nmero de defectos detectados, tiempo utilizado en correcciones,
repeticin de pruebas, etc.
Todas las desviaciones deben ser informadas y tenidas en cuenta.
o Habitualmente las medidas correctivas deben ser tomadas de acuerdo con el plan
de pruebas y las actividades de pruebas en curso, por ejemplo:
Ajuste de fechas para las pruebas planificadas.
Ajusta de recursos para la ejecucin de pruebas
Ejecutar ciclos de pruebas adicionales, omitir ciclos de pruebas.
Identificar la prioridad de los ciclos de pruebas.
313 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Evaluacin y control de pruebas /1
Direccin de equipo
de pruebas
Que
Quien
Jefe de pruebas
Planificacin
Especificacin
Ejecucin
Evaluacin y control
Actividades de
infraestructura de
pruebas
Diseo de casos de
prueba
Ejecucin de pruebas
Evaluacin de
pruebas
Equipo de pruebas
Equipo de pruebas
funcionales
Equipo de pruebas
Equipo de pruebas
funcionales
314 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Evaluacin y control de pruebas /2
La gestin de pruebas proporciona transparencia a la evolucin del proceso de pruebas y
aporta Indicadores a la direccin del proyecto.
Informes generados durante la ejecucin de pruebas (por ejemplo Informe de errores,
Inventario organizado por tipo de defectos, estadsticas), el seguimiento de defectos e
Informes al cliente son una importante fuente de informacin para el jefe de proyecto y la
direccin de la compaa (por ejemplo como base para la planificacin de recursos y
plazos).
El uso de herramientas y planillas aumentarn la calidad y pueden reducir la carga de
trabajo.
315 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del jefe de pruebas Evaluacin y control de pruebas /3
La gestin de pruebas Incluye la aceptacin de resultados del proyecto, significa: el
producto debe cumplir los requisitos definidos y la especificacin.
El jefe de proyecto, de acuerdo con el Jefe de pruebas, decide respecto de la aceptacin
de los objetos de prueba (por ejemplo pasar a un siguiente nivel de pruebas).
Los informes extensivos (documentacin) aseguran la ejecucin completa de las
actividades de pruebas.
316 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del probador *(tester) - Introduccin
* Probador (tester) es usado como un trmino genrico y puede incluir varios roles diferentes
al de jefe de pruebas
317 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del probador (tester) /1
Asiste en la implementacin del plan de pruebas.
o Especifica y comprueba planes de prueba.
o Analiza y evala bases de prueba.
o Desarrolla especificaciones de prueba
o Formula y selecciona casos de prueba y combinaciones de datos de prueba
o Formula resultados esperados
o Prepara, configura y administra el entorno de pruebas (conjuntamente con los
administradores de la red y de sistema)
318 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del probador (tester) /2
Ejecucin de pruebas (pruebas manuales).
o Implementacin de las pruebas a todos los niveles.
o Ejecuta pruebas y registra resultados en un protocolo de pruebas.
o Evala los resultados de las pruebas.
319 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Tareas del probador (tester) /3
Asiste en la implementacin de automatizacin de pruebas.
o Crea guiones (scripts) de pruebas.
o Crea / opera herramientas de prueba.
o Realiza actividades de automatizacin de pruebas, control, captura, repeticin,
ejecucin.
o Analiza y evala resultados
Tratamiento despus de pruebas (test post processing).
o Creacin de protocolo de pruebas.
o Trazar notas relativas a desviaciones.
o Ejecutar repeticin de pruebas.
o Preparar documentacin de aceptacin.
320 de 418
V Gestin de Pruebas
01 Organizacin de pruebas
Organizacin de pruebas - Resumen
La efectividad para encontrar defectos se incrementa con la independencia de pruebas
del equipo de pruebas.
El jefe de pruebas establece el equipo de pruebas en una fase temprana y:
o Planifica y prepara todas las pruebas.
o Establece un enfoque (estrategia) de pruebas.
o Organiza la gestin de desviaciones y la gestin de la configuracin.
o Controla la ejecucin de pruebas.
o Evala los resultados de las pruebas.
El jefe de pruebas informa a la direccin de la compaa y al jefe de proyecto.
El probador apoya las actividades de preparacin de pruebas, ejecuta pruebas, crea la
documentacin relativa a mensajes de desviacin y resultados de pruebas. Tambin asiste
en la implementacin de la automatizacin de pruebas.
321 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
322 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Actividades de planificacin de pruebas.
La planificacin de pruebas es la planificacin de proyectos.
o Todas las tareas y actividades deben ser planificadas con antelacin.
o Para las distintas tareas definidas se deben asignar recursos (personal, presupuesto,
herramientas, entornos de prueba, etc.).
o Concretar las actividades de pruebas en un plan de pruebas y coordinarlas con el
plan de proyecto.
o Definir el nivel de calidad (por ejemplo profundidad de las pruebas) para los
distintos niveles de pruebas.
o La planificacin de pruebas es una actividad continua, debe ser controlada de forma
constante.
o La informacin proveniente de las actividades de pruebas podra imponer ajustes en
el plan de pruebas con el objeto de afrontar riesgos sujetos a cambios.
323 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
La planificacin de pruebas es parte de la planificacin de la calidad en su conjunto.
La planificacin de pruebas es una parte importante del aseguramiento de la calidad, pero
no es la nica parte.
La estructura y contenidos de un plan de calidad pueden ser encontrados en el estndar
IEEE 730 (con informacin adicional en el estndar IEEE 983).
Elementos de un plan de aseguramiento de la calidad de acuerdo con el estndar IEEE
730, planificacin y descripcin de:
o Organizacin del proyecto
o Documentos que cubren el ciclo de vida de desarrollo.
o Estndares, mtodos y convenciones. Mecanismos que aseguran que estos son
cumplidos.
o Revisiones y auditorias durante el ciclo de vida de desarrollo.
o Proceso de pruebas.
o Documentacin de errores, soluciones.
324 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Plan de pruebas (esttico)
Tras definir el rol del proceso de pruebas en el marco de las actividades de aseguramiento
de la calidad (QA), el proceso de pruebas comienza su fase de planificacin.
El primer paso de la planificacin es la creacin de un plan de pruebas esttico.
o El plan de pruebas cubre todas las fases del proceso de pruebas.
o Las reglas se fijan de acuerdo los objetivos de las pruebas, recursos, actividades de
pruebas, hitos, etc.
El plan de pruebas maestro es posteriormente ampliado con el objeto de cubrir los
resultados logrados en la fase de planificacin de detalle.
o La planificacin dependiente del proyecto complementa la primera versin del plan
de pruebas.
o El plan de pruebas cuenta con una extensin dinmica, que ser ajustada durante el
ciclo de vida del proyecto, si eso fuera necesario.
o El estndar IEEE 829 aporta una estructura de plan de pruebas acreditada.
325 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Plan de pruebas de acuerdo al estndar IEEE 829.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Introduccin.
Supuestos.
tems de prueba.
Caractersticas sujetas a pruebas.
Caractersticas no sujetas a pruebas.
Enfoque.
Criterios de xito / fracaso para un tem.
Criterios de suspensin / reanudacin.
Entregables de pruebas.
Tareas de pruebas.
Necesidades relativas al entorn.
Responsabilidades.
Dotacin de personal y formacin.
Calendario.
Riesgos y contingencias.
Aprobacin.
326 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Actividades de planificacin de pruebas.
La planificacin de pruebas comienza al Inicio de un proyecto de desarrollo y se ajusta a lo
largo del ciclo de vida del proyecto.
Lo planificacin de pruebas tambin cubre la creacin y actualizacin del plan de pruebas.
Las siguientes actividades se explican con mayor detalle:
o
o
o
o
327 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Actividades de planificacin de pruebas - Estrategia de pruebas (test strategy).
La estrategia describe los niveles de pruebas a desarrollar y la intensidad de las pruebas
en esos niveles.
La estrategia de pruebas tambin establece los criterios de entrada y salida para cada
nivel, incluyendo las mtricas para evaluar estos criterios.
Es necesaria una estrategia de pruebas dado que probar un sistema de forma completa
no es viable.
o Probar con todas las combinaciones de datos de prueba, estados internos y
restricciones temporales es prcticamente imposible.
La valoracin de riesgos ayuda a centrar la atencin en aquellas reas en que las
actividades de pruebas presentan un riesgo de fallo ms alto.
328 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Actividades de planificacin de pruebas - Planificacin de recursos (resource planning).
El objetivo principal de la planificacin de recursos es estimar el esfuerzo de los miembros
del equipo, incluyendo sus necesidades en trminos de tiempo, herramientas, actividades
de apoyo, etc.
o Estas estimaciones se convierten en parte del plan de pruebas (dinmico).
Este plan de pruebas cuenta con un calendario (time table) detallado, incluyendo hitos,
asignacin de personal a actividades.
o Este plan es un Instrumento para gestionar la tarea global de la ejecucin de
pruebas con todas sus actividades.
329 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Actividades de planificacin de pruebas - Planificacin de pruebas (test planning)
Gestionar tiempos: Muchos proyectos experimentan intensos problemas de tiempo en
torno a las fases finales. Esto puede conducir a decisiones sobre la reduccin de
actividades de pruebas u omitir pruebas de forma completa.
Priorizar pruebas: Dado que la distribucin de software sin haber sido probado
suficientemente conlleva un alto riesgo, es necesario asignar prioridades a las actividades
de pruebas. Esto debe ser realizado de tal forma que los casos de prueba ms
Importantes sean ejecutados de forma temprana. De esta forma, partes crticas de los
programas son probadas incluso en el caso en el que actividades de pruebas sean
abortadas de forma prematura.
Seleccin de herramientas: Decidir respecto de qu herramientas deben ser utilizadas
para probar, si las herramientas disponibles son suficientes o si hay necesidad de
herramientas adicionales.
Documentar: Definir el nivel de detalle, estructura y plantillas para la documentacin de
pruebas.
330 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Criterios de entrada
Los criterios de entrada definen cuando inician las pruebas y el comienzo de un nivel de
pruebas o cuando un set de pruebas est listo para ejecucin.
Criterios tpicos de entrada:
o Preparacin y disponibilidad del ambiente de pruebas.
o Preparacin de herramientas de pruebas.
o Disponibilidad de cdigo para ser probado.
o Disponibilidad de los datos de prueba.
o Disponibilidad del recurso humano.
o Probadores (testers) estn listos y preparados
331 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Criterios de salida /1
Los criterios de salida que indican la finalizacin de una fase de pruebas, deben ser
establecidos para cada nivel de pruebas. Son necesarias mtricas para controlar estos
criterios de salida.
Ejemplos:
o Cobertura de cdigo (code coverage).
Porcentaje de cdigo (de un programa) que ha sido ejecutado.
Porcentaje de todos las funciones / todas las opciones de men que han sido
cubiertas.
o Cobertura de riesgo (risk coverage).
Casos de prueba de una clase de riesgo predefinido (por ejemplo el nivel de
riesgo ms alto) han sido ejecutados con xito en su totalidad.
332 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Criterios de salida /2
Aborto de pruebas debido a razones de tiempo, costos calidad.
o Las actividades de pruebas son paralizadas / suspendidas cuando se alcanza la fecha
de entrega o el presupuesto se agota. Es muy frecuente que sta sea la realidad en
proyectos, en muchas ocasiones esta circunstancia tiene un alto coste en tiempo y
dinero con posterioridad.
o Si no ha sido alcanzado un mnimo de calidad, las pruebas pueden ser suspendidas o
incluso no ser iniciadas (muchos defectos crticos).
Tasa de deteccin de errores (error finding rate)
o El nmero de nuevos errores detectados cae por debajo de un valor
predeterminado. Por ejemplo, Las pruebas han sido suspendidas si se han detectado
menos de un error por hora.
o Las economas del proceso de pruebas deben ser tenidas en cuenta. Ms all de una
cierta tasa de deteccin de errores puede resultar ms barato corregir errores
reportados por los usuarios que buscar y eliminar errores en el proceso de pruebas.
333 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Criterios de salida /3
Costos
334 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Enfoque de pruebas, estrategia de pruebas /1
El enfoque de pruebas es la implementacin de la estrategia de pruebas para un proyecto
especfico. El enfoque de pruebas es definido y redefinido en la planificacin y diseo de
pruebas. Son incluidas generalmente las decisiones tomadas basadas en los objetivos del
proyecto y la gestin de riesgos. Enfoques y estrategias pueden ser combinadas.
Estos son variedades de enfoques de pruebas:
Enfoque preventivo.
o Las pruebas son diseadas tan pronto como sea posible.
Enfoque reactivo.
o Primero se disea el sistema y el software, luego se disean las pruebas.
Enfoque analtico.
o Se realiza un anlisis como prioridad de pruebas. Por ejemplo, pruebas basadas en
riesgo.
Enfoque heurstico.
o Las pruebas son ms reactivas. Por ejemplo pruebas exploratorias.
335 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Enfoque de pruebas, estrategia de pruebas /2
Otros enfoques y estrategias de pruebas:
Enfoque de reutilizacin: Uso de set y resultados de pruebas de proyectos anteriores con
el fin de lograr avances rpidos.
Enfoque orientado a fallas: Adivinacin de errores.
Enfoque basado en listas de comprobacin: Uso de listas de comprobacin de
prioridades.
Enfoque basado en consultora: Expertos externos y tecnologas, guan el proceso de
pruebas.
Enfoque de cumplimiento de procesos y estndares: Se basa en estndares de
desarrollo de software.
Enfoque basado en modelos: Pruebas estocsticas basadas en informacin estadstica,
por ejemplo, informacin porcentual de fallas del sistema.
Ms enfoques pueden ser definidos. En la prctica, los enfoques son combinados
336 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - factores de influencia (sntesis)
337 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en expertos (estimacin basada en tareas) /1
Mtodo.
o Identificar todas las tareas a ejecutar, normalmente utilizando un enfoque
descendente (top down).
o Obtener estimaciones para cada tarea por los responsables de su ejecucin o por
expertos.
o Sumar todos los valores de las tareas. Incluir los factores de correccin (si hay
experiencias sobre la exactitud de las estimaciones realizadas).
o Incluir elementos adicionales (buffers) con el objeto de cubrir tareas omitidas o
subestimadas.
338 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en expertos (estimacin basada en tareas) /2
Ventajas.
o Las actividades de estimacin pueden estar estrechamente vinculadas a la
planificacin del proyecto.
o La estimacin da origen a informacin detallada que puede ser controlada y
ajustada a lo largo del ciclo de vida del proyecto.
o Las tareas pueden ser asignadas a grupos (por ejemplo pequeo, mediano, grande)
y los esfuerzos son estimados para un representante del mismo.
Desventajas.
o Este mtodo es extensivo y costoso.
o Este mtodo requiere de una idea clara respecto de la estrategia de pruebas y
actividades de pruebas en una fase temprana del proyecto.
o La experiencia demuestra que las estimaciones son en la mayora de los casos a la
baja. Esto podra deberse a la omisin o subestimacin de tareas.
o Los elementos incorporados (buffers) son recortados durante la planificacin del
proyecto.
o Los errores relativos a la planificacin de proyecto son heredados.
339 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en analogas /1
Mtodo.
o Clasificar las tareas de pruebas requeridas.
o Buscar un proyecto que se haya desarrollado en el pasado que contenga una tarea
similar a una especfica.
o Utilizar el esfuerzo real de esta tarea como base de la estimacin.
o A travs del uso de mtricas (lneas de cdigo, nmero de mdulos, nmero de
casos de prueba, etc.) como base, calcular el valor de la estimacin total.
o Considerar factores de correccin.
340 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en analogas /2
Ventajas.
o El mtodo es simple y efectivo.
o Se pueden lograr valores muy precisos para la estimacin si se cuenta con suficiente
experiencia.
Desventajas.
o Se requiere personal con experiencia y/o informacin detallada respecto del
proyecto actual y las tareas a estimar.
o Los criterios para la clasificacin de proyectos pueden no cubrir lodos los aspectos
de un proyecto.
o Frecuentemente conduce a debates con la direccin respecto de la validez de la
estimacin.
341 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en porcentajes /1
Mtodo.
o El esfuerzo para las actividades de pruebas se estima sobre la base de la totalidad de
las actividades del proyecto.
o El valor del porcentaje (fraccin) requiere ser determinado basndose en la
experiencia.
o Ejemplo: Spillner, Linz habla de un porcentaje del 50% de actividades de pruebas
respecto de la totalidad de las actividades del proyecto
o Este mtodo tambin puede ser utilizado para otras partes del proyecto (por
ejemplo estimacin para los costos de gestin de proyecto, estimacin del esfuerzo
de pruebas para las pruebas del sistema).
o La estimacin basada en porcentaje no tiene en cuenta el esfuerzo en pruebas de
regresin, las cuales hacen parte importante en las pruebas de mantenimiento y las
pruebas relacionadas con los cambios.
342 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Estimacin de pruebas - Estimacin basada en porcentajes /1
Ventajas.
o Tcnica de estimacin muy simple y ptenle que no requiere excesiva informacin
de entrada.
Desventajas.
o No muy precisa, dado que no tiene en cuenta las hechos particulares del proyecto
o Es necesaria mucha experiencia e intuicin por parte del estimador con el objeto de
obtener estimaciones vlidas.
o La decisin respecto del valor del porcentaje puede conducir a debates difciles.
o Tiene en cuenta actividades que ya forman parte de las estimaciones de la
planificacin del proyecto, por ejemplo El esfuerzo de pruebas del desarrollador
forma parte de la estimacin correspondiente al desarrollo o debe formar parte de
las estimaciones del proceso de pruebas?
343 de 418
V Gestin de Pruebas
02 Planificacin y estimacin de pruebas
Resumen
La planificacin de pruebas forma parte del plan de calidad corporativo.
El plan de pruebas es el elemento bsico de toda la planificacin de las actividades de
pruebas. Debe ser desarrollado de forma temprana en el proyecto.
o Plantilla de plan de pruebas: IEEE 829.
La estimacin d pruebas puede ser realizada utilizando varios mtodos. Tres mtodos
habituales son:
o Estimacin basada en expertos (estimacin basada en tareas).
o Estimacin basada en analogas.
o Estimacin basada en porcentajes.
344 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
345 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Seguimiento y control del estado de pruebas
Planificacin de pruebas (test planning): Las pruebas deben ser Iniciadas.
Seguimiento de pruebas (test monitoring): Control de las actividades de pruebas con el
objeto de detectar desviaciones respecto del plan.
Control de pruebas: Correccin del rumbo de las actividades de pruebas cuando sea
necesario.
El seguimiento debe ser realizado en base a consideraciones medibles.
o Mtricas en base a errores, por ejemplo utilizando informacin del sistema de
gestin de incidentes.
o Mtricas en base a casos de prueba, por ejemplo utilizando Informacin del sistema
de gestin de pruebas.
o Mtricas en base a objetos de prueba, por ejemplo utilizando Informacin del
sistema de gestin de la configuracin.
o Mtricas en base a costos, por ejemplo utilizando Informacin del sistema de
control del proyecto.
Los resultados obtenidos de la medicin deben ser informados de forma regular.
346 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Informe de estado de pruebas o reporte de pruebas /1
La Informacin de las actividades de pruebas se consolida en un reporte de pruebas (test
reporting).
Ejemplo del contenido de un informe de estado de pruebas (segn IEEE 829).
o Objetos de prueba.
o Niveles de prueba, ciclos de prueba, perodo del Informe.
o Estado de pruebas utilizando mtricas, por ejemplo nmero de defectos
documentados, nmero de casos de prueba ejecutados.
o Recursos utilizados, presupuesto consumido.
o Hitos alcanzados, por ejemplo aceptacin de objetos de prueba en niveles de
prueba especficos.
o Informe de defectos (nmeros de defectos descubiertos, nmero de defectos
corregidos)
o Evaluacin del riesgo (nuevos riesgos, riesgos modificados por informes previos)
o Pronstico: Actividades planificadas para el prximo perodo de informe.
o Evaluacin general, estado (semforo).
347 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Informe de estado de pruebas o reporte de pruebas /2
Frecuencia de los Informes.
o Al inicio del proyecto, en la fase de preparacin los ciclos de los informes son ms
largos (quincenal o mensual).
o Las fases crticas de la ejecucin de pruebas requieren ciclos cortos (semanales,
diarios).
o El informe de cierre de pruebas al final del proyecto.
Evaluacin de los informes de pruebas.
o El desarrollo es apropiado?
o La ejecucin de las pruebas es eficaz y eficiente?
o Las actividades estn alineadas con los objetivos de pruebas?
o Estn siendo alcanzados objetivos de pruebas?
o Cul es el grado de riesgo de aquellos defectos que no han sido detectados?
o Cul es el nivel de confianza en el software basado en el estado actual de las
pruebas?
348 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Control de pruebas
El control de pruebas es una tarea de gestin.
o El jefe de pruebas pertenece a las directivas del proyecto.
o Las tareas de direccin pueden Incluir otras reas del proyecto principal, tareas
ajenas al alcance de pruebas.
Medidas correctivas como respuesta a desviaciones respecto del plan.
o El control de pruebas incorpora todas las medidas ejecutadas durante el proceso de
pruebas.
o Ajuste de las actividades planificadas y cuando sea necesario, iniciar un nuevo ciclo
de planificacin en el plan de proyecto.
Evaluacin del cierre de pruebas.
o Los criterios de salida de pruebas tambin son registrados con las mtricas de
progreso de pruebas.
o Los criterios de salida de pruebas que hubieran sido alcanzados son documentados
en el informe de pruebas para su aprobacin.
349 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Medidas de control de pruebas
Provisin de mayores recursos.
o Ms recursos humanos (sobe el tiempo, incrementar el tamao del equipo de
pruebas).
o Ms presupuesto (Incluir especialistas externos, consultores).
o Despliegue de herramientas para la automatizacin de tareas.
Reduccin del esfuerzo aplicado al trabajo.
o Exclusin de variaciones de casos de prueba.
o Simplificacin de objetos de prueba complejos, omisin de objetos especficos.
o Reduccin de la cantidad de datos de prueba.
o Omisin de casos de prueba, set de prueba (juego de prueba).
Las medidas de control de pruebas son documentadas con el objeto de informar a la
direccin del proyecto o el cliente, los cambios en los riesgos para el despliegue del
producto.
350 de 418
V Gestin de Pruebas
03 Seguimiento y control del estado de pruebas
Seguimiento y control del estado de pruebas - Resumen
El seguimiento del estado de pruebas se basa en criterios medibles y aporta la
Informacin necesaria para gestionar el proceso de pruebas.
Las desviaciones respecto del plan requieren acciones correctivas.
La presentacin regular de informes aporta informacin al proyecto y a la direccin de la
compaa respecto del progreso de las pruebas.
351 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
352 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Gestin de la configuracin - Motivacin
Durante el desarrollo software se genera una gran cantidad de datos, informacin,
resultados (artefactos):
o Documentos de requisitos, especificaciones, diseo del sistema.
o Componentes individuales, mdulos integrados, sistemas completos.
Un gran nmero de participantes con roles diferentes en los distintos componentes del
sistema.
La gestin de la configuracin es responsable de la asignacin explcita de una
denominacin para todos los artefactos y su administracin.
o Asignacin de nmeros de versin sucesivos.
o Es registrado el espacio (clearance) para desarrollos posteriores.
o Versiones antiguas son guardadas para un futuro control.
o Es registrado el acceso a los artefactos.
353 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Gestin de la configuracin - Observaciones generales
La gestin de la configuracin presenta un rol de apoyo dentro de un proyecto. Todos los
cambios deben ser registrados en un recurso comn y comunicado haciendo uso de
procesos definidos.
Las expectativas respecto de la gestin de la configuracin pueden variar de forma
considerable dependiendo del tipo y alcance de proyecto, se debe desarrollar un plan de
gestin de la configuracin especfico.
IEEE 828 aporta un estndar para la gestin de la configuracin y el plan de gestin de la
configuracin.
La gestin de la configuracin no es una actividad particular del proceso de pruebas, es
necesaria durante todas las fases de un proyecto.
La gestin de la configuracin sin una herramienta apropiada slo es posible en proyectos
muy pequeos.
354 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Gestin de la configuracin - Definiciones
Gestin de la configuracin - GC (configuration management - CM) se refiere a un
conjunto de medidas que complementan al desarrollo software:
o Gestin del cambio (change management): sigue todas las actividades, por ejemplo
cambios en el cdigo fuente para cada solicitud de cambio.
o Gestin de la construccin (build management): describe todos los pasos para
crear una versin de un producto de software con el objeto de ser suministrado
como un todo o subsistemas individuales.
o Gestin de entregas (release management): permite la definicin de versiones
aisladas para cada artefacto componente de una versin completa de un producto a
ser probado, entregado, etc.
o Gestin de versiones (versions management): como parle de GC registra todo la
informacin de acceso para cada artefacto: versin actual (nmero), ltimo cambio,
ltimo usuario, etc.
355 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Problemas tratados por la gestin de la configuracin
Cul es la versin actual? La ambigedad con respecto a qu versiones se corresponden
puede resultar en actividades de desarrollo basadas en versiones antiguas (obsoletas) de
la especificacin.
Qu ha sido modificado, cuando y quien lo modific? Son posibles cambios
concurrentes de un fichero (archivo): qu cambios pueden ser sobrescritos?
Qu versin del fichero ha sido probada? Es difcil probar y extraer una conclusin de
unas pruebas cuando no se tiene conocimiento concreto d la versin de la qu se trata.
Qu artefactos se corresponden? Qu versiones han sido agrupadas para crear las
distintas entregas (release)?
356 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Los requisitos sobre la GC conforman el punto de vista del proceso de pruebas
Control de versiones (versin control).
o Clasificar, guardar y recuperar diferente versiones de un objeto (V1.0, V1.1, etc.).
Gestin de la configuracin, gestin de entregas (release management).
o Determinar y administrar toda la informacin en las versiones correspondientes que
conforman un subsistema.
Protocolos, comentarios y razones para los cambios realizados.
Mantener un registro de estado.
o Trazar defectos y cambios, registrar Informes de problemas y aportar actividades de
retroalimentacin (backtracking of activities).
357 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Auditoria de la configuracin (configuration audit)
Se Introduce una auditoria de la configuracin con el objeto de comprobar la efectividad
de las actividades de la gestin de la configuracin.
La auditoria de la configuracin comprobar:
o Si todos los componentes individuales de un sistema son considerados en la gestin
de la configuracin.
o Si las configuraciones individuales pueden ser identificadas correctamente.
358 de 418
V Gestin de Pruebas
04 Gestin de la configuracin
Gestin de la configuracin Resumen
La gestin de la configuracin es necesaria para administrar los cambios sobre los objetos
de prueba y sus respectivas versiones.
Informacin de la construccin (build) y la entrega (release) es conservada con el objeto
de poder reconstruir versiones antiguas.
La gestin de la configuracin se aplica al proceso de desarrollo software completo, no
solamente al proceso de pruebas.
La gestin de la configuracin es posible solo con las herramientas apropiadas.
359 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
360 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Riesgo - Definiciones
Riesgo
o Un riesgo es una prediccin calculada de un posible dao, la prdida en caso de un
resultado negativo, el peligro de una posible ventaja, la ganancia en el caso de un
resultado positivo (oportunidad).
o El riesgo es la probabilidad de un resultado negativo (matemtico), o la probabilidad
de la ocurrencia de un suceso negativo multiplicada por el monto del dao
econmico.
Riesgo (Waltzing With bears". Tom DeMarco, TImothy Lister)
o Un caso posible en el futuro que dar lugar a un resultado no deseado (causa), este
es un resultado no deseado en s mismo (efecto).
El riesgo asociado al proyecto y al producto deben ser tenidos en cuenta durante la
planificacin y el diseo de casos de prueba, cuando se prioricen casos de prueba, cuando
se seleccionen mtodos y durante la ejecucin de pruebas.
361 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Riesgos del proyecto /1
Riesgos asociados a la organizacin (organizational risks).
o Capacitacin y disponibilidad del personal.
o Problemas personales entre equipos, miembros del equipo.
o Cooperacin insuficiente entre departamentos, conflictos de intereses.
o Estimaciones no realistas de plazos del proyecto.
Riesgos tecnolgicos (technical risk).
o Requisitos defectuosos, incompletos o no realistas.
o Tecnologas, mtodos y herramientas nuevas que presentan incertidumbres para el
desarrollo software.
o Dficit de calidad en productos.
o Disponibilidad de un entorno de prueba complejo.
Riesgos ambientales (environmental risks).
o Deficiencias por factores externos en la provisin de componentes (plazos, calidad, coste)
o Problemas de aceptacin y otros inconvenientes contractuales con proveedores.
o Acceso concerniente a recursos externos.
o Cambios en requisitos legales.
362 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Riesgos del proyecto /2
Los riesgos asociados al proyecto afectan al xito del proyecto y deben ser gestionados.
Estimacin de la probabilidad y dao potencial.
Implementar medidas apropiadas para tratar los riesgos identificados:
o Mitigacin del riesgo: preparacin activa de medidas para reducir lo probabilidad y
dao potencial.
o Control del riesgo: preparar las medidas necesarias en el caso en el cual el riesgo se
convierte en un problema, contar con tiempo y fondos disponibles.
o Ignorancia del riesgo: esperar que el riesgo no se convierta en un problema.
o Transferencia del riesgo: mover el riesgo a otra rea, organizacin.
o Evitar el riesgo: (evitar situaciones de riesgo).
Cuando se analizan, manejan y mitigan los riesgos, el jefe de pruebas est siguiendo los
principios establecidos para la gestin del proyecto.
IEEE Std 829 plantea esquemas para planes prueba para el manejo de riesgos y contingencias.
363 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Riesgos del producto
Los riesgos asociados al producto son el resultado de problemas relacionados con el
producto suministrado.
o Funcionalidad insuficiente del producto suministrado.
o Atributos no funcionales insuficientes.
o Pobre integracin de datos y calidad.
o El producto no es idneo para su uso previsto, por lo tanto no puede ser puesto en
operacin.
o El producto provoca daos a la propiedad.
o El producto provoca lesin o muerte accidentales.
Las pruebas se ejecutan para reducir o evitar los riesgos asociados al producto.
o La probabilidad de ocurrencia de un riesgo s reduce.
o El dao potencial por la ocurrencia d un riesgo se reduce.
o Para un potencial alto de dao, mas pruebas intensivas son necesarias
364 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Gestin de riesgos de producto /1
Gestin de riesgos asociados al producto utilizando pruebas basadas en el riesgo.
o Identificar, analizar y priorizar riesgos.
o Influencia del riesgo tenido en cuenta durante la planificacin de pruebas.
Seleccionar los mtodos de pruebas para mitigar riesgos.
Asignar alcance de las pruebas (profundidad) de acuerdo al nivel de riesgo.
Adaptar el orden de ejecucin de casos de prueba. Los casos de prueba
importantes en primer lugar con el objeto de detectar defectos crticos de
forma temprana.
o Actualizar la lista de evaluacin de riesgos (risk assessment worksheet) de forma
regular.
Los riesgos pueden desaparecer (el proveedor ha entregado en el plazo
acordado).
Pueden aparecer nuevos riesgos (el cliente solicito funciones adicionales).
Los riesgos pueden cambiar (epidemia de gripe).
365 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Gestin de riesgos de producto /1
Beneficios de las pruebas basadas en el riesgo:
o Los mtodos de pruebas son seleccionados de forma particular con el objeto de
mitigar los riesgos identificados.
o El alcance de las pruebas se ocupa de los riesgos identificados.
o El alcance del proceso de pruebas tiene en cuenta los riesgos identificados. De esta
forma, el esfuerzo en el proceso de pruebas se centra en abordar la reduccin del
riesgo potencial.
o Los fallos peligrosos son detectados de forma temprana, por lo tanto se hace ms
econmica su correccin.
o Incluso en el caso de un aborto de pruebas, se asegura que los casos de prueba ms
importantes han sido ejecutados (asignacin de prioridades a pruebas basada en el
riesgo).
366 de 418
V Gestin de Pruebas
05 Riesgo y pruebas
Riesgo y pruebas - Resumen
Los riesgos asociados al proyecto y al producto ponen en peligro el xito del proyecto, los
riesgos deben ser gestionados.
Los riesgos pueden ser tecnolgicos, del entorno o estar asociados a la organizacin.
Nmero de Riesgo (valor) = Probabilidad de ocurrencia por dao potencial.
367 de 418
V Gestin de Pruebas
Agenda
Captulo V Gestin de Pruebas
368 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Deteccin de errores durante las pruebas
El probador ejecuta los casos de prueba y registra los resultados.
Posteriormente analizan las desviaciones entre los resultados esperados y los obtenidos:
o Se identifican los fallos (los fallos pueden ocurrir en todo lugar: en documentos, en
el cdigo, en los datos de salida de un objeto de prueba, en un texto de ayuda).
En este punto (temporal), las tareas del probador han finalizado por el momento
o El probador espera la versin corregida del programa para ejecutar la repeticin de
pruebas (retest).
Posteriormente, el seguimiento de errores se realiza utilizando un sistema de gestin de
errores (sistema de gestin de errores / defectos).
369 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Quin hace qu? /1
Probador (tester)
o Ejecuta los casos de prueba con el objeto de detectar errores.
o Registra los resultados en un protocolo de pruebas.
o Introduce los errores en un repositorio (informe de problemas).
Jefe de pruebas (test manager).
o Evala el informe de problemas.
o Asigna prioridades a los errores (de acuerdo con la direccin del proyecto, cliente,
etc.)
o Redacta el informe de estado en funcin del estado actual de las labores de
correccin.
370 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Quin hace qu? /2
Comit de Control del Cambio (CCC) (Change Control Board - CCB).
o Decide con respecto a los cambios de requisitos y sus prioridades.
Desarrollador (developer).
o Analiza los fallos, localiza la causa del error.
o Corrige la causa de error de acuerdo con la prioridad asignada.
o Ejecuta todos los cambios aprobados.
Todas estas tareas son ejecutadas de forma iterativa:
o Probador (tester).
o Jefe de pruebas (test manager).
o Consejo de Control de Cambio (CCC)
o Desarrollador.
371 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Estructura de un informe de incidencias (informe de errores) /1
El Informe de incidencias describe el defecto de un error, no su causa.
La estructura de un informe de incidencias puede ser encontrada en el estndar IEEE 829
(Anomaly Report).
Elementos que puede Incluir un informe de incidencias:
o Datos del error.
Nmero nico del error (puede ser generado de forma automtica).
Objeto de prueba (nombre, versin), pasos de prueba
Ambiente de pruebas.
Nombre del autor del informe de Incidencias.
Fecha de la primera ocurrencia.
o Clasificacin de errores.
Clase de error (error class), por ejemplo crtico, menor.
Estado del error (error state), por ejemplo error nuevo, repeticin de prueba,
etc.
Prioridad (priority)
372 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Estructura de un informe de incidencias (informe de errores) /2
Elementos que se puede incluir un informe de incidencias:
o Descripcin.
Caso de prueba (aporta todos los detalles de las precondiciones).
Resultado errneo, modo de fallo (usando una descripcin del resultado
obtenido y el resultado esperado).
Descripcin de la desviacin para facilitar su solucin.
Severidad del error (Impacto, afectados, implicados)
Referencias cruzadas con informes relacionados.
Comentarios.
Acciones correctivas tomadas.
o Registro histrico
Tiempo y usuario de correccin
Muchos sistemas siguen automticamente los cambios en el ciclo de vida del
incidente
373 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Clase de error y prioridad del error
La severidad de un error se expresa por la asignacin de una clase de error.
o Las clases de errores a utilizar pueden ser: error crtico, error mayor, error medio,
error menor. Son frecuentes tres o cuatro clases de errores.
o El criterio para la clasificacin puede ser influenciado por la usabilidad del producto.
La prioridad tiene en cuenta el efecto del error:
o Impacto sobre la funcionalidad del programa.
o Impacto sobre el proyecto, sobre el cliente.
o Posibilidad de aportar una solucin (correccin) inmediata al problema o en la
siguiente entrega.
La prioridad rige la urgencia de la correccin.
374 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Estado de un error /1
El estado de un error aporta informacin relativa al progreso o evolucin del trabajo que
ha sido desarrollado para este error.
Los posibles estados de un error son, pero no estn limitados a los siguientes:
o Nuevo (new): El probador ha Introducido un error en el sistema.
o Abierto (open): El Jefe de pruebas ha confirmado el informe del problema.
o Rechazado (rejected): El Jefe de pruebas ha rechazado el informe del problema.
o Inspeccin (inspection): El desarrollador intenta Identificar el error.
o En observacin (surveillance): El error no puede ser reproducido, se encuentra bajo
vigilancia.
o Trabajo en progreso (work in progress): El error es localizado y preparado para su
correccin.
o Repeticin de pruebas (retest): El desarrollador ha corregido la causa del error.
o Finalizado (finalized): E| probador ha verificado la correccin o travs de la
repeticin de las pruebas.
o No resuello (not solved): El probador no ha podido verificar la correccin, el error
an est presente.
375 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Estado de un error /2
Flujo de los estados tpicos y transiciones de la gestin de incidentes.
nuevo
rechazado
abierto
en observacin
inspeccin
trabajo en progreso
No resuelto
retest
finalizado
376 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Estado de un error /3
Slo un probador puede poner un error en estado finalizado
Normalmente el jefe de pruebas decide si un error debe ser corregido o rechazado. De
forma alternativa, l comit de control del cambio puede decidir sobre la correccin de
un error teniendo en cuenta el costo de la solucin.
Todos los cambios (incluidos los comentarios) deben ser registrados en el sistema de
gestin de incidencias.
o El control continuo sobre el estado de correccin de un error est asegurado.
o Las actividades de pruebas futuras pueden ser planificadas.
o En ocasiones, pueden ser generados casos de prueba adicionales con el objeto de
localizar la causa de un fallo.
377 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Anlisis del informe de incidencias
Todos los informes son analizados de manera sistemtica con el fin de evaluar el estado
de las actividades de correccin, el plan de conformidad del proyecto y la calidad del
software.
Tpicos puntos de atencin.
o Detectar una reduccin o aumento en el nmero de defectos nuevos durante el
ciclo de vida del proyecto.
o Se detecta en un objeto de pruebas un alto nmero de defectos?
o Se encuentran defectos crticos aun abiertos?
o Algn defecto lleva mucho tiempo sin ser corregido?
Los gestores de incidentes proveen una variedad de reportes de estadsticas de defectos.
378 de 418
V Gestin de Pruebas
06 Gestin de incidencias
Gestin de incidencias - Resumen
La gestin de incidentes es la gestin de los defectos encontrados durante las pruebas.
La gestin de incidentes es un proceso con un propio y particular flujo.
Para el manejo de incidentes existen herramientas, que permiten cubrir las tareas para la
gestin de cambios.
La expresin gestin de desviaciones es sinnimo de gestin de incidentes.
379 de 418
380 de 418
381 de 418
382 de 418
383 de 418
384 de 418
385 de 418
386 de 418
387 de 418
388 de 418
389 de 418
390 de 418
391 de 418
392 de 418
393 de 418
394 de 418
395 de 418
396 de 418
397 de 418
398 de 418
399 de 418
400 de 418
401 de 418
402 de 418
403 de 418
404 de 418
405 de 418
406 de 418
407 de 418
408 de 418
409 de 418
410 de 418
411 de 418
412 de 418
413 de 418
414 de 418
415 de 418
416 de 418
417 de 418
418 de 418
AGRADECEMOS SU PARTICIPACION
LES DESEAMOS UN EXAMEN EXITOSO
PARA CONVERTIRSE EN MIEMBRO DEL
ISTQB
COMO PROBADOR CERTIFICADO EN NIVEL BSICO