DESARROLLO

DE CAPTULO
IV

134

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

CONTENIDO
CAPTULO IV

Evaluacin de la Calidad del

Software Educativo

135

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.

Metodologa
Generalizada de
Evaluacin
A lo largo del curso se ha indicado
que para la evaluacin de la calidad
del software los organismos de
estandarizacin

han

formulado

algunos estndares, de los cules los

ms relevantes son las normas ISO/
IEC 9126, ISO/IEC 14598 e ISO/IEC
25000. Cabe resaltar, que ninguno de
estos est formulado especficamente
para evaluar software desarrollado
para el mbito educativo, pero esto
no significa que no puedan utilizarse
con xito para este propsito.
En los ltimos aos se han formulado
algunas propuestas desde los crculos
acadmicos

investigativos

que

tratan el tema de la evaluacin de la

calidad del software educativo, pero
al momento no se ha demostrado la
relevancia de ninguna de ellas como
para tomarlas como referencia nica
en un proceso de evaluacin.

136

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

El software desarrollado para el

A continuacin se presenta una

mbito educativo involucra, o debe

metodologa

involucrar,

software educativo que llamaremos

elementos

propios

de

evaluacin

de

del dominio de la enseanza y

metodologa

la educacin, pero al detallar los

evaluacin, que puede ser utilizada

modelos de calidad que hacen parte

como

de los estndares ISO se observa

procesos

que estos pueden no contemplar

calidad cualquier tipo de software.

caractersticas/subcaractersticas

Esta metodologa se basa en los

que cubran la evaluacin de dichos

estndares internacionales ISO/IEC

elementos. La solucin al problema

14598, ISO/IEC 9126 e ISO/IEC 25000

anterior es simple y consiste en

y fue presentada por Bertha Alice

modificar los modelos de calidad

Naranjo Snchez en el XIV Encuentro

agregando

que

Internacional Virtual Educa Colombia

permitan cubrir y evaluar los aspectos

2013 celebrado en la ciudad de

o elementos propios del mbito

Medelln. Virtual Educa(2013).

subcaractersticas

generalizada

referencia
de

para

de

adelantar

evaluacin

de

la

educativo que sean de inters.

Lo importante es tener presente que
cualquier metodologa o propuesta
que se tome como referencia para
adelantar un proceso de evaluacin
de la calidad, es solo un buen punto
de partida para llevar a cabo dicho
proceso,

nada

impide

que

el

evaluador o su equipo la adapten

o

modifiquen

de

acuerdo

su

experiencia, conocimientos, recursos

disponibles, etc.

137

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1. Partes de la
metodologa
Segn Snchez esta metodologa
puede

ser

considerada

como

un aporte a las metodologas de

evaluacin
Snchez

generalizada,
(2013).

La

Naranjo

metodologia

propone las siguientes etapas o

partes para el proceso de evaluacin:
(1) Establecimiento de la evaluacin,
(2) Planificacin de la evaluacin,
(3) Establecer el Modelo de Calidad,
(4)

Determinar

la

puntuacin/

calificacin de los elementos que

componen el modelo, (5) Efectuar
medicin, (6) Establecer resultados, y
(7) Presentar Informe.
Como se observa las etapas propuestas
por la metodologa son muy similares
a las que establece el estndar ISO/
IEC 14598. A continuacin se describe
con ms detalle cada una de ellas.

138

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.1
Establecimiento
de la evaluacin.

Una vez se decide adelantar el proceso

de evaluacin se debe determinar el
enfoque de la medicin. Para lo cual
segn Naranjo Snchez (2013) se debe:

Determinar objetivo de
la evaluacin:
este punto radica en concretar con
el cliente el objetivo principal que se
busca con la evaluacin. Por lo general,
en las instituciones educativas al
adelantar la adquisicin o compra
de

algn

producto

de

software

educativo,

se

desea

comparar

diferentes

productos

similares

buscando determinar cul de ellos

cumple con los requerimientos de
calidad que satisfacen las necesidades
de la institucin y/o sus usuarios.
Otros objetivos o propsitos para
la evaluacin de la calidad de un
producto pueden ser: decidir sobre
la aceptacin de un determinado
producto, decidir cuando lanzar a la
venta un producto, decidir cundo
reemplazar un producto, etc.

139

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Establecer tipo de la
evaluacin:
este punto es simple y consiste
en identificar e indicar el tipo de
evaluacin a realizar, la cual se puede
centrar bsicamente en el producto
final o su proceso de desarrollo.

Identificar el tipo de
producto:
cuando la evaluacin se trata de un
producto se debe identificar si dicho
producto es comercial, desarrollado a
medida para la institucin educativa,
software libre (gratuito), software
alquilado, comprado/por comprar,
etc.

140

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.2
Planificacin de la
evaluacin.

Una vez se conoce lo que se busca con la

evaluacin, se pasa a abordar la etapa
de planificacin y organizacin del
trabajo a realizar. Como actividades
importantes a definir se tienen segn
Naranjo Snchez (2013):

Elaborar cronograma
de la evaluacin.
En un cronograma tentativo se deben
definir todas las actividades que se
realizaran durante todo el proceso de
evaluacin de la calidad.

Identificar
responsables.
En este punto se debe identificar las
personas

que

intervendrn en el

proyecto. La identificacin de todo el

recurso humano requerido depende
del

tipo

particular

de

software

educativo a evaluar, por ejemplo se

puede requerir la participacin de
docentes, estudiantes,

tcnicos o

ingenieros, pedagogos, etc.

141

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Determinar roles.

Identificados los integrantes que

participaran

en

el

proceso

de

evaluacin, se determinan y asignan

las actividades y/o tareas que van a
desarrollar cada uno de ellos.

Elaborar contrato o
acuerdo.
Lo ltimo a realizar en la etapa de
planificacin de la evaluacin, es
elaborar un contrato que contenga
las diferentes especificaciones que se
desean para las mediciones y como
estas sern documentadas.

142

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.3
Establecer el
modelo de calidad.

Se plantean los siguientes 4 niveles

para describir el modelo de calidad en
esta propuesta de evaluacin:

Nivel 0, tipo de calidad

Nivel 1, caractersticas

Nivel 2, subcaractersticas

Nivel 3, mtricas

Nivel 4, indicadores.

En Naranjo Snchez (2013) se describe

cada uno de estos niveles.

143

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 0: Tipo de calidad
(mtricas de producto y
mtricas proceso).

Nivel 1: Caractersticas.

El modelo de calidad propuesto como

punto de partida corresponde al

En Naranjo Snchez (2013), se indica

que el modelo de calidad propuesto
para la evaluacin visto desde una
perspectiva global est centrado en
mtricas de proceso y mtricas de
producto. Las mtricas de producto
son basadas en normas reconocidas
ISO 9126, IEEE 14143, ISO 20.000
que contienen mtricas internas,
externas y de calidad en uso. Las
mtricas

de

proceso

tratan

los

aspectos comunes de los siguientes

que plantea la norma ISO/IEC 9126

presentado en el captulo 3. La idea
con el modelo es que el grupo de
trabajo seleccione las caractersticas
y subcaractersticas que considere
relevantes para

la evaluacin del

software

educativo,

modificar

el

modelo

pudiendo
de

calidad

adicionando nuevas caractersticas,

subcaractersticas, y mtricas de
acuerdo a las particularidades del
proyecto.

estndares COBIT, ISO 17799, ISO

27001, CMMI, ISO 15504, IEEE 1044,
ITIL, ISO 20000, entre otros.

144

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 2:
Subcaractersticas.
Las subcaractersticas corresponden
a los atributos del producto. Para
definir

las

subcaractersticas:

primero, se deben enumerar todos

los
debe

atributos
reunir

que
el

se

considera

software

ideal;

segundo, se procede a validar las

subcaractersticas propuestas

con

el cliente; tercero, si el cliente da su

visto bueno se incluyen en el modelo
de calidad de software en el nivel de
subcaractersticas.

Nivel 3:
Mtricas.
Las mtricas corresponden a las
formulas y medidas que se usaran
para

determinar

el

grado

de

cumplimiento de cada una de las

subcaractersticas.

145

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 4:
Indicadores.
Al aplicar las frmulas definidas para
cada subcaracterstica se calcula el
valor resultante que puede ser un
nmero, un porcentaje, un numerador
y un denominador, en fin la medida
en la cual las subcaractersticas se
cumplen.

146

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.4
Determinar la
puntuacin/
calificacin de los
elementos que
componen el modelo.

En esta etapa se debe establecer la

puntuacin que se manejara para los
elementos de los diferentes niveles.
En Naranjo Snchez (2013) se indican
los siguientes valores a manejar en
los diferentes niveles.

147

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 0: Tipos de
calidad.
El puntaje mximo que se puede tener

Por ejemplo, se podra decidir asignar

en la evaluacin es de 100, y el equipo

80 puntos a mtricas de producto

de evaluacin debe distribuirlo de

(60 puntos para mtricas de calidad

acuerdo al enfoque de la medicin.

interna-externa y 20 puntos para

Para el nivel 0 se debe indicar cuanto

las mtricas de calidad de uso),

se asigna a las mtricas de producto,

y 20 puntos para las mtricas de

y cuanto se asigna a las mtricas de

proceso (para cubrir aspectos de la

proceso.

administracin del sistema.

La asignacin de puntaje a mtricas
del proceso se realiza solo si la
evaluacin del software educativo
se adelanta para la empresa (o
institucin

educativa)

que

est

desarrollando el software. Se puede

dar el caso que no se tengan en cuenta
mtricas del proceso, sobre todo
con los productos que se encuentran
en la etapa de operacin (ya en el
mercado) donde es difcil disponer
de

la

informacin

artefactos

manejados en la etapa de desarrollo

del software, en estos casos todo el
puntaje de la evaluacin (100 puntos)
se debe distribuir nicamente en las
mtricas de producto.

148

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 1:
Caractersticas.
A este nivel le corresponde realizar la
distribucin de los puntajes definidos
en el nivel anterior para mtricas,
producto y proceso. La distribucin
la sugiere el equipo de evaluacin,
sobre las caractersticas que sean
seleccionadas para el modelo de
calidad, y se presentan al cliente para
su aprobacin.
En las Tablas 9 y 10 se indica a manera
de ejemplo una posible distribucin
que se presenta en Naranjo Snchez
(2013), donde solo se tienen en
cuenta algunas de las caractersticas
disponibles para producto y proceso.
Observe que se respeta el puntaje
total indicado en el nivel 0 para
mtricas de producto y proceso.

149

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Puntaje

Caractersticas por
Producto
Tabla 9
Ejemplo de Puntaje
Asignado a las
Caractersticas del
Producto

Funcionalidad

20

Usabilidad

12

Fiablidad

Eficiencia

Satisfaccin

Capacidad de mantenimiento

Productividad

Portabilidad

Efectividad

Seguridad de uso

total

80

Fuente: Adaptado de Naranjo Snchez (2013)

150

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Puntaje

Caractersticas del
Proceso
Tabla 10
Ejemplo de Puntaje
Asignado a las
Caractersticas del
Proceso

Planificacin de sistemas

Organizacin

Controles generales

Metodologa de desarrollo de
sistemas

Entrega e implementacin de
sistemas

Administracin de la
documentacin

total

20

Fuente: Adaptado de Naranjo Snchez (2013)

151

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 2:
Subcaractersticas.
En este nivel el equipo de evaluacin
debe

asignar

los

puntajes

para

valorar las subcaractersticas tanto

del producto como del proceso,
respetando los valores acordados con
el cliente en el nivel 1.
Para verificar el cumplimiento de
cada

subcaracterstica

instrumentos

como

se utilizan
entrevistas

y encuestas, u otros mecanismos

como las pruebas tcnicas (pruebas
de caja negra, caja blanca, etc),
administrativas y/o de cuestionario
de relevamiento tcnico.
A los resultados de la aplicacin los
diferentes instrumentos y pruebas se
les asignan un peso en la evaluacin
de acuerdo a los criterios que se
definan. A continuacin en la Tabla
11 se presenta un ejemplo dado en
Naranjo Snchez (2013), que muestra
cmo distribuir los pesos entre los
diferentes instrumentos.

152

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Cuestionario
a usuarios
Tabla 11
Ejemplo
Distribucin Peso
Instrumentos Usados
en la Evaluacin de
Software

30

50

Prueba
Administrativa
X

50

20

100

Cuestionario
de Relevamiento
Tcnico
X

Prueba de caja
negra

Total

100

50
X

50

100
100

100

30

20

100

100

100

Fuente: Adaptado de Garcia (2003).

153

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

En la tabla anterior cada fila muestra

Si se usan encuestas o entrevistas la

las pruebas e instrumentos a aplicar

forma de calificar las preguntas debe

a una determinada caracterstica y a

ser con el uso de escalas dicotmicas

cada uno se le asigna un porcentaje.

(si/no) o escalas Likert. El uso de estas

La suma de los pesos asignados a

escalas permite una mejor valoracin

las pruebas e instrumentos que se

de las percepciones de los usuarios.

aplique para la subcaracterstica debe

La Tabla 12 presentada en Naranjo

ser 100. Por ejemplo, en la segunda

Snchez (2013) muestra un ejemplo de

fila se utiliza cuestionario, una

una posible escala Likert que puede ser

prueba administrativa y una prueba

usada para la valoracin de preguntas

de caja negra, asignando 30, 20, 50

escritas en forma afirmativa. La Tabla

respectivamente, para un puntaje

13 presenta otra escala Likert pero

total mximo a obtener de 100 en

con cuatro categoras.

dicha subcaracterstica.
La asignacin de los pesos debe ser
analizada por el equipo evaluador por
lo que pueden varias de un equipo
evaluador a otro.

En este punto si

se tienen subcaractersticas para

aspectos educacionales, se podra
asignar incluso mayor pero a estos
criterios que a los tcnicos.

154

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Escala

Tabla 12
Ejemplo de
Escala Likert
para Valoracin
de Preguntas
Afirmativas

Valor

Total Acuerdo

Parcial Acuerdo

Medio

Parcial Desacuerdo

Total Desacuerdo

Fuente: Adaptado de Naranjo Snchez (2013)

155

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Escala

Tabla 13
Ejemplo de Escala
Likert Cuatro Niveles

Valor

Excelente / Siempre

Bueno / Regular

Regular / Ocasional

Malo / Nunca

Fuente: Adaptado de Garca (2003)

156

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 3:
Mtricas.
En este nivel el equipo de evaluacin
debe asignar los puntajes mximos
de referencia para valorar cada una
de las mtricas a utilizar. La suma
total de los

puntajes

mximos

de todas las mtricas deber ser

igual a 100 puntos. Al calificar las
mtricas se deben usar solo nmeros
enteros para la valoracin de las
caractersticas y subcaractersticas.
Naranjo Snchez (2013).

157

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.5
Efectuar medicin.

Esta

parte

de

la

metodologa

corresponde a la medicin de las

caractersticas,

subcaractersticas,

mtricas e indicadores aplicando

los instrumentos y herramientas
definidos en las etapas anteriores.
Los valores que se obtengan al
realizar

las

mediciones

sern

llamados puntajes obtenidos y deben

ser representados en funcin de las
escalas

establecidas

previamente;

en el mejor de los casos el puntaje

obtenido para una caracterstica,
subcaracterstica,
indicadores

no

mtricas
debe

superar

e
el

puntaje mayor de referencia fijado

previamente. Naranjo Snchez (2013).

158

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Se debe mencionar que en el dominio

de

la

ingeniera

informtica

se

trabajan diversos tipos de pruebas

dentro de los cuales se pueden
destacar: pruebas de carga mxima,
pruebas

de

almacenamiento,

pruebas de tiempo de ejecucin,

prueba de recuperacin, prueba de
procedimientos, prueba de factores
humanos,

pruebas de usabilidad,

pruebas de smoke (sistema), pruebas

de unidad o unitarias, pruebas de
integracin,
pruebas

pruebas

de

funcionales,

configuracin

instalacin, pruebas de caja negra,

pruebas de sentencia, pruebas de
rendimiento, pruebas de background,
pruebas

de

estrs,

pruebas

de

recuperacin de errores, pruebas de

seguridad, pruebas de multiusuario,
pruebas de configuracin, pruebas
de instalacin y otras de acuerdo a las
necesidades de la evaluacin.
En

la

metodologa

propuesta

por Snchez se considera como

instrumentos bsicos para el trabajo
de

evaluacin,

pruebas

de

caja

administrativas,

los

siguientes:

negra,

pruebas

cuestionario de

relevamiento tcnico,

encuestas

dirigidas a usuarios y entrevistas de

confirmacin con el personal tcnico.

159

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.6
Establecer
resultados.

Para establecer los resultados de

las mediciones efectuadas Naranjo
Snchez (2013), recomienda utilizar
una matriz, como la que se muestra
en la Tabla 14 que presente el modelo
de calidad junto con los valores
medidos.

160

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Tipo de
Calidad

Caracterstica

Subcaracterstica

Mtrica

Indicadores

Puntaje
Especificado

Puntaje
Obtenido

Tabla 14
Matriz del Modelo
de Calidad para un
Software Educativo

Fuente: Adaptado de Naranjo Snchez (2013)

161

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

La matriz de resultados permitir

comparar los puntajes establecidos y
obtenidos por el producto software
educativo

evaluado,

facilitando

determinar si el producto cumple con

las especificaciones formuladas; en
el caso de que se requiera comparar
varios productos similares al mismo
tiempo

se

puede

adicionar

una

columna de puntaje obtenido para

cada uno de los productos.
En ltimo lugar, se recomienda al
cliente la adquisicin y/o uso del
software educativo si el puntaje
total, que equivale a la suma de
los puntajes individuales de las
caractersticas, supera 70/100. En el
caso de evaluar varios productos de
software educativo se recomienda el
que obtenga el mayor puntaje.

162

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.1.1.7
Presentar Informe.

A medida que se avanza en la

realizacin

de

actividades

de

las
las

diferentes
etapas

del

proceso de evaluacin se debe ir

documentando el trabajo realizado.
Esta

ltima

etapa

abarca

la

elaboracin de un documento final

que corresponde al informe de la
evaluacin, el cual es presentado a la
empresa o institucin que solicito la
evaluacin. Naranjo Snchez (2013).

Es recomendable presentar:

un informe ejecutivo, muy corto (1

pgina) para mostrar el resultado de la
evaluacin; y el informe analtico, que
debe contener toda la documentacin
relativa a la evaluacin que servir
como evidencia del trabajo realizado
(formatos de instrumentos y pruebas
aplicadas, etc.).

163

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.2.

Un Ejemplo de
Evaluacin

Actualmente
disponibles

se

encuentran

diversas

soluciones

tecnolgicas en el mbito educativo,

pero quiz una de las ms utilizadas
sean los sistemas de gestin de
aprendizaje (Learning Management
System, LMS). Los LMS presentan
diferentes caractersticas, pero por lo
general son fciles de usar, presentan
una flexibilidad pedaggica y algunos
no

resultan

permiten

costosos,

organizar

adems
distribuir

cursos a travs de la Web, ofreciendo

una

serie

comunicativas

de

funcionalidades
y

colaborativas.

Downes (2005).

164

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

En este apartado se presenta una

evaluacin realizada a Moodle que
es uno de los LMS ms utilizados a
nivel mundial. La evaluacin ha sido
diseada como ejemplo de aplicacin
de

la

metodologa

estndares

presentados en el curso, y el objetivo

no es cubrir con ella la totalidad de
caractersticas del LMS, sino ilustrar
la aplicacin de los conceptos bsicos
del curso mediante la valoracin
de algunas de las caractersticas. A
continuacin se describe el resultado
de realizar las actividades propuestas
en cada etapa de la metodologa
generalizada

de

evaluacin

de

Snchez.

165

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.2.1. Establecimiento
de la evaluacin.

Objetivo de la
evaluacin
Una institucin educativa llamada
Frmate-Fcil est interesada en el
LMS Moodle puesto que es uno de los
ms utilizados para este propsito.
El objetivo de la evaluacin es
determinar si la plataforma LMS
Moodle cumple con lo siguiente:

166

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

o Mantenimiento.
Se

expresa

que

se

busca

que

las

actividades diarias como crear cursos,

reciclarlos,

eliminar

usuarios,

crear

ejercicios, deben ser sencillas de realizar

y que extender o actualizar el LMS no
debe ser una tarea complicada.

o Compatibilidad
Se desea saber si esta solucin es
compatible

con

otras

similares

que

existen para intercambiar contenidos de

ser el caso.

o Usabilidad.
Se indica que es muy importante que
la plataforma sea fcil de usar para que
posteriormente no sea abandonada o
rechazada por los usuarios (las interfaces
grficas deben ser intuitivas, debe ser
fcil encontrar los elementos, no se debe
requerir una larga fase de capacitacin).

167

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

o Modularidad.
Es deseado que el LMS brinde diversas
funcionalidades dando la posibilidad de
habilitarlas o deshabilitarlas cuando sea
requerido.

o Accesibilidad.
Tambin son importantes los aspectos
de accesibilidad, es decir, que el LMS
sea accesible para todos los individuos
a pesar de sus deficiencias fsicas, y que
estn disponibles a todos los usuarios los
diferentes componentes u extensiones
que se puedan requerir.

Para la definicin de los elementos

anteriores se ha tomado como referencia
lo propuesto en Kaap (2003).

168

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Tipo de la evaluacin:

La evaluacin a realizar se centra

bsicamente en el producto final, es
decir, se desea evaluar el producto
que se ofrece en el mercado, y no
interesa evaluar caractersticas de su
proceso de desarrollo.

Tipo de producto:

El producto a evaluar se encuentra

en la

categora de software libre

(gratuito).

169

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.2.2. Planificacin
de la evaluacin.

Cronograma.
Se omite para este ejemplo.

170

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Responsables y Roles

Empresa cliente.

Institucin Frmate-Fcil.

o Patrocinador
evaluacin
Faustino lvarez vicerrector acadmico
de Frmate-Fcil, es la persona que
realiza el contacto con la empresa
evaluadora y expresa la necesidad de
evaluacin (est encargado de conformar
un equipo de trabajo interno formado por
personal propio de la empresa FrmateFcil de ser requerido).

o
Equipo de la empresa
cliente:
no asignado para este caso.

Empresa evaluadora:

Valoramos Tu Producto S.A

171

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Evaluador jefe:

Para la definicin de los responsables

la

y roles anteriores se ha tomado como

empresa evaluadora y lder del equipo

referencia lo propuesto en Rodrguez

de evaluacin, es una persona con

et al, (2010), debido a que describe este

experiencia

las

punto con mas detalle, contrario a lo que

principales normas y estndares sobre

indica la norma ISO/IEC 9126-1 que solo

evaluacin

procesos

considera a un alto nivel de abstraccin

software. Dirige y planifica el proceso de

tres perfiles de usuario: desarrolladores,

evaluacin.

gerentes y usuarios.

Martin

Moure

representante

en
del

la

de

prctica

producto

de

Evaluador:

Santiago de Francisco. Lleva a cabo las

actividades de evaluacin que le asigne
el evaluador jefe y va documentando el

Elaborar contrato o
acuerdo.

proceso de evaluacin.

Se omite para este ejemplo.

Equipo evaluador:

Lo conforman el evaluador jefe y el

evaluador de calidad (se podran tener
ms

evaluadores

de

acuerdo

los

requisitos del proyecto). Estas personas

deben cumplir con los compromisos
acordados para la evaluacin con el
patrocinador de la evaluacin.

172

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

4.2.3. Modelo de
calidad y puntuacin

Nivel 0, tipo de calidad.

Se utilizaran mtricas de producto

a las cuales se les asigna el total de
calificacin, 100 puntos.

Nivel 1. Caractersticas.

El modelo de calidad que se propone

se compone solo de 4 caractersticas
que son seleccionadas para cubrir
la evaluacin de las necesidades
expresadas

por

el

cliente.

Las

caractersticas seleccionadas y la
puntuacin propuesta para cada una
de ellas se presenta en la Tabla 15.

173

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caractersticas por
Producto
Tabla 15
Caractersticas y
Puntaje para Modelo
de Evaluacin de
Calidad del Ejemplo

Puntaje

Funcionalidad

30

Usabilidad

30

Facilidad de mantenimiento

20

Portabilidad

20

Total:

100

174

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 1.
Subcaractersticas.
En la Tabla 16 se

describen las

subcaractersticas

seleccionadas

de acuerdo a los propsitos de la

evaluacin. Para la valoracin de las
subcaractersticas definidas en el
modelo de calidad se utilizara como
nico instrumento los cuestionarios
por lo cual no se da lugar a realizar
ninguna

distribucin

de

pesos

entre instrumentos. Se usara una

escala Likert con las siguientes
ponderaciones:
si,

3;

excelente/siempre/

bueno/regular,

2;

regular/

ocasional, 1; malo/nunca/no, 0.

175

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Nivel 3, mtricas.

En la Tabla 16 se indican las mtricas

En este ejemplo todas las mtricas

seleccionadas para cada una de

tienen el mismo peso o importancia,

las subcaractersticas del modelo

sea que los puntos definidos en cada

de calidad. En este punto se debe

caracterstica se reparten por igual

resaltar que las diferentes partes de

entre las mtricas que se utilicen en

norma ISO/IEC TR 9126-2, ISO/IEC

dicha caracterstica. En resumen:

TR 9126-3, ISO/IEC TR 9126-4 indican

un conjunto de mtricas, pero no son

Para obtener el puntaje de cada

un conjunto exhaustivo y el equipo

caracterstica se deben promediar los

de evaluacin o el cliente pueden

valores obtenidos para las mtricas.

proponer otras mtricas.

Puntaje-caracterstica:

(puntaje-

metrica1 + puntaje-metrica2 ++
puntaje-metrican)/n.
o

Para calcular la calidad total

se suman los valores ponderados de

cada

caracterstica.

Calidad-total:

funcionalidad*0.30 + usabilidad*0.30
+ facilidad-mantenimiento*0.20 +
portabilidad*0.20.

176

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caracterstica
Tabla 16.
Mtricas y
Subcaractersticas
del Modelo de
Calidad del Ejemplo

Funcionalidad

Subcaracterstica

Nombre
Mtrica

Descripcin

Forma Medir

Consistencia

Uniformidad de la
estructura

Los mdulos del

software son uniformes
en lo que tiene que ver
con pantallas, mens,
ayudas y mensajes?

Excelente
Bueno
Regular
Malo

Integridad

Uniformidad de
vocabulario

Existe uniformidad en el
vocabulario, simbologa
utiliza en el software?

Excelente
Bueno
Regular
Malo

Adecuacin

Potencialidad
didctica

El software cuenta
con herramientas
para diseo curricular
flexible, herramientas
de comunicacin
e interaccin,
herramientas para
el desarrollo del
estudiante?

Excelente
Bueno
Regular
Malo

177

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caracterstica
Tabla 16.
Mtricas y
Subcaractersticas
del Modelo de
Calidad del Ejemplo

Funcionalidad

Usabilidad

Subcaracterstica

Nombre
Mtrica

Descripcin

Forma Medir

Adecuacin

Potencialidad
Pedaggica

El software posibilita
trabajar tendencias
pedaggicas actuales?

Excelente
Bueno
Regular
Malo

Conformi-dad

Conformidad
normativa

El software trabaja
acorde a normas y
estndares u otras
prescripciones?

Excelente
Bueno
Regular
Malo

Aprendizaje

Facilidad
aprendizaje

Es fcil aprender a usar

el software?

Excelente
Bueno
Regular
Malo

Entendimiento

Facilidad
comprensin

Es fcil entender
la estructura del
software y su lgica y su
aplicabilidad?

Excelente
Bueno
Regular
Malo

178

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caracterstica
Tabla 16.
Mtricas y
Subcaractersticas
del Modelo de
Calidad del Ejemplo

Usabilidad

Facilidad de
mantenimiento

Subcaracterstica

Nombre
Mtrica

Descripcin

Forma Medir

Operabilidad

Facilidad de
operacin

El software es fcil de
operar y controlar?

Excelente
Bueno
Regular
Malo

Atraccin

Atraccin

Es atractivo el diseo
del software?

Excelente
Bueno
Regular
Malo

Capacidad de ser
analizado

Facilidad de
Diagnstico

Es fcil diagnosticar
las fallas o identificar
partes a modificar en el
software?

Excelente
Bueno
Regular
Malo

Cambiabilidad

Facilidad de
modificacin

El software es fcil de
modificar y adaptar?

Excelente
Bueno
Regular
Malo

179

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caracterstica
Tabla 16.
Mtricas y
Subcaractersticas
del Modelo de
Calidad del Ejemplo

Facilidad de
mantenimiento

Portabilidad

Subcaracterstica

Nombre
Mtrica

Descripcin

Forma Medir

Estabilidad

Estabilidad

Hay riesgos o efectos

inesperados cuando se
realizan cambio en el
software?

Excelente
Bueno
Regular
Malo

Facilidad de
prueba

Facilidad
validacin

Son fciles de validar

las modificaciones
realizadas al software?

Excelente
Bueno
Regular
Malo

Adaptabilidad

Adaptacin

El software es fcil de
adaptar a otros entornos
con lo provisto?

Excelente
Bueno
Regular
Malo

Facilidad de
instalacin

Facilidad
Instalacin

El software se instala
con facilidad en el
ambiente especificado?

Excelente
Bueno
Regular
Malo

180

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Caracterstica
Tabla 16.
Mtricas y
Subcaractersticas
del Modelo de
Calidad del Ejemplo

Portabilidad

Subcaracterstica

Nombre
Mtrica

Descripcin

Forma Medir

Remplazabilidad

Remplazabi-lidad

Es fcil de usarlo en
lugar de otro software
para ese ambiente?

Excelente
Bueno
Regular
Malo

Coexistencia

Disponible
coexistencia

El software comparte
sin dificultad recursos
con otro dispositivo?

Excelente
Bueno
Regular
Malo

181

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

Dentro

de

adecuacin

la

subcaracterstica

que

caracterstica

pertenece

funcionalidad

la
se

han incorporado dos mtricas para

evaluar
mtrica

aspectos

educativos.

potencialidad

La

didctica

valora las diversas herramientas que

brinda el sistema para soportar las
diferentes actividades de los cursos,
y potencialidad pedaggica valora las
posibilidades de trabajar tendencias
pedaggicas actuales.

182

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

4.2.4. Efectuar
medicin.
La medicin de las caractersticas
y

subcaractersticas

utilizando

un

se

realiz

cuestionario

que

contiene las preguntas que permiten

realizar la valoracin de las mtricas
seleccionadas. La valoracin se realiza
utilizando la escala Likert indicada
anteriormente (3-excelente/siempre/
si,

2-bueno/regular,

1-regular/

ocasional, 0- malo/nunca/no). En la
figura 22 se presenta una parte del
cuestionario.

183

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de figuras

Figura 22.
Extracto del
Cuestionario
Utilizado en
el Ejemplo de
Evaluacin

184

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

4.2.5. Resultados.

Tipo de
Calidad
Tabla 17.
Resultados
del Ejemplo de
Evaluacin

Producto

Caracterstica

Funcionalidad
(Puntaje mximo
30 puntos)

Subcaracterstica

Mtrica

Puntaje
Especificado

Puntaje
Obtenido

Consistencia

Uniformidad de
la estructura

Excelente

Excelente

Integridad

Uniformidad
de vocabulario

Bueno

Bueno

Potencialidad
didctica

Bueno

Bueno

Adecuacin

Potencialidad
Pedaggica

Bueno

Bueno

Conformidad
normativa

Bueno

Bueno

Bueno

Bueno

Conformidad

Subtotal Funcionalidad

185

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Tipo de
Calidad
Tabla 17.
Resultados
del Ejemplo de
Evaluacin

Producto

Caracterstica

Usabilidad
(Puntaje mximo
30 puntos)

Subcaracterstica

Mtrica

Puntaje
Especificado

Puntaje
Obtenido

Aprendizaje

Facilidad
aprendizaje

Excelente

Excelente

Entendimiento

Facilidad
comprensin

Bueno

Bueno

Operabilidad

Facilidad de
operacin

Excelente

Excelente

Atraccin

Atraccin

Bueno

Regular

Excelente

Bueno

Subtotal Usabilidad

186

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Tipo de
Calidad
Tabla 17.
Resultados
del Ejemplo de
Evaluacin

Producto

Caracterstica

Subcaracterstica

Mtrica

Facilidad de
mantenimiento
(Puntaje mximo
20 puntos)

Capacidad de ser
analizado

Facilidad de
Diagnstico

Excelente

Excelente

Cambiabilidad

Facilidad de
modificacin

Bueno

Bueno

Estabilidad

Estabilidad

Bueno

Bueno

Facilidad de
prueba

Facilidad
validacin

Bueno

Regular

Bueno

Bueno

Subtotal Facilidad de
mantenimiento

Puntaje
Especificado

Puntaje
Obtenido

187

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lista de tablas

Tipo de
Calidad
Tabla 17.
Resultados
del Ejemplo de
Evaluacin

Producto

Caracterstica

Portabilidad
(Puntaje mximo
20 puntos)

Subcaracterstica

Mtrica

Puntaje
Especificado

Puntaje
Obtenido

Adaptabilidad

Adaptacin

Bueno

Bueno

Facilidad de
instalacin

Facilidad
Instalacin

Bueno

Bueno

Remplazabilidad

Remplazabilidad

Bueno

Regular

Coexistencia

Disponible coexistencia

Bueno

Bueno

Bueno

Bueno

Bueno

Bueno

Subtotal Portabilidad
Total Calidad

188

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Contenido

De acuerdo a los requerimientos

formulados
se

por

concertaron

el
los

cliente
puntajes

especificados que se desean para

cada una de las subcaractersticas
y

caractersticas.

Mediante

la

valoracin de las diferentes mtricas

definidas se establecen los puntajes
obtenidos, con lo cual se puede
dar una recomendacin al cliente,
que para el caso del ejemplo seria
que el LSM Moodle cumple con las
necesidades expresadas.

4.2.6. Informe.
Se omite para este ejemplo.

189

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Trminos claves

1.

Metodologa Evaluacin Software Educativo

2.

Planificacin de la Evaluacin

3. Mtricas
4. Puntuacin
5.

Calificacin

6. Medicin
7. Resultados
8. Informe

190

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co

Lecturas recomendadas

ISO/IEC 9126-2 TR. (2003). Software

engineering Product quality Part
2: External metrics. Recuperado de:
ht t ps:// w w w.go og le.com.co/url?s a=t& r c t =j&q=&e s r c =s& s o u rce=web&cd=1&cad=rja&ved=0CCkQFjAA&url=http%3A%2F%2Fw w w.
c s e.u n s w.e d u.a u%2 F~c s 3710%2 F PM m at e r i a l s %2 F R e s o u rc e s %2 F 9 1 2 6 -2 %2 5 2 0 S t a n d a r d .
doc&ei=s96hUvXjNI23kAfogoDABg&usg=AFQjCNG20d4VIrbf8CaLkmVuygkttXmg-A&bvm=bv.57752919,d.
eW0
Daz, A., Prez, M., & Mendoza, L.
(2003). Instrumento de evaluacin
de software educativo bajo un enfoque sistmico. Caracas. Recuperado
de: http://www.ufrgs.br/niee/eventos/RIBIE/2002/actas/paper-010.pdf

191

Evaluacin de
la Calidad de la
Tecnologa Educativa
www.cvudes.edu.co