IE Comunicaciones

Revista Iberoamericana de Informtica Educativa

Nmero 20, Julio-Diciembre 2014, pp 3-10

Artculos

E-learning: Identificao dos indicadores para avaliar a

qualidade dos recursos no educativos
Joo Vagarinho, Martn Llamas-Nistal
Universidade de Vigo
joao.vagarinho@gist.uvigo.es
martin@gist.uvigo.es

Resumo: No existem dvidas que a globalizao hoje uma realidade, as instituies de Ensino Superior
ainda esto a adaptar-se ao fenmeno em causa mas encontraram um caminho para diferenciar-se... A
Qualidade. Por outro lado, a rea da qualidade vasta e complexa porque, por um lado, so muitas as
categorias para debater e por outro lado porque no existe um consenso global para um modelo nico. Os
recursos no educativos so uma das categorias onde podemos encontrar os problemas em cima referidos e
por isso este artigo analisa e identifica quais so os indicadores para avaliar a qualidade dos recursos no
educativos.
Palavras clave: E-learning, Qualidade do e-learning, avaliao de recursos no educativos.
Abstract: There is no doubt that globalization is a reality, institutions of higher education are still adapting
to the phenomenon in question but found a way to differentiate ... Quality. On the other hand, the quality
area is vast and complex because there are many categories to discuss and because there is no global
consensus for a single model. Non-educational resources is one of the categories where we can find the
problems above so this article analyzes which are the indicators to evaluate the quality of non educational
resources.
Key words: E-learning, E-learning quality, Non-educational resources.

1. Introduo
Avaliar a qualidade no e-learning no um processo
fcil por vrias razes: inclui vrios intervenientes (e
por isso possui vrios pontos de vista), existem vrios
contextos culturais, vrios contextos sociais e vrias
tendncias pedaggicas. Contudo com base em um ou
mais modelos podemos melhorar, repensar e sugerir
novos caminhos que fortaleam a educao on-line
[Grillo et al. 03]. De acordo com [Vagarinho et al. 12]
com base em [Pawlowski 07] podemos definir
qualidade no e-learning como Cumplimiento
adecuado de los objetivos y necesidades de las
personas involucradas, como resultado de un proceso
de negociacin transparente y participativa dentro de
una organizacin. Adems, en el mbito del elearning, la calidad est relacionada con los procesos,
productos y servicios del aprendizaje, la educacin y
ISSN: 1699-4574

la formacin, que estn soportados por el uso de la

informacin y las tecnologas de la comunicacin.
Dentro da qualidade do e-learning podemos encontrar
vrias categorias das quais destacamos os "recursos
no educativos" [Vagarinho et al. 12]. Verificamos
que existem diversas iniciativas que tentam contribuir
para uma melhoria nesta categoria mas at ao
momento sem sucesso na apresentao de um modelo
global que nos permita implementar e avaliar os
recursos no educativos com essas diretrizes.
Este trabalho pretende contribuir para ultrapassar este
desafio, na medida em que, pretendemos identificar os
indicadores para avaliar a qualidade dos recursos no
educativos no e-learning de forma universal para tal,
iremos na seco 2 Standards: procurar por uma
definio de standard, descrever os seus principais
objetivos, mencionar os grupos de standards
existentes e selecionar o subgrupo de standards que
ADIE, Asociacin para el Desarrollo de la Informtica Educativa

Joo Vagarinho, Martn Llamas-Nistal

nos interessa estudar; na seco 3 Metodologia: com

base na seleo do subgrupo escolhido vamos procurar
um conjunto de entidades que possuem standards e
que esto distribudos pelos vrios pontos geogrficos;
na seco 4 Anlise: iremos analisar as
caractersticas desses standards, unir todas essas
caractersticas, identificar e descrever os indicadores
encontrados.

as divises: orientado a processos, produtos e

competncias);
Tecnologia da aprendizagem;
Relacionados com a tecnologia de internet.

No interior do grupo denominado por gesto e

garantia de qualidade orientado a processos ainda
possvel dividir-mos o mesmo em subgrupos
[Vagarinho et al. 12] (Figura 2):
Qualidade orientada a processos gerais;
Qualidade orientada a processos especficos;
Qualidade orientada para as competncias.

2. Standards
Pelo texto em cima descrito percebemos que a
normalizao um problema real no e-learning,
embora existam vrias instituies a trabalhar em
standards [Coutinho 04]. Podemos definir standard
como "a documented agreement containing technical
specifications or other precise criteria to be used
consistently as rules, guidelines, or definitions of
characteristics to ensure that materials, products,
processes and services are fit for their purpose."
[Anido et al 14]. No mbito do nosso trabalho um
processo para auxiliar as instituies de ensino a
implementar um conjunto de boas prticas e as
mesmas devem ser comuns a todas as instituies sem
prejuzo da capacidade competitiva, [Fernandez et al.
07]. Os standards permitem a possibilidade de
comparao, compreenso e compatibilidade no
comrcio internacional.
Devemos sempre ter em mente que as normas devem
contribuir para resolver os problemas reais enfrentados
por profissionais da educao [Anido et al 14] e
podemos constatar que visam essencialmente trs
objetivos [Fernandez et al. 07]:
Simplificao pretende-se fazer a convergncia
dos vrios modelos utilizados para definir a
mesma funo;
Unificao

pretende-se
fazer
a
interoperabilidade internacional, isto , quando
elaborado uma norma dever ter-se em conta
fatores culturais a nvel mundial;
Especificao pretende-se evitar erros de
identificao atravs de uma linguagem simples,
clara e precisa para descrever em pormenor cada
procedimento da norma.
Atualmente, no contexto deste trabalho, verificamos
que os standards podem ser divididos em trs grandes
grupos [Vagarinho et al. 12] com base em [Montalvo
10] e [Ehlers et al. 06] (Figura 1):
Gesto e garantia de qualidade (onde encontramos

O subgrupo qualidade orientada a processos

especficos contm standards que nos interessa
analisar porque so especficos do e-learning, assim
ser o alvo do nosso estudo.

3. Metodologia
Com base no subgrupo escrito em cima selecionmos
aleatoriamente 4 entidades para cada um dos seguintes
pontos geogrficos:
Europa = QAA, NADE, OAQ e ODLQ;
Amrica = IHEP; C-RAC, MEC/SED e AFT;
sia = JUAA, DEC, MQA e CHED
Em seguida analismos cada entidade:
a) QAA - Situada no Reino Unido, esta agncia de
certificao da qualidade pretende melhorar a
qualidade no ensino superior, para tal fornecer
informao, aconselha e orienta as instituies de
ensino nas boas prticas. Para este efeito publicou
um cdigo de boas prticas [Dondi et al. 07] e
[Miranda et al. 03];
b) NADE - Situada na Noruega, esta agncia
desenvolveu padres de qualidade no ensino
distncia com base numa matriz com 16
elementos. De assinalar que a Noruega foi O
primeiro pas a criar um conjunto de leis para
medir a qualidade das instituies de ensino
distncia privadas [Rekkedal 06].
c) OAQ Sediada na Sua, a agncia de uma forma
geral promove (realizando pesquisas e
disponibilizado
informao)
e
assegura
(realizando avaliaes) a qualidade no ensino.

IE Comunicaciones
Revista Iberoamericana de Informtica Educativa

d)

e)

f)

g)

h)

i)

Nmero 20, Julio-Diciembre 2014, pp 3-10

Artculos

Para este efeito criou diretrizes, padres de

qualidade e procedimentos de acreditao e realiza
auditorias a todas as Universidades de 4 em 4 anos
para se certificar que as mesmas cumprem as boas
prticas [OAQ 07].
ODLQ Organizao sediada no Reino Unido.
Tem como misso aconselhar a qualidade no EaD
e como objetivo: ser uma referncia, produzir
orientaes, identificar e melhorar a qualidade na
educao. Desta forma criou um conjunto de
normas para o EaD e todas as organizaes que o
aplicarem podem solicitar a acreditao [ODLQC
05].
IHEP Situada nos Estados Unidos, esta
organizao realizou um estudo do qual
identificou padres de referncia essenciais para
garantir a excelncia da qualidade em cursos
superiores distncia, assim dedica-se promoo
e orientao de polticas pblicas para a qualidade
no ensino distncia [IHEP 00].
C-RAC uma agncia situada nos Estados
Unidos. Uma das suas misses acreditar
concesso de instituies. A proposta da C-RAC
uma guia de recomendaes para o EaD que ajuda
no planeamento das atividades para executarem
uma autoavaliao [WCET 01].
MEC/SED Sediada no Brasil, esta instituio
elaborou um guia para definir recomendaes de
qualidade para o ensino superior distncia. Na
construo deste guia participaram especialistas,
Universidades e pblico em geral [MEC/SEED
07].
AFT Situada nos Estados Unidos, esta
organizao composta por vrias divises, da
qual faz parte a educao superior. Um dos temas
relacionados nesta diviso a educao distncia
e para tal foi criado um guia de boas prticas para
a qualidade. Os seus membros so incentivados a
terem um papel ativo nas tecnologias educacionais
[AFT 00].
JUAA Sediada no Japo, esta instituio
pretende contribuir para o melhoramento da
qualidade das Universidades Japonesas e para tal
criou um conjunto de padres e posteriormente um
sistema de avaliao contribuindo para a misso e
objetivos de cada Universidade. Desde 2004 a
garantia de qualidade obrigatria [JUAA 04].

j)

DEC Sediada na ndia, esta organizao tem

como responsabilidade a coordenao, promoo
e manuteno de padres de qualidade no EaD na
ndia. O ensino virtual e online neste Pas
representa 25% do total de matrculas do ensino
superior, ou seja, 2,5 milhes de alunos em mais
de 200 instituies de ensino distncia. Esta
organizao criou um conjunto de boas prticas
para serem aplicadas pelas instituies de ensino
[DEC 09].
k) MQA Situada na Malsia, esta entidade tem
como responsabilidade a qualidade no ensino
superior (pblico e privado) nomeadamente
promover e monitorizar as boas prticas da
qualidade. A MQA construiu um padro de
qualidade que seguido pelas instituies de
ensino superior [MQA 11].
l) CHED Situada nas Filipinas a Comisso de
Educao Superior atua como rgo estratgico e
politico. A sua misso formar capital humano
com capacidade para inovar e desenvolver a
nao, para tal, promove a qualidade do ensino
com base em padres, garante a qualidade e
protege a liberdade acadmica para continuar a
crescer (em termos de responsabilidade, avano na
pesquisa, desenvolvimento de liderana e
enriquecimento do patrimnio histrico e cultural)
[CHED 05].

Figura 1. Classificao dos standards

Joo Vagarinho, Martn Llamas-Nistal

Figura 2. Diviso da categoria de standards

Gesto e garantia de qualidade

Figura 3. Dimenses para avaliao da qualidade dos

processos no e-learning, retirado de [Vagarinho et al 13].

Com as dimenses em cima referidas verificamos que

podemos analisar em detalhe o item recursos que
corresponde ao nosso estudo recursos no
educativos, assim podemos construir uma nova tabela
( semelhana do que foi feito para a tabela 1) e
preenche-la com os indicadores que fazem parte das
boas prticas de cada entidade selecionada e que estas,
escolheram para avaliar a qualidade dos recursos no
educativos (tabela 2).
Constatamos que nenhuma entidade preenche todos os
itens. A entidade DEC aquela que mais itens faz
referncia e que CHED e IHEP, neste domnio, no
fazem qualquer referncia a recursos no
educativos.

4. Anlise
De acordo com as entidades selecionadas
anteriormente construmos a tabela 1 da seguinte
forma, na parte superior da tabela contrumos uma
linha com o nome das entidades e do lado esquerdo
construmos uma coluna com os temas que essas
entidades mencionam depois marcamos cada tema em
cada entidade. Podemos, com base na tabela 1,
construir dimenses para avaliar a qualidade dos
processos de e-learning, essas dimenses coincidem
com as mesmas encontradas num estudo anterior
[Vagarinho et al. 13] mas com menos entidades que
este trabalho apresenta (figura 3).

4.1. Indicadores
Tendo em conta a tabela 2 podemos retirar os
Indicadores para a avaliao da qualidade dos
recursos no educativos e representa-los em forma de
desenho, estes so: finanas, recursos humanos
(Geral), recursos humanos (Desenvolvimento
pessoal), recursos humanos (Formao), recursos
humanos
(Promoes),
recursos
humanos
(Recrutamento), instalaes e recursos para a
qualidade. (Figura 4).

IE Comunicaciones
Revista Iberoamericana de Informtica Educativa

Nmero 20, Julio-Diciembre 2014, pp 3-10

Artculos

Figura 4. Indicadores para avaliar os Recursos.

4.2. Descrio dos indicadores

3

A descrio dos conceitos corresponde descrio dos

indicadores apresentados anteriormente, ou seja, de
forma escrita, detalhada e com base nas instituies
analisadas.
1 Finanas = Deve ser elaborado um plano de
financiamento (com oramentos, procedimentos e
normas adequados no mbito da contabilidade)
informatizado para garantir por um lado a
qualidade do curso em todo o seu perodo de
funcionamento e por outro lado os investimentos
necessrios num sistema de gesto, equipamentos,
polos de apoio presencial e produo de materiais.
Assim, a organizao tem de possuir condies
para se responsabilizar financeiramente num
compromisso com os alunos e outras partes, ao
nvel de apresentao de resultados e garantir o
futuro. Os planos financeiros (quer sejam para
atividades de ensino, investigao, infraestrutura)
devem ser geridos eficazmente e auditados bem
como as receitas e despesas, [Dondi et al. 07],
[WCET 01], [MEC/SED 07], [ELQ 08], [ODLQC
05], [Rekkedal 06], [DEC 09], [JUAA 04], [MQA
11];
2 Recursos humanos (Geral) = A este nvel a
organizao
deve
possuir
colaboradores
multidisciplinares para os cursos oferecidos e que
consigam planear, gerir e implementar um curso

(mas distribuir os colaboradores pela funo

adequada para se focar na mesma e no em vrias
funes), para tal, todos os colaboradores devero
possuir experincia e formao adequada funo
que esto a realizar, por exemplo, os professores
devem possuir o conhecimento necessrio para
lecionar o curso (conhecimento de vrias
tecnologias e da metodologia de EaD) e o pessoal
administrativo
deve
possuir
habilitaes
necessrias s suas funes (como por exemplo
suporte ao curso, atividades, entre outras)
conhecimento dos objetivos, o propsito da sua
funo, cooperao com professores, fazer parte
do projeto escolar e capacidade de planeamento. A
renumerao
dos
professores,
tutores,
coordenadores, entre outros essencial que seja
adequada, na medida em que, necessrio tempo
para os materiais (criar e prepar-los) e
desenvolver todo o processo de ensino /
aprendizagem, [WCET 01], [MEC/SED 07],
[AFT 00], [ODLQC 05], [DEC 09], [JUAA 04],
[MQA 11];
Recursos humanos (Desenvolvimento pessoal) =
A organizao deve possuir uma poltica
relativamente carreira, desenvolvimento e
crescimento profissional dos seus colaboradores.
Essa progresso de carreira deve ter em conta: a
investigao,
publicaes,
qualificaes,
autoavaliao, reconhecimentos, entre outros,
[DEC 09];
Recursos humanos (Formao) = Uma vez que as
qualificaes e experincia dos colaboradores so
um fator muito importante, a organizao deve
definir e executar um plano de formao para
todos os colaboradores para que estes possam
atualizar os seus conhecimentos. O plano de
formao deve abranger toda a atividade
desempenhada pelo colaborador de forma a que
esta formao seja completa e permita o
colaborador desenvolver as suas competncias,
por exemplo no caso dos professores a formao
deve abranger uma componente de suporte tcnico
(resoluo de problemas de hardware, software e
desenho de cursos). A organizao deve possuir
uma rea ou departamento responsvel pela
formao, esta deve possuir um mecanismo que
permita identificar e melhorar as habilidades de
forma contnua de todos os colaboradores, [DEC

Joo Vagarinho, Martn Llamas-Nistal

partir de vrios modelos (standards e boas prticas) de

diversos pontos geogrficos do globo conseguimos
encontrar indicadores que nos permitem avaliar a
qualidade dos recursos no educativos, estes
indicadores podero ser considerados universais uma
vez que surgiram tendo em conta modelos que
envolvem (como foi escrito no inicio deste artigo)
varias culturas, varias sociedades e varias tendncias
pedaggicas.

09], [OAQ 07], [WCET 01], [AFT 00], [Rekkedal

06], [ELQ 08];
Recursos humanos (Promoes) = A organizao
deve possuir documentao (procedimentos e
processos) clara para reconhecer e recompensar
(por salrios, prmios ou outras formas) os seus
colaboradores de acordo com o mrito alcanado.
Para tal deve ser fomentada uma poltica de
incentivo a participao em conferncias e
publicaes e condies (recursos, licena de
pesquisa, licena sabtica entre outros) para o
desenvolvimento pessoal, [MQA 11];
Recursos humanos (Recrutamento) = A
organizao de ensino deve possuir uma rea ou
departamento com uma poltica/procedimentos
(seleo, nomeao e promoo de acordo com o
mrito, capacidade de liderana, pesquisa e
educao) pblica de recrutamento de jovens
universitrios contudo deve existir um equilbrio
entre juniores e seniores. Recrutamento deve ser
efetuado nos diversos sectores da sociedade, [DEC
09], [JUAA 04], [MQA 11], [OAQ 07];
Instalaes = A organizao deve garantir que as
instalaes (salas de estudo, impresso de
materiais, salas de produo de udio e vdeo,
mobilirio, laboratrios, internet, biblioteca, salas
de exposio, espaos para atividades
extracurriculares, atividades relacionadas com
desporto) so adequadas oferta de cursos e aos
objetivos propostos. Por outro lado deve existir
manuteno das instalaes, [WCET 01], [DEC
09], [OAQ 07], [JUAA 04];
Qualidade = A organizao deve garantir que
todos os seus recursos (como por exemplo os
processos, os equipamentos, os colaboradores,
entre outros) esto orientados e so os adequados
para oferecer uma educao de qualidade,
[Rekkedal 06].

Agradecimentos
Agradecemos ao Ministrio Espanhol da Cincia e
Inovao pelo seu apoio parcial neste trabalho sob
concesso Metodologias, Arquitecturas de padres
adaptivos e acessiveis do e-learning (Adapt2Learn)
(TIN2010-21735-C02-01).

5. Concluso
Embora tenhamos verificado que existe um conjunto
de iniciativas para melhorar a qualidade do e-learning,
no domnio aqui apresentado, aps a realizao deste
trabalho compreendemos que nenhuma entidade
daquelas que foram selecionadas por ns engloba
todos os indicadores referentes a recursos no
educativos (tabela 2). Constatmos tambm que a
8

IE Comunicaciones
Revista Iberoamericana de Informtica Educativa

Nmero 20, Julio-Diciembre 2014, pp 3-10

Artculos

EUROPA

AMERICA

QAA NADE OAQ ODLQC IHEP

C-RAC

MEC/
SEC

Acreditao
Alunos

Avaliao

Cultura de qualidade

tica
Informao

Institucional

Leis

X
X

Pedagogia
Professores
Recursos no
educativos

X
X

Segurana
X

Suporte

X
X

X
X

X
X

Materiais
X

AFT JUAA DEC MQA CHED

X

Curso

ASIA

X
X

Tabela 1. Dimenses para avaliar a qualidade do e-learning.

RECURSOS
NO
EDUCATIVOS
Finanas
Recursos Humanos
(Geral)
Recursos Humanos
(Desenvolvimento
pessoal)
Recursos Humanos
(Formao)
Recursos Humanos
(Promoes)
Recursos Humanos
(Recrutamento)

EUROPA

C-RAC

MEC/
SEC

QAA NADE OAQ ODLQC IHEP

X

ASIA
AFT JUAA DEC MQA CHED

X
X

X
X

Instalaes
Para qualidade

AMERICA

Tabela 2. Indicadores para avaliar a qualidade dos recursos no educativos.

IE Comunicaciones
Revista Iberoamericana de Informtica Educativa

Nmero 20, Julio-Diciembre 2014, pp 3-10

Artculos

Referncias

[Miranda et al. 03] A. Miranda, R. Teixeira. 'Em torno

da distinvidade, alguns princpios fundamentais no
mbito da avaliao da qualidade de cursos online'.
Universidade Aberta. (2003).

[AFT 00] AFT. 'Distance Education: Guidelines for

Good Practice'. AFT. pp 7-15 . Washington.
(2000).

[Montalvo 10] E. Montalvo, D. Luna, E. Montenegro.

'La evolucin y adopcin de estndares en la
formacin virtual'. Universidad de Alcal e
Universidad Nacional Autnoma de Nicaragua, p.
10 (2010).

[Anido et al 14] L. Anido, M. Fernndez, M. Caeiro,

J. Santos, M. Llamas, L. Sabucedo, R. Prez.
'Standardization in computer-based education'.
Computer Standards & Interfaces 36. pp 604-625.
ELSEVIER (2014).

[MQA 11] MQA. 'Code of practice for open and

distance learning'. MQA. pp 5-35. MQA (2011).

[Coutinho 04] C. Coutinho. 'Panorama general de los

sistemas de educacin a distancia'. Primer
congresso virtual latinoamericano de educacin a
distancia (2004).

[OAQ 07] OAQ. 'Guidelines of the Swiss University

Conference for Academic Accreditation in
Switzerland'. OAQ. pp 7-15. OAQ (2007).

[CHED 05] CHED. 'Policies and Guidelines on

Distance Education'. CHED. pp. 3-5. CHED
(2005).

[ODLQC 05] ODLQC. 'Standards in Open and

Distance Learning'. ODLQC. (2005).

[DEC 09] DEC. 'Assessment & Accreditation of Open

and Distance Learning'. DEC. Sem paginao.
DEC (2009).

[Pawlowski 07] J. Pawlowski. The Quality

Adaptation Model: Adaptation and Adoption of the
Quality Standard ISO/IEC 19796-1 for Learning.
Education, and Training. Educational Technology
& Society, pp. 3-16 (2007).

[Dondi et al. 07] C. Dondi, M. Moretti. 'E-Learning

Quality in European Universities: Different
Approches for different purposes'. pp. 55-59.
UNIQUE. (2007).

[Vagarinho et al. 12] J. Vagarinho, M. Llamas-Nistal.

'Quality in e-learning processes. State of art'.
Computers in Education (SIIE), 2012 International
Symposium on. Andorra la Vella. Avalaible at
IEEE Xplore (2012).

[Ehlers et al. 06] D. Ehlers, J. Pawlowski. 'Quality in

European e-learning: an introduction'. In
Handbook on Quality and Standardisation in ELearning. Springer (2006).

[Vagarinho et al. 13] J. Vagarinho, M. Llamas-Nistal.

'Evaluacin de la calidad de los procesos del elearning: Una propuesta con nuevas dimensiones'.
Aprendizaje estratgico y tecnologas de la
informacin y la comunicacin. pp 473-489.
Revista TESI, Vol. 14(2). (2013).

[Fernandez et al. 07] B. Fernandez, P. Ger, J.

Rodrguez, I. Ortz. 'Uso de estndares aplicados a
Tic en educacin'. Ministerio de educacin y
ciencia, p. 16 (2007).

[Rekkedal 06] T. Rekkedal. 'Criteria for evaluating

quality in e-learning'. pp. 12-13. ELQ for SME.
(2006).
[WCET 01] WCET. 'Best Practices For Electronically
Offered Degree and Certificate Programs'. pp 1-14.
WCET (2001).

[Grillo et al. 03] M. Grillo, D. Ericone. 'Avaliao:

uma discusso em aberto.' EDIPUCRS.
[IHEP 00] IHEP. 'Quality on the line, Institute for
Higher Education Policy'. IHEP. pp 9-27.
Blackboard (2000).
[JUAA 04] JUAA. 'University Standards and
Explanation'. JUAA. pp 2-12. JUAA (2004).
[MEC/SEED 07] MEC/SEED. 'Refernciais de
Qualidade para Educao Superior Distncia'.
Ministrio da Educao /Secretaria de Educao
Distncia. pp 7-31. MEC/SEED (2007).
10