inofor
Instituto para a inovação
na formação
Ficha Técnica
Título
Avaliação da Formação
Glosário Anotado
Colecção
Colecção Avaliação
Autores
Zelinda Cardoso (INOFOR)
Ana Soares (AIMINHO)
Bruno Loureiro (AIMINHO)
Carminha Cunha (AIMINHO)
Florindo Ramos (AIMINHO)
Design
Multilogo, Imagem e Comunicação
Tel.: 21 272 27 22 e-mail: multilogo@netcabo.pt
Local de Edição
Lisboa
Data
Novembro de 2002
Impressão
???
ISBN
972-8619-47-2
Depósito Legal
???
Tiragem
1500 exemplares
Avaliação
da Formação Glossário Anotado
Índice
007 Prefácio
009 Introdução
013 PARTE 1
Apresentação do caderno
Como surgiu a iniciativa?
Que objectivos nortearam a sua elaboração?
Que opções metodológicas foram efectuadas?
A quem se destina?
Como se organiza o respectivo conteúdo?
Como pode ser utilizado?
019 Parte 2
Terminologia utilizada no contexto da avaliação
da formação: breves definições
Lista de termos usados.
051 PARTE 3
Notas metodológicas
105 PARTE 4
Sites e serviços de informação
Referências bibliográficas.
Pág 007
Colecção Avaliação Avaliação da Formação
Prefácio
Ao iniciar uma colecção dedicada à temática da O claro apelo à participação e envolvimento dos
avaliação da formação com um convite dirigido aos diferentes intervenientes na formação aquando da
seus leitores para a realização de uma reflexão acerca respectiva fase de avaliação, poderá facilitar, não
da terminologia e práticas avaliativas utilizadas neste apenas uma maior co-responsabilização dos
domínio de intervenção, os autores deste primeiro mesmos no âmbito de uma intervenção formativa
caderno visam criar as condições necessárias à específica, mas também uma maior adequação
realização de um percurso que facilite a cultura dessas intervenções às necessidades de todos
avaliativa nas nossas organizações. aqueles que nela, directa ou indirectamente, parti-
cipam.
Assim, apostados em contribuir para a caracterização
das práticas avaliativas já existentes, os mesmos É neste sentido que a avaliação da formação é aqui
autores apostam claramente na disponibilização de apresentada, ou seja, como uma ferramenta ao
um conjunto de suportes de apoio à reflexão em serviço do desenvolvimento eficaz, ao longo e a
matéria de avaliação da formação, num contexto em jusante da realização da formação, das competências
que as práticas neste domínio são ainda claramente dos seus intervenientes. De acordo com os autores
exploratórias e no qual são ainda escassos os estudos desta obra esse desenvolvimento será tanto mais
nestas matérias. potenciado quanto maior for o grau de envolvi-
mento/participação dos mesmos ao nível de even-
Dar, pois, início a esta colecção com a apresentação tuais processos de tomada de decisão que venham a
de um glossário anotado, visando a uniformização de ocorrer no âmbito dessas intervenções formativas.
entendimentos relativamente a determinados con-
ceitos associados à temática da avaliação da for- Termino, subscrevendo o apelo dirigido a todos os
mação, parece-nos ser, efectivamente, um bom leitores deste primeiro caderno, para a respectiva
ponto de partida. participação em espaços de discussão a criar muito
brevemente, nomeadamente, no site do INOFOR e
Para além de uma reflexão terminológica, os autores aquando da realização de jornadas técnicas
remetem os leitores para um conjunto de notas subordinadas à temática da avaliação.
metodológicas, que na respectiva opinião, susten-
tada nos inúmeros contactos com entidades que
intervêm na formação, assim como na análise de
algumas boas práticas nesta matéria, podem vir a
contribuir para o desenvolvimento das práticas neste
Maria dos Anjos Almeida
domínio.
Vice-Presidente do INOFOR
inofor
Pág 009
Colecção Avaliação Avaliação da Formação
Introdução
Uma primeira reflexão acerca do domínio da processo de “construção de saberes”, aos segundos
avaliação da formação remete-nos, inevitavelmente, é solicitada, cada vez mais, uma maior corres-
para a compreensão dos desafios associados ao ponsabilização ao nível do acompanhamento e
desenvolvimento de projectos formativos, assim avaliação dos respectivos percursos de aprendi-
como respectivos processos de avaliação. zagem.
Uma observação mais atenta, que incida sobre a De facto, os vários actores envolvidos nos projectos
dinâmica de actores, envolvidos directa ou formativos, mobilizam-se hoje para a construção, de
indirectamente na formação, permite constatar a forma partilhada e reflectida, de novas soluções
existência de novas formas de estar e agir, quer por pedagógicas, de novas formas de agir, assim como e,
parte de quem se responsabiliza pela execução da sobretudo, de novas formas de comunicar, por
formação, formadores, monitores, tutores quer por forma a responder mais eficazmente aos cada vez
parte dos respectivos participantes. Se os primeiros mais complexos e exigentes desafios da sociedade
tendem a assumir um papel de facilitadores no actual.
inofor
Alguns dos desafios que gostaríamos aqui de da construção de determinados saberes. As
destacar, assim como respectivas implicações para a metodologias de avaliação da formação
avaliação da formação, são os/as seguintes: procuram, neste contexto, facilitar e fomentar
os processos de reflexão crítica capazes de
desenvolvimento de capacidades de aprendizagem apoiar a tomada de decisão dos diferentes
ao longo da vida, exigindo dos seus actores uma actores, envolvidos num determinado projecto
maior sensibilização para a importância da sua de formação.
participação e envolvimento ao nível da construção
de um projecto formativo específico, a desenvolver exigência por uma maior diversificação e
ao longo do respectivo percurso de vida. flexibilização dos modelos de organização da
formação, permitindo o respectivo reequacio-
O desenvolvimento desta competência assume namento e ajustamento numa óptica de efectiva
particular importância no contexto da adequação às necessidades dos públicos-alvo que
construção de modelos de avaliação da neles participam. A opção por soluções formativas
formação, uma vez que, a par de uma cada vez não convencionais, como o caso da formação a
maior co-responsabilização dos indivíduos, no distância, exige igualmente a construção e
que diz respeito aos respectivos percursos de implementação de novas soluções avaliativas,
aprendizagem, constata-se, igualmente, uma ajustadas às novas e diferentes necessidades de
maior co-responsabilização dos mesmos no informação dos seus beneficiários.
que toca à monitorização e avaliação de saberes
adquiridos. Neste sentido, assiste-se hoje a uma construção de percursos formativos personalizados
maior preparação e sensibilização dos em função do perfil de cada indivíduo, implicando
indivíduos para a realização de processos auto- que seja efectuada, a montante da realização da
avaliativos, numa óptica de melhoria contínua formação, uma clara identificação e caracterização
das respectivas performances. das situações de partida, relativas às capacidades
detidas pelos potenciais participantes nas acções
Esta realidade assume uma importância crucial formativas. Esta realidade vem exigindo, cada vez
quando consideradas as questões da mais, a necessidade de se realizarem, com maior
rentabilização de determinado investimento na frequência, avaliações de natureza diagnóstica, que
formação, já que apenas uma articulação de visem identificar o nível de proficiência detido pelo
esforços dos respectivos actores, conduzirá à formando em determinada área do saber, facilitando
obtenção dos melhores resultados. uma melhor adequação do respectivo processo de
aprendizagem.
As recentes teorias, associadas ao processo de
aprendizagem ao longo da vida, têm Desenvolvimento de intervenções formativas
contribuído também para o reposicionamento totalmente orientadas para a obtenção de
dos vários actores aquando da realização das resultados , que vêm exigindo às diversas
intervenções formativas. Destaque-se que a organizações que intervêm na formação, o
formação evolui hoje para uma maior desenvolvimento de um conjunto de estratégias que
focalização no aprendente, remetendo o facilitem a construção de um contexto no qual:
formador para um papel de facilitador ao nível
Pág 011
Colecção Avaliação Avaliação da Formação
sejam claramente evidenciadas as necessidades Verificamos assim que, a par de questões tais
a colmatar com a formação; como:
sejam claramente identificados os beneficiários
(directos e indirectos) da intervenção formativa, a) A realização da formação decorreu
assim como respectivas expectativas relativa- conforme o previsto?
mente a resultados a alcançar; b) Que tipo de saberes foram “cons-
seja possível a apresentação de resultados truídos” ao longo do processo de apren-
relativos aos efeitos/impactes obtidos com a dizagem?
formação; c) Que desempenho tiveram os actores
seja possível garantir as condições necessárias à envolvidos no processo formativo?
transferência de saberes adquiridos para os
contextos reais de trabalho. Surgem outras como:
inofor
As implicações desta realidade para a avaliação postura de “reflexividade” que aposta na
da formação são significativas. Se avaliar aprendizagem institucional e na melhoria per-
resultados de natureza tangível não apresenta manente de processos pedagógicos”.
dificuldade de maior, avaliar resultados de
natureza intangível já não é tarefa fácil. As Afloradas algumas das questões apresentadas neste
respostas a estas questões são várias e nem primeiro caderno, gostaríamos de destacar que, para
sempre consensuais. As experiências analisadas além de se tratar de um glossário anotado dedicado à
indicam contudo que nem sempre a problemática da avaliação da formação, o presente
abordagem de natureza financeira (assente na trabalho vai mais além, ao pretender ser igualmente
tradução monetária desses resultados) é a um instrumento de apoio à reflexão dos que
abordagem mais adequada. apostam claramente na melhoria das respectivas
práticas avaliativas.
Acerca desta problemática, dizem-nos alguns
especialistas na matéria que um processo Ao iniciarmos esta colecção com a apresentação de
avaliativo ganha ao compreender, num primeiro um glossário visa-se contribuir, numa primeira fase,
momento, a natureza do resultado desejado para a uniformização de entendimentos relati-
(tangível e/ou intangível) uma vez que, desta vamente a um conjunto de termos utilizados no
forma, saberá identificar melhor o tipo de domínio da avaliação da formação, que nem sempre
metodologia a aplicar. são compreendidos e apropriados da mesma forma,
facto que tem dificultado, por vezes, a comunição e a
Crescente desenvolvimento e aplicação de diferentes partilha de conhecimentos nestas matérias.
sistemas de controlo e garantia de qualidade
aplicáveis ao sector da formação profissional. A Esperamos assim, que este seja um contributo válido
coexistência de vários sistemas que visam a para aqueles que intervêm no âmbito da formação
promoção da qualidade de eventuais intervenções profissional, aos quais solicitamos, desde já, a
formativas, procuram, em certa medida, fomentar o eventual disponibilidade, para connosco reflectirem
desenvolvimento de uma cultura de qualidade, cada acerca da problemática da avaliação da formação,
vez mais necessária a uma resposta rápida e eficaz num Fórum de Discussão a criar brevemente.
face aos desafios do presente.
Como surgiu a iniciativa? Longe de ser um “produto acabado”, visa, nesta fase
dar início a um trabalho de recolha e uniformização
A criação de uma colecção dedicada ao tema da de um conjunto de noções associadas à temática da
avaliação da formação resulta, fundamentalmente, avaliação da formação que, à partida, podem suscitar
da detecção de um conjunto de necessidades aquan- maiores dúvidas por parte de quem as utiliza.
do dos contactos no terreno, junto de entidades que
realizam formação, bem como em momento de Por esta razão, o mesmo será oportunamente
elaboração de pareceres relativamente a meto- revisto, actualizado e acrescentado de acordo com
dologias de avaliação da formação desenvolvidas e as necessidades e eventuais comentários dos seus
apresentadas por um número significativo de enti- utilizadores. Espera-se que a realização dos restantes
dades formadoras, junto da actual equipa do trabalhos (em fase de execução), possa contribuir,
Projecto “Avaliação da Formação”. igualmente, para o desenvolvimento e/ou actua-
lização do trabalho que agora se apresenta.
Esta colecção visa demonstrar, igualmente, a
importância que este instituto atribui às questões Uma das actualizações já prevista, prende-se com o
relacionadas com a garantia da qualidade das desenvolvimento de conceitos associados à
intervenções desenvolvidas no quadro da formação construção de instrumentos de avaliação e trata-
profissional. Considerados os sistemas de avaliação mento estatístico de dados.
como verdadeiros instrumentos susceptíveis de
promover essa qualidade, aposta-se claramente, e Os utilizadores deste glossário terão acesso às
cada vez mais, na elaboração de documentos que respectivas actualizações através do site do Inofor
favoreçam e apoiem a operacionalização do con- (Unidade de Projecto Avaliação da Formação), no
ceito no contexto de intervenção de entidades que qual será disponibilizado um espaço para introdução
intervêm na formação. de eventuais sugestões e/ou recomendações que
visem a sua actualização e/ou desenvolvimento
O presente caderno, que agora inicia esta colecção, (www.inofor.pt).
visa, assim, dar uma resposta concreta a um conjunto
de necessidades sentidas por parte de diversas Que objectivos nortearam a sua elaboração?
entidades formadoras, começando, numa primeira
fase, pela disponibilização de um glossário (anotado) Procurando dar uma resposta concreta a inúmeras
que facilite a compreensão de alguns termos, regra questões colocadas, até à data, pelos nossos
geral, utilizados no contexto da avaliação da for- utilizadores, este glossário foi elaborado de forma a
mação. O mesmo se destaca pelas notas ( #1, #2, permitir desencadear eventuais processos de
etc...) que surgem associadas a cada uma das reflexão em torno da problemática da avaliação da
definições apresentadas, assim como também pelas formação. Pretende-se, assim, com esta primeira
notas metodológicas que convidam os respectivos iniciativa:
leitores a uma reflexão acerca das implicações
associadas à operacionalização de determinados Contribuir, de uma forma gradual e sustentada, para
termos. o desenvolvimento de práticas de avaliação,
mediante o desenvolvimento de um percurso que
passa, numa primeira fase, pela compreensão de um
Pág 017
Colecção Avaliação Avaliação da Formação
conjunto de termos associados, regra geral, às serem as mais adequadas quando considerados os
principais fases de um processo de avaliação. contextos analisados.
Apoiar as entidades, que realizam formação, na Embora tenha surgido num contexto caracterizado
identificação das condições consideradas necessárias pela predominância de metodologias avaliativas
à aplicação de metodologias de avaliação. orientadas por pressupostos de natureza positivista
(avaliado e avaliador são consideradas “entidades”
Identificar e uniformizar um conjunto de termos a distintas), este glossário faz já um apelo claro ao
utilizar no âmbito de documentos associados à desenvolvimento de estratégias de avaliação nas
temática da avaliação da formação, por forma a quais seja visível o envolvimento/participação dos
facilitar eventuais acompanhamentos junto dos respectivos actores, em particular, no que toca à
potenciais utilizadores. identificação, construção e escolha das melhores
estratégias avaliativas a aplicar .
Destacar as interdependências existentes entre
alguns dos termos apresentados. Relativamente à escolha dos termos, nesta primeira
edição não serão apresentados todos os termos
Fomentar a pesquisa activa no âmbito do domínio da susceptíveis de serem utilizados no domínio da
avaliação, através do reencaminhamento dos avaliação. Atendendo às necessidades mais
utilizadores para um conjunto de sites especializados imediatas, manifestadas pela maior parte dos
nas matérias abordadas. utilizadores do actual projecto de Avaliação da
Formação, foram apenas seleccionados e
Sensibilizar os seus utilizadores para a panóplia de desenvolvidos aqueles que remetem os potenciais
métodos, técnicas e posicionamentos que, surgem, utilizadores deste glossário, para um enquadra-
regra geral, associados à temática da avaliação. mento das principais questões associadas à fase da
concepção e implementação de modelos de
Para além de se elencar um conjunto de noções de avaliação.
significativa importância no domínio da avaliação,
pretende-se, sobretudo, disponibilizar ao utilizador Sugere-se, assim, que sejam reunidas, numa pri-
um conjunto de pistas que facilitem o desenvol- meira fase, as condições mínimas e necessárias ao
vimento das respectivas práticas avaliativas e, desenvolvimento de práticas avaliativas, para numa
paralelamente, criem as condições necessárias à fase subsequente serem trabalhados os aspectos que
apropriação e aplicação de itinerários avaliativos já envolvem uma maior tecnicidade e, conse-
existentes. quentemente, uma mobilização de competências
específicas, necessárias a uma sustentada
Que opções intervenção no domínio da avaliação da formação.
metodológicas foram efectuadas?
Quanto ao desenvolvimento dos conteúdos
Concebido de acordo com as actuais tendências em apresentados, foram privilegiados os termos que,
matéria de avaliação da formação, o presente em nosso entender, podem ser considerados
glossário procura destacar um conjunto de verdadeiros pilares de sustentação de um processo
estratégias avaliativas que, à partida, entende-se avaliativo, sempre que apropriados e aplicados de
forma eficaz.
inofor
A quem se destina? b) Numa segunda parte, apresenta-se um conjunto
de notas de natureza metodológica, associadas a
Este glossário destina-se a todos os que se cada um dos termos descritos. Neste capítulo vemos
interessam pelas questões da avaliação da formação ser destacada a importância da fase da planificação da
e que procuram conceber, desenvolver e/ou avaliação, o papel e responsabilidades dos res-
aperfeiçoar referenciais a utilizar no contexto da pectivos intervenientes, assim como a abordagem
avaliação da formação. avaliativa multinível de D. Kirkpatrick. Igual destaque
para as notas metodologicas relativas às fases da
Consideradas a diversidade dos contextos e a transferência de aprendizagens para os contextos
natureza dos projectos formativos a avaliar, foram reais de trabalho, apresentação e disseminação dos
destacadas, nesta fase, algumas actividades de resultados de uma avaliação.
avaliação a desenvolver no contexto de projectos
formativos direccionados para activos empregados. c) A terceira e última parte remete o leitor para um
Destaque-se, no entanto, o facto de a lógica de conjunto de sites e serviços de apoio que dispo-
avaliação apresentada poder ser, de certa forma, nibilizam informações, experiências, instrumentos,
aplicada a outros contextos, desde que devidamente estudos de caso, etc... relacionados com o domínio
adaptada aos projectos de formação em análise. da avaliação. O acesso a esta informação permitirá ao
utilizador adequar mais eficazmente as suas me-
Como se organiza o respectivo conteúdo? todologias avaliativas às especificidades dos con-
textos nos quais venha a intervir.
O presente caderno encontra-se estruturado em
três partes distintas: Como pode ser utilizado?
a) A primeira parte remete o respectivo utilizador O presente glossário pode ser consultado de
para a compreensão de um conjunto de termos diversas formas, de acordo com os objectivos dos
normalmente mobilizados aquando da preparação e seus utilizadores:
implementação de dispositivos de avaliação.
a) no caso do utilizador pretender identificar um
O leitor verá serem destacados termos/noções tais determinado termo e respectiva definição, poderá
como, “aprendizagem ao longo da vida”, recorrer à lista de termos ordenados alfabeticamente
stakeholders, já que assumem, cada vez mais, um que se encontra no final do documento;
papel de destaque, não apenas no contexto do
desenvolvimento de processos de aprendizagem, b) aquando da fase da operacionalização dos termos
mas também no contexto da execução de projectos referidos, o utilizador poderá recorrer à parte do
de avaliação. De facto, são expressões que, em trabalho na qual são apresentadas notas meto-
maior ou menor medida, reforçam a importância dológias de apoio à aplicação desses termos.
que os indivíduos assumem no contexto da tomada
de decisão, relativa aos percursos profissionais que
lhes são inerentes.
Parte»»» 02
Terminologia utilizada
no contexto da avaliação
da formação:
breves definições
Terminologia utilizada
no contexto da avaliação da formação: breves definições
Neste capítulo, o leitor será convidado a reflectir que as definições e notas que se seguem foram
acerca do significado de cada um dos termos elaboradas sem prejuízo de outras já existentes.
apresentados, contando para tal com a definição do
termo propriamente dito, bem como um conjunto Destaque-se ainda que, na elaboração desta pri-
de notas que visam contribuir para uma melhor meira edição não foram contempladas todas as
compreensão e, consequentemente, melhor referências bibliográficas normalmente associadas à
utilização da terminologia associada ao domínio da problemática da avaliação da formação. Numa
avaliação da formação. análise mais aprofundada às questões da termi-
nologia utilizada neste domínio, a realizar numa fase
Nesta primeira edição serão destacados alguns dos subsequente, serão equacionados outros contextos
aspectos que, à partida, poderão ter algum interesse avaliativos, assim como distintos posicionamentos
do ponto de vista da avaliação da formação. Note-se em matéria de avaliação da formação.
Pág 023
Colecção Avaliação Avaliação da Formação
1
Definição idêntica à encontrada no Memorando sobre Aprendizagem ao Longo da Vida.
inofor
organização, parceiros envolvidos...). Neste comunicação e não como um fim em si própria,
contexto, contribui, por um lado, para uma melhor como acontece nos sistemas burocratizados”.
gestão da qualidade dos projectos de formação e,
por outro lado, para uma melhor adequação dos Fontes: Caetano (1996); Tilling (et al.) ( 2000);
seus objectivos às necessidades dos respectivos Scriven (1991); Patton (1997)
públicos-alvo.
2
A definição de avaliação apresentada não contempla a globalidade dos posicionamentos encontrados aquando
da revisão de literatura efectuada. Prevê-se, no entanto, o desenvolvimento deste conceito aquando da revisão
e actualização do presente glossário.
Pág 025
Colecção Avaliação Avaliação da Formação
colocar aquando da fase da planificação de um terceiro nível que se realiza um avaliação desta
processo avaliativo (ver definição de plano de natureza.
avaliação). # 2: A análise a vários estudos realizados sobre a
# 2: As abordagens de avaliação diferenciam-se, matéria, permitiu concluir que a preparação do
fundamentalmente, pela natureza dos objectivos contexto de desempenho de um indivíduo recém-
que preconizam, bem como pelas características dos formado assume uma importância crucial aquando
respectivos contextos de aplicação. Pretender apli- da respectiva mobilização de saberes adquiridos/de-
car, no âmbito de contextos distintos, um único senvolvidos pela via da formação.
modelo avaliativo não será, pois, o mais adequado, # 3: Das principais barreiras ao processo de
uma vez que a maior ou menor eficácia dos modelos transferências de aprendizagens destacam-se as
de avaliação reside, essencialmente, em acautelar seguintes:
eventuais particularidades dos contextos em análise,
bem como adequação dos seus resultados a Ausência ou fraco envolvimento da gestão de topo
necessidades concretas de informação dos ao longo do processo formativo;
respectivos utilizadores. Desarticulação entre os vários níveis hierárquicos de
# 3: A definição de avaliação apresentada surge, de uma organização, no que se prende a estabele-
acordo com as actuais tendências, intimamente cimento de objectivos consensuais de mudança;
associado ao processo de tomada de decisão, que Estabelecimento de objectivos ambiciosos para a
deverá ocorrer no âmbito dos diferentes níveis em formação. Na maior parte das vezes a formação é
que os problemas ocorrem. Significa que quem encarada como um fim e não, como seria desejável,
avalia determinado aspecto de uma intervenção um meio para alcançar determinados fins.
formativa deve ser capaz de reflectir acerca dos
respectivos resultados e, consequentemente, Fontes:Phillips (1997); Broad (et al.) (1992);
decidir e /ou recomendar eventuais alterações que Kirkpatrick (1994); Meignant (1999)
visem a sua melhoria.
inofor
Que conhecimentos (saberes) foram adquiri- # 2: De acordo com a taxonomia de D. Kirkpatrick,
dos/desenvolvidos por parte dos formandos? corresponde aos terceiro e quarto níveis de ava-
Que capacidades (saberes-fazer) foram adquiridos liação, ou seja, verificação de impactes ao nível de
ou melhorados? contextos de desempenho específicos e avaliação de
Que atitudes (saberes relacionais) foram adquiridas e impactes ao nível do desempenho de determinada
/ou melhoradas? organização;
# 3: Neste tipo de avaliação podem ser aplicados
# 4: Numa avaliação centrada no tipo de “saberes” métodos de natureza quantitativa e qualitativa (ver
(de natureza cognitiva) adquiridos/ desenvolvidos, os definição de triangulação);
testes de conhecimentos são os instrumentos mais # 4: Uma avaliação de impactes pode incidir à
aplicados. Métodos e/ou técnicas, tais como a partida sobre duas realidades distintas: (1) em que
simulação de actividades, a elaboração de traba- medida o programa de formação contribuiu
lhos/projectos finais, as avaliações em contextos reais directamente para o cumprimento dos objectivos da
de trabalho (caso das actividades formativas rea- organização; (2) em que medida criou as condições
lizadas em regime de alternância), etc. são mais para que tal viesse a acontecer (contribuição
utilizadas nas avaliações que incidem sobre saberes- indirecta). A compreensão destes dois tipos de
fazer técnicos. No que respeita às abordagens objectivos torna-se fundamental aquando da aferição
avaliativas centradas nos saberes relacionais, as do retorno do investimento.
técnicas de avaliação mais utilizadas são os testes # 5: A utilidade deste tipo de avaliação reside,
(que visam “medir” atitudes), as observações e as fundamentalmente, no facto de permitir (1) aferir as
simulações. alterações produzidas pela formação nos contextos
em que foi aplicada; (2) justificar a eventual
Fontes:Kirkpatrick (1998); Woods J. (et al.) (2000); continuidade de um programa/plano de formação, a
Valadares e Graça (1998) sua reformulação ou mesmo a sua extinção; (3) aferir
o retorno do investimento na formação.
Do o inquérito por questionário(“smilling sheets”), Para este efeito, os instrumentos mais utilizados são
durante e/ou no final de cada intervenção formativa. os testes escritos. Existem, contudo, outras formas
# 3: Algumas das vantagens associadas a este tipo de de actuar no âmbito desta modalidade de avaliação,
avaliação são as seguintes: (1) permite uma tais como: o recurso à técnica da simulação que vise
“avaliação rápida” da situação em termos de colocar o formando perante uma situação problema.
resultados entretanto alcançados; (2) não implica # 4: Apresenta como principais objectivos:
custos elevados; (3) assume um papel de extrema
importância num contexto de uma avaliação Determinar a situação dos formandos face aos
formativa, permitindo a regulação atempada de objectivos de aprendizagen pré-definidos (visa
determinado processo formativo. apurar o tipo de conhecimentos, capacidades (apti-
# 4: Os protagonistas deste tipo de avaliação são o dões) e atitudes necessárias ao cumprimento dos
formando e o formador, actores capazes de exercer objectivos de aprendizagem pretendidos).
uma influência imediata ao nível da regulação da Determinar/ajustar perfis de entrada na formação.
acção em curso. Seleccionar eventuais candidatos a determinadas
# 5: As dimensões/objecto alvo de avaliação mais acções de formação.
comuns são as seguintes: os conteúdos pro- Produzir informações que facilitem a constituição de
gramáticos, o desempenho do formador e do grupos de formandos, com características idênticas,
coordenador da acção, os métodos pedagógicos e sempre que tal seja desejado.
os recursos didáctico-pedagógicos utilizados, as Confirmar e ajustar as informações que decorrem de
condições de realização da acção e a organização de diagnósticos de necessidades previamente
suporte. realizados.
Detectar eventuais dificuldades a considerar na
Fontes: Kirkpatrick (1998); Woods J. (2000); proposta pedagógica a desenvolver.
Meignant (1999)
Fontes:Figari (1996); Rossi (et al.) (1999)
inofor
# 1: Ver definição de “análise custo-benefício”. propriamente dita, apresenta objectivos mais vastos,
# 2: Abordagem bastante desenvolvida no âmbito incidindo sobre o contexto, as características e os
dos trabalhos de J.J. Phillips. objectivos de determinada intervenção formativa.
# 3: Tipo de avaliação cada vez mais solicitado por # 4: Apresenta como critérios de avaliação mais
parte de quem investe na formação, visando a utilizados: a pertinência/relevância dos objectivos
obtenção de evidências concretas relativamente ao pretendidos face às necessidades pré-identificadas,
valor monetário gerado pelo investimento na assim como a coerência do projecto formativo quan-
formação. do considerada a cadeia de objectivos preconizados.
# 4: Quando aplicada ao contexto da formação, a # 5: Na lógica dos 4 níveis de avaliação de D.
análise do ROI pode considerar diferentes clusters Kirkpatrick, corresponde, como objectivo último, à
de indicadores, tais como: (1) produtividade e definição dos critérios e indicadores de avaliação para
eficiência; (2) vendas e lucros; (3) qualidade dos cada um desses níveis.
produtos e serviços; (4) serviço de apoio ao cliente e
satisfação do mesmo; (5) segurança e higiene no Fontes :Rossi (et al.)(1999); Rodrigues (1993);
trabalho; (6) desenvolvimento e aprendizagem Kirkpatrick (1998)
organizacional; (7) clima e cultura organizacional...
Fontes: J. Phillips (1997- A); Phillips P. (2002); Bartel 14. Avaliação ex-post
(2000), Kirkpatrick (1998-A); Moy e MacDonald
(2000). Efectuada normalmente após a conclusão da
formação, produz informação sobre os seus re-
sultados e efeitos gerados pela intervenção formativa
13. Avaliação ex-ante ao nível dos seus beneficiários (directos e indirectos).
# 5: Em estudos prospectivos pode ser efectuada outros), e desconhecem, na maior parte dos casos,
antes da implementação de um projecto/programa as situações objecto alvo de análise. Apresentam,
formativo. por esta razão, maior isenção relativamente a
análises que venham a efectuar, já que não mantêm
Fontes : Rodrigues (1993); Capucha (et al.)(1996); qualquer relação de dependência com a organização
Kirkpatrick (1998) que executa a formação.
# 5: O grau de envolvimento dos indivíduos
(interlocutores-chave) a implicar no decurso de uma
15. Avaliação externa avaliação externa é, normalmente, bastante
reduzido. Os contactos efectuados visam apenas, na
Avaliação desenvolvida por um indivíduo ou orga- maior parte das vezes, sensibilizar e mobilizar esses
nização que não participa na concepção e execução indivíduos para a respectiva participação3 no
da intervenção formativa, mas que se responsabiliza processo avaliativo.
pela respectiva avaliação.
Fontes: Scriven (1991); Capucha (et al.) (1996);
# 1: Numa avaliação externa, o avaliador encontra- Rossi (et al.) ( 1999) ; Patton (1997)
se fora da organização que executa a formação.
# 2: É uma avaliação normalmente solicitada e
financiada por alguém que visa obter um “olhar 16. Avaliação formativa
externo” relativamente aos resultados de
determinada intervenção formativa. É, regra geral, Modalidade de avaliação efectuada no decurso da
solicitada por entidades externas que exercem realização da formação que visa produzir informação
funções de supervisão sobre o projecto de que possibilite aos formandos e formadores verificar
formação. se os objectivos pedagógicos estão a ser atingidos,
# 3: Pode também ser encomendada pela podendo resultar na introdução de melhorias duran-
organização que realiza a formação, quando te o processo de aprendizagem.
pretende obter uma “segunda opinião” acerca dos
resultados obtidos com a formação. As razões que # 1: O conceito de avaliação formativa deve-se a
conduzem a tal pedido são, normalmente, as Scriven que a utiliza pela primeira vez em 1967 e que
seguintes: (1) o responsável pela realização da desde logo passa a ser utilizada de forma gene-
formação procura dar continuidade à intervenção ralizada.
formativa, constituindo os resultados dessa avaliação # 2: Este conceito surge normalmente associado ao
uma verdadeira “base de negociação” para futuros conceito de avaliação sumativa, sendo ambos
pedidos de financiamento; (2) a organização que entendidos como complementares e não contra-
realiza a formação visa reforçar a sua imagem junto ditórios.
dos respectivos clientes. # 3: Esta modalidade de avaliação orienta-se,
#4: Os indivíduos responsáveis por uma avaliação sobretudo, para fins pedagógicos procurando criar
externa encontram-se, regra geral, ligados a ou preservar as condições propícias à realização da
universidades, empresas de consultoria, organismos aprendizagem, pelo que é normalmente confiada a
que promovem estudos de investigação (entre avaliadores internos. Pode, no entanto, ser igual-
3
No contexto de uma avaliação externa, esta participação assume, regra geral, um carácter “instrumental”, ou
seja, os indivíduos apenas são chamados para se pronunciarem (através da realização de inquéritos por
entrevista ou questionários, ou participação em outros métodos ou técnicas, tais como os grupos de discussão,
brainstormings, etc...), acerca dos resultados decorrentes de determinada intervenção formativa.
inofor
mente efectuada por avaliadores externos. pela introdução de melhorias no âmbito da
# 4: É simultaneamente retrospectiva e prospectiva, intervenção formativa em curso, tais como: dirigente
assumindo um papel fundamental numa óptica da da organização, director de formação,
garantia e controlo de qualidade de uma intervenção coordenadores pedagógicos, formadores,
formativa. formandos (enquanto co-responsáveis no
# 5: Permite a retroalimentação contínua do respectivo processo de ensino-aprendizagem), etc...
processo formativo (feedback contínuo e perma- É a estes que, regra geral, são devolvidos os
nente), actividade de impacte significativo ao nível da resultados de uma avaliação interna.
recuperação dos formandos que demonstrem
maiores dificuldades no alcance de um ou mais Fontes: Fetterman (1996); Rossi (et al.)(1999);
objectivos de aprendizagem. Patton (1997)
#6: Tendo como principal objecto de estudo o
processo formativo, incide, regra geral, nas seguintes
dimensões: a política formativa; o processo de 18. Avaliação on-going
diagnóstico de necessidades de formação, o
dispositivo de formação, o projecto/programa Efectuada durante a realização da formação,
formativo, a actuação dos actores envolvidos na acompanha a execução da mesma, produzindo
execução da formação, o processo pedagógico, as informação para a monitorização e controlo de
funções de gestão do programa, a organização de gestão do processo formativo, numa óptica de
suporte, o dispositivo de avaliação. melhoria contínua.
inofor
22. Avaliar a coerência 9000, a avaliação de conformidade traduz-se no
controlo e ou verificação da gestão adequada dos
Verifica a relação entre as características e processos organizacionais desenvolvidos, por forma
componentes do processo formativo e os objectivos a garantir o cumprimento dos requisitos normativos
da formação. pré-estabelecidos.
inofor
# 1: Não é pacífica a identificação do número de # 1: A definição de “competência” seria muito
fases e/ou domínios que devem ser associados a um próxima, senão mesmo idêntica, da noção
ciclo de formação. Existe todavia consenso apresentada, variando apenas os contextos em que é
relativamente ao conjunto de actividades a desen- mobilizada.
volver no âmbito do mesmo. # 2: Não existe ainda um único entendimento
acerca do significado de competência. É nitidamente
Será aqui apresentada a caracterização efectuada no um conceito em construção.
âmbito do Sistema de Acreditação de Entidades # 3: Autores convergem no entanto para o seguinte:
Formadoras (da responsabilidade do INOFOR) no
qual se considera que o ciclo formativo é composto A noção de competência incorpora “ três famílias” de
por seis domínios de intervenção: diagnóstico de saberes: o saber (cognitivo), o saber-fazer (técnico) e
necessidades de formação; planeamento de o saber-ser (relacional).
intervenções ou actividades formativas; concepção A competência é por natureza inobservável (o que
de intervenções, programas, instrumentos e se observa são manifestações da competência
suportes formativos; organização e a promoção de (acções concretas).
intervenções ou actividades formativas; desenvol- A competência profissional é sempre finalizada. É
vimento/execução de intervenções ou actividades uma acção orientada para um objectivo. Essa acção
formativas e, por último, acompanhamento e a tem um sentido para o sujeito que age. A compe-
avaliação de intervenções ou actividades forma-tivas. tência profissional é, pois, guiada por uma intencio-
nalidade.
O sistema mencionado refere ainda um sétimo É um saber agir. A competência exprime-se sempre
domínio - "outras formas de intervenção" - que, pela numa acção ou encadeamento de acções.
sua especificidade, não surge na sequência de A competência profissional é sempre contextua-
qualquer um dos anteriores, referenciando antes lizada.
actividades com valor pedagógico ou potenciadoras Traduz-se na capacidade para mobilizar os co-
da formação, podendo ocorrer a montante, em nhecimentos e os recursos necessários à resolução
paralelo ou a jusante do processo formativo. de problemas e desafios colocados pela actividade
profissional
Fontes: Portugal. Instituto para a Inovação na
Formação (2002) # 4: A validação externa é crucial. Alguém que se
auto-declare competente tem de ser capaz de o
demonstrar. Neste sentido um indivíduo deverá
30. Competência profissional saber mobilizar os saberes que detém por forma a
proporcionar valor acrescentado ao contexto sobre
Saber agir que implica a mobilização/combinação/ o qual venha a agir.
/transposição de recursos (conjunto de saberes) # 5: Para Malcolm Knowles traduz-se numa “ca-
numa situação profissional específica, com vista a pacidade para fazer alguma coisa a um determinado
uma determinada finalidade. nível de proficiência”. A compreensão do conceito
de proficiência é fundamental para se compreender
o de competência. Acerca desta matéria, Boterf
Pág 035
Colecção Avaliação Avaliação da Formação
defende três níveis de proficiência: principiante, cada um dos objectivos foi cumprido;
confirmado e perito. identificação de critérios de avaliação para cada um
dos objectivos estabelecidos;
Fontes: Le Boterf (1997); Gomes (1999); Valente
(1999); Knowles (1995); Meignant (1999); Fontes : Anderson, G.(et al.) (1996); Bellier (1999);
Suleman (et al.) (2002) Woods, J. (et al.) (2000)
Documento que visa apoiar a execução e a Conjunto de características com base no qual podem
monitorização de um determinado plano individual ser efectuados determinados juízos de valor.
de aprendizagem.
# 1: A definição de critério é mais fácil de
# 1: Trata-se de um documento escrito que resulta, compreender quando relacionada com a de
regra geral, de um processo de “negociação” entre o indicador (ver definição).
formando e o indivíduo ou entidade responsável pela # 2: Os critérios são as características consideradas
realização da formação, com vista à concretização de pelo avaliador como adequadas para formular juízos
um conjunto de objectivos de aprendizagem. A sua de valor sobre o objecto de avaliação em análise.
elaboração pode ainda implicar a participação do(s) Será a partir destes critérios que serão identificados
respectivo(s) formador(es). os indicadores que possibilitarão avaliar se esses
# 2: A sua realização assenta no princípio de que no critérios foram cumpridos e em que grau.
contexto de uma formação dirigida a adultos, estes Aqui ficam alguns exemplos de critérios para
devem ser encorajados e co-responsabilizados no avaliação da formação:
âmbito dos respectivos processos de ensino-
aprendizagem. Adesão
# 3: Para além de se traduzir numa ferramenta de Coerência
apoio ao desenvolvimento do formando, pode Conformidade
igualmente ajudar a demonstrar em que medida a Eficácia
aprendizagem foi eficaz. Eficiência
# 4: Neste tipo de contrato os “gaps” identificados Pertinência
no âmbito de um diagnóstico de necessidades de Utilidade
formação são traduzidos em objectivos de apren- Oportunidade
dizagem. A estrutura do mesmo apresenta, regra Sustentabilidade
geral, a seguinte configuração: Rentabilidade
(...)
objectivos de aprendizagem;
recursos e estratégias a associar a cada um dos Fontes : Barbier (1990);Le Boterf (1999)
objectivos;
determinação de evidências que demonstrem que
inofor
33. Custo de oportunidade A estas rubricas são associadas despesas, tais como,
salários, encargos sociais e benefícios do staff da
Corresponde ao valor de tudo aquilo que temos de formação, salários, encargos sociais e benefícios de
prescindir por força da escolha efectuada em outro pessoal, salários, encargos sociais e benefícios
detrimento de outras opções disponíveis. dos formandos, refeições, deslocações e outras
despesas ocasionais do staff da formação, refeições,
# 1: Aquando da tomada de decisão, os indivíduos deslocações e estadias para formandos, material de
e/ou organizações vêm-se, quase sempre, na escritório, materiais pedagógicos, impressão e
situação de ter que optar por uma de entre várias reprodução, aquisição de serviços externos
alternativas possíveis. Neste sentido, custo de (outsourcing), amortização de equipamentos peda-
oportunidade é tudo aquilo que indivíduos, organi- gógicos, aluguer de equipamentos pedagógicos,
zações ou sociedade em geral têm de pôr de lado, a manutenção de equipamentos pedagógicos,
favor de algo que é escolhido. amortização de instalações, aluguer de instalações,
# 2: No contexto da avaliação da formação, o custo consumíveis, outras despesas diversas, produção de
de oportunidade é, regra geral, considerado nas documentos técnicos (ex: relatórios de diagnósticos
decisões relacionadas com a optimização de recur- de necessidades de formação e de acompa-
sos disponíveis. Este custo é, regra geral, conta- nhamento e avaliação da formação), entre outros.
bilizado no contexto de análises custo-benefício, # 3: Aquando da realização de uma análise custo-
designadamente as que são efectuadas a montante benefício, a montante da realização da formação,
da implementação de uma intervenção formativa. podem ainda ser considerados eventuais custos de
oportunidade associados ao projecto formativo a
Fontes : Rossi (et al.) (1999); Patton (1997) realizar (ver definição de custo de oportunidade).
# 1: A identificação exaustiva de todos os custos Processo que visa analisar eventuais “gaps” ou
inerentes à realização da formação é fundamental discrepâncias existentes entre o perfil de
para a credibilidade da própria avaliação da competências detido por um indivíduo ou conjunto
formação. de indivíduos e o respectivo perfil de competências
# 2: As principais categorias de custos da formação desejado, resultando na elaboração de um plano de
são, regra geral, as seguintes: diagnóstico de necessi- formação de natureza correctiva e/ou prospectiva.
dades de formação e planeamento da formação;
concepção da formação; execução; avaliação (custos # 1: Não obstante terem sido identificados vários
associados à mobilização de recursos humanos a posicionamentos em matéria de detecção de
afectar, assim como produção de documentos de necessidades de formação, podem, no entanto
carácter avaliativo). encontrar-se tendências comuns, que nos remetem
para diferentes tipos de abordagens:5
4
As questões associadas à realização de um diagnóstico de necessidades serão abordadas em documento
próprio, a publicar brevemente.
5
Assumir que as abordagens antecipatórias e prospectivas são, em todas as situações, melhores do que as
abordagens meramente curativas ou reactivas, não é de todo correcto. De facto, as diferentes abordagens
possuem objectivos diferentes e respondem a necessidades diferentes.
Pág 037
Colecção Avaliação Avaliação da Formação
Abordagens reactivas ou curativas, que visam, na sua metodologia única, linear e simples, já que no
generalidade, reparar eventuais lacunas identificadas desenrolar de cada uma das abordagens podem
ao nível da execução dos objectivos de uma coexistir os métodos qualitativos e quantitativos,
organização. Centram-se na resolução de proble- técnicas previsionais, técnicas projectivas, estudos de
mas que se colocam no imediato ou no curto prazo. caso, análise de funções, auscultação de actores e
Abordagens antecipatórias e/ou prospectivas, que parceiros, brainstorming, entre outras.
assentam, regra geral, na realização de reflexões # 3: De acordo com alguns dos especialistas neste
estratégicas com incorporação de métodos e domínio, um dos factores fundamentais a considerar
técnicas prospectivas, projectivas ou previsionais. As no âmbito de um diagnóstico de necessidades de
organizações que recorrem a estes métodos, pro- formação, é a compreensão da situação referencial
curam antecipar, ao nível da respectiva envolvente desejável à luz da qual será realizado o diagnóstico.
interna e externa, futuros cenários com os quais as
mesmas inevitavelmente vão ter que se confrontar. Fontes: Capela (2000); Meignant (1999); Gupta, K.
Focalizam-se no médio-longo prazo. (1999)
Abordagens mistas, que integram simultaneamente
elementos “reactivos” e “antecipatórios”. Este tipo
de abordagem tende a ser a opção mais escolhida 36. Disseminação de resultados
pelas organizações, quando comparada com as
restantes abordagens. Centram-se, regra geral, Conjunto de actividades que facilitam a apropriação
numa perspectiva de curto prazo . dos resultados de uma avaliação pelos seus clientes.
# 2: Quanto aos métodos utilizados, estes também # 1: É já considerada uma das principais fases de um
variam consoante o tipo de abordagem escolhido, processo de avaliação;
não sendo, por isso, possível identificar uma # 3: Pode ser perspectivada de várias formas:
inofor
# 3: Em projectos formativos de grande dimensão, a # 1: Quando aplicado ao contexto da formação,
disseminação pode mesmo encerrar objectivos de este termo pode ser entendido, como o conjunto de
demonstração de boas práticas e “benchmarking”, procedimentos desenvolvidos a montante, ao longo
numa tentativa de estender o impacte do projecto a e a jusante, da implementação de determinado
outros contextos (impactes ao nível das organi- projecto formativo, por forma a garantir que os
zações, dos grupos e dos indivíduos). respectivos resultados sejam efectivamente os de-
sejados.
Fontes: Patton (1997); Rossi (et al.) (1999) # 2: A demonstração de procedimentos de garantia
de qualidade das intervenções formativas
preconizadas é, regra geral, uma das exigências
37. Fidelidade dos instrumentos de avaliação destacadas no âmbito dos respectivos cadernos de
encargos.
Característica que permite verificar se os instru- # 3: Como dispositivos de garantia de qualidade
mentos produzem resultados semelhantes, quando aplicáveis ao Sistema de Formação Profissional
aplicados, várias vezes, em situações idênticas. existente, destacam-se, a título de exemplo, o
Sistema de Certificação do IEFP, o Sistema de Acre-
# 1: Também se utiliza a palavra: confiabilidade. ditação de Entidades Formadoras (do INOFOR e
# 2: É um critério necessário mas não suficiente na restantes organismos), a aplicação da norma NP EN
escolha de medidas a utilizar nos instrumentos de ISO 9000:2000, entre outros... Destacam-se ainda
avaliação. A verificação da validade de um instru- os sistemas internos de garantia de qualidade im-
mento segue-se, normalmente, à verificação da plementados por parte das entidades que intervêm
respectiva fidelidade. Na realidade, de nada adianta na formação profissional. A inclusão da auto-ava-
ter um instrumento fiel, se o mesmo não mede o liação entre os principais temas de reflexão acerca da
que é suposto medir (validade). Dito ainda de outra garantia de qualidade na formação contínua tem
forma: como poderão ser tomadas deci-sões se os igualmente facilitado o desenvolvimento deste tipo
resultados não são consistentes? de práticas.
# 3: Faz referência à estabilidade e consistência dos
resultados de um determinado instrumento. Fontes: Portugal. Instituto Português da Qualidade
# 4: A fidelidade de um instrumento é, regra geral, (2001)
interpretada de acordo com determinados graus:
elevada, moderada e baixa.
39. Gestão da formação
Fontes: Rossi (et al.) (1999); Airasian (2001)
Conjunto de actividades coordenadas que visam
monitorar e controlar projectos de natureza for-
38. Garantia de qualidade mativa, numa óptica de optimização dos seus
resultados.
Parte da gestão da qualidade orientada no sentido de
gerar confiança quanto à satisfação dos requisitos da # 1: Ver definição de “garantia de qualidade”.
qualidade pré-estabelecidos.6
6
Adaptado da definição constante na norma NP EN ISO 9000:2000.
Pág 039
Colecção Avaliação Avaliação da Formação
7
Ver definição de “avaliação interna”.
inofor
Indicadores associados aos resultados e impactes de 42. Juízo de valor (ou de utilidade)
uma intervenção formativa.8 Neste conjunto de
indicadores destacam-se os relacionados com: os Apreciação final que é feita após a recolha, tra-
resultados imediatos da formação (relacionados com tamento e análise de dados acerca de determinada
aquisição de saberes específicos); os impactes da realidade objecto de avaliação.
formação, designadamente, ao nível quer do desem-
penho dos indivíduos em situação real de trabalho # 1: Encarado como um dos produtos decorrentes
(Ex: grau de autonomia, grau de domínio de deter- de uma processo avaliativo, assume um papel im-
minada tecnologia...) quer da respectiva área fun- portante aquando da fase de elaboração de reco-
cional e/ou organização no seu todo (Ex: ganhos de mendações de melhoria.
produtividade, índices de absentismo...) quer ainda, # 2: A sua formulação permite que a avaliação vá
ao nível de uma comunidade e/ou região específica além da simples medição, baseada normalmente no
(Ex: graus de empregabilidade dos formanos, taxas uso de instrumentos de natureza quantitativa. Em
de inserção socioprofissional dos formandos...). rigor, é no contexto de uma avaliação que se for-
mulam juízos de valor com vista à tomada de
Fontes : Barbier (1990); Van den Berghe (1998); decisões.
Scriven (1991); Patton (1997) # 3: A elaboração de juízos de valor pressupõe que
exista, à partida, um conjunto de referentes que
sustentam determinada tomada de posição. A sua
41. Inputs da avaliação existência permite realizar exercícios de comparação
entre algo alcançado e padrões de referência pré-
Recursos tangíveis e intangíveis necessários para a estabelecidos (ver definição de referente).
produção dos resultados da avaliação.
Fontes: Barbier (1990); Patton (1997); Scriven
# 1: Expressão que pode ser igualmente substituída (1991)
por “entradas do processo avaliativo”.
# 2: Ver definição de “diagnóstico de necessidades
de formação” e de “ avaliação ex-ante”. 43. Meta-avaliação
# 3: O principal input de um processo avaliativo é
normalmente a informação fornecida por eventuais Visa avaliar o modelo avaliativo desenvolvido, por
diagnósticos de diagnóstico de necessidades de for- forma a garantir os níveis de qualidade nos processos
mação (expectativas e necessidades dos respectivos e técnicas de avaliação utilizados.
beneficiários). São ainda considerados inputs de uma
avaliação os resultados e impactes preconizados por # 1 : Apresenta como principais alvos de estudo: os
determinado projecto formativo, as informações métodos e técnicas de avaliação utilizados, os
acerca das condições para aplicação do modelo de avaliadores (respectivo desempenho), os resultados
formação e avaliação, etc...). do processo avaliativo (a sua utilidade para os res-
pectivos utilizadores).
Fontes : Patton (1997); Salgado (1997); Rossi (et # 2: Pressupõe a existência de padrões de referência
al.)(1999) com base nos quais será realizada a avaliação dos
8
Ver definição de “análise custo-benefício” e de “retorno do investimento”.
Pág 041
Colecção Avaliação Avaliação da Formação
métodos e técnicas de avaliação utilizados. Estes envolvimento dos vários actores, exercendo o
padrões de referência assentam, frequentemente, avaliador, neste último caso, um papel de facilitador
nos resultados de modelos de avaliação concebidos no processo de identificação de estatégias avaliativas
e aplicados por autores de reconhecido mérito no a aplicar.
domínio da avaliação. Os critérios utilizados com
maior frequência são os seguintes: utilidade das Estas últimas abordagens têm vindo a desenvolver-se
abordagens, adequação das mesmas face aos res- sem prejuízo da aplicação de metodologias avalia-
pectivos contextos de aplicação, grau de exequa- tivas assentes em pressupostos de natureza
bilidade dos métodos preconizados, rigor no trata- positivista (perspectiva segundo a qual o sujeito que
mento dos dados. avalia e o sujeito/objecto avaliado são duas realidades
independentes). De facto, identificam-se no “terre-
Fontes : Scriven (1991); Patton (1997) no” várias metodologias de avaliação que podem ser
mais ou menos: formativas, sumativas, estruturadas,
quantitativas, qualitativas, positivistas, formais, parti-
44. Metodologias de avaliação9 cipadas, etc... sendo que os factores que permitem
optar por esta ou aquela metodologia prendem-se,
Processos de pesquisa de informação, assentes na essencialmente, com as especificidades dos res-
identificação de um conjunto de questões que pectivos contextos de aplicação, bem como as ne-
incidem sobre as fases de preparação, implemen- cessidades de informação dos respectivos bene-
tação, resultados e impactes de uma intervenção ficiários.
formativa.
Fontes: Guba e Lincoln (1989);Luís Capucha (et
# 1: As metodologias de avaliação evoluiram ao al.)(1996);Patton (1997); Wall e Ottewill (2000)
longo dos tempos em função de dois factores
fundamentais: a (re)definição do papel do avaliador e
o grau de participação dos implicados no processo 45. Níveis de avaliação10
formativo. Estas questões são claramente
evidenciadas no contexto dos trabalhos de Guba e Representam uma sequência de dimensões de
Lincoln (1989) que, ao apresentarem uma pers- avaliação da formação.
pectiva histórica da avaliação, identificam e caracte-
rizam “quatro gerações de avaliação”. De acordo # 1: Conceito bastante utilizado no âmbito da
com a análise efectuada evoluiu-se de abordagens de abordagem apresentada por D. Kirkpatrick (1994).
natureza essencialmente quantitativa, regra geral Para este autor níveis representam as diferentes
centradas na “medição” das características dos agen- “dimensões” (avaliar o quê?) em que a formação
tes avaliados, passando pelas abordagens avaliativas pode ser avaliada. Essas “dimensões” são:
centradas, quer na descrição do realizado e não
realizado (objectivos pré-estabelecidos versus Nível 1 - Reacção (em que medida os participantes
resultados) quer na emissão de juízos de valor (na estão satisfeitos com o programa?);
qual o avaliador assumia um papel de “juíz”) para Nível 2 - Aprendizagem (em que medida ocorreram
metodologias avaliativas focalizadas na participação e aprendizagens?);
9
Este termo refere-se apenas ao contexto da formação profissional.
10
Destacam-se aqui apenas as abordagens mais conhecidas no que se refere à noção de “nível de avaliação”.
inofor
Nível 3 - Comportamento (em que medida as # 1: A construção de objectivos de aprendizagem
aprendizagens adquiridas/desenvolvidas foram pode obedecer a técnicas específicas. A mais conhe-
transferidas para os contextos de trabalho?); cida é a de R. Mager que valoriza “o princípio do
Nível 4 - Resultados (em que medida a aplicação dos triplo C”, isto é um objectivo bem definido deve:
novos saberes provocaram mudanças no desem-
penho da organização?). precisar um comportamento observável;
enumerar as condições e as características do con-
#2: Os níveis de D. Kirpatrick são provavelmente os texto de desempenho, críticas à emergência desse
mais conhecidos pela maior parte dos especialistas comportamento;
de avaliação. Esta taxonomia difundiu-se sobretudo, precisar o(s) níveis de desempenho/proficiência a
e rapidamente, no contexto dos projectos de alcançar, traduzidos em indicadores de resultados a
formação intra-empresa, tendo sido entretanto avaliar, que permitem determinar, de forma ine-
desenvolvido/ajustado por forma a ser aplicado a quívoca, se o comportamento observado é aceitável
outros contextos. / adequado.
J. Phillips propõe um quinto nível de avaliação,
também sequencial em relação aos níveis de D. # 2: Um objectivo de aprendizagem consiste na
Kirkpatrick: operacionalização e decomposição pedagógica de
uma actividade, desempenho, meta organizacional,
Nível 5 - Retorno do investimento (aplicação da serviço/produto, garantindo-se a presença dos
abordagem ROI). Este autor defende que para além condicionalismos, regras, normas, instrumentos
da aferição de eventuais impactes ao nível do habituais nos contextos de desempenho.
desempenho de uma organização, importa efectuar # 3: A sua correcta formulação permite apoiar os
análises custo-benefício por forma a determinar em vários actores intervenientes numa acção formativa
que medida os impactes obtidos justificaram o inves- ao nível do processo de construção, condução e
timento efectuado. avaliação das acções de formação.
Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Fontes: Mager (1997); Portugal. Comissão Intermi-
Phillips,P. (2002) nisterial para o Emprego (2001)
dagem de avaliação preconizada. A fase da plani- # 3: É normalmente elaborado pela estrutura que
ficação é já considerada a fase crucial de um processo gere a formação.
de avaliação.
# 4: No âmbito do presente glossário são desta- Fontes: Le Boterf (1999) ; CIME (2001)
cadas quatro fases normalmente associadas a um
plano de avaliação, a saber:
49. Questões de avaliação
a fase da preparação do processo avaliativo
(destaque para o momento da planificação) Efectuadas a montante, ao longo e a jusante da
a fase da execução/desenvolvimento do processo implementação de um processo de avaliação da
avaliativo (destaque para a fase da obtenção dos formação, visam aferir as matérias relevantes a
dados considerados relevantes) investigar/considerar no âmbito do mesmo.
a fase do tratamento e análise dos dados e apre-
sentação de resultados (destaque para o momento # 1: Devem ser realistas e susceptíveis de serem
da emissão de juízos de valor) respondidas (implica a identificação de critérios e
a fase da disseminação dos resultados (destaque para indicadores de avaliação precisos, assim como
a fase da identificação dos centros de decisão para os identificação dos respectivos referentes).
quais se deve remeter os resultados da avaliação). # 2: A sua utilidade reside no facto de contribuirem
para a delimitação do objecto alvo de estudo,
Fontes: Patton (1997); Rossi (1999); Valadares e identificação dos stakeholders a implicar no processo
Graça (1998) de avaliação, bem como respectivas necessidades e
expectativas.
# 3: Podem ser efectuadas pelo responsável pela
48. Plano de formação definição da metodologia avaliativa, pelos avaliados,
bem como pelo conjunto de outros indivíduos
Documento que integra um conjunto estruturado de (stakeholders) que demonstrem claro interesse
actividades que devem ser realizadas num dado relativamente aos resultados de determinada
período de tempo, com vista à prossecução de intervenção formativa.
determinados objectivos, tendo por base os resul- # 4: As primeiras questões são efectuadas, regra
tados de um diagnóstico de necessidades de for- geral, pelo avaliador responsável pela concepção do
mação. modelo avaliativo, das quais decorrem as restantes,
normalmente elaboradas pelos restantes
# 1: É a tradução operacional da política de stakeholders.
formação da organização. A sua execução pode ser
anual ou plurianual. Fontes : Rossi (et al.) (1999); Woods, J. (et
# 2: Este documento dá especial relevo às acções de al.)(2000); Patton (1997); Soyer (1999), Garlick e
formação a desenvolver e assume, regra geral, a Des Kemp (2001)
forma de um caderno de encargos (para cada curso
integrado no plano).
inofor
50. Recomendações # 1: Os termos “referencial” e “referente” são aqui
definidos à luz do trabalho de Gérard Figari.
Conjunto de sugestões de melhoria e/ou propostas # 2: O próprio G. Figari não apresenta uma definição
de medidas de acção que decorrem da análise dos única de referencial.
dados recolhidos durante o processo avaliativo e que # 3: Ver definição de “referente”.
visam contribuir para a melhoria de determinados # 4: O referencial é, normalmente, considerado um
processos formativos. produto acabado, correspondendo a uma formu-
lação momentânea da referencialização. Pelo con-
# 1: Podem ser efectuadas antes, durante e/ou após trário, o processo de referencialização é normal-
a realização de um processo de formação (ver defi- mente referido como um sistema dinâmico e aberto,
nição de avaliação ex-ante, on-going e ex-post). que permite a incorporação de eventuais alterações
# 2: Constituem a parte de um relatório de avaliação que contribuam para uma maior adequação das
à qual é dada normalmente maior atenção, pelo que intervenções de avaliação às constantes mutações
surgem, regra geral, destacadas do conjunto das dos respectivos contextos de aplicação.
informações disponibilizadas. # 5: A sua elaboração implica a identificação do
# 3: Sobre esta matéria destacam-se as posições de conjunto de referentes, com base no qual podem ser
dois autores: Michael Scriven e Michael Patton. efectuados juízos de valor acerca de determinada
Acerca da elaboração de recomendações Scriven situação em análise.
(1991) destaca a dificuldade de um avaliador efec-
tuar recomendações específicas, no caso de não ser Fontes: Figari (1996); Barbier (1990), Abreu (1996)
especialista na matéria em estudo, pelo que sustenta
que o papel de um avaliador termina com a elabo-
ração de juízos de valor acerca das matérias em 52. Referencialização
análise. Com uma opinião contrária, Patton (1997)
entende que um processo de avaliação deve Processo específico de explicitação ou construção de
considerar a fase da elaboração de recomendações. um quadro ou sistema de referência.
Acrescenta que a situação apresentada por Scriven
pode ser ultrapassada com o envolvimento dos # 1: A referencialização é um processo (e não um
actores (principais centros de decisão), na fase de produto) de elaboração do(s) referente(s).
elaboração dessas recomendações. # 2: A referencialização consiste em identificar um
contexto e em construir, sob dados sólidos, um
Fontes: Scriven (1991); Patton (1997); Rossi (et corpo de referentes relativos a um objecto (ou uma
al.)(1999) situação) em relação ao qual poderão ser justificados
diagnósticos, projectos, avaliações (ver definição de
referente e de referencial).
51. Referencial de avaliação
Fontes: Figari, G. (1996); Barbier (1990)
É um esquema construído com base numa
combinação de referentes, com vista a ser utilizado
como quadro de referência aquando da avaliação de
determinada realidade (neste caso, de formação).
Pág 045
Colecção Avaliação Avaliação da Formação
Ferramenta principal de apresentação, aos dife- Uso directo ou instrumental dos resultados. Torna-
rentes beneficiários, dos resultados finais do trabalho se visível aquando da redefinição de estratégias, de
de avaliação da formação. reformulações de planos de acção, de alterações ao
nível dos conteúdos programáticos... (impactos
directos dos resultados)
inofor
Uso conceptual dos resultados. Torna-se visível de optimização dos recursos mobilizados para o
aquando da elaboração de normativos/procedi- projecto formativo. No segundo caso, visa a dispo-
mentos da entidade formadora (numa óptica de nibilização de informações que permitam aferir o
melhoria contínua), de alterações ao nível da efectivo valor acrescentado para os contextos nos
estrutura funcional da empresa (organograma), da quais são mobilizados os saberes aquiridos/desen-
alteração das políticas formativas da empresa, etc.... volvidos, pela via da formação, numa óptica de apoio
(impactes indirectos dos resultados). à decisão acerca da continuidade ou descontinuidade
das intervenções formativas, assim como (re)-avalia-
Fontes: Patton (1997); Rossi (et al.) (1999); Barbier ção de investimentos efectuados.
(1990);Capucha (et al.) (1996)
Fontes:Rossi (et al.) (1999); Scriven (1991); Patton
(1997)
56. Sistema de gestão de informação (SGI)
11
A lista de indivíduos e organizações referidos devem ser encarados apenas como potenciais implicados numa
avaliação. Competirá ao avaliador identificar todos aqueles que estarão eventualmente interessados e em que
medida, nos resultados de determinado projecto formativo.
Pág 047
Colecção Avaliação Avaliação da Formação
(3) Responsáveis pela avaliação externa do projecto # 1: Trata-se de uma definição abrangente de
de formação. Podem ou não ser os mesmos já amostragem, válida para qualquer contexto de
referidos nos pontos anteriores. aplicação, incluindo o da avaliação da formação.
(4) O público-alvo a abranger pela formação. # 2: No contexto da avaliação da formação, as
(5) O gestor de formação ou a pessoa responsável unidades mais comuns objecto de amostragem
pela gestão do projecto formativo. são:
(6) Indivíduos envolvidos na execução do projecto
de formação: formadores, monitores, coordenado- os cursos ou acções de formação a seleccionar para
res pedagógicos, tutores, avaliadores. avaliação, a partir de um plano de formação;
(7) Organizações concorrentes que desenvolvem os formandos de determinados cursos;
formação na mesma área (podem vir a manifestar os diferentes “stakeholders” a contactar/implicar no
algum interesse no que toca a práticas bem sucedidas âmbito da avaliação.
com forte potencial de transferibilidade para
contextos idênticos. Acontece por vezes serem # 3: Existem 2 modalidades básicas de amostragem:
realizadas parcerias que possam interessar à dirigida e aleatória.
organização detentora do know-how produzido).
(8) Indivíduos ou organizações que beneficiam Fontes:Reis, E.(et al.)(2001)
indirectamente dos resultados da formação (ex:
consumidores finais (ou clientes externos) dos
produtos e/ou serviços produzidos por uma 59. Triangulação
organização e/ou indivíduos beneficiários da
formação, clientes internos (ex: colegas de trabalho), Consiste na utilização de mais do que uma fonte,
famílias envolvidas, outras instituições não associadas método e/ou técnica aquando da realização de uma
à realização da formação... avaliação de determinada intervenção formativa.
(9) Indivíduos ou organizações associadas à área da
investigação que, perante práticas bem sucedidas, # 1: Prática cada vez mais utilizada no âmbito dos
procuram divulgar junto, quer da comunidade estudos de investigação nas mais diversas áreas.
científica interessada nas matérias em estudo quer Traduz-se na prática, no recurso a várias teorias,
dos profissionais da área, os respectivos resultados. fontes ou tipos de informação, tipos de técnicas,
num contexto em que se pretende estudar/analisar
Fontes: Rossi, P.(et al.) (1999); Patton um fenómeno específico (ver definição de métodos
(1997);Simpson e Lyddon (1995) qualitativos e métodos quantitativos).
# 2: Resulta numa maior credibilidade dos
resultados de um determinado estudo, permitindo
58. Técnica de amostragem uma maior sustentação das decisões que venham a
ser efectuadas sobre o mesmo.
Acto de seleccionar elementos a partir de uma # 3: Uma das vantagens no uso da triangulação em
população para fins de investigação/avaliação. projectos de investigação consiste em “atenuar”
algumas das desvantagens que decorrem da
aplicação de um único método e/ou técnica.
inofor
# 4: Permite complementar as abordagens de # 3: A verificação da validade de um instrumento é,
natureza quantitativa, sempre que, por exemplo, regra geral, efectuada a jusante da verificação da
após a recolha, análise e tratamento de dados não é respectiva fidelidade.
possível regressar ao “terreno” para verificar ou # 4: Existem vários tipos de validade: a validade de
clarificar alguma resposta resultante da aplicação de conteúdo, a validade de critério e a validade de cons-
determinado inquérito por questionário. truto.
Fontes: Scriven (1991); Rossi (et al.)(1999) Validade de conteúdo: refere-se à representa-
tividade ou grau de adequação do conteúdo do
instrumento de medida relativamente àquilo que
60. Validade dos instrumentos de avaliação está a ser medido e, por conseguinte, à confiança
maior ou menor para fazer determinadas inferências
Característica que permite verificar se um instru- (Nunnally, 1978)12.
mento de avaliação mede efectivamente aquilo que é Validade de critério: um instrumento de avaliação
suposto medir. pode ter validade referida a um critério, sendo que
dos seus resultados podemos inferir acerca do grau
# 1: A análise dos instrumentos deve ser efectuada de consecução desse critério (baseado em Valadas e
de acordo com dois critérios fundamentais (entre Graça 1998).
outros): validade e fidelidade. Validade de construto: um instrumento de avaliação
# 2: A noção de validade deve ser relacionada com a pode ter validade de construto caso permita fazer
noção de utilidade dos resultados que decorrem da inferências correctas acerca desse construto13 (ba-
aplicação de um instrumento de avaliação, ou seja, os seado em Valadas e Graça 1998).
resultados da avaliação permitem a tomada de
decisão dos seus utilizadores? Fontes: Caetano (1996); Valadares e Graça (1998);
Airasian (2001)
12
In Caetano, A. (1996)“ Avaliação de desempenho”.
13
“Um construto representa uma hipótese (geralmente meio formada) de que diversos comportamentos
estarão correlacionados uns com os outros em estudos de diferenças individuais e/ou serão igualmente
afectados por tratamentos experimentais (Nunnally 1978)”, in Caetano (1996) “Avaliação de desempenho”.
Pág 049
Colecção Avaliação Avaliação da Formação
inofor
Observações
Parte»»» 03
Notas metodológicas
Notas metodológicas
Encarada como complemento ao capítulo anterior, favor da elevação da qualidade das intervenções
esta parte do trabalho visa remeter o leitor para uma formativas desenvolvidas.
reflexão acerca das implicações associadas à
operacionalização dos termos previamente Destaque-se que para a elaboração desta parte do
descritos. trabalho muito contribuiram quer a observação no
“terreno” de práticas concretas de avaliação quer a
As notas metodológicas remetem para um contexto análise de experiências de alguns especialistas em
específico de avaliação, no qual se privilegia a ar- matéria de avaliação da formação, que nos apre-
ticulação interactores envolvidos num determinado sentam alguns dos factores críticos de sucesso asso-
processo de formação. Embora esta seja ainda uma ciados às práticas de avaliação da formação.
prática pouco evidenciada no contexto das or-
ganizações responsáveis pela gestão e im- Pretende-se, pois, colocar à discussão dos vários
plementação de projectos formativos, defende-se utilizadores deste primeiro caderno, “uma forma
que a mobilização dos vários actores para a diferente” de fazer avaliação, muito centrada na
“construção” de um dispositivo de avaliação de participação (possível) e envolvimento de todos os
interesse comum, reverte, em grande medida, a interessados nos resultados de determinado
projecto formativo. Para tal, são deixadas, nesta fase,
algumas pistas concretas que visam apoiar a imple-
mentação de processos de avaliação da formação.
Pág 055
Colecção Avaliação Avaliação da Formação
(1) Análise custo-benefício O ponto anterior pode ser mais facilmente com-
preendido com o seguinte exemplo:
Dos dois pontos anteriores resulta que o ROI é
sempre inferior ao RCB14, como pode ser verificado Benefícios do programa de formação
com o seguinte exemplo: xpto = 350
Custos do programa de formação
Benefícios do programa de formação xpto = 1000 Xpto = 450
Custos do programa de formação xpto = 450
1000 350
RCB =_____ =2.22 RCB =______=0.78
450 450
1000 350-450
RCB (%) = ______ x 100=222.22% ROI (%) = _________ x100=-22.22%
450 450
A interpretação que deve ser dada aos valores de Nas actividades de reporting do gestor de formação,
RCB e ROI é a seguinte: recomenda-se a utilização do RCB em unidades e
ROI em percentagem.
Um RCB de 2.22 significa que por cada unidade
monetária investida (custo) no programa de for- A análise custo-benefício também pode ser en-
mação xpto, a respectiva entidade promotora tendida num plano menos matemático-formal,
recuperou 2.22 unidades monetárias (benefício). cumprindo uma missão de apoio à decisão do
[450 x 2.22 = 1000] investimento na formação. Nesse caso, é usual
Um ROI de 122.22% significa que se obteve aquela proceder-se a uma listagem completa dos custos e
percentagem de lucro líquido face ao valor mone- benefícios da formação, incluindo outros custos e
tário inicialmente investido no programa de for- benefícios para além dos monetários.
mação xpto. [450 x 122.22% = lucro = 550] Pode assim ser construído um quadro a 2 colunas
O ROI também pode ser expresso em unidades. No com vantagens e desvantagens do investimento na
exemplo, teríamos um resultado de 1.22 a formação que facilitará a decisão.
interpretar nos mesmos moldes do ponto anterior.
[450 x 1.22 = 550] Exemplo de custo não monetário: reacção negativa
Atenção que o RCB só representa uma relação (emocional e/ou comportamental, via resistência,
rentável entre custos e benefícios quando o seu valor recusa ou ausência em reuniões) das chefias directas
é superior a 1. Já o ROI tem de ser superior a 0% em participarem em actividades de avaliação de nível
para traduzir a mesma realidade. 3 e/ou 4. Sabemos à partida que, delas depende, em
14
Formalmente, RCB pode ser igual a ROI, no caso em que os custos da formação fossem igual a zero. Seria, pois, mais
correcto afirmar-se que o ROI é sempre igual ou inferior a RCB.
inofor
grande medida, a eficácia de uma intervenção for- (3) Auditoria da formação
mativa, quando dirigida a activos empregados.
A institucionalização de práticas de auditoria e/ou
Exemplo de benefício não monetário: elevação do auto-avaliação internas pode permitir uma rápida
grau de identificação à empresa. identificação de aspectos a melhorar no âmbito de
Os custos e benefícios gerados pela formação não projectos que se encontrem a decorrer, assim como
directamente quantificáveis em valor monetário de- uma melhor prepararação de futuras abordagens
signam-se por intangíveis. formativas.
Destaque-se ainda o facto de não existirem valores A sua institucionalização implica que, à partida, es-
considerados “óptimos” ou “aceitáveis” associados a tejam reunidas determinadas condições que con-
uma análise custo-benefício. Os mesmos são, regra tribuem para o desenvolvimento eficaz de todo o
geral, estabelecidos para cada programa/projecto processo, designadamente:
formativo. Competirá ainda à organização estabecer
os seus próprios níveis de desempenho a alcançar. A construção de um referencial ajustado ao contexto
em que vai ser aplicado
Uma análise custo-benefício pode ser efectuada O envolvimento da gestão de topo ao longo de todo
antes, durante e após a realização do programa/pro- o processo
jecto objecto alvo de análise. A promoção de uma cultura de melhoria contínua
A mobilização de todos os implicados no processo
para a manutenção do processo
(2) Aprendizagem ao longo da vida O desenvolvimento de um sistema de comunicação
eficaz (para feedback atempado)
Exige que seja desenvolvida a competência A preparação dos responsáveis pela sua aplicação
“aprender a aprender”, o que implica a demons-
tração de uma atitude positiva relativamente à
aprendizagem. Apresenta como principais factores (4) Auto-formação
críticos: a motivação individual para aprender e a
disponibilização de várias oportunidades de Distingue-se da auto-classificação e da auto-cor-
aprendizagem. recção. A primeira implica a participação do for-
mando aquando da realização da respectiva ava-
O desenvolvimento desta competência assume liação sumativa (avaliação final). Solicita-se ao for-
particular importância no contexto da construção de mando que classifique o seu trabalho atribuindo-lhe
modelos específicos de avaliação da formação, uma uma determinada nota.
vez que a par de uma, cada vez maior, co-respon- Na segunda, pretende-se que o formando identi-
sabilização dos indivíduos no que diz respeito aos fique, quer sucessos obtidos, quer eventuais “erros”
respectivos percursos de aprendizagem, surge, cometidos, visando a sua correcção, utilizando para
igualmente, uma maior co-responsabilização dos o efeito um conjunto de referentes pré-estabe-
mesmos no que toca à monitorização e avaliação de lecidos.
saberes adquiridos, em particular, pela via da forma- A auto-avaliação, integrando elementos dos pro-
ção profissional desenvolvida. cessos anteriores, pretende ir mais além, já que
Pág 057
Colecção Avaliação Avaliação da Formação
inofor
Um dos factores críticos da metodologia sugerida é o (5) Avaliação “à medida”
envolvimento/participação dos chamados
stakeholders (ver definição) ao longo da imple- Na definição de uma metodologia de avaliação, que
mentação de um processo de auto-avaliação. Ex: se pretenda ajustada ao contexto em estudo, que
auscultação de clientes finais acerca de serviços aspectos poderão ser “construídos” à medida? Os
prestados pela entidade formadora. aspectos de maior relevância, a considerar num
contexto em se pretenda construir uma metodologia
de avaliação ajustada ao contexto em análise, são os
seguintes:
15
Podemos considerar igualmente um programa/projecto de formação.
inofor
(7) Avaliação por forma a serem encontradas estratégias cons-
da transferência de aprendizagens ensuais, que permitam ultrapassar eventuais bar-
reiras ao processo de transferência de aprendiza-
Pressupõe que o processo de aprendizagem tenha gens adquiridas.
sido eficaz. Só assim estarão criadas as condições
essenciais que permitem a obtenção dos resultados Por forma a que os diferentes “stakeholders” saibam
pretendidos. quais as respectivas responsabilidades, no contexto
da preparação de eventuais transferências de apren-
Exige ainda uma esteita articulação entre os vários dizagens, sugere-se que seja preenchida a seguinte
“stakeholders” implicados no processo formativo, grelha, num momento anterior à realização da
formação:
Dirigente da organização
Director de formação
Coordenador pedagógico
Formador
Formando (etc...)
16
Observação: As actividades apresentadas aplicam-se às situações em que o colaborador a formar se
ausenta do respectivo contexto de trabalho.
Pág 061
Colecção Avaliação Avaliação da Formação
que apoio será efectuado por parte da chefia A chefia directa assume um papel central na renta-
directa; bilização do investimento efectuado ao nível da for-
o que é esperado do colaborador após a rea- mação, na medida em que é a responsável directa
lização da formação; pelo acompanhamento do colaborador de regresso
ao contexto de trabalho. Ficam aqui algumas das
Levantamento das várias situações problema, actividades que a mesma pode vir a desenvolver:
identificadas e analisadas na fase do diagnóstico de
necessidades de formação, com vista à sua apresen- Comparar as expectativas do formando com os
tação/discussão no momento da realização da for- resultados alcançados.
mação. Estabelecer prazos para experimentação/aplicação
Realização de contratos de aprendizagem. de novos conhecimentos (sugere-se a elaboração de
um plano de desenvolvimento individual cuja imple-
Após a realização da formação, sugere-se que seja mentação possa ser monitorada).
efectuada, pela chefia directa do indivíduo recém- Dar feedback ao formando após a aplicação dos
formado, uma “entrevista de chegada”, na qual novos conhecimentos, nomeadamente, respectivo
poderão ser colocadas as seguintes questões: progresso, bem como identificação de eventuais
dificuldades. Reconhecer todos os esforços que
Considerando o ponto de partida, qual o valor acres- conduzam ao cumprimento dos objectivos deseja-
centado após a realização da formação? dos.
Em que medida podem os saberes adquiridos ser Mostrar-se disponível para aconselhar e apoiar o
mobilizados para o contexto de trabalho em análise? formando ao longo do processo de transferência de
Que tipo de saberes podem ser mobilizados no saberes, em particular aquando da resolução de
curto, médio e longo prazo? eventuais problemas.
Em que medida estão reunidas as condições neces- Elaborar, sempre que possível, ajudas ao trabalho
sárias ao processo de transferência de saberes adqui- (elaboração de cheklists, fluxogramas/esquemas,
ridos? manuais práticos de referência...)
Como pensa vir a actuar o colaborador recém-for-
mado? A elaboração de plano de desenvolvimento indi-
Na opinião do ex-formando, como pode a chefia vidual pode obedecer à seguinte estrutura:
directa ajudar no processo?
inofor
Plano de desenvolvimento individual
A realização de um acompanhamento mínimo, em nível venham a ser igualmente cumpridos. Este facto
particular no que toca a eventuais dificuldades de é, regra geral, ultrapassado, sempre que são garan-
aplicação/mobilização de determinados saberes tidas, à partida, as condições propícias à transferência
aprendizagens para os contextos de aplicação da das aprendizagens adquiridas/desenvolvidas (ver
formação, afigura-se fundamental numa perspectiva definição de transferência de aprendizagens).
de máxima rentabilização do investimento efec-
tuado. Note-se que as razões para a não verificação A existência de um grupo de controlo (que não
das mudanças pretendidas podem prender-se não recebe formação) e de um grupo experimental (que
com a formação em si, mas com a falta de condições recebe formação) poderia permitir a posterior
dos contextos que recebem essa formação. comparação de resultados ao nível dos respectivos
desempenhos. Neste caso, as características de
ambos os grupos deveriam ser semelhantes. Esta
(8) Avaliação de aprendizagens forma de avaliar não é, contudo, muito praticada no
contexto da formação profissional, já que a sua
Uma avaliação de aprendizagens pressupõe a operacionalização exige um acompanhamento
realização de dois momentos de avaliação, um antes permanente das duas situações em análise, o que
da formação (avaliação diagnóstica) e um outro após acarreta custos elevados.
a realização da mesma. Só assim poderemos ter uma
base de comparação para avaliar os ganhos efectivos
ao nível das aprendizagens. (9) Avaliação de impactes da formação
17
As sugestões práticas apresentadas vão para além dos princípios enunciados pelo autor D. Kirkpatrick.
Pág 065
Colecção Avaliação Avaliação da Formação
inofor
dos formativos (2) o grau de aquisição/desenvolvi- e consensuais pode, na opinião de alguns especia-
mento de saberes específicos; (3) o grau de aplicação listas, ajudar a ultrapassar esta dificuldade.18
dos saberes adquiridos/desenvolvidos em contextos
de desempenho específicos; (4) a identificação de Destacam-se aqui dois factores de particular
mudanças concretas ao nível do desempenho da importância, a considerar aquando da decisão da
organização, fortemente relacionadas com a for- aplicação da fórmula ROI: (1) quanto mais focalizada
mação. Com esta análise, procura-se compreender, for a formação, ou seja, direccionada para o desen-
de certa forma, a cadeia de impactes de determinado volvimento de competências organizacionais espe-
projecto formativo. cíficas, maior será a possibilidade de aferição dos
respectivos impactes; (2) o seu apuramento será
Pela complexidade metodológica que apresenta, tanto mais facilitado, quando mais longas e integradas
assim como exigência ao nível da afectação de tempo forem as intervenções formativas.
e recursos para a sua aplicação, a análise do ROI só se
afigura viável quando reunidas as condições neces-
sárias à sua execução. Na realidade, alguns dos (13) Avaliação ex-ante
projectos formativos ficar-se-ão apenas pela
abordagem de reacção, outros pela avaliação dos É comum verificar-se uma relação sequencial e
saberes adquiridos/desenvolvidos, outros ainda pela temporal entre os conceitos de “avaliação ex-ante,
avaliação da transferência dos “adquiridos” para os ongoing e ex-post. Todavia, uma avaliação ex-ante
respectivos contextos de desempenho. A neces- pode incidir, igualmente, sobre as várias fases de um
sidade por este ou aquele tipo de avaliação é, pois, ciclo formativo: concepção, execução/desenvolvi-
efectuada de acordo com as necessidades de mento e apuramento de respectivos resultados. Por
informação dos clientes dessa formação. exemplo, no contexto de estudos prospectivos uma
“avaliação ex-ante” pode incidir também sobre os
Uma das etapas mais exigentes deste tipo de abor- resultados e impactes pretendidos para determinada
dagem é precisamente a conversão dos designados intervenção formativa.
“benefícios da formação” para valores monetários.
Exige uma reflexão acerca do tipo de resultados Quando realizada de forma eficaz traduz-se numa
obtidos, quer estejamos a falar de resultados de verdadeira ferramenta ao serviço da eficiência e
natureza tangível quer intangível. Na prática, é ao eficácia de um programa/projecto de formação.19
nível da conversão dos resultados de natureza
intangível que as dificuldades se acentuam. Transfor- Regra geral, tem o seu início com a análise do con-
mar em valor monetário benefícios decorrentes da texto de implementação do programa. O avaliador
formação, tais como aquisição de novas compe- procura nesta fase:
tências (capacidade de resolução de problemas,
capacidade de resolução de conflitos, etc.), aumento compreender a política e estratégia formativa
da autonomia dos colaboradores, reforço do clima existente,
organizacional, etc... nem sempre é tarefa fácil. O analisar os resultados de diagnósticos de ne-
estabelecimento de indicadores de medida precisos cessidades de formação efectuados, designa-
18
As questões associadas quer à conversão dos resultados em valor monetário, quer a problemática do isolamento dos
efeitos da formação serão analisadas, pela sua complexidade, em documento próprio.
19
As actividades associadas a cada uma fases descritas podem ser realizadas, quer pelo avaliador quer pelos vários
“stakeholders” em presença. Encarado como verdadeiro facilitador, o avaliador deverá centrar a sua atenção nas condições
necessárias à implementação de eventuais abordagens de avaliação. As actividades descritas poderão ser realizadas pelos
restantes actores envolvidos no processo de aprovação e concepção do programa formativo, sempre que não seja possível
recorrer a um avaliador.
Pág 067
Colecção Avaliação Avaliação da Formação
damente os problemas e as causas que exigem analisa coerência entre características do pro-
o desenvolvimento de planos de acção concre- grama e recursos a afectar;
tos; verifica a existência de sistemas de gestão de
identificar eventuais padrões de desempe- informação (de extrema utilidade aquando da
nho/proficiência, bem como existência de prá- fase de monitorização e aferição de eventuais
ticas bem sucedidas (existentes no interior ou impactes decorrentes da implementação do
no exterior da organização em análise); programa formativo);
analisar as razões que justificam a opção forma- verifica se foram considerados os resultados de
tiva (verifica em que medida a solução formativa práticas formativas anteriores (caso existam).
é a mais indicada para a situação a resolver, bem Procura detectar eventuais “culturas de apren-
como se a eficácia da mesma exige o desenvol- dizagem” no seio da organização em análise;
vimento de outras acções de natureza não for- verifica se se encontra prevista a aplicação de
mativa); eventuais procedimentos de auditoria e
analisar os métodos e as técnicas utilizados na controlo internos.
identificação e análise dos problemas a colmatar
pela via da formação; Este tipo de abordagem tem um objectivo
identificar os stakeholders a envolver no pro- essencialmente formativo. Em regra, o avaliador
cesso de avaliação; trabalha nesta fase em conjunto com o gestor da
aferir da possibilidade de realização de análises formação e/ou coordenador pedagógico da
custo-benefício, a montante da realização da intervenção formativa, por forma a que se sejam
formação. devidamente garantidas as condições necessárias à
realização da formação.
O avaliador pretende, pois, nesta fase, proporcionar
o máximo de informação possível a todos os indi- Numa terceira fase, a atenção do avaliador incide
víduos e/ou organizações a envolver na execução do sobre os objectivos a alcançar com a formação. Nes-
plano de formação. ta fase, o avaliador procura garantir a existência de
informação suficiente que suporte a realização de
Numa segunda fase, o avaliador focaliza a sua avaliações subsequentes, ou seja, procura verificar, à
atenção nas propostas formativas propriamente partida, se:20
ditas:
os objectivos foram claramente especificados
analisa a respectiva fundamentação, verificando (em particular no que toca a resultados a
se, na base das mesmas, se encontra um alcançar);
diagnóstico de necessidades de formação; foram aferidos níveis de desempenho/pro-
analisa estruturação de conteúdos progra- ficiência a alcançar (não só pelos clientes di-
máticos, aferindo adequação face a prioridades rectos da formação: os formandos, mas tam-
pré-estabelecidas; bém por outros actores tais como, formadores,
analisa coerência entre conteúdos programá- coordenadores...;
ticos e características do público-alvo a envol- foi reunido consenso relativamente a: (1) cri-
ver; térios e indicadores de avaliação a utilizar; (2)
20
Nesta fase o avaliador pode ter um papel fundamental ao nível da especificação dos objectivos pretendidos,
assim como na identificação de critérios e indicadores de avaliação concretos a aplicar ao projecto formativo em
causa.
inofor
momentos para aplicação de metodologias de (15) Avaliação externa
avaliação (em particular as avaliações de follow-
up), (3) condições para transferência de apren- Numa avaliação externa, o processo tem o seu início
dizagens adquiridas, (4) actores a implicar no com a compreensão dos objectivos da avaliação
processo de avaliação. pretendida. O avaliador responsabiliza-se, segui-
damente, pela orientação metodológica de todo o
processo, decidindo, autonomamente, acerca das
(14) Avaliação ex-post melhores estratégias de avaliação a aplicar.
Também designada avaliação final e avaliação de Autores, com experiência ao nível da aplicação deste
impactes (ver definição). Algumas das actividades tipo de avaliação, alertam para a necessidade de
que poderão contribuir para o apuramento de resul- serem desenvolvidas, ao longo da realização de uma
tados concretos, aquando da implementação deste avaliação externa, as articulações necessárias com os
tipo de avaliação são as seguintes: respectivos utilizadores finais, por forma a que os
mesmos possam vir a receber os resultados preten-
Analisar os resultados de avaliações intermédias. didos.
Identificar, a montante da realização da formação, as
condições que facilitam a transferência de aprendi- Defendem ainda uma efectiva articulação com even-
zagens para os contexto reais de trabalho. tuais avaliadores internos, que pode e deve ser efe-
Verificar em que medida esses contextos de trabalho ctuada sem prejuízo da isenção necessária exigida ao
necessitam dos saberes adquiridos/desenvolvidos avaliador externo. Neste caso, visa-se apenas ade-
pela formação. quar melhor a proposta avaliativa às necessidades
Calcular o tempo que medeia a aquisição/desen- dos indivíduos e/ou organizações que pretendem vir
volvimento de saberes e a respectiva transferência a utilizar os seus resultados.
para os contextos de trabalho.
Implementar planos de manutenção e/ou obser-
vação do desenvolvimento /aquisição de saberes, (16) Avaliação formativa
após a transferência dos mesmos para os contextos
de trabalho. No contexto de uma avaliação de natureza forma-
tiva, o formando é considerado o protagonista do
A determinação do tempo após o qual podem ser processo. Esta avaliação pode ser, neste caso,
avaliados os impactes de determinada acção for- operacionalizada da seguinte forma: auto-avaliações
mativa depende do tipo de objectivo de formação realizadas pelos formandos, avaliações dos mesmos
em presença. Implica que, aquando da fase da relativamente a determinadas características do
determinação de objectivos a obter com a formação, processo de aprendizagem, tais como, conteúdos
seja igualmente determinado o momento para programáticos, recursos e métodos pedagógicos,
verificação de concretização dos mesmos, ou seja, desempenho do formador, etc...
no curto, médio e/ou longo prazo.
O formador (ou outros indivíduos que contribuem,
ao longo do processo de aprendizagem, para o
Pág 069
Colecção Avaliação Avaliação da Formação
cumprimento dos objectivos de aprendizagem, tais Podem ainda ser-lhe incumbidas responsabilidades,
como, tutores, mediadores, animadores, coorde- tais como:
nadores pedagógicos, supervisores...), pode ser
igualmente chamados a pronunciar-se acerca do Garantir a organização e a gestão das fontes de in-
grau de consecução dos objectivos pedagógicos, formação.
bem como de eventuais aspectos a melhorar rela- Participar na fase do diagnóstico de necessidades de
tivamente a actividades pelas quais se responsa- formação (designadamente ao nível da definição de
bilizam. objectivos a atingir com um processo de avaliação).
Participar nas fases da concepção e implementação
Alguns agentes externos (ou seja, os não directa- de um processo avaliativo, assim como respectiva
mente implicados na realização da formação), po- produção de resultados (excepto no contexto de
dem também participar sempre que para tal sejam uma avaliação de carácter independente).
solicitados. Ex: No caso de formações dirigidas a Participar na fase da monitorização de eventuais
jovens com dificuldades específicas (ex; portadores sistemas de avaliação internos.
de deficiência), é comum auscultarem-se as res- Participar no âmbito de eventuais avaliações externas
pectivas famílias ao longo do processo formativo, já (ex: aquando da realização de auditorias externas),
que os objectivos de formação passam muitas vezes preparando a organização para a realização das
pela elevação da capacidade de socialização desses mesmas.
jovens. A articulação com as respectivas famílias Envolver e mobilizar os elementos internos à orga-
torna-se assim fundamental, já que poderão pronun- nização para a respectiva participação ao longo do
ciar-se acerca dos resultados alcançados até ao mo- processo avaliativo.
mento. Participar na fase da tomada de decisão (este aspecto
constituí um dos principais factores críticos de
sucesso de uma avaliação interna).
(17) Avaliação interna Participar na fase da implementação de eventuais
recomendações, analisando posteriormente os
Uma das principais funções de um avaliador interno é respectivos resultados.
a sensibilização e a mobilização dos restantes (...)
implicados no projecto formativo, para a respectiva
participação no processo de avaliação. Compete
ainda ao avaliador interno demonstrar a utilidade (18) Avaliação on-going
dessa avaliação para todos aqueles que nela venham
a participar. O termo on-going remete para a fase da execução da
formação, momento em que podem ser tomadas
Aquando da implementação de uma abordagem de decisões no sentido da melhoria da intervenção
avaliativa centrada na participação dos respectivos formativa que se encontra a decorrer. Aqui o con-
actores, um avaliador interno assume normalmente tributo de um avaliador será o de monitorar a qua-
um papel de facilitador, ou seja, assume responsa- lidade dessa intervenção formativa, contribuindo
bilidades ao nível da orientação metodológica do para o cumprimento dos objectivos pré-definidos.
processo avaliativo, visando a identificação das me-
lhores estratégias de avaliação a seguir.
inofor
As questões que norteiam este tipo de avaliação são para os gestores da formação, na medida em que
as seguintes: permite introduzir, de forma atempada, correcções
e/ou alterações no programa caso venham a ser
Em que medida o programa formativo satisfaz as necessárias.
necessidades da população para a qual está a ser
dirigido? para os formadores (monitores, tutores...) e for-
Em que medida o desenvolvimento dos conteúdos mandos, na medida em que possibilita aos mesmos
programáticos, bem como actividades de suporte, identificarem eventuais desvios face ao pré-esta-
estão de acordo com o pré-estabelecido? belecido, facilitando a apresentação de propostas
Em que medida nesta fase podem ser detectadas concretas de melhoria da acção em curso.
mudanças concretas ao nível dos comportamentos
dos participantes na acção formativa? Ao incidir nas actividades formativas propriamente
Em que medida os recursos mobilizados para a ditas, apresenta como principais objectivos:
formação estão a ser optimizados?
garantir que o estabelecido a montante da realização
É no contexto de uma avaliação on-going que podem da formação seja cumprido, exercendo aqui a sua
ser realizadas as designadas “avaliações rápidas”, função de controlo (implica levar em conta os resul-
sendo as avaliações de reacção um bom exemplo tados obtidos aquando da realização de uma ava-
deste tipo de prática. liação ex-ante);
Uma avaliação on-going pode produzir informa- identificar eventuais aspectos a melhorar, exercendo
ções relevantes para os seguintes stakeholders: aqui a sua função formativa;
garantir as condições que permitem a realização
para o avaliador, na medida em que os seus resul- eficaz de uma avaliação de resultados (pressupõe
tados o ajudam a interpretar os resultados de uma não perder de vista os resultados finais a alcançar
avaliação de impactes; permite que o mesmo con- com a formação articulação com a fase de avaliação
siga fornecer informações aos actores envolvidos na ex-post);
execução da acção, por forma a apoiar a respectiva fornecer indicadores de actividades de apoio à toma-
tomada de decisão; permite ainda que o mesmo se da de decisão dos implicados no processo.
pronuncie acerca das características do programa de
uma forma mais sustentada; À semelhança de uma avaliação ex-post, que exige
uma prévia identificação de níveis de desempe-
para os financiadores, na medida em que recebem, nho/proficiência a alcançar, também no contexto de
ao longo da execução do programa, informações uma avaliação on-going devem ser considerados
acerca de respectivas taxas de execução, grau de níveis de desempenho/proficiência a alcançar. Por
aceitação do programa pelos seus beneficiários exemplo, quando se diz que algo é “suficiente” ou “
directos, eventuais impactes entretanto produzidos, adequado”, deveríamos perguntar logo de seguida :
dificuldades encontradas ao longo da execução do “suficiente” relativamente a quê?. Se estivermos a
programa, indicadores contabilístico-financeiros. falar de desempenhos realizados, deveríamos
Estas informações serão úteis aquando da decisão perguntar: o que nos leva a dizer que o desempenho
acerca da continuação, reestruturação ou é “adequado” ? Que padrões de desempenho foram
cancelamento do programa. pré-estabelecidos?
Pág 071
Colecção Avaliação Avaliação da Formação
(19) Avaliação qualitativa Pode ser realizada pela própria entidade que executa
o projecto de formação ou pode ser incumbida a
A escolha de abordagens de natureza qualitativa ou uma entidade externa. Embora existam autores que
quantitativa deve ser efectuada em função das ques- defendem que deva ser realizada por entidades
tões de avaliação em presença (ver definição de externas, assiste-se actualmente a novas correntes
“questões de avaliação”). que defendem uma abordagem mista, ou seja,
aconselham a participação/envolvimento de
Existem autores que preferem o desenvolvimento avaliadores internos ao processo, por forma a
deste tipo de avaliação em detrimento de aborda- garantir que os resultados da avaliação vão ao
gens de natureza quantitativa. Defende-se, todavia, encontro das necessidades e expectativas dos seus
que o ideal será sempre o recurso a métodos de utilizadores.
avaliação quer de natureza qualitativa quer de natu-
reza qualitativa, aplicados de acordo com as particu- No contexto de uma avaliação de aprendizagens,
laridades dos respectivos contextos de aplicação. assumindo um carácter classificativo e certificativo,
pode processar-se através da realização de testes,
Quando metodologias de natureza qualitativa são provas, trabalhos práticos, entre outros, que permi-
trianguladas (ver definição de triangulação) com tem medir o desempenho de determinado for-
metodologias de natureza quantitativa, o resultado é mando relativamente aos objectivos pedagógicos
normalmente uma maior satisfação dos seus pré-definidos, ou seja, aferição do respectivo grau de
utilizadores. aprendizagem.
inofor
(22) Avaliar a coerência de avaliação on-going. Pode, no entanto, ser igual-
mente aplicado num contexto de preparação de
Regra geral, trata-se de responder à seguinte ques- determinado projecto, designadamente ao nível da
tão: garantia das condições que facilitam a sua imple-
mentação.
Os módulos, os conteúdos programáticos, as
metodologias de aprendizagem, os formadores, os Para se poder avaliar a conformidade é necessário
horários, as cargas horárias, documentação, etc. que os requisitos, prescrições, procedimentos ou
foram seleccionados e organizados de forma inte- normas estejam devidamente especificados e comu-
grada e lógica tendo em conta os objectivos da for- nicados aos seus utilizadores em tempo útil.
mação?
No contexto da formação, verificar a conformidade
No contexto da empresa, verificar a coerência da de algo leva-nos a colocar questões, tais como:
formação leva-nos a colocar ainda outras questões,
tais como: Em que medida a actuação do coordenador pedagó-
gico se apresenta de acordo com o estabelecido ao
O plano de formação foi concebido de acordo com nível da respectiva descrição de funções?
o previsto no âmbito do plano estratégico da em- Em que medida estão a ser operacionalizados os
presa? princípios estabelecidos no manual de qualidade da
As competências profissionais a desenvolver pela formação?
formação foram identificadas de acordo com a Em que medida estão a ser seguidos os princípios de
gestão previsional existente, bem como com orientação relativos à gestão financeira do projecto
eventuais planos de investimentos? formativo?
A escolha das estruturas a mobilizar para a formação (...)
considerou os objectivos pedagógicos a desenvol-
ver?
Os projectos de formação consideraram as particu- (24) Avaliar a eficácia
laridades dos respectivos contextos de desenvolvi-
mento? A sua realização exige que a montante da execução
A escolha do tipo de novas tecnologias a utilizar no da formação, sejam claramente identificados os
âmbito do projecto formativo teve em conta o objectivos a alcançar com a formação. Implica a
domínio das mesmas por parte dos participantes na discussão acerca de eventuais critérios e indicadores
formação? de avaliação. O avaliador deve ser capaz de apoiar,
(...) sempre que possível, a construção de “bons” indi-
cadores, ou seja, que traduzam de forma rigorosa a
realidade que se pretende avaliar, assim como que
(23) Avaliar a conformidade sejam úteis para os respectivos utilizadores (significa
que possam ser utilizados no âmbito da respectiva
Considerando os respectivos objectivos, sugere-se a tomada de decisão). Um dos obstáculos à aferição da
aplicação deste critério de avaliação num contexto eficácia de um projecto prende-se, pois, com a não
concretização desses critérios e indicadores a avaliar.
Pág 073
Colecção Avaliação Avaliação da Formação
inofor
A preparação dos agentes de formação envolvidos Os objectivos definidos para o curso são os mais
no projecto de formação (em particular os forman- adequados, considerando as necessidades pré-iden-
dos) foi realizada atempadamente? tificadas?
Os comportamentos e resultados verificados aquan- De entre as estratégias pedagógicas possíveis, as
do da transferência de aprendizagens adquiridas, escolhidas são as mais adequadas?
bem como os impactes ao nível do todo organiza- (...)
cional foram atingidos no momento certo?
(...)
(28) Avaliar a utilidade
Na prática, trata-se de garantir que as necessidades Verificar a utilidade da formação leva-nos a colocar
manifestadas pelos vários stakeholders envolvidos, questões, tais como:
directa ou indirectamente, no projecto formativo,
sejam efectivamente consideradas. Em que medida a formação desenvolvida propor-
cionou efectivo valor acrescentado aos indivídu-
Neste sentido, a aplicação deste critério exige que os/organizações que nela participaram (por exem-
sejam tidos em conta os objectivos definidos nos plo, uma determinada promoção, a criação de rique-
vários níveis. Por exemplo: objectivos globais ou za por parte de uma organização...?
estratégicos, gerais, específicos e/ou operacionais Em que medida os beneficiários directos do projecto
(implica, regra geral, a construção de uma árvore de formativo (formandos) estão satisfeitos com os resul-
objectivos que permita identificar, com toda a tados e impactes da formação?
clareza, as articulações existentes entre os vários Em que medida as chefias directas viram solucio-
stakeholders de um projecto. nados os problemas que deram origem ao pedido de
formação?
Os resultados deste tipo de exercício assumem (...)
particular importância numa fase em que se pretenda
identificar eventuais cadeias de impactes, decorren-
tes do desenvolvimento de determinada interven- (29) Ciclo de formação
ção formativa).
Desenvolver um projecto de formação assente
Verificar a pertinência da formação leva-nos a colo- numa lógica sistémica passa, essencialmente, pela
car questões, tais como: identificação dos inputs e outputs relativos a cada
uma das fases do ciclo da formação, o que permite
Existe correspondência entre objectivos de forma- criar e manter, de forma permanente e atempada, os
ção e necessidades organizacionais a colmatar? fluxos necessários de informação inter-fases, asso-
ciadas a determinado ciclo formativo.
Pág 075
Colecção Avaliação Avaliação da Formação
inofor
c) A identificação de competências específicas, asso- g) Identificação de níveis de proficiência/desem-
ciadas às actividades de carácter mais operacional e, penho mínimos a alcançar. Estes mínimos são,
regra geral, associadas a determinado contexto de normalmente, definidos com base na identificação
trabalho. prévia de níveis de qualidade mínimos ou aceitáveis,
a garantir por parte dos responsáveis por deter-
d) A identificação de competências-chave, associadas minado contexto de trabalho.
a determinadas áreas de negócio/funcionais da
organização, tais como: a área da qualidade, a área Neste caso a organização deverá ajustar eventuais
comercial e marketing, a área produtiva, etc... referenciais existentes, no sentido da construção do
seu próprio referencial no qual irá integrar um
e) Identificação de “níveis de proficiência”/ níveis de conjunto de competências específicas validadas e
desempenho desejado. Remete para a construção reconhecidas pelos vários intervenientes na cons-
de sistemas de monitorização de desenvolvimento trução do referencial a utilizar.
de competências. A elaboração de planos de
verificação de progresso face a níveis de profi- h) Identificação das condições necessárias à mobi-
ciência/desempenho a alcançar pode traduzir-se lização das competências pretendidas.
num instrumento eficaz ao nível do acompanha-
mento da evolução dessas competências. No exemplo que se apresenta, de seguida, verifica-
se apenas a identificação das competências estraté-
f) A validação dos referênciais de competências por gicas, seguida da identificação do respectivo “cluster”
indivíduos de reconhecida legitimidade e capacidade de saberes, que no caso que se apresenta, surgem
de intervenção nas matérias em discusão. como competências transversais21 a desenvolver por
todos os indivíduos da organização em análise.
21
“ O termo “transversal” traduz a presença simultânea em diferentes contextos de elementos similares e permite
incorporar características comuns a diferentes empregos”.... “Nesta perspectiva, a construção e/ou mobilização de
competências transversais potencia o percurso em espaços de evolução profissional segundo uma dupla lógica: (1) uma
lógica de fileira profissional no interior de uma mesma família (de empregos) e (2) uma lógica de mobilidade “transversal”
a outros domínios profissionais. “ In Gomes, J. (1999:7).
Pág 077
Focalização no cliente Identificar as expectativas e necessidades dos respectivos clientes (internos e externos)
Espirito de iniciativa Analisar as diversas situações de trabalho e tomar as decisões mais adequadas
Capacidade de planeamento
Promover e manter bons relacionamentos com os restantes colegas de trabalho
e organização
Capacidade
de auto-aprendizagem Desenvolver activamente as respectivas competências, transmitindo, sempre que possível,
e transmissão os conhecimentos adquiridos (quer formal quer informalmente)
de conhecimentos
Focalização no cliente Demonstrar um conhecimento profundo acerca das necessidades dos respectivos
clientes internos e externos
Responder atempadamente quer a clientes internos quer a clientes externos
Prestar um serviço personalizado a cada um dos respectivos clientes (internos e externos),
independentemente da respectiva cultura, género ou língua
Procurar exceder as expectativas dos respectivos clientes
Agir de forma cordial com clientes insatisfeitos
Agir de acordo com as diversas expectativas dos respectivos clientes
(...)
22
A identificação deste tipo de competência é efectuada, regra geral, com base na definição de objectivos estratégicos a
alcançar pela organização.
23
Elementos constitutivos da competência. A este conjunto de saberes surge normalmente a identificação das condições
para a respectiva mobilização (não referidas no exemplo apresentado).
inofor
Caso a organização decidisse pela importância de necessidades dos respectivos clientes internos e
uma observação mais aprofundada, relativamente a externos”.
cada um dos saberes poderia ainda vir a reflectir
acerca das acções inerentes à competência: “de- Daqui decorre que quanto maior for o detalhe em
monstrar conhecimentos profundos acerca das termos de competências a mobilizar, maior será o
rigor em termos de respectiva monitorização/a-
valiação.
Nível
cluster de competências competências a monitorar /avaliar de proficiência
a mobilizar24
desejado25
(...)
24
Ao conjunto de competências ditas “transversais” são normalmente associadas as competências específicas, inerentes a
cada contexto de trabalho em análise. Os modelos de avaliação incidem, regra geral, sobre o conjunto de competências,
transversais e específicas, associadas a cada contexto de trabalho (com maior enfoque ao nível das competências
específicas).
No exemplo apresentado, as competências estratégicas coincidem com as competências transversais a desenvolver.
Noutros contextos organizacionais tal poderá não acontecer. Neste último caso, a organização define, de acordo com a
estratégia de negócio pretendida, que investimento pretende vir a fazer no que toca a desenvolvimento de competências
dos respectivos colaboradores (estabelecimento de planos de gestão do respectivo capital de competências), e quais as
competências a valorizar e desenvolver , identificando e destacando as que se relacionam efectivamente com os respectivos
objectivos estratégicos.
25
Os níveis de proficiência a alcançar variam consoante as necessidades de cada organização. Tal como referido, Le Boterf
recorre a três níveis: principiante, confirmado e perito. Uma das questões que se coloca no que toca a análise dos níveis de
proficiência é a seguinte: que evidências deverão ser analisadas por forma a dizer que o indivíduo se encontra no nível A ou
B?
Pág 079
Colecção Avaliação Avaliação da Formação
Relativamente à avaliação das competências aqui a valiação para monitorização e verificação de pro-
apresentadas (de natureza estratégica), o modelo de gressos poderia ser, a título de exemplo, o seguinte:
Área funcional:
Titular:
26
Nota: A esta grelha de avaliação poderão ser associadas as competências específicas para igual avaliação.
inofor
Ponto 4: Detecta eventuais Recomendações:
oportunidades de negócio;
Maior articulação entre sector comercial e sector
Ponto 5: Antecipa de produção;
eventuais necessidades Verificação do grau de conhecimento que ambos
dos consumidores; os sectores apresentam acerca dos respectivos
objectivos e expectativa de resultados.
Ponto 6: Actualiza os Apuramento do nível de desconhecimento acerca
restantes colegas dos produtos e/ou serviços dos clientes, junto
das equipas de vendas com prestação aquém
Obs: Caso sejam do desejado.
identificadas Desenvolvimento de uma intervenção formativa,
“boas práticas”, para aquisição/desenvolvimento dos saberes abaixo
(tais como estratégias identificados.
bem sucedidas,
comportamentos não Saberes a adquirir e/ou desenvolver:
previstos mas com forte
impacte ao nível dos (Identificar o tipo de saber (saberes cognitivos,
resultados)deverão técnicos e ou/sociais/relacionais)
traduzir-se em novas
competências
Níveis de proficiência:
saberes específicos a mobilizar após a realização da ou não desses critérios. Por exemplo, poderá avaliar
formação) se o programa ou plano de formação foi ou não
Identificação do nível de competência detido no eficaz. Voltando ao exemplo da TEP, o avaliador pode
momento recorrer às seguintes categorias para a formulação
Identificação e análise de gaps existentes do seu juízo de valor:
Identificação do período de tempo a afectar ao pro-
cesso de aprendizagem que vise colmatar essas
necessidades
Elaboração de um contrato de aprendizagem assen- Intervalo TEP (%) Interpretação
te no conjunto de necessidades manifestadas pelos 0-24 Nada eficaz
vários intervenientes no processo de aprendizagem
25-49 Pouco eficaz
Acompanhamento do formando ao longo da
vigência de um contrato de formação no sentido de 50-74 Eficaz
o motivar e de lhe providenciar todo o apoio neces- 75-100 Muito eficaz
sário
inofor
Quando o avaliador possui mais do que um indica- No orçamento de uma família, como contabilizar os
dor por critério é usual existir uma ponderação de custos da decisão de inscrever um dos membros da
cada critério para formulação do juízo final. Con- família com 16 anos num curso de formação
tinuando o nosso exemplo, se a verificação de profissional de 2 anos na área das novas tecnologias ?
eficácia tivesse como únicos indicadores a TEP e o
GSf, o avaliador poderia adoptar a seguinte fórmula A maior parte das famílias, no seu processo de
para apoiar a sua avaliação: tomada de decisão, levaria em conta custos como as
propinas, custos de transporte, livros, material es-
Eficácia (%) = (TEP x 0,4) + (GSf x 0,6) colar, etc. No entanto, para além daqueles custos, a
contablização não estará correcta até ser consi-
Se o GSf tivesse sido (em média) 70%, teríamos o derado o custo de oportunidade daquela decisão
seguinte resultado: para a família: se, em vez da opção pela formação, a
família tivesse decidido pela entrada imediata do
Eficácia (%) = (79 x 0,4) + (70 x 0,6) jovem no mercado de trabalho, o dinheiro que este
Eficácia (%) = 31,6 + 42 teria oportunidade de ganhar a título de salário
Eficácia = 73,6 % poderia ter contribuído para reforçar o orçamento
familiar durante aqueles dois anos. Imaginemos que a
Teríamos, pois, o juízo final segundo o qual o plano família faria com que 50% do salário revertesse a
de formação teria sido eficaz (apesar de muito eficaz favor do orçamento comum; então o custo de
num dos indicadores). oportunidade inerente à opção pela formação
Este exemplo muito simples chama, no entanto, a profissional seria (para os 2 anos): Custo de
atenção para um aspecto muito importante: bastaria oportunidade = 2829 meses x salário médio mensal x
que a ponderação fosse inversa, para que o juízo de 50%
valor fosse também diferente:
O mesmo custo é também considerado por algumas
Eficácia (%) = (79 x 0,6) + (70 x 0,4) organizações, quando interessadas em comparar os
Eficácia (%) = 47,4 + 28 benefícios a obter com a formação e o custo relativo
Eficácia = 75,4 % à ausência do colaborador do respectivo posto de
trabalho.
A ponderação reflecte, pois, decisões tomadas pelo
avaliador que, desejavelmente, deverão traduzir as
necessidades dos diferentes “stakeholders”. (35) Diagnóstico
de necessidades de formação
29
24 meses mais 4 se usufruisse de subsídio de férias e Natal.
Pág 083
Colecção Avaliação Avaliação da Formação
sente ou do futuro, que na opinião dos responsáveis elaboração de um plano de formação, que se pre-
por essa identificação, podem ser colmatados pela tenda devidamente sustentado e melhor direccio-
via da formação. Não recorre a qualquer tipo de nado às necessidades dos públicos a envolver.
análise acerca da origem dos mesmos. Aqui se
incluem as chamadas checklists, que remetem para a Identificar, à partida, qual a postura da organização
selecção de um conjunto de áreas de formação (reactiva e/ou antecipatória), face à política formativa
específicas, com vista à elaboração de um plano de a seguir, traduz-se num procedimento essencial num
formação. contexto em que se pretendam aferir impactes
decorrentes de intervenções formativas desenvol-
O segundo, integrando o primeiro, destaca-se pelo vidas. Implica dar resposta às seguintes questões:
recurso a técnicas de análise de problemas visando a
identificação das respectivas causas. Destacam-se Qual a política formativa a seguir?
aqui, por exemplo, a aplicação de alguns métodos e Que resultados se esperam obter com a intervenção
técnicas específicos, tais como: a metodologia da formativa?
“árvore de problemas”, o diagrama de causa e efeito, Quando e como deverão ser aferidos e avaliados?...
o diagrama de Pareto, os grupos de discussão, a
análise swot, o brainstorming, o inquérito (entrevista De uma forma sucinta, apresentam-se, seguidamen-
e/ou questionário), a observação, etc... Este tipo de te, as etapas consideradas essenciais a desenvolver
análise proporcionará, ao contrário da abordagem no âmbito de um diagnóstico de necessidades de for-
anterior, um conjunto de informações essenciais à mação:30
30
São apresentadas apenas as etapas cruciais a considerar no âmbito de um diagnóstico de necessidades de formação (esta
nota metodológica prende-se essencialmente com as acções formativas dirigidas a activos empregados).
inofor
Etapas Questões criticas31
Este ponto assume particular relevância já que nem sempre são visíveis,
em muitos dos relatórios de diagnósticos realizados, as prioridades a seguir,
o que pode dificultar a tarefa de quem se incumbe, numa fase posterior,
pela elaboração de um eventual plano de acção.
31
São aqui apresentadas apenas as questões consideradas críticas quando consideradas as etapas referidas.
32
Ver definição de “Plano de formação”.
Pág 085
Colecção Avaliação Avaliação da Formação
Dadas a diversidade e especificidades dos contextos Relativamente à fase da disseminação dos resultados
de análise, sugere-se que as metodologias de diag- de uma avaliação, várias são as actividades a de-
nóstico de necessidades de formação sejam devida- senvolver, com fortes implicações ao nível da eficácia
mente ajustadas aos respectivos contextos de apli- dessa avaliação:
cação. Implica analisar com cuidado eventuais inqué-
ritos-padrão, já que o mesmo poderá negligenciar Identificação, a montante da realização da formação,
informação importante relativamente a determinado de todos os interessados nos resultados da avaliação
tipo de competências a desenvolver. Sempre que da formação (implica a identificação dos centros que
possível, torna-se, pois, preferível recorrer a méto- podem tomar decisões ao longo e depois da exe-
dos assentes em estudos de caso baseados na cara- cução do processo formativo, visando a sua melho-
cterização de desafios/problemas concretos. ria).
Estabelecimento de uma estratégia de disseminação
Devemos ter sempre presente que qualquer que de resultados (implica a apresentação dos mesmos
sejam os resultados obtidos devem satisfazer sempre junto dos respectivos implicados no processo
as necessidades de informação dos actores que dela formativo).
dependem. Aqui se destacam os seguintes actores: Devolução aos vários clientes da formação, da(s)
os responsáveis pelo planeamento e concepção da parte(s) que lhe(s) dize(m) directamente respeito
formação, os responsáveis pela execução da for- (implica a elaboração de relatórios “personalizados”
mação, bem como todos os que venham a assumir e adequados às diferentes expectativas em pre-
responsabilidades ao nível da avaliação das inter- sença). A elaboração de sumários executivos perso-
venções formativas (internos e/ou externos à orga- nalizados são um bom exemplo a seguir.
nização). Evitar que os resultados da avaliação (seja intermédia
ou final) sejam utilizados para fins distintos dos pré-
estabelecidos no plano de avaliação.
(36) Disseminação de resultados Garantir a utilização dos resultados produzidos,
sempre que tal seja possível (apelo à rentabilização
Os resultados podem ser disseminados ao longo da do tempo, esforço e dinheiro, a favor de uma maior
execução da formação (caso se trate de relatórios eficiência e eficácia da formação).
intermédios integrados num contexto de avaliação
formativa), ou no final da execução da formação
(caso se trate de uma avaliação final - de resultados e (37) Fidelidade
impactes-integrada num contexto de avaliação dos instrumentos de avaliação
sumativa).
Na disseminação de resultados obtidos com a Não podemos afirmar, em termos absolutos, que
avaliação podem ser realizadas sessões de sensi- um instrumento é sempre 100% fiável. Só após a
bilização/formação, eventos específicos tais como aplicação do mesmo se pode determinar, partindo
seminários, workshops, colóquios, publicações, dos seus resultados, que itens poderão ser apro-
etc... veitados. Esta é uma das várias razões pelas quais o
processo de testagem de um instrumento assume
particular importância.
inofor
(38) Garantia de qualidade a) O diagnóstico de necessidades de formação foi
correctamente efectuado, ou seja, identificou de
Se aplicarmos a definição referida ao contexto da forma rigorosa, quais as competências profissionais a
formação profissional, depressa verificamos que a desenvolver?
avaliação a efectuar tenderá a focalizar-se em dois b) Os resultados das análises de custo-benefício
aspectos fundamentais: (1) no valor acrescentado/ (realizadas previamente), permitiram efectuar as
/benefício produzido por determinado processo melhores opções? Foram consideradas outras alter-
formativo no seu todo (ou processos inerentes, tais nativas?
como diagnóstico de necessidades, concepção, c) As acções a desenvolver são pertinentes, opor-
implementação, etc...), e (2) no grau de en- tunas e propostas em conformidade com a estratégia
volvimento dos respectivos “clientes finais”, ou, para global da organização?
usar uma expressão mais utilizada no contexto da d) As soluções formativas são coerentes quando
formação, dos stakeholders implicados, directa e/ou consideradas as competências profissionais a de-
indirectamente no projecto formativo, ao nível da senvolver?
definição do produto/serviço pretendido. e) foram aplicados dispositivos de avaliação dia-
gnóstica por forma a identificar o nível de conhe-
A presença de uma multiplicidade de actores torna o cimentos de partida dos participantes nas acções
processo de avaliação em algo mais complexo, já que formativas?
teremos igualmente diferentes expectativas f) A selecção dos agentes a intervir na execução da
relativamente ao nível de qualidade a alcançar. Neste formação obedeceu a critérios de selecção e ava-
sentido, torna-se imprescíndível a prévia deter- liação explícitos?
minação do nível de qualidade desejado. Implica, g) O projecto formativo desenvolve-se (ou desen-
regra geral, o desenvolvimento de verdadeiros “pro- volveu-se) de forma eficiente?
cessos de negociação” interactores. h) foram criadas as condições necessárias ao
processo de transferência de saberes adqui-
Assumindo a formação profissional como um pro- ridos(desenvolvidos para os contextos reais de de-
cesso em si mesmo, diríamos que a noção de ga- sempenho?
rantia de qualidade será operacionalizada no con- i) O sistema de acompanhamento e avaliação da
texto de cada uma das fases de um determinado ciclo formação dá uma resposta concreta às várias
formativo. Neste sentido, os dispositivos de obser- necessidades de informação dos vários stakeholders
vação/avaliação serão aplicados à fase do diagnóstico em presença? Foram negociados e divulgados os
de necessidades de formação, planeamento, con- critérios e indicadores de avaliação a utilizar?
cepção e implementação e ainda sobre o próprio
sistema de acompanhamento e avaliação de re-
sultados (intermédios, finais e de impacte). (39) Gestão da formação
Existem, de facto, vários factores que quando pre- (40) Indicador de avaliação
sentes, podem favorecer a eficácia da mesma:
A sua compreensão passa pela identificação do cri-
a) clara definição dos papéis que cada um dos actores tério que lhe é inerente, uma vez que existe uma
deverá assumir aquando da implementação da clara relação de dependência dos indicadores de
política formativa. Neste sentido, a mesma deverá avaliação relativamente às características dos res-
assumir uma forma escrita, devendo ainda ser pectivos referentes. Implica que a determinação de
amplamente divulgada junto de todos os respon- indicadores válidos seja efectuada em função da
sáveis pela sua operacionalização; natureza dorealidade objecto de avaliação. Questão
b) o envolvimento da direcção da organização, em a colocar nesta fase: de querealidade objecto de
particular no que diz respeito à disponibilização de avaliação estamos a falar?
meios suficientes para a implementação da mesma,
assim como mobilização dos vários actores para a A fase da determinação de indicadores de avaliação
sua concretização; exige que, à partida, estejam reunidas determinadas
c) estreita articulação com as políticas de recursos condições que garantem o respectivo sucesso, a sa-
humanos existentes. Neste contexto, a gestão da ber:
formação, em particular quando direccionada para a
realização de necessidades de competências numa a clara identificação dosrealidade objecto de avalia-
perspectiva previsional/antecipatória, poderá ção, bem como respectivos critérios de avaliação;
assumir um papel essencial uma vez que estará, a demonstração da legitimidade dos actores que
paralelamente, a apoiar a gestão de competências escolhem e/ou definem os indicadores;
existente. a existência de coerência entre indicadores escolhi-
Neste sentido, uma actividade de natureza formativa dos, objectivos preconizados (ex: pela organização
nunca será um acto isolado, mas sim uma parte beneficiária da formação), avaliação realizada e utili-
integrante de um processo global de gestão e de zação de resultados.
desenvolvimento de recursos humanos. Uma das
funções de um sistema de avaliação da formação será Acrecente-se que a escolha do indicador a observar
aqui a de demonstrar em que medida a parte “for- condiciona, normalmente, a escolha do tipo de ins-
mação” contribuiu para o desenvolvimento desses trumento de avaliação a utilizar, pelo que se reforça a
recursos. ideia de que a escolha de eventuais instrumentos de
d) a sua implementação deverá estar ao serviço da avaliação deverá efectuar-se em função, fundamen-
concretização da hierarquia de objectivos da orga- talmente, dos critérios e indicadores a utilizar. Neste
nização (estratégicos, específicos (níveis intermé- último caso, importará distinguir de que tipo de indi-
dios) e operacionais). Este aspecto assume uma im- cador estamos a falar: indicadores hard (ex: taxas de
portância extrema quando considerado o contexto desperdícios, número de reclamações, número de
da avaliação da formação, já que sempre que se peças produzidas...) ou soft (ex: indices de satisfação
desejar aferir eventuais impactes da formação ao do cliente, índices de turnover, graus motivacio-
nível do todo organizacional, torna-se necessário nais...)
compreender a “cadeia de objectivos” da própria
organização.
inofor
(41) Inputs de avaliação os referentes de partida;
os responsáveis pela determinação desses refe-
Devemos ter sempre presente que as “saídas ou rentes (trata-se de saber se os potenciais avaliados
outputs” de cada uma das fases de um ciclo for- “reconhecem” direitos aos que assumem essa res-
mativo, podem constituir as “entradas ou inputs” das ponsabilidade, ou seja, se lhe é reconhecida legitimi-
fases subsequentes, significa, por exemplo, que os dade para o fazer);
resultados de um processo de avaliação, serão os critérios de avaliação a utilizar;
eventualmente considerados inputs ou fontes de os responsáveis pela formulação dos juízos de valor
informação de um diagnóstico de necessidades de (trata-se de saber quem pode fazer um juízo de valor
formação. sobre a realidade avaliada);
os destinatários dos resultados da avaliação;
as formas adequadas para a devolução dos resul-
(42) Juízo de valor tados aos “avaliados”.
Para que a formulação de juízos de valor ocorra, Na presença de resultados não previstos, o avaliador
algumas das questões a colocar antes de realizar deverá aferir o respectivo grau de importância junto
qualquer avaliação, é a seguinte: o que é esperado da dos actores implicados (directa e/ou indirectamente)
parte de quem vai ser avaliado? Foram claramente no processo e estabilizar, com os mesmos, eventuais
divulgados os critérios a utilizar na avaliação a padrões de referência que permitam elaborar os
realizar? Os avaliados receberam orientações claras juízos de valor pretendidos.
acerca da melhor forma para produzirem os resul-
tados desejados? Num contexto de aprendizagem em que se procura
desenvolver saberes de natureza cognitiva, socio-
Note-se que quanto maior for a riqueza e variedade afectiva e/ou psicomotora, a formulação de even-
dos dados obtidos, melhor será a fundamentação tuais juízos de valor decorrentes de avaliações
dos juízos de valor. Pressupõe a utilização de uma efectuadas poderá considerar estas três realidades
ampla gama de instrumentos de recolha de infor- ou apenas uma parte. Neste último caso sugere-se
mação (ver definição de triangulação). que seja distinguida claramente a parte objecto-alvo
de avaliação. Na formulação de juízos de valor
Será sempre aconselhável que um juízo de valor sugere-se, ainda, que sejam consideradas eventuais
comporte uma indicação sobre o(s) referente(s) ponderações relativamente a alguns critérios de
relativamente ao qual é feito. avaliação aplicados (ver definição de “critério de
avaliação”).
A máxima transparência ao nível da formulação de
juízos de valor resulta numa maior aceitação e
credibilidade do processo avaliativo, quer por parte (43) Meta-avaliação
dos destinatários da avaliação quer por parte dos
utilizadores dos seus resultados. Implica que a mon- O desenvolvimento de práticas de meta-avaliação
tante sejam identificado(a)s e dado(a)s a conhecer: pode contribuir de forma significativa para uma maior
adequação dos modelos de avaliação utilizados, bem
Pág 89
Colecção Avaliação Avaliação da Formação
como para uma maior sofisticação e rigor dos mes- sultores independentes, com competências nesta
mos. Pode ainda contribuir para a criação e institu- matéria, já que a meta-avaliação faz apelo a um con-
cionalização gradual de uma cultura de avaliação em junto de competências muito específicas, muito difícil
favor de um efectivo reforço da imagem da própria de encontrar na generalidade dos profissionais de
instituição que a realiza. formação. Não se tratará, pois, de exigir este tipo de
capacidades a todos os que assumem, de uma
Numa meta-avaliação podem ser considerados os maneira geral, responsabilidades ao nível do desen-
seguintes aspectos33: volvimento de práticas de avaliação.
33
Observação: A esta lista de aspectos podem ser acrescentados outros sempre que tal seja desejado pelo utilizador final
dos resultados.
inofor
(46) Objectivo Qual a “extensão” do objectivo? específico? Opera-
de aprendizagem (pedagógicos) cional? intermédio? Global?
Os objectivos estão hierarquizados? Existem prece-
Para além da “mecânica” da construção dos obje- dências?
ctivos de aprendizagem devemos olhar para a sua Estão definidos os pré-requisitos necessários à aqui-
pertinência, validade e legitimidade, isto é: porquê sição de determinado objectivo?
aquele objectivo, como se chegou a ele e quem Como e quando vai ser verificado se o objectivo foi
determinou que aquele conteúdo deve ser um obje- ou não atingido?
ctivo?
Considera-se, normalmente, que um objectivo de
Torna-se mais difícil a definição de objectivos de aprendizagem bem definido é “meia - formação”
aprendizagem em actividades humanas muito com- preparada.
plexas e que habitualmente integram competências De facto, um objectivo é alcançado quando a pessoa
e conhecimentos tácitos (p. ex. liderança e gestão) concretiza o desempenho aí determinado, dentro
ou em contextos de trabalho em que os processos das condições e critérios definidos e demonstra
se apresentam indeterminados. Normalmente as capacidade de transferir e adequar, com
organizações que trabalham com objectivos de propriedade, essas “aquisições” para outros contex-
aprendizagem transparentes revelam uma orga- tos de trabalho/aprendizagem.
nização de processos de trabalho também trans-
parentes, sendo o inverso igualmente verda-deiro. Um exemplo da aplicação da estrutura “triplo C”
poderá ser o seguinte:
Recomenda-se que o profissional de formação sub-
meta os objectivos de aprendizagem que discutiu/a- No final da sessão/intervenção formativa, o forman-
nalisou aos seguintes verificadores: do deve ser capaz de:
De que ponto de vista está redigido o objectivo? Do Elaborar um relatório técnico de acordo com as
formador ou do formando? especificações existentes (a formulação de um obje-
São claras as características e necessidades de quem ctivo de aprendizagem pressupõe a utilização de
vai alcançar o objectivo? verbos de acção);
É respeitada a estrutura do “triplo C”?
Os comportamentos, as condições e os níveis de Após a identificação do tipo de saber a mobilizar,
performance desejados presentes no objectivo importa identificar as condições necessárias à realiza-
traduzem a realidade profissional? ção da acção pretendida:
As capacidade implícitas no objectivo podem ser
demonstradas/desenvolvidas durante a aprendiza- Elaborar um relatório técnico de acordo com as
gem? especificações existentes, utilizando para o efeito o
As formas de organização da formação previstas (p. software X (a identificação das condições para
ex. formação em sala, em contexto de trabalho, a realização da acção pretendida assume uma im-
distância, etc.) são coerentes com a natureza dos portância crucial aquando da realização de uma
objectivos? avaliação da tranferência de aprendizagens para
determinado contexto de desempenho.
Pág 091
Colecção Avaliação Avaliação da Formação
34
As questões referidas deverão ser colocadas a montante da realização de qualquer processo de avaliação da formação.
inofor
Objectivos da avaliação (O quer se pretende alcan- Técnicas e instrumentos a aplicar (Como vão ser
çar com a avaliação?) recolhidos os dados?)
Âmbito e dimensões a avaliar (O que se pretende Recursos materiais a mobilizar (Que recursos po-
avaliar? Que questões de avaliação deverão nortear a dem ser disponibilizados?)
abordagem de avaliação?) Análise de dados e apresentação de resultados (Co-
Fontes de informação disponíveis (Que referentes mo vão ser analisados os dados? Como vão ser apre-
de partida existem? A que fontes de informação pre- sentados os resultados?)
tendo recorrer?) Resultados a apresentar (O que deve ser o produto
Metodologias de avaliação a desenvolver (Que tipo final da avaliação?)
de abordagem de avaliação vai ser implementada? Divulgação de resultados (Junto de que centros de
Uma abordagem participativa, independente....? decisão devo disseminar os resultados? Como vai ser
Responsável pela orientação metodológica do realizada essa disseminação?)
processo de avaliação (Quem orienta o processo?) Datas de realização (Em que momentos se vai reali-
Intervenientes a mobilizar para o processo e respe- zar a avaliação?)
ctivas estratégias de envolvimento (Quem deve par- Custos a afectar (Que recursos financeiros terei que
ticipar no processo? Que responsabilidades deverão mobilizar para o projecto?)
assumir?)
A título de exemplo, apresenta-se de seguida, uma
grelha de suporte ao planeamento de um processo
de avaliação:
Identificação dos objectivos para cada um dos momentos de avaliação a desenvolver
Avaliação on-going:
Avaliação ex-post:
Que questões
de avaliação
O que se pretende deverei efectuar
Que indicadores Que actores deverei
avaliar? (pretende-se para cada um dos
de avaliação poderei implicar no processo Quando deverei Como deverei
Momentos que sejam objectos/dimensões Que instrumentos Quem deve receber
estabelecer para cada e a que estratégias, aplicar apresentar
de avaliação identificados os a avaliar ( estas de avaliação poderei os resultados
um dos critérios para respectivo os instrumentos os resultados
“objectos” / questões permitem utilizar? avaliativos?
identificados? envolvimento, de avaliação? da avaliação?
dimensões identificar com
poderei recorrer?
a avaliar) facilidade quais os
critérios de avaliação
a utilizar)
É um documento cuja elaboração é feita normal- Sugere-se ainda que sejam equacionadas antes de
mente pelo responsável da formação da empre- qualquer decisão acerca do tipo de métodos e técni-
sa/instituição e contempla, regra geral, os seguintes cas de avaliação a aplicar.
aspectos:
As questões de avaliação podem agrupar-se de acor-
a política formativa a seguir; do com aspectos específicos a observar, designa-
a caracterização do ponto de partida (fonte de infor- damente:
Pág 095
Colecção Avaliação Avaliação da Formação
Questões relacionadas
com o desenvolvimento/execução da formação.
Foram reunidas as condições necessárias à realização da formação
Remete para a análise das condições a garantir pretendida?
a montante e ao longo da implementação da acção. Que perfil de formador/monitor/tutor... se afigura adequado
Ex: fase da selecção e preparação dos agentes para a consecução dos objectivos pedagógicos propostos?
a mobilizar para a realização da formação: Em que medida os objectivos de aprendizagem estão a ser
formadores, monitores, tutores.... mobilização ou foram alcançados?
de recursos materiais adequados, etc. Trata, regra O desempenho do formador corresponde ao desejado?...
geral, das questões relacionadas com uma avaliação
que incide sobre o processo formativo.
Questões relacionadas com os resultados finais
a obter (outcomes).
Foram verificados os impactes desejados (ao nível do desempenho
Remete para uma análise que incide sobre do indivíduo, da organização e/ou da comunidade no qual aqueles
os objectivos de aprendizagem e, eventualmente, se inserem)?
finais (perspectiva da organização), assim como, Foram detectados impactes não previstos?....
identificação de respectivos critérios e indicadores
de avaliação.
Remete para a realização de análises custo-benefício Ou, ainda, quando posicionados no pós formação:
a montante e a jusante da realização da formação.
“Os recursos materiais foram suficientemente optimizados?”
“Os “resultados líquidos” do programa (ver definição de ROI
e Análise Custo-Benefício) justificam os investimentos efectuados?...
inofor
(50) Recomendações Elaborar recomendações claras e precisas. Implica
que as mensagens sejam suficientemente explícitas
Quando elaboradas “à pressa” podem pôr em causa por forma a serem compreendidas numa primeira
as actividades de avaliação anteriormente desen- leitura pelos respectivos utilizadores.
volvidas, pelo que deverá ser dedicado tempo sufici- Identificar a forma mais adequada para a apresen-
ente para a sua feitura. tação das recomendações. Implica aferir, por exem-
Por forma a serem úteis, deverão chegar junto dos plo, as implicações políticas associadas a cada uma
seus destinatários em tempo oportuno, conside- das recomendações efectuadas e eventuais reacções
rando a respectiva necessidade de tomada de deci- dos respectivos utilizadores. O envolvimento dos
são. interessados nos assuntos mais problemáticos, ao
longo da respectiva análise, pode atenuar eventuais
Por forma a garantir a utilidade e consequente apro- reacções aquando da apresentação dos relatórios
priação das recomendações elaboradas, sugere-se finais de avaliação.
que sejam realizadas as seguintes actividades (basea- Dedicar tempo suficiente para a elaboração das
do em Patton 1996): recomendações. Facilita uma maior reflexão acerca
dos resultados obtidos, bem como a realização de
Negociar, com os diversos centros de decisão, a eventuais reuniões com os seus potenciais utiliza-
natureza e o conteúdo de um relatório final. dores;
Elaborar as recomendações com base nas infor- Delinear estratégias que possibilitem a execução das
mações que decorreram da análise de dados recolhi- recomendações efectuadas. Não raras vezes, são
dos no terreno. realizadas sessões de apresentação de resultados,
Destacar, de entre o conjunto de recomendações a elaborados sumários executivos dirigidos a cada um
apresentar, as recomendações relativas a assuntos dos centros de decisão em causa, entre outros. É
centrais. aconselhável que, sempre que possível, o avaliador
Considerar as preferências dos seus potenciais utili- demonstre, nesta fase, total disponibilidade para
zadores. Pode ser solicitada pelos mesmos a apre- efectuar eventuais follow-ups, após a operacio-
sentação de várias alternativas de acção. Neste caso, nalização das medidas de acção propostas.
o avaliador poderá indicar vantagens e desvantagens
relativas a cada uma das propostas de acção, deixan-
do o respectivo cliente decidir acerca da acção mais (51) Referencial de avaliação
adequada.
Identificar (sempre que possível) os custos e bene- Num referencial devem constar todos os elementos
fícios implicados na execução de alguma recomen- que permitirão identificar as diferenças ou desvios
dação efectuada, bem como eventuais custos decor- relativamente a eventuais indicadores de resultados a
rentes da não execução das mesmas. alcançar.
Elaborar recomendações que estejam relacionadas
com o campo de intervenção dos respectivos utiliza- Na elaboração de um determinado referencial
dores. Importa evitar que os mesmos recebam re- torna-se essencial:
comendações sobre as quais não vão poder actu-
ar/decidir.
Pág 097
Colecção Avaliação Avaliação da Formação
validar as fontes de informação, assim como o tipo de Níveis de desempenho conseguidos em programas
informação a utilizar; formativos anteriormente desenvolvidos
garantir, por parte dos vários actores implicados no Resultados de uma amostra representativa dos pro-
processo, um grau de convergência adequado rela- gramas desenvolvidos até à data
tivamente a critérios e indicadores a utilizar; Objectivos previstos para o programa formativo em
determinar os indicadores de avaliação a utilizar; análise
Níveis de desempenho já alcançados por cada um
Em termos de resultados, deve permitir dar resposta dos participantes (auto-referência)
às seguintes questões (enumeram-se apenas as prin- Padrões de desempenho estabelecidos por orga-
cipais): nizações externas (ex: instituídos no contexto de au-
ditoria externas)
Que tipo de resultados se pretende obter com a Resultados obtidos pela concorrência
intervenção de avaliação? Níveis mínimos de actuação de cumprimento obri-
Quais os elementos/objectos alvo de estudo signi- gatório (ex: requisitos mínimos de sistemas de certifi-
ficativos a considerar no processo de avaliação? cação/acreditação...)
Que referentes serão utilizados (por ex: que critérios Padrões/níveis de desempenho de referência (a al-
e indicadores de avaliação serão utilizados?) cançar no curto, médio e/ou longo prazos)
O que permite concluir que este ou aquele resultado Resultados a alcançar, estabelecidos pelos vários
é “bom” ou “mau”? actores em presença
(...)
(53) Referente
(54) Relatório de avaliação
Para avaliar torna-se, pois, imprescindível que se
conheça bem o que se vai avaliar e que se utilizem, A título de exemplo, apresenta-se uma estruturação
por exemplo, critérios e indicadores precisos. Estes de um relatório final, baseada nos trabalhos de
deverão ser claramente identificados no sistema de Weiss, C.H., a saber:
referência a utilizar.
inofor
Questões de avaliação abordadas
Breve descrição do plano de formação (enfoque ao nível dos objectivos a alcançar)
Principais conclusões da avaliação (apresentadas por nível de avaliação)
1.Sumário Executivo
Descrição sumárias das “descobertas” de avaliação mais importantes
Recomendações diferenciadas dirigidas a cada tipo de stakeholder envolvido
Estratégias para disseminação de resultados
Finalidades e objectivos
Plano original de actividades
2. Descrição do Plano Actividades (realmente) desenvolvidas durante o plano de formação
de Formação Características do contexto no qual foi implementado
Stakeholders envolvidos (directa ou indirectamente) no projecto formativo
Indivíduos e/ou organizações interessados nos resultados da avaliação.
Questões-chave de avaliação
Condução da avaliação
Elaboração do modelo de avaliação
Período de tempo para respectiva aplicação
Métodos de recolha de dados (justificação de opções metodológicas)
Métodos utilizados na análise da informação (resumo, em detalhe nos anexos)
Papel do avaliador
Papel dos actores envolvidos no processo avaliativo
3. Descrição da avaliação
Resultados produzidos
Descobertas mais relevantes (associadas às necessidades de informação dos
respectivos “stakeholders”)
Limitações do estudo efectuado (identificação de eventuais dificuldades na
concretização dos objectivos da avaliação).
Conclusões
Interpretação de resultados (formulação de juízos de valor)
Elaboração de recomendações
5. Sugestões para avaliações
Enfoque nos aspectos a melhorar em futuros processos de avaliação.
futuras (opcional)
Este ponto assume extrema importância, já que permite efectuar um reconhecimento
6. Agradecimentos formal acerca da participação/envolvimento de todos aqueles que permitiram a
realização da formação. Este aspecto é ainda mais importante no contexto de
avaliações de natureza participativa.
Alguns dos factores críticos associados à apresen- (56) Sistema de gestão de informação
tação de relatórios de avaliação são os seguintes:
As vantagens decorrentes da concepção e imple-
Elaboração de sumários executivos mentação de um sistema de gestão de informação
Apresentações suportadas em esquemas, gráficos (SGI), no domínio da formação, são, fundamental-
ilustrativos da realidade observada, que permita uma mente, as seguintes:
fácil e rápida leitura dos resultados obtidos
Identificação de tendências/cenários futuros Permite a auto-avaliação da estrutura responsável
Identificação de múltiplas estratégias de dissemina- pela realização das actividades formativas
ção de resultados, de acordo com a realidade de Facilita a monitorização da execução das actividades
cada um dos stakeholders de um plano de formação (em paticular as relativas à
Apresentação de recomendações que sejam fáceis execução do mesmo), disponibilizando informações
de operacionalizar que permitem (entre outros): elaborar , em tempo
Discurso construtivo e pedagógico oportuno, relatórios acerca da satisfação dos clientes
de uma intervenção formativa; elevar o grau de
É importante e indispensável a elaboração de um ou participação dos actores implicados na formação;
mais Sumários Executivos com as principais conclu- analisar determinados indicadores de actividade;
sões do trabalho de avaliação e recomendações aos identificar eventuais incidentes críticos; comparar
respectivos utilizadores. Sugere-se que seja estru- resultados de anteriores intervenções formativas;
turado por forma a facilitar a eventual tomada de controlar de uma forma mais eficaz os custos do
decisões (ver definição de “recomendações”). programa, etc.
Quando eficazmente concebido permite a gestão
integrada de um processo formativo
(55) Resultado da avaliação (...)
Existe um conjunto de factores críticos que pode A sua construção implica que sejam desenvolvidas as
contribuir para um maior ou menor uso dos resul- seguintes actividades:
tados de uma avaliação, a saber:
Identificação das actividades, acerca das quais o
A relevância da informação obtida sistema deve produzir informações
O nível de comunicação existente entre avaliadores Identificação da natureza e do tipo de informação
e utilizadores dos resultados consideradas relevantes
A utilidade dos resultados no contexto da tomada de Identificação dos momentos e métodos de recolha
decisão dos seus utilizadores de dados
Envolvimento e participação dos utilizadores no pro- Produção de informação útil, do ponto de vista dos
cesso avaliativo respectivos utilizadores
Divulgação da informação útil junto das partes inte-
ressadas
inofor
Sugere-se que estas actividades sejam realizadas Trata-se de identificar todos os indivíduos e/ou en-
quer por parte da entidade que realiza formação tidades a quem serão devolvidos os resultados ava-
quer por parte da entidade que se responsabiliza liativos, por forma a suportar a respectiva tomada de
pela integração dos respectivos colaboradores após decisão com vista à melhoria do projecto formativo
a realização da formação. em curso e/ou de intervenções futuras.
Um sistema de gestão de informação poderá, por Algumas das etapas a seguir quando conhecidos os
um lado, apoiar uma entidade formadora no con- stakeholders envolvidos num determinado projecto,
texto da implementação de um sistema específico podem ser as seguintes:
que garanta a qualidade das suas intervenções e, por
outro, quando concebido pela entidade beneficiária Definir estratégias de envolvimento dos mesmos no
da formação, tenderá a focalizar-se, sobretudo, nos projecto formativo que se pretende realizar (um dos
resultados decorrentes da transferência de saberes momentos propícios para o fazer é a fase do
adquiridos para os contextos reais de desempenho, diagnóstico de necessidades de formação)
assim como respectivos impactes, quer ao nível da Garantir o seu envolvimento durante a realização da
melhoria da performance dos indivíduos quer da formação (poderão dar “pistas” que conduzam a
respectiva área funcional quer, ainda, da organização alterações no programa numa óptica de adequação
no seu todo. permanente do mesmo)
Envolver os stakeholders chave do processo nas
fases da construção do referencial de avaliação, da
(57) Stakeholder validação de dimensões a avaliar e da elaboração de
relatórios finais de avaliação, designadamente ao
Destaque-se que, dos 9 stakeholders apresentados, nível da validação dos resultados obtidos. Esta
nem todos apresentam o mesmo nível de impor- validação é fundamental para garantir a utilidade da
tância para quem tem a responsabilidade de con- avaliação, isto é, para aumentar a probabilidade do
duzir a avaliação. Por exemplo, os stakeholders seu uso no âmbito dos respectivos processos de
identificados em (8) e (9) serão apenas informados tomada de decisão. Para que este envolvimento seja
dos resultados, não contribuindo, regra geral, para a real, devem ser efectuadas (sempre que possível)
avaliação em si mesma. Caberá, pois, ao avaliador reuniões com os mesmos
identificar os stakeholders-chave a mobilizar para o Estabelecer canais de comunicação eficazes que
processo (aqueles que exercem maior influência facilitem a eventual interacção entre os diferentes
sobre o processo de avaliação propriamente dito). stakeholders
No domínio da avaliação, a questão que permite a Por forma a identificar claramente o tipo de
identificação dos stakeholders é a seguinte: a quem stakeholder envolvido num projecto formativo, bem
podem ser úteis os resultados de uma avaliação? como a natureza do seu envolvimento, sugere-se
que seja utilizada a seguinte grelha:
Pág 101
Colecção Avaliação Avaliação da Formação
Questões de avaliação
que pretende Grau de envolvimento /
Stakeholder envolvido ver respondidas (relacionadas com responsabilidades no processo
a respectiva necessidade avaliativo
de informação)
inofor
A amostragem aleatória (também designada por Um exemplo da aplicação deste tipo de amostragem
amostragem probabilística) é um procedimento que são os inquéritos por telefone que visam determinar
garante que as unidades seleccionadas para avaliação níveis de audiência de determinados programas te-
sejam representativas da população de que foram levisivos.
extraídas. Não obstante ser considerado o método
mais caro, ganha em relação aos restantes, quanto à Amostragem estratificada. Obtém-se separando os
fiabilidade dos resultados obtidos. Os métodos mais elementos de uma população em grupos, mutu-
frequentemente utilizados são os seguintes: amente exclusivos35, denominados estratos, se-
leccionando-se a partir destes uma amostra aleatória
Amostragem aleatória simples. Cada elemento do simples dentro de cada estrato. A aplicação deste
universo a estudar tem a mesma probalibidade de método exige que se conheçam as características do
ser seleccionado. Existem duas formas que permi- universo em análise. Apresenta resultados mais
tem obter uma amostra deste tipo: a da lotaria e a eficientes quando se tratam de amostras de pequena
dos números aleatórios. dimensão e claramente representativas.
Amostragem sistemática. Método também desig- Amostragem por clusters. Aplicada em populações
nado por quasi-aleatório, uma vez que não per-mite que se encontram divididas em reduzidos números
que todos os elementos do universo em causa te- de grupos ou clusters, que apresentam uma dis-
nham a mesma probalibilidade de ocorrência. persão idêntica à população em análise. Numa
Etapas: primeira fase são seleccionados aleatoriamente
alguns grupos, incluindo-se posteriormente, na a-
a) Cálculo do rácio: mostra, todos os elementos pertencentes aos gru-
pos seleccionados.
N(dimensão do universo/população) Amostragem multi-etapas. Semelhante ao método
K=_______________________________ anterior anterior, no que se refere à respectiva
n(dimensão da amostra)
definição e etapas a desenvolver. Apenas se destaca o
facto do processo anteriormente descrito poder ser
Caso se defina que k=2 (significa que a dimensão da multiplicado, caso os grupos estejam subdivididos
amostra seria constituída por metade da dimensão em subgrupos, etc... (recurso à “estrutura em ár-
do universo em análise. Se K=20, então obteriamos vore”).
uma amostra de apenas 5% desse universo. Amostragem multifásica. Distingue-se da anterior
pelo facto das amostragens efectuadas em momen-
b) Seleccionar de forma aleatória um número tos distintos incidirem sobre as mesmas unidades
no intervalo [1,k], que servirá como ponto de amostrais. Ex: aplicação de um inquérito a uma
partida bem como de primeiro elemento da amostra específica. Após o apuramento dos res-
amostra. O segundo elemento será identificado pectivos dados decide-se retirar da mesma amostra
ao adicionar ao primeiro valor obtido o rácio K. uma outra à qual será aplicado um segundo inquérito
Os restantes elementos da amostra resultam (este procedimento pode repetir-se de acordo com
pela adição sucessiva do mesmo rácio aos nú- as necessidades de informação dos utilizadores dos
meros que se vão precedendo. respectivos resultados).
35
Significa que nenhum dos elementos da população pode estar simultaneamente presente em dois ou mais estratos.
Pág 103
Colecção Avaliação Avaliação da Formação
Na prática da avaliação da formação, em particular a nário, o avaliador pode optar pela escolha de outras
que incida sobre os efeitos da formação, surgem técnicas que reúnam maior aceitação.
muitos obstáculos ao recurso a uma amostragem
aleatória, que incida sobre um conjunto de colabo- Em contextos de claras restrições orçamentais, a
radores de uma empresa inseridos em planos de diversificação de métodos e de técnicas gera sempre
formação anuais ou pluri-anuais: maiores custos, pelo que os benefícios resultantes
poderão ser (aparentemente) insuficientes para jus-
muitos dos ex-formandos podem ter saído en- tificar o investimento. Nestes casos, o avaliador po-
tretanto da empresa em análise; derá ajuizar da suficiência ou insuficiência da aplicação
as chefias directas desses ex-formandos podem ter de um único método e demonstrar junto dos res-
assumido outras funções ou transitado para uma pectivos stakeholders a utilidade do uso da trian-
outra empresa; gulação (Implica responder a duas questões centrais:
os mesmos ex-formandos e respectivas chefias di- que tipo de decisões estão na base do pedido de
rectas estão envolvidos em vários cursos/acções de avaliação? Que resultados serão necessários obter
formação, podendo vir a ser seleccionados mais do para que essas decisões possam vir a ser tomadas?)
que uma vez para a avaliação da formação. Isto pode
levantar problemas no que diz respeito ao incómodo
causado às actividades produtivas da empresa, sendo (60) Validade dos instrumentos de avaliação
necessário cruzar este factor com o da representati-
vidade. Uma questão relacionada com a validade de con-
os formadores, sobretudo quando externos, podem teúdo pode ser a seguinte: em que medida um ins-
não estar disponíveis para participar na avaliação. trumento de avaliação, que pretenda aferir se os ob-
jectivos de aprendizagem foram efectivamente
Por forma a ultrapassar algumas destas questões, alcançados, produz informação relacionada com o
recomenda-se que sejam aferidas as características, objectivo da avaliação pretendido?
quer dos formandos, quer dos contextos a eles
associados, aquando da fase da identificação das res- Uma outra questão relacionada com a validade de
pectivas necessidades de formação. Algumas dessas um instrumento, pode ser a seguinte: o formando vai
características poderão ser igualmente aferidas ao ser avaliado relativamente ao conjunto de saberes
longo da realização da formação. adquiridos/aperfeiçoados pela via da formação ou vai
ser efectuada apenas uma a avaliação parcial (por
exemplo, que incida apenas sobre os saberes
(59) Triangulação relacionais/sociais adquiridos)?. Esta questão é
importante, já que, não raras vezes, acontece serem
Permite optar pelo método mais adequado a aplicar aplicados instrumentos de avaliação standard, que
a determinada situação em estudo. Nem sempre os não incidem sobre as competências - chave desen-
métodos aparentemente mais eficazes são os mais volvidas/adquiridas através da realização da for-
adequadas a determinado contexto. Por exemplo: mação, mas antes sobre aspectos generalistas de
num contexto em que se denote alguma saturação pouca importância para os seus beneficiários (ex:
relativamente à aplicação de inquéritos por questio- formandos, chefias...) quando considerados os
resultados da avaliação.
inofor
No contexto da avaliação da formação, uma preo- Existem várias formas de abordar a questão da
cupação frequente em relação à validade consiste validade de um instrumento. A ideal será sempre
em garantir, p.e., que um inquérito de nível 3 aquela que reúne maior consenso relativamente ao
(utilizando a terminologia de D. Kirkpatrick) consiga tipo de medida a utilizar, o que implica uma aus-
medir de facto as alterações nos comportamentos cultação junto dos actores envolvidos no processo.
causadas ou fortemente influenciadas pela formação.
Observações
Parte»»» 04
Sites e serviços
de apoio relacionados
com o domínio da avaliação
Sites e serviços
de apoio relacionados com o domínio da avaliação
As particularidades e exigências dos contextos de A divulgação desta informação faz apelo directo ao
aplicação da avaliação exigem, cada vez mais, a desenvolvimento de uma atitude proactiva, de auto-
identificação e aplicação de metodologias ajustadas conhecimento, e por conseguinte, de auto-
às necessidades de informação dos vários actores em aprendizagem, das entidades que pretendem
presença. O responsável pela gestão e imple- desenvolver e/ ou aperfeiçoar as suas práticas de
avaliação.
Pág 109
Colecção Avaliação Avaliação da Formação
inofor
Produtos Emerald. Base de dados que permite o acesso ime-
e serviços disponibilizados pelo INOFOR36 diato ao texto integral dos artigos da MCB Publishing
publicados desde 1994, nas áreas da Gestão, Admi-
FORMEI - Base de Dados de Formação, Educa- nistração, Produção, Qualidade, Ciências Docu-
ção, Emprego e Inovação. Trata-se de uma base de mentais e Engenharia. Destaque para os artigos rela-
dados que permite efectuar pesquisas relativas ao tivos ao diagnóstico de necessidades de formação e
domínio supracitado, por palavra(s) em: Título, avaliação da formação.
Autor, Colecção, Assunto, Resumo e Classificação
CRC, Palavras-chave (todos os campos) e ISBN ou Proquest. Recurso integrado a bases de dados de
ISSN. Permite ainda efectuar outras pesquisas de colecções electrónicas que contém milhões de
acordo com as necessidades dos respectivos artigos publicados em jornais e revistas científicas.
utilizadores. Esta base de dados pode ser consultada Através do INOFOR pode aceder às bases de dados
a partir de qualquer um dos terminais disponibiliza- ABI/Inform Research (orientada para a Economia,
dos ao público no espaço do CRC, ou remotamente Gestão e Gestão do Conhecimento em contextos
a partir da internet (www.inofor.pt). Esta base de organizacionais), Career and Technical Education
dados contém mais de 5000 registos bibliográficos, (vocacionada para a Formação Profissional, Avaliação
relativos a livros, periódicos, audiovisuais, documen- do Desempenho e Desenvolvimento da Carreira) e
tos electrónicos e recursos técnico - pedagógicos. As Education Complete (nas áreas do Ensino, Educação
referências correspondentes a documentos electró- e Formação). Através deste serviço podem ser
nicos de acesso remoto permitem a entrada imedia- consultadas cerca de 2500 publicações, entre as
ta nos respectivos textos integrais. quais se destacam as especilizadas no domínio da
avaliação.
EBSCO online. Serviço que disponibiliza o acesso a
textos integrais de artigos científicos publicados em OCDE. Biblioteca em linha da Organização para a
revistas e jornais electrónicos, através de diversas Cooperação e Desenvolvimento Económico, com
formas de pesquisa, bem como o acesso por título a um motor de busca que permite o acesso ao texto
uma série de publicações periódicas em linha assi- integral de monografias, periódicos e bases de dados
nados pelo INOFOR. Destaque para os jornais de estatísticas. Recomendam-se igualmente as refe-
electrónicos dedicados à temática da avaliação. rências relativas à área da avaliação.
36
Os produtos e serviços mencionados serão consultados ou requisitados a partir de terminais próprios (CRC do Inofor e
restantes CRC) mediante a utilização de uma password específica, com excepção da base de dados FORMEI. Podem ainda
ser solicitadas, junto dos centros referidos, pesquisas relativas a temáticas específicas. Para tal, basta enviar um email com
o respectivo pedido de informação para adalberto.barreto@inofor.gov.pt ou biblio@inofor.gov.pt.
Pág 111
Colecção Avaliação Avaliação da Formação
inofor
Observações
Pág 113
Colecção Avaliação Avaliação da Formação
inofor
GARLICK, P; DES KEMP (2001) - Return on LE BOTERF, G. (1999) - L'ingénierie des
investment (ROI), training model. Comunicação competences. Paris: Les Éditions d´Organisation.
apresentada na conferência “Best Practice Training
Evaluation (2001). Melbourne (Austrália), 2001. MAGER, R. F. (1997) - Preparing instructional
objectives: a critical tool in the development of
GEERTSHUIS, S. (et al.) (2002) - Evaluation of effective instruction. 3rd ed. Atlanta: Center for
workplace learning. Disponível na WWW:<URL: Effective Performance.
http://www.emerald-library.com>
MCCLELLAND, S. B. (1995) - Organizational
GOMES, J. (1999) - Contributos para uma needs assessment: design, facilitation and analysis.
cartografia das competências transversais: Westport: Quorum.
construção do real ou mito?. Lisboa: Inofor.
MEIGNANT, A. (1999) - A gestão da formação.
GUBA, E., LINCOLN, Y. (1989) - Fourth Lisboa: Publicações D.Quixote (*)
Generation Evaluation. Newbury Park: CA: Sage.
MOY, J. ; MAC DONALD, R. (2000) - Analysing
GUPTA, K. (1999) - A practical guide to needs enterprise returns on training. [ Em Linha]
assessment. San-Francisco: Jossey-Bass. .Disponível na WWW:<URL:
http://www.ncver.edu.au/research/proj/nr8012.pdf
HASHIM, J. (2001) - Training evaluation : clients' >
roles. Disponível na
WWW:<URL: http://www.emerald-library.com> PATTON , M. (1997) - Utilization-focused
evaluation, the new century text. 3rd ed.
KIRKPATRICK, D. (1998) - Another look at Thousand Oaks : Sage. (*)
evaluating training programs: fifty articles from
training & development and technical training PEREZ, C. (2001) - Évaluer les programmes
magazines cover the essentials of evaluation and d'emploi et de formation: l'experience américaine.
return-on-investment. Alexandria: ASTD (*) Paris : La documentation Française.
KNOWLES, M.S. (1995) - Designs for adult PETERSON, R. (1998) - Training needs
learning: practical resources, exercises and course assessment: meeting the training needs for quality
oulines from the father of adult learning. performance. 2nd ed. London: Kongan Page.
Alexandria, Virginia: ASTD.
PHILLIPS, J. J (1997) - Handbook of training
LE BOTERF, G. (1997) - De la competence à la evaluation and measurement methods. 3rd ed.
navigation professionelle. Paris: Les Éditions Houston: Gulf. (*)
d'Organisation (*)
Pág 115
Colecção Avaliação Avaliação da Formação
inofor
VAN DEN BERGHE, W. (1998) - Indicators in public sector programme. Disponível na
perspective: the use of quality indicators in WWW:<URL: http://www.emerald-library.com>
vocational education and training. Luxembourg:
Office for Official Publications of the European WEISS, C.H. (1997) - Evaluation. Prentice Hall.
Communities.
WOODS, J. ; CORTADA, J. (2000) - The 2000
WALL, A, ; OTTEWILL, R. (2000) - Delivering ASTD - Training and performance yearbook. New
contextual material on a vocational business and York: Mcgraw-Hill.
Ministério da Segurança
Social e do Trabalho
R. Soeiro Pereira Gomes, nº 7
Edifício América, 2º, sala 29
1600 - 196 LISBOA