ACTIVIDADE
B. (Leitura e Literacia)
Atenção: em cada Domínio/Sub-domínio não serão admitidos mais de 12 formandos, por isso
se um deles já tiver esse número de inscritos, terá de escolher outro.
O Plano deve incorporar informação e aspectos retirados dos vários documentos de consulta e
reflectir a natureza e conteúdo do Domínio/Sub-domínio escolhido.
d) Coloque o seu trabalho no fórum criado para o efeito, indicando no assunto do post as
duas referências dos dois Indicadores que escolheu.
Por exemplo:
- A.2.1., A.2.2., A.2.3., A.2.4. ou A.2.5, se escolheu o Subdomínio A.2.
- B.1., B.2. ou B.3, se escolheu o Domínio B
- C.1.1., C.1.2., C.1.3., C.1.4. ou C.1.5., se optou pelo Subdomínio C.1.
Bom trabalho!
As formadoras
O Modelo de Auto‐Avaliação das Bibliotecas Escolares: metodologias de
operacionalização (Parte I)
O texto desta Sessão pretende constituir‐se como uma espécie de guia para a auto‐avaliação
da biblioteca escolar no âmbito do novo Modelo de Auto‐Avaliação das Bibliotecas Escolares,
lançado pelo Gabinete RBE em 2008.
A sessão tem um carácter eminentemente prático, fazendo especial apelo ao conhecimento e
experiência dos professores‐bibliotecários já envolvidos ou a envolver na aplicação do modelo.
São objectivos da sessão:
• Compreender como é que a auto‐avaliação pode ser concretizada para demonstrar a
contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola.
• Ganhar familiaridade com o processo de auto‐avaliação adoptado pelo Modelo de Auto‐
avaliação RBE e capacitar para a sua aplicação.
• Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser
usados
A principal fonte de informação a utilizar será o próprio modelo, relativamente ao qual se
solicita uma leitura e análise aprofundada.
There are many tools and methods to use to evaluate school library media centers. It’s
important to identify the issue you want to address, identify the data you need to collect,
match the correct evaluative method to gather that data, analyze it, and report it to the
appropriate people. By following these steps, you’ll realize many benefits and potential
improvements to your program.
Everhart, Nancy. Evaluation of School Library Media Centers: demonstrating quality, Library
Media Connection, March, 2003
O Quê?
É cada vez mais importante que as bibliotecas escolares demonstrem o seu contributo para a
aprendizagem e o sucesso educativo das crianças e jovens que servem.
Referindo‐nos à avaliação das bibliotecas em geral, a abordagem mais tradicional tem sido a
de avaliar as bibliotecas em termos de inputs (instalações, equipamentos, financiamentos,
staff, colecções, etc.), processos (actividades e serviços) e outputs (visitas à biblioteca,
empréstimos, consultas do catálogo, pesquisas bibliográficas; respostas do serviço de
referência, materiais produzidos, etc. …), desenvolvendo formas de avaliação da qualidade dos
serviços e da sua performance de carácter eminentemente quantitativo e as mais das vezes
traduzidas em termos de custos e eficiência.
1
Medir os outcomes (Impactos) significa, no entanto, ir
Para a clarificação de conceitos e
mais além, no sentido de conhecer o benefício para os
compreensão das diferentes
utilizadores da sua interacção com a biblioteca. A
abordagens que a partir dos anos
qualidade não deriva nesta acepção, da biblioteca em si
80 foram forjando as diferentes
mesma ou do seu peso intrínseco, mas do valor tipologias e focus da avaliação
atribuído pelos utilizadores a esse benefício, traduzido (Gestão da Qualidade; Satisfaction
numa mudança de conhecimento, competências, Surveys; Normas ISO2789‐
atitudes, valores, níveis de sucesso, bem‐estar, inclusão, Estatísticas e ISO11620‐Indicadores
etc. de Performance, Evidence Based
Practice, e outros, pode ler o artigo
INPUTS → PROCESSOS → OUTPUTS →OUTCOMES de Luiza Melo, Estatísticas e
Avaliação da Qualidade e do
O modelo de auto‐avaliação das bibliotecas escolares Desempenho em Bibliotecas e
procurou orientar‐se sobretudo segundo uma filosofia Serviços de Informação
de avaliação baseada em outcomes e de natureza
essencialmente qualitativa, reflectindo a tendência
Para obter conhecimento sobre
geral das políticas educativas e de gestão e avaliação das medidas de impacto, pode
escolas, também elas fortemente orientadas para os consultar o artigo de Roswitha Poll
resultados. e Philip Payne: Impact Measures
for Libraries and Information
Services
Que Relação Com Outros Modelos de Avaliação?
Não existe um modelo institucional
Numa fase em que muitos avanços têm sido realizados para a auto‐avaliação das escolas.
relativamente à avaliação das escolas, ganha todo o Boa parte dos estabelecimentos de
sentido integrar nesse trabalho a avaliação das ensino recorreu ao Modelo de
bibliotecas, elegendo a sua auto‐avaliação como parte Excelência da EFQM (European
essencial da avaliação interna da escola e base para a Foundation for Quality
avaliação externa realizada pela Inspecção Geral de Management) e à Ferramenta CAF
(Common Assessement
Educação, fazendo uso desta avaliação externa como
Framework), construída para
forma de validação do processo de auto‐avaliação.
ajudar os diferentes sectores das
É, deste modo, conveniente tentar entrosar a avaliação administrações públicas da UE na
gestão da qualidade e melhoria de
da biblioteca o mais possível com o modelo de auto‐
desempenho. A sua estrutura
avaliação utilizado pela escola e com a avaliação
organiza‐se em nove Critérios:
externa da escola, desenvolvida segundo uma lógica cinco Critérios de Meios e quatro
própria, muito próxima às escolas, à educação e à Critérios de Resultados.
investigação em educação.
2
deve estar, deste modo, perfeitamente
O Modelo de Avaliação Externa das
contextualizado e ancorado na escola e no diálogo
Escolas utiliza um Quadro de
que a biblioteca tem de estabelecer com ela e com a
Referência baseado em cinco
comunidade, afastando‐se de uma concepção mais
Domínios. A Biblioteca Escolar é
fechada ou excessivamente centrada na avaliação de explicitamente referida no ponto 3.3.
desempenho e da satisfação dos utilizadores, “Gestão dos Recursos Materiais e
embora também faça necessariamente uso de alguns financeiros” do Domínio 3.
dos seus indicadores. “Organização e Gestão Escolar”,
embora a sua avaliação perpasse
Esta relação da avaliação da biblioteca com a outros Domínios, dado o actual
avaliação da escola ganha ainda mais pertinência se entendimento da BE não apenas como
tivermos em conta o carácter transversal e a grande um espaço fornecedor de recursos
interacção que a biblioteca deve estabelecer com mas, sobretudo, como um centro cada
todos os órgãos da escola. Por exemplo, se a vez mais activo e interveniente ao
biblioteca partilhar um conjunto de objectivos anuais, nível da aprendizagem e da formação
dos alunos. Para estabelecer a ligação
integrantes do Plano Anual da Escola, em relação
entre a auto‐avaliação da escola e a
directa com as prioridades estabelecidas pelo
avaliação externa, a IGE desenvolveu
conjunto da escola, a avaliação a realizar no final do
uma estrutura descritiva comum de
ano deve necessariamente integrar a biblioteca apresentação com seis campos de
enquanto parte da política e estratégia global análise.
conduzida pela escola ao longo do ano e tomar em
conta os seus resultados no processo de planeamento
do ano seguinte. Isto é certamente válido quando se
avalia o papel da biblioteca nas actividades de ensino e aprendizagem, mas também se aplica
a outros domínios como por exemplo, o da literacia da informação, da leitura, ou outros.
Esta perspectiva pode, por outro lado, ajudar ainda a economizar esforço e tempo,
designadamente através da aplicação de questões comuns e do tratamento conjunto de
dados relativos a determinados projectos ou actividades.
Porquê?
A avaliação deve ser encarada como uma componente natural da actividade de gestão da
biblioteca, usando os seus resultados para a melhoria contínua, de acordo com um processo
cíclico de planeamento, execução e avaliação:
PLANEAMENTO (ESTRATÉGICO/OPERACIONAL)
↑ ↓
AVALIAÇÃO ← EXECUÇÃO E MONITORIZAÇÃO
3
Que constrangimentos?
A avaliação de impactos das BE no sucesso educativo é A CILIPS/SLIC (Escócia)
particularmente complexa, por não ser possível isolar, disponibiliza no seu site alguns
numa miríade de variáveis possíveis, a contribuição da exemplos de actividades
biblioteca, separarando‐a de outras influências, pelo específicas de recolha de
menos de uma forma directa. evidências e avaliação. Pode
consultar um desses exemplos
Esta dificuldade aconselha a que não se avaliem os
(Start a reading group) ou então
resultados da acção da biblioteca de uma forma global,
experimentar realizar o exercício
mas aplicada a determinadas actividades, serviços ou
proposto (Introduction to the
programas, e a que se faça um estudo tanto quanto
Internet and Effective search
possível longitudinal, de modo a que seja dado tempo
Strategies).
para que determinados resultados se possam tornar
claros.
Exemplos:
• Avaliar se o nível de compreensão leitora melhorou depois de desenvolver um programa
particular de intervenção da biblioteca na área da formação de leitores.
• Também é possível restringir a avaliação em termos de públicos‐alvo. Se a biblioteca
escolar apoiou as actividades de enriquecimento curricular em escolas do 1º ciclo ou em
determinados anos de escolaridade, pode avaliar este tópico, fazendo incidir essa
avaliação nessas escolas do Agrupamento ou nos anos de escolaridade em que esse apoio
foi desenvolvido.
• Se a biblioteca escolar esteve de algum modo, envolvida em algum projecto de parceria
com elementos ou instituições da comunidade, a avaliação a realizar sobre esse tópico
incidirá nos anos, turmas, alunos e docentes implicados nesse projecto.
Em suma, a avaliação da biblioteca não é algo que possa ser concebido em abstracto ou sobre
o vazio. Avaliar a biblioteca significa avaliar a sua acção em determinados aspectos e os
resultados obtidos com esse trabalho, de acordo com os objectivos previamente definidos,
tendo porventura em consideração o referencial (Indicadores e Factores críticos de sucesso) à
luz dos quais esses objectivos poderão já ter sido estabelecidos, partindo do princípio que os
orientam uma ideia geral de melhoria e desenvolvimento de boas práticas.
A questão mais crítica comummente apontada parece, pois, ser a da recolha de evidências
demonstrativas do impacto da biblioteca, mas o modelo fornece uma estrutura e materiais
que ajudam a orientar este trabalho.
Concluindo, os principais desafios colocados pelo Modelo de Auto‐Avaliação residem na
avaliação dos impactos sobre os utilizadores e derivam da necessidade de, a este respeito:
• Clarificar adequadamente os objectivos da BE;
• Esclarecer os objectivos de aprendizagem dos alunos em relação com a biblioteca;
4
• Estabelecer os Indicadores adequados para essas aprendizagens;
• Recolher as evidências apropriadas, lidando com dados de natureza quantitativa e
qualitativa;
• Assegurar a realização do processo de recolha, tratamento, análise e comunicação dos
dados;
Com quem?
As bibliotecas em causa podem, por outro lado, servir exclusivamente a população escolar ou
estar abertas à comunidade, podendo nesta situação, a sua avaliação envolver outras
entidades e públicos.
O modelo deve ser trabalhado pelo Professor Bibliotecário com o apoio da respectiva Equipa
e do CE.
O envolvimento e mobilização dos utilizadores (docentes, alunos, …), a quem é pedida uma
participação muito activa, é fundamental e tem a sua maior razão de ser no facto da avaliação
se centrar não apenas na própria biblioteca mas, sobretudo, nos seus utilizadores. Boa parte
das evidências requisitam a sua disponibilidade e empenho na resposta a inquéritos, cedência
de materiais, actividades de observação, etc., por isso a sua colaboração, sobretudo a nível dos
docentes, constitui um aspecto crítico para o sucesso desta avaliação. A avaliação não deve ser
encarada como uma imposição mas como uma mais‐valia para a melhoria da escola, sendo de
evitar quaisquer riscos de subversão do seu espírito (avaliação ‐ formulário).
Finalmente, também os pais/encarregados de educação são chamados a participar na
avaliação da biblioteca, particularmente em certos aspectos, como por exemplo, os da leitura
e utilização da biblioteca pelos seus filhos/educandos.
A implicação de outras entidades na avaliação também pode ser útil, não apenas pelo peso
que podem ter em diferentes parcerias, mas também como um auxiliar, desempenhando o
designado papel de “Critical Friend” ou “Devil’s Advocat” na análise e interpretação dos
resultados e elaboração de conclusões. A BM/SABE, os Grupos de Trabalho Concelhios ou os
Coordenadores Inter‐concelhios da RBE podem porventura desempenhar este papel.
5
Que Etapas?
• Motivação e compromisso institucional dos órgãos de gestão pedagógica e executiva da
escola com o processo de auto‐avaliação da BE, formalização de alguns procedimentos no
sentido de uma co‐responsabilização de todos os intervenientes (apresentação aos colegas
do propósito e metodologia da auto‐avaliação; participação da BE em reuniões alargadas
ou restritas de docentes para recolha da informação; facilitação de documentação;
disponibilização de dados; formas de colaboração com os docentes na recolha de
evidências sobre os alunos, etc.), aceitação dos resultados e acordo sobre a subsequente
promoção de um plano de melhoria.
• Constituição, sob a responsabilidade do Professor Bibliotecário, de um grupo responsável
ao nível da escola/agrupamento pela condução do processo de auto‐avaliação da BE;
definição e partilha de tarefas entre os elementos do grupo.
• Elaboração do Plano de Avaliação: Problema/Diagnóstico; Identificação do objecto da
avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar;
Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise e
comunicação da informação; Limitações, Levantamento de necessidades (recursos
humanos, financeiros, materiais,…), etc.
• Desenvolvimento do processo de avaliação: recolha e tratamento de informação; análise
dos dados; descrição da situação; relação com os standards de desempenho ou
benchmarks; identificação dos pontos fortes e fracos; definição e priorização de acções de
melhoria; redacção e divulgação do relatório final de avaliação.
A informação disponibilizada
Como se Estrutura o Modelo ? 1 neste texto deverá ser
complementada com a leitura
O Modelo é constituído por quatro Domínios, divididos em obrigatória do “capítulo”
Subdomínios. Orientações para aplicação –
modelo de auto‐avaliação
A. Apoio ao Desenvolvimento Curricular
A.1 Articulação Curricular da BE com as Estruturas de Coordenação Educativa e Supervisão
Pedagógica e os Docentes
A. 2 Promoção das Literacias da Informação, Tecnológica e Digital
B. Leitura e Literacia
C. Projectos, Parcerias e Actividades Livres e de Abertura à Comunidade
1
Complementar com a informação constante no modelo – versão integral/final (http://www.rbe.min‐
edu.pt/np4/?newsId=31&fileName=mod_auto_avaliacao.pdf)
6
C.1 Apoio a actividades livres, extra‐curriculares e de enriquecimento curricular
C.2 Projectos e parcerias
D. Gestão da Biblioteca Escolar
D.1 Articulação da BE com a Escola/ Agrupamento. Acesso e serviços prestados pela BE
D.2 Condições humanas e materiais para a prestação dos serviços
D.3 Gestão da colecção/da informação
Dentro de cada Subdomínio identificam‐se conjuntos de Indicadores ou critérios, os quais
apontam para os aspectos nucleares de intervenção da BE inerentes a esse Subdomínio (v.
Modelo).
Os Indicadores desdobram‐se, por sua vez, em diferentes Factores Críticos, que constituem as
actividades ou acções que demonstram sucesso e são valorizadas na avaliação de cada
Indicador (v. Modelo)
O modelo é propositadamente ambicioso na definição destes factores, de modo a ser
estimulante e impedir que as escolas apenas reflictam nele as actividades/acções que
comummente já realizam, incentivando ao desenvolvimento de boas práticas e tendo, nesta
medida, uma forte componente formativa.
Para cada Indicador ou conjunto de Indicadores foram identificadas vários exemplos de
Evidências (v. Modelo), através das quais será possível fazer corresponder a que nível de
performance corresponde a prática da biblioteca em relação com aquele/s Indicador/es.
Na última coluna das tabelas (v. Modelo) apresentam‐se para cada Indicador, exemplos de
Acções para a melhoria, ou seja, propostas de iniciativas variadas a realizar no caso de ser
necessário melhorar o desempenho da BE em relação com aquele Indicador.
Fazem ainda parte do Modelo, um conjunto de Perfis de Desempenho (v. Modelo)
estabelecidos para os diferentes Subdomínios. Os Perfis ou cenários indicam quatro níveis de
performance, sendo seu objectivo ajudar a escola a identificar qual o nível que melhor
corresponde à situação da biblioteca em cada Subdomínio e perceber, de acordo com o nível
atingido, o que está em jogo para poder melhorar para o nível seguinte.
Considera‐se que a BE se situa num determinado nível de desempenho se cumprir, pelo
menos, 4 em 5, 5 em 6 ou 6 em 7 descritores, consoante o número de descritores que
caracterizam os perfis.
Nível Descrição
4 A BE é muito forte neste domínio. O trabalho desenvolvido é
de grande qualidade e com um impacto bastante positivo.
7
3 A BE desenvolve um trabalho de qualidade neste domínio
mas ainda é possível melhorar alguns aspectos.
2 A BE começou a desenvolver trabalho neste domínio, sendo
necessário melhorar o desempenho para que o seu impacto
seja mais efectivo.
1 A BE desenvolve pouco ou nenhum trabalho neste domínio,
o seu impacto é bastante reduzido, sendo necessário intervir
com urgência.
O resultado da auto‐avaliação de cada Domínio deverá ser registado na Tabela respectiva
(secção A do relatório), que identifica as Evidências recolhidas em cada Subdomínio, pontos
fortes e fracos detectados. O produto desta sistematização resulta no preenchimento de um
quadro síntese com: Domínio/ Subdomínio e acções para melhoria, as quais constituem um
dos objectivos fundamentais da auto‐avaliação.
O Documento base contém ainda uma bateria de Instrumentos de Recolha de Evidências
(Questionários a professores, a alunos e aos encarregados de educação, Checklists, Grelhas de
observação de competências e Grelhas de análise de trabalhos escolares), referenciados a
partir das tabelas com um código (QP1/2/3…; QA1/2/3/4…; QEE1; CK1/2; O1/2; T1) – ver
instrumentos de recolha, p.77. A disponibilização destes instrumentos às escolas pode criar
alguma uniformidade em termos da informação que vai ser recolhida nas escolas, facilitando a
possibilidade de benchmarking externo entre escolas, sem prejuízo das necessárias
adaptações à realidade e necessidades das escolas.
Como 2 ?
O modelo faz uso de um conjunto de métodos quantitativos e qualitativos, e de técnicas de
recolha de informação variada, envolvendo:
• A recolha documental de registos de planeamento e das actividades da BE
• a auto‐avaliação e inquérito aos utilizadores (ChecKlists; Questionários).
• O levantamento de dados estatísticos de utilização da biblioteca.
• A análise de trabalhos de alunos
2
Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76),
constantes no Modelo.
8
• O levantamento de dados relativos à gestão
Na Internet é possível encontrar muitos
de recursos (financeiros, materiais, humanos
guias e Kits de apoio e ferramentas sobre
e de informação) da BE
métodos e técnicas de recolha de
evidências. Deste modo, propomos:
A avaliação de cada indicador ganha em fazer uso
de instrumentos diversificados, os quais permitem,
ao serem cruzados, obter uma informação mais 1) A leitura atenta das Páginas Basic
Guide to Program Evaluation e The
consistente e fiável.
Program Manager’s Guide to
Em termos de quantidade, sugere‐se uma Evaluation – leitura facultativa ‐ ,
onde, entre outros, se incluem
aplicação dos instrumentos a 20%/30% do número
diferentes tópicos (Plano de
total de professores e 10% do número de alunos
Avaliação da BE, tipos de Avaliação,
em cada nível de escolaridade, de modo a obter Selecção e Análise dos diferentes
amostras representativas . métodos, Análise da informação,
etc.) e se explicam os conceitos e os
Simplifique o trabalho de recolha de evidências,
“O Quê?” “Quem?” “Como?” e “
cingindo ao mínimo possível a informação de que Porquê” da auto‐avaliação.
comprovadamente necessita para a demonstração
de determinado tópico.
2) A consulta do site eVALUEd: An
Seja sistemático na recolha de evidências. Evaluation ToolKit for E‐library
Developments e a leitura em
particular, do seu Summary Booklet
(p. 8‐17), sobre a utilidade,
Questionários vantagens, desvantagens e
aplicação dos diferentes métodos e
Os questionários são uma das formas mais vulgares ferramentas.
e expeditas de recolher informação e poder
compará‐la. Uma das vantagens dos questionários
3) Facultativamente, pode ainda
é que a informação pode ser recolhida, registada,
experimentar outras tools, como por
tratada e usada num curto espaço de tempo, além exemplo, as fornecidas pelo Projecto
de permitir questionar um número elevado de IBEC.
pessoas e obter um número elevado de respostas.
9
ser melhor adaptadas, de acordo com os currículos de
A observação de alunos no
competências inerentes a cada nível ou contexto
Subdomínio C1 deve fazer‐se de
disciplinar. No caso da observação em contexto de
forma prolongada e com diferentes
aula devem, por exemplo, ser observadas turmas em
alunos ou grupos, uma vez que se
trabalho no âmbito de diferentes disciplinas. trata da utilização livre e extra‐
curricular da BE, em que não há uma
Para ser mais eficaz, a observação deve concentrar‐se
utilização estruturada com turmas e
num número limitado de aspectos. A realização de
não há uma utilização continuada ou
várias observações num curto período de tempo pode sistemática pelos mesmos alunos ou
fornecer uma visão mais profunda dos aspectos que se grupos. O período estabelecido pode
pretendem observar. Observações mais espaçadas ao variar, desde uma ou mais semanas,
longo do ano mas regulares (por exemplo uma por a um ou mais períodos lectivos,
mês), podem fornecer um quadro mais representativo. consoante as situações e os aspectos
em que se pretende fazer incidir a
Grelhas de análise de trabalhos dos alunos avaliação. Imagine‐se, por exemplo,
que a biblioteca passou a abrir à
A análise de trabalhos de alunos de diferentes anos de hora de almoço e se pretendem
escolaridade e de diferentes áreas disciplinares é uma conhecer os padrões e mais‐valias do
importante técnica de avaliação das aprendizagens uso da biblioteca nesse período do
facilitadas pela Biblioteca Escolar, por se poder dia. Ou, noutro exemplo, que
constituir como uma forma directa de “authentic começou a funcionar um clube de
assessment” do desempenho dos alunos, em leitura ou um projecto de leitura a
complemento de outros resultados (por exemplo, par abrangendo alunos mais novos e
alunos tutores mais velhos, cujo
obtidos em testes, exames, etc.). A análise ao longo do
processo e resultados, durante o
tempo pode permitir avaliar os progressos realizados
período da sua vigência, se
ao longo de um determinado período ou de um ano pretendem acompanhar. No
para o outro. primeiro caso, podem, por exemplo,
escolher‐se 3 semanas típicas, uma
Análise documental
no 1º período, uma no 2º período e
Documentos que podem testemunhar a veracidade outra no 3º período, para recolher a
informação necessária à avaliação de
das afirmações feita. Por exemplo, documentos de
acordo com as evidências e
Política e Gestão da Escola; Planificações; Orçamentos;
instrumentos seleccionados como
Regulamentos; Documentação sobre Projectos; Actas; apropriados para avaliar aquela
Relatórios, Planos Curriculares; Mapas de avaliações, utilização. No segundo caso, o
etc. processo de avaliação deve decorrer
em simultâneo e coincidir com a
Dados Estatísticos duração e periodicidade da
actividade do clube ou projecto.
As estatísticas podem incidir sobre a utilização ou
funcionamento da biblioteca e trabalhar os inputs (por
ex: nº de documentos adquiridos), os processos (por ex: nº de sessões de formação de
utilizadores organizadas com as turmas ao longo do ano) ou os outputs (por ex: nº de visitas
realizadas).
Os sistemas de gestão bibliográfica e de rede permitem hoje a obtenção de uma série de
dados estatísticos de utilização do sistema de informação: localização dos PCs usados,
10
programas e bases de dados acedidos, pesquisas realizadas, tipos de sites consultados, tempos
de utilização, requisições e empréstimos, etc…
Outros Exemplos de métodos e instrumentos passíveis de serem utilizados mas ainda não
contemplados pelo Modelo
Entrevista
A entrevista (individual ou conduzida em grupo – focus group) pode ser útil para obter
informação em maior profundidade, explicitar o sentido de certas perguntas e respostas dos
questionários, etc. A atenção dada ao entrevistado é diferente, mais pessoal e individualizada.
Pode ser aconselhável no 1º ciclo onde é mais fácil colocar os alunos a falar e responder
oralmente às perguntas. No entanto é mais exigente de tempo e, por isso, só deve ser utilizada
com um número restrito de pessoas, e pode ser inibidora em relação a determinado tipo de
perguntas que anonimamente, num questionário, poderiam ser respondidas com menos
relutância.
O focus group consiste numa pequena amostra representativa de pessoas cujas opiniões sobre
determinado assunto ou questão se pretendem obter. A dinâmica de grupo pode facilitar a
expressão de atitudes, opiniões e ideias. Com jovens e crianças, é conveniente que o grupo
seja constituído por elementos que não se conheçam muito bem.
Informal feedback
É possível, em função de cada situação particular, identificar outros métodos e instrumentos,
para além dos sugeridos pelo modelo. Sendo comum, por exemplo, sobretudo em pequenas
escolas, o contacto regular e informal entre os docentes ou com os pais, pode acontecer que,
querendo avaliar determinado item, o coordenador da biblioteca considere como fonte
importante a recolha de informação obtida através do diálogo e discussão informal desse item
com alguns docentes ou com um determinado número de pais.
Quando 3 ?
A aplicação do modelo faz‐se numa base anual, escolhendo em cada ano um domínio onde
concentrar o trabalho da auto‐avaliação. Pretende‐se que ao fim de quatro anos todos os
domínios tenham sido auto‐avaliados, correspondendo este período ao ciclo de gestão e
avaliação global da BE.
Em termos de operacionalização, a avaliação deve ser entendida como uma actividade regular
que faz parte do dia‐a‐dia do funcionamento da biblioteca e da escola, integrando as práticas
e rotinas da BE e da escola e evitando que possa representar uma excessiva carga de trabalho,
embora consuma necessariamente algum tempo adicional.
3
Complementar toda a informação deste texto com as Orientações para a aplicação (p.57‐76),
constantes no Modelo
11
Por onde começar?
O ponto de partida pode derivar de uma primeira avaliação diagnóstica breve, da indicação de
uma área de interesse já identificada em processos de avaliação anteriores, da selecção de
uma área de interesse ou considerada prioritária face às metas da própria escola e que se
pretende reforçar, do conhecimento geral dos pontos fracos e fortes da biblioteca ou de uma
recomendação externa (da RBE, da Inspecção, do Grupo de Trabalho Concelhio/SABE, etc).
Embora não seja impossível avaliar num determinado ano um dado Subdomínio, deixando
para mais tarde o/s restante/s Subdomínios da mesma área, e também não seja negada a
hipótese de, nesta medida, poder avaliar num mesmo ano Subdomínios de áreas diferentes,
há vantagem em avaliar em conjunto no mesmo ano todas as componentes de um dado
domínio, dada a estreita inter‐relação que existe entre elas e o facto de muitos instrumentos
de recolha de informação lhes serem comuns, dada a estrutura do próprio Modelo.
Os resultados obtidos na avaliação de um determinado Subdomínio também podem indicar a
necessidade de, em seguida, se avançar na avaliação de outro que se julga ter uma importante
relação com o primeiro, mesmo que pertencente a outro domínio.
EXEMPLO:
A avaliação da actividade de leitura lúdica ou recreativa depende, entre outros factores, da
quantidade e qualidade das obras disponíveis na biblioteca para este efeito, aspecto este que
se relaciona, por sua vez, com a gestão e avaliação da colecção. A melhoria dos índices da
leitura por prazer pode desde modo passar por uma estratégia de avaliação da gestão da
colecção.
Embora seja desejável avaliar um domínio de cada vez e na sua totalidade, a sua avaliação
deve ser encarada de forma flexível, sempre que tal se justifique.
Como estabelecer comparações?
A auto‐avaliação pode potenciar, mediante determinadas condições (grupos de escolas com as
mesmas características; articulação da actividades de avaliação nos mesmos tópicos, aplicação
dos mesmos métodos e instrumentos; etc.) a partilha e estabelecimento de actividades de
benchmarking externo em determinados aspectos, contribuindo para a identificação e
disseminação de boas práticas.
A Base de Dados da RBE, por seu turno, compila actualmente uma série de dados, sobretudo
quantitativos, que descrevem e podem suplementar os dados da avaliação realizada por cada
escola, fornecendo uma imagem global das BEs e permitindo o benchmarking externo numa
série de tópicos, entre escolas com características similares do país ou de uma dada região.
12
Como aplicar o modelo?
Passos a dar na aplicação do modelo 4 :
1) Escolher entre os quatro domínios um que pretenda avaliar. Pode ser aquele que se
considera mais relevante de acordo com as prioridades da escola e da biblioteca escolar ou
então um que se relacione com uma área de trabalho a necessitar de maior
desenvolvimento. É indispensável envolver o Órgão de Gestão nesta escolha.
2) Identificar o tipo de evidências que necessita de recolher para poder conhecer e
fundamentar qual a performance da biblioteca no domínio escolhido. A tabela propõe na
coluna “recolha de evidências” diferentes tipos de instrumentos que pode utilizar.
3) Analisar os Dados recolhidos através da utilização dos instrumentos e desenvolver uma
análise sobre a performance da biblioteca no domínio escolhido em relação com os
standards estabelecidos
4) Decidir em qual dos níveis de desempenho se situa a biblioteca nesse domínio ou
subdomínio, de acordo com os perfis de desempenho descritos na respectiva tabela
(1,2,3,e,4) ‐ Quadro
5) Registar na Tabela respectiva (secção A do relatório) as Evidências recolhidas em cada
Subdomínio, pontos fortes e fracos detectados.
6) Registar no Quadro ‐ Síntese (secção A do relatório) o nível atingido e as formas como
pensa que pode melhorar o nível de desempenho – acções para a melhoria. As tabelas
fornecem a este propósito uma série de sugestões de acções de melhoria para cada
indicador.
7) Registar os resultados da auto‐avaliação realizada no Relatório Anual da Biblioteca
Escolar, de modo a que possa ser utilizado internamente, na auto‐avaliação da escola e
como fonte de informação para a avaliação externa (secção C do relatório).
Para quê?
A auto‐avaliação da BE pode ajudar a melhorar a BE:
• Identificando pontos fracos, priorizando necessidades, estabelecendo alvos e informando
o plano de actividades seguinte.
• identificando necessidades de investimento a ter em conta no plano orçamental,
justificando o pedido de reforço de verbas ou de apoios suplementares.
4
Ver p.75 do Modelo: Síntese – Aplicação do Modelo de Auto‐Avaliação da BE
13
• sugerindo a mudança de certas práticas de trabalho e funcionamento. Por exemplo, a
alteração de horários, a mudança da forma como está estruturado o apoio aos alunos, etc.
• aconselhando a adopção de outros modos de utilizar os recursos humanos de uma forma
mais eficiente, mostrando, por exemplo, quando é mais importante a permanência e apoio
de determinados docentes na BE, quais as necessidades de formação destes docentes para
um trabalho mais eficaz, etc.
A auto‐avaliação pode ajudar a encorajar uma melhor utilização da BE:
• demonstrando junto dos professores, o contributo da BE para a aprendizagem e os
resultados escolares, mostrando‐lhes as suas potencialidades e a forma como podem
utilizá‐la melhor nas suas actividades de planeamento das aulas e de ensino.
A auto‐avaliação da BE pode ajudar a promover a BE:
• divulgando a sua acção, fazendo tomar consciência da importância da biblioteca,
contribuindo para a sua afirmação e reconhecimento no âmbito das escolas e do sistema
educativo.
• ganhando voz e peso institucional a nível local e nacional.
• reportando anualmente junto da escola os resultados e situação da biblioteca e
disseminando as suas boas práticas
• viabilizando a obtenção de um quadro geral sobre a situação das bibliotecas escolares em
Portugal, fornecendo dados e informação estratégica de suporte à decisão e orientação de
políticas e iniciativas a desenvolver por parte dos organismos responsáveis (ME/RBE;
Autarquias, etc.), criando condições para o benchmarking e ajudando a preparar a visita
da Inspecção e a avaliação externa:
Como relatar os resultados da avaliação?
A comunicação dos resultados da avaliação empreendida, a análise colectiva e reflexão da
Escola/Agrupamento sobre esses resultados, e a identificação das acções de melhoria dos
pontos fracos identificados é muito importante, de modo a obter o comprometimento e apoio
da escola a essas acções.
O Relatório Final de Avaliação da BE é o instrumento de descrição e análise dos resultados da
auto‐avaliação, de identificação do conjunto de acções a ter em conta no planeamento futuro
e de difusão desses resultados e acções junto dos órgãos de gestão e de decisão pedagógica.
O Relatório deve integrar o Relatório Anual de Actividades da Escola/Agrupamento, originar
uma súmula a incorporar no Relatório de Auto‐Avaliação da Escola/Agrupamento, sempre que
esta tiver lugar, e orientar o Professor Bibliotecário na possível entrevista a realizar pela
Inspecção‐Geral de Educação no âmbito da avaliação externa.
14
Apesar de em cada ano ser apenas auto‐avaliado um Domínio através do recurso ao Modelo
de Auto‐avaliação da RBE, o qual exige um investimento mais significativo no sentido de
procurar aferir, de forma sistemática e objectiva, os resultados efectivos do trabalho
desenvolvido nesse Domínio, deve ter‐se em conta que, sendo o trabalho e acção educativa da
BE também incidentes noutros Domínios de intervenção, embora estes não sejam alvo do
mesmo tipo de avaliação, não deve deixar de se lhes fazer referência no Relatório Anual da BE.
Não é por ter avaliado o Domínio A, por exemplo, que a BE deixou de desenvolver outras
actividades no âmbito dos Domínios B, C ou D. Embora não fazendo uso na apreciação do
trabalho desenvolvido nestas áreas, do mesmo tipo de evidências e instrumentos de recolha
usados para avaliar o Domínio A, a BE possui, apesar de tudo, informação a relatar sobre o
trabalho desenvolvido nas restantes áreas de intervenção da BE.
O Relatório deve, portanto, dar uma visão holística do funcionamento da biblioteca escolar,
incluindo a informação mais detalhada e fundamentada sobre a aplicação do modelo de auto‐
avaliação no Domínio seleccionado, e a informação disponível sobre os restantes Domínios
que, não tendo sido avaliados por esse processo, não deixaram de ser trabalhados durante o
ano pelas BEs.
O Relatório proposto pela RBE encontra‐se, por isso, estruturado em três Secções:
A Secção A – Destina‐se à apresentação da avaliação do domínio que, no âmbito da aplicação
do Modelo, foi objecto de avaliação.
A Secção B – Destina‐se a apresentar uma informação simplificada acerca do perfil de
desempenho da BE nos domínios que, não sendo objecto de avaliação nesse ano lectivo,
testemunham o seu desempenho nas diferentes áreas de funcionamento da BE.
A Secção C – Visa um resumo que forneça uma visão global, recorrendo a um quadro síntese
dos resultados obtidos e das acções a implementar.
A estrutura apresentada contém um layout onde todos os domínios estão presentes nas
secções A e B. Cada BE deve adaptar a estrutura à sua situação:
Na Secção A, preencher apenas o quadro correspondente ao domínio em que aplicou o
Modelo de Avaliação. Este domínio não será objecto de referência na Secção B.
Na Secção B, preencher apenas os quadros gerais correspondentes aos restantes Domínios em
que não aplicou o Modelo e que, por isso, não foram objecto de nenhuma referência na
Secção A.
A aplicação informática online a disponibilizar pela RBE às BEs para registo e tratamento de
dados da auto‐avaliação deverá, em princípio, integrar também uma componente para escrita
e apresentação do relatório final.
15
Basic Guide to Program Evaluation
Written by Carter McNamara, MBA, PhD, Authenticity Consulting, LLC. Copyright 1997-2008.
Adapted from the Field Guide to Nonprofit Program Design, Marketing and Evaluation.
This document provides guidance toward planning and implementing an evaluation process for for-
profit or nonprofit programs -- there are many kinds of evaluations that can be applied to programs,
for example, goals-based, process-based, outcomes-based, etc.
NOTE: Nonprofit organizations are increasingly interested in outcomes-based evaluation. If you are
interested in learning more about outcomes-based evaluation, then see Outcomes-Based Evaluations
in Nonprofit Organizations.
NOTE: Be sure to see Additional Resources and at the end of this document. Also, you might benefit
from review of the Program Planning and Management. Lastly, use the Program Evaluation Planning
Checklist to help you plan evaluations for your programs.
A Brief Introduction...
Note that the concept of program evaluation can include a wide variety of methods to evaluate many
aspects of programs in nonprofit or for-profit organizations. There are numerous books and other
materials that provide in-depth analysis of evaluations, their designs, methods, combination of me-
thods and techniques of analysis. However, personnel do not have to be experts in these topics to carry
out a useful program evaluation. The "20-80" rule applies here, that 20% of effort generates 80% of
the needed results. It's better to do what might turn out to be an average effort at evaluation than to do
no evaluation at all. (Besides, if you resort to bringing in an evaluation consultant, you should be a
smart consumer. Far too many program evaluations generate information that is either impractical or
irrelevant -- if the information is understood at all.) This document orients personnel to the nature of
program evaluation and how it can be carried out in a realistic and practical fashion.
Note that much of the information in this section was gleaned from various works of Michael Quinn
Patton.
Program Evaluation
Some Myths About Program Evaluation
1. Many people believe evaluation is a useless activity that generates lots of boring data with useless
conclusions. This was a problem with evaluations in the past when program evaluation methods
were chosen largely on the basis of achieving complete scientific accuracy, reliability and validity. This
approach often generated extensive data from which very carefully chosen conclusions were drawn.
Generalizations and recommendations were avoided. As a result, evaluation reports tended to reite-
rate the obvious and left program administrators disappointed and skeptical about the value of evalua-
tion in general. More recently (especially as a result of Michael Patton's development of utilization-
focused evaluation), evaluation has focused on utility, relevance and practicality at least as much as
scientific validity.
2. Many people believe that evaluation is about proving the success or failure of a program. This myth
assumes that success is implementing the perfect program and never having to hear from employees,
customers or clients again -- the program will now run itself perfectly. This doesn't happen in real life.
Success is remaining open to continuing feedback and adjusting the program accordingly. Evaluation
gives you this continuing feedback.
3. Many believe that evaluation is a highly unique and complex process that occurs at a certain time in
a certain way, and almost always includes the use of outside experts. Many people believe they must
completely understand terms such as validity and reliability. They don't have to. They do have to con-
sider what information they need in order to make current decisions about program issues or needs.
And they have to be willing to commit to understanding what is really going on. Note that many people
regularly undertake some nature of program evaluation -- they just don't do it in a formal fashion so
they don't get the most out of their efforts or they make conclusions that are inaccurate (some evalua-
tors would disagree that this is program evaluation if not done methodically). Consequently, they miss
precious opportunities to make more of difference for their customer and clients, or to get a bigger
bang for their buck.
First, we'll consider "what is a program?" Typically, organizations work from their mission to identify
several overall goals which must be reached to accomplish their mission. In nonprofits, each of these
goals often becomes a program. Nonprofit programs are organized methods to provide certain related
services to constituents, e.g., clients, customers, patients, etc. Programs must be evaluated to decide if
the programs are indeed useful to constituents. In a for-profit, a program is often a one-time effort to
produce a new product or line of products.
So, still, what is program evaluation? Program evaluation is carefully collecting information about a
program or some aspect of a program in order to make necessary decisions about the program. Pro-
gram evaluation can include any or a variety of at least 35 different types of evaluation, such as for
needs assessments, accreditation, cost/benefit analysis, effectiveness, efficiency, formative, summa-
tive, goal-based, process, outcomes, etc. The type of evaluation you undertake to improve your pro-
grams depends on what you want to learn about the program. Don't worry about what type of evalua-
tion you need or are doing -- worry about what you need to know to make the program decisions you
need to make, and worry about how you can accurately collect and understand that information.
Other Reasons:
4. Facilitate management's really thinking about what their program is all about, including its goals,
how it meets it goals and how it will know if it has met its goals or not.
5. Produce data or verify results that can be used for public relations and promoting services in the
community.
6. Produce valid comparisons between programs to decide which should be retained, e.g., in the face of
pending budget cuts.
7. Fully examine and describe effective programs for duplication elsewhere.
This may seem too obvious to discuss, but before an organization embarks on evaluating a program, it
should have well established means to conduct itself as an organization, e.g., (in the case of a nonprof-
it) the board should be in good working order, the organization should be staffed and organized to
conduct activities to work toward the mission of the organization, and there should be no current cri-
sis that is clearly more important to address than evaluating programs.
To effectively conduct program evaluation, you should first have programs. That is, you need a strong
impression of what your customers or clients actually need. (You may have used a needs assessment
to determine these needs -- itself a form of evaluation, but usually the first step in a good marketing
plan). Next, you need some effective methods to meet each of those goals. These methods are usually
in the form of programs.
It often helps to think of your programs in terms of inputs, process, outputs and outcomes. Inputs are
the various resources needed to run the program, e.g., money, facilities, customers, clients, program
staff, etc. The process is how the program is carried out, e.g., customers are served, clients are coun-
seled, children are cared for, art is created, association members are supported, etc. The outputs are
the units of service, e.g., number of customers serviced, number of clients counseled, children cared
for, artistic pieces produced, or members in the association. Outcomes are the impacts on the custom-
ers or on clients receiving services, e.g., increased mental health, safe and secure development, richer
artistic appreciation and perspectives in life, increased effectiveness among members, etc.
Planning Your Program Evaluation
Depends on What Information You Need to Make Your Decisions and On Your
Resources.
Often, management wants to know everything about their products, services or programs. However,
limited resources usually force managers to prioritize what they need to know to make current deci-
sions.
Your program evaluation plans depend on what information you need to collect in order to make ma-
jor decisions. Usually, management is faced with having to make major decisions due to decreased
funding, ongoing complaints, unmet needs among customers and clients, the need to polish service
delivery, etc. For example, do you want to know more about what is actually going on in your pro-
grams, whether your programs are meeting their goals, the impact of your programs on customers,
etc? You may want other information or a combination of these. Ultimately, it's up to you.
But the more focused you are about what you want to examine by the evaluation, the more efficient
you can be in your evaluation, the shorter the time it will take you and ultimately the less it will cost
you (whether in your own time, the time of your employees and/or the time of a consultant).
There are trade offs, too, in the breadth and depth of information you get. The more breadth you want,
usually the less depth you get (unless you have a great deal of resources to carry out the evaluation).
On the other hand, if you want to examine a certain aspect of a program in great detail, you will likely
not get as much information about other aspects of the program.
For those starting out in program evaluation or who have very limited resources, they can use various
methods to get a good mix of breadth and depth of information. They can both understand more about
certain areas of their programs and not go bankrupt doing so.
Key Considerations:
Goals-Based Evaluation
Often programs are established to meet one or more specific goals. These goals are often described in
the original program plans.
Goal-based evaluations are evaluating the extent to which programs are meeting predetermined goals
or objectives. Questions to ask yourself when designing an evaluation to see if you reached your goals,
are:
1. How were the program goals (and objectives, is applicable) established? Was the process effective?
2. What is the status of the program's progress toward achieving the goals?
3. Will the goals be achieved according to the timelines specified in the program implementation or
operations plan? If not, then why?
4. Do personnel have adequate resources (money, equipment, facilities, training, etc.) to achieve the
goals?
5. How should priorities be changed to put more focus on achieving the goals? (Depending on the con-
text, this question might be viewed as a program management decision, more than an evaluation ques-
tion.)
6. How should timelines be changed (be careful about making these changes - know why efforts are
behind schedule before timelines are changed)?
7. How should goals be changed (be careful about making these changes - know why efforts are not
achieving the goals before changing the goals)? Should any goals be added or removed? Why?
8. How should goals be established in the future?
Process-Based Evaluations
Process-based evaluations are geared to fully understanding how a program works -- how does it pro-
duce that results that it does. These evaluations are useful if programs are long-standing and have
changed over the years, employees or customers report a large number of complaints about the pro-
gram, there appear to be large inefficiencies in delivering program services and they are also useful for
accurately portraying to outside parties how a program truly operates (e.g., for replication elsewhere).
There are numerous questions that might be addressed in a process evaluation. These questions can
be selected by carefully considering what is important to know about the program. Examples of ques-
tions to ask yourself when designing an evaluation to understand and/or closely examine the
processes in your programs, are:
1. On what basis do employees and/or the customers decide that products or services are needed?
2. What is required of employees in order to deliver the product or services?
3. How are employees trained about how to deliver the product or services?
4. How do customers or clients come into the program?
5. What is required of customers or client?
6. How do employees select which products or services will be provided to the customer or client?
7. What is the general process that customers or clients go through with the product or program?
8. What do customers or clients consider to be strengths of the program?
9. What do staff consider to be strengths of the product or program?
10. What typical complaints are heard from employees and/or customers?
11. What do employees and/or customers recommend to improve the product or program?
12. On what basis do emplyees and/or the customer decide that the product or services are no longer
needed?
Outcomes-Based Evaluation
Program evaluation with an outcomes focus is increasingly important for nonprofits and asked for by
funders.An outcomes-based evaluation facilitates your asking if your organization is really doing the
right program activities to bring about the outcomes you believe (or better yet, you've verified) to be
needed by your clients (rather than just engaging in busy activities which seem reasonable to do at the
time). Outcomes are benefits to clients from participation in the program. Outcomes are usually in
terms of enhanced learning (knowledge, perceptions/attitudes or skills) or conditions, e.g., increased
literacy, self-reliance, etc. Outcomes are often confused with program outputs or units of services, e.g.,
the number of clients who went through a program.
To accomplish an outcomes-based evaluation, you should first pilot, or test, this evaluation approach
on one or two programs at most (before doing all programs).
1. Identify the major outcomes that you want to examine or verify for the program under evaluation.
You might reflect on your mission (the overall purpose of your organization) and ask yourself what
impacts you will have on your clients as you work towards your mission. For example, if your overall
mission is to provide shelter and resources to abused women, then ask yourself what benefits this will
have on those women if you effectively provide them shelter and other services or resources. As a last
resort, you might ask yourself, "What major activities are we doing now?" and then for each activity,
ask "Why are we doing that?" The answer to this "Why?" question is usually an outcome. This "last
resort" approach, though, may just end up justifying ineffective activities you are doing now, rather
than examining what you should be doing in the first place.
2. Choose the outcomes that you want to examine, prioritize the outcomes and, if your time and re-
sources are limited, pick the top two to four most important outcomes to examine for now.
3. For each outcome, specify what observable measures, or indicators, will suggest that you're achiev-
ing that key outcome with your clients. This is often the most important and enlightening step in out-
comes-based evaluation. However, it is often the most challenging and even confusing step, too, be-
cause you're suddenly going from a rather intangible concept, e.g., increased self-reliance, to specific
activities, e.g., supporting clients to get themselves to and from work, staying off drugs and alcohol, etc.
It helps to have a "devil's advocate" during this phase of identifying indicators, i.e., someone who can
question why you can assume that an outcome was reached because certain associated indicators
were present.
4. Specify a "target" goal of clients, i.e., what number or percent of clients you commit to achieving spe-
cific outcomes with, e.g., "increased self-reliance (an outcome) for 70% of adult, African American
women living in the inner city of Minneapolis as evidenced by the following measures (indicators) ..."
5. Identify what information is needed to show these indicators, e.g., you'll need to know how many
clients in the target group went through the program, how many of them reliably undertook their own
transportation to work and stayed off drugs, etc. If your program is new, you may need to evaluate the
process in the program to verify that the program is indeed carried out according to your original
plans. (Michael Patton, prominent researcher, writer and consultant in evaluation, suggests that the
most important type of evaluation to carry out may be this implementation evaluation to verify that
your program ended up to be implemented as you originally planned.)
6. Decide how can that information be efficiently and realistically gathered (see Selecting Which Me-
thods to Use below). Consider program documentation, observation of program personnel and clients
in the program, questionnaires and interviews about clients perceived benefits from the program, case
studies of program failures and successes, etc. You may not need all of the above. (see Overview of
Methods to Collect Information below).
7. Analyze and report the findings (see Analyzing and Interpreting Information below).
Also see:
Note that if you plan to include in your evaluation, the focus and reporting on personal information
about customers or clients participating in the evaluation, then you should first gain their consent to
do so. They should understand what you're doing with them in the evaluation and how any informa-
tion associated with them will be reported. You should clearly convey terms of confidentiality regard-
ing access to evaluation results. They should have the right to participate or not. Have participants
review and sign an informed consent form. See the sample informed-consent form.
The overall goal in selecting evaluation method(s) is to get the most useful information to key decision
makers in the most cost-effective and realistic fashion. Consider the following questions:
1. What information is needed to make current decisions about a product or program?
2. Of this information, how much can be collected and analyzed in a low-cost and practical manner, e.g.,
using questionnaires, surveys and checklists?
3. How accurate will the information be (reference the above table for disadvantages of methods)?
4. Will the methods get all of the needed information?
5. What additional methods should and could be used if additional information is needed?
6. Will the information appear as credible to decision makers, e.g., to funders or top management?
7. Will the nature of the audience conform to the methods, e.g., will they fill out questionnaires careful-
ly, engage in interviews or focus groups, let you examine their documentations, etc.?
8. Who can administer the methods now or is training required?
9. How can the information be analyzed?
Note that, ideally, the evaluator uses a combination of methods, for example, a questionnaire to quickly
collect a great deal of information from a lot of people, and then interviews to get more in-depth in-
formation from certain respondents to the questionnaires. Perhaps case studies could then be used for
more in-depth analysis of unique and notable cases, e.g., those who benefited or not from the program,
those who quit the program, etc.
There are four levels of evaluation information that can be gathered from clients, including getting
their:
1. reactions and feelings (feelings are often poor indicators that your service made lasting impact)
2. learning (enhanced attitudes, perceptions or knowledge)
3. changes in skills (applied the learning to enhance behaviors)
4. effectiveness (improved performance because of enhanced behaviors)
Usually, the farther your evaluation information gets down the list, the more useful is your evaluation.
Unfortunately, it is quite difficult to reliably get information about effectiveness. Still, information
about learning and skills is quite useful.
When analyzing data (whether from questionnaires, interviews, focus groups, or whatever), always
start from review of your evaluation goals, i.e., the reason you undertook the evaluation in the first
place. This will help you organize your data and focus your analysis. For example, if you wanted to
improve your program by identifying its strengths and weaknesses, you can organize data into pro-
gram strengths, weaknesses and suggestions to improve the program. If you wanted to fully under-
stand how your program works, you could organize data in the chronological order in which clients go
through your program. If you are conducting an outcomes-based evaluation, you can categorize data
according to the indicators for each outcome.
Basic analysis of "quantitative" information (for information other than commentary, e.g., ratings,
rankings, yes's, no's, etc.):
1. Make copies of your data and store the master copy away. Use the copy for making edits, cutting and
pasting, etc.
2. Tabulate the information, i.e., add up the number of ratings, rankings, yes's, no's for each question.
3. For ratings and rankings, consider computing a mean, or average, for each question. For example,
"For question #1, the average ranking was 2.4". This is more meaningful than indicating, e.g., how
many respondents ranked 1, 2, or 3.
4. Consider conveying the range of answers, e.g., 20 people ranked "1", 30 ranked "2", and 20 people
ranked "3".
Interpreting Information:
1. Attempt to put the information in perspective, e.g., compare results to what you expected, promised
results; management or program staff; any common standards for your services; original program
goals (especially if you're conducting a program evaluation); indications of accomplishing outcomes
(especially if you're conducting an outcomes evaluation); description of the program's experiences,
strengths, weaknesses, etc. (especially if you're conducting a process evaluation).
2. Consider recommendations to help program staff improve the program, conclusions about program
operations or meeting goals, etc.
3. Record conclusions and recommendations in a report document, and associate interpretations to
justify your conclusions or recommendations.
An example of evaluation report contents is included later on below in this document. Click Contents
of an Evaluation Plan but, don't forget to look at the next section "Who Should Carry Out the Evalua-
tion".
If no outside help can be obtained, the organization can still learn a great deal by applying the methods
and analyzing results themselves. However, there is a strong chance that data about the strengths and
weaknesses of a program will not be interpreted fairly if the data are analyzed by the people responsi-
ble for ensuring the program is a good one. Program managers will be "policing" themselves. This cau-
tion is not to fault program managers, but to recognize the strong biases inherent in trying to objec-
tively look at and publicly (at least within the organization) report about their programs. Therefore, if
at all possible, have someone other than the program managers look at and determine evaluation re-
sults.
Pitfalls to Avoid
1. Don't balk at evaluation because it seems far too "scientific." It's not. Usually the first 20% of effort
will generate the first 80% of the plan, and this is far better than nothing.
2. There is no "perfect" evaluation design. Don't worry about the plan being perfect. It's far more im-
portant to do something, than to wait until every last detail has been tested.
3. Work hard to include some interviews in your evaluation methods. Questionnaires don't capture
"the story," and the story is usually the most powerful depiction of the benefits of your services.
4. Don't interview just the successes. You'll learn a great deal about the program by understanding its
failures, dropouts, etc.
5. Don't throw away evaluation results once a report has been generated. Results don't take up much
room, and they can provide precious information later when trying to understand changes in the pro-
gram.