AVALIAO INSTITUCIONAL & O desafio da implantao da cultura da autoavaliao (Autoavaliao e CPA)

Instituto Federal de Educao, Cincia e Tecnologia de Santa Catarina IFSC Eixo I - Criao de estratgias e metodologias para o trabalho das CPA 2. Autonomia e influncias sobre o modo de atuao. CLEVERSON TABAJARA VIANNA (Instituto Federal de Educao, Cincia e Tecnologia de Santa Catarina IFSC) RESUMO Avaliar e julgar fazem parte do cotidiano. O processo de avaliar, no ingnuo, permeado no apenas por teorias, mas tambm por ideologias, implicitamente uma demonstrao de poder, com diversas variveis subjetivas, muitas das quais incontrolveis no processo de avaliao. O modelo brasileiro de avaliao institucional no ensino superior, um universo robusto e complexo de instituies, onde h colees de exames intrincados e classificaes transformadas em grandes eventos da mdia. Envolvendo milhares e milhares de estudantes, centenas e Instituies de Ensino Superior (IES), a avaliao em cursos de graduao no Brasil regulamentada pelo governo, e conduzida pelo Conselho Nacional de Avaliao Superior CONAES.O objetivo deste trabalho analisar e detalhar a implantao do processo de autoavaliao das Instituies de Ensino Superior no Brasil, contribuindo teoricamente na reviso do tema, evidenciando a cultura da autoavaliao e trazendo tona as principais dificuldades para a implantao das Comisses Prprias de Avaliao e apresentando os possveis pontos de contorno destas dificuldades, servindo assim de subsdio sua instalao e formao (contribuio prtica). Percorrendo a histria da avaliao e trazendo o pensamento de muitos autores, este trabalho revisita o campo e os fins da avaliao institucional em suas funes regulatrias e de aperfeioamento; valendo-se de uma pesquisa bibliogrfica, descritiva e qualitativa, utilizando o mtodo de levantamento de fontes primrias e secundrias, como relatrios, relatos, entrevistas e constataes do autor (participante de CPA). Ainda com base em experincias documentadas em artigos cientficos e ao direta do autor na CPA, este trabalho destaca os desafios e solues para a constituio das comisses, fornecendo uma contribuio prtica para a autoavaliao e CPAs. um tema fascinante que gera mltiplas discusses, e que adequadamente conduzido fornece informaes teis para as instituies que buscam a excelncia. Palavras Chave: Desafios do Sistema Nacional de Avaliao do Ensino Superior SINAES: Autoavaliao Institucional; Comisso Prpria de Avaliao CPA.

INTRODUO

Contemplando aspectos formativos, punitivos, polticos e repercusses sociais, a avaliao institucional, percorreu um longo caminho at os dias de hoje, perpassando diversos conceitos apropriados das mais diversas reas cientficas. A avaliao do Ensino Superior no Brasil e o credenciamento das Instituies de Ensino Superior IES atribuio do Estado, atravs do Sistema Nacional de Avaliao do Ensino Superior SINAES. A autoavaliao entendida no SINAES como um processo cclico, criativo e renovador de anlise e sntese das dimenses que definem a instituio.
O processo contnuo de auto-avaliao ser um instrumento de construo e ou consolidao da cultura de avaliao na instituio, em que a comunidade interna se identificar e se comprometer. O carter formativo deve possibilitar o aperfeioamento tanto pessoal dos membros da comunidade acadmica, quanto institucional, pelo fato de fazer com que todos os envolvidos se coloquem em um processo de reflexo e autoconscincia institucional (SINAES, 2004).

Formar uma cultura da autoavaliao nas Instituies de Ensino Superior (IES) um dos desafios do SINAES, pois o contexto geral da Avaliao deve ser formativa e no apenas punitiva (descredenciamento). Assim autoavaliao institucional, a qual faz parte do processo avaliativo, deve preceder a avaliao externa (avaliadores do MEC) e deve ser desenvolvida internamente atravs das Comisses Prprias de Avaliao CPAs envolvendo toda a comunidade escolar. No Brasil, o ensino superior tem suas regras estabelecidas no Sistema Nacional de Avaliao do Ensino Superior (SINAES), onde os diversos stakeholders1 atuam em contnua interao: A comunidade acadmica com os discentes, docentes e tcnicos, clamando por seus espaos e a busca e manuteno do poder. A sociedade, procurando a integrao entre mercado de trabalho e academia, e tendo um sistema gigantesco e complexo como o ensino superior no Brasil, procura fazer a distino entre as boas IES e as de desempenho abaixo do conceito definido como mdia quando surgem os diversos rankings cuja publicao pela imprensa um grande evento. O Governo, regulador e credenciador, estabelecendo megaeventos como o Exame Nacional do Ensino Mdio (ENEM).. Iremos nesse trabalho detalhar e analisar a implantao do processo de autoavaliao das Instituies de Ensino Superior no Brasil apresentando: a trajetria histrica do processo de avaliao; evidenciar o desafio da cultura da autoavaliao entre os principais desafios iniciais QUADRO 1 Desafios iniciais do SINAES do SINAES (Quadro 1), includa Ter como centro, a avaliao institucional. a a implantao da Comisso Construir e integrar os instrumentos avaliativos nos Prpria de Avaliao CPA, diversos nveis (Federal, Estadual e Municipal) apresentando dificuldades e capacitando permanentemente os avaliadores. Consolidar a CTA e as CPAS buscando uma contornos da sua implementao. integrao da comunidade acadmica. A contribuio terica ser Buscar maior intercmbio e integrao com evidenciada pela reviso das organismos internacionais e o prprio Mercosul. principais literaturas no que tange Administrar, controlar e regular cursos e instituies e avaliao institucional e no observar os princpios da democratizao do acesso e aspecto prtico o estudo contribui permanncia do aluno na IES e as necessidades atuais e futuras da nao. com a descrio e anlise de Estabelecer um processo amplo, aberto e racional de diversos fatores encontrados no avaliar a avaliao. cotidiano da CPA, servindo assim como preparo para esses desafios, Fonte: Adaptado do Manual SINAES-MEC (2008)

bem como podendo se servir das possveis solues adotadas em outras IES que o texto apresenta, sem perder de vista a relevncia do tema ao remeter o estudo para os milhares de alunos concluintes, nas centenas de IES do Pas. Em Lima et al (2011,p.18) apresentado no III Seminrio de Pesquisa Interdisciplinar UNISUL, temos um ponto de vista a ser considerado:
Por entender que as IES so de natureza complexa, ambgua e anrquica, e que, em decorrncia deste contexto complexo, que se sugere a realizao de estudos que estejam voltados para o desenvolvimento metodologias para processo de construo da autoavaliao, de tal forma que, este processo represente de forma alinhada os anseios e os desejos de sua comunidade acadmica e institucional.

A abordagem aqui apresentada do processo de autoavaliao institucional, visa no apenas atender ao paradigma funcionalista dominante, mas trazer atravs da vivncia e experimentao ao participar das CPAs, um novo paradigma emergente, que conecta-se ao pensamento complexo, mostrando as diversas nuances que envolvem a avaliao, que vo alm de uma simples classificao de desempenho. 2 OBJETIVOS Este trabalho busca uma contribuio terica e prtica para todos aqueles que passam a se envolver com a Avaliao Institucional, especialmente no que tange autoavaliao. Apresenta uma rpida reviso terica sobre o tema, apresentando um histrico fora e dentro do Brasil, indicando suas origens e principais focos de discusso. A seguir apresenta a viso pratica da formao da CPA, seus desafios e conquistas. Tem como objetivo principal, evidenciar a importncia formativa da CPA dentro do contexto da avaliao institucional. Para tanto, apresenta trs objetivos menores de: Trazer discusso o referencial terico que trata da avaliao e seus aspectos doutrinrios e histricos; Evidenciar os aspectos conceituais na construo do processo de avaliao institucional e da autoavaliao no Brasil; Apresentar dificuldades e indicar possveis caminhos de contorno na formao, atuao e resultados das CPAs. 3 METODOLOGIA Trata-se de uma pesquisa de natureza aplicada na medida que indica processos e caminhos que possam ser utilizada no dia a dia, com objetivos descritivos e explicativos, valendo-se do mtodo observacional comumente utilizado pelas cincias sociais:
Por um lado, pode ser considerado como o mais primitivo e, consequentemente, o mais impreciso. Mas, por outro lado, pode ser tido como um dos mais modernos, visto ser o que possibilita o mais elevado grau de preciso nas cincias sociais. (GIL, 2008, p. 16).

Vale-se do mtodo explicativo, na medida que aprofunda o conhecimento da realidade porque explica a razo, o porqu das coisas. (GIL, 2010, p. 28). Ainda em Gil (2008) vale-se do mtodo documental, com dados primrios sem tratamento (documentos oficiais) e secundrios que j foram pesquisados (relatrios de pesquisas, tabelas). tambm bibliogrfica na medida que se vale de materiais existentes (livros, revistas, artigos) e utiliza um pequeno questionrio semiestruturado. Ao valer-se de estudos anteriores, utiliza-se mtodo comparativo ao ocupar-se da explicao dos fenmenos e permite analisar o dado concreto, deduzindo desse os elementos constantes, abstratos e gerais. (LAKATOS; MARCONI, 2003, p. 107). um estudo de caso, com a participao do autor na CPA, coleta e analisa informaes sobre o grupo, com o fim de estudar aspectos variados que sejam objeto da 3

pesquisa. Yin (2005, p.28), ressalta que a utilizao do estudo de caso torna-se adequada quando se pretende investigar o como e o porqu de um conjunto de eventos contemporneos. Sobre a forma de anlise dos dados, Godoy (1995, p.33) afirma que com a abordagem qualitativa possvel obter dados descritivos sobre pessoas, processos interativos, atravs do contato direto do pesquisador com a situao a ser estudada; ainda afirma Godoy: Os pesquisadores qualitativos esto preocupados com o processo e no simplesmente com os resultados ou produto. (1995, p.63) 4 AVALIAO E AVALIAO INSTITUCIONAL (brevssima reviso)

4.1 Consideraes sobre o campo e sua abrangncia

A avaliao ir expressar as aes, atitudes e valores e tanto de indivduos, quanto comunidades, ou a prpria cincia em si; se possvel dever contemplar as suas mltiplas dimenses e inter-relaes. Sempre produzir efeitos ao longo do tempo, sejam eles polticos ou pedaggicos. Uma parte importante da avaliao se refere aos testes aplicados, questionrios a responder e os resultados obtidos esta o que chamase de parte tcnica da avaliao; logo, medir faz parte da avaliao, mas a avaliao no se esgota na medio. Isto significa que no basta atribuir-se notas, pesos e conceitos. Sendo fruto da complexidade crescente da Sociedade, a avaliao passou a partir do sculo XVIII a ser estruturada visando estabelecer requisitos de objetividade, transparncia, legitimidade e seleo, apresentando muitos significados polticos e sociais; surge em 1808, o DIPLOME DU BACCALAUREAT GENERAL2. Com a era da administrao cientfica surgiram os testes que atravs do rigor e transparncia, deveriam legitimar saberes, profisses e indivduos e definindo hierarquias de poder e privilgios. (REED, 2012, p.61-97) e (CHIAVENATTO, 2008, Parte 1). Iniciada com Tyler e Merton (1940-1950) a avaliao adquire aspectos quantificveis e no final dos anos 90 torna-se uma indstria profissionalizada com revistas, prmios, convenes e padres. A qualidade da avaliao geral tambm aperfeioada atravs da contribuio das demais cincias como psicologia, filosofia, etnografia, fenomenologia, antropologia social, etc. ; docimologia3, psicometria4, edumetria5, bibliometria6, passam a fazer parte das medies. Em 1965 o presidente americano Lyndon Johnson e o Senador Robert Kennedy, estabelecem nos Estados Unidos a Lei sobre Educao primria e secundria formalizando a avaliao. Os anos de 60 marcaram pela crena de que os conflitos sociais, a pobreza e outras mazelas, seriam resolvidos com investimentos macios nas polticas sociais. A crise mundial do petrleo (1973) acelera a emergncia do neoliberalismo tendo seus expoentes em Reagan e Tatcher e, surgem os profundos cortes nos programas sociais e na educao7. A partir da o mercado o rei, valorizando a competncia, as habilidades, a eficincia e provendo a accountability8; prolifera a padronizao de testes e mesmo de currculos, permitindo a imediata comparao e exames de abrangncia nacional e facilitando o aspecto regulatrio do Estado (accreditation9). O financiamento de programas sociais, associados aos organismos estrangeiros de fomento, estavam todos impregnados pelas demandas de mercado, da empregabilidade e da competitividade mundial, representando certamente o interesse dos pases frente destas entidades, gerando a dominao econmica-ideolgica e o Estado Avaliador. Foram surgindo ento as fundaes, os cursos de curta durao, a terceirizao e estabelecidos dezenas de indicadores relacionando despesas/PIB, crdito por nvel de ensino, taxas de acesso, despesas por aluno, relao alunos/professor, etc. A

avaliao de um modo geral, se especializa e passa a ser importante instrumento que valida (ou no) as transformaes (e medidas impopulares) promovidas pelo governo, quase sempre aplicadas, produzidas e interpretadas pela tecnocracia de planto. Ao recolher e sintetizar evidncias, o processo avaliativo uma investigao aplicada visando coletar e sintetizar as evidncias e provendo concluses sobre a situao em que se encontram os assuntos, o valor, o mrito, o significado, ou qualidade de um programa, produto, pessoa, poltica, proposta, ou plano. o aspecto de valor que distingue a avaliao de outros tipos de investigao, tais como a pesquisa cientfica bsica, epidemiologia clnica, jornalismo investigativo, ou mesmo pesquisas. 10 (Fournier , 2005, p.140) apud (Patton, 2008, p.4). Neste perodo, praticamente desaparece a avaliao formativa, construtora de relaes e ilaes e que gera a autonomia do pensar; em seu lugar se estabelece o controle pela avaliao e atende-se ao modelo produtivo de mercado, o qual passa a dominar o pensamento da academia e sua pedagogia.

4.2

A linha do tempo

A seguir apresenta-se um resumo histrico-bibliogrfica: QUADRO 2 - Autores e os seus conceitos centrais relativos avaliao. Autor Temas centrais
1950 - Ralph Tyler A avaliao est sempre associada a objetivos. Avaliao um processo para determinar at que ponto os objetivos educacionais foram realmente alcanados. 1963 - Cronbach A avaliao deve produzir dados que servem Gesto O juzo a ser emitido est intrinsecamente ligado aos indicadores selecionados. Avaliao a coleta de informaes com vistas tomada de decises 1969 - Stake Tem como objetivo identificar no Objeto: Substncia; Funo e Valor Tem como propsitos: Descrever, mritos e demritos Tem como consequencias: Identificar causas/efeitos; Tirar concluses; Prever o futuro 1981 Join Definio predominante comit (conjunto de Univ. americanas): Comitee on Carter investigativo Standards for Natureza sistemtica Evaluation Objetos tem valor intrnseco e de mercado Investigao sistemtica do valor e do mrito de algum objeto 1983 Evaluations OBJETIVOS: Models Julgar o valor (que mutvel) e est no domnio do prprio objeto e de quem o Daniel Stufflebeam estuda. Estudo orientativo para decises. USO: Proativo (aperfeioar) e retroativo (julgar) ; Deve servir de prestao contas e atribuio de responsabilidades UTILIDADE: Formativa (interfere no processo) e somativa (resultado) Avaliao educacional o estudo concebido e conduzido para ajudar o publico a julgar e aperfeioar o valor de algum objeto educacional 1986 Stephen um processo de legitimao poltica na medida que no estabelece verdade e sim Kemmis abre a participao do grupo no debate. Avaliao o processo de reorganizao de informaes e argumentos que permitam aos indivduos ou grupos participarem do debate critico sobre programas especficos. 1989 Guba e No existe maneira correta de definir, pois isto impor um cenrio (compreenso Lincoln: Fourth da realidade) o que congela procedimentos e objetivos. Generation Evaluation uma construo mental no havendo importncia se corresponde ou no realidade. 1991 Michael Avaliao: O processo avaliativo determina o valor ao invs de estud-lo. Sriven avaliado pelo que se constri a partir do que encontrado. Ao Avaliar, ajusta ao molde aquilo que encontra e difere da Mensurao que tem apenas natureza descritiva

CONCEITOS EM DESTAQUE DAVID NEVO Investigao sistemtica do valor e do mrito de um objeto Joint Comitee Avaliador deve emitir juzos, no existe uma neutralidade deste. H um valor intrnseco da organizao. CRONBACH Conduzir um estudo sistemtico do que ocorre com a instituio com o objetivo de Stanford Evaluation melhorar e instrumentalizar outros programas e instituies. Consortium O avaliador no tem o papel de Juiz. Michael Quinn Caractersticas: Mtodos qualitativos; Avaliao formativa; Promover discusso Patton com os interessados (stakeholders) UtilizationComo definimos avaliao e que nome dar a uma avaliao especfica so Focused Evaluation questes que precisam ser discutidas, classificadas e negociadas. O que no negocivel que a avaliao esteja baseada em fatos, intencional e sistemtica NO BRASIL Jos Dias Sobrinho Um empreendimento sistemtico que busca a compreenso global da universidade, pelo reconhecimento e pela integrao de suas diversas dimenses Isaura Belloni a) Preocupao com o processo educacional da avaliao como meio para o despertar da conscincia. b) Processo constante de negociao em todas as fases (deciso, implementao e uso dos resultados). Avaliao institucional... um empreendimento que busca a promoo da tomada de conscincia sobre a instituio Ver artigo em EDUCACIN SUPERIOR y SOCIEDAD - VOL 5 N 1 y 2: 51-70, 1994 - Proposta de avaliao institucional da Universidade de Braslia

Fonte: Jos Dias Sobrinho e Dilvo Ristoff (2002, p.21 -31)

As universidades, ao longo dos anos perdem seu conceito como centro de pesquisa, cincia e saber, assumidos pelo mercado. O enriquecimento cultural da humanidade: Ao lado das duas finalidades bsicas11 a reforma da universidade brasileira no pode perder de vista a finalidade complementar de ser instrumento do enriquecimento cultural de toda humanidade. (BUARQUE, 2005, p.24) Boaventura de Sousa Santos (2004) nos recorda do papel da Universidade e de como ela se colocou a servio da injustia social.
... Ou seja, a injustia social, contem no seu mago uma injustia cognitiva. Isto particularmente bvio escala global j que os pases perifricos, rico em saberes no cientficos, mas pobres em conhecimento cientfico, viram este ltimo, sob a forma da cincia econmica, destruir suas formas de sociabilidade, as suas economias, as suas sociedades indgenas e camponesas, o seu meio ambiente12. (SANTOS, 2004, p.76)

O neoliberalismo conduziu a universidade diretamente para o mercado e produo, onde o sucesso pessoal, a formao tcnica, a busca da eficincia funcional, e dos resultados imediatos fortaleceu ainda mais o paradigma dominante. Deve a universidade apenas produzir indivduos especialistas para o mercado, ou tem algo mais substantivo a ser considerado? Ao voltar-se para a sociedade e para o indivduo, a universidade deixa de olhar apenas a tcnica e a cincia e, passa a apreciar toda a vida humana em sua forma substantiva: Uma teoria da vida humana associada substantiva quando a razo, no sentido substantivo, sua principal categoria de anlise Ramos (1989, p.26). Mas a universidade pblica, submissa e dependente dos aspectos econmicos se curva fora das ideologias e paradigmas: Assim, os indivduos conhecem, pensam e agem segundo os paradigmas inscritos culturalmente neles. Os sistemas de ideias so radicalmente organizados em virtude dos paradigmas. (MORIN, 1991:188).

4.3 Avaliao no Brasil

A avaliao apresenta incontveis nuances e vrios caminhos, mas a aparente nobreza deste processo est no fato de transform-la em algo til ao aperfeioamento; quando colocada neste contexto, ela deixa de ser punitiva, classificatria ou um premio, 6

para ser formativa, fornecendo subsdios FIGURA 1 - Avaliao das IES para a evoluo da IES. Ao servir a comunidade, a universidade tende a buscar a excelncia na produo, sistematizao e democratizao do saber, e neste caso o papel principal da avaliao institucional deve ser o de conduzir ao aperfeioamento constante dos empreendimentos humanos. Para Merion Bordas (1994) a universidade, deve gerar respostas efetivas aos problemas mais concretos que sufocam a Fonte: Adaptada dos Instrumentos de Avaliao do Roteiro de Avaliao do MEC-INEPsociedade. CONAES (publicado a partir de 2004) Quatro aspectos envolvem a avaliao: a preocupao com a tomada de conscincia sobre a instituio; o seu papel como instrumento aos tomadores de deciso; o carter formativo e de aperfeioamento individual e institucional; participao coletiva em todo o processo avaliativo (Isaura Belloni, 1980, 1995). Neste processo avaliativo, coletar dados, para Dborah Founier (1995) papel fundamental do avaliador. H em toda avaliao uma evidente demonstrao de poder e cada pergunta formulada no ser jamais inocente; de se supor que sempre tenha a intencionalidade de fixar valores.

4.4 SINAES
Neste inicio da apreciao do tema, apresentam-se algumas das mais importantes caractersticas, pois as discusses sobre avaliao no Brasil passaram por diversas etapas e culminaram (2003) com o SINAES, o qual representava o modelo conceitual dos debates da poca (Quadro 2), sobre o tema avaliao, embora a partir da sofra a influncia forte dos preceitos utilitaristas afirmados com a legislao. Sua gesto pela Comisso Nacional de Avaliao da Educao Superior CONAES constituda por 13 membros, dos quais cinco representantes de rgos governamentais (INEP, CAPES, MEC), cinco indicados pelo ministro da Educao e trs representantes da comunidade acadmica. Alm da avaliao externa o sistema prev a avaliao interna ou autoavaliao que dever anteceder externa. Estas avaliaes so conduzidas internamente por uma comisso autnoma em relao aos conselhos e colegiados internos, chamada CPA (Comisso Permanente de Avaliao).

4.5

Indicadores Educacionais

Algumas siglas muito conhecidas, representam os indicadores entre os quais, trazemos alguns ligados diretamente ao tema: Enade - leva em conta a nota dos ingressantes e concluintes nos cursos de graduao. Composto de prova dos alunos e os questionrios: a) de impresses dos estudantes sobre a prova; b) socioeconmico; c) do coordenador do curso. Veio a substituir o Provo que existiu de 1996 a 2003. O Enade aplicado todos os anos a parte das graduaes do pas e os cursos so avaliados a cada trs anos. IDD (Indicador de Diferena entre os Desempenhos) procura mostrar o quanto a IES contribuiu para a formao do aluno, buscando isolar o efeito ingresso.

CPC (Conceito Preliminar de Curso) um indicador que considera diversos aspectos: alunos, docentes, a infraestrutura e prticas pedaggicas. H que observar que os ranqueamentos produzidos pelo ENADE, embora tenham seus efeitos pirotcnicos fascinantes, no trazem fidelidade aos preceitos avaliativos bsicos, neles includos o orientativo e formativo; a nota do ENADE deve ser sempre parte de um sistema global.

FIGURA 2 - Objetivos da Autoavaliao

4.6

Autoavaliao e CPAs

Um dos primeiros passos para o interessado inteirar-se no tema especfico da autoavaliao ler o Roteiro de Avaliao do MEC-INEP-SINAES, o qual inicia com a autoavaliao dirigindo-se aos professores, estudantes e tcnicos, encontraremos as diversas consideraes, recomendaes e normativas relativas ao tema. Roteiro e Diretrizes: Inicia o documento, recordando os princpios do SINAES (RISTOFF, 1994) e os seus instrumentos (Figura 2). A seguir o manual, considera as caractersticas do processo avaliativo o qual deve ter o carter formativo, visando sempre o aperfeioamento dos agentes. Naturalmente para que isto possa ocorrer fundamental a participao efetiva da comunidade interna gerando a autoavaliao e avaliao externa, produzida pelos avaliadores externos. A incorporao destes processos e mtodos de Avaliao vida da IES tende a produzir conhecimentos, identificando pontos fortes e fracos e servido para questionar as causas dos problemas. Enquanto as dificuldades so vencidas, aumenta a capacidade tanto dos docentes como os tcnicos e proporciona um aumento da conscincia pedaggica. Presta contas sociedade a qual em conjunto julga a relevncia social das atividades e produtos daquela instituio de ensino superior. Essa instituio, enfrenta uma crise de legitimidade, porque a prpria condio do conhecimento como bem social questionada, pela incorporao da lgica de mercado a mltiplos aspectos da vida social (Barreyro, 2003). H que destacar o conceito de avaliao interna, explicitado no documento, para o qual cabe leitura, releitura e reflexes:
A avaliao interna um processo contnuo por meio do qual uma instituio constri conhecimento sobre sua prpria realidade, buscando compreender os significados do conjunto de suas atividades para melhorar a qualidade educativa e alcanar maior relevncia social.[...] um processo cclico, criativo e renovador de anlise, interpretao e sntese das dimenses que definem a IES. (SINAES, 2008)

Fonte: Adaptado do Roteiro de Avaliao do MEC-INEP-CONAES (SINAES, 2004)

Para empreendimento de tal monta, muito empenho, constncia e esforos sero necessrios, tanto na PREPARAO, DESENVOLVIMENTO e CONSOLIDAO do processo; neste aspecto alguns requisitos so fundamentais como: A Coordenao; a participao efetiva da comunidade; o compromisso dos Dirigentes; validade e confiabilidade de mtodos e o uso efetivo dos resultados. A avaliao interna composta de quatro dimenses e dividida em ncleos representativos, que permeiam estes eixos; assim cada eixo Ensino, Pesquisa, Extenso e Ps Graduao apresentam ncleos bsicos, optativos e documentos a serem gerados.

RESULTADOS E DISCUSSOES

5.1 Comisso Prpria de Avaliao Fases de ao

O primeiro passo a criao da CPA a qual cabe ao dirigente mximo da Instituio (Reitor) estabelecer a relevncia do tema e promover o esprito de necessidade e urgncia. Criar a massa crtica, promover, apoiar e nomear a comisso fundamental. Seu interesse deve ser manifestado no apenas na criao da CPA, mas no acompanhamento de suas atividades e no provimento dos meios para sua efetiva atuao local fsico, atribuio de tarefas, suporte tcnico, capacitao, etc. Os objetivos das CPAs so decorrentes dos objetivos da autoavaliao: Avaliar a sua Instituio de forma Global e Integral, estabelecendo todo o seu cronograma de eventos e atravs deles verificar a aderncia das atividades exercidas com a misso e as polticas institucionais estabelecidas; promover a prtica institucional da avaliao como um mecanismo de melhoria de qualidade da instituio fazendo com que se tenha a participao efetiva da comunidade acadmica. Uma de suas tarefas iniciais regulamentar seu funcionamento, aprovando este regulamento nas instancias superiores (na internet voc vai encontrar diversos regimentos internos de CPAs). Recorda-se neste momento um dos princpios basilares da avaliao, que a autoavaliao, quando em PRINCPIOS do PAIUB13 (RISTOFF, 1994): O que se busca, repito, a instalao da cultura da avaliao para que se perceba diuturnamente a importncia da preocupao com processos e resultados. (grifo nosso). Para atingir estes objetivos maiores, necessria uma preparao, pois contar com o acaso bastante temerrio, desta forma a fase preparatria envolve inmeras tarefas, entre as quais o conhecimento de todo este processo, como descrito neste artigo. Outro fator a capacitao tcnica no que se refere aos requisitos tcnicos para elaborao de questionrios, disponibilizao, tabulao e interpretao de dados. Quase sempre o conhecimento estatstico importante, o uso de ferramentas para gerao de grficos e uso de softwares para elaborao de questionrios. Outra fase organizar os materiais disponveis, planejar e divulgar os eventos e promover todos os meios de sensibilizao da comunidade acadmica (folders, apresentaes, jornais internos, manuais, etc.). Os cuidados na elaborao dos questionrios so extremamente relevantes, visto que no podem ser excessivamente longos a ponto de cansar o pesquisado, nem curtos em demasia, deixando lacunas nos objetivos a serem alcanados. Chega-se ao momento de pico das atividades externas, onde todo o planejado colocado em ao para a comunidade coleta dos dados. Depois dos ensaios, da preparao, do samba enredo necessrio colocar a escola na avenida, e so momentos cruciais, onde no se pode atravessar o samba, nem perder o ritmo e o timing; ou seja, os formulrios eletrnicos vo ser acessados ou os em papel sero preenchidos. Cada local, cada curso, cada sala de aula dever ser acompanhada e as dvidas devem ser dissipadas pela comisso em tempo real, significando que tudo esteja bem planejado e em cada local se possa ter pessoal capacitado para apoiar os eventos. coleta de dados seguir-se- a analise e consistncia de dados procedendo-se aos relatrios parciais e relatrios de fechamento. Dados interpretados e unidos aos demais instrumentos vo gerar as informaes a serem analisadas. Chega-se assim ao detalhamento do processo avaliativo interno com a elaborao dos manuais, apresentaes e demais documentos, inclusive os relatrios finais que serviro para alimentar o site do MEC (com vistas avaliao externa).

Para que atinja seus objetivos temos a sua consolidao, o debate a ser promovido, ou seja o processo crtico interno a cada campus, cada curso, cada funo, cada local, com vistas a melhoria de qualidade, apropriando este conhecimento para a cultura da organizao.

5.2 CPAs Formao e Estruturao

5.2.1 Constituio e Autonomia No aspecto inicial, da constituio da CPA, o principio da autonomia da comisso, pode esbarrar em algumas dificuldades polticas e disputas de poder, uma vez que a comisso avalia aspectos docentes-pedaggicos e tambm a gesto; atuar com autonomia, no necessariamente significa independncia, pois depender sempre a CPA de toda uma infraestrutura proporcionada pela alta administrao. Isto poder transparecer em alguns momentos como uma troca de favores, prejudicando sobremaneira os objetivos maiores. O outro aspecto constitutivo se refere representatividade (e legitimidade) da comisso, o que significa que no basta uma indicao inicial dos membros, preciso um processo aberto que permita sensibilizar e trazer tona o processo poltico que venha a estabelecer os representantes (docentes, tcnicos e estudantes). A sensibilizao ir se valer dos diversos meios disponveis, mas todos aqueles que convivem no ambiente acadmico sabem das dificuldades para a alocao de eventos que no sejam diretamente ligados ao ensino; desta forma, professores interessados e com disponibilidade de tempo, tcnicos capacitados e disponveis e mesmo alunos, tero muita resistncia em deixar sua zona de conforto se no existir um real envolvimento de todos. As discusses em reunies e o contraditrio que iro gerar o volume motivacional, devendo-se abrir espao para que elas existam e procurando a conciliao, com uma agenda mnima consensual. 5.2.2 Aspectos formativos O conhecimento conceitual sobre Avaliao da comisso, com a leitura dos diversos materiais (tal como este trabalho), condio sine quae non para que seja vista como um eficaz instrumento para o aperfeioamento institucional. Alm do cenrio interno na Instituio, outros estudos14 se referem, o distanciamento do CONAES e outros organismos das comisses prprias de avaliao das instituies, ou seja, os avaliadores externos, so formados, capacitados, avaliados e remunerados externamente, o que no ocorre com os avaliadores internos. Ao final do processo interno de autoavaliao, os relatrios finais produzidos so encaminhados ao rgos externos competentes (postados via upload), mas permanece o distanciamento, no existindo qualquer feedback sobre o documento. Em resumo h evidencias de um dilogo insuficiente entre CPAs e CONAES-INEP, no apenas com o feedback final, mas inclusive sobre as diversas publicaes, notas tcnicas, normativas, etc. Ou seja, da parte do governo, a implementao de mecanismos de comunicao tais como redes sociais, emails, comunicaes para as CPAs inexistente, embora fcil de ser implementada, especialmente considerando os recursos proporcionados pelo sistema BASis15. Outro ponto de fragilidade o aspecto formativo-tcnico dos membros da CPA que deve iniciar com a familiaridade dos princpios e conceitos do SINAES, e a seguir com o apoio tcnico das TICs (Tecnologias de Informao e Comunicao) para a elaborao de questionrios, documentos, tabelas, grficos, relatrios, etc. onde geralmente falta gente habilitada tanto na captao, publicao, anlise, estatstica e 10

produo de materiais internos ou mesmo no caso de existncia destas pessoas, elas esto sem disponibilidade adequada. 5.2.3 Inexistncia da Cultura de autoavaliao institucional Tambm h que ressaltar que a inexistncia da cultura de avaliao nas IES deixa uma grande lacuna, quando se trata de documentos relativos ao processo, inclusive a precariedade dos disponveis (inclusive PDI e PPI) gerando um ciclo vicioso. Decorrente de obrigatoriedade legal, dos conflitos de poder, ou de incompetncia tcnica e formativa da comisso, inexiste muitas vezes as condies mnimas de trabalho, envolvendo espao fsico, logstica, estrutura e materiais, equipamentos e condies de trabalho. Observe que embora os membros da CPA possam ser transitrios, importante que estas condies de funcionamento persistam ao longo do tempo, criando as condies para a transmisso do conhecimento e incorporao cultura da empresa; ou seja, preciso que tenham mesas, cadeiras, computadores, arquivos onde possam permanentemente se reunir. Alie estes fatores resistncia a mudanas e inrcia para movimentar as IES devido aos entraves legais, e ento teremos um grande desafio.

5.3 Autoavaliao um grande desafio

Para se chegar autoavaliao preciso ter a clareza do que a avaliao e do que avaliao externa: Como visto anteriormente a avaliao consiste num processo sistemtico e estruturado de revisar o existente determinando seu valor e decidindo o que deve ser mudado ou melhorado. Neste caso, temos dois grupos de processos, os externos e os internos ou autoavaliao. A avaliao externa independente e feita por algum externo instituio, normalmente uma comisso de avaliadores, e que avalia todo o conjunto institucional de acordo com parmetros e objetivos estabelecidos externamente (de conhecimento do avaliado) e que quase sempre tem carter coercitivo. A autoavaliao um processo reflexivo interno, onde um grupo avaliativo interno define os propsitos (imediatos, mdio e longo prazo) do trabalho, definem como o trabalho ser feito, quem estar envolvido e como utilizar os resultados obtidos. Quase sempre tem um carter formativo. Segundo A Guide to Self-Evaluation, surgem as perguntas bsicas devem ser respondidas: O que estamos fazendo? Estamos de acordo com aquilo que nos propomos fazer? Como melhorar o que fazemos? (Clarke, 1996, p.1) Traduo nossa. FIGURA 3 - O processo de autoavaliao No fluxo (Figura 3) a avaliao externa dever ser precedida pela interna e a CPA que efetiva o processo avaliativo interno; mas acatar, analisar e melhorar o que se faz, deve ser um esforo constante e repetido da instituio como um todo.

5.4 Desafios passo a passo.

5.4.1 Passo 1 - Planejar No passo que o planejamento natural que quando voc saiba o porque est sendo feita a avaliao

Fonte: Adaptado de MEC/INEP e Clarke (1996, p.5)

11

seja muito mais fcil concordar sobre o que deve ser avaliado. Mas na realidade o que acontece que muitas vezes o objetivo, o porque no claro, uma vez que o conflito de interesses dos diversos stakeholders usual. Embora avaliar seja parte de nossa rotina, autoavaliar incomum pois significa refletir sobre as prprias aes, reconhecer as limitaes e quase sempre isto doloroso; ento a primeira dificuldade reconhecer as limitaes e a segunda e maior ainda estabelecer o que deve ser mudado, pois isto requer esforo e honestidade. improvvel que se possa conquistar uma posio melhor e perene, fortuitamente, quase sempre necessrio empenho, esforo e constncia. Observa-se que o planejamento e especialmente o cronograma que no contempla algumas folgas, ou um coeficiente de segurana, comumente fadado ao insucesso, porque durante o processo, os membros da equipe so solicitados a tarefas fora da CPA e que fazem parte do dia a dia da instituio. Como a funo na CPA no perene, do conhecimento do participante que poder atrasar suas obrigaes na CPA toda vez que for solicitado para atuar em outra atividade que faz parte da rotina da IES. Outro ponto desafiador a natural resistncia s mudanas e neste caso, uma das fontes importantes para orientar as organizaes nas mudanas, Harvard, com os 8 passos de Koter (2012) conforme observa-se no Quadro 3. Para colocar em movimento toda a estrutura organizacional em torno da avaliao quase sempre requerido um esforo, para deixar claros os valores e objetivos e compartilh-los com a instituio, visando minimizar situaes pontencialmente problemticas como: Alm dos processos institucionais regulares da IES, outro fator que drena o potencial humano disposio da CPA, so as necessidades particulares de cada membro que devem ser atendidas, tais como capacitaes, cursos internos e externos, programas de ps-graduao (especializao, mestrado e doutorado) que comumente requerem dedicao e tempo e que muitas das vezes representam uma retribuio financeira futura da qual o servidor/colaborador no ir abrir mo. Divulgar e tornar pblico estes cronogramas, datas limite, recursos envolvidos pode ser um bom fator para desencadear o processo de forma clara e evitar desculpas como desconhecimento e/ou no fui avisado disso. Olhando para aos aspectos organizacionais, temos a estrutura da gesto da IES, papis e atribuies, responsabilidades, processos de tomada de deciso, eficincia e eficcia, comunicao, uso de recursos, planejamento participativo e efetividade das decises tomadas e, todos so tpicos que podem vir tona, toda a vez que se fala em avaliao pois esto ligados QUADRO 3 - Passos de Kotter para liderar as mudanas diretamente ao poder, da que pode surgir o conflito entre Em seu livro liderando a mudana, Kotter enumera oito a administrao da instituio e pontos, apresentados aqui de forma sucinta: a equipe que implementar o 1. Estabelea um "senso de urgncia" (crise sinal de processo avaliativo interno. oportunidade); Dentre estes conflitos pode ser 2. Crie uma coalizo administrativa forte; 3. Desenvolva uma Viso de Futuro e Estratgia; citado: A equipe ajudar a mostrar 4. Comunique-se exaustivamente apresentando uma Viso das Mudanas (exemplifique); os pontos fracos da gesto 5. D poder aos envolvidos (remova obstculos); atual o que pode no ser 6. Realize conquistas a curto-prazo (vitrias imediatas); adequado especialmente se 7. Consolide os ganhos e vitrias e divulgue-os; tratando de cargos diretivos 8. Estabelea novas metodologias na organizao (integrar cultura organizacional) eletivos.
Fonte: Kotter (1997, 2012)

12

Decorrente do temor ocasionado pelo item anterior poder inexistir qualquer apoio logstico ao processo e equipe; lgico que o escalo superior no queira dar munio a quem vai deton-los. So comuns: No ter apoio logstico: Sala, materiais, equipamentos; No liberar os componentes das tarefas pr-existentes, fazendo com que a participao no processo seja um encargo adicional e desgastante, prejudicando o desempenho regular do envolvido. No proporcionar suporte tcnico adequado: Tecnologia da informao e Comunicaes, estatstica, softwares, etc. Desinformao o que produz conflitos entre as diversas reas da instituio (cursos, departamentos) e a CPA e muitas vezes gerando conflitos internos na prpria equipe. Embora a conduo do processo seja pela CPA (interna), esta poder necessitar de recursos externos, e pessoas, tais como especialistas no preparo de formulrios, questionrios, tabulao de resultados e estatstica, editorao e impresso, etc. A no liberao destes recursos implica na prtica na fragilidade da equipe, falta de confiabilidade dos resultados e na aniquilao do processo. Falta de habilidade do presidente da comisso em apresentar os dados de forma isenta e imparcial. Apresentar os dados comprovados fundamental; a avaliao no pode prescindir de dados fidedignos. Falta de interesse dos componentes da equipe uma vez que foram designados arbitrariamente para tal. Falta de habilidade da CPA e transmitir os valores e objetivos da Instituio e de como os resultados da avaliao podem conduzir a IES a patamares mais elevados. Maior interesse da administrao no ranking representado pelo provo que na evoluo da IES; o que significa: Do ponto de vista interno, investir o mnimo suficiente para manter o credenciamento da instituio e do curso e investir apenas no preparo da grande prova dos alunos, a qual detm toda a ateno da mdia o marketing. Dir-se-ia mais que isso, o TER sobrepujando o SER, quando os dois poderiam estar aliados; a aparncia vencendo o real. No caso das IES pblicas governamentais e especialmente as Federais, esta situao adquire outras conotaes, uma vez que o descredenciamento quase que impraticvel. Neste caso a comisso de avaliao interna (CPA) tem apenas papel Figurativo. Felizmente esta ideia de apenas aparncia praticamente inexistente nas IES pblicas. Falta de clareza por parte da CPA dos valores, objetivos e da metodologia a ser aplicada e que estes possam refletir a tica organizacional. Existe aqui o pressuposto de que os objetivos maiores da avaliao interna dentro da IES sejam formativos, proporcionando um aperfeioamento institucional servindo de base para a tomada de decises que impliquem em evoluo da instituio; claro que se o objetivo for apenas maquiar a Instituio para que obtenha uma boa pontuao junto aos avaliadores externos, isto ter outra conotao e outra abrangncia. Embora abordados cada um dos pontos de forma isolada, cabe ressaltar que todos estes tpicos atuam de forma concorrente e muitas vezes simultnea cada um dos componentes da CPA, o que evidencia que a natureza desta forma de pensar e agir no simples, e sim bastante complexa requerendo da coordenao esforos para manter o foco nos aspectos relevantes e/ou substantivos da autoavaliao. Novamente cabe recordar Ramos (1989) e Morin (2000), o primeiro quando evidencia a racionalidade substantiva e o paradigma multidimensional, ao invs de um 13

nico paradigma (econmico) voltado para o mercado e produo; j Morin nos apresenta que a realidade o pensamento complexo e no o pensamento simplista, que ora funde, ora separa (unir sem fundir, distinguir sem separar). Para Patton (2008) a avaliao deve estar voltada apara os objetivos da organizao e toda avaliao que no tenha como foco sua utilizao futura deve ser abandonada nem deve ser feita. Cabe observar que no modelo americano, o processo avaliativo para a acreditao16 por adeso voluntria e no obrigatrio como no Brasil17. 5.4.2 Passo 2: Implementar (executar o processo de autoavaliao) Nesta parte, no que tange s perguntas a serem conduzidas, questionrios, entrevistas, no SINAES, h uma srie de sugestes em cada uma das dimenses; no entanto alm dos objetivos explcitos h outra srie de perguntas implcitas no tema central, cuja formulao ir depender da experincia dos membros da CPA nas atividades de avaliao institucional. Ao conduzir o processo avaliativo, tenha claro como e quanto a equipe ir atingir seus objetivos e quais os critrios podem ser utilizados para saber se os resultados foram satisfatrios. Ao estabelecer estes critrios, voc est estabelecendo os indicadores. H tambm a necessidade da definio de quais informaes devem ser coletadas e como sero coletadas fundamental e deve estar completamente entendida por todos os membros da comisso, sabendo ainda que meios sero utilizados para obtlos e/ou elucid-los: questionrios, observaes, entrevistas, visitas. recomendvel que cada atividade realizada fora do mbito da comisso e que tenha a participao de outros envolvidos ou interessados, seja precedida de uma clara exposio de seus objetivos e tenha ao final, uma avaliao forma de como foi o encontro. Isto pode ser muito til para a readequao de reunies, estabelecimento de novos encontros ou mesmo como documentao do processo para futuras auditorias e necessidades de justificativas. Todas as concluses e sugestes devem ser registradas para anlise e avaliao posterior. 5.4.3 Passo 3: Resultados Antes de chegar aos resultados (coleta, tabulao e anlise) importante que saber de antemo como chegaremos a eles e como sero apresentados; ou seja se voc no pensou previamente em como apresent-los poder se deparar com informaes incompletas, incongruentes e inconclusivas, que no podero mais ser obtidas, a no ser com grande esforo adicional e certamente custos elevados. Como os recursos disponibilizados s CPAs, no so ilimitados, importante estar preparado; com o passar do tempo, a CPA ter aprendido com os erros do passado e este item ser minimizado em sua importncia. A divulgao dos resultados algo, fundamental e tambm deve ser planejado minuciosamente. O uso de arquivos digitais ou a mdia impressa necessria que significa que alm dos pontos tcnicos que iremos discutir, alguns aspectos de diagramao, padres da instituio, layout deve ser obedecido para que torne sua leitura agradvel e til. Os relatrios podem ter classificaes conforme sua destinao: INTERNO CPA: Completos contendo todos os dados. CIRCULAO INTERNA: Apresentando os resultados importantes CIRCULAO EXTERNA: Obedecendo aos critrios de regulao

14

Observando os relatrios das IES publicados e que so considerados adequados, pode-se destacar alguns requisitos que parecem ser comuns a todos; esta a estrutura comum de relatrio final: Introduo conceitual com arrazoado legal, histrico organizacional e descries gerais. Nesta etapa comum ser apresentada a estrutura organizacional da IES, os responsveis e a estrutura da CPA. Propsitos e objetivos, indicando dimenses, cronograma de execuo e a abrangncia do processo. Uso de diagramas esquemticos, e cronogramas. Foco, misso, viso (PDI, etc.) geralmente so abordados neste item ou no item anterior. As informaes coletadas, normalmente apresentadas atravs de tabelas e grficos indicativos e comentrios. A metodologia empregada. Resultados e concluses e/ou comentrios. Recomendaes: interessante observar que este item no ocorre em todos, pois h uma suposio de que estas recomendaes devem ser feitas nas reas envolvidas, onde cada curso, cada departamento, cada instituto, a partir dos resultados evidenciados no item anterior. H uma grande diversidade e alguns muito singelos sem qualquer contedo relevante (observado nos sites); aparentemente pelo que se observa h sempre uma reunio formal onde um resumo deste relatrio apresentado alta administrao. De forma predominante, estes relatrios so publicados no site da IES em formato digital e (muito provavelmente) sua verso impressa deve estar disponvel na biblioteca central da instituio (pesquisadas apenas 3 instituies e no foram encontradas) ou na prpria CPA. possvel observar que o trabalho no encerra com uma apresentao para a alta administrao, mas sim deveria promover encontros com a comunidade atravs de seminrios e outras apresentaes e a promoo de workshops com as diversas reas (cursos, departamentos, campi) com vistas a planejar e estabelecer metas de superao, que deveriam ser acompanhadas periodicamente. O trabalho real comea agora e no termina aqui, como comum acontecer. 5.4.4 Passo 4: Uso dos resultados Para Patton (2008), o uso dos resultados obtidos fundamental e neste quesito, entre os inmeros questionamentos surgidos, parece que temos alguns pontos comuns e velhos conhecidos nossos: O que aprendemos ou podemos aprender a partir dos resultados apresentados? Onde a Instituio est melhor ou pior? Quais nossos pontos fortes e fracos? Temos a possibilidade de um benchmark? Posso estabelecer um plano de ao? O que deve ser mudado; como; quando; quem est envolvido e quem so os responsveis? Como acompanhar as aes definidas para o melhoramento da instituio? Em princpio, este tempo dedicado ao aperfeioamento institucional um tempo nobre do processo; pois apenas indicar os pontos a serem melhorados no deve bastar; a preservar as conquistas j alcanadas, e fazer novas conquistas o fundamental. Isto pode nos levar a concluir que a CPA no deveria ser uma comisso eventual de vida efmera, nas deveria fazer parte da instituio de modo permanente. 5.4.5 Passo 5: Avaliando a autoavaliao. Em minha experincia pessoal, esta uma fase muito subjetiva, superficial e quase sempre dispensada; e porque isto ocorre?

15

Se observa que ao final do processo de coleta, tabulao e apresentao dos dados alta, esto os membros da CPA exauridos em suas energias, pois para a maioria dos membros, a CPA foi um encargo adicional. Todos querem voltar rotina. Prosseguir o trabalho, com workshops, viagens, deslocamentos diversos e enfrentar os diversos envolvidos, coordenaes, diretorias e chefias pode ser algo penoso e geralmente impensvel; mas observe que encerrar o trabalho por aqui, garante um sucesso parcial, sem estar comprometido com os resultados. Existem coisas simples que podem ser feitas para que possa aperfeioar o processo de autoavaliao e facilitar os trabalhos das CPA subsequentes, e que devem estar documentadas:
1. Quais dificuldades e facilidades encontradas e que solues foram adotadas. 2. O que/quem contribuiu para que chegssemos ao resultado atual? 3. O que no pudemos observar e que deveramos observar futuramente? 4. Nossa estrutura foi adequada? 5. A comunidade foi envolvida e participou satisfatoriamente? 6. Quando reiniciaremos este ciclo novamente? 7. Os resultados podero ser usados com eficcia? Os resultados foram utilizados? 8. O que recomendaremos para as futuras atuaes, relativos a: Encontros, workshops e seminrios. Capacitao e treinamento da equipe e dos envolvidos Cronogramas, divulgao e apresentao de resultados. Logstica e suporte. Processo decisrio interno Estruturao: Comisses, subcomisses, representatividade, etc. Papeis e responsabilidades

Uma forma simples de avaliar a efetividade da CPA observar a reincidncia dos pontos de um ano para outro; isto significa que pontos so abordados e apontados todos os anos, mas no existiu ao eficaz para modificar o status quo. Aparentemente esta autoavaliao da CPA deve ser feita periodicamente e no apenas ao final (quando j esquecemos muita coisa), desta forma parece lgico que ao final de cada um dos 5 passos apresentados, se faa uma reunio de avaliao da atuao da comisso. 6 CONSIDERAES FINAIS

6.1 O Fundamental: Pessoas, pessoas, pessoas ...

Na epgrafe deste trabalho, d-se o destaque seguinte frase de Halcolm:
H cinco variveis que so absolutamente crticas no uso da avaliao. So elas, em ordem de importncia: pessoas, pessoas, pessoas, pessoas, e pessoas. - Halcolm (in Patton, 2012, p.61 - traduo nossa)

Sendo pessoas o elemento realmente fundamental, apresenta-se neste final o comentrio da entrevista que foi feita com elementos componentes de CPA (anexo B) onde cabe destacar os aspectos positivos de que proporcionou aos participantes a oportunidade de um amplo conhecimento da instituio e novos vnculos profissionais. Igual destaque cabe ao apoio institucional presente, situao atual 18 e que diverge dos diversos estudos anteriores em outras instituies, a qual pode ser reflexo da instalao desta cultura, e da importncia da CPA. Interessante observar que no caso do IFSC, no apenas os cursos de graduao foram avaliados, mas todos os cursos tcnicos regulares, o que demonstra o interesse em conhecer a si mesmo. De uma lado o apoio institucional, de outro o individual dos membros, com forte disposio e conciliando a CPA com outras tarefas. Neste caso, h que ressaltar que muito do sucesso fruto da disposio e desprendimento individuais, pois mesmo com suas

16

atividades cotidianas, o servidor pblico comprometido busca conciliar tarefas e atender prioridades. Como pontos que merecem ateno surge no questionrio a questo do envolvimento discente, pois para os alunos (interessados diretos), se observa em conversas informais com dezenas deles, esta apenas mais uma obrigao que no traz resultados prticos. A participao fundamental e a razo simplista nos diz que podemos convidar a participar, mas no obrig-los; embora verdadeira esta afirmativa, falaciosa na medida em que cabe ao administrador pblico sensibilizar todas as partes interessadas para que participem e contribuam no processo. A administrao estratgica (top-down19), no cabe ao administrador pblico, pois efetivamente no se trata apenas de um negcio, com reas sistmicas, reas de negcios, clientes e fornecedores. No apenas uma boa prtica de governana e responsabilidade social da instituio; trata-se de uma instituio pblica, mantida com o dinheiro pblico e cujas polticas pblicas devem ser implementadas, dentro de uma gesto social (bottom-up20) na busca de uma cidadania deliberativa.
O processo da poltica deliberativa no fica restrito as corporaes parlamentares, mas orienta-se atravs da esfera pblica poltica fundada numa teoria de discurso, de pressupostos comunicativos e procedimentais, sob a qual o processo deliberativo surge por meio do melhor argumento, da ao comunicativa. (TENRIO, 1999, p.158)

Outro ponto a ser aprimorado se reporta ao fator financeiro, onde a CPA reclama Condies oramentrias independentes para que o contingenciamento de recursos no comprometa o funcionamento da CPA. Pessoas envolvidas nestas tarefas necessitam deslocar-se, alimentar-se, matrias de trabalho, etc. tudo isto precisa ser negociado, cada item individualmente, gerando desgastes desnecessrios e gerando por vezes a perda do foco principal o processo avaliativo.

6.2 E agora ?
Identidade, a organizao racional e burocrtica, seus objetivos so parte fundamental dos estudos organizacionais (REED, 2012) e refletem sua cultura organizacional e o principio de que a organizao social atribui racionalmente a cada indivduo sua funo tcnica cai por terra. Observa-se desta forma nas organizaes o que diz REED (2012, p.112): um emaranhado de atividades, delegaes e responsabilidades desconexas. Nas organizaes pblicas no seria diferente e por consequncia, tambm no nas Instituies de Ensino. Em Vianna (2011), dentre os desafios para o gestor da nova administrao pblica, encontramos Desenvolver a cultura da qualidade, a qual baseada na premissas de:
Apontar as caractersticas e valores das organizaes no Sculo 21 Distinguir cultura organizacional e cultura de servio Identificar os fundamentos constitucionais e gerenciais da cultura de qualidade no servio pblico. (VIANNA, 2011, p.108)

No h como ter qualidade, desenvolver valores se no possui uma avaliao crtica e permanente de sua atuao, eis a o fundamental numa Instituio de Ensino: No olharmos para a avaliao apenas do ponto da acreditao, mas do ponto de vista de aperfeioamento interno e da superao. Neste desiderato, percorremos os principais conceitos de avaliao, evidenciando os pensadores expoentes no tema. Ao aportarmos no Brasil, no adotamos o simples conceito reducionista e sim, trouxemos junto com os tericos a experincia prtica da CPA, servindo-nos de artigos anteriormente publicados sobre a atuao destas comisses. Vimos que a aplicao e a necessidade de um processo avaliativo, nunca inocente e est impregnado de poder; ou seja o avaliador dar maior peso aos pontos 17

que considera mais importantes, fazendo com que o avaliado responda (e atue) de acordo com seus pontos de vista. Vimos tambm que a despeito de evidenciar este poder, deve sempre estar apoiado em dados e fatos e seu ponto mais vulnervel o ser humano. Apresentamos a gnese do SINAES e os principais princpios observamos a sociedade, seu clamor para o ranqueamento e como este processo deixa de ser substantivo, na medida que no contempla as idiossincrasias de cada instituio; abordamos o antigo provo, o ENEM, e no que tange autoavaliao nos concentramos no aspecto conceitual do processo, na cultura organizacional da autoavaliao e na atuao cotidiana das CPAs. Com a autoavaliao, o processo avaliativo permite que o avaliado olhe para si mesmo, avalie sua real situao, melhore seus resultados e evolua, de modo que a avaliao externa seja um complementar ao que j feito. Cabe-nos constatar que a despeito de no estar incorporada cultura da instituio, a autoavaliao deixou de ser uma mera coleo de dados, e j supera a fase da informao transformando-se em conhecimento. No Instituto Federal de Santa Catarina (IFSC), a comparao dos resultados atuais, com experincias anteriores j demonstra que se est trilhando um novo caminho, inclusive avaliando no apenas os cursos de graduao, mas tambm os cursos tcnicos (alm da obrigatoriedade legal). Embora timidamente e ainda sem utilizar os resultados de forma rotineira, se percebe sua necessidade e possvel contribuio na busca da excelncia. Embora citada, a dificuldade da inexistncia de um oramento prprio pode ser superada, mas aparentemente o problema maior que no permite dar o grande passo e buscar a superao, reside no fato de que a CPA no uma estrutura perene como em algumas instituies, com maior tradio a equipe circunstancial e a fora tarefa, uma vez montada, executa a coleta de dados, tabulao e divulgao, sem dar o aporte necessrio para o acompanhamento das possveis correes de rumo como analisar, fazer recomendaes, acompanhar solues e a partir do sucesso de algumas destas alternativas, indicar para outros. Nossa sugesto para futuras pesquisas no sentido de avaliar os resultados efetivamente conquistados a partir dos relatrios da CPA, comparando-se os relatrios ano a ano e verificando os pontos de reincidncia em vrias instituies. Outro tema de grande praticidade observar os padres, formatos, profundidade e extenso dos relatrios das CPAs, buscando os tpicos mais comumente abordados e indicados para melhoria. Nesta pesquisa foram apresentados os aspectos tericos, prticos e a constatao de que na instituio da qual o pesquisador participou, a expectativa futura promissora a despeito das dificuldades at o momento encontradas. Apoiada no desempenho individual, na disposio de seus elementos, nos multiplicadores e na capilaridade de sua atuao em cada campus, floresce uma nova cultura organizacional, tendo como ponto central a excelncia do ensino e a formao no apenas de tcnicos, mas tambm de cidados onde floresce a cultura da autoavaliao. 7 REFERNCIAS

Barreyro, G. B. Do Provo ao SINAES: o processo de construo de um novo modelo de avaliao da educao superior. Avaliao: revista da Rede de Avaliao Institucional da Educao Superior - RAIES, Campinas, SP, v. 8, n. 4, p. 37-49, 2003. Belloni, Isaura. A Funo Social da Avaliao Institucional. In: Dias Sobrinho, Jos; Ristoff, Dilvo I. Universidade desconstruda: avaliao institucional e resistncia. Florianpolis: Insular, 2000. ___________. Avaliao do Ensino de Graduao. Braslia: UNB, 1980. (1995).

18

Bordas, M. C. ; Leite, D. C. Avaliao da Universidade Federal do Rio Grande do Sul: a qualidade da diferena e a diferena de qualidade. Revista Educacin Superior y Sociedad, Caracas- Venezuela, v. 5, n. 1 e 2, p. 109-123, 1994. BRASIL. Decreto n. 2.026, de 10 de outubro de 1996. Estabelece procedimentos para o processo de avaliao dos cursos e instituies de ensino superior. BRASIL. Lei n.10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliao da Educao Superior SINAES. BRASIL. Ministrio da Educao. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira. Diversas publicaes no site inep.gov.br - acesso em 10/11/2012. BRASIL. Portaria n. 249, de 18 de maro de 1996. Institui a sistemtica para a realizao do Exame Nacional de Cursos. Buarque, Cristovam. A REFUNDAO DA UNIVERSIDADE. Associao Brasileira de Mantenedoras de Ensino Superior. Braslia: ABMES Editora, 2005. Chiavenato, Idalberto. Histria da Administrao: Entendendo a Administrao e sua Poderosa Influncia no Mundo Moderno - 1 edio - 2008 - Editora Saraiva Clarke, Jane. Managing Better - A guide to self-evaluation. Combat Poverty Agency 1996 - ISNB 1-87164359 7 Dias Sobrinho, Jos . CAMPO E CAMINHOS DA AVALIAO: A avaliao da educao superior no Brasil; Insular, 2002. _______________. AVALIAO DA EDUCAO SUPERIOR. REGULACAO E EMANCIPAO, Avaliao Revista da Rede de Avaliao Institucional do Ensino Superior, Vol 8, 2003 _______________ . AVALIAO E TRANSFORMAES DA EDUCAO SUPERIOR BRASILEIRA (1995-2009): DO PROVO AO SINAES, Avaliao, Campinas; Sorocaba, SP, v. 15, n. 1, p. 195-224, mar. 2010 Dias Sobrinho, Jos; Ristoff, Dilvo. Avaliao Democrtica para uma Universidade Cidad. Insular. 2002 _______________. Acreditao da Educao Superior e C&T: polticas e ideologia. Revista Avaliao (Campinas). 2006, vol.11, n.04 FOURNIER, Deborah M. APUD PATTON, Michael Quinn, Utilization-focused evaluation - SAGE, 2008 - 4TH ED __________, Deborah M. New directions for evaluation. Reasoning in Evaluation: Inferential Links and Leaps, American Evaluation Association, Jossey-Bass Pub., 1995,ed 68 GIL, Antnio Carlos. Como elaborar projetos de pesquisa. So Paulo: Atlas, 2009. GODOY, Arilda Schmidt. Introduo Pesquisa Qualitativa e suas Possibilidades. Revista de Administrao de Empresas (RAE), So Paulo, v.35, n. 2, mar./abr. 1995. ______. Pesquisa qualitativa: tipos fundamentais. Revista de Administrao de Empresas (RAE). So Paulo, v. .35, n. 03, p. 20-29, mai./jun.1995b. ______. A PESQUISA QUALITATIVA E SUA UTILIZAO EM ADMINISTRAO DE EMPRESAS. RAE. So Paulo, v. 35, n. 4, p. 65-71 Jul./Ago. 1995 Instituto Nacional de Estudos e Pesquisas Educacionais Anisio Teixeira INEP, Sistema Nacional de Avaliao Superior SINAES, Braslia, 5.Ed, INEP, 2009 Kotter, John P. Liderando Mudanas. So Paulo. Ed. Campus. 1997 LAKATOS, Eva Maria. Metodologia do trabalho cientifico: procedimentos bsicos, pesquisa bibliogrfica, projeto e relatrio, publicaes e trabalhos cientficos. 5a ed. So Paulo: Atlas, 2003. Lima, Mauricio Andrade de; Meyer Jr., Victor; Lima, Marcus Vinicius Andrade de; Lima, Carlos Rogrio Montenegro de, SINAES: UM ALERTA SOBRE A AUTOAVALIAO EM IES, III Seminrio de Pesquisa Interdisciplinar - A primeira dcada novo milnio: sociedade, instituies e inovaes. UNISUL, SC, Brasil, maio 2011 MORIN, Edgar. O mtodo. Vol IV. As idias: sua natureza, vida, habitat e organizao. Publicaes Europa-Amrica, Lisboa, 1991 _______, Edgar; LE MOIGNE, Jean-Louis. A Inteligncia da Complexidade. So Paulo: Petrpolis, 2000

19

Patton, Michael Quinn, Utilization-focused evaluation - SAGE, 2008 - 4TH ED _____________, Essentials of Utilization-Focused Evaluation, SAGE, Londres, 2012 RAMOS,Alberto Guerreiro. A nova cincia das organizaes: uma reconceituao da riqueza das naes . Editora da Fundao Getlio Vargas,Rio, 1989 REED, Michael. Teorizao organizacional: um campo historicamente contestado. In: CLEGG, Stewart R.; HARDY, Cynthia; NORD, Walter R (Orgs.). Handbook de estudos organizacionais. So Paulo: Atlas, 2012, p.61-98. RISTOFF, Dilvo I. Algumas definies de avaliao. Avaliao (Campinas), Jun 2003, vol.08, no.02, p.19-30. _______________. O EXAME NACIONAL DE CURSO E A AVALIAO INSTITUCIONAL, Avaliao democrtica p.17-35 Avaliao - vol.6, n.3, Campinas. 2001 _________________. AVALIAO INSTITUCIONAL: Pensando Princpios, EDUCAIN SUPERIOR y SOCIEDAD - VOL 5 N 1 y 2: 87-97, 1994 SANTOS, Boaventura Sousa. A universidade no sculo XXI: para uma reforma democrtica e emancipatria da universidade, Editora Cortez, So Paulo, 2004 SINAES-CONAES, Roteiro de Autoavaliao Institucional e as Diretrizes para Avaliao das Instituies de Educao Superior, Brasilia, MEC SINAES, 2004 - 2008 TENRIO, Fernando G. INOVANDO COM DEMOCRACIA, AINDA UMA UTOPIA, Novos Cadernos NAEA vol. 2, n 1 1999 The Guardian Education, Towards a national debate: The following is the full text of the speech by Prime Minister James Callaghan, at a foundation stone-laying ceremony at Ruskin College, Oxford, on October. 18 1976. http://education.guardian.co.uk/thegreatdebate/story/0,9860,574645,00.html acesso em 4/11/2012 VIANNA, Cleverson Tabajara; Lino, Sonia R. Lamego. Novos paradigmas na gesto pblica. 2. ed. rev. atual Florianpolis : Publicaes do IF-SC, 2011. YIN, Robert. Case study research: design and methods. Newbury Part: Sage Publications, 1989.

NOTAS DE FINAL DE TEXTO

1

Stakeholder: Termo utilizado em administrao para indicar partes interessadas, tais como fornecedores, clientes, scios, colaboradores, proprietrios, governo, etc. 2 Criado em 1808, o bacharelado um diploma do sistema educativo Frances que apresenta uma dupla particularidade de sancionar o fim dos estudos secundrios e abre o acesso ao ensino superior. Ele constitui primeiro diploma universitrio. (Ministrio da Educao do Governo Frances, 2012) traduo do autor. 3 Docimologia: Estudo sistemtico dos exames, em particular da atribuio de notas e dos comportamentos de examinadores e examinados. 4 Psicometria: Testes padres e objetivos para medir inteligncia e desempenho. 5 Edumetria: a cincia da medida aplicada s cincias da educao. 6 Bibliometria: Um conjunto de leis e princpios empricos que contribuem para estabelecer os fundamentos tericos da Cincia da Informao. O termo statistical bibliography hoje Bibliometria foi usado pela primeira vez em 1922 por E. Wyndham Hulme. 7 Discurso Ruskin Oxford: Em outubro de 1976, James Callaghan, eleito primeiro-ministro trabalhista da Inglaterra, pronuncia seu famoso discurso no College Ruskin de Oxford, lanando suspeitas em relao ao baixo padro de ensino, gerando grande repercusso. Logo a seguir, no mesmo ms, numa conferncia do Partido Trabalhista, preocupava-se com as despesas muito elevadas em educao. Surge ento o Yellow Book, elaborado pelos conselheiros de Callaghan, que era um documento com 60 pginas fazendo um balano da educao. 8 Accountability: Termo em ingls utilizado na administrao que corresponde prestao de contas. 9 Acreditation: Termo em ingls, utilizado pelos autores em avaliao e que significa que a Instituio foi oficialmente reconhecida como satisfazendo os requisitos essenciais de excelncia acadmica. No Brasil os principais autores a traduziram como acreditao. 10 Fournier, Deborah M. Evaluation. In S. Mathison,(ed.) Encyclopedia of Evaluation. Thousand Oaks, CA: Sage Publications, 2005, p. 139140

20

11 12

Finalidades bsicas: 1. O sucesso pessoal 2. A construo da nao e a transformao social), A vinculao recproca entre injustia social e injustia cognitiva ser uma das idias que mais resistncia encontrar no seio da universidade uma vez que esta foi historicamente o grande agente do epistemicdio cometido contra os saberes locais, leigos, indgenas, populares em nome da cincia moderna. No Brasil, a resistncia ser qui maior uma vez que a elite universitria se deixou facilmente iludir pela a idia auto-congratulatria do pas novo, pas sem histria, como se no Brasil s houvesse descendentes de imigrantes europeus dos sculos XIX e XX e no, portanto, tambm povos ancestrais, indgenas e descendentes de escravos. 13 PAIUB - iniciado em 1993 se estende at 2004, pois com a LDB em 96 (Art. 9) a Unio deve assegurar processo nacional de avaliao do rendimento; surge ento a necessidade de definir o padro e tem origem o Sistema Nacional de Avaliao Educao Superior (SINAES). - Lei de Diretrizes e Bases da Educao Nacional. Lei n 9.394 - 20/12/1996 - Lei Federal n 10.861 14/04/2004 -Institui o Sistema Nacional de Avaliao da Educao Superior SINAES 14 Revista Avaliao (Campinas), Sorocaba, v. 16, n. 3, nov. 2011 - Avaliao institucional no contexto do SINAES: a CPA em questo. 15 INEP - Banco de Avaliadores dos Sistema Nacional de Avaliao da Educao Superior - BASis 16 Acreditao termo que vem sendo utilizado pelos especialista nas rea da avaliao, que derivado do termo accreditation (ingls), significa o credenciamento para funcionamento de uma instituio de ensino superior. 17 No que se refere ao marco legal, sugere-se o estudo da Lei n 10.861/04 (SINAES). 18 2011 - Talvez neste caso considerar que o maior apoio CPA, decorre de que a autoridade mxima, recm constituda na instituio (Reitora) era membro efetivo do CONAES e participou diretamente do SINAES. 19 Top-down: Termo em administrao que indica que as decises partem do nvel hierrquico superior, sempre de carter mandatrio. 20 Bottom-up: Termo em administrao que indica que as decises so participativas, tomadas sempre com a interlocuo de todos (de baixo para cima).

21