Universidade de Braslia

UnB Un

UNIVERSIDADE FEDERAL DA PARABA

UFPB

UNIVERSIDADE FEDERAL DO UN RIO GRANDE DO NORTE RAND

UFRN

Programa Multiinstitucional e Inter-Regional de Ps-Graduao em Cincias Contbeis

PROJETO DE DISSERTAO

Jos Lcio Tozetti Fernandes

AVALIAO DAS UNIVERSIDADES FEDERAIS BRASILEIRAS: Um estudo sobre indicadores financeiros e de qualidade (1998 a 2007)

BRASLIA 2008

Universidade de Braslia

UnB

UFPB
UNIVERSIDADE FEDERAL DA PARABA

UNIVERSIDADE FEDERAL DO RIO GRANDE DO NORTE

UFRN

Programa Multiinstitucional e Inter-Regional de Ps-Graduao em Cincias Contbeis -

Jos Lcio Tozetti Fernandes

AVALIAO DAS UNIVERSIDADES FEDERAIS BRASILEIRAS: Um estudo sobre indicadores financeiros e de qualidade (1998 a 2007)

Projeto de dissertao a ser apresentada como requisito parcial obteno do ttulo de Mestre em Cincias Contbeis do Programa Multiinstitucional e Inter-Regional de PsGraduao em Cincias Contbeis da Universidade de Braslia, da Universidade Federal da Paraba e da Universidade Federal do Rio Grande do Norte. Linha de Pesquisa: Impactos da contabilidade para a sociedade. Grupo de Pesquisa: Custos e finanas pblicas.

Orientador: Prof. Dr. Csar Augusto T. Silva.

BRASLIA 2008

SUMRIO
1. INTRODUO.............................................................................................................. 2 2. OBJETIVOS DA PESQUISA....................................................................................... 4

2.1 Objetivo geral........................................................................................................... 4 2.2 Objetivos especficos............................................................................................... 4

3. REFERENCIAL TERICO......................................................................................... 5 3.1 A forma de financiamento das universidades federais............................................. 5 3.2 Estudos sobre o desempenho e a qualidade do ensino superior............................... 6 4. MTODOS E PROCEDIMENTOS DA PESQUISA................................................. 5. CRONOGRAMA........................................................................................................... REFERNCIAS................................................................................................................. 9 12 13

INTRODUO

O exame e a anlise da extenso dos gastos do governo federal so fundamentais para que se avalie o empenho do Estado no atendimento das demandas da populao e melhoria do bem-estar social. Para isso, os dispndios pblicos mostram-se como componente essencial para que o governo disponibilize bens e servios para a populao. (CASTRO et al., 2003; CANCIO; 2004; CASTRO; CARDOSO Jr., 2006). Dentre os servios oferecidos pelo poder pblico para suprir as necessidades e demandas da sociedade destaca-se a educao superior, na qual segundo Corbucci (2007, p.7), compete:
... ampliar e qualificar a formao de quadros tcnico profissionais demandados pelos setores de cincia e tecnologia (C&T), educacional, governamental e produtivo, de modo a oferecer ao pas os recursos humanos demandados por um modelo de crescimento econmico que promova a gerao de emprego e renda, de natureza redistributiva.

Em Castro et al. (2008) observa-se que os recursos pblicos destinados para a rea da educao representaram 6 % dos gastos sociais em 2005, denotando ser o quarto maior gasto social do governo federal. Esses autores destacam que os gastos sociais em educao so predominantemente alocados nas Instituies Federais de Ensino Superior (IFES). Nesse sentido, Corbucci (2007) mostra que 56,5% dos recursos aportados pelo MEC em 2005 foram destinados s IFES, representando um montante de R$ 11,3 bilhes. Alm da expressividade desse valor, Corbucci (2004) observou que o mesmo ocorre com os paises membros da Organizao para Cooperao e Desenvolvimento Econmico (OCDE), onde 78% dos gastos com ensino superior advinham de recursos pblicos. Quanto utilizao dos recursos pblicos, Silva (2007) salienta que as crticas sobre as atividades desempenhadas pelo Estado recaem sobre a qualidade dos servios prestados a sociedade e a necessidade de prestao de contas dos gestores pblicos quanto alocao dos recursos. Uma forma de acompanhar a gesto pblica relacionada com a alocao de recursos e a forma como os bens e servios so disponibilizados atravs de indicadores de desempenho, como verificado nos estudos de Smith (1990), de Tironi et al. (1991), Propper e Wilson (2003), Lonti e Gregory (2007) e Jacobs e Goddard (2007). Smith (1990) ressalta a importncia da divulgao de indicadores de desempenho no manipulados das atividades da

administrao pblica do Reino Unido. Tironi et al. (1991) aborda os critrios e procedimentos para a elaborao de indicadores de qualidade e produtividade para avaliao do setor pblico no Brasil. Propper e Wilson (2003) trazem evidencias da utilidade de indicadores de desempenho na melhoria da eficincia dos servios de educao e sade nos EUA e Reino Unido. Lonti e Gregory (2007) analisam a relao entre os indicadores de desempenho e os nveis de resultado dos servios prestados por 5 rgos pblicos da Nova Zelndia. Jacobs e Goddard (2007) pesquisaram sobre a utilizao de indicadores na no setor pblico da Inglaterra. No setor privado, indicadores para avaliao e monitoramento do desempenho, seja financeiro e/ou no-financeiro, so amplamente utilizados. Um exemplo o Balanced Scorecard (BSC), desenvolvido por Kaplan e Norton (1997), que associa medidas de produtividade e qualidade dos servios e produtos com medidas financeiras como forma de monitoramento da estratgia das organizaes. Assim, o setor pblico tem se baseado nestes instrumentos para a criao de mecanismos para a avaliao da gesto pblica. Lima (2003) prope o ajuste da ferramenta de gesto BSC para as fundaes de ensino superior de Santa Catarina observando as caractersticas e peculiaridades dessas organizaes, como a constituio legal (carter pblico), a cultura organizacional e ambiental e o produto final (a educao). Os indicadores para avaliao de desempenho das universidades tm utilidade como instrumento de auxlio na gesto estratgica, na comunicao da responsabilidade social e na prestao de contas das instituies; e como ferramenta para a formulao e o monitoramento das polticas pblicas com relao alocao de recursos, como pode ser verificado nos estudo de Schmitz (1993), de Ewell e Jones (1994), de Couto et al.( 2005) e Meek e Van Der Lee (2005). Schmitz (1993) e Ewell e Jones (1994) fazem uma avaliao dos indicadores utilizados na formao de polticas pblicas nos EUA. Couto et al.(2005) discursam sobre a importncia dos indicadores de desempenho na gesto estratgica das universidades. Meek e Van der Lee (2005) apresentam a importncia de indicadores de desempenho para avaliao e classificao da qualidade das pesquisas realizadas pelas universidades. Dessa forma, estudos sobre mecanismos para a avaliao da gesto pblica e a qualidade das atividades desempenhadas pelas Universidades Federais so importantes, tendo em vista que o montante dos gastos dessas instituies compreende grande parte dos recursos pblicos destinados educao; a exigncia da sociedade pela transparncia da utilizao desses recursos; e questionamentos feitos por diversos estudos (e.g. Corbucci 2000, 2007;

Amaral, 2003; Schwartzman, 2003; Freire, Crisstomo e Castro, 2007; e Bertolin, 2007) sobre os impactos que as restries oramentrias do governo federal podem ter na qualidade dos servios prestados pelas Universidades. Portanto, a pesquisa pretende responder a seguinte pergunta: Quais indicadores financeiros podem ser formulados para a avaliao de forma agregada do padro de qualidade e de gastos das Universidades Federais ao longo do tempo?

OBJETIVOS DA PESQUISA

2.1 Objetivo Geral

O objetivo do estudo ser desenvolver um conjunto de indicadores financeiros multivariados, ou seja, que contemplem as diversas variveis relacionadas com a qualidade das atividades de ensino, de pesquisa e de extenso em funo dos gastos realizados pelas Universidades Federais no perodo de 1998 a 2007.

2.2 Objetivos Especficos

Para atingir o objetivo geral ser necessrio cumprir os seguintes objetivos especficos: Identificar as variveis relevantes que descrevem a qualidade das atividades de

ensino, pesquisa e extenso das universidades; Identificar as variveis financeiras relevantes descritoras do padro de gastos

das universidades; Elaborar indicadores financeiros que expliquem de forma agregada a

qualidade das universidades em funo dos gastos ao longo do tempo; Avaliar a qualidade frente aos gastos das Universidades Federais no perodo

de 1998 a 2007, utilizado os indicadores desenvolvidos.

REFERENCIAL TERICO

3.1 A Forma de Financiamento das Universidades Federais

Os recursos da Unio destinados s Universidades Federais fazem parte do Fundo Pblico Federal. O mecanismo que o governo utiliza para financiar a educao superior centra-se na forma do financiamento incremental ou inercial, no qual os recursos financeiros do ano anterior so tomados como base para o oramento de um determinado ano, com o novo valor definido unilateralmente pelo governo (VELLOSO, 2000; AMARAL, 2003). Esses recursos so repassados ao Ministrio da Educao que se encarrega de determinar o montante destinado para o pagamento de pessoal e para a manuteno e investimentos das Instituies Federais de Ensino Superior. Para distribuir os recursos entre as IFES o MEC utiliza de metodologias baseadas no mecanismo de financiamento por frmulas, no qual se trata expresses matemticas contendo variveis / indicadores das necessidades de manuteno e de desempenho das IFES (AMARAL, 2003). Velloso (2000) exemplifica como variveis que podem envolver esse mecanismo de destinao de recursos pblicos ao ensino superior: o nmero de docentes e de alunos em cada instituio, como indicadores relacionados manuteno; e a relao entre a matrcula nova e o quantitativo de diplomados, relaes mdias aluno/docente, por universidade ou rea do conhecimento, como indicadores de eficincia e/ou de desempenho. At 1994, a metodologia utilizada pelo MEC para a distribuio dos recursos do Tesouro para as despesas de manuteno e investimento das IFES no eram conhecidos. A partir desse ano, o MEC, em esforo conjunto com a Associao Nacional de Dirigentes das IFES (ANDIFES), desenvolveu um modelo para distribuio dos recursos oramentrios com as caractersticas do financiamento por frmulas com base no modelo Holands, que valorizava indicadores de produtividade individual e acabava por promover uma cultura institucional nas IFES pela melhoria dos indicadores (AMARAL, 2003; MEC, 2006). Em 1999, foi reformulado o modelo desenvolvido pela ANDIFES/MEC com base no modelo Ingls de financiamento do ensino superior, incluindo como caracterstica a diviso de duas vertentes: as atividades de ensino e as de pesquisa. Tambm, destaca-se nesse modelo conceito de produtividade acadmica. As crticas ao modelo de 1999 giravam em torno da

no considerao no modelo de caractersticas como o tamanho e os perfis diferenciados das instituies, e a ausncia de indicadores de qualidade (MARINHO; FAANHA, 1999; AMARAL, 2003; MEC, 2006). Em 2006, o MEC passou a adotar uma Matriz de Alocao de Recursos Oramentrios, desenvolvida em conjunto com a ANDIFES e o Frum de Pr-Reitores de Planejamento e administrao das IFES (FORPLAD). Essa nova metodologia previa o financiamento das IFES em duas partes: 1) Oramento de Manuteno subdividido em Parcela de Manuteno Bsica (relacionado com as despesas correntes) e Parcela de Qualidade e Produtividade (considerando aspectos qualitativos); e 2) Oramento de Investimento subdividido na Parcela de Equalizao (relacionado com a infra-estrutura) e na Parcela de Polticas Pblicas e Expanso do Sistema Federal de Ensino Superior (relacionado com as polticas publicas do governo). (MEC, 2006). Outra fonte de recursos para financiamento das Universidades Federais advm de recursos prprios arrecadados por estas, decorrente, por exemplo, da comercializao de bens, de contratos, de convnios, de consultoria, e de projetos de cooperao com entidades pblicas e privadas, de cursos de extenso e de especializao e da realizao de concursos pblicos. Esses recursos representam uma alternativa/complementao insuficincia dos recursos advindos do Governo Federal em atender de forma completa as necessidades de manuteno e desenvolvimento das universidades. H ainda o debate que o autofinanciamento das universidades poderia representar uma forma de privatizao do ensino superior pblico, embora represente ao mesmo tempo uma importante fonte para a manuteno da universidade pblica e gratuita. (CORBUCCI; MARQUES, 2003; SCHWARTZMAN, 2003; VELLOSO; MARQUES 2005; BERTOLIN, 2007; SOUZA, 2007).

3.2 Estudos Sobre o Desempenho e a Qualidade do Ensino Superior

A seguir so apresentados alguns estudos sobre desempenho e qualidade do ensino superior que faro parte da teoria adotada na pesquisa. Em uma primeira parte, identificam-se alguns estudos voltados para o debate e a avaliao do desempenho e qualidade do Sistema de Educao Superior, como os estudos realizados pela UNESCO (2003), pela OCDE (2006) e por Bertolin (2007). Enquanto que outros estudos so voltados para a discusso ou a anlise institucional, como por exemplo: Johnes (1996); Estrada (1999); Layzell (1999); Liefner

(2003); Jin e Whalley (2007); Knoeppel, Verstegen e Rinehart (2007); Freire, Crisstomo e Castro (2007); e Belloni (2007). O documento Estudies on Higher Education da UNESCO (2003) apresenta vrios trabalhos originados no encontro sobre Indicadores a Nvel de Sistema para a Educao Superior. Estes estudos tratam do desenvolvimento e as experincias com a implantao de indicadores para a avaliao e monitoramento do ensino superior em diversos pases. O relatrio da OCDE (2006) sobre a qualidade, eqidade e eficincia do ensino superior dos seus paises membros, trata do acesso, da participao, dos gastos e dos resultados das polticas para a educao superior adotadas nos paises membros. Bertolin (2007) com base em indicadores propostos por organismos internacionais, como a UNESCO, a OCDE e o Banco Mundial, desenvolveu um conjunto de indicadores para a avaliao do desenvolvimento e da qualidade do Sistema de Educao Superior no Brasil. Estrada (1999) faz uma reflexo sobre a qualidade da educao superior, ressaltando a importncia da anlise das trs dimenses das Instituies de Ensino Superior (IES): ensino, pesquisa e extenso. Tambm, o autor prope um modelo terico para a avaliao da qualidade das IES considerando essas dimenses. Layzell (1999) faz um levantamento sobre o uso de indicadores de desempenho e o sistema de financiamento das IES pblicas com base nesses indicadores. O autor apresenta uma discusso sobre os mecanismos para mensurao da performance das IFES, as experincias dessas instituies com a implementao de indicadores de desempenho, as limitaes e problemas do uso destes indicadores e as implicaes da forma de financiamento com base no desempenho. Liefner (2003) analisou as formas de alocao de recursos, com base na Teoria da Agncia, de financiamento e o efeito no desempenho de seis universidades dos Estados Unidos, Holanda, Sua e a Gr-Bretanha. O autor verificou que a forma de financiamento das universidades com base no desempenho desencadeava mudanas positivas e outras involuntrias no comportamento dos agentes das universidades; quanto aos efeitos da alocao de recursos, observou uma mudana nos nveis e tipos de atividades dos professores e os gestores. Jin e Whalley (2007) estudaram a relao entre o aumento dos gastos por aluno de escolas pblicas dos Estados Unidos e o ranking de qualidade feita por uma tradicional agncia de classificao escolar. Os autores encontram que o fato da escola ser includa na

classificao de tal agncia aumentava o custo educacional e o custo geral por aluno em torno de 3,2%, enquanto que esse aumento era financiado por um aumento de 6,8% das verbas pblicas por aluno. No estudo realizado por Johnes (1996), o autor prope medidas para avaliar o desempenho das universidades do Reino Unido utilizando a tcnica de regresso mltipla, com variveis dependentes (ou de resultado) a empregabilidade dos formados, a evaso e os resultados das pesquisas medidas por uma agncia de ratings; e como variveis de entrada (independentes) caractersticas do corpo discente, do corpo docente; dos recursos fsicos e algumas caractersticas gerais da instituio. Freire, Crisstomo e Castro (2007) analisam o desempenho administrativo das IFES atravs da relao dos indicadores de gesto utilizados pelo Tribunal de Contas da Unio, para o monitoramento e a avaliao dessas instituies, com o desempenho acadmico dos estudantes mensurado pelo Enade. Os autores verificaram que o desempenho dos alunos estava diretamente relacionado com a taxa de diplomados e maior dedicao dos discentes, enquanto que o custo por aluno no teve relao com o desempenho. Tendo em vista a complexidade das atividades desenvolvidas pelas instituies de ensino e as exigncias de eficincia e de produtividade, Knoeppel, Verstegen e Rinehart (2007) apresentam uma metodologia para avaliar a relao entre a alocao de recursos educacionais e o sucesso dos alunos utilizando a tcnica de correlao cannica, a qual considera mltiplas variveis de insumos e de resultados. Como recursos educacionais (insumos), os atores utilizam o gasto por aluno, a experincia profissional e a formao dos professores, o tamanho das turmas, a capacidade financeira dos estudantes e a durao do perodo letivo. E como variveis descritoras do sucesso dos alunos (resultados) o tempo de concluso da graduao, a taxa de evaso e a nota do teste de avaliao escolar. Nesta mesma linha, Belloni (2007) desenvolveu uma metodologia para a avaliao do desempenho das Universidades Federais Brasileiras com base nos conceitos de eficincia produtiva e utilizando a tcnica Anlise por Envoltria de Dados (DEA), a qual considera mltiplas variveis representativas das diversas dimenses das atividades universitrias (ensino, pesquisa e extenso). Algumas das variveis utilizadas pelo autor eram: quantidade de cursos, de alunos e de formados nos cursos de graduao e ps-graduao (mestrado e doutorado); composio do corpo docente; publicaes (artigos, livros e captulos); e caractersticas da estrutura das universidades (como biblioteca e quantidade de leitos nos hospitais universitrios).

PROCEDIMENTOS DA PESQUISA

O universo o qual ser pesquisado compreende as Universidades Federais Brasileiras, que eram 53 no ano de 2006, conforme verificado no Censo da Educao Superior desse mesmo ano. A seleo da amostra levar em considerao a disponibilizao dos dados, necessrios para a consecuo do estudo, das universidades nos bancos de dados que sero utilizados. De incio verificou-se, com uma observao previa do nmero de Universidades Federais presentes no Censo de 1998, que a amostra ter no mximo 38 Universidades Federais, considerando o perodo a ser estudo. Os dados que sero utilizados na pesquisa fazem parte de bancos de dados disponibilizados por entidades externas s universidades, mas que de alguma forma faam parte da gesto e/ou controle destas como: o INEP, a Coordenao de Aperfeioamento de Pessoal de Nvel Superior (CAPES), o Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq), o Tesouro Nacional e etc.. Junto ao INEP j foram coletados os Censos da Educao Superior, em dispositivo magntico, dos anos de 1998 a 2006, o qual contm dados com as caractersticas dos cursos de graduao (alunado, vagas, ingressantes, inscritos, concluintes e etc.), do corpo docente (composio, titulao) e da infra-estrutura das IES (espao fsico, caractersticas das bibliotecas e etc.). Pelo fato dessas informaes estarem criptografadas, no sendo possvel identificar os dados por instituio, foi solicitado ao INEP uma mscara de identificao desses dados, tendo sido assinado um Termo de Compromisso de Sigilo dos dados das IES particulares. Os dados referentes aos cursos de ps-graduao (mestrado e doutorado) sero extrados do banco de dados DataCapes mantido pela CAPES, o qual congrega dados desde 1996 dos programas de ps-graduao, como: a quantidade de programas/cursos, as caractersticas do corpo discente e docente e o tempo mdio de titulao. Os dados representativos das atividades de pesquisa das universidades sero coletados do banco de dados Plano Tabular, mantido pelo Diretrio de Grupos de Pesquisa do CNPq. Nesse banco de dados encontram-se dados sobre a produo bibliogrfica (artigos, livros, trabalhos em anais e etc.) e a produo tcnica (softwares, produtos tecnolgicos, patenteados, ou no e etc) originados das informaes existentes nos currculos Lattes dos pesquisadores e estudantes das IFES.

10

Com base em pesquisa bibliogrfica e nos dados disponveis nos bancos de dados anteriormente expostos, e outros que venham a ser identificados como importantes para o trabalho, sero apuradas as variveis que denotem a qualidade das atividades de ensino, de pesquisa e de extenso das Universidades Federais. Os dados financeiros sero extrados da execuo do oramento das universidades disponibilizado pelo Tesouro Nacional. A seleo das variveis relacionadas com o padro de gastos das Universidades Federais ocorrer mediante pesquisa bibliogrfica, consulta junto a especialistas da rea pblica e disponibilidade dos dados financeiros oramentrios. Tendo em vista que os procedimentos relatados anteriormente resultaro em diversas variveis relacionadas com a qualidade e com o padro de gastos das universidades, a tcnica estatstica multivariada Anlise Fatorial ser utilizado como forma de reduzir a quantidade de variveis representativas de cada uma dessas dimenses (qualidade e gastos). Segundo Hair et al. (2005, p. 32) o objetivo da Anlise Fatorial condensar a informao de um nmero de variveis originais em um conjunto menor de variveis estatsticas (fatores) com uma perda mnima de informao. Assim, com a aplicao dessa tcnica, as diversas variveis (originais) de qualidade das Universidades Federais seriam reduzidas a um nmero menor de variveis, denominado fator de qualidade, de forma a maximizar o poder de explicao do conjunto inteiro das variveis originais. Da mesma forma ocorreria com as variveis originais relacionadas com o padro de gastos, resultando no fator padro de gastos das Universidades Federais. A figura 1 ilustra a utilizao da Anlise Fatorial para o caso da pesquisa, considerando: VQ1...n as variveis de qualidade 1 a n; VQ1...m as variveis de gastos 1 a m; FQ o fator qualidade; e FG o fator de gastos.

VQ1

VQ2

VQ3

...

VQn

VG1

VG2

VG3

...

VGm

FQ

FG

Figura 1: Anlise de Fatorial aplicada a pesquisa Fonte: Elaborao prpria com base em Bezerra (2007, p.75)

11

Os resultados das Anlises Fatoriais, as variveis reduzidas do fator qualidade e do fator gasto, sero empregados como variveis da tcnica estatstica multivariada Anlise de Correlaes Cannicas, a qual ser utilizada para gerar modelos (indicadores) que representem da melhor forma a relao entre as variveis de qualidade e variveis de gastos das universidades para a srie temporal de estudo. De acordo com Hair et al. (2005, p. 363) a correlao cannica identifica a estrutura tima ou dimensionalidade de cada conjunto de variveis que maximiza a relao entre conjuntos de variveis independentes e dependentes. Dessa forma, a tcnica de Correlaes Cannicas resulta em vrias relaes (funes cannicas) que individualmente maximizam a correlao entre os conjuntos de variveis estudados, ou seja, qualidade e gastos das universidades, no caso da pesquisa proposta. A figura 2 exemplifica o uso da Anlise de Correlaes Cannicas para o caso da pesquisa, considerando: FQ o fator qualidade; e FG o fator de gastos; VQ1...n as variveis de qualidade 1 a n; VQ1...m as variveis de gastos 1 a m; FC1...z as funes cannicas resultantes.

FQ

FG

VQ1 + VQ2 +VQ3 + . . . + VQn = VG1 + VG2 +VG3 + . . . + VGm (FC1) VQ1 + VQ2 +VQ3 + . . . + VQn = VG1 + VG2 +VG3 + . . . + VGm (FC2) ... VQ1 + VQ2 +VQ3 + . . . + VQn = VG1 + VG2 +VG3 + . . . + VGm (FCz) Figura 2: Anlise de Correlaes Cannicas aplicada a pesquisa Fonte: Elaborao prpria

CRONOGRAMA DE EXECUO DA PESQUISA

Meses Jul/08 Ago/08 Set/08 Out/08 Nov/08 Dez/08 Jan/09 Fev/09 Mar/09 Abr/09 Mai/09 Jun/09 Jul/09 Ago/09

Etapas 1. Delimitao do Tema 2. Delimitao da Metodologia 3. Delimitao dos Objetivos 4. Elaborao do Projeto 5. Defesa do Projeto 6. Reviso bibliogrfica 7. Coleta dos dados 8. Tabulao dos Dados 9. Clculo dos testes estatsticos 10. Anlise dos resultados dos testes 11. Redao do Relatrio Final 12. Reviso do Relatrio Final 13. Encontros com o Orientador 14. Entrega do Trabalho 15. Tempo Transcorrido

12

13

REFERNCIAS AMARAL; N. C.. Financiamento da educao superior: estado x mercado. So Paulo: Cortez; Piracicaba, SP: Ed. UNIMEP, 2003. BELLONI, J. A.. Uma metodologia de avaliao da eficincia produtiva de Universidades Federais brasileiras. 2007. 245 f. Tese (doutorado em Engenharia da Produo) Universidade Federal de Santa Catarina, Florianpolis, 2007. BERTOLIN, J. C. G. Avaliao da qualidade do sistema de educao superior brasileiro em tempos de mercantilizao: perodo 1994-2003. 2007. 281 f. Tese (Doutorado em Educao) Universidade Federal do Rio Grande do Sul, Porto Alegre, 2007. BEZERRA, F. A.. Anlise fatorial. In: CORRAR, L. J.; PAULO, E.; DIAS FILHO, J. M. (Coord.). Anlise multivariada: para os cursos de administrao, cincias contbeis e economia. So Paulo: Atlas, 2007. pp. 73-130. CANCIO, A. J.. A Estabilidade na Execuo Oramentria dos Programas Sociais do Governo Federal Brasileiro: anlise emprica no perodo de 2000 a 2002. 2004. 207 f. Dissertao (Mestrado em Cincias Contbeis) Universidade de Braslia, Braslia. CASTRO, J. A. et al. (2008) Gasto social e poltica macroeconmica: trajetrias e tenses no perodo 1995-2005. Braslia: Ipea, 2008. 43 p. (Texto para Discusso n. 1324). CASTRO, J. A. et al.. Anlise da evoluo e dinmica do gasto social federal: 1995-2001. Braslia, Ipea, 2003. 55 p. (Texto para discusso n. 988). CASTRO, J. A.; CARDOSO Jr, J. C.. Dimensionamento e anlise das finanas sociais do governo federal: 1995 a 2002. Braslia, Ipea, 2006. 46p. (Texto para discusso n. 1213). CORBUCCI, P. R.. Desafios da educao superior e desenvolvimento no Brasil. Braslia, Ipea, 2007. 32 p. (Texto para discusso n. 1287). CORBUCCI, P. R.. Financiamento e democratizao do acesso educao superior no brasil: da desero do estado ao projeto de reforma. Educ. Soc., Campinas, vol. 25, n. 88, pp. 677701, Especial - Out. 2004. CORBUCCI, P.R.. As universidades federais: gastos, desempenho, eficincia e produtividade. Braslia: Ipea, 2000. 64 p. (Texto para Discusso n. 752). CORBUCCI, P.R.; MARQUES, P. M. F.. Fontes de financiamento das instituies federais de ensino superior: um estudo sobre a Universidade de Braslia. Braslia, Ipea, 2003. (Texto para discusso n. 999). COUTO, A. P. et al..Universidade e desenvolvimento sustentvel: reflexes sobre o uso de indicadores de desempenho universitrio. In: BRYAN; A. et al.. Una red de instituciones de educacin superior para la promocin del desarollo humano sostenible. Rosario/Argentina: UNR/UNICAMP, 2005. ESTRADA, L. R. G.. Hacia un modelo de evaluacin de la calidad de instituciones de educacin superior. Revista Ibero Americana de Educacin, n. 21, set./dez. 1999.

14

EWELL, P. T.; JONES, D. J.. Pointing the way: indicators as policy tools in higher education. In: RUPPERT, S. S.. Charting Higher Education Accountability: sourcebook on state-level performance indicators. Colorado/EUA: Education Comission of he States. 1994. pp. 6-16. FREIRE, F. S.; CRISSTOMO, V. L.; CASTRO, J. E. G.. Anlise do desempenho acadmico e indicadores de gesto das IFES. Revista Produo On Line, ed. Especial, dez. 2007. HAIR, Jr., J. F.; ANDERSON, R.E.; TATHAM, R. L.; BLACK, W. C.. Anlise multivariada de dados. 5 ed.. So Paulo: Bookman, 2005. JACOBS, R.; GODDARD, M.. How do performance indicators add up? An examination of composite indicators in public services. Public Money & Management, april/2007. JIN, G. Z.; WHALLEY, A.. The power of information: do rankings affect financial resources of public colleges? NBER Working Paper, n. 12941, fev./2007. Disponvel em: http://www.nber.org/papers/w12941. Acesso em: 05 ago. 2008. JOHNES, J.. Performance assessment in higher education in Britain. European Journal of Operational Research, vol. 89, 1996. pp. 18-33. KAPLAN, R. S.; NORTON, D. P.. A estratgia em ao: Balanced Scorecard. Rio de Janeiro: Campus, 1997. KNOEPPEL, R. C.; VERSTEGEN, D. A.; RINEHART J. S.. What is the relationship between resources and student achievement? A canonical analysis. Journal of Education Finance, vol. 33, n.2, 2007, pp. 183-202. LAYZELL, D. T.. Linking performance to funding outcomes at the state level for public institutions of higher education: past, present, and future. Research in Higher Education, vol. 40, n. 2, 1999. LIEFNER, I.. Funding, resources allocation, and performance in higher education. Higher Education, vol. 46, 2003, pp. 469-489. LIMA, M. A. Uma proposta do Balanced Scorecard para a gesto estratgica das universidades fundacionais de Santa Catarina. 2003. 187 f. Tese (Doutorado em Engenharia de Produo) Universidade Federal de Santa Catarina, Florianpolis, 2003. LONTI, z.; GREGORY, R.. Accountability or Countability? Performance Measurement in the New Zealand Public Service, 19922002. The Australian Journal of Public Administration, vol. 66, n. 4, pp. 468484, 2007. MARINHO; A.; FAANHA; L. O.. Dois estudos sobre a distribuio de verbas pblicas para as instituies federais de ensino superior. Braslia: Ipea, 1999. 26 p. (Texto para Discusso n. 679). MEEK, V. L.; VAN DER LEE, J. J. Performance indicators for assessing and benchmarking research capacities in universities. Asia-Pacific Programme of Education Inovation for Development, UNESCO Bangkok Occasional Paper Series, n. 2, 2005.

15

Disponvel em: http://www2.unescobkk.org/elib/publications/05APEIDseries/APEIDseries_ No 2.pdf. Acesso em: 07 ago. 2008. MINISTRIO DA EDUCAO (MEC). A Coleta de dados das IFES para Alocao de Recursos Oramentrios. 2006. Disponvel em: http://portal.mec.gov.br/sesu/arquivos/pdf/rela toriocoleta2006.pdf. Acesso em: 01 ago. 2008. ORGANISATION ECONOMIC CO-OPERATION AND DEVELOPMENT (OCDE). Higher education: quality, equity and efficiency. Atenas, 2006. Disponvel em: http://www.oecd.org/dataoecd/30/7/36960580.pdf. Acesso em: 20 jun. 2008. PROPPER, C.; WILSON, D.. The use and usefulness of performance measure in the public sector. Oxford Review of Economic Policy, vol. 19, n. 2, pp. 250-267, 2003. SCHWARTZMAN, J.. O Financiamento das IES no Brasil. Digital Observatory for Higher Education in Latin America and the Caribbean, UNESCO, 2003. Disponvel em: http://unesdoc.unesco.org/images/0013/001398/139879por.pdf. Acesso em: 05 ago. 2008. SILVA, R. A.. Evoluo e dinmica dos gastos do governo federal brasileiro no perodo 1995-2005. 2007. 92 f. Dissertao (Mestrado em Cincias Contbeis) Universidade de Braslia, Braslia. SMITH, P.. The use of performance indicators in the public sector. Journal of the Royal statistical Society, vil. 153, n. 1, 1990. SOUZA, F. A.. Anlise do desempenho financeiro e a opinio dos usurios e nousurios do servio de alimentao: estudo de caso do Restaurante Universitrio da Universidade de Braslia UnB. 2007. 126 f. Dissertao (Mestrado em Cincias Contbeis) Universidade de Braslia, Braslia. SCHMITZ, C. C.. Assessing the validity of higher education indicators. The Journal of Higher Education, vl. 64, n. 5, sep-oct 1993, pp. 503-521. TIRONI et al.. Critrios para gerao de indicadores de qualidade e produtividade no servio pblico. Braslia, Ipea, 1991. 16 p. (Texto para discusso n. 238). UNESCO. System-level and strategic indicators for monitoring higher educaion in the twenty-first century. Studies on higher education. Bucharest: CEPES, 2003. Disponvel em: http://www.cepes.ro/publications/pdf/system_level.pdf. Acesso em: 20 jul. 2008. VELLOSO, J.. Universidade na Amrica Latina: rumos do financiamento. Cadernos de Pesquisa, n 110, p. 39-66, julho/ 2000. VELLOSO, J.; MARQUES, P. M. F.. Recursos prprios da UNB, financiamento das IFES e a reforma da educao superior. Educ. Soc., Campinas, vol. 26, n. 91, p. 655-680, Maio/Ago. 2005.