Anda di halaman 1dari 8

XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep.

Dominicana, 30 oct. - 2 nov. 2007

Indicadores e avaliação de políticas públicas:


usos e limitações no processo orçamentário brasileiro

Renato Jorge Brown Ribeiro

INTRODUÇÃO

O modelo de avaliação inserido no processo de elaboração e revisão dos orçamentos


brasileiros baseia-se em indicadores/metas correlacionadas com objetivos estipulados para
cada ação orçamentária e para o programa.

A estrutura de orçamento-programa adotada, desde a Lei nº 4.320/64, pressupõe que


o programa seja a unidade de planejamento e que ele contenha uma meta e que as ações 1
orçamentárias possam ser mensuráveis e representadas em metas financeiras e objetivos
físicos que uma vez alcançados produzam o atingimento da meta do programa.

As avaliações encaminhadas pelo Ministério do Planejamento ao Congresso Nacional


e a base para as macro-avaliações promovidas pelo Tribunal de Contas da União 2 , que
fundamentam a análise das Contas da República baseiam-se fundamentalmente no
atendimento dessas metas.

A questão que nos colocamos como central e a inquietude para construção deste
artigo é de como está sendo utilizado esse processo de avaliação e se devemos adotar esse
método como método central de avaliação?

Para tanto descrevemos o modelo atual, sua construção e o processo de avaliação


construído a partir dele, posteriormente, elaborar um pensamento crítico sobre o atual
modelo ressaltando pontos fortes e fracos da metodologia hoje adotada.

PRIMEIRA PARTE- O MODELO ATUAL DE INDICADORES NO ORÇAMENTO

1.1- O Estágio Atual

A idéia de Orçamento-Programa foi difundida no Mundo pós 2ª Guerra Mundial pelos


mecanismos internacionais de fomento (principalmente Banco Mundial e FMI), no Brasil
ganha corpo com a Lei nº 4.320/64, que previa uma reforma no processo de orçamentação
nos vários níveis e esferas de governo, que culminaria com a implementação de um
orçamento que tivesse nos programas a sua unidade de planejamento e avaliação da ação
governamental.

Aquele instrumento legal no seu art 75 determina que os programas fossem


mensurados em termos financeiros e em termos de realização de metas, quer pela

1
No orçamento brasileiro as ações são classificados em projetos, atividades e operações especiais. As operações
especiais, normalmente relacionadas com operações financeiras de financiamento ou refinanciamento de dívidas públicas
não possuem metas físicas relacionadas com elas.
2
Entidade de Fiscalização Superior e Órgão Auxiliar do Congresso Nacional no exercício do Controle Externo no
Brasil

1
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

realização de obras quer pela realização de serviços.

A Constituição cita textualmente a existência de Programas nos Orçamentos (art 167)


e a Emenda Constitucional nº 19, altera o art 37 da Constituição Federal Brasileira e
consagra o princípio da eficiência, o que ensejaria a avaliação obrigatória de toda a ação
governamental sob a ótica da aplicação dos recursos públicos e a quantidade dos produtos
ofertados.

O artigo 70 da Carta Magna prevê que a fiscalização contábil, financeira,


orçamentária, operacional e patrimonial da União e das entidades da administração direta e
indireta, quanto à legalidade, legitimidade, economicidade, aplicação das subvenções e
renúncia de receitas seja procedida pelo Congresso Nacional com o auxílio do Tribunal de
Contas, tendo por base os trabalhos do Sistema de Controle Internos 3 .

Essa estrutura enseja uma avaliação que abranja dimensões diversas à da eficiência.
O Manual de Auditoria Operacional do Tribunal de Contas da União (2000) define conceitos
de várias dimensões avaliativas, que descrevemos:
• Economicidade: minimização dos custos dos recursos utilizados na
consecução de uma atividade, sem comprometimento dos padrões de qualidade.
• Efetividade: relação entre os resultados (impactos observados) e os objetivos
(impactos esperados).
• Eficácia: grau de alcance das metas programadas em um determinado
período de tempo, independentemente dos custos implicados.
• Eficiência: relação entre os produtos (bens e serviços) gerados por uma
atividade e os custos dos insumos empregados em um determinado período de tempo. O
resultado expressa o custo de uma unidade de produto final em um dado período de tempo.
Analogamente ao conceito de eficácia, pode-se estabelecer o grau de eficiência relativa de
um programa, projeto ou atividade comparando-o com as metas e custos programados ou
com dados de outras iniciativas que perseguem os mesmos objetivos. Nesse caso, somente
serão comparáveis iniciativas que, além dos objetivos, possuam as mesmas características
de programação.
• Legalidade: aderência à norma estabelecida, em relação aos atos dos
agentes da administração.
• Legitimidade: capacidade do agente de, motivado pelo interesse público,
atingir os objetivos da gestão.

Nesse contexto, a estrutura de planejamento associa a cada programa um indicador


que busca avaliar a dimensão de eficácia/efetividade da ação governamental, e a cada ação
uma meta física 4 que deveria avaliar a dimensão de eficiência.

Foi estruturado uma tentativa de sistema de administração matricial com a nomeação


de gestores dos programas 5 e com a obrigatoriedade do acompanhamento das metas pelo

3
interpretação sistemática dos arts. 70 a 75 da CF.
4
A definição do MTO 2007 de Meta Física é: “Meta física é a quantidade de produto a ser ofertado por ação, de
forma regionalizada, se for o caso, num determinado período e instituída para cada ano. As metas físicas são indicadas em
nível de subtítulo e agregadas segundo os respectivos projetos, atividades ou operações especiais.Vale ressaltar que o
critério para regionalização de metas é o da localização dos beneficiados pela ação.”
5
PPA 2000-2003

2
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

Sistema de Gerenciamento de Programas 6 , alguns Ministérios chegaram a atrelar as


gratificações de desempenho ao atingimento das metas institucionais estipuladas nos
Orçamentos e no plano Plurianual 7 .

O acompanhamento e a avaliação dos Orçamentos e dos Planos Plurianuais são


procedidos pelo Ministério do Planejamento e pelo Congresso Nacional, anualmente, nos
relatórios de Avaliação e na análise das Contas da República.

Anualmente, também, são procedidas as revisões do PPA, que deve usar por base as
avaliações e as alterações dos cenários anteriormente desenvolvidos e promover um cenário
dinâmico de planejamento.

1.2- Evolução das Avaliações Operacionais e de Programas

A avaliação operacional de órgãos e empresas públicas visa à verificação do


cumprimento dos objetivos do órgão/ empresa auditada e a verificação de critérios de
economicidade, eficiência, eficácia e efetividade da ação do poder público pelo desempenho
de suas unidades.

Essa modalidade de avaliação começa a ganhar corpo no Brasil a partir da década de


oitenta do século passado e ganha força definitiva com a Constituição de 1988, que prevê a
avaliação operacional como uma das dimensões a serem controladas e verificadas pelos
Poderes Legislativos.

O fim da década de 80 e início da década de 90 marcam uma série de avaliações


operacionais que começam a dar resultados importantes, que melhoram bastante a
aplicação de alguns setores da Administração Pública Federal: as auditorias na Campanha
Nacional de Alimentação Escolar e na Central do Livro Didático alteraram os processos de
fornecimento de merenda e distribuição de material, a auditoria na EMBRAPA, no início da
década de 90 ensejou a sua retirada do Programa Nacional e Desestatização.

A avaliação operacional de órgãos/empresas pressupõe a verificação dos


indicadores/metas de desempenho e a verificação de processos de trabalho para avaliação
dos critérios de economicidade, eficiência, eficácia e efetividade das ações das entidades.

Na década de 90, com um maior intercâmbio com o Reino Unido, Canadá e Austrália,
desenvolveram-se técnicas de avaliação de programas governamentais, onde se procura
avaliar os desenhos, as metas, a implementação, a relação com os interessados, os pontos
fortes e fracos dos programas públicos desenvolvidos e avaliados.

A avaliação de Programas envolve uma avaliação de steakholders, análise SWOT,


desenvolvimento de diagramas e matrizes de causas e efeitos, busca de informações com
todos os atores dos programas.

Em virtude da abrangência e complexidade desses mecanismos de avaliação o


Controle Externo tem avaliado uma dezena de Programas de Governo e o Controle Interno

6
Portaria 198/05-MPOG
7
Portaria nº 50/01-MPOG

3
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

tem trabalhado com número semelhante ou inferior, logo dos 530 Programas do Orçamento
temos avaliação de cerca de 4%.

Os mecanismos desenvolvidos tanto pelas auditorias operacionais como pela


avaliação de programas são mais complexos e completos dos que são desenvolvidos nos
indicadores constantes dos orçamentos, e se valem de um conjunto amplo de indicadores e
ferramentas de avaliação que avançam das dimensões captadas exclusivamente por
indicadores.

1.3- Constatações sobre os Processos de Avaliação

O Tribunal de Contas da União (TCU) e o Ministério do Planejamento, Orçamento e


Gestão (MPOG), em suas avaliações periódicas tem levantado uma série de
questionamentos sobre os indicadores hoje consignados nos orçamentos federais.

O Tribunal de Contas da União, na análise das Contas da República de 2006,


consigna que 17% das ações não possuem metas físicas e, cerca de o dobro desse
percentual de programas não possuem metas na real acepção do conceito.

O MPOG, como órgão central de planejamento e orçamento da União, tem envidado


esforços junto aos Setoriais de Planejamento e Orçamento de cada Ministério para
aperfeiçoar a metodologia utilizada e procurar melhorar o processo de avaliação por meio de
indicadores orçamentários. 8

Várias setoriais orçamentárias questionam a aplicabilidade do conjunto de regras de


elaboração de indicadores ao processo orçamentário, e o MPOG tem questionado a
estrutura funcional-programática desses órgãos.

Outra questão relevante que deve ser ressaltada é o aspecto indutor de


comportamento dos indicadores e processos de avaliação, ao serem construídos eles
induzem a ação dos gestores e a alocação de recursos humanos, materiais e financeiros das
várias repartições do Estado.

SEGUNDA PARTE- UMA VISÃO CRÍTICA

Ao se construir uma visão crítica do modelo de avaliação consignado nas leis do


processo orçamentário brasileiro, não estamos defendendo a não avaliação, muito pelo
contrário, estamos mostrando que os mecanismos de avaliação hoje inseridos são
insuficientes e ineficazes.

Nessa construção vamos procurar abordar duas linhas, a primeira voltada para a
avaliação da possibilidade de se avaliar todos os programas e ações governamentais por
meio de metas e indicadores e segunda voltada para a redução da dimensão de avaliação a
dimensão econômica.

2.1- É Possível Avaliar por Indicadores Todos os Programas/Ações?

8
Em 2004 foi firmado acordo com a Comunidade Européia e o MPOG para desenvolvimento de tecnologias em
Planejamento e Orçamento, motivando um razoável e regular fluxo de técnicos para visitas técnicas a países europeus.

4
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

A primeira questão que levantamos é a possibilidade de se avaliar todos os


programas por meio de indicadores únicos para as ações e metas para os programas,
conforme é previsto no ordenamento legal.

Indicadores mensuram outputs e/ou outcomes (produtos e impactos), a primeira


questão é se todos os programas geram produtos ou impactos, a segunda questão é se
quando só medimos produtos ou impactos isoladamente conseguimos mensurar as
dimensões de eficiência, eficácia e efetividade.

Ao analisarmos os trabalhos da Teoria Contingencial de WILSON (1989) vemos que,


ao contrário de outros teóricos como ACOUIN (1985), é proposto que a burocracia não se
compreende em uma estrutura monolítica e produtos e impactos nem sempre são
claramente identificáveis e mensuráveis. Na verdade somente em agências públicas de
produção os produtos e impactos seriam claramente mensuráveis e identificáveis.

O Modelo de Wilson (quadro 1) estabelece quatro tipologias básicas:

a) As agências de produção onde produtos e impactos são perfeitamente


mensuráveis, são as mais próximas à iniciativa privada, são as empresas
públicas, atividades de balcão e atendimento direto;
b) As agências de características profissionais onde os impactos são
observáveis e mensuráveis, mas os diveros produtos são de difícil
quantificação: Forças Armadas em guerra, policiamento (aplicação da Lei) e
conservação ambiental;
c) As agências procedimentais, onde produtos são observáveis e
mensuráveis, mas os impactos são de difícil mensuração: Forças Armadas
em tempo de paz, atividades de assessoramento e elaboração de políticas
públicas;
d) As agências e atividades de suporte onde produtos e impactos tem difícil
mensuração: atividades de manutenção da ordem, serviços comunitários,
atividades de apoio à políticas públicas.

A Matriz de Wilson (Quadro 1) serve de base para vários trabalhos da OCDE em


avaliação de políticas públicas, onde em seus manuais ela propugna que “as respostas a
essas novas visões de gerenciamento público requerem que os países avancem na melhoria
do desempenho, de forma que os benefícios alcançados sejam demonstrados à medida do
possível. Ao mesmo tempo, contudo, as complexidades e limitações inerentes à própria
mensuração do desempenho na esfera governamental devem ser reconhecidas, para que as
informações do desempenho sejam usadas de forma apropriada e positiva.” 9

Esse modelo enseja a análise de que o atual modelo implementado no orçamento


brasileiro só é plenamente aplicável em um tipo de situação, os programas voltados para
atividades de produção e absolutamente inaplicável nos programas e ações de caráter de
suporte.

2.2- A Unidimensionalidade das Avaliações- Risco ou Realidade

9
OECD Performance Management in Government, Nº 3, 1994:92

5
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

MARCUSE (1968) na década de sessenta do século passado levantou a questão da


unidimensionalização das relações humanas e sociais, todas traduzidas sob o prisma da
dimensão econômica.

O que levantamos é que a construção de modelos de avaliação calcados


exclusivamente em indicadores, e mais em poucos indicadores que tratam com mais
habilidade a questão da eficiência, certamente levam a um modelo de avaliação que
privilegia a dimensão econômica.

Isso fica claro em ações que não são de produção para o Estado, como promoção da
cidadania, garantia da justiça, desenvolvimento e proteção à cultura, desenvolvimento da
democracia, mas que, certamente, essas ações são finalidade da ação estatal. 10

Não é por acaso que programas dessa natureza tenham avaliações tão superficiais
nos relatórios apresentados pelo MPOG ao Congresso Nacional. As ferramentas,
certamente, são inadequadas e levam a avaliações que premiam a mensuração do gasto
efetuado e o atingimento de metas de natureza econômica. Instrumentos de avaliação que
premiem dimensões de natureza humana e social são mais onerosos e complexos.

O que torna essa situação grave é a tendência reinante em grande parte da


Administração Pública de aceitar que o principal processo de avaliação deva ser o financeiro,
com base na execução do orçamento/ atingimento de metas físicas. Isso se torna
especialmente grave quando a decisão dos processos de alocação de recursos humanos,
políticos e financeiros passam a ser direcionados predominantemente por esses critérios.

CONCLUSÕES

É necessária a construção de critérios e mecanismos de avaliação para gerenciar e


direcionar a ação do Estado. Nesse sentido, também é necessária a construção de
processos avaliativos com a construção de metas e indicadores para a avaliação de
determinadas ações estatais.

Porém, a forma de como isso está universalmente construído no principal mecanismo


de avaliação de política pública federal: as análises dos orçamentos e dos planos plurianuais
gera uma perigosa disfunção.

Não é por acaso a dificuldade de produção de indicadores e metas em determinadas


situações 11 , por vezes as ações governamentais que se pretende mensurar não apresenta
produto ou impacto diretamente mensurável.

E, pior, ao tentarmos construir indicadores de eficiência (procurando mensurar


produtos) incentivamos a comportamentos que não necessariamente correspondem aos
objetivos da ação do Estado, levando os gestores a estarem calcados nos processos e não
nas grandes metas de ação pública.

10
O “Mundo da Vida” de Habemas
11
Não em todas, em várias delas há problemas técnicos de má construção ou políticos em não ter interesse em
produzir transparência na ação.

6
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

O que propomos é a construção de mecanismos mais complexos e permanentes de


avaliação, que não sejam reduzidos ao fluxo de caixa e a unidimensionalidade econômica.

O que propomos é a customização dos processos avaliativos, onde programas onde


possam ser mensurados produtos e efeitos possam ser avaliados, entre outros processos,
por processos calcados em indicadores.

Mas acreditamos importante destacar que a imposição de uma ditadura dos


indicadores pode induzir a avaliações mal feitas e a comportamentos deletérios induzidos por
ações administrativas.

BIBLIOGRAFIA

AUCOIN, Peter (1990). “Administrative Reform in Public Management: Paradigms,


Principles, Paradoxes and Pendulums.” Governance. 3,2:115-37.
________ (1995). The New Public Management: Canada in Comparative Perspective,
Montreal, IRPP.
BRASIL, Lei nº. 4.320/64. Brasília:Presidência da República, 2007
BRASIL, Lei Complementar nº. 101/00. Brasília:Presidência da República, 2007
BRASIL, Constituição (1988). Constituição da República Federativa do Brasil.
Brasília/DF. Senado, 2007.
BRASIL, Manual de Auditoria Operacional. Brasília: Tribunal de Contas da União. 2000.
BRASIL. Manual Técnico do Orçamento para o Exercício de 2008. Brasília: MPOG,
2007.
GREGORY, RJ (1995).”Accountability, Responsibility, and Corruption: Managing the
Public Production Process”, in The State Under Contract, ed. J. Boston (Wellington, Bridget
Williams).
HECLO, H. and Wildavsky, A. (1974). The Private Government of Public Money.
(London: Macmillan).
HOOD, Christopher (1994), Explaining Economic Policy Reversals. (Buckingham: Open
University).
_____ (1998), The Art of the State. (Oxford: Clarendon Press).
_____ and Jackson, Michael (1991). Administrative Argument. (Aldershot, Dartmouth).
MARCUSE, Herbert. O Homem Unidimensional. Rio de Janeiro: Paz e Terra, 1979.

RESENHA BIOGRÁFICA

RENATO JORGE BROWN RIBEIRO é Doutor em Administração e Mestre em Administração


Pública, especialista em Administração Financeira e Ciências Contábeis e Políticas Públicas
e Bacharel em Administração de Sistemas Públicos. Atualmente é Consultor de Orçamentos
do Senado Federal, foi Analista de Finanças e Controle Externo do Tribunal de Contas da
União (Brasil), ocupou a função de Diretor de Gestão Operacional, Diretor de Planejamento e
Pesquisa e Diretor de Fiscalização no TCU, Foi Oficial da Marinha do Brasil desempenhando
vários cargos. É coordenador de curso de pós-graduação na AEUDF, UCAM e Faculdades
OMNI, professor na Pós-Graduação da Universidade Cândido Mendes e professor visitante
da Universidade Estácio de Sá e professor de graduação da disciplina de Políticas Públicas
na Unieuro. Tem vários livros e artigos publicados no campo da Administração Pública. E-

7
XII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Sto. Domingo, Rep. Dominicana, 30 oct. - 2 nov. 2007

mail: rjbrown@senado.gov.br

QUADROS, TABELAS E GRÁFICOS