ENAP

Caderno EIAPP

Reflexes para Ibero-Amrica

ENAP

Caderno EIAPP

Reflexes para Ibero-Amrica Avaliao de Programas Sociais

Braslia - 2009 -

ENAP

Caderno EIAPP

Reflexes para Ibero-Amrica Avaliao de Programas Sociais

Prefcio: Paulo de Martino Jannuzzi Autores: Cibele Franzese, Claudia Anjos, David Ferraz, Fernando Luiz Abrucio, Gabriela N. Cheli, Geysa Maria Bacelar Pontes Melo, Jeni Vaistman, Jnia Laoerira Dutra Nehm, Lauseani Santoni, Matilde Gago da Silva, Monica Rubio, Pablo Yanes, Sonia Nahas, Paulo de Martino Jannuzzi, Rmulo Paes Sousa

Braslia - 2009 -

Fundao Escola Nacional de Administrao Pblica Presidente Helena Kerr do Amaral Diretora de Comunicao e Pesquisa Paula Montagner Diretora de Gesto Interna Mary Cheng Diretora de Desenvolvimento Gerencial Margaret Baroni Diretor de Formao Profissional Paulo Carvalho

Organizao e Reviso Tcnica: Marcia Cristina Gomes da Rocha; Editora: Paula Montagner; Reviso: Beth Nardelli e Nita Queiroz; Projeto grfico: Livino Silva Neto; Capa: Maria Marta da Rocha Vasconcelos; Editorao eletrnica: Ana Carla Gualberto Cardoso e Vincius Arago Loureiro. Ilustraes: a partir de fotos de Alice Prina e Vincius Arago Loureiro

Ficha catalogrfica: Equipe da Biblioteca ENAP

Reflexes para Ibero-Amrica: Avaliao de Programas Sociais / Cibele Franzese ... [et al.]; Prefcio de Paulo Martino Jannuzzi. Braslia: ENAP, 2009. 168p. ISBN 978-85-256-0064-6 1. Programas Sociais. 2. Avaliao. 3. Polticas Pblicas. I. Franzese, Cibele. II. Anjos, Claudia. III. Ferraz, Davi. IV. Abrucio, Fernando Luiz. V. Cheli, Gabriela N. VI. Melo, Geysa Maria Bacelar Pontes. VII. Vaistman, Jeni. VIII. Nehme, Jnia Laoerira Dutra. IX. Santoni, Lauseani. X. Silva, Matilde Gago da. XI. Rubio, Monica. XII. Yanes, Pablo. XIII. Nahas, Sonia. XIX. Jannuzzi, Paulo de Martino. XV. Sousa, Rmulo Paes. XVI. Ttulo.

CDU 304(083.97)

ENAP, 2009 Tiragem: 1.100 exemplares

ENAP Escola Nacional de Administrao Pblica

Diretoria de Comunicao e Pesquisa SAIS rea 2-A 70610-900 Braslia, DF Telefone: (61) 2020 3096 Fax: (61) 2020 3178

Sumrio

Apresentao .............................................................................................................. 7 Helena Kerr do Amaral Prefcio ....................................................................................................................... 9 Paulo Martino Jannuzzi Avaliao de programas e transparnciada gesto pblica ..................................... 11 Jeni Vaitsman e Rmulo Paes-Sousa A combinao entre federalismo e polticas pblicas no Brasil ps-1988: os resultados nas reas de sade, assistncia social e educao ............................ 25 Cibele Franzese e Fernando Luiz Abrucio Avaliao dos programas de saneamento bsico no Brasil: dificuldades e propostas de implementao ........................................................... 43 Lauseani Santoni Avaliao de polticas pblicas em Portugal: o caso do programa de distribuio de riqueza e combate excluso .................................................... 53 Matilde Gago da Silva, Cludia Anjos e David Ferraz Plan jefas y jefes de hogar desocupados: un estudio de caso ................................. 67 Gabriela N. Cheli La experiencia de evaluacin de programas sociales en la Ciudad de Mxico ....... 79 Pablo Yanes Indicadores de avaliao como recurso avaliao de programas do Plano Plurianual: a experincia do Estado de So Paulo .................................... 89 Snia Nahas de Carvalho Estruturao de sistemas de monitoramento e especificao de pesquisas de avaliao, os problemas dos programas pblicos no Brasil so ........................ 101 Paulo de Martino Jannuzzi, Maria Rosngela F. Machado Silva, Mariana Almeida de Faria Sousa e Leonardo Milhomem Resende Qu funciona? Lo que la evaluacin nos dice sobre programas costo-efectivos de prevencin de riesgo primario para la juventud .................... 139 Mnica Rubio Novo enfoque de monitoramento e avaliao dos programas do Ministrio da Educao: Simec e Matriz de Avaliao .................................................................. 157 Geysa Maria Bacelar Pontes Melo e Jnia Lagoeiro Dutra Nehm

Apresentao Helena Kerr do Amaral

Desde 2007, quando nos integramos Escola Ibero-americana de Administrao e Polticas Pblicas (EIAPP) acreditamos que sua proposta inovadora de atuao em rede promovendo eventos de aprendizagem na sede fsica ou na plataforma virtual de suas filiadas era uma possibilidade real de intensificar as relaes de intercmbio iberoamericano, em especial nos temas da gesto pblica. A Escola Nacional de Administrao Pblica (ENAP) buscou apoio do Ministrio do Planejamento, Oramento e Gesto, da Agncia Brasileira de Cooperao do Ministrio das Relaes Exteriores, do Centro Latino-americano de Administrao para o Desenvolvimento (Clad) e da Caixa Econmica Federal para construir atividades de aprendizagem direcionadas a dirigentes e tcnicos que atuam nas reas de planejamento estratgico e avaliao de programas. A realizao desses eventos de aprendizagem permitiu intensa troca de experincias durante o segundo semestre de 2009. Uma primeira fase, a dos cursos presenciais, contou com aulas expositivas, conferncias, painis, mesas-redondas e debates em que estiveram envolvidos 60 dirigentes e tcnicos representantes de organismos governamentais de 16 pases ibero-americanos Argentina, Bolvia, Brasil, Chile, Colmbia, Costa Rica, El Salvador, Guatemala, Mxico, Panam, Paraguai, Peru, Portugal, Repblica Dominicana, Uruguai e Venezuela. Uma segunda fase, ancorada em duas comunidades virtuais, incentivou a continuidade da troca de experincias e a consolidao de conhecimentos iniciados nos encontros presenciais. Como toda metodologia mais ousada, o engajamento dos seus integrantes foi duramente testado pela realidade absorvente das suas atividades cotidianas, mas ainda assim avanos foram alcanados do ponto de vista pedaggico. A consolidao desse perodo de rica troca de experincias est retratada na publicao que ora fazemos chegar a suas mos e que mostra o avano na construo de um conhecimento coletivo referente a desafios contemporneos de nossos governos nas reas de planejamento e de avaliao de programas sociais. Alm da abordagem dos aspectos tericos, buscou-se nas experincias compartilhadas a inspirao para inovar e aperfeioar as relaes institucionais e polticas em nossos pases e tambm favorecer a construo de redes entre os dirigentes e gestores desses pases. Convidamos todos a manter vivo este processo e a contribuir para o fortalecimento de uma rede integrada que compartilha problemas e tambm solues. Boa leitura!
Helena Kerr do Amaral Presidente da Escola Nacional de Administrao Pblica (ENAP)

Prefcio Avaliao de Programas Sociais Paulo Martino Jannuzzi

Nas ltimas duas dcadas, os pases ibero-americanos tm vivenciado mudanas significativas no escopo e alcance de suas polticas sociais. Em um contexto de crescente democratizao poltica e de reconhecimento da necessidade de enfrentar suas iniquidades sociais de longa data, vale lembrar , os estados nacionais da regio vm, cada um a seu ritmo e segundo arranjos institucionais especficos, desenhando e implementando programas na rea da educao, sade, provimento habitacional, pobreza, assistncia social, qualificao profissional, entre tantos domnios que requerem a ao distributiva, redistributiva ou reguladora do estado contemporneo. De natureza universal ou mais focalizada, com implementao mais centralizada ou descentralizada, desenhados de acordo com uma abordagem mais setorial ou mais articulada da questo social, os programas pblicos tm se diversificado, tornando-se mais complexos e requerendo maior aporte de recursos humanos, materiais e financeiros. Paralelamente, ampliam-se as preocupaes e questionamentos da sociedade, da imprensa e de outros atores polticos com a eficcia, eficincia e efetividade desse gasto social crescente. Estariam os programas atingindo os resultados e impactos esperados, mudando a realidade social que lhes motivou a existir? Tais efeitos so obtidos a custos factveis em funo da demanda a atender? Os processos, aes e atividades previstas para que os programas cumpram seus objetivos esto estruturadas de forma articulada e funcionando efetivamente? O desenho institucional e de encadeamento lgico de suas aes foi ajustado ao contexto poltico, capacidade de gesto dos agentes mobilizados, ao grau de controle e participao social existente? Afinal, os programas operados respondem s demandas de polticas pblicas da agenda governamental ou da sociedade? Sem dvida, so muitos os problemas que acometem nossos programas pblicos na comunidade ibero-americana. A superao dessas dificuldades passa, necessariamente, pela capacitao e envolvimento de gestores pblicos no desenvolvimento de instrumentos de monitoramento e avaliao de programas, campo de conhecimento tcnico-aplicado relativamente novo em nossos pases. H certamente estudos avaliativos importantes realizados por pesquisadores acadmicos, de interesse mais geral ou de escopo mais especfico, respondendo s demandas de avaliao do setor pblico. No mais possvel ou desejvel, no entanto, delegar a terceiros a construo e utilizao dessas ferramentas, sem a participao mais ativa dos gestores de programas. Sem negar a importncia da interlocuo com os centros de pesquisa e universidades, o fato que se os gestores quiserem dispor de informaes efetivamente relevantes ao estgio de implementao dos seus programas e em tempo de serem usadas para correo dos

desvios ou para readaptar as atividades fundamental que eles participem da produo de conhecimento nessa rea aplicada. imprescindvel que venham a compartilhar e aprender, com gestores de outras esferas de governo e de outros pases, as experincias de boas prticas, os casos mal sucedidos, os sistemas de monitoramento propostos e as pesquisas de avaliao delineadas para os diferentes problemas enfrentados. Com esse esprito de promover a cooperao e a sinergia no campo do monitoramento e avaliao de programas entre tcnicos do setor pblico de diversos pases da IberoAmrica, foi realizado o curso de Avaliao de Programas Sociais no mbito da Escola Ibero-americana de Administrao e Polticas Pblicas (EIAPP). No evento presencial, em julho de 2009, nas dependncias da Escola Nacional de Administrao Pblica (ENAP), em Braslia, e posteriormente, nos meses seguintes, nas tentativas de promoo do dilogo entre os participantes pela internet, procurou-se criar momentos de apresentao de conceitos e reflexo crtica sobre as prticas da avaliao de programas nos pases da regio. Como toda proposta complexa e inovadora, preciso tempo para maturao das iniciativas. Neste momento, investimos na produo de textos de especialistas no campo da anlise de polticas pblicas, monitoramento e avaliao de programas e de participantes do curso, representantes de quatro pases: Mxico, Argentina, Portugal e Brasil. Os textos cobrem aspectos importantes e diversos da temtica da avaliao, revelando no s a extenso dos mtodos e tcnicas que conformam seu permetro, como a profundidade analtica que lhe conferem a Cincia Poltica, a Economia, as Cincias Sociais e a prtica da gesto pblica. Da anlise institucional aos relatos de institucionalizao e tambm de dificuldades por que vem passado o campo da avaliao nos pases da regio; dos conceitos aos mtodos de pesquisa, metodologias aplicadas e recursos tecnolgicos desenvolvidos; da exposio das experincias de implementao de programas de transferncia de renda apresentao dos primeiro efeitos desses em alguns dos pases ibero-americanos; o material aqui reunido uma boa indicao para leitura em cursos de capacitao na rea e uma excelente mostra do potencial latente dessa comunidade de tcnicos e pesquisadores da administrao pblica. Que essa publicao venha estimular debates, trocas de experincias e aprimoramento da capacidade de gesto de programas em nossos pases!

Paulo Martino Jannuzzi Coordenador acadmico do ambiente virtual de aprendizagem do curso Avaliao de Programas Sociais, realizado pela EIAPP/ENAP em 2009.

10

Avaliao de programas e transparncia da gesto pblica Jeni Vaitsman e Rmulo Paes-Sousa

Introduo A instituio de sistemas de avaliao integrados s estruturas governamentais uma das iniciativas gerenciais que tm sido promovidas no Brasil, a partir da ltima dcada, no mbito da administrao pblica. Como instrumento para melhorar a gesto das polticas e dos programas sociais, incorporando de forma mais ou menos explcita elementos do modelo de administrao pblica gerencial, a avaliao j possui alguma tradio nas reas da educao e da sade e, mais recentemente, vem sendo implementada na rea de proteo social no contributiva. O significado da avaliao de polticas costuma ser objeto de diferentes tipos de interpretao. Para o que poderia ser chamado de uma vertente gerencial, a avaliao vista como parte dos mecanismos de accountability desenvolvidos nas democracias contemporneas, que contribuem com a efetividade e a transparncia dos processos e resultados das polticas governamentais. Sobretudo na rea das cincias sociais e polticas, a pretenso instrumental da avaliao costuma ser contestada pelos que veem o componente poltico como a principal caracterstica do campo da avaliao e seu uso em funo de interesses polticos. Com base na experincia recente da rea de proteo social no contributiva, este trabalho discute a dimenso ao mesmo tempo gerencial e poltica da avaliao. Com todos os conflitos que a implementao da avaliao apresenta, seja quanto sua legitimidade organizacional, seja quanto ao uso de seus resultados, procuramos mostrar o lugar da avaliao, enquanto uma atividade integrada s estruturas governamentais, na produo de evidncias que podem contribuir tanto para melhorar a eficcia dos programas e polticas pblicas quanto para uma gesto pblica mais transparente. A funo monitoramento eventualmente citada ao longo do texto. Contudo, isso s ocorre quando a questo em foco indicar convergncia de atributos do monitoramento e da avaliao. Dessa forma, o monitoramento no ser abordado com mais profundidade neste texto. Na primeira seo, fazemos uma breve discusso sobre os significados e funes atribudos avaliao, ressaltado duas principais concepes sobre suas funes a gerencial e a poltica. Na segunda seo, discute-se o modelo implementado pelo Ministrio do Desenvolvimento Social e Combate Fome durante os trs primeiros anos de sua existncia, de 2004 a 2006.

11

Dimenses e funes da avaliao Dimenses da avaliao Este trabalho trata da avaliao enquanto uma atividade dentro do governo, i.e., como a atividade institucionalizada no interior de uma unidade governamental, ainda que seja efetuada por pesquisadores contratados externamente, e estritamente orientada para responder perguntas referentes ao planejamento, implementao ou repercusses de programas pblicos. O termo programa utilizado como denominao geral de uma poltica, programa ou ao governamental. Nesse mbito, tambm cabe diferenciar atividades de controle e de avaliao, que s vezes so confundidas entre si. O foco das atividades de avaliao e monitoramento a qualidade da gesto; enquanto o das atividades de controle a legalidade dos atos da administrao pblica. As prticas de controle dizem respeito ao cumprimento das normas e dos procedimentos legais e adequados na administrao pblica, ao cumprimento de metas e execuo de programas e oramentos. Pertencem aos rgos de controle e de auditoria, visando corrigir desperdcios, improbidade, negligncia e omisso. Buscam ainda verificar a aplicao de recursos pblicos segundo critrios tcnicos, operacionais ou legais, e a fiscalizao, que verifica se o objeto dos programas de governo existe e se h correspondncia entre execuo e produtos especificados (BARROS, 2007). O objetivo mais geral da avaliao a produo de informao qualificada e sistematizada sobre programas, polticas, aes, servios. Enquanto funo incorporada rotina da execuo das polticas pblicas, seu objetivo subsidiar tomadas de decises e aes de um conjunto de atores interessados. So insumos para mudanas que visam melhorar o desempenho de um programa na execuo de objetivos e metas previstas. Avaliaes de programas podem ser feitas por meio de diferentes tipos de estudos, que observam vrias de suas dimenses, tais como: relevncia, eficincia, efetividade, resultados e impactos. Espera-se que as indicaes desses estudos contribuam para melhorar a qualidade dos processos de implementao ou verificar os resultados dos programas, dando tambm subsdios para o planejamento, a programao e a tomada de decises futuras. O risco de contaminao pelos interesses polticos de organizaes, grupos ou indivduos est na raiz da recomendao de que as avaliaes sejam executadas por instituies externas. Em nossa experincia, notamos uma razo suplementar a essa recomendao: a possibilidade de que se agreguem aos estudos maior diversidade e maior volume de expertise na observao de vrios aspectos de um programa. A constituio de uma equipe interna organizao que cubra os vrios campos de saber para a avaliao de programas tende a ser alto custo, de limitada capacidade de produo de estudos de qualidade e de maior risco de endogenia nas escolhas metodolgicas. A escolha dos desenhos de estudos de avaliao e, consequentemente, dos mtodos depender das perguntas que se quer responder, dos recursos e das fontes de dados disponveis e do tempo de resposta desejado. Draibe (2001) estabelece a seguinte tipologia quanto s dimenses que podem ser abordadas pelos estudos de avaliao:

12

a) processos estudos sobre os pontos que favorecem ou dificultam os processos de implementao da poltica ou do programa, a includos seus desenhos, suas dimenses organizacionais e institucionais. Os resultados das avaliaes de processos podem ser mais facilmente utilizados por gestores e gerentes, que tm a possibilidade de tomar providncias em relao a achados e recomendaes pertinentes. b) resultados englobam: desempenho, que se refere aos produtos definidos pelas metas do programa; e impacto, que indica mudana na situao dos beneficirios, provocada diretamente pelo programa. As avaliaes de impacto procuram comparar as respostas dadas por dois ou mais grupos similares da populao quanto s condies de exposto e no exposto a um determinado programa. H ainda o componente efeitos, que se refere aos resultados sociais ou institucionais no esperados de um programa. Quanto maiores ou mais complexos forem a abrangncia temtica, a representatividade da populao observada, o grau de aprofundamento das questes, a combinao de mtodos, o nmero de estratos de uma amostra e a quantidade de cruzamentos pretendida na anlise, mais demorada e cara ser uma pesquisa. Em compensao, uma pesquisa mais robusta metodologicamente pode ter maior peso na definio dos rumos de determinados programas, desde que no extrapole o tempo mximo esperado para a produo das respostas s perguntas formuladas. Os estudos de impacto, geralmente considerados o padro-ouro da avaliao, costumam assumir a seguinte configurao: usam mtodos quantitativos de coleta de dados e modelos estatsticos/economtricos para analis-los; baseiam-se em estratgias amostrais complexas e em desenhos quasi-experimentais. Essa configurao possui alta legitimidade na comunidade internacional de avaliao e produz informaes mensurveis sobre a demanda e a oferta das polticas pblicas. No entanto, os estudos requerem recursos financeiros considerveis e expertise nem sempre disponvel no pas onde se formula a demanda, alm de exigir tempo demorado para obter resultados. Os principais usurios dos estudos mais robustos de impacto so tomadores de deciso e formuladores de programas nacionais ou transnacionais, gestores de nveis hierrquicos mais altos e pesquisadores envolvidos com o tema. J as avaliaes de processos ou de desempenho so de realizao mais factvel, porque so mais flexveis metodologicamente. So geralmente aplicados em estudos de processos ou de desempenho, podendo ser realizados mais rapidamente. A funo poltica da avaliao A literatura nacional e internacional ressalta a convivncia, nem sempre muito pacfica, entre poltica e cincia que caracteriza o campo da avaliao de polticas. No plano internacional, h mais de duas dcadas, Patton (1987) chamou o campo da avaliao como inerentemente poltico. Greene (1994) ressalta que o terreno da gesto governamental tambm o da poltica. Logo, os resultados dos estudos de avaliao extrapolam o mbito da produo de conhecimento. Fazem parte das disputas polticas sobre o programa, no como um conhecimento terico descontextualizado, mas como julgamentos de valor, empiricamente justificados, sobre o mrito do programa avaliado.

13

Os resultados dos estudos tendem a apresentar efeito poltico, principalmente quando revelam aspectos no esperados ou contrrios aos objetivos do programa avaliado. Ento, esses resultados podem ser usados tanto para tomadas de decises polticas, quanto pelos vrios atores envolvidos na disputa por determinada agenda poltica. Os atores em questo podem estar situados no interior ou externamente a uma organizao. Por isso, a divulgao de resultados de avaliao, ainda que internamente, sempre assume uma conotao poltica. A divulgao externa de resultados sempre repercute sobre gestores, dirigentes e outros atores envolvidos nos programas avaliados. A confluncia entre cincia e poltica, tpica do campo da avaliao, estreita-se quando o que est em jogo so programas com grande visibilidade poltica e social e, sobretudo, quando a legitimidade e a eficcia desses programas so contestadas por atores com alto poder de vocalizao e formao de agenda. A prpria existncia da avaliao como mecanismo institucionalizado produz no apenas mudanas de atitudes em relao aos mecanismos de melhoria da ao governamental, mas tambm um debate poltico mais bem informado sobre os programas em foco. Faria analisa criticamente a concepo gerencial da avaliao, descrevendo-a enquanto uma ferramenta top down, destinada aos formuladores de polticas e gerentes de alto escalo, almejando que seus resultados sejam automtica e necessariamente encampados pelos tomadores de decises para a melhoria da poltica ou do programa em questo (Faria, 2005, p. 101). Para ele, essa concepo corresponderia a uma crena informada pelo paradigma gerencialista das polticas, que veio a ser dominante nos anos 1960 e 1980. Nas duas dcadas seguintes, a institucionalizao da avaliao estaria ligada reforma do setor pblico e aos vrios pontos de sua agenda, como conteno dos gastos; busca de melhoria da eficincia e da produtividade; ampliao da flexibilidade gerencial; capacidade de resposta dos governos; transparncia da gesto pblica e responsabilizao dos gestores. Alm disso, o fato da avaliao de polticas e programas se legitimar por evidncias produzidas a partir de estudos com desenhos experimentais ou quasi-experimentais consistiria uma espcie de tentativa administrativa de colocar algum tipo de ordem e racionalidade em uma realidade irracional e instvel. Efetivamente, a partir dos anos 1980, a ideia de avaliao associou-se s propostas de reforma do Estado que, como alternativas ao modelo burocrtico de administrao, convergiram para a administrao pblica gerencial, enfatizando a transparncia e a qualidade dos servios. Com isso, passou-se a advogar pela necessidade de procedimentos e mtodos, que possibilitam medir e avaliar vrias dimenses dos servios prestados pelo governo. No entanto, justamente o papel da avaliao como instrumento de gesto capaz de produzir accountability que d ao termo poltico o significado positivo de produzir transformaes na operao da gesto pblica. Subirats (2005), embora reconhecendo a dificuldade de distinguir as esferas de governo e de gesto, alerta para a diferena que existe entre questes que so prprias de uma e outra rea. Enquanto as tarefas de gesto apresentam um carter mais interno e operacional, gerando anlises mais preocupadas com valores de economia e eficincia, as tarefas de governo lidam com questes geralmente externas organizao, onde se

14

disputam as grandes questes da legitimao poltica e social. As funes de controle estariam no mbito operacional das tarefas de governo, terreno no qual atuam os rgos de controle da legalidade oramentria e contbil. O terreno menos explorado, porm mais importante e significativo, seria aquele no qual se cruzam governo e campo estratgico, gerando espao para que se empreenda um trabalho de avaliao que agregue qualidade poltica pblica. Embora o termo accountability seja muitas vezes traduzido como responsabilizao, Oszlak (2005) observa que ele se refere a um processo de prestao de contas em funo de compromissos ou obrigaes inerentes ao cargo de gesto; no entanto, o termo accountability conota a prpria obrigao de se prestar contas, assumida voluntariamente pelo sujeito, sem necessidade da interveno de um terceiro para exig-la. Essa distino crucial, pois a obrigao faz parte dos valores e, portanto, da cultura; no precisando, necessariamente, ser exigida por outros. A meno ao termo accountability evocaria, de imediato, relao com as noes de transparncia, eficincia, eficcia, bom governo, autonomia, controle, servio ao cidado, legitimidade, ou, inclusive, democracia. E tambm pareceria associada a seus opostos: arbitrariedade, opacidade, corrupo, ineficincia, autoritarismo etc. Ainda que a necessidade de mecanismos de controle e accountability seja fortemente ressaltada pela administrao pblica gerencial, essa no uma problemtica restrita esfera administrativa, uma vez que tambm possui um componente poltico e estratgico. Tais mecanismos respondem presso da sociedade por maior transparncia e responsabilizao da gesto pblica, como parte do Estado democrtico: distintas correntes de pensamento hoje reconhecem que a sorte da democracia e, de certo modo, do bom governo, est inextricavelmente unida possibilidade de instaurar efetivos mecanismos de responsabilizao da funo pblica. (OSZLAK, 2005, p. 248). A institucionalizao de diferentes mecanismos de accountability, entre os quais a avaliao, passou a compor o arcabouo governamental dos estados democrticos, pressupondo tambm diferentes mecanismos de prestao de contas. No Brasil, essa institucionalizao parte do processo mais amplo de construo da democracia, em que um conjunto de controles de diferentes naturezas foi se estabelecendo a partir da Constituio de 1988. A avaliao pode constituir, portanto, mais um dos mecanismos que contribuem para diminuir aquilo que Cunill-Grau identifica como um dficit de controle da sociedade sobre o Estado (CUNILL-GRAU, 2004, p. 44), como parte de uma viso que associa a melhoria do controle da administrao pblica ampliao da democracia em seu interior. Para essa autora, a construo de uma funo pblica profissional uma das condies bsicas para a democratizao do sistema poltico. O funcionalismo profissional seria um dos principais elementos que incidem na capacidade do estado para fazer contribuies com certo grau de autonomia formulao de polticas. Do ponto de vista da melhoria da capacidade de gesto do Estado, a execuo de estudos de avaliao s adquire relevncia se esses e seus resultados fizerem parte de sistemas de avaliao, o que remete discusso sobre a institucionalizao dos sistemas de avaliao no interior de estruturas governamentais. No entanto, esse processo

15

depende de um conjunto de condies, entre as quais a deciso poltica de implantar um sistema de avaliao e a consequente alocao de recursos financeiros, fsicos e humanos. Na prxima seo, discutimos a experincia de implantao do sistema de avaliao da rea de proteo social contributiva, nos trs primeiros anos de sua construo. Descrevemos o modelo desenvolvido, ressaltando o lugar dos estudos de avaliao na produo de evidncias sobre programas para a promoo da transparncia e o fortalecimento de uma gesto profissional e democrtica das polticas pblicas. A experincia do Ministrio do Desenvolvimento Social e Combate Fome O processo de institucionalizao Na rea de assistncia e proteo social no contributiva no Brasil, o Ministrio do Desenvolvimento Social e Combate Fome (MDS) constitui experincia recente de construo de um sistema de avaliao e monitoramento, institucionalizada por meio de uma unidade especfica com a atribuio de avaliar os seus programas (VAITSMAN et all, 2006). No perodo de 2004 a 2007, ao qual se refere esse relato, a rea foi implementada, tendo contratado ou codesenvolvido 72 estudos de avaliao dos seus, ento, 22 programas. O MDS desenvolveu um modelo com algumas singularidades: posicionamento horizontal na estrutura organizacional; concentrao de recursos humanos com alta qualificao; contratao externa dos estudos de avaliao; nfase na gesto dos contratos de pesquisa e disseminao dos resultados; desenvolvimento de instncia ministerial de pactuao da agenda de avaliao; e financiamento com recursos oriundos, em grande parte, de emprstimos junto s agncias internacionais. As bases normativas da institucionalizao da avaliao no MDS foram estabelecidas com a criao do prprio ministrio em janeiro de 20041, aps um ano de Governo Lula, e com a definio de sua estrutura organizacional em maio do mesmo ano. O MDS fundiu o Ministrio da Assistncia Social (MAS), o Ministrio Extraordinrio de Segurana Alimentar e Combate Fome (Mesa) e a Secretaria Executiva do Programa Bolsa Famlia, vinculada diretamente Presidncia da Repblica. O novo ministrio passou a responder pelas polticas nacionais de desenvolvimento social e de segurana alimentar e nutricional. Nesse contexto, foi criada tambm a Secretaria de Avaliao e Gesto da Informao (Sagi), qual couberam as funes de avaliao e monitoramento das polticas e programas do MDS. Essa iniciativa significou uma inovao ao nvel da gesto pblica brasileira, uma vez que, at ento, no existia, em nenhum ministrio, uma secretaria com essa finalidade exclusiva2. Comparativamente s demais experincias latino-americanas, a posio dessa unidade na estrutura organizacional do ministrio tambm singular. Em pases como Chile, Argentina e Mxico, a funo avaliao ora est concentrada num rgo gestor do planejamento de todo o sistema governamental (caso chileno), ora tem suas funes distribudas em vrias unidades de gesto e controle no interior dos ministrios de desenvolvimento social (casos argentino e mexicano).

16

Com a centralizao da funo avaliao na Sagi, a unidade tornou-se responsvel por realizar ou contratar todos os estudos de avaliao referentes aos programas sob gesto do ministrio. Tambm ficou a cargo da capacitao dos gestores do MDS em atividades de avaliao, com o objetivo de fornecer-lhes maior competncia para definir suas demandas; debater as metodologias escolhidas e os resultados encontrados; e, principalmente, apropriar-se dos resultados das investigaes para a melhoria dos programas e polticas sob sua gesto. Ainda que do ponto de vista regimental, as competncias da Sagi tenham sido formuladas pelas instncias dirigentes do ministrio poca de sua criao, isso no significou a formulao, tampouco a implementao, de uma poltica ou um modelo de avaliao; apenas a instituio de suas bases normativas. Crucial para a implementao de qualquer empreendimento a capacidade institucional da agncia responsvel por isso. O primeiro efeito da criao de uma unidade responsvel por avaliao foi a construo de capacidade institucional, implicando recursos financeiros, fsicos e humanos. Alm da alocao de recursos prprios, recursos financeiros oriundos de emprstimos de organismos internacionais foram fatores indutores da implementao desse processo. A exigncia de critrios tcnicos e profissionais para desempenhar um conjunto de atividades de avaliao definio de estudos, desenhos e metodologias; contratao; acompanhamento e avaliao dos estudos contratados requer recursos humanos qualificados. A inexistncia de um corpo de funcionrios prprio, capacitado para essas atividades, consistiu uma debilidade enfrentada de diferentes formas, inicialmente por meio de contratos precrios. A partir de 2007, as contrataes precrias foram substitudas por mecanismos mais estveis. Para avaliar os programas das trs grandes reas do ministrio, investiu-se em competncia tcnica e formao multidisciplinar, recrutando-se profissionais oriundos de diferentes reas de atuao e de conhecimento: cincias sociais e humanas, tecnologia da informao, demografia, estatstica, economia, nutrio, assistncia social, agronomia etc. O objetivo foi constituir uma unidade compacta, com grande competncia tcnica agregada (Tabela 1). Tabela 1 - Recursos humanos da Secretaria de Avaliao e Gesto da Informao, segundo funo e titulao mxima - Julho de 2006. No tocante aos recursos financeiros alocados na Sagi, no perodo de 2004 a 2006, foram investidos US$ 15.844.501,04 em estudos de avaliao. Esses recursos possibilitaram a realizao/contratao de 72 estudos, assim distribudos: 20 concludos, 29 em andamento, 19 em fase de contratao e quatro a contratar. O reduzido nmero de pessoal, selecionado por mrito e experincia, foi um elemento garantidor das diretrizes tcnicas de um modelo de avaliao, baseado em estudos contratados externamente por meio de concorrncias pblicas junto s instituies de ensino e pesquisa. As contrataes externas garantiram maior independncia e iseno dos estudos e, ao mesmo tempo, ganho de escala e de tempo de resposta s demandas do ministrio.
Fonte: Sagi/MDS * Todos cursavam o ensino superior. ** 4 cursavam o mestrado.

17

O financiamento externo e o consequente relacionamento com agncias internacionais contriburam para aumentar a qualidade do debate interno sobre o papel da avaliao na gesto pblica. A relao com atores externos reforou a necessidade de produo de evidncias cientficas, fortalecendo os atributos de independncia e transparncia buscados nos estudos e seus resultados. No ano de 2006, foi constituda a poltica de avaliao e monitoramento do MDS (MDS, 2006), que define como aes de avaliao os estudos e pesquisas com os seguintes objetivos: a) Anlise da implementao de programas; b) Anlise de resultados imediatos dos programas; c) Anlise de impactos ou efeitos dos programas; d) Anlise da eficincia, da equidade, da eficcia e da efetividade de programas; e) Anlise do perfil dos beneficirios dos programas; f) Elaborao de diagnsticos de perfil da demanda; g) Avaliao da satisfao de beneficirios/usurios; h) Avaliao da qualidade dos servios prestados; i) Elaborao de estudos de linha de base. A agenda de avaliao passou a ser regida pelo Plano Anual de Monitoramento e Avaliao (Vaitsman, Rodrigues e Paes-Sousa, 2006), elaborado por grupo de trabalho com representao dos atores relevantes envolvidos na gesto dos programas, sob coordenao da Sagi. Aprovado, anualmente, no ms de agosto, o Plano indica os programas e aes do MDS a serem priorizados pelas avaliaes no ano seguinte. A elaborao do Plano considera as avaliaes realizadas anteriormente pelo MDS ou por outras instituies, de modo a evitar repeties e desperdcio de recursos. O fluxo de avaliao dos programas do MDS Quem demanda e utiliza os resultados dos estudos de avaliao? No caso do MDS, demandas sobre questes e temas a serem avaliados podiam partir de dirigentes, gestores e gerentes de diferentes nveis. A divulgao de resultados de avaliaes atinge pblicos com interesses variados tendo, portanto, distintas implicaes. H sempre vrios tipos de audincia para os resultados da avaliao: gestores e tcnicos envolvidos com os programas avaliados, outros gestores pblicos, pesquisadores, jornalistas e demais interessados nas reas acadmica e poltica. De modo geral, o fluxo de avaliao dos programas do MDS pode ser dividido em: definio da demanda; contratao dos estudos e gesto dos contratos; e disseminao dos resultados. A definio da demanda compreende as etapas da discusso e preparao dos termos de referncia. O termo de referncia (TR) utilizado para estabelecer os parmetros tcnicos e jurdico-administrativos necessrios aos editais de seleo e contratao de pessoa fsica ou jurdica para a execuo das pesquisas. Os parmetros tcnicos definem escopo, objetivos, metodologia, cronograma e custos do projeto.

18

Os parmetros jurdico-administrativos referem-se aos requisitos exigidos pelas normas. Entre estes ltimos, enfatizamos dois aspectos: a propriedade dos microdados por parte do MDS e a adequao tcnica da equipe executora. Uma inovao no ciclo da avaliao do modelo desenvolvido no MDS foi a disponibilizao dos microdados das pesquisas atravs do Consrcio de Informaes Sociais (CIS), preservando-se a confidencialidade dos indivduos observados. A publicao dos microdados torna mais eficiente a utilizao dos recursos pblicos investidos em pesquisa e promove a transparncia em relao aos resultados desses investimentos. Isso permite a confrontao e comparao dos resultados divulgados com resultados oriundos de outras anlises, promovendo uma validao informal das informaes divulgadas sobre os programas. A seguir, apresentamos, de maneira esquemtica, o fluxo de avaliao dos programas sociais do MDS. Fluxo de avaliao dos programas do MDS

19

Legitimidade e adeso A institucionalizao de uma estrutura de avaliao exige ainda legitimidade e adeso dos membros da organizao, o que pressupe, entre outras coisas, que eles acreditem na relevncia daquilo que esto implementando, ou seja, as prticas de avaliao. A criao do MDS reuniu distintas trajetrias organizacionais, campos de conhecimento e objetos de atuao, com suas prprias vises de mundo, modos de agir e solues para a conduo de suas atividades e resoluo de problemas. No existia, em nenhuma das organizaes anteriores que se fundiram no novo ministrio, cultura de avaliao, ou seja, um conjunto de prticas e crenas incorporando a avaliao como parte da gesto de programas e polticas. Pelo contrrio, havia grande desconhecimento do significado e da prpria funo avaliao. Como qualquer inovao, a implementao do sistema de avaliao exigiu a criao de uma base comum de entendimento para a atuao conjunta entre as secretarias responsveis pela conduo dos programas e a secretaria responsvel pela avaliao. Ou seja, foi preciso conseguir resolver dois problemas bsicos: o da cooperao, que um dos principais problemas da implementao (CLINE , 2000); e o da confiana, identificada como uma das bases para a ao coletiva e a produo de bens pblicos (COLEMAN, 1999; PUTNAM, 1988; KLIKSBERG, 1999). Confiana e cooperao foram to mais necessrias quanto a necessidade, para a atividade de avaliao, de compartilhar bancos de dados gerenciais sobre os programas, como cadastro de beneficirios, dados fsico-financeiros, alm de informao, conhecimento sobre os programas e contatos com municpios. A cooperao intraorganizacional entre diferentes unidades responsveis pela gesto da poltica, ao nvel executivo, e pela avaliao imprescindvel para implementao da avaliao. Como sabemos, organizaes so locais de conflito. Dificilmente, resistncias a processos inovadores so resolvidas apenas por procedimento hierrquico, sem a criao de mecanismos de cooperao. A participao dos membros das demais secretarias na elaborao da agenda de avaliao e monitoramento, bem como nas vrias fases da implementao da avaliao definio do desenho e das questes de pesquisa, construo de instrumentos de pesquisa, discusso de relatrios e recomendaes, incorporao das recomendaes pertinentes , tornou-se uma prtica institucionalizada no processo de implementao dos estudos. O convencimento dos membros da organizao e, sobretudo, dos gestores de que as informaes produzidas por monitoramento e avaliao possibilitariam no apenas melhorar o desempenho dos programas e verificar se os resultados previstos so alcanados, mas tambm sua reformulao consistiu em uma etapa necessria do processo de institucionalizao. A legitimidade da avaliao passa pelo reconhecimento de sua utilidade. Enquanto atores racionais, os gestores de programas tm interesse pela funo instrumental. isso que d sentido ao investimento em estudos acadmicos. A cooperao entre diferentes membros do corpo tcnico, pesquisadores externos e gestores dos programas consistiu em grande incentivo para a cooperao.

20

Consideraes finais A experincia do MDS mostra que, na perspectiva da institucionalizao e legitimidade, difcil separar a funo de gesto da avaliao de suas funes estratgicas. Pois, para os gestores justamente sua utilidade enquanto instrumento de gesto que fomenta a cooperao e ao mesmo tempo divulga a agenda da avaliao, promovendo maior accountability dentro da organizao. Processos mais transparentes e cooperativos fomentam a adeso ao processo de accountability e criam condies para a incorporao, pelos membros da organizao, da cultura da avaliao. As contrataes externas, garantindo maior independncia e iseno dos estudos, constituram elementos decisivos para a construo de legitimidade interna e externa. Do ponto de vista interno, o envio permanente dos resultados das investigaes s instncias de pactuao renova a autoridade dos avaliadores frente aos avaliados, reduzindo os potenciais conflitos entre estes. A utilizao dos resultados de avaliao pelas diferentes audincias depende do grau de domnio e interesse sobre os programas e polticas, bem como do conhecimento das metodologias de avaliao. A divulgao, por meio de publicaes de resultados de avaliao, alm de tornar pblico os produtos das polticas e programas, subsidia o debate tcnico e poltico da rea de desenvolvimento social. Nesse sentido, a apropriao e o uso dos resultados da investigao pela gesto das polticas e programas, que de fato, coroariam o ciclo de avaliao de um programa ou poltica, constituem um desafio ao mesmo tempo poltico e gerencial. Questes como a no coincidncia entre o tempo da poltica e o da produo de conhecimento costumam ser objeto de conflitos entre os diferentes atores envolvidos no processo de implementao e avaliao. Muitas vezes, recomendaes relevantes de estudos de boa qualidade no conseguem interferir na dinmica das polticas e programas, seja pela indiferena dos gestores ou dificuldade de mobilizar os responsveis por mudanas nessa dinmica. A experincia do Ministrio do Desenvolvimento Social (MDS) muito recente, mas h claras percepes externas dos bons resultados alcanados, como indicam Abrcio (2007), Nogueira e Cavalcanti (2009), e a premiao em 2 lugar na 11 edio do Concurso Inovao na Gesto Pblica Federal, realizado pela Escola Nacional de Administrao Pblica (ENAP), em 2007. Os estudos de avaliao do MDS cumpriram seus objetivos de produo de evidncias em polticas pblicas. Ganhos de informao, anlises e subsdios para a expanso e o planejamento dos programas foram conquistas obtidas base de cooperao organizacional e legitimidade interna e externa, pautadas por critrios de transparncia e excelncia. A avaliao conseguiu um lugar institucional, passando no apenas a ser aceita, mas fortemente demandada como necessria pelas demais unidades e membros da organizao. As atividades da unidade de avaliao desempenharam tanto funes estratgicas, de governo, ao promoverem a transparncia das aes do Estado, quanto operacionais, ao produzirem evidncias para os gestores de programas. Ainda que o sistema tenha

21

sido implementado a partir de um modelo top-down, dentro de uma perspectiva gerencialista, a cooperao entre os atores envolvidos garantiu a participao de vrios nveis hierrquicos da organizao. A dinmica do processo de contratao de estudos e produo e divulgao de resultados constituiu-se em elemento importante para a construo de uma gesto mais eficaz e transparente. Ainda que a institucionalizao de sistemas de avaliao integrados s estruturas governamentais dependa de inmeros fatores sobre os quais nem sempre seus formuladores ou implementadores tm poder de deciso e influncia, a experincia do MDS, ao instituir um sistema de avaliao, expandiu o debate qualificado sobre os projetos e polticas de governo. A discusso de questes que so objeto das polticas, com base em evidncias, produz opinies e julgamentos mais informados, promovendo mudanas de qualidade na arena das polticas pblicas. Referncias bibliogrficas
ABRUCIO , Fernando Luiz. Trajetria recente da gesto pblica brasileira: um balano crtico e a renovao da agenda de reformas. In: Revista Brasileira de Administrao Pblica, Rio de Janeiro: FGV, Edio Especial Comemorativa, 2007. p. 67-86. BARROS, Marilene. Sistema Nacional de Auditoria do SUS estruturao, avanos, desafios e fora de trabalho. 2007. Tese (Doutorado) Escola Nacional de Sade Pblica, Fundao Oswaldo Cruz. BRASIL. Ministrio do Desenvolvimento Social e Combate Fome. Portaria sobre a poltica de avaliao e monitoramento do MDS. Braslia, DF: MDS, 2006. C LINE , Kurt D. Defining the Implementation Problem: organization management versus cooperation. Journal of Public Administration Research and Theory, Oxford, v. 10, n. 3, 2000. COLEMAN, James. Social Capital in the Creation of Human Capital. In: DAS GUPTA, Partha & SERAGELDIN, Ismail. Social Capital- A Multifaceted Perspective. Washington, DC: The World Bank, 1999. CUNILL- GRAU, Nuria. La Democratizacin de la administracin pblica: los mitos a vencer. In: Poltica y Gestin Pblica. Centro Latinoamericano de Administracin para el Desarrollo (CLAD). Buenos Aires: Fondo de Cultura Econmica de Argentina, S.A., 2004. FARIA, Carlos Aurlio P. A Poltica da Avaliao de Polticas. Revista Brasileira de Cincias Sociais, So Paulo,. v. 20, n. 59, 2005. GREENE, Jennifer C. Qualitative Program Evaluation- Practice and Promise. In: Denzin N. & Lincoln. Y. Handbook of Qualitative Research. London: Sage Publications, 1994. p.530-544. KLIKSBERG, Bernardo. Capital Social y Cultura, Claves Esenciales del Desarrollo. Revista de la Cepal, Santiago de Chile, n. 69, dez. 1999. N OGUEIRA , Ronaldo e C AVALCANTE , Pedro. Avaliao e Monitoramento: duas Experincias de institucionalizao na gesto das polticas pblicas no Poder Executivo Federal Brasileiro. In: XIV Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administracin Pblica, 2009, Salvador (Bahia), Brasil.. O SZLAK , Oscar. Responsabilizacin o respondibilidad?: el sujeto y el objeto de un Estado responsable. In: Responsabilizacin y Evaluacin de la gestin pblica. Caracas: Editorial Texto, C.A., 2005. p. 239-272. Centro Latinoamericano de Administracin para el Desarrollo(CLAD). PATTON. Evaluationss political inherency: practical implications for design and use. In: PALUMBO, D. J. The Politics of program evaluation. Newbury Park, CA. Sage, 1987. p. 100-145. PUTNAM, Robert D. Comunidade e Democracia a experincia da Itlia moderna. Rio de Janeiro: Fundao Getlio Vargas, 1996.

22

SUBIRATS, Joan. Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico? In: Responsabilizacin y Evaluacin de la gestin pblica. Caracas: Editorial Texto, C.A., 2005.p.47-58. Centro Latinoamericano de Administracin para el Desarrollo (CLAD). VAITSMAN , Jeni; R ODRIGUES , Roberto W. S. & P AES -S OUSA , Rmulo. O Sistema de Avaliao e Monitoramento das Polticas e Programas Sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome. Braslia: UNESCO, 2006. Policy Papers, n.17.

Notas
1 Medida Provisria n. 163, de 23 de janeiro de 2004, transformada na Lei n. 10.868, de 13 de maio de 2004. 2 As atribuies da Sagi foram definidas pelo Decreto n. 5.074, de 11 de maio de 2004, e corroboradas pelo Decreto n 5.550, de 22 de setembro de 2005.

Jeni Vaitsman Nacionalidade brasileira. Doutora em Sociologia pelo Instituto Universitrio de Pesquisas do Rio de Janeiro (Iuperj). Pesquisadora-titular da Escola Nacional de Sade Pblica, da Fundao Oswaldo Cruz. Foi diretora de Avaliao e Monitoramento do Ministrio do Desenvolvimento Social e Combate Fome (2004 2007). Rmulo Paes de Sousa Nacionalidade brasileira. Mdico, PhD em Epidemiologia pela London School of Hygiene and Tropical Medicine (University of London). Pesquisador do Observatrio de Iniquidades em Sade, da Fundao Oswaldo Cruz. Foi secretrio de Avaliao e Gesto da Informao do Ministrio do Desenvolvimento Social e Combate Fome (2004 2007).

23

24

A combinao entre federalismo e polticas pblicas no Brasil ps-1988: os resultados nas reas de sade, assistncia social e educao Cibele Franzese e Fernando Luiz Abrucio

Introduo O Estado de Bem Estar Social desenhado pela Constituio de 1988 teve dois parmetros bsicos: a descentralizao e a expanso/universalizao da atuao estatal. Mas a implementao dessas ideias no foi uniforme nos diversos setores. O presente trabalho procura explicar tal diversidade a partir dos efeitos recprocos entre federalismo e polticas pblicas no Brasil. Particularmente, o trabalho reala como as policies (sua trajetria, arenas e atores especficos) podem afetar o desenho institucional mais geral. Para tanto, o artigo faz, inicialmente, um debate terico e acerca das experincias internacionais para mostrar as possibilidades de relacionamento entre federalismo e polticas pblicas. O federalismo faz diferena para a poltica e para as polticas pblicas Vrios autores realam o papel do federalismo sobre os sistemas polticos, mesmo quando partem de supostos analticos diferentes. Alfred Stepan (1999), por exemplo, procura criar uma classificao que mensura o impacto do federalismo na representao poltica dos cidados. O autor posiciona diferentes pases em um contnuo que vai desde sistemas que contm restries mnimas ao conjunto dos cidados da federao (denominado demos-enabling), aos que contm restries mximas a esse mesmo conjunto de cidados (demos-constraining). A estrutura federativa ser mais demos-constraining quanto maiores forem a superrepresentao dos estados menos populosos na Cmara Alta, a abrangncia das polticas formuladas pela Cmara Alta e o grau de poder conferido pela Constituio Federal s unidades da federao na elaborao de polticas, bem como quanto menor for o grau de nacionalizao do sistema partidrio em suas orientaes e sistemas de incentivos. Em suma, quanto maior o poder das unidades federativas em um sistema poltico, mais ele se distanciar do sistema demos-enabling. Nesse sentido, o autor se mostra claramente favorvel ao modelo majoritrio de democracia1. Analisando a mesma questo, Lijphat (1999) observa as caractersticas institucionais das federaes como relevantes para a construo de um modelo de democracia consensual, capaz de ampliar o tamanho das maiorias representadas. Sob esse prisma, a existncia de um legislativo bicameral; de constituies federais rgidas capazes de garantir com maior estabilidade as prerrogativas dos entes federativos ; e do sistema de judicial review (que faz com que o Judicirio funcione como ltima instncia a arbitrar conflitos

25

constitucionais federativos) so caractersticas institucionais que incluem mais atores no processo decisrio, melhorando a representao em sociedades mais heterogneas. Qualquer que seja a opo pela democracia majoritria (STEPAN, 1999) ou pelo modelo consensual (LIJPHART, 1999) a literatura reconhece claramente a relevncia do impacto das estruturas federativas em um sistema poltico. Mas o impacto do federalismo vai alm das macroestruturas polticas. Ele igualmente relevante para o funcionamento das polticas pblicas. Nesse caso, a anlise da distribuio de competncias entre os entes federativos, bem como da distribuio de recursos entre eles so, normalmente, o ponto de partida para a discusso. A literatura faz uso recorrente das categorias do federalismo competitivo e cooperativo para promover comparaes entre as diferentes federaes. No obstante sua utilidade para fins comparativos, essa classificao dicotmica apresenta limitaes explicativas, principalmente nos casos de pases que no se encaixam totalmente em nenhum dos modelos. Obinger et alli (2005) apresentam uma abordagem diferente, que inclui o tempo como varivel explicativa na relao entre federalismo e polticas pblicas. Alm disso, os autores concluem que a relao entre polticas pblicas e federalismo uma relao de reciprocidade. Isto , enquanto j parece consagrado na literatura que o federalismo importa na vida poltica dos Estados seja na representao poltica, na governabilidade ou na produo de polticas pblicas , a anlise dos casos demonstra que as polticas pblicas tambm importam e podem gerar efeitos sobre as relaes federativas. Os modelos de federalismo competitivo e cooperativo

Federal arrangements can be tailored to give collaboration between the government tiers priority over their autonomy, if social integration and equivalent living standards over the country are the goal. Vice versa, autonomy of the constituent units will be enshrined in federal institutions if self-determination and diversity are the aims of federalism. These decisions [] will bring two ideal types of federalism. (WACHENDORFERSCHMIDT, 2000, p. 7, grifo nosso).

A classificao entre federalismo cooperativo e competitivo mencionada no trecho acima uma das formas de observar o impacto do federalismo nas polticas pblicas. O padro competitivo caracteriza-se por uma distribuio de competncias entre os nveis de governo, baseada na diviso de responsabilidades por rea de poltica pblica. Com essa diviso, pretende-se separar o espao de atuao das esferas de governo, de maneira a preservar a autonomia das unidades federativas na produo de polticas, favorecendo a competio entre elas. um modelo descentralizado, no qual o poder de tributao tambm dividido, possibilitando a fixao de diferentes valores pelas unidades federativas,

26

que competem entre si. O caso mais representativo desse tipo de federalismo so os Estados Unidos, cuja separao entre estados e Unio originou a figura do federalimo dual. (OBINGER et al, 2005; WACHENDORFER-SCHMIDT, 2000; PAINTER, 2000). Um dos pontos fracos do modelo competitivo a possibilidade da competio entre os estados levar a um problema de ao coletiva, tradicionalmente denominado na literatura como race to the bottom2, na proviso de polticas sociais. Isso se traduz em uma estratgia governamental dos estados de realizao de menos investimento nas reas sociais, para que no sejam atrados novos beneficirios provenientes de outras unidades federativas. Nesse caso, os governos com maior ateno para o Welfare seriam vtimas do fenmeno do free rider, gerando mais custos para as polticas pblicas com a possvel (e paradoxal) perda de legitimidade perante seus eleitores. J no padro cooperativo, as instituies polticas incentivam os atores territoriais a colaborarem, dividindo os poderes entre eles funcionalmente e prevendo tarefas a serem executadas conjuntamente. Ao contrrio da competio tributria, tem-se um sistema de taxao conjunta e equalizao fiscal vertical e horizontal. A Alemanha o caso que mais se enquadra nesse modelo, com a previso de competncia federal de formulao e subnacional de implementao, alm de um slido sistema de compensaes financeiras, com o objetivo de garantir a cooperao entre os estados mais ricos e mais pobres. A aprovao da legislao, no mbito federal, tambm depende de aprovao dos estados, uma vez que deve passar pelo Conselho Federal (Bundesrat) composto por membros indicados pelos seus governadores. Por fim, nas poucas reas que permaneceram de competncia dos estados (como polcia, educao e cultura), h uma srie de comits formais e informais, com o objetivo de coordenar os diferentes estados e garantir um mnimo de uniformidade no mbito nacional. Ao contrrio da dualidade do modelo norte-americano, a Alemanha conhecida na literatura como unitary federal state (WACHENDORFER-SCHMIDT, 2000). Contrariamente ao modelo cooperativo alemo, argumenta-se que a interdependncia presente no sistema levaria a uma maior rigidez nas polticas pblicas, dificultando mudanas e prejudicando a responsividade. A necessidade de constante cooperao produz um grande nmero de veto players e cria o que Scharpf (1976)3 chamou de armadilha da deciso conjunta. A discusso em torno dos dois padres competitivo ou cooperativo bastante til para evidenciar o impacto das instituies federativas na produo de polticas pblicas. Entretanto, o cotidiano do policy-making nas federaes mais dinmico e menos dicotmico do que a classificao prope. Prova disso que Daniel Elazar, um dos principais estudiosos do federalismo norte-americano, questiona a existncia de um federalismo dual nos Estados Unidos, sustentando que o sistema de grants promoveu uma interao entre os governos central e estaduais, a qual permite falar em um federalismo colaborativo. Em razo disso, a metfora de que o federalismo norte-americano se conformaria como um layer cake (bolo de duas fases, no qual fica visvel a separao entre as duas camadas) deveria ser substituda pela imagem do marble cake (bolo mrmore, cuja mistura de cores representaria a mistura de competncias entre as esferas de governo).

27

No que se refere armadilha da deciso conjunta tpica do modelo cooperativo, h tambm literatura flexibilizando sua aplicao federao alem. Wachendorfer-Schmidt (2000) critica a rigidez atribuda ao pas, citando estudos que demonstram a possibilidade de sua adaptao a novos desafios sem a necessidade de uma reforma que diminua as reas de deciso conjunta: Changes can then be made according to the situation in each policy area, incremental and informally if possible, in order to avoid the costs of reform (WACHENDORFER-SCHMIDT, 2000, p.9, grifo nosso). Trazendo essa classificao para o caso brasileiro, uma observao inicial sobre a diviso constitucional de competncias nos aproximaria do modelo cooperativo, principalmente em razo do artigo 23 da Constituio Federal, que elenca uma srie de reas de poltica pblica comuns a municpios, estados e Unio. So ao todo doze incisos que abrangem diversas reas, dentre elas sade, acesso educao e cultura, proteo ao meio ambiente, combate pobreza e preservao do patrimnio histrico. A possibilidade de atuao simultnea dos diferentes nveis de governo em reas comuns nos aproxima do modelo cooperativo. Entretanto, apesar da previso de uma futura lei complementar fixando normas para a cooperao entre Unio, estados e municpios, no foi promulgada nenhuma legislao geral, estabelecendo uma diviso funcional entre as esferas de governo que determine a quem cabe a formulao e a quem cabe a execuo das polticas sociais. O que a literatura registra no momento ps-Constituio um processo de descentralizao tanto na rea de sade, quanto de educao e assistncia social, porm em ritmos e condies bastante diferenciados. A classificao em federalismo competitivo ou cooperativo no nos ajuda a reconhecer essas diferenas. Obinger et all (2005) enfrentaram o mesmo problema nos seus estudos de caso:

We noted that several countries [] failed to fit precisely into either the inter-state or intra-state type of federalism. [] These qualitative comparisons of the evolution of the relationships between federalism and the welfare state over time underline the danger of oversimplification of a complex and changing phenomenon. (OBINGER et alli, 2005, p. 318).

Para a explicao das diferenas encontradas entre os pases comparados, os autores recorreram abordagem do neoinstitucionalismo histrico, argumentando que a sequncia de eventos no tempo justifica as diferenas e semelhanas no desenvolvimento e desmantelamento dos estados de bem-estar social entre as diferentes federaes estudadas. O tempo faz diferena A aplicao da abordagem do neoinstitucionalismo histrico relao entre federalismo e poltica social tem um marco importante no trabalho de Pierson (1995).

28

Reafirmando a importncia do estudo das instituies polticas como o conjunto de regras do jogo que influencia na formao de coalizes, na estratgia poltica dos atores, na distribuio e barganha de poder entre os diferentes grupos e na capacidade de produo de polticas pblicas dos Estados, o autor se prope a analisar o impacto do conjunto de instituies tpicas do federalismo no desenvolvimento da poltica social. Dentre os impactos definidos pelo autor, dois dialogam diretamente com a discusso dos modelos competitivo e cooperativo de federalismo. O primeiro refere-se afirmao de que o federalismo cria novos atores institucionais (com base territorial) que, como unidades autnomas, so capazes de sustentar opes prprias de polticas pblicas e ainda influenciar as possibilidades de polticas sociais do governo central e das demais unidades federativas. O segundo menciona que o federalismo produz dilemas de deciso conjunta em razo do processo de responsabilidade compartilhada nas polticas pblicas. Essa situao geraria desenhos de polticas complexos, que devem incorporar as necessidades e interesses de cada nvel de governo, subordinando a eficincia e a flexibilidade acomodao poltica e a garantias procedimentais. Retomando a definio de federalismo de Elazar (1987) self rule plus shared rule pode-se perceber que o primeiro impacto refere-se a desafios produzidos pela autonomia e o segundo, a impasses gerados pela interdependncia. A abordagem de Pierson, porm, diferentemente das anteriores, no busca relacionar os dilemas de autonomia ao federalismo competitivo e as implicaes de deciso compartilhada ao federalismo cooperativo. O autor percebe a possibilidade de coexistncia de ambas as caractersticas em uma mesma federao, ressaltando a necessidade de novas pesquisas comparadas para observar como esse processo se d em cada pas e como esses impactos interagem com outras variveis de cada sistema poltico em particular. O trabalho de Obinger et all (2005) tem o objetivo de suprir, em parte, a lacuna apontada por Pierson (1995), analisando sistematicamente a relao entre federalismo e o desenvolvimento do Estado de Bem-Estar Social em seis pases: Estados Unidos, Austrlia, Canad, Alemanha, ustria e Sua. A pesquisa busca observar a interao entre federalismo e poltica pblica na criao do Welfare State e no seu desmantelamento na recente era de ajuste fiscal das reformas de Estado. No que diz respeito ao momento de criao do Estado de Bem-estar Social, a comparao entre os diferentes estudos de caso levou concluso de que, para compreender a relao entre federalismo e polticas pblicas, o essencial observar em que ordem no tempo se deram os eventos relacionados ao desenvolvimento de um federalismo democrtico e do Estado de Bem-estar Social em um determinado pas, ou seja, observar se quando o Welfare State se desenvolveu j havia ou no um contexto federativo democrtico em funcionamento. Nos casos em que o federalismo democrtico funcionava antes da implementao do Welfare State, vigorava uma estrutura mais descentralizada. Por essa razo, as polticas sociais se consolidaram nacionalmente mais tardiamente e o aumento do gasto social ocorreu lentamente. Em outras palavras, o federalismo teve de fato um papel de retardar e, em alguns casos, impedir a formao de polticas de bem-estar social em pases como Estados Unidos, Canad, Austrlia e Sua.

29

J nos pases em que o desenvolvimento do Estado de Bem-estar Social ocorre em um contexto federativo centralizado e autoritrio como na Alemanha e na ustria , as polticas sociais so mais rapidamente implementadas em nvel nacional e o gasto social apresenta crescimento mais rpido e maior. Outro ponto chave decorrente do primeiro observar qual nvel de governo dominava o setor de poltica pblica quando da implementao do Estado de Bem-estar Social, isto , qual a competncia original daquela rea de poltica, o legado que cada rea traz. Novamente, nas federaes no democrticas e mais centralizadas, o terreno das polticas sociais j contava com iniciativas federais e tambm com prerrogativas de atuao dessa esfera de governo. Nesses casos, foi muito mais fcil e rpida a expanso do Estado de Bem-estar Social. Nos casos de federalismo democrtico e predominantemente competitivo, a competncia dos estados fazia com que poucos programas sociais fossem iniciados, dada a dinmica de competio e possvel atrao de novos beneficirios. Nesses casos, a Unio possua poucas prerrogativas de atuao unilateral, assim como havia poucas reas de deciso compartilhada, fazendo com que o governo central dependesse da colaborao dos governos subnacionais para a implementao das polticas sociais. Desse modo, o desenvolvimento do Welfare State demorou at que o governo federal adquirisse poder e superasse a situao original. Em alguns casos, foram necessrias emendas constitucionais e disputas judiciais para a realocao de competncias, funcionando o federalismo, nesses casos, mais uma vez como um fator a retardar o desenvolvimento das polticas sociais. Porm, em situaes nas quais essa realocao no foi bem sucedida, a forma de o governo central superar esses obstculos aconteceu por meio de transferncias de recursos vinculadas a programas (grants), originando nessas federaes democrticas e descentralizadas uma maior interdependncia entre as unidades federativas. No momento de retrao de gastos sociais e reduo do tamanho do Estado, o federalismo tambm atua, de maneira geral, como uma barreira, favorecendo a manuteno do status quo, devido ao nmero de possveis veto players reduo dos gastos federais. Em matrias nas quais os cortes no necessitam de deciso conjunta, as redues federais foram feitas e parte dos custos desta retrao foi transferida para os governos subnacionais, em um processo que Pierson (1995) chamou de blame avoidance:

[] the contemporary environment of austerity makes federalism an important feature in the on-going politics of blame avoidance. [...] Because retrenchment is generally unpopular, governments at both levels will try hard to pass the buck to other tiers in the system. Instances which national governments have attempted to manage austerity by shifting responsibilities to (ill-equipped) constituent units have been prominent in a number of federal systems. (PIERSON, 1995, p.458. grifo nosso).

30

Anlise do caso brasileiro a partir da Constituio de 1988 Como j mencionado, Obinger et alli (2005) observam a relao entre federalismo e poltica pblica em dois momentos: o da criao e o da diminuio do Welfare State. Em ambas as situaes, a existncia de um federalismo democrtico consolidado funciona como efeito catraca, isto , joga a favor da manuteno do status quo, dificultando tanto o desenvolvimento do Estado de Bem-estar Social no momento inicial, quanto seu desmantelamento no momento posterior. Para a anlise do caso brasileiro, ser utilizado como marco a Constituio Federal de 1988. Essa opo se justifica porque a nova Carta redefiniu tanto as bases do pacto federativo brasileiro, quanto as diretrizes para as polticas sociais no pas. No se quer, com isso, ignorar que as razes do Estado de Bem-estar Social no Brasil remontam a perodos anteriores o que ser, em certa medida, levado em conta ao analisarmos a contribuio do legado de cada uma das trs reas de polticas pblicas. No se pode tambm desconsiderar que a Constituio inova ao institucionalizar uma agenda de polticas sociais com diretrizes de universalizao e igualdade de acesso, tpicas de um modelo de Estado de Bem-estar Social, bem como de descentralizao explcita das polticas. Aplicando, ento, o modelo analtico de Obinger et all (2005) ao caso brasileiro, a partir do marco institucional da Constituio Federal de 1988, a primeira questo que se coloca a constituio do que os autores denominam contexto federativo democrtico. Apesar de no analisarem, nos seis estudos de caso, a relao entre federalismo e democracia, no caso brasileiro, essa interao explica boa parte das opes institucionais do modelo federativo criado pela Constituio de 1988, que constitui um panorama comum a todas as reas de polticas pblicas. O modelo federativo estabelecido na Constituio Federal de 1988 foi fortemente influenciado pela redemocratizao. A oposio ao perodo autoritrio anterior, caracterizado pela centralizao de poder, fez com que se chegasse Constituinte com a convico de que descentralizao significaria democratizao. Nesse sentido, verificase na Constituio a tentativa de transferir decises para arenas subnacionais de governo, que seriam estruturas mais permeveis s demandas e fiscalizao da sociedade civil. Foi principalmente em relao ao nvel municipal de governo que se fez perceber a forte diretriz de descentralizao da nova Constituio. A partir de 1988, o Brasil se tornou um caso peculiar de federao com trs esferas de governo, sendo os municpios considerados entes federativos ao lado dos estados e da Unio, com autonomia poltica, administrativa e financeira. Alm disso, a Constituio foi responsvel pela consolidao da tendncia de descentralizao de recursos que havia se iniciado j na primeira metade da dcada de 1980, principalmente via aumento de transferncias federais por meio dos fundos de participao. De 1980 a 1995, a participao dos municpios na receita nacional quase dobrou, passando de 8,7% do total, para 16,6%; nos estados o percentual oscilou de 23,3% para 27,2% nos mesmos quinze anos, enquanto a Unio teve sua participao diminuda de 68,1% para 56,2% neste perodo (VARSANO, 1998). Esse panorama desencadeou, no perodo ps-Constituio, um processo de multiplicao do nmero de municpios. No plano fiscal, essa situao gerou uma

31

perda de recursos por parte dos municpios que reduziram populao e tambm para os municpios preexistentes como um todo (uma vez que o mesmo valor depositado no fundo passa a ser repartido entre mais unidades). Para muitos municpios, a alternativa foi investir no aumento da arrecadao prpria e no fomento a atividades econmicas que elevassem o repasse estadual do ICMS. Na disputa pela atrao de novas atividades econmicas, vrios municpios adotaram uma poltica de concesso de benefcios fiscais a grandes empresas, tpica do modelo competitivo de federalismo (MELO, 1996). Os estados, por sua vez, em situao de crise financeira e comprometendo grande parte de suas receitas com o pagamento de funcionrios, usufruram da ampla liberdade tributria que lhes foi conferida pela Constituio, para iniciar um jogo tambm competitivo, oferecendo incentivos fiscais com o objetivo de atrair novas empresas, deflagrando um processo de guerra fiscal (ABRUCIO e COSTA, 1999). Nesse contexto, percebe-se que os novos desafios de universalizao e igualdade de acesso presentes na Constituio teriam, para sair do papel, de enfrentar um cenrio bastante fragmentado, com os nveis subnacionais de governo fortalecidos no contexto federativo. Nesse sentido, o que se poderia esperar seria o federalismo dificultando a nacionalizao de polticas sociais. Entretanto, o caso brasileiro traz outra peculiaridade para a aplicao da abordagem proposta. A Constituio de 1988 institucionaliza a agenda de universalizao e igualdade de acesso na dcada em que se fortaleceram, no cenrio internacional, as estratgias de desmantelamento do Estado de Bem-estar Social. como se os dois momentos-chave identificados por Obinger et all (2005) de construo e desmantelamento do Estado de Bem-estar Social ocorressem simultaneamente. Por essa razo, ao mesmo tempo em que se pde verificar a utilizao de mecanismos semelhantes aos descritos pelo estudo dos casos de construo do Estado de Bem-estar Social em contextos federativos e democrticos como o uso de grants, do shared cost federalism e at mesmo de emendas constitucionais alterando as regras do jogo federativo nas polticas sociais , observam-se tambm estratgias tpicas do momento de reduo do tamanho do Estado como blame avoidance e seu jogo de empurra. A prtica do jogo de empurra entre as esferas de governo no foi provocada apenas pelo momento de ajuste fiscal do Estado. O rol de competncias constitucionais comuns favoreceu a indefinio de responsabilidades entre os entes federativos, enquanto as diretrizes constitucionais de descentralizao e universalizao de polticas sociais fortaleceram os municpios. Em um primeiro momento, o resultado dessa combinao institucional com um contexto de endividamento e crise fiscal foi a participao dos estados em polticas financiadas pela Unio, eximindo-se da responsabilidade de investimento, considerando que estavam constitucionalmente desobrigados. O governo federal, de seu lado, sentindo a perda de recursos ocasionada pela descentralizao fiscal , procurou transformar a descentralizao em um jogo de repasse de funes, intitulado poca de operao desmonte. (ABRUCIO, 2002, p. 194).

32

Nesse contexto, o resultado do jogo de empurra, ou do pass the buck, foi que grande parcela dos encargos acabou sendo assumida pelos municpios. Na dcada de 1990, as administraes municipais passaram a promover polticas nas mais variadas reas, tais como: meio ambiente, sade, educao, alimentao e abastecimento, habitao e urbanizao, crianas e adolescentes, emprego e renda, projetos agrcolas, dentre outras4. Um dos resultados desse processo de fortalecimento dos governos locais foi a crena de que o municpio, sozinho, seria capaz de atender a todas as demandas da populao. De acordo com o ex-prefeito de Santo Andr, Celso Daniel, seria um:

municipalismo muito autrquico e voltado apenas para os problemas do prprio municpio [...] um sentido de autonomia e autogesto municipal que [...] faz com que prefeitos tenham muita dificuldade em voltar-se para problemas que so mais amplos [...] [e] dificulta muito o estabelecimento de relaes horizontais de cooperao. (DANIEL, 2001).

Diante dessa realidade de fragmentao de polticas sociais e grande autonomia dos entes subnacionais, a Unio passou analogamente ao que ocorreu nas federaes democrticas mais competitivas no momento da formao do Welfare State a buscar formas de se fortalecer, tanto financeiramente quanto nas prerrogativas de atuao, nas diferentes reas de poltica pblica. Entretanto, a estratgia de fortalecimento do governo federal no foi promover uma queda de brao para recentralizar competncias. O momento de ajuste fiscal foi fundamental para que a estratgia de centralizao se transformasse em coordenao; isto , apesar dos esforos federais terem se dado no sentido de promover a universalizao prevista na Constituio, sua estratgia foi faz-lo por meio da ao subnacional, notadamente dos municpios. Nesse sentido, a estratgia adotada pelo governo federal brasileiro difere da mera transferncia de recursos condicionada execuo de programas (grants) to comum s federaes analisadas, que constituram seu Estado de Bem-estar Social em um momento posterior consolidao de sua estrutura federativa. Ao induzir a universalizao de polticas sociais por meio da descentralizao, o governo federal brasileiro no promoveu apenas a execuo de um programa nacional por meio dos municpios, mas lhes transferiu a operacionalizao e gesto da poltica pblica. Isso significa que, ao mesmo tempo em que, em um primeiro momento, a Unio se mostrou fortalecida, estabelecendo padres e programas nacionais aos quais estados e municpios devem se conformar, o resultado dessa ao no tempo foi a concretizao da diretriz constitucional de descentralizao de polticas pblicas, fortalecendo principalmente os municpios. Em outras palavras, esse panorama resultado da combinao de aes federais que buscam atender s especificidades dos dois momentos que ocorrem separadamente nos

33

casos discutidos por Obinger et all (2005), mas simultaneamente no caso brasileiro: os momentos de universalizao de polticas sociais e de ajuste fiscal, com reduo do tamanho do Estado. A coordenao no apenas a estratgia possvel ao governo federal dado o contexto federativo democrtico consolidado pela Constituio de 1988 , mas a estratgia desejvel, considerando que, em um contexto de ajuste fiscal, no interessou ao governo central retomar a responsabilidade sobre as polticas pblicas, mas sim implementar as diretrizes federais por meio da ao subnacional. O que se percebe, aps alguns anos de consolidao desse processo, que, diferentemente do fortalecimento do governo central que ocorreu no momento de constituio dos Estados de Bem-estar Social discutidos por Obinger et all (2005), essa estratgia promove, ao longo do tempo, um fortalecimento dos governos subnacionais no Brasil pela consolidao das polticas pblicas. A seguir, aprofundaremos essa anlise, por rea de poltica pblica, mapeando os instrumentos federais utilizados e a importncia do legado em cada setor. Porque as polticas pblicas fazem diferena

The general notion of feedback effects comes from a systems or cybernetic analogy. The usual implication is that such effects are unintended consequences of disturbances to the system, and such is, indeed, the case for many of the changes to federal structure resulting from the development of social policy in these countries. (OBINGER et all, 2005, p.344).

Apesar da anlise de Obinger et all (2005) dedicar-se, principalmente, aos efeitos do federalismo sobre as polticas pblicas, os autores defendem que a relao entre os dois de reciprocidade, deixando claro o reconhecimento de que as polticas tambm interferem no contexto federativo. Essa ideia desenvolvida por eles a partir do conceito de feedback effects utilizado no mbito da abordagem do neoinstitucionalismo histrico e resumidamente definido no trecho citado anteriormente. Um dos feedback effects identificados, que nos ajuda a compreender o caso brasileiro, ocorre nas federaes canadense e norte-americana. O contexto federativo prvio nacionalizao das polticas sociais fez com que o Estado de Bem-estar Social fosse implementado por meio de uma srie de acordos distintos entre governos estaduais e federal, que atriburam ao nvel subnacional o controle sobre certos aspectos da implementao de polticas sociais, ao mesmo tempo em que os constrangeram a realizar programas federais. A consequncia foi a emergncia de um federalismo estruturado em processos de deciso conjunta nos casos em que tais acordos necessitam da aprovao de ambas as esferas de governo ou em um sistema de custos compartilhados, com o governo federal provendo recursos a programas intergovernamentais. Em suma, o federalismo dual se torna cada vez mais cooperativo.

34

No caso brasileiro, como dito ao final da ltima seo, o fato de que a implementao de polticas nacionais de universalizao de acesso se deu em um momento de crise fiscal do Estado, fez com que a estratgia federal inclusse no apenas a mera transferncia de recursos em nome da execuo de sua agenda, mas tambm transferisse a gesto de parte das polticas sociais, fazendo com que estados e municpios passassem a realizar investimentos e assumissem efetivamente a responsabilidade sobre as redes de prestao de servios. Essa situao pode ser verificada tanto na rea de sade quanto nas de assistncia social e educao, como se passa a descrever a seguir. O Sistema nico de Sade: descentralizao e universalizao Na rea da sade, o principal instrumento de nacionalizao da poltica se deu pela criao e fortalecimento do Sistema nico de Sade (SUS). A estratgia de universalizao do sistema baseou-se principalmente na descentralizao da implementao e da gesto da sade. Semelhante ao que ocorreu em pases nos quais o contexto federativo prvio universalizao da poltica como o Canad, por exemplo , a atuao federal baseou-se na conquista da adeso dos governos subnacionais s diretrizes do governo central, por meio da oferta de recursos, constituindo um sistema de custeio compartilhado da poltica, algo que Banting (2005) denominou de shared cost federalism. O legado prvio ao SUS era de centralizao, sendo a poltica de sade financiada e gerenciada por uma agncia federal, o Instituto Nacional de Assistncia Mdica e Previdncia Social (Inamps). O acesso no era universalizado, mas sim restrito aos trabalhadores formais, contribuintes do sistema de previdncia. Esse contexto centralizado deu ao governo federal a possibilidade de desenhar como deveria se dar o processo de descentralizao, definindo as prioridades e regras bsicas da prestao de servios que passaria a ser subnacional. As bases dessa definio foram constitucionalizadas e posteriormente detalhadas nas leis n 8.080/90 e 8.142/90. Porm, foi o desenho criado pelas Normas Operacionais Bsicas (NOBs), editadas pelo Ministrio da Sade ao longo da dcada de 1990, que incentivou a adeso dos municpios ao SUS e desenhou o modelo de atendimento sade que temos hoje no pas. O movimento de adeso dos municpios ao sistema aps a publicao de novas NOBs demonstra que essa deciso est bastante ligada oferta de recursos e segurana de que esses recursos seriam efetivamente transferidos. Alm disso, a diretriz de universalizao traria, na prtica, visibilidade e crditos polticos aos prefeitos (ARRETCHE, 2002; ABRUCIO e COSTA, 1999). Mas o SUS no se reduz a acordos intergovernamentais que regulamentam repasses de recursos em troca da implementao de programas em abrangncia nacional. Como sistema, sua estrutura organiza a prestao de servios de forma hierarquizada e regionalizada e, alm disso, institui fruns inditos de negociao intergovernamental com a participao de gestores municipais estaduais e federais. No que se refere estrutura, pode-se dizer que, hoje, quase a totalidade dos municpios brasileiros aderiu ao Sistema nico de Sade e exerce, ainda que com limitaes, a

35

gesto da ateno bsica de sade em seu territrio. Isso significa contratao de pessoal em muitas localidades, em substituio a profissionais federais vinculados ao sistema anterior, que foram se aposentando ; construo de estrutura fsica; compra de equipamentos e destinao de recursos prprios do oramento municipal para a realizao de atendimento universal, de uma clientela que, antes do movimento de municipalizao, no recebia esse tipo de atendimento. Nesse sentido, a implantao do SUS, ainda que sob regras emitidas pelo governo federal, promove a criao de uma rede municipal de servios que fortalece os municpios no contexto federativo. Esse processo cria o que Pierson (1995) denominou de pre-empted policy space situao que ocorre quando a esfera de governo comea a atuar em uma rea de poltica pblica e essa inicia seu processo de institucionalizao, de maneira que se torna difcil para o governo central retomar essa competncia, dificultando novos processos de mudana unilateralmente determinados. Tal caracterstica reforada com a criao de espaos institucionais de representao e pactuao que prevem a participao de gestores municipais, estaduais e federais nas decises sobre a poltica nacional de sade: as Comisses Intergestores Tripartite e Bipartite (CIT e CIB) comisses que, por seu turno, esto ancoradas no Conselho Nacional de Secretrios Municipais de Sade (Conasems) e no Conselho Nacional de Secretrios Estaduais de Sade (Conass), que so fruns de coordenao federativa horizontal. Esses novos espaos de negociao intergovernamental no fazem parte do desenho federativo da Constituio de 1988. So resultado da evoluo de um modelo criado no mbito da poltica de sade e constituem legado institucional dessa poltica para o funcionamento da Federao Brasileira. Nesse sentido, a inovao do SUS colabora para a redefinio do modelo federativo brasileiro, trazendo uma nova forma de negociao intergovernamental que provoca consequncias para alm do mbito setorial. Prova disso que seu formato institucional foi destacado do contexto da sade e replicado para o setor de assistncia social, originando o Sistema nico de Assistncia Social (SUAS). Em resumo, os efeitos do desenho e implementao do SUS no Brasil vo muito alm da constituio de um federalismo mais compartilhado, tal qual argumentam Obinger et all (2005) para os casos analisados. A universalizao da ateno bsica, em um contexto de ajuste fiscal federal, realizada por meio da descentralizao de responsabilidades e criao de novas redes locais de atendimento, fortalece os entes subnacionais e reduz a chance de novas decises federais unilaterais no desenho do sistema. No caso da sade, essa hiptese reforada pela institucionalizao de espaos de negociao intergovernamental que se tornam fruns de articulao e pactuao federativa, consolidando um novo formato para relaes intergovernamentais que extrapola a rea da sade, como passamos a discutir a seguir. O Sistema nico de Assistncia Social: aplicando o modelo da sade O legado da rea de assistncia social uma estrutura bastante fragmentada, representada pela agregao de diferentes programas, promovidos por diferentes agncias governamentais e instituies filantrpicas, de forma desarticulada e descontnua. Mesmo dentro da esfera federal havia desarticulao intragovernamental

36

entre as diferentes instituies prestadoras de servio5. Sob o prisma intergovernamental observava-se a mesma fragmentao com variadas aes de estados e municpios promovidas de maneira independente e desarticulada. No que se refere abrangncia da poltica, seu foco foi tradicionalmente os mais pobres e no havia uma proposta de universalizao (ARRETCHE, 2000). A Constituio Federal de 1988 menciona as diretrizes de universalizao e descentralizao, mas no constitucionalizou um sistema de assistncia social. Apesar de, como a sade, a assistncia social contar com uma lei orgnica a LOAS, Lei n 8.742/93 , que reafirma a diretriz de descentralizao, sua implementao se deu de forma lenta e incipiente. Assim como no SUS, a sistemtica de transferncias de recursos foi sendo estabelecida por normas operacionais bsicas.No entanto, em contraste com o primeiro caso, foi instituda pelo governo federal apenas em 1997 (poca na qual a rea sade j contava com a NOB/96, norma que criou as condies que levaram quase completa municipalizao da ateno bsica). Seguindo os passos do SUS, a rea de assistncia social formulou, no mbito da IV Conferncia Nacional de Assistncia Social, realizada em dezembro de 2003, o Sistema nico de Assistncia Social (SUAS), institudo por uma Norma Operacional Bsica do Ministrio de Desenvolvimento Social e Combate Fome (MDS), em junho de 2005, a NOB/SUAS. Os principais objetivos da constituio do sistema so muito semelhantes ao caso da sade, quais sejam, estabelecer uma diviso de competncias e responsabilidades entre as trs esferas de governo; os nveis de gesto de cada uma dessas esferas; e mecanismos e critrios de transferncia de recursos. Como no caso da sade, o desenho da poltica passa a visar universalizao do acesso por meio da criao de redes de servios descentralizadas e hierarquizadas. Da mesma forma, o sistema vincula a adeso ao repasse de recursos federais, permitindo aos municpios a opo pela habilitao em diferentes nveis de proteo social. (SPOSATTI, 2004). A partir desse novo desenho, os municpios foram estimulados a aderir ao novo sistema, originando uma nova rede de ateno bsica por meio da criao dos Centros de Referncia da Assistncia Social (Cras) e, em alguns casos, a implantao de Centros de Referncia Especializada em Assistncia Social (Creas). Da mesma forma, semelhana da anlise feita para o caso da sade, observa-se que o sistema transfere no apenas recursos, mas a gesto das unidades para o nvel local, criando condies para que, com o desenvolvimento da poltica, surjam uma nova burocracia e clientela locais, que certamente contribuiro para o fortalecimento subnacional, reduzindo a possibilidade de futuras mudanas por aes unilaterais do governo central. O desenvolvimento da poltica tambm colabora para o fortalecimento dos fruns federativos de negociao, semelhantes aos existentes na sade. O funcionamento das Comisses Intergestores Bipartite (CIBs) e da Comisso Intergestores Tripartite (CIT) do setor, bem como das instncias de articulao horizontal dos estados e municpios o Frum Nacional de Secretrios Estaduais de Assistncia Social (Fonseas) e o Colegiado

37

Nacional de Gestores Municipais de Assistncia Social (Congemas) favorece, tal qual na sade, a consolidao de um padro de negociao intergovernamental inovador, no previsto no modelo federativo da Constituio de 1988. Apesar de toda essa estrutura criada, a principal poltica nacional de assistncia social existente hoje no Brasil o Programa Bolsa Famlia formulada e implementada margem do SUAS. A formulao do programa se d integralmente no nvel federal e a transferncia de renda direta s famlias em situao de pobreza e extrema pobreza, afastando a intermediao de recursos por parte de estados e municpios. Obviamente essa situao mostra a fragilidade do SUAS em relao ao SUS. Entretanto, mesmo dentro do Programa Bolsa Famlia, podem-se apontar possveis efeitos no previstos para o fortalecimento subnacional no contexto federativo brasileiro. Apesar de no terem discricionariedade alguma sobre o desenho do programa federal, os governos municipais so essenciais para o sucesso da poltica, uma vez que realizam o cadastramento das famlias e a fiscalizao do cumprimento das condicionalidades estabelecidas. Por essa razo, a implantao do programa prev o repasse de recursos destinados ao fortalecimento da gesto local. Esse repasse feito com base no ndice de Gesto Descentralizada (IDG), criado pelo MDS para medir a qualidade da gesto municipal do programa. De acordo com o ministrio, o objetivo de tais recursos incentivar o aprimoramento da qualidade da gesto do Programa Bolsa Famlia em mbito local e contribuir para que os municpios executem as aes que esto sob sua responsabilidade 6. O resultado do Bolsa Famlia no cenrio federativo brasileiro, portanto, poder combinar forte ao do governo federal com capacitao e revigoramento dos governos subnacionais nessa poltica. Educao (Fundef e Fundeb): novos atores em novas rodadas de negociao.

[a Constituio Federal de 1988] no explicita de forma coerente as responsabilidades e competncias de cada uma das esferas, de forma que o cidado comum saiba a quem cobrar o cumprimento das garantias constitucionais. [...] em consequncia dessa indefinio de papis, resulta um sistema na realidade uma diversidade de sistemas de atendimento educacional que deixa muito a desejar, sobretudo no que diz respeito qualidade da educao oferecida. [...] a disperso dos esforos dos trs nveis de governo gerou grande heterogeneidade da qualidade do atendimento escolar [porque] a distribuio de recursos no compatvel com as efetivas responsabilidades na manuteno das redes de ensino. (PRESIDNCIA
DA

REPBLICA, 1996,grifo nosso).

O trecho acima transcrito pertence Exposio de Motivos encaminhada pelo Executivo ao Congresso com o Projeto de Emenda Constitucional que instituiu o Fundo de

38

Manuteno e Desenvolvimento do Ensino Fundamental e de Valorizao do Magistrio (Fundef). O texto no deixa dvida sobre o principal objetivo desse novo instrumento institucional: reduo da desigualdade na qualidade do ensino fundamental oferecido pelas diferentes unidades federativas. O objetivo de reduo da desigualdade decorre diretamente do legado da poltica de educao bsica no Brasil: tradicionalmente oferecida por estados e municpios, detentores de redes prprias de ensino pblico. Alm disso, o fato da cobertura existente no atender completamente demanda de crianas fora da escola, fez com que o Fundef tivesse um segundo objetivo: universalizao do acesso ao ensino fundamental. Para tanto, tal qual nas reas da sade e assistncia social, o desenho da poltica previu a vinculao de recursos efetiva prestao de servios nesse caso, nmero de matrculas oferecidas por unidade federativa. A diferena na educao que a poltica no contou com aporte significativo de recursos federais como mecanismo indutor da descentralizao a exemplo do que ocorreu nos outros setores aqui analisados. A fonte dos recursos que sustentou a poltica foi, principalmente, a redistribuio do oramento dos estados e municpios baseada em seu desempenho na questo do acesso. O legado descentralizado da poltica e a opo por induzir um processo de municipalizao sem aporte significativo de recursos federais fizeram com que restasse Unio o recurso mudana das regras do jogo. Os estudos de caso de Obinger et all (2005) mencionam que, em alguns pases de contexto federativo prvio ao Estado de Bem-estar Social, a nacionalizao das polticas sociais exigiu emendas constitucionais e disputas judiciais para a realocao de competncias ou estabelecimento de padres nacionais. Ao vincular repasse de recursos efetiva prestao de servios, o Fundef incentivou, de maneira coordenada e com respeito a regras fiscais bastante rgidas, a municipalizao do ensino fundamental em todo o pas, praticamente universalizando o acesso a esse nvel de ensino. Em recursos transferidos, o Fundef significou uma mudana importante. No ano de 2003, houve redistribuio de receita em favor dos municpios em todos os 26 estados, tendo os governos estaduais transferido s municipalidades o equivalente a 5,5% do total de sua receita originria. Tambm no exerccio de 2003, os municpios ficaram com 51% do total movimentado pelo Fundef o que bastante relevante se compararmos essa distribuio, por exemplo, com a do ICMS, que 75% estadual e 25% municipal. Os efeitos foram mais acentuados nas regies mais pobres. No Nordeste, com o Fundef a receita disponvel dos governos estaduais diminuiu em quase 8% e a dos respectivos municpios aumentou em cerca de 15%. No Sul e Sudeste, os mesmos dados foram de 3% e 6% respectivamente (AFONSO, 2004). Tambm nas regies menos desenvolvidas e que apresentavam taxas de escolarizao lquida mais baixas para o ensino fundamental , observou-se uma ampliao mais significativa do acesso a esse nvel de ensino, fazendo com que, j em 1999, todas as regies tivessem ultrapassado a taxa de 90%. Isso significou, no Nordeste, onde o avano foi maior, uma variao de mais de 15% na taxa de escolarizao lquida entre os anos de 1994 e 1999 de 77,3% para 92,8% (PRADO, 2003).

39

Como se v, o principal avano do Fundef foi introduzir um instrumento de redistribuio federativa de recursos e aumentar o acesso ao ensino pblico fundamental. Entretanto, comparando-se educao com as reas de sade e assistncia social, percebe-se que no houve a institucionalizao de novos espaos de negociao federativa que dessem sustentao a essa poltica e pudessem propor novas discusses e inovaes nessa rea ao longo do tempo. Nesse sentido, o desenho institucional no favorece a articulao intergovernamental e nem mudanas na forma de negociao federativa. A educao, por sua vez, constitui exemplo claro dos efeitos no pretendidos causados pela poltica pblica no modelo federativo. As mudanas promovidas pela implantao do Fundef fortaleceram as redes municipais de ensino e despertaram a ateno dos nveis estadual e municipal para a possibilidade de mudanas propostas por novos desenhos federais para a poltica. Como o Fundef foi criado para durar apenas 10 anos, sua extino ou substituio j tinha data marcada e, quando este momento se aproximou, estados e municpios estavam organizados, defendendo suas propostas e prontos a negociar com o governo federal cenrio muito diferente do observado na aprovao do fundo em 1996. O prprio Ministrio da Educao, ao divulgar a substituio do Fundef pelo Fundeb (Fundo de Manuteno e Desenvolvimento da Educao Bsica e de Valorizao dos Profissionais da Educao), afirmou que:

A proposta do Fundeb foi construda pelo governo federal em parceria com estados e municpios, por meio das suas entidades representativas, como Consed (Conselho Nacional dos Secretrios Estaduais de Educao) e Undime (Unio Nacional dos Dirigentes Municipais de Educao). (MEC, 2005).

O Consed e a Undime constituem fruns de articulao federativa horizontal, semelhantes aos Conass e Conasems, na sade e aos Fonseas e Cogemas, na assistncia social. Porm, diferentemente deles, esses fruns no esto integrados a um sistema nacional e nem possuem representao em comisses de negociao vertical institucionalizadas, tais quais as CIBs e as CITs, que no foram constitudas na rea da educao. Entretanto, mesmo na inexistncia dessa estrutura de pactuao entre os nveis municipal, estadual e federal, aps a implementao do Fundef, estados e municpios se organizaram e buscaram negociar o desenho do Fundeb com o governo federal. A municipalizao da gesto fortaleceu os atores subnacionais, que limitaram a centralizao do desenho da nova poltica nacional. Concluso O artigo buscou, a partir da abordagem do neoinstitucionalismo histrico de Pierson (1995) e Obinger et all (2005), discutir a relao entre federalismo e polticas sociais no Brasil, no contexto federativo ps-Constituio Federal de 1988.

40

A literatura reconhece largamente o impacto do federalismo na poltica e nas polticas pblicas. O que essa abordagem nos traz de novo a valorizao da sequncia dos eventos no tempo como fator explicativo e o entendimento de que a relao entre federalismo e poltica pblica uma relao de reciprocidade. No que se refere analise da sequncia dos eventos, o fato da universalizao das polticas sociais ter entrado na agenda constitucional junto com a diretriz de descentralizao e em um contexto de redemocratizao do Estado, influenciou fortemente a conformao do federalismo brasileiro ps 1988, bem como a estrutura criada no mbito de cada poltica setorial analisada. Alm disso, a coincidncia temporal entre o momento de implementao da diretriz de universalizao de polticas sociais tpica do Estado de Bem-estar Social e o momento de crise fiscal do Estado e implementao de polticas de reduo de sua atuao foi decisiva para a definio de uma estratgia de universalizao por meio da descentralizao, adotada a partir de meados da dcada de 1990. O resultado desse panorama foi a transferncia no apenas de recursos vinculados a programas, mas de grande parte da gesto das polticas sociais analisadas para o nvel municipal. Esse processo produz uma nova burocracia local e novas clientelas de servios que, ao longo do tempo, fortalecem o municpio no contexto federativo. Esse fortalecimento cria limitaes para uma nova ao federal unilateral que pretenda alterar o desenho da poltica pblica. Ainda que o processo tenha sido iniciado, nos anos 1990, por normas editadas no nvel central, a tendncia que as negociaes com os governos locais ganhem importncia e esses se fortaleam no jogo da proviso dos servios, embora isso ocorra de forma diferenciada em cada poltica, de acordo com seu legado, com a estrutura institucional e a forma como o governo federal apostou suas fichas em tal rea. Referncias bibliogrficas
ABRUCIO , F L. A coordenao federativa no Brasil: a experincia do perodo FHC e os desafios do Governo Lula. In Revista de Sociologia e Poltica . n 24/ junho 2005. ______________ e FRANZESE, C. Relaes intergovernamentais: a relao de reciprocidade entre federalismo e polticas pblicas. In: FILIPPIM, E. S e ROSSETTO, A. M. (orgs.). Polticas Pblicas, Federalismo e Redes de Articulao para o Desenvolvimento. 1 ed. Joaaba: Unoesc/ Fapesc, 2008, v. 1, p. 61-90. ______________ e COSTA, V.M.F. Reforma do Estado e o Contexto Federativo Brasileiro. In Pesquisas, n. 12, So Paulo, Fundao Konrad Adenauer, 1999. AFONSO, J. R. Las relaciones intergubernamentales dentro de Brasil. In Revista de La Cepal, Santiago do Chile, v. 84, p. 135-157, 2004. ALEMIDA Maria Hermnia Tavares de. Federalismo democracia e governo no Brasil: idias, hipteses e evidncias. In BIB, 2001. ARRETCHE, M. Financiamento federal e gesto local de polticas sociais: o difcil equilbrio entre regulao, responsabilidade e autonomia. Cincia e Sade Coletiva Vol. 8, n 2; 2002. ___________. Estado Federativo e Polticas Sociais. Rio de Janeiro, Revan, 2000. BRASIL, Ministrio da Assistncia Social/Coordenao de Descentralizao. Relatrio Final dos Encontros Regionais das Comisses Intergestores Bipartite, mimeo, novembro 2005. BANTING, K. Canada: nation-building in a federal state. In OBINGER, H.; LEIBFRIED, S. e CASTLES, F. (org.). Federalism and the Welfare State : New World and European Experiences. New York : Cambridge University, 2005. ELAZAR , D. J. Exploring Federalism . The University of Alabama Press, 1987.

41

L EVCOVITZ , E. ; MACHADO , C V ; LIMA, L D . Poltica de Sade nos anos 90: relaes intergovernamentais e o papel das Normas Operacionais Bsicas. In Cincia & Sade Coletiva , Rio de Janeiro, v. 6, n. 2, p. 269-291, 2001. MELO, Marcus Andr. O Sucesso Inesperado das Reformas de Segunda Gerao: Federalismo, Reformas Constitucionais e Poltica Social. In Dados Revista de Cincias Sociais, Rio de Janeiro, Vol. 48, no 4, 2005, pp. 845 a 889. ___________. Crise federativa, guerra fiscal e hobbesianismo municipal: efeitos perversos da descentralizao?. In So Paulo em Perspectiva, So Paulo, v.10, n. 3, p. 11 20, jul-set 1996. OBINGER, Herbert; LEIBFRIED, Stephan & C ASTLES, Francis (org.). Federalism and the Welfare State : New World and European Experiences. New York : Cambridge University, 2005. PAINTER, M. When adversaries collaborate: conditional co-operation in Australias arms length federal polity. In WACHENDORFER-SCHMIDT. U. (ed). Federalism and political performance. Routledge, London, 2000. PIERSON, Paul. Fragmented Welfare States: federal institutionsand development of social policy. In Governance, v.8, n.4, out.1995. POLTICA NACIONAL DE ASSISTNCIA SOCIAL PNAS, aprovada pelo Conselho Nacional de Assistncia Social por intermdio da Resoluo n 145, de 15 de outubro de 2004, e publicada no Dirio Oficial da Unio DOU do dia 28 de outubro de 2004. PRADO, Srgio. Distribuio intergovernamental de recursos na Federao brasileira. In REZENDE, Fernando e OLIVEIRA, Fabrcio A. de.(orgs). Descentralizao e federalismo fiscal no Brasil: desafios da reforma tributria. Rio de Janeiro, Konrad Adenauer Stiftung, 2003. RIKER, W. Federalism. In: GREENSTEIN, F. and POLSBY, N. (ed.). Handbook of Political Science. Massachusetts, Addison-Wesley Publishing Company, v.5, 1975. SPINK, Peter; BAVA, Silvio e PAULICS, Veronika (orgs.). Novos contornos da gesto local: conceitos em construo. So Paulo, Polis; Programa Gesto Pblica e Cidadania/ FGV-EAESP, 2002. STEPAN, Alfred. (1999), Para uma Nova Anlise Comparativa do Federalismo e da Democracia: Federaes que Restringem ou Ampliam o Poder do Demos. Dados, vol. 42, n 2, pp. 197251. VARSANO , Ricardo et al. Uma anlise da carga tributria do Brasil. Texto para discusso n. 583. Rio de Janeiro, IPEA, agosto de 1998. WACHENDORFER-S CHMIDT. U. (ed). Collaborative federalism in Germany: keeping the system in the eye of the storm. In WACHENDORFER-SCHMIDT. U. (ed). Federalism and political performance. Routledge, London, 2000.

Notas
1 2

Para essa discusso ver Almeida (2001). PETERSON, Paul E. The price of federalism. Washington DC, The Brookings Institution, 1995. 3 Scharpf (1976) apud Wachendorfer-Schmidt (2000). 4 Para mais informaes ver SPINK e PAULICS (2002). 5 Arretche (2000) menciona a Funabem (Fundao Nacional de Bem-Estar do Menor), a LBA (Legio Brasileira de Assistncia) e o Inan (Instituto Nacional de Alimentao e Nutrio). 6 Fonte: http://www.mds.gov.br/bolsafamilia/estados_e_municipios/indice-de-gestao-descentralizada-igd/. Cibele Franzese Nacionalidade brasileira. Mestre e doutoranda em Administrao Pblica e Governo pela Fundao Getlio Vargas (FGV-SP). professora da FGV e consultora da Fundao do Desenvolvimento Administrativo (Fundap/SP). Fernando Luiz Abrucio Nacionalidade brasileira. Mestre e doutor em Cincia Poltica pela Universidade de So Paulo. Possui graduao em Cincias Sociais pela mesma instituio. Professor e pesquisador da FGV/SP, onde ocupa o cargo de coordenador do Mestrado e Doutorado em Administrao Pblica e Governo. colunista da Revista poca.

42

Avaliao dos programas de saneamento bsico no Brasil: dificuldades e propostas de implementao Lauseani Santoni

Introduo Os problemas decorrentes do desordenado processo de crescimento e urbanizao das cidades brasileiras destacam a centralidade da poltica pblica de saneamento bsico para o desenvolvimento social e urbano do Brasil1. Aps dcadas de insero secundria na agenda governamental, o setor de saneamento vem assumindo papel de destaque com aportes crescentes de investimentos pblicos. Diversos fatores so associados a essa mudana no perfil decisrio governamental, alm da consolidao da temtica ambiental, da reconhecida conexo com a sade pblica e dos esforos para a reorganizao institucional do setor. Contudo, a despeito do montante de recursos que exige a implementao de equipamentos e infraestrutura pblicos, poucos esforos so observados na tentativa de consolidao de sistemas e mtodos para avaliao das intervenes. No Brasil, a baixa tradio da administrao pblica em avaliao dos programas governamentais evidencia a necessidade de estudos sistemticos das aes pblicas como instrumentos fundamentais para produo de informaes relevantes para o aprimoramento das polticas (SOUZA, 2003). A importncia em torno da avaliao, portanto, reflete uma preocupao indispensvel com a efetividade das intervenes governamentais, consoante ampliao do debate acerca da eficincia gasto pblico no Brasil. O exame desses aspectos essencial, especialmente ao se considerar que a proviso dos servios de saneamento no Brasil caracterizada por uma atuao prioritariamente estatal, marcada por uma distribuio de competncias federativas potencialmente conflituosas e por uma organizao institucional historicamente desordenada. Sob esse eixo temtico, ao se analisar as polticas de saneamento bsico no Brasil, articula-se uma imbricada rede de questes que traz tona discusses em torno da atuao estatal no setor e da produo de polticas pblicas, o que demanda iniciativas para aprimorar a formulao das polticas, o desempenho da prestao dos servios, a reorganizao institucional e a avaliao das intervenes (HELLER e REZENDE, 2007). A despeito da importncia dos demais aspectos, em torno da temtica da avaliao que este artigo se desenvolve. Se temas ligados avaliao ainda contam com poucos estudos no Brasil, h ainda mais dificuldade de se encontrar metodologias e experincias aplicveis s intervenes de desenvolvimento urbano. O artigo est estruturado em trs partes, alm dessa introduo. No prximo tpico, a partir de uma reviso da literatura sobre a avaliao de programas, empreende-se uma discusso terico-conceitual acerca da prtica de avaliao das polticas pblicas.

43

Em seguida, apresenta-se um breve panorama da operacionalizao dos programas federais do setor de saneamento bsico. Por fim, desenvolvem-se algumas consideraes na tentativa de identificar elementos especficos e fatores conjunturais que podem ser identificados como limitaes e obstculos para a conduo e institucionalizao da avaliao dos programas governamentais de saneamento bsico no Brasil. A prtica de avaliao de programas governamentais: evoluo e conceitos somente a partir da dcada de 1960 que a rea de avaliao de programas comea a firmar-se como campo de conhecimento cientfico, embora as primeiras tentativas de avaliao datassem do incio do sculo XIX. Alguns fatores so comumente associados a esse crescimento dos estudos no meio acadmico. dado destaque ao lanamento de um conjunto de programas sociais nos Estados Unidos e ao financiamento de projetos sociais pelas organizaes mundiais e instituies internacionais de fomento em pases em desenvolvimento, que demandavam estudos para valorar os resultados das aes e justificar a aplicao de elevados montantes de recursos pblicos. Para Calmon (1999), a partir desse perodo, percebe-se o desenvolvimento dos estudos avaliativos em trs estgios distintos. O primeiro estgio, que tem incio na dcada de 1960, caracterizou-se pela aplicao rigorosa de mtodos cientficos na avaliao dos programas, especialmente de carter quantitativo. Apesar da reconhecida contribuio dessas pesquisas2 para a insero da avaliao como campo cientfico, seus mtodos foram objeto de severas crticas, principalmente em virtude de argumentaes que defendiam a limitada tradio experimental na produo de generalizaes confiveis de resultados de pesquisa social. No segundo estgio, que se desenvolve principalmente a partir dos anos 1970, o foco dos estudos revela preocupaes mais pragmticas com relao ao uso da avaliao em processos decisrios sobre a concepo, alterao ou continuidade de programas. Esse enfoque parte da percepo de que muitas das informaes geradas pelas avaliaes no eram utilizadas pelos tomadores de deciso ou no geravam melhorias nos desempenhos das intervenes (CALMON , 1999). Assim, a recomendao constante observada nesses estudos que o avaliador deveria, ao conduzir uma avaliao, considerar as necessidades e os interesses dos diversos pblicos envolvidos (conhecidos como stakeholders). nessa fase que se acirra o debate entre os tericos em funo da diversidade metodolgica, conceitual e de tipologias de avaliao. O terceiro estgio se desenvolve a partir da sntese das contribuies dos estudos das fases anteriores e enfatiza que a escolha do mtodo depende das circunstncias, dos propsitos e do contexto poltico que envolve a implementao de polticas (CALMON, 1999). Nessas anlises, que passam a considerar as especificidades das polticas, os atores, as agncias, os contextos em que so executados e as dinmicas das relaes entre os grupos, indivduos e organizaes, observa-se uma nova postura em relao implementao da poltica, analisada como processo autnomo em que so tomadas (e no s executadas) decises cruciais3. Portanto, prtica da avaliao, foram incorporadas questes crticas, como a viabilidade poltica das decises, conflitos interjurisdicionais

44

entre rgos e instituies, brechas e ambiguidades legais, omisses de normas operacionais e problemas de coordenao dentro das organizaes (HILL, 2004). Na perspectiva da evoluo dos enfoques dos estudos avaliativos e considerando esse contexto de intenso debate, em que questes metodolgicas, epistemolgicas e ideolgicas por vezes se sobrepuseram, diversas conceitualizaes e alternativas avaliativas foram disseminadas nos ltimos anos. A despeito do embate entre as correntes, tipologias e abordagens, buscou-se, ao longo deste artigo, minimizar as polmicas e priorizar tendncias que, de modo geral, alcanaram certo consenso entre as correntes tericas. Assim, a avaliao, em contexto amplo, pode ser entendida como a anlise sistemtica dos processos e/ou dos resultados de um programa ou de uma poltica (policy) de forma a contribuir para seu aprimoramento (WEISS, 1988). Portanto, a avaliao busca identificar elementos para determinar o valor, o mrito, a utilidade, eficcia ou importncia do objeto estudado em relao a determinados critrios. Para Weiss (1998), um dos elementos contidos na definio de avaliao se traduz no foco da investigao, de forma que os estudos podem estar concentrados na anlise dos resultados ou dos processos de um programa ou poltica. As avaliaes de resultado se concentram, prioritariamente, nos efeitos obtidos a partir de uma interveno, na tentativa de dimensionar a magnitude da modificao de uma condio social, identificar em que medida e quais segmentos foram afetados; e identificar as contribuies dos distintos componentes da poltica para lograr os seus objetivos. Enfatizam, portanto, o que acontece com os beneficirios de uma interveno aps a sua implementao. Trata-se de objetivos bastante ambiciosos: o primeiro consiste em constatar se houve alteraes em situao diagnosticada como problema aps uma interveno; o segundo seria estabelecer relao de causalidade entre as alteraes observadas e as intervenes implementadas. Para Cohen e Franco (1998), a questo crucial em uma avaliao de resultados a aplicao de [...]modelos experimentais ou quase-experimentais, considerando dois momentos (antes e depois) e requer tambm controlar os efeitos no atribuveis ao projeto. Seu propsito estabelecer os efeitos lquidos ou impactos do projeto (COHEN e FRANCO, 1998, p.118). Ainda assim, destaca Cotta (1998), mesmo que seja observada uma correlao positiva entre as variveis, resta descobrir se elas se aplicam a outras realidades ou somente a determinados contextos. J as avaliaes de processos buscam a compreenso sobre a forma de funcionamento e conduo das aes, ao examinar o que est acontecendo por dentro de um programa associado a dois objetivos: aferir a adequao entre meios propostos e os fins alcanados e servir de guia para o aprimoramento do programa. Assim, nas avaliaes de processos, na tentativa de melhorar o funcionamento do programa, busca-se coletar e processar dados sobre as atividades que envolvem a operacionalizao do programa (SILVA, 1999). Segundo Worthen et all (2004), uma avaliao de processos pretende identificar os defeitos do programa, dos procedimentos ou da implementao. Quanto ao momento de realizao da avaliao, os estudos podem ser conduzidos ex-ante, quando realizadas antes do incio do programa (ou projeto), ou ex-post, se

45

conduzidos ao longo da fase de execuo ou aps a implementao. Para Rua (2003), as avaliaes ex-ante, em uma acepo holstica, tendem a englobar todo o processo de produo de uma poltica, segundo o qual a avaliao se inicia a partir do momento em que se identifica uma questo-problema; envolve as discusses em torno da formulao de alternativas e tomadas de decises; e acompanham o processo de gesto, fornecendo informaes sobre os avanos, riscos, limitaes e vantagens a maximizar. Em uma acepo mais restrita, uma avaliao ex-ante pode ser orientada pela anlise da eficincia, quando se considera o clculo dos custos das intervenes, com a utilizao de tcnicas apropriadas, ou dos impactos, pela estimativa de cada alternativa a partir dos objetivos propostos. Normalmente, pretendem apoiar decises pela manuteno ou reformulao dos desenhos dos programas (COTTA, 1998). J as avaliaes ex-post caracterizam-se, de forma geral, por uma anlise realizada quando a poltica, programa ou projeto j se encontra consolidado ou em fase final. Para Cohen e Franco (2008), a avaliao ex-post pretende estabelecer o grau de eficincia do desempenho do projeto e determinar em que medida se esto atingindo os objetivos procurados na populao-meta do mesmo (2008, p.139). A gesto dos programas de saneamento bsico As polticas governamentais brasileiras para o setor de saneamento, principalmente at a dcada de 1960, foram caracterizadas por medidas espordicas, dispersas e pontuais, com baixos nveis de integrao e coordenao. A proviso pblica de servios de saneamento bsico em grande escala comeou apenas a partir da dcada de 1970, quando o pas passou a ser predominantemente urbano. Nesse perodo, o setor passou por um processo de regulamentao, conduzido pelo governo federal, que assumiu a poltica de saneamento como uma responsabilidade do Estado, a partir da percepo de que as condies de infraestrutura urbana precisariam modificar-se para dar suporte ao modelo desenvolvimentista proposto (COSTA apud ALMEIDA, 1977). Segundo Turolla (2002), o governo militar elegeu o saneamento como uma das prioridades explanadas nos planos de desenvolvimento implementados no perodo. Formalmente institudo no ano em que se instaura o governo militar, com o objetivo de implantar uma poltica para o desenvolvimento urbano do pas e executar o Plano Nacional de Saneamento (Planasa), o Banco Nacional de Habitao (BNH) foi criado com a incumbncia de exercer a coordenao da atuao estatal no setor e de centralizar a aplicao dos recursos federais. Durante os anos em que vigorou o modelo, a expanso da cobertura e o acesso aos servios ocorreram de modo desigual, com reflexos at os dias atuais: a deciso sobre diversos aspectos da poltica local foi centralizada nas recm-criadas companhias estaduais de saneamento (Cesb); priorizaram-se os investimentos em abastecimento de gua em detrimento dos servios de esgotamento sanitrio; as regies mais ricas foram privilegiadas com maior aporte de recursos; e havia pouca preocupao com as condies de gesto, operao e manuteno dos sistemas (COSTA, 2003). Apesar desses legados, o modelo de interveno estatal consolidado pelo Planasa viabilizou a ampliao da oferta

46

dos servios, permitindo notvel aumento da cobertura, em um contexto de expanso demogrfica e de elevadas taxas de urbanizao. A partir de meados dos anos 1980, modificaram-se significativamente as estruturas que haviam sido montadas sob a gide do Planasa, deflagrando uma fase marcada pela instabilidade institucional, regulatria e financeira do setor. Dois fatores so essenciais para a compreenso da falncia do modelo: i) crise econmica, especialmente das fontes de recursos do governo federal, a partir da segunda metade dos anos 1980; e ii) as mudanas no quadro jurdico e poltico-institucional do pas, com o fim do regime militar e aprovao da Constituio de 1988. No plano organizacional, a partir de ento, a conduo da poltica nacional de saneamento esteve a cargo de diversos rgos federais encarregados da gesto urbana. Com a extino do BNH, em 1986, houve a transferncia de responsabilidade de operador dos recursos para a Caixa Econmica Federal (Caixa) que, no entanto, no incorpora a herana regulatria assumida pelo banco (BRASIL, 2004). Atualmente, a atuao do governo federal no setor de saneamento bsico caracterizada por multiplicidade de agentes intervenientes e complexa estrutura institucional que envolve, alm dos estados, municpios e o governo federal, os prestadores de servios de saneamento (municipais e/ou estaduais) e os agentes designados pela Unio para a gesto e operacionalizao dos investimentos pblicos. O Ministrio das Cidades (MCidades) foi criado em 2003 para exercer a coordenao da poltica de saneamento; a gesto dos programas; a seleo dos beneficirios; a definio das diretrizes; o controle da implementao das aes; bem como o planejamento, monitoramento e a avaliao dos programas. Na operacionalizao dos recursos sob a gesto do MCidades, a Caixa4 atua como agente operador, contratada pela Unio para prestar servios relacionados operacionalizao das etapas dos programas. Portanto, compete ao banco analisar o projeto de engenharia; averiguar a documentao tcnica; analisar o procedimento licitatrio; e acompanhar e atestar, mediante vistorias tcnicas peridicas, a execuo dos objetos dos contratos. Portanto, a Unio, por intermdio do MCidades, no executa diretamente os empreendimentos que apoia, mas transfere os respectivos recursos a estados e municpios, titulares dos servios de saneamento, os quais, diretamente, ou por seus prestadores de servios, elaboram os projetos, realizam as licitaes e contratam as obras e servios. No entanto, na busca por constituir mecanismos para o monitoramento das aes, aprimorar os procedimentos operacionais e instituir sistemas de avaliao, o MCidades, como gestor das aplicaes, tem enfrentado diversos obstculos. Obstculos e desafios avaliao dos programas de saneamento bsico no Brasil Os autores destacam que todas as avaliaes tm uma srie de desafios e obstculos (COSTA; CASTANHAR, 2003; RUA, 2000). Em programas de saneamento bsico, as limitaes e dificuldades para a realizao de estudos sistemticos das intervenes esto relacionadas a diversos aspectos, com destaque falta de informaes sobre as intervenes; ausncia de desenhos e mtodos na bibliografia especializada nacional

47

e internacional que incorporem a multiplicidade dos impactos das intervenes em saneamento; e aos reduzidos incentivos para a institucionalizao da prtica de avaliao dos programas governamentais no Brasil. Para a avaliao de polticas pblicas, as informaes, quantitativas e/ou qualitativas sobre o objeto de estudo, constituem-se em ferramenta essencial para o alcance do objetivo do pesquisador, bem como para a definio do melhor mtodo ou tcnica a ser adotado na conduo do estudo (WEISS, 1998). Figueiredo e Figueiredo (1986) destacam, em pesquisa que revisa a produo bibliogrfica brasileira sobre avaliao de polticas sociais, que cerca de um tero das avaliaes realizadas fizeram restries s informaes utilizadas nas pesquisas, em funo da inexistncia, escassez, disperso e precariedade dos dados dos programas estudados. No setor de saneamento, a ausncia de informaes para avaliao das intervenes bastante significativa e relaciona-se, sobretudo, a dois fatores, de certa forma, interdependentes: a descentralizao da poltica e o reduzido nvel de integrao e comunicao entre o rgo gestor e a agncia implementadora. A dificuldade de acesso s informaes para a realizao de avaliaes tem imbricada relao com a falta de mecanismos de induo (por parte do governo federal) para a constituio e fornecimento das informaes pelos governos locais. Como destaca Arretche (2002), a partir de meados de 1980, com a progressiva desarticulao dos mecanismos institucionais, financeiros e administrativos que viabilizavam a capacidade de comando federal da poltica de saneamento, a possibilidade de ingerncia federal nas decises locais tornou-se bastante limitada. Ressalta-se, portanto, que, em polticas descentralizadas, cuja titularidade pertence ao ente federativo local, h a prerrogativa dos governos locais de no adeso s iniciativas propostas pelo governo central. Nesses casos, a possibilidade de que os atores locais executem procedimentos solicitados pelo governo federal depende diretamente da capacidade deste de implantar estratgias de induo capazes de levar os governos locais a adotarem uma dada linha de atuao. No plano federal, o que se seguiu aos grandes investimentos promovidos pelo modelo Planasa foram aes dispersas, com nfase nos recursos do Fundo de Garantia por Tempo de Servio (FGTS)5, e com reduzida participao dos recursos do Oramento Geral da Unio (OGU), distribudos por critrios clientelistas e destinados, principalmente, a emendas parlamentares6. Ou seja, o principal mecanismo de induo disposio do governo federal, qual seja, o apoio financeiro s intervenes, ficou significativamente prejudicado pelas tendncias privatistas da dcada de 1990 e pela poltica macroeconmica que inibiu o endividamento do setor pblico aps meados de 1980. Essa tendncia se manteve at o ano de 2007, quando, no segundo mandato do Governo Lula, foi lanado um grande plano de investimento em infraestrutura urbana e social, o Programa de Acelerao do Crescimento (PAC). Ainda em relao disponibilidade de informaes, destaca-se a baixa ascendncia decisria e a reduzida comunicao e integrao entre o rgo gestor, o MCidades, e a principal agncia implementadora da poltica, a Caixa. Sabe-se que desde o trmino do Planasa, o governo federal relegou a segundo plano a organizao institucional do setor, o que, na avaliao de Costa e Melamed (1993), acarretou em fragmentaes

48

organizacionais que prejudicaram a implementao de novas propostas polticas. Portanto, o vazio institucional pelo qual passou o setor foi caracterizado no somente pela ausncia de regulamentao, mas tambm pela inexistncia de estruturas administrativas responsveis pela consolidao de diretrizes federais para a conduo da poltica social. Isso possibilitou a transferncia de grande parte do poder decisrio da poltica agncia implementadora, que dispunha de ampla autonomia na conduo dos programas e operacionalizao dos recursos. Assim, h de se considerar que a iniciativa de criao de um rgo coordenador da poltica de saneamento no mbito do executivo federal, no primeiro mandato do Governo Lula, figura como resultado da importncia que assume a questo sanitria no pas. Ao mesmo tempo, esbarra em uma srie de implicaes polticas decorrentes da tentativa de diminuio do poder decisrio de uma estrutura burocrtica altamente consolidada e hierarquizada e de agentes implementadores da poltica com ampla capilaridade e autonomia no nvel de rua. Portanto, a construo de mecanismos para avaliao das intervenes em saneamento exige esforos considerveis em busca de patamares mnimos de informaes sobre o funcionamento dos programas e dos beneficirios das intervenes, a serem obtidos junto agncia implementadora e aos governos locais. Em relao ausncia de mtodos e experincias de avaliao em saneamento, a despeito da existncia de algumas tentativas de avaliar as intervenes na rea, como os esforos para avaliar os resultados da poltica de 1996 a 2000 realizado por Costa (2003); da proposio de desenhos metodolgicos para aferir impactos de intervenes em saneamento (BRASIL, 2004); e da existncia de algumas experincias internacionais de avaliao da implantao de sistemas de abastecimento de gua promovidas pelo Banco Mundial; bem como de tentativas pontuais de avaliao dos impactos locais da promoo de intervenes (CONILL, 2009; CARDOSO, s/d), h dificuldades de captar os efeitos atribuveis s intervenes de infraestrutura e extrapolar esses resultados observveis para outras realidades. Reflexo da multidimensionalidade do problema, que exige conhecimento em diversas reas, incluindo a engenharia, a cincia poltica, a sociologia, a administrao, o urbanismo, a demografia, dentre outros, a fragmentao das abordagens no tem assegurado acmulo suficiente de reflexes, tampouco uma viso interdisciplinar de sua complexidade (HELLER e CASTRO, 2007). Por fim, obstculo no restrito a nenhuma poltica pblica brasileira, porm com significativos avanos observados em polticas sociais promovidas pelo Ministrio do Desenvolvimento e Combate Fome (MDS), a reduzida tradio em avaliao dos programas governamentais no Brasil dificulta a institucionalizao da prtica de avaliao dos programas governamentais. Diversos fatores esto comumente associados baixa disseminao da prtica da avaliao no pas: pouco comprometimento das lideranas com o propsito de que as instituies alcancem melhores desempenhos; falta de vontade poltica e de reconhecimento da necessidade de realizao de avaliaes das intervenes para melhoria do desempenho da organizao; reduzida disponibilizao de recursos para a construo de sistemas de monitoramento e avaliao; pequena capacidade

49

institucional e capacitao dos recursos humanos para conduo de avaliaes internas pelos prprios funcionrios das organizaes. poca da aprovao do Plano Avana Brasil (PPA 2000-2003), desenvolveu-se uma sistemtica anual de avaliao de todos os programas, realizada com base em questionrio com perguntas com questes de mltipla escolha e descritivas, para anlise do programa em trs blocos: resultados, concepo e implementao, com base na execuo do exerccio que findava (CALMON e GRUSSO, 2003). No entanto, os autores relatam diversos problemas no processo de avaliao dos programas e na metodologia adotada pelo PPA, como a baixa qualidade dos indicadores em geral no adequados, no apurveis ou abrangentes demais , o que dificulta a observao da evoluo do programa e a atribuio da variao observada no indicador ao desempenho do programa, fazendo com que se constitua muito mais em uma prtica de monitoramento, do que na consolidao da prtica da avaliao como vem ocorrendo em alguns pases. Apesar dos considerveis avanos nos ltimos anos nas prticas de avaliao de seus programas7, mantm-se, em grande medida arraigada, uma tradio de aferir o desempenho e avaliar os resultados dos programas, enquanto em diversos pases os governos vm abrangendo grandes pores ou mesmo a totalidade dos programas governamentais em busca de suporte a ganhos de efetividade no desenho e na implementao dos programas, mas tambm para conferir transparncia e accountability gesto pblica (CALMON e GRUSSO, 2003). Concluso A avaliao de programas governamentais, alm de fornecer aos formuladores e gestores da poltica dados importantes para o desenho das intervenes, pode contribuir para melhorar o desempenho e a gesto dos servios, para compreender o padro de atuao dos diversos atores do setor, bem como para fornecer informaes sobre os fatores que influenciam a implementao dos programas, como um mecanismo de retroalimentao do planejamento setorial, fornecendo a oportunidade de corrigir os pontos fracos e identificar fatores de xito. Portanto, a avaliao de polticas pblicas est inserida dentro de contexto amplo, ou seja, deve ser compreendida como instrumento de conhecimento das polticas com objetivo de melhor-las, racionalizlas e de torn-las transparentes sociedade. Em programas de saneamento, especialmente quando se considera o montante de investimentos pblicos que vem sendo destinados ao setor com o PAC, h certamente necessidade de diferentes enfoques avaliativos. A avaliao de resultados (ou impactos) poderia responder em que medida houve mudanas nas condies sanitrias, de sade e de educao das populaes beneficiadas e, principalmente, investigar se essas mudanas tm relao com a interveno em saneamento, ou seja, em que medida possvel considerar que as mudanas podem ser atribudas interveno governamental. To ou mais importantes que estudos dessa natureza, nesse momento necessrio que se aprofunde o conhecimento por meio de avaliao de processos sobre o padro de atuao dos diversos atores intervenientes no processo poltico, para otimizar e

50

racionalizar a operacionalizao das etapas dos programas, bem como para desenvolver instrumentos que propiciem melhor articulao, comunicao e coordenao entre os atores e agncias. Naturalmente, seja para realizao desses estudos, seja para possibilitar a estruturao de um sistema de indicadores de monitoramento mais abrangente, com informao mais relevante e tempestiva, necessrio garantir melhor acesso do Ministrio das Cidades s bases de dados de seus agentes implementadores. Referncias Bibliogrficas
ARRETCHE, M. Relaes federativas nas polticas sociais. Educao e Sociedade, v.23, n.80, p.2548, 2002. ARRETCHE, M. Tendncias no estudo sobre avaliao. In: E. M. RICO (Org.). Avaliao de Polticas Sociais: uma questo em debate. So Paulo: Cortez/ Instituto de Estudos Especiais, 1998. BRASIL. Ministrio da Sade. Organizao Pan-Americana da Sade. Avaliao do impacto na sade das aes de saneamento. Marco conceitual e estratgia metodolgica. Braslia: Ministrio da Sade, 116p. 2004. BRASIL. Ministrio das Cidades. Cadernos Saneamento Ambiental. p. 101, Braslia, 2004 CALMON, Katya. M. N.; GUSSO, D. A. A Experincia de Avaliao do Plano Plurianual (PPA) do Governo Federal no Brasil. IPEA: Planejamento e Polticas Pblicas | PPP | n. 25 | jun./dez. 2002. CARDOSO, Adauto L. O Programa Favela-Bairro. Uma Avaliao. Seminrio de Avaliao de Projetos - Instituto de Pesquisas e Planejamento Urbano e Regional. Disponvel em http:// do w n l o a d s . c a i x a . g o v. b r / _ a rq u i v o s / d e s e n v o l v i m e n t o _ u r b a n o / g e s t a o _ u r b a n a / IPT_programa_favela_bairro_avalia%E7%E3o.pdf COHEN , E. e FRANCO , R. Avaliao de projetos sociais. Petrpolis, Rio de Janeiro. Vozes, 2 edio,1998. CONILL , Eleonor M. Polticas de ateno primria e reformas sanitrias: discutindo a avaliao a partir da anlise do Programa Sade da Famlia em Florianpolis, Santa Catarina, Brasil, 1994-2000. Cad. Sade Pblica. Rio de Janeiro, 2009. COSTA , A. M. Avaliao da Poltica Nacional de Saneamento, Brasil 1996/2000. 2003. Tese de Doutorado - Escola Nacional de Sade Pblica da Fundao Oswaldo Cruz. COSTA , Frederico L. C ASTANHAR , Jos C. Avaliao de programas pblicos: desafios conceituais e metodolgicos. Revista de Administrao Pblica. Rio de Janeiro 37(5):969-92, Set./Out. 2003 COTTA, T.C. Metodologias de avaliao de programas e projetos sociais: anlise de resultados e impacto. Revista do Servio Pblico, Braslia, v. 49, n. 2, p. 103-124, 1998. HELLER, Lo; C ASTRO , Jos Esteban. Poltica pblica de saneamento: apontamentos tericoconceituais. Eng. Sanit. Ambient., Rio de Janeiro, v. 12, n. 3, Sept. 2007. HILL, M. Implementation: an overview. In: The public policy process. 4ed. Pearson Longman, 2004. cap. IX, p. 174-195 REZENDE, S. C. e HELLER, L. O saneamento no Brasil: polticas e interfaces. Belo Horizonte; Editora UFMG; 2002. 310 p. ilus. ROSSI, Peter, FREEMAN, Howard. Evaluation: a systematic approach. 5. ed. Newbury Park: Sage, 1993, p.488. RUA, Maria das Graas. Avaliao de Polticas, Programas e Projetos: Notas Introdutrias. Mimeo. 2000 SILVA , P. L. B. (coord.). Modelo de Avaliao de Programas Sociais Prioritrios: relatrio final. Programa de Apoio Gesto Social no Brasil. Campinas, NEPP-UNICAMP, 1999. SOUZA, C. Estado do campo da pesquisa em polticas pblicas no Brasil. Revista Brasileira de Cincias Sociais, So Paulo, v. 18, n. 51, 2003.

51

TUROLLA, Frederico A. Poltica de saneamento bsico: avanos recentes e opes futuras de polticas pblicas. Textos para discusso, Braslia: IPEA, n.922, 2002. WEISS, C. Evaluation: methods for studying programs and policies. New Jersey: Prentice Hall, 2. ed., 1998. WORTHEN, Blaine. et all. Avaliao de Programas Governamentais: Concepes e Prticas. So Paulo: Edusp, 2004.

Notas
As aes de saneamento bsico englobam a prestao de servios pblicos de abastecimento de gua, esgotamento sanitrio, manejo de resduos slidos e manejo de guas pluviais (Lei n 11.445/ 2007).
2 A primeira, publicada em 1963 por Campbell e Stanley, tratava de Desenhos experimentais e quase-experimentais para a pesquisa sobre o ensino; e o segundo, publicado em 1979 por Campbell e Cook, enfocava Questes de desenho e anlise para contextos naturais. 3 Essa recusa noo de implementao como uma etapa racional subsequente formulao, em que podem ser asseguradas fidelidade e perfeio ao desenho inicialmente proposto, para Silva e Melo, (1999) pressupe uma viso ingnua e irrealista da administrao pblica, tida como um mecanismo perfeito, coordenado, racional e sem conflitos. 1

Para os recursos de financiamentos, os bancos (Caixa e Banco Nacional de Desenvolvimento Econmico e Social, em geral), alm de agentes operadores, tambm atuam como agentes financeiros. Os recursos do FGTS, criado pelo poder pblico em 1966, formado por contribuies compulsrias dos trabalhadores so utilizados para financiamento do desenvolvimento urbano desde o final da dcada de 1960. Para Carvalho e Pinheiro (1999), trata-se, portanto, de instrumento pblico de poupana compulsria e de mecanismo de financiamento das polticas pblicas de habitao, saneamento e infraestrutura urbana.
6 No obstante a importncia das emendas para algumas comunidades, dada a caracterstica dos sistemas de saneamento bsico, para a funcionalidade de um empreendimento, exige-se a aplicao de montante expressivo de recursos em um mesmo local, o que contrasta com a prtica de destinao de pequenas quantidades de investimento em diversos locais. 5

Destacam-se as recentes iniciativas de avaliaes promovidas pelo governo federal, especialmente no mbito dos programas do Ministrio do Desenvolvimento Social e Combate Fome, em trabalhos de rgos de controle, como o Tribunal de Contas da Unio (TCU), e em pesquisas do Instituto de Pesquisa Econmica Aplicada (Ipea).

Lauseani Santoni Nacionalidade brasileira. Participante do curso Avaliao de Programas Sociais, realizado pela EIAPP/ENAP em 2009. Cientista Poltica formada pela Universidade de Braslia (UnB) e mestranda do curso de Desenvolvimento Sustentvel da mesma instituio, na rea de polticas pblicas, governana e conflitos socioambientais. especialista em Polticas Pblicas e Gesto Governamental e atua como assessora tcnica da Secretaria Nacional de Saneamento Ambiental do Ministrio das Cidades.

52

Avaliao de polticas pblicas em Portugal: o caso do programa de distribuio de riqueza e combate excluso Matilde Gago da Silva, Cludia Anjos e David Ferraz

Introduo O presente artigo tem como objectivos apresentar o programa de transferncia de renda em Portugal (RMG/RSI) e analisar o seu modelo de avaliao no contexto das metodologias de avaliao de polticas pblicas. Inicia-se o texto com uma rpida contextualizao acerca do processo de concepo de polticas pblicas em Portugal, de modo a situar o papel das instituies no ciclo de formulao e avaliao dos programas sociais no pas. Discute-se, em seguida, a natureza da pobreza em Portugal, o seu carcter estrutural e indicadores, quadro esse que fundamentou a proposio de programas de transferncia de renda nos anos 1990. Parte-se ento para a apresentao das iniciativas do Governo Portugus na rea: o programa Rendimento Mnimo Garantido e o programa Rendimento Social de Insero que o substituiu em 2003. Na ltima seco, apresenta-se a experincia de avaliao desses programas, segundo a perspectiva do modelo EVALSED Avaliao de Desenvolvimento Socioeconmico (COMISSO EUROPEIA, 2004). O processo de concepo de polticas pblicas em Portugal A concepo de polticas pblicas em Portugal , normalmente, de iniciativa governamental. Apesar de existir diferenciao entre o Poder Legislativo (Assembleia da Repblica) e o Poder Executivo (Governo), na prtica, como o Governo tem a maioria parlamentar, a diferenciao no assim to expressiva. Contudo, importa do ponto de vista formal considerar essa diferenciao, j que cabe ao Parlamento, eleito democraticamente e, portanto, enquanto rgo dotado de legitimidade democrtica representativa, aprovar os desgnios das polticas pblicas. tambm frequente os grupos parlamentares proporem polticas pblicas que, nesse caso, carecem da aprovao, por maioria, na Assembleia da Repblica. Acresce ainda que o Governo pode, por sua iniciativa, legislar em matrias que no sejam da reserva absoluta de competncia da Assembleia da Repblica. Nesses casos, o Governo aprova, por meio de resolues do Conselho de Ministros, polticas pblicas que no carecem de aprovao na Assembleia da Repblica. Tambm no actual contexto de globalizao e integrao europeia, parte significativa das polticas pblicas corresponde transposio de normativas comunitrias que, nesse caso, referem-se a polticas pblicas definidas no nvel supranacional. Ainda assim, mesmo nessas situaes, a aplicao do princpio da subsidiariedade tem dado aos Estados

53

Membros alguma discricionariedade na aplicao das polticas pblicas, defendendo-se que essas devem ser implementadas, sempre que possvel e tal seja vantajoso, o mais prximo dos seus destinatrios. Se tal verdade para a transposio de directivas comunitrias, o mesmo no se aplica no mbito nacional, j que o Estado portugus detm uma configurao de matriz napolenica de organizao do Estado e da Administrao Pblica. Assim, na maior parte dos casos, as polticas so definidas e aplicadas no nvel central, j que as autarquias, que integram a administrao autnoma do Estado, no tm por tradio conceber polticas pblicas de mbito estratgico. Tal significa que o processo de concepo e aplicao das polticas pblicas, em particular de polticas pblicas sociais nas quais se insere o Rendimento Social de Insero (RMG/RSI), corresponde a uma matriz desconcentrada de administrao (presena do poder central no nvel local) e no a uma matriz de descentralizao administrativa. Apesar disso, e ainda que no se verifique a transferncia de competncias do poder central para, por exemplo, as autarquias locais, o modelo operacional definido representa uma inovao no contexto portugus ao confiar parte das funes de gesto da medida a estruturas locais compostas por representantes da Administrao Central, das autarquias e das organizaes da sociedade civil. As fases a que obedecem as polticas pblicas no caso portugus so semelhantes s da generalidade dos outros pases, a saber: Diagnstico do problema ou situao/ Identificao dos objectivos/Escolha dos Instrumentos/Deciso/Execuo das polticas/Avaliao. No mbito das polticas sociais, equivale a dizer que o papel do Ministrio do Trabalho e da Solidariedade Social (MTSS) se centraria nas actividades de diagnstico, de identificao dos objectivos e na proposta dos instrumentos. A escolha dos instrumentos e a deciso final relativa orientao da poltica caberiam ao Parlamento. Depois de aprovada em sede parlamentar a poltica executada pela Administrao Pblica, enquanto rgo instrumental do Governo, qual compete habitualmente proceder ou promover a avaliao. Esse modelo tem vindo, todavia, como anteriormente referido, a ser influenciado pelas orientaes europeias, que colocam a avaliao como integrante de todo o ciclo das polticas. No contexto da Unio Europeia, foram os Fundos Estruturais os principais indutores da nova abordagem. nesse quadro que actualmente o RMG/ RSI, enquanto medida integrante de um conjunto de polticas de desenvolvimento e de combate excluso, insere-se nos Planos Nacionais de Aco para a Incluso (PNAI). (RODRIGUES: s.d.). Pobreza e excluso em Portugal Em todas as regies do Globo, a sociedade contempornea atingida pelo fenmeno da pobreza e da excluso social. No que concerne pobreza, sendo esse um fenmeno pluridimensional, varia consoante o contexto econmico-social e incide sobre certos grupos populacionais. Se nos pases subdesenvolvidos a pobreza se caracteriza por possuir carcter absoluto, visto que se traduz na incapacidade de satisfao de

54

necessidades bsicas nos pases desenvolvidos, ela assume carcter relativo, dado que se manifesta na impossibilidade de viver de acordo com o padro de vida dominante (PEREIRINHA, 2008). Segundo a Comisso sobre os Direitos Sociais, Econmicos e Culturais das Naes Unidas, a pobreza uma condio humana caracterizada por privao sustentada ou crnica de recursos, capacidades, escolhas, segurana e poder necessrios para o gozo de um adequado padro de vida e outros direitos civis, culturais, econmicos, polticos e sociais. (COSTA, 2008, p. 29). Para Amartya Sen, a pobreza pode ser avaliada de acordo com trs dimenses, a saber: incidncia, intensidade e severidade (PEREIRINHA, 2008). A incidncia refere-se ao facto de existir a possibilidade de separar a populao pobre da populao no pobre por meio da definio de uma linha de pobreza. A intensidade traduz o grau de desvio existente entre os recursos monetrios do agregado/indivduo e a linha de pobreza, sendo que, quanto maior for a diferena entre os recursos e essa linha, maior ser a intensidade da pobreza. Por ltimo, a severidade diz respeito ao grau de desigualdade na distribuio do rendimento entre os pobres. No que respeita excluso social, sendo esse um fenmeno multidimensional e abrangente, dado que se relaciona com a questo da desigualdade em vrios nveis, continua a ser um conceito pouco preciso e possui diferentes significados segundo diferentes autores e em vrios pases. De acordo com Jos Pereirinha (1996), a noo de excluso social encontra-se ligada dimenso relacional e/ou dimenso de realizao de direitos de cidadania, ou seja, existe uma ausncia ou inadequao de integrao social dos indivduos ou grupos na sociedade qual pertencem. Segundo Iver Mller, no existe um estado de excluso absoluto; o indivduo pode viver, em simultneo, processos de excluso em relao a um determinado domnio da vida social e de incluso relativamente a outros nveis da vida social (MATOS, 2000). Na medida em que a excluso social um fenmeno complexo e heterogneo, Alfredo Bruto da Costa (2001) elaborou uma tipologia de situaes de excluso, identificando cinco tipos de excluso social: de tipo econmico situao de privao mltipla por falta de recursos e caracterizada por ms condies de vida, baixos nveis de instruo e de qualificao profissional, e emprego precrio; de tipo social situao de privao de tipo relacional, caracterizada pelo isolamento; de tipo cultural situao derivada de factores de ordem cultural, nomeadamente o racismo, a xenofobia e certas formas de nacionalismo; de origem patolgica situao ocorrida por motivos de natureza psicolgica ou mental; e por comportamentos autodestrutivos situao derivada de comportamentos autodestrutivos como, por exemplo, a toxicodependncia, o alcoolismo e a prostituio. Para Paul Spicker, a pobreza apenas um dos factores que leva a que uma pessoa seja excluda da sociedade e impedida de participar na vida em sociedade (COSTA, 2008, p. 25). Assim sendo, pode-se considerar que a pobreza e a excluso, apesar de serem conceitos distintos, encontram-se interrelacionados, visto que no existe pobreza sem excluso (COSTA, 2008).

55

De acordo com dados do Instituto Nacional de Estatstica (INE), em 2006 a pobreza em Portugal afetava 18% dos indivduos. Segundo estudo levado a cabo por Costa (2008) que, entre outras fontes de informao, baseou-se no Inqurito s Condies de Vida e Rendimento (ICOR) de 2004, a pobreza em Portugal j no um fenmeno predominantemente rural, tal como sucedia na dcada de 80. Actualmente, existe equilbrio na distribuio dos agregados pobres entre os diversos tipos de localidades (densamente povoadas, intermdias e fracamente povoadas), sendo que 54,2% eram mulheres e 45,8% eram homens. No que se refere idade, existiam dois grandes grupos de pobres, a saber: as crianas e/ou adolescentes com menos de 17 anos e o escalo dos 35-54 anos. Relativamente distribuio da pobreza, segundo a dimenso do agregado familiar, observou-se que os mais representados so os compostos por uma, duas, trs ou quatro pessoas, sendo que os constitudos por apenas uma pessoa so, essencialmente, indivduos com 65 anos ou mais (71,9%). No que concerne s questes relativas sade, ficou patente no estudo que uma em cada doze pessoas pobres no conseguiu, pelo menos numa ocasio, realizar exames/ tratamentos mdicos por razes que se encontram fundamentalmente associadas a questes financeiras. Em termos educacionais, a populao portuguesa pobre caracterizase, tambm, por possuir baixo nvel de escolaridade (COSTA, 2008). No que diz respeito condio perante o trabalho, verificou-se no ICOR de 2004 que 39,1% das pessoas pobres estavam empregadas, 27,5% reformadas e 25,4% eram outros inactivos no especificados. No que se refere aos pobres empregados, de salientar que 50,9% eram trabalhadores por conta de outrem e 31,7% eram trabalhadores por conta prpria, sem empregados ao servio. Verificou-se ainda que 49,8% dos agregados tm como principal fonte de rendimento o trabalho, seguindo-se as penses (43,5%), outros benefcios sociais (5%) e, por fim, o subsdio de desemprego (1,7%). Vale realar que os outros benefcios sociais so os que apresentam um grau de vulnerabilidade pobreza bastante elevado, comparativamente com os restantes, o que reflecte a instabilidade econmica a que o agregado, cujo representante depende desse tipo de benefcios sociais, est sujeito (COSTA, 2008, p. 163). De acordo com os dados do Painel dos Agregados Domsticos Privados (PADP), coordenado pelo Eurostat entre 1995-2000, constatou-se, durante o perodo de seis anos desse painel, que 47% dos agregados portugueses passaram pela pobreza em pelo menos 1 ano, ou seja, cerca de metade das famlias vive numa situao vulnervel pobreza. Nesse sentido, a pobreza no uma realidade marginal ou passageira da sociedade portuguesa, antes assume caractersticas de um problema social extenso e resistente (COSTA, 2008, p. 185). O programa de distribuio de riqueza em Portugal Do Rendimento Mnimo Garantido ao Rendimento Social de Insero As denominaes Rendimento Mnimo Garantido (RMG) e Rendimento Social de Insero (RSI) correspondem a dois momentos distintos de produo legislativa, podendo ainda indiciar um enfoque ideolgico e/ou terico.

56

Em qualquer dos casos, a evoluo legislativa manteve as caractersticas fundamentais da medida, que se pode definir como: a) uma prestao do regime no contributivo da Segurana Social, que garante a todos os indivduos a reposio da diferena entre os seus rendimentos reais e um limiar mnimo de rendimento tomado como referncia; b) a combinao entre o direito prestao e o sistema de obrigao-direito de insero por meio da obrigatoriedade de seguimento em um programa de insero social (RODRIGUES, 2009). Na origem da sua formulao, esto no s a situao da pobreza e excluso em Portugal avaliada como a orientao do Conselho das Comunidades Europeias que, em 1992, recomenda aos Estados Membros que

[] Reconheam, no mbito de um dispositivo global e coerente de luta contra a excluso social, o direito fundamental dos indivduos a recursos e prestaes suficientes para viver em conformidade com a dignidade humana e, consequentemente, adaptem o respectivo sistema de proteco social, sempre que necessrio, segundo os princpios e as orientaes a seguir expostos [] (CAPUCHA, 1998).

No contexto do debate iniciado na Assembleia da Repblica, concretizou-se a reflexo sobre a medida, quer em sede parlamentar, quer em um grupo de trabalho criado no Ministrio do Trabalho e Segurana Social. Em 1996, foi aprovada pela Assembleia da Repblica a criao do Rendimento Mnimo Garantido (Lei 19-A/96), implementado inicialmente por meio de projectos-piloto. Em 1997, a medida generalizada por meio da regulamentao da Lei. Em 2003 e no incio de um novo ciclo legislativo, o RGM foi revogado, tendo sido substitudo por um novo programa, o Rendimento Social de Insero (RSI). Como principais argumentos invocada a existncia de situaes de fraude, os efeitos perversos de desmotivao para o trabalho e a necessidade de fomentar a capacidade empreendedora dos mais jovens por meio de medidas activas de emprego (Exposio de motivos, Proposta de Lei 6/IX, 2003). Para alm da introduo de um conjunto de instrumentos de controle e fiscalizao, e de alteraes no nvel das estruturas de gesto locais, a lei define formas de discriminao positiva para os mais idosos e portadores de deficincia, mas determina, na sua verso final, condicionantes especficas de acesso a jovens entre 18 e 30 anos (Lei 13/2003). Em 2005, com nova maioria parlamentar, essas condies so revogadas e aprovada a legislao actualmente em vigor (Lei 45/2005). O RMG/RSI objectivos, caractersticas, beneficirios, estruturas e parceiros Para efeitos de comparabilidade com outros modelos, consideramos adequado caracterizar sinteticamente a medida portuguesa.

57

Atribudo exclusivamente a um titular (o requerente), o RMG/RSI abrange o seu agregado familiar (se o houver), desde que vivendo em economia comum e na exclusiva dependncia do titular. Ao titular e seu agregado corresponde o conceito de beneficirio. Como foi referido no ponto anterior, a prestao atribuda calculada pela diferena entre um valor de referncia e o rendimento efectivo do agregado, sendo esse indexado penso social do sistema no retributivo da segurana social. Para o seu clculo, considera-se 100% do valor de referncia para dois adultos e 50% para os menores, aplicando depois uma minorao, a partir do 3 adulto, e uma majorao, a partir do 3 menor. Podem ser titulares, desde que na condio de rendimentos definida pela medida, todas as pessoas maiores de 18 anos ou menores, se casadas, em unio de facto, ou com menores a cargo, desde que residentes em Portugal incluindo assim estrangeiros em situao legal no pas nos ltimos 3 anos; sob a condio de se comprometerem a participar num programa de insero, incluindo a disponibilidade activa para o trabalho, e de requer outras prestaes sociais a que tenham direito. Por impossibilidade prtica, remete-se para as leis citadas e respectiva regulamentao a caracterizao dos conceitos de agregado familiar e rendimentos. No que se refere ao programa de insero, esse tem por base um relatrio social e obriga todos os beneficirios maiores de idade. Pode incluir quer o compromisso de utilizao de servios de carcter universal por exemplo, de sade: prosseguir tratamentos em caso de doena, vacinao e consulta mdica para as crianas; ou de educao: frequncia da escolaridade obrigatria para crianas e adultos , quer a adeso a outro tipo de apoios e/ou aces colocao das crianas em creches, alfabetizao, insero em programas de realojamento social, participao em aces dirigidas comunidade. A disponibilidade para a insero profissional , no entanto, uma das condies fundamentais dos acordos no que diz respeito aos beneficirios maiores de idade, ainda que possa ser considerada a sua iseno com base em determinadas condies (nomeadamente de sade e de idade). Considerando que a penso social (indexante do RSI) actualmente de 187,18 euros/ ms, que o limiar da pobreza se situava, em 2008, em 405 euros/ms, e que o salrio mnimo foi fixado em 450 euros para 2009, torna-se expressiva a filosofia de base do RSI: constituir-se como direito a um suporte mnimo, que possa promover um novo ciclo de vida e dirigido essencialmente pobreza extrema, sem capacidade para produzir efeitos de acomodao ou desmotivao para o trabalho, e com um forte investimento nos processos de incluso. (CAPUCHA, 1998). Conforme j referido, esse modelo de gesto apresentou-se com elevado grau de inovao relativamente aos modelos tradicionalmente adoptados em Portugal, no s no que se refere tradio centralizadora da Administrao Pblica, como recorrente tendncia de interveno em silos dos vrios ministrios. Assim, sob a responsabilidade central do Ministrio do Trabalho e Segurana Social, a medida organiza-se por meio das seguintes estruturas organizadas em parcerias:

58

Em nvel central, a Comisso Nacional (CNRMG, depois CNRSI), a quem compete a coordenao geral da medida. Presidida por um representante do MTSS, integra representantes das reas ministeriais da sade, educao, emprego/formao profissional e justia, das Regies Autnomas, dos parceiros sociais, das associaes de municpios e freguesias, e de um conjunto de organizaes sem fins lucrativos (Instituies Privadas de Solidariedade Social IPSS), Mutualidades e Misericrdias, que tradicionalmente assumem papel supletivo do Estado nas reas de apoio social. Em nvel local, as Comisses Locais de Acompanhamento (CLA). Actualmente Ncleos de Insero (NLI), so compostas por idnticas representaes das reas e entidades acima referidas, e assumem a interveno junto dos beneficirios (relatrios sociais e planos de insero) e com as comunidades (dinamizao dos recursos e parcerias) e garantem a avaliao da execuo e a eficcia dos processos de insero. A partir de 2003, as funes das CLA/NLI podem ser partilhadas, por meio de protocolos, por outras entidades (nomeadamente IPSS). Os actos administrativos atribuio da prestao com base nos relatrios sociais, constituio formal das CLA/ NLI e celebrao de protocolos so da competncia dos Centros Regionais de Segurana Social (rgos desconcentrados do MTSS). Anlise do modelo de implementao, monitorizao e avaliao Enquadramento Numa tentativa de anlise dos processos e modelos utilizados, e na impossibilidade de referenciar exaustivamente as diferentes teorias de avaliao, tomamos como primeiro referencial o ciclo de interveno social proposto por Fernndez-Ballesteros (1996), constitudo por sete fases, e que correspondem, com maior detalhe, s fases assumidas no modelo europeu (avaliao ex ante, on going e ex post): 1. Avaliao das necessidades; 2. Planejamento dos objetivos e metas; 3. Pr-avaliao na qual se tomam as decises sobre qual a interveno mais adequada (estado da arte, estudos comparativos, projetos-piloto); 4. Desenho do programa; 5. Implementao que pode ser acompanhada por avaliaes formativas ou de processo, destinadas a otimizar a interveno; 6. Avaliao em que se concretizam as avaliaes somativas ou de resultados, que podem ter por objectivo justificar a deciso poltica tomada em face aos custos/benefcios (retroactiva) ou trazer evidncias que fundamentem a tomada de deciso sobre o programa (proactiva); 7. Tomada de deciso sobre a manuteno, redireccionamento, redesenho ou mesmo finalizao da interveno com base na valorao da sua pertinncia, eficcia, efectividade e eficincia, bem como a identificao de efeitos no intencionais ou perversos. No entanto, essa linearidade temporal no explica, na sua totalidade, a complexidade exigida avaliao no contexto de programas de desenvolvimento socioeconmico,

59

que normalmente procuram resolver problemas estruturais persistentes, que se articulam com diversas medidas e programas concebidos para se reforarem mutuamente, que se integram num ambiente complexo onde interagem vrios actores com interesses diferenciados, e que tm de se adaptar s mudanas societais e evoluo de estratgias polticas de mbito nacional e transnacional. As implicaes para os processos de avaliao dos programas de desenvolvimento socioeconmico, nomeadamente no contexto da Unio Europeia, so assim apresentadas no Quadro 1. Quadro 1. Implicaes das caractersticas dos programas de desenvolvimento socioeconmico para a avaliao
Caractersticas do programa Necessidades de desenvolvimento persistentes e estruturais Pressupostos A natureza de longo prazo dos objectivos alcanveis implica tempo e necessita de uma mudana sistmica. Implicaes para a avaliao Dever captar o incio da mudana, a longo prazo, e implementar um sistema de registro da mudana ao longo do tempo. Dever considerar quer o sistema mais vasto, quer os resultados especficos. Dever analisar a interaco entre os diversos programas intervenes, bem como a complexidade e sinergias. Necessita considerar as intervenes na sua dimenso, avaliar a relevncia e ajudar a identificar o que funciona em diferentes contextos. Dificuldade em estabelecer regras. Os avaliadores podero retirar critrios dos quadros mais alargados, bem como dos objectivos de programas especficos. Tem de aplicar mtodos participativos, da base para o topo, sempre que os actores regionais so dominantes, a avaliao deve suportar actividades de autogesto/direco.

Natureza multidimensional dos programas e intervenes Programas adaptados s definies

Presume-se que as intervenes e as medidas interagem e se reforam mutuamente. Os programas e as medidas diferem, ainda que mantendo-se os objectivos. Os contextos tambm diferem. Cada um dos programas prope, de certa forma, objectivos de um quadro mais alargado.

Num quadro poltico mais alargado

As parcerias da Os parceiros da base para o topo base para o topo permitem articular necessidades so importantes e prioridades por meio de conhecimentos locais/regionais, e so por vezes os actores dominantes na concepo e implementao. Sustentabilidade Os programas devero incluir alteraes sistmicas, no sentido de apoiar a sustentabilidade dos seus resultados.

Deve centrar-se nas alteraes sistmicas, incluindo o desenvolvimento de capacidades que influenciam a sustentabilidade.

Fonte: EVALSED: Avaliao do Desenvolvimento Socioeconmico O Guia (COMISSO EUROPEIA, 2004, p.27 a 28).

Finalmente, julgmos adequado identificar ainda os principais objectivos da avaliao, que se apresentam na figura seguinte:

60

Figura 1 Objectivos da Avaliao

Fonte: Adaptado de EVALSED: Avaliao do Desenvolvimento Socioeconmico o Guia (COMISSO EUROPEIA, 2004)

Com base nesse enquadramento poderemos dizer que, independentemente dos mtodos utilizados que devero ser seleccionados em funo das caractersticas dos programas e dos objectivos pretendidos , importa construir uma arquitectura de avaliao coerente, sistemtica e transparente, capaz de responder aos interesses dos vrios interessados e centrada na aprendizagem. Nessa perspectiva, a avaliao contribui para a potenciao do conhecimento, no apenas junto dos actores directamente envolvidos, como junto de diversos sectores da sociedade (analistas, acadmicos, cidados em geral), promovendo o aumento do capital social e da cidadania activa. Anlise do ciclo de gesto RGM/RSI extensa a bibliografia sobre a medida RGM/RSI, que tem sido alvo de numerosos estudos por parte da comunidade cientfica portuguesa. No entanto, para o objectivo do presente trabalho, analismos exclusivamente a informao produzida ou encomendada/patrocinada pelas estruturas de gesto da medida. O primeiro resultado da anlise que teremos de identificar duas fases distintas para caracterizar os processos de avaliao: a fase RMG (de 1997 a 2002) e a fase RSI (2002-2005 e 2005-2009). Fase RMG (1996-2002)

Avaliao das necessidades: corresponde fase de debate e reflexo descrita no

captulo 4.1 e teve por objectivo dar resposta a necessidades normativas (orientao UE),

61

expressas (situao da pobreza e excluso), percebidas (audio de diversos sectores da sociedade) e comparativas (anlise dos programas em pases europeus).

Definio de objectivos e metas: corresponde, sob a forma de produo legislativa,

s concluses da fase anterior e contempla, desde logo, as grandes linhas de interveno, os beneficirios e as estruturas participadas de gesto.

Pr-avaliao: por meio de projectos-piloto, caracterizou-se por apelar

participao de actores locais organizados em parceria. Nessa fase foi tambm elaborado o sistema de informao (recolha de dados e articulao entre estruturas).

Paralelamente, foi encomendado a uma equipe externa de investigadores um

Estudo de Acompanhamento e Avaliao (CAPUCHA e G UERREIRO, 1998). Esse estudo sistematiza a avaliao ex ante, elabora o modelo lgico do programa, descreve o modelo de organizao e interveno dos projectos-piloto, e acompanha e avalia a sua concretizao, formulando um conjunto de recomendaes.

Implementao: generalizao da medida e sua regulamentao (Assembleia da

Repblica). A partir dessa fase inicia-se o processo de acompanhamento (produo de documentos de orientao) e de avaliao regular. A avaliao tem enfoque essencialmente formativo aprofundar o conhecimento sobre os beneficirios, parceiros e territrios de interveno e aperfeioar os processos de trabalho e as formas de articulao , mas tambm sumativo (grau de execuo dos dois eixos da medida prestao e insero). Assinalam-se apenas os Relatrios Anuais das Comisses Locais de Acompanhamento e os Relatrios Anuais de Execuo (Comisso Nacional RGM), que incluem uma caracterizao e anlise dos beneficirios e das aces de insero. Finalmente, o conjunto de estudos Avaliao de Impactes do Rendimento Mnimo Garantido (2002), elaborado por uma equipa mista (Instituto de Desenvolvimento Social e investigadores externos), apresenta uma avaliao dos impactos no nvel dos beneficirios (transversal e sectorial), dos tcnicos e dos parceiros. Assumindo-se como avaliao on-going, simultaneamente sumativa e formativa, esses estudos utilizam tcnicas de inquirio dos diversos actores (autopercepo) e procedem a um conjunto de recomendaes de melhoria e sustentabilidade. Fase RSI (2002-2009) Entre 2003 e 2005, apenas se conhece o Relatrio Anual das CLA/NLI de 2004. A inexistncia de informao junto das fontes consultadas parece indiciar que os processos de acompanhamento e monitorizao sofreram uma disrupo significativa. A partir de 2005 e at a presente data, reinicia-se a publicao e divulgao dos Relatrios de Execuo da Medida, que mantm a anterior estrutura, embora com menor grau de aprofundamento. A informao disponvel (CNRSI, Actas, 2007, 2008; NLI, Relatrio sobre Boas Prticas, 2006), bem como a produo de estudo sobre uma regio crtica, evidencia a retoma dos processos de monitorizao e avaliao, ainda que sem poltica de divulgao activa (GONALVES, 2009).

62

Nessa fase divulgado o primeiro estudo de avaliao ex post Impacto do RSI em Portugal na Distribuio do Rendimento e Excluso (RODRIGUES, 2007). Ainda no publicado, mas passvel de ser consultado por meio de apresentaes e artigos do autor, o Estudo baseia-se na metodologia de simulaes contrafactuais. Utilizando os microdados dos inquritos s famlias, realizados pelo Instituto Nacional de Estatstica (ICOR 2007 Inqurito s Condies de Vida e Rendimento), simulada a implementao da medida, de forma a quantificar os seus efeitos sobre a desigualdade e a pobreza, e so construdos indicadores de eficcia em que medida o programa conseguiu realmente reduzir as vrias dimenses da pobreza e de eficincia qual a percentagem das transferncias que efectivamente contribuiu para a reduo da pobreza. Como principais resultados destacamos que, em termos de eficcia, o RGM/RSI induz uma ligeira reduo dos ndices de desigualdade, qualquer que seja o ndice considerado (RODRIGUES, 2009, p. 9); o seu efeito na incidncia da pobreza nulo ou marginal, e extremamente eficaz na reduo da intensidade da pobreza, conseguindo reduo superior a 25%, qualquer que seja a distribuio de rendimentos analisada (Rodrigues, 2009, p. 10), rendimento total ou monetrio, bem como na severidade (46,7%). No que se refere eficincia da medida, o estudo conclui que cerca de 97% do rendimento das transferncias do RSI contribui efectivamente para a reduo do dfice de recursos da populao pobre (RODRIGUES, 2009, p. 12). Consideraes finais A anlise da evoluo do processo de monitorizao e avaliao realizada permite constatar que esse evoluiu com variaes significativas, de natureza quantitativa e qualitativa. Nomeadamente, no foram encontradas evidncias de transferncia dos conhecimentos e recomendaes sobre o RGM para a formulao RSI. Como hiptese explicativa, sugere-se o contexto criado, a partir de 2003, quer por dois ciclos legislativos, com as correspondentes alteraes da estrutura governamental, orgnicas ministeriais e cargos de direco, quer pelo processo de reorganizao global da Administrao Pblica Central, no mbito de um processo de modernizao administrativa e de conteno oramental. Esses factores, combinados com a alterao do enquadramento legal da medida, parecem ter tido impacto significativo no nvel da reconstituio das equipas tcnicas e parcerias, aos vrios nveis, e dos modelos de gesto e processos de trabalho. A eficincia e eficcia da medida, na sua vertente prestacional, no ter sido posta em causa como os resultados do estudo de impacte demonstram (RODRIGUES, 2007). No entanto, suscitam-se preocupaes no que diz respeito sustentabilidade das aces de insero, dinmica tcnicos/parcerias/sociedade civil e desenvolvimento da capacitao dos vrios actores. Finalmente, considera-se fundamental recuperar uma poltica de transparncia e continuidade, em relao aos vrios interessados e aos cidados em geral. Considerando que o RGM/RSI permanece no centro do debate poltico/ideolgico em Portugal, seria fulcral aprofundar a cultura de avaliao e divulgar informao sobre as polticas de luta contra a pobreza e excluso, que promovam adeso e a responsabilizao da sociedade.

63

Referncias bibliogrficas
CAPUCHA, Lus e Guerreiro, Maria das Dores (coord.) et al (1998), Rendimento Mnimo Garantido - estudo de acompanhamento e avaliao relatrio final, CIES, Lisboa. CASTRO, Alexandra et al (s.d.), Relatrios de Execuo da Medida e Caracterizao dos Beneficirios em 1999, 2000, 2001, Comisso Nacional do Rendimento Mnimo, Instituto de Desenvolvimento Social, Lisboa. CASTRO, Alexandra et al (coord.) (2002), Avaliao de Impactes do Rendimento Mnimo Garantido, Instituto de Desenvolvimento Social, Lisboa, Vol.1 a 10. COMISSO E UROPEIA (2004), EVALSED - A Avaliao do Desenvolvimento Socioeconmico o guia, Observatrio do QREN, Lisboa. COSTA , Alfredo Bruto da (2001), Excluses Sociais, Vol. 2, 2 ed., col. Fundao Mrio Soares, Gradiva, Lisboa. COSTA , Alfredo Bruto da (coord.) et al (2008), Um Olhar sobre a Pobreza - vulnerabilidade e excluso social no Portugal contemporneo, Gradiva, Lisboa. F ERNNDEZ -B ALLESTEROS , Rocio (1996), C uestiones Conceptuales Bsicas en Evaluacin de Programas, in Juan Mayor, Evaluacin de Programas una guia prctica en mbitos sociales, educativos y de salud, Editorial Sntesis, Madrid. GONALVES , Alda Teixeira e Palma, Carlos (2008,2009), Rendimento Social de Insero, Relatrio Anual, Instituto de Segurana Social. I.P., Lisboa. GONALVES, Alda Teixeira et al (2009) Anlise da Implementao do Rendimento Social de Insero no Porto, Instituto de Segurana Social I.P., Lisboa. GUERRA , Isabel, Chitas Hirondina, (1997) Programas de Insero: Reflexes Metodolgicas , Instituto de Desenvolvimento Social, Lisboa. MATOS, Ana Raquel Barros de (2000), Activao, Desemprego e Cidadania: para uma avaliao crtica das polticas sociais activas, Faculdade de Economia da Universidade de Coimbra, Coimbra. NCLEO DE APOIO TCNICO COMISSO DO RENDIMENTO MNIMO GARANTIDO (s/ data) Guia de Recursos para Apoio aos Programas de Insero, Instituto de Desenvolvimento Social, Lisboa. NCLEO DO RENDIMENTO MNIMO, Departamento de Investigao e Conhecimento (2002), Relatrio de Avaliao da Actividade das CLA em 2001, Instituto de Desenvolvimento Social, Lisboa. PEREIRINHA, Jos Antnio (1996), Pobreza e Excluso Social algumas reflexes sobre conceitos e aspectos de medio in J. M. Carvalho Ferreira et al., Entre a Economia e a Sociologia, Celta Editora, Oeiras, 208-232. PEREIRINHA, Jos Antnio (coord.) et al (2008), Gnero e Pobreza: impacto e determinantes da pobreza no feminino, CIG, Lisboa. RODRIGUES, Carlos Farinha (2009), O RSI em Portugal o impacto do RSI na distribuio do rendimento e excluso, Comunicao apresentada ao Seminrio Europeu RSI - um direito integrao social, Lisboa. RODRIGUES, Fernanda (coord.) (s.d.), Plano Nacional de Aco para a Incluso 2008-2010, Sersilito, Lisboa. TOSCANO, Joana et al (2005) Relatrio de Avaliao da Actividade das CLA/NLI em 2004, Instituto de Segurana Social I.P., Lisboa. U NIDADE DE SOLIDARIEDADE DO DEPARTAMENTO DE PROTECO SOCIAL E CIDADANIA (2007), Relatrio sobre Boas Prticas /Ncleos Locais de Insero, Instituto de Segurana Social I.P., Lisboa.

64

Matilde Gago da Silva Nacionalidade portuguesa. Participante do Curso Avaliao de Programas Sociais, realizado pela EIAPP/ENAP em 2009. Licenciada em Cincias Sociais e Polticas pelo Instituto Superior de Cincias Sociais e Polticas da Universidade Tcnica de Lisboa (UTL). Actualmente, desempenha funes de investigao e consultoria no Instituto Nacional de Administrao (INA, I.P.). Cludia Anjos Nacionalidade portuguesa. Licenciada em Sociologia pelo Instituto Superior de Cincias do Trabalho e da Empresa (ISCTE). Mestranda em Administrao e Polticas Pblicas no ISCTE-IUL. Actualmente, desempenha funes de investigao e consultoria no Instituto Nacional de Administrao (INA, I.P.) em diferentes domnios como polticas pblicas de incluso social, benchmarking no mbito da gesto pblica e diagnstico de competncias em organismos pblicos. David Ferraz Nacionalidade portuguesa. Licenciado em Gesto e Administrao Pblica pelo Instituto Superior de Cincias Sociais e Polticas da UTL; diplomado com o Curso de Estudos Avanados em Gesto Pblica (CEAGP) do INA, I.P.; mestre em Administrao e Polticas Pblicas pelo ISCTE-IUL; e doutorando em Polticas Pblicas no ISCTE-IUL. Actualmente, desempenha funes de investigao e consultoria no Instituto Nacional de Administrao, INA, I.P. Tem colaborado com diversas organizaes nacionais e internacionais em diferentes domnios da Cincia da Administrao e das Polticas Pblicas.

65

66

Plan jefas y jefes de hogar desocupados: un estudio de caso Gabriela N. Cheli

Contexto Durante los aos 80 y 90 se aplicaron una serie de reformas de estado, enmarcadas en el Consenso de Washington, para contener las crisis que se venan produciendo desde la dcada del 70 cuando las polticas keynesianas del Estado de Bienestar empezaban ya a mostrar signos de agotamiento y necesidad de transformacin. En ese sentido y en sintona con las polticas que se daban a nivel mundial, se aplicaron programas diseados por el Banco Mundial y el Fondo Monetario Internacional de ajuste fiscal, liberalizacin y apertura del mercado, desregulacin y privatizaciones. Estas reformas, denominadas neoliberales o de mercado tenan como premisa la reduccin del Estado a su capacidad mnima de agente controlador del sistema pero sin intervencin en el mercado, la mano invisible del mercado regulara las relaciones. Tanto a finales de los 70 como a inicios de los 90 se aplic una poltica que combin una de apertura comercial, con tipo de cambio nominal fijo1 y cambio real apreciado, determinando una sucesin de crisis que impactaron negativamente sobre la deuda. El modelo adoptado por Argentina en los 90, con un tipo de cambio nominal fijo que provocaba la sobrevaloracin del mismo en el tipo de cambio real (DAMILL, M; FRENKEL. R, 2004: 4), llev a recurrir constantemente, a las fuentes de financiamiento externo, postergando el default y financiando la fuga de capitales. Entre 1991-1995 y 19952001 se produjeron dos perodos de apertura-expansin y posterior crisis, con la diferencia de que en el primer caso fue una crisis financiera y recesiva, y en el segundo se sum una crisis cambiaria (DAMILL, M.; FRENKEL, R.; 2004:7). Como consecuencia de esta ltima crisis, agotada la posibilidad de seguir financiando y refinanciando la deuda, lleg el colapso con un elevado costo para la sociedad a finales de 2001. Los denodados intentos realizados por el gobierno de la Alianza en 2001 para evitar la devaluacin y mantener la paridad cambiaria con el dlar, agudizaron los conflictos internos y llevaron a tensionar las relaciones entre el poder ejecutivo, el poder legislativo y los gobiernos provinciales. sta etapa signific un aumento sideral de los intereses del servicio de la deuda2, debido a la apreciacin cambiaria y la vulnerabilidad financiera a los shocks externos3 Polticamente las decisiones del gobierno fueron respondidas con un descontento social expresado en las urnas y un clima poltico de creciente oposicin. Para terminar la etapa de salida de la convertibilidad se inmoviliz los fondos de los ciudadanos depositados en los bancos, estableciendo el corralito, con el objetivo de mantener las reservas y evitar, la ya inevitable devaluacin.

67

Desde comienzos del 2002 en adelante se realizaron una serie de medidas4 tendientes a controlar la situacin de crisis desatada. Las reservas se haban drenado en 2001 de forma incesante. En 2002 se priorizo entonces la estabilizacin sobre las expectativas en el tipo de cambio, vindose el mnimo de las reservas en julio de ese ao (6.800 millones de dlares). En materia social y laboral el escenario fue crtico, las polticas de privatizacin, desregulacin y flexibilizacin laboral llevaron al deterioro permanente y sostenido de los indicadores sociales, con aumentos desmedidos de desocupacin, precariedad laboral, cada de los salarios reales y altos niveles de pobreza e indigencia, los datos son claros, el 57.4% y el 27.5% de la poblacin respectivamente5. Hacia finales del 2002, despus del colapso de 2001, el INDEC6, indicaba que 20,8 millones de personas vivan en situacin de pobreza, mientras que 9,96 millones se encontraban en estado de indigencia. En este contexto de crisis es que surge el Plan/Programa Jefas y Jefes de Hogar (PJJH) a partir del Estado Nacional, con el objetivo de lograr inclusin social. Este Plan nace como un Programa de Transferencia de Renta, con la idea de una contraprestacin por parte del beneficiario, metodologa utilizada ya en el Plan Trabajar7 y avalada por el Banco Mundial, en pos de una reinclusin social y la idea del derecho familiar al acceso de los servicios asistenciales prestados por el Estado. Aspectos Normativos del PJJH El PJJH fue creado por el DEC. N 565/2002 y reglamentado por la Resolucin 312/ 2002 del Ministerio de Trabajo, el mismo fue adems denominado Derecho Familiar de Inclusin Social: Plan Jefes y Jefas Desocupados que sera aplicado en principio hasta el 31 de Diciembre de 2002 en todo el territorio nacional8. En las consideraciones del Decreto se planteaba que la Mesa del Dilogo Argentino que reuna en la nacin a diferentes sectores sociales, empresariales y de la iglesia- recomendaba promover una redistribucin de recursos entre quienes disponen de mejores ingresos, hacia los sectores sociales que menos tienen, para contribuir a una mayor equidad y promover un desarrollo econmico sustentable, enmarcando eso en el artculo 75, inc. 22 de la Constitucin Nacional el cual establece el rango constitucional de los tratados y pactos internacionales, y expresamente en las disposiciones del Pacto Internacional de Derechos Econmicos, Sociales y Culturales (PIDESC). El objetivo del programa se defina en el siguiente artculo:

Art. 3 El PROGRAMA tendr como objeto brindar una ayuda econmica a los titulares indicados en el artculo 2, con el fin de garantizar el Derecho Familiar de Inclusin Social, asegurando: a) la concurrencia escolar de los hijos, as como el control de salud de los mismos, que se encuentren en las condiciones previstas en el artculo 2; b) la incorporacin de los beneficiarios a la educacin formal; c) su participacin en cursos de

68

capacitacin que coadyuven a su futura reinsercin laboral; d) su incorporacin en proyectos productivos o en servicios comunitarios de impacto ponderable en materia ocupacional. Por va reglamentaria, se podr prever el cumplimiento de otras acciones, que sean conducentes o que tiendan a mejorar las posibilidades de empleo de los beneficiarios para el desarrollo de actividades productivas y/o de servicios.

La idea planteada es entonces la inclusin social como un derecho. Esta inclusin est dada a partir de recibir una ayuda econmica. La posibilidad de acceder a ese derecho se da siempre que los hijos o menores comprueben escolaridad y los controles sanitarios segn los cronogramas de calendario de salud. Estos requisitos se transforman en objetivos particulares del Plan, ya que busca asegurar la permanencia escolar de los nios y los controles de salud de los mismos, as como del grupo familiar para mejorar de alguna forma las condiciones de vida, y el futuro de esos menores. El Programa prevea una prestacin de 150 pesos por cada titular inscrito que cumpliera con los requisitos. Este beneficio monetario tiene carcter no remunerativo aunque a cambio prev una serie de contraprestaciones que deben realizar los beneficiarios. Cabe sealar que era igualmente compatible el monto del beneficio otorgado con la percepcin de otros beneficios de menor monto, lase por ejemplo becas estudiantiles. Las contraprestaciones que se planteaban tenan que ver con la participacin en actividades de capacitacin o comunitarias, donde la dedicacin de estas personas no poda ser menor a cuatro horas diarias ni ms de seis. En ese sentido, los proyectos de actividades comunitarias as como de capacitacin despus de ser aprobados por el Consejo Consultivo Municipal, comunal o barrial constituido al efecto- eran de carcter obligatorio, representando el incumplimiento la extincin del derecho a percibir el beneficio monetario9.Quines eran los beneficiarios del Plan de Jefas y Jefes de Hogar Desocupados? La poblacin objetivo del PJJH eran aquellos padres y madres de familia que comprobaran estar desocupados y tener menores a cargo, incluyendo a aqullos jefes que tuvieran un cnyuge o concubina o cohabitante que estn en estado de embarazo. Asimismo como vimos deban asegurar la concurrencia a la escuela de los menores y los controles sanitarios. Se incluyeron despus de un primer momento a mayores de 60 aos con condicin de desocupacin y sin beneficios provisionales para dar mayor amplitud al programa y atender a ms personas. Quedaban excluidos del beneficio aquellos desocupados que estuvieran participando de otros programas de empleo (nacional, provincial o municipal), y los que recibieran pensiones no contributivas o prestaciones provisionales.

69

Los requisitos que se exigan para acceder al beneficio, a saber:

la condicin de jefe/a de hogar en situacin de desempleo, mediante simple declaracin jurada; b) la partida de nacimiento de los hijos a cargo o un certificado del estado de gravidez; c) un certificado del establecimiento educativo al que asistan los hijos menores de 18 aos que acredite su condicin de alumnos regulares; d) libreta sanitaria o un certificado en el que conste el cumplimiento de los planes nacionales de vacunacin del o de los hijos menores a cargo; e) en el caso de hijos discapacitados, el certificado nico de discapacidad del o de los hijos a cargo; f) la residencia permanente en el pas, en el caso de ciudadanos extranjeros, mediante el DNI; g) para el caso de los jvenes, su condicin de desempleados mediante simple declaracin jurada; h)para los mayores de 60 aos, su condicin de desempleado mediante simple declaracin jurada y no haber accedido a ningn beneficio previsional; i) constancia de la Clave nica de Identificacin Laboral (CUIL). (CELS; 2003: 5).

Segn datos oficiales del mes de Abril de 2003, los beneficiarios alcanzaban 1.987.875 de personas. En el siguiente cuadro se ve el porcentaje de incidencia del Plan en hogares bajo la lnea de pobreza y bajo la lnea de indigencia. Cuadro 1: Incidencia de Pobreza e Indigencia en Hogares Segn Participacin en el Plan Jefes y Jefas, y en el Total de Hogares (en %). Total Urbano, octubre 2002.
Condicin de Pobreza Pobres Indigentes Beneficiarios Plan 93.3 57.3 No Beneficiarios 39.4 14.5 Total Hogares 45.9 19.7

Fuente: Transiciones ocupacionales: el caso del Plan Jefes y Jefas. Revista Debates. Autores: Rosala Corts, Fernando Groisman, Augusto Hoszowki. (2003:pg. 5)

ste cuadro presenta los datos que fueron obtenidos a travs de la Encuesta Permanente de Hogares realizada por el INDEC (Instituto Nacional de Estadsticas y Censos) en el ao 2002. Segn esa encuesta, los beneficiarios del Plan se encontraban en el sector de ms bajos ingresos per cpita de la poblacin y familiares totales, siendo hogares numerosos, con alta presencia de menores de 14 aos, altas tasas de desocupacin y bajas tasas de actividad, eso deja a las claras que fue buena la focalizacin del programa, alcanzando el 93% de los hogares pobres y el 57,3% de hogares bajo la lnea de indigencia. Sin embargo, el cuadro muestra que falt cubrir un porcentaje de la poblacin que qued fuera del Plan, 39,4% de pobres y 14,5 % de indigentes, las

70

conclusiones sobre el por qu de eso, pueden encontrarse en la seleccin de beneficiarios que se realiz, muchos de los cules tenan niveles educativos ms bajos y niveles de inactividad ms prolongados10. Cmo se financiaba el PJJH? ste subsidio que planteaba el Plan estaba presupuestado inicialmente en 700 millones de pesos, lo que luego de una serie de modificaciones presupuestarias termin representando en 2002, $2.400 millones de pesos, que salieron del Tesoro Nacional que reasign partidas, unific los planes sociales que existan previamente y recaud con el impuesto al comercio exterior (retenciones). Hacia 2003 cuando se prorrog el Plan, el monto para atender esta poltica ascendi a 3000 millones de pesos, y se obtuvo un prstamo del Banco Mundial de 600 millones de dlares. ste Plan signific un gran esfuerzo fiscal para Argentina, por los problemas econmicos graves de la poca. No obstante, el gobierno prioriz avanzar con una poltica social, con caractersticas universalistas, representando un importante aporte por el complejo momento que atravesaba el escenario socioeconmico existente.Actores intervinientes El Plan de Jefas y Jefes de Hogar Desocupados requiri de una organizacin estructural compleja, donde se encontraban varios niveles operativos a travs de una gestin de poltica centralizada, encabezada por el Ministerio de Trabajo, Empleo y Seguridad Social.

Organismo Ministerio de Trabajo, Empleo y Seguridad Social de la Nacin Secretaria de Empleo (MTEySS)

Funcin Es la Autoridad de Aplicacin. A travs de la Secretara de Empleo ejerca la supervisin y el monitoreo general. Tuvo a su cargo la conformacin de una Nmina nica de Beneficiarios y es el organismo facultado para realizar el control, a travs de sus Agencias Territoriales, la correcta conformacin y contenido de los legajos de los beneficiarios. Desarroll la auditoria del Programa a travs de su Unidad de Auditoria Interna (UAI). Promova las actividades de formacin profesional y capacitacin del Programa, a travs de la Subsecretara de Orientacin y Formacin Profesional. Elaboraba reglamentaciones y era la encargada de la conformacin del Registro de Empleadores (RENAE).

Administracin Titular del Registro Nacional de Beneficiarios de Planes Sociales y la Nacional de la Seguridad Social instrumentacin del pago de los beneficios.

71

Organismo Ministerio de Desarrollo Social

Funcin Responsable del seguimiento efectivo del cumplimiento del requisito normativo de asistencia regular a establecimientos. Monitoreaba y articulaba entre los distintos organismos nacionales, provinciales, municipales o comunales el control de salud de los menores miembros del hogar beneficiados con el programa, a fin de efectuar el seguimiento de la evolucin de los beneficios.

Consejo Nacional de Ejecucin y Control Provincias y Ciudad Autnoma de Buenos Aires Consejo Consultivo Provincial

Fue creado por DEC N 565/2002, con responsabilidad de monitorear el Plan y articular con otros organismos la evaluacin externa del mismo (a travs de nacional y provincial).

Administracin, las Universidades Nacionales y de diversos Organismos de Control de nivel

Deban crear los Consejos Consultivos Provinciales y verificar las incompatibilidades de los beneficiarios del Programa con otros Programas Sociales Provinciales o de las Jurisdicciones correspondientes.

Como responsables de confeccionar la Nmina nica de Beneficiarios, lista de proyectos aprobados, en base a los datos provistos por los Concejos Consultivos Municipales. Actuaba como instancia de revisin de las controversias que se presenten a nivel Municipal y actuar como instancia de monitoreo del Programa en su respectiva jurisdiccin, emitiendo un informe mensual destinado a la Secretara de Empleo del Ministerio de Trabajo y Seguridad Social. Deban proveer a los espacios fsicos y el personal necesario para la inscripcin

Municipios

de los beneficiarios. Remitan al Ministerio de Trabajo el original de todos los Formularios nicos de Inscripcin de todos los postulantes inscriptos en su jurisdiccin. Podan decidir, previa consulta con el Consejo Consultivo Municipal, que proyectos sern elegidos para que los beneficiarios realicen la contraprestacin de trabajo o capacitacin y enviar a la Gerencia de Empleo y Capacitacin del Ministerio de Trabajo una nmina de los proyectos y sus organismos ejecutores. Con funciones de verificacin sobre los beneficiarios para que cumplan con

Consejo Consultivo Municipal

las condiciones requeridas para participar del Programa Jefes de Hogar, prestando su conformidad a la Nmina nica de Beneficiarios, que confeccion el Municipio; evaluar la elegibilidad de los proyectos, de acuerdo a los criterios establecidos por el Consejo Consultivo Provincial emitiendo un dictamen a tal efecto; evaluar la constitucin institucional y estatutaria de los Organismos Ejecutores para que los beneficiarios trabajen o se capaciten; y efectuar el monitoreo de la ejecucin de los Proyectos correspondientes a su jurisdiccin.

Evaluacin del Plan Jefas y Jefes de Hogar Desocupados Para evaluar el PJJH hace falta de alguna manera precisar lo que es la poblacin objetivo de la poblacin beneficiaria. Hemos caracterizado ms arriba la poblacin

72

objetivo de este Plan, aunque queda por resaltar que segn la base del SIEMPRO11 de 2001, dentro de esos parmetros que definen a la poblacin objetivo se encontraban 645.438 hogares. Sin embargo, las previsiones fueron superadas ampliamente ya que se recibieron ms de 3, 5 millones de solicitudes, lo que concluy en el cierre de la inscripcin para el Plan en mayo de 2002, con un total de casi 2 millones de inscriptos, que como sealamos implic una mayor cantidad de recursos presupuestarios destinados a ese fin. Una primera disyuntiva de evaluacin es sobre la poblacin-objetivo y la poblacin beneficiaria, definida esta ltima como la poblacin objetivo que efectivamente recibe la ayuda subsidiaria. El problema para evaluar la efectividad y el alcance del Plan estuvo dado en el sentido de que se toma como base la poblacin que efectivamente recibi el beneficio y eso produce un sesgo en los indicadores de evaluacin. Existen opiniones al respecto de como considerar el objetivo del Plan, ya que fue ms amplio de lo que efectivamente se busc dar con las reglamentaciones y resoluciones realizadas posteriormente. Respecto a la implementacin podemos ver segn el cuadro de Evolucin de los Beneficiarios del PJJH realizado por el Ministerio de Trabajo, Empleo y Seguridad Social (MTEySS), que el ingreso de personas inscriptas al Plan fue rpido y efectivo, an cuando la capacidad estatal de la poca como sealan varios analistas- era mnima y experimentaba problemas en temas de menor envergadura. Evolucin de los beneficiarios del PJJH

El Programa/Plan fue evaluado por el Ministerio de Trabajo en 2004. La Segunda Encuesta de Evaluacin del Programa Jefas de Hogar (PJH), fue realizada por la Direccin General de Estudios y Estadsticas Laborales, del Ministerio de Trabajo, Empleo y Seguridad Social. El trabajo de campo se llevo a cabo en Junio de 2004. El objetivo de la evaluacin era: obtener informacin sobre los beneficiarios para lograr optimizar las estrategias que implementa el Estado, en dos sentidos facilitar la insercin laboral de los beneficiarios para mejorar su situacin social. Se aplic un cuestionario presencial a una muestra de 3.657 casos . El diseo muestral consisti en una encuesta de probabilstica, dividida en dos etapas de seleccin:

En la primera etapa se seleccionaron las bocas de pago del PJJH. En la segunda etapa se realiz una seleccin sistemtica de los beneficiarios del PJJH.
Las bocas de pago se concentraron segn dominio geogrfico y cantidad de beneficiarios registrados y luego se seleccionaron con probabilidad proporcional a la cantidad de beneficiarios registrados.

73

Los datos alcanzados all revelan algunas cuestiones importantes. Por un lado la baja de los beneficiarios que estn recibiendo el subsidio, que pasa entre mayo de 2003 y Junio de 2004, de 2 millones a 1, 6 millones de personas. Esto se debe particularmente a la mejora en la situacin econmica, por una parte y por otra a las bajas vegetativas y de control administrativo, segn esta encuesta. De otro lado, con respecto a la caracterizacin de la poblacin beneficiaria se observa que existe una alta participacin femenina (71%), y que la mitad de la poblacin beneficiaria no alcanza a la edad de 35 aos (14% menores de 25 aos y 33% entre 25 y 34 aos). Sobre el nivel educativo alcanzado por los beneficiarios se advierte que el 20% tiene nivel primario incompleto mientras que el 37% complet dicho nivel. En estudios secundarios incompletos hay un 25% y slo el 11% lo finaliz. Por ltimo un pequeo grupo de beneficiarios, a penas el 7% avanz en estudios terciarios o universitarios. Uno de los requisitos es tener hijos o menores a cargo, en ese sentido se advierten en la encuesta que casi la totalidad tiene para Junio de 2004 hijos menores de 18 aos, de ese total, el 60% tiene uno o dos hijos menores y un 16% tiene tres. Casi un cuarto (20%) de los beneficiarios tiene familias muy numerosas, con cuatro o ms hijos menores. Asimismo, como dato prominente, la encuesta muestra lo que muchos analistas sealan como la feminizacin de la pobreza, que existe una alta proporcin de beneficiarias mujeres que se encuentran solas a cargo de su hogar. Se reflej eso en el 60% de las beneficiarias. Estos dos elementos permiten concluir que al respecto de la poblacin beneficiaria, el grupo socio-demogrfico tena una alta vulnerabilidad, con bajo nivel educativo, en situacin de desocupacin y alta participacin femenina. Con respecto a las contraprestaciones que se exigan a cambio del beneficio, segn esta evaluacin, con relacin al componente educativo se puede ver que la presencia de mujeres es levemente superior a la de los hombres (5,8% y 4% respectivamente). Con el componente de capacitacin nos encontramos en la misma situacin 3,6% mujeres y 1,5% hombres. Podemos decir entonces que la participacin femenina representa prcticamente el doble de la masculina. La realizacin de estudios de capacitacin es importante en el nivel de expectativas de los beneficiarios ya que consideran que hay mayores posibilidades de acceder a un empleo si cuentan credenciales educativas (78,1% para los hombres; 79.8% para las mujeres). Los perfiles ocupacionales son otro elemento que sobresale en el estudio. Del total de beneficiario, la mayora contaba con alguna experiencia laboral, entre las mujeres era menor que entre los hombres (83% a 98%). La calificacin en esa experiencia laboral, un cuarto de los beneficiarios (27%) tena calificacin operativa, mientras que slo el 5% contaba con calificacin tcnica, mientras que un alto porcentaje (68%) no contaba con calificacin laboral. Nuevamente los hombres superan a las mujeres en estos guarismos, ya que al menos 50% de ellos contaba con alguna calificacin, mientras que eso slo se da en el 25% de las mujeres beneficiarias. En relacin con el cumplimiento de la meta del Plan, como seala Cristian Modolo (2004:11)

74

dado el nmero de beneficiarios efectivos el ndice de satisfaccin de la demanda potencial fue de 80,95% para mayo de 2002 y de 245,9% para Julio de 2004. Es decir que se superaron las metas previstas por la ayuda social. Traducido en personas estamos hablando de 1.053.213 beneficiarios en Mayo de 2004 que superan los lmites de la poblacin considerada vulnerable a los efectos del PJJH con el actual encuadre normativo.

En esta misma lnea argumentativa, otro punto a favor del Plan es que no supuso la creacin de nuevas estructuras, esto si lo pensamos en trminos presupuestarios, ya que al utilizarse las estructuras existentes se fortaleci la posicin del Estado. Vale aclarar de cualquier modo que hubo algunos problemas administrativos por la premura de llevar a cabo el Plan y eso sesgo de alguna manera la seleccin de los beneficiarios porque los formularios no fueron llenados, en todos los casos, de la manera correcta. De la misma forma, otro punto dbil fue la implementacin en todo el territorio nacional, ya que el mismo es muy heterogneo y ello hizo que el monto del subsidio en una parte del pas significara mucho, mientras que en otras muy poco por los costos de las canastas bsicas, generando un resultado inequitativo. Adems la implementacin en los territorios sub-nacionales fue dispar y los resultados no fueron parejos, notndose una tendencia a multiplicar las redes de clientes para acreditar las contraprestaciones que tena como requisito el Plan. Otro elemento que puede verse como debilidad fue la escasa respuesta por parte del sector privado, por un lado pocas empresas requirieron hacer Convenios con el Ministerio de Trabajo, Empleo y Seguridad Social para emplear beneficiarios, y por otro la poblacin que reciba el subsidio no quera perder la condicin de beneficiario y no se arriesgaba para la obtencin de un trabajo. Estos problemas son contrapesados en otras opiniones que plantean que por la envergadura del PJJH la descentralizacin funcional que se dio, logr mayor interaccin entre los gobiernos locales ya que como adicional traspas una mayor responsabilidad en el control y monitoreo de los planes, fortaleciendo la relacin municipio-comunidad. Podemos decir que ambos argumentos tienen cosas ciertas, aunque es notable el hecho de que un Estado casi desmantelado en la poca de los 90 pudiera implementar un Plan tan ambicioso (MODOLO, C.: 2004; 13). Reflexiones finales Brevemente y despojados de prejuicios y debates sobre si fue mejor o peor la implementacin analizamos el Plan Jefas y Jefes de Hogar Desocupados como una poltica trascendente de la Repblica Argentina tanto por su envergadura como por el contexto social en el que se dio. ste Plan sali de lo tradicional en materia de poltica social por su xito cuantitativo de alcance, ms all de las crticas a respecto de su implementacin.

75

Por otro lado vemos que esta poltica plante la inclusin social no slo dando un subsidio sino adems requiriendo una contraprestacin y el cumplimiento de dos requisitos centrales, asistencia de los nios a la escuela y controles sanitarios. Ha sido enormemente debatido el tema de la contraprestacin, sobre si era un deber o un derecho el tener empleo, an cuando estas tareas no slo implicaban trabajo sino adems capacitacin y por otro lado el tema de que las polticas sociales no deben tener carcter condicionado. Vale destacar que ste Plan signific un cambio de ptica sobre la transferencia de renta en los programas sociales. La posibilidad de que una persona reciba una renta y a cambio pueda hacer algo por s misma o colaborando con los dems genera efectos positivos a nuestro entender, ya que crea conciencia sobre las capacidades de la persona y posibilidades de las redes sociales como elementos de cohesin. ste Plan fue un puntapi inicial para transformar la poltica social en una poltica pblica con entidad propia dentro del presupuesto nacional, dejando de ser los planes sociales residuales, como lo fue en la dcada del 90. Quedaron sin embargo enormes desafos. Por un lado la incorporacin de amplios sectores a la economa formal, eso se ha dado paulatinamente desde el 2003 a la actualidad, hoy el Observatorio de Empleo y Dinmica Empresarial (OEDE), indica que se crearon 2,1 millones de puestos de trabajo formales en el sector privado, lo que representa un incremento del 66% de la cantidad total de empleos registrados12. Es importante destacar que la expansin del empleo asalariado registrado fue con la creacin de nuevas empresas formales 13 . sta recuperacin econmica de 2003 a la actualidad, estuvo acompaada por nuevos planes para atender las necesidades sociales, como polticas de estado, es as que se cre el Plan Familias, el Plan Nacional de Seguridad Alimentaria, el Plan Nacional Manos a la Obra, los Centros de Integracin Comunitaria entre otras mltiples acciones. La evaluacin del PJJH si bien reflej el xito en lo cuantitativo result problemtica a respecto de la implementacin, por los factores que ya vimos, precipitacin en la aplicacin del Plan, falta de controles administrativos aceitados a nivel central y local, y las heterogeneidades del territorio nacional. Existen desafos en torno a la evaluacin de los Planes y Programas sociales, ya que si bien se encuentran contabilizados los beneficiarios, muchas veces falla el estudio sobre los efectos positivos de estas polticas, particularmente por los conflictos que existen en las diferentes jurisdicciones14 donde se brindan estos planes. Anexo I Detalle del marco normativo del Plan Jefas y Jefes de Hogar Desocupados. Puede ser consultado a travs de la pgina: www.infoleg.gov.ar

Ley N 25.561: Se decreta la Emergencia Pblica en materia social, econmica, administrativa, financiera y cambiaria. All se establece la reforma del rgimen cambiario. Decreto N 165/02: El decreto declara la Emergencia Ocupacional Nacional hasta
el da 31 de diciembre de 2002 y crea, a los efectos de atenuar esa situacin, el Programa Jefes y Jefas de Hogar Desocupados.

76

 Anexo al Decreto 165/2002, establece un modelo de Convenio Marco entre el

Ministerio de Desarrollo Social y Medio Ambiente de la Nacin, el Ministerio de Trabajo, Empleo y Formacin de Recursos Humanos de la Nacin y cada uno de los Estados Provinciales. Los Convenios determinaron la suma fijada a cada Provincia y las acciones conjuntas a implementarse a fin de hacer efectivo el Plan.

Decreto N 450/2002: Este decreto cre un Programa Mensual de Caja, por el

cual se prioriza al Programa Jefes y Jefas de Hogar entre los gastos del Estado.

Resolucin conjunta del Ministerio de Trabajo, Empleo y Seguridad Social N

284/2002 y Ministerio de Desarrollo Social N 91/2002: Reglamenta el Programa Jefes y Jefas de Hogar.

Decreto N 565/02: Establece que todos los Jefes/as de Hogar desocupados

gozarn del Derecho Familiar de Inclusin Social. Asimismo, ratifica la creacin del Programa

Jefes y Jefas de Hogar, con las caractersticas bsicas determinadas por el Decreto
165/2002; seala, sin embargo, que el Programa podr hacerse extensivo a desocupados jvenes y a mayores de 60 aos que no hubieran accedido a una prestacin prevista.

Resolucin 312/2002 Ministerio de Trabajo, Empleo y Seguridad Social:

Complementa a la resolucin conjunta MTESS 284/2002 y MDS 91/2002, ampliando la reglamentacin del Programa Jefes y Jefas de Hogar. Bibliografa
D AMILL , Mario, F RENKEL , R. y Juvenal, L. (2004):Las cuentas pblicas y la crisis de la convertibilidad en Argentina. CEDES. Buenos Aires. DAMILL, Mario; FRENKEL, Roberto (2005): Globalizacin Financiera y Mercado de Trabajo en Argentina. Versin preliminar. CEDES. Buenos Aires. SIEMPRO (2003):Informe del Plan Jefas y Jefes de Hogar Desocupados, febrero. (www.siempro.gov.ar). MTESS (2003): Informe del Programa Jefas y Jefes de Hogar Desocupados. (www.trabajo.gov.ar/programas/sociales/jefes/infoyestad.htm). CELS (2004): Plan Jefes y Jefas. Derecho social o beneficio sin derecho?, Bs. As.,CELS. ARCIDICONO, P (2004). Trueque y Plan jefas y jefes de hogar desocupados: dos estrategias de contencin social ante la crisis del 2002, Revista Laboratorio, N 14. (http://www.catedras.fsoc.uba.ar/salvia/lavbo.htm). MTESS (2005) Segunda evaluacin del Programa Jefes de Hogar. Resultados de la encuesta a beneficiarios. Buenos Aires: Subsecretara de Programacin Tcnica y Estudios Laborales. CORTS , Rosala; GROISMAN, Fernando y HOSZOWKI, Augusto (2004): Transiciones ocupacionales: el caso del Plan Jefes y Jefas. Revista Debates. MODOLO, Cristian (2004): Los peligros institucionales del Plan Jefes y Jefas de Hogar. Novenas Jornadas Investigaciones en la Facultad de Ciencias Econmicas y Estadstica, noviembre. GARCA PUENTE, Ma. Jimena (2006): La Evaluacin de las Polticas Pblicas un Anlisis de sus usos a Partir de un Caso. e n lnea: http://www.asociacionag.org.ar/pdfcap/4/Garc%C3%ADa%20 Puente,%20Ma.%20Jimena.doc. INFORME DE LA DIRECCIN NACIONAL DE COORDINACIN DE POLTICAS MACROECONMICAS (2003): Efectos de los Planes Jefes y Jefas sobre el Empleo. Notas de Coyuntura Buenos Aires

77

Notas
1 2

Ley de Convertibilidad N 25.445.

En Diciembre del 2001 la deuda era de 144.279 millones de dlares, pasando en 2002 a 129.794 millones de dlares con una mora por capital e intereses atrasados de 7.367 millones de dlares, lo que significa un 6% del total, (G AMBINA , Julio C. 2003).
3 Se realizaron dos intentos para no caer en el default, por un lado se enviaron dos leyes al Congreso, Ley de Responsabilidad Fiscal y la Ley de Dficit Cero, asimismo se recurri al crdito externo en dos operaciones de reestructuracin de la deuda, el blindaje a fines del 2000 y luego el mega-canje a mediados de 2001, ambos significaron un aumento nominal de la deuda, incrementando el peso de los intereses.

Se realiz la pesificacin de contratos en dlares y restricciones a la apertura de cuentas bancarias en esa denominacin. Tambin se introdujeron limitaciones a la aplicacin de fondos en dlares desde el sistema financiero aplicndose simultneamente condiciones de liquidez superiores a los depsitos en dlares que en pesos. Con ello se logr bajar la cantidad de depsitos en dlares y se incremento el riesgo cambiario para los negocios fijados en esa moneda. Cristian Modolo (2004) seala, que en la regin pampeana para octubre de 2002 la cifra de personas bajo la lnea pobreza alcanzaba 13.614.000, es decir el 57% del total de la poblacin de la regin. En el Noroeste Argentino para ese mismo ao la cifra ascenda a 2.915.000 equivalentes al 70% de la poblacin. En el Noreste Argentino, el nmero era 2.432.000 de personas que representaban el 72% de la poblacin del territorio. En la zona de Cuyo, 1.785.000 personas en 2002 se encontraban bajo la lnea de pobreza, siendo el 62% de la poblacin de la regin. Por ltimo la Patagonia, donde la cifra ascenda a 973.000 personas representando el 45% de la poblacin. Instituto Nacional de Estadsticas y Censos, datos de la Encuesta Permanente de Hogares (EPH) en octubre de ese ao. Aplicado en 1996, con vigencia hasta el ao 2002. Se trat de un programa encaminado a los desocupados pobres para mitigar el impacto del desocupacin mediante una transferencia de ingreso sujeta a una contraprestacin que consista en participar en proyectos de infraestructura. Tuvo un alcance nacional y la coordinacin estaba centralizada en la Secretara de Empleo y Capacitacin Laboral (SEyCL) del Ministerio de Trabajo y Seguridad Social (MTSS) y la implementacin descentralizada en las Gerencias de Empleo y Capacitacin Laboral. (Garca Fuenta, J; 2007:5) El Plan fue prorrogado por el DEC. N 39/03 hasta el 31 de diciembre de 2003, donde adems se prorrogaba la Emergencia Ocupacional Nacional (art. 1). Las condiciones del funcionamiento del programa no variaron del sistema original.
9 En el 2003 se crea un componente nuevo del Programa por medio de la Resolucin 37/03 del Ministerio de Trabajo. ste componente estaba destinado a reincorporar laboralmente a los trabajadores en el sector privados, creando un Registro de Empleadores (RENAE) donde se inscriban empresas que requeran los servicios de estas personas. 10 8 7 6 5

Para un anlisis ms detallado ver el trabajo de CORTS, Rosala; Groisman, Fernando y HOSZOWKI, Augusto (2004): Transiciones ocupacionales: el caso del Plan Jefes y Jefas. Revista Debates.
11 12

Sistema de informacin y Monitoreo de Programas Sociales (SIEMPRO)

Segn datos del MTEySS, sobre el total de estos nuevos puestos, el 19% fueron creados por el Sector Industrial que, a diferencia de lo ocurrido durante la dcada de los noventa, mostr un elevado dinamismo en el crecimiento del empleo. En el comercio y los servicios aportaron el 67% de esos nuevos puestos y el sector de construccin el 14% restante. Desde el ao 2003, se crearon 108 mil nuevas empresas, lo que representa un incremento del 31% en el panorama empresarial. En el ltimo perodo disponible, cuarto trimestre de 2007, el nmero de empresas en actividad aument en 11 mil, lo que equivale a un crecimiento del 2,1% en el total de empresas.

13

14

Pensamos en cuestiones polticas, redes de clientes y diferencias geoeconmicas de los territorios subnacionales de Argentina, donde el mismo Plan puede tener resultados positivos en un lugar y no en otro.

Gabriela N. Cheli Nacionalidad argentina. Participante del curso Evaluacin de Programas Sociales, realizado por la EIAPP/ENAP en 2009. Licenciada en Ciencia Poltica de la Universidad de Buenos Aires (UBA. Becaria del CONICET. Estudios de Magster en Relaciones Internacionales de la Universidad de Bologna en la Sede Buenos Aires. Estudiante del Doctorado en Ciencia Poltica de la Universidad de San Martn, a travs de la Escuela de Poltica y Gobierno. Asesora de Gabinete de la Secretara de Gestin Pblica de la Nacin, dependiente de la Jefatura de Gabinete de Ministros de la Repblica Argentina.

78

La experiencia de evaluacin de programas sociales en la Ciudad de Mxico Pablo Yanes

El Gobierno del Distrito Federal de Mxico se ha caracterizado en los ltimos doce aos por el diseo, instrumentacin y desarrollo de una poltica social propia y distinta de la que rige a nivel federal. Una de las principales caractersticas de la poltica social de la ciudad es un proceso continuo de institucionalizacin a travs de la conversin de las acciones pblicas en derechos exigibles y en la creacin de un marco institucional para la poltica social que incluye espacios de coordinacin gubernamental, mbitos de consulta, participacin y decisin ciudadana y ms recientemente organismos especializados en la evaluacin de los programas y la poltica social. Un enfoque institucional innovador En septiembre del 2007 el Jefe de Gobierno de la Ciudad, Lic. Marcelo Ebrard Casaubon, public un decreto mediante el cual cre el Consejo de Evaluacin del Desarrollo Social del Distrito Federal y en noviembre del ao siguiente, por unanimidad, los diputados integrantes de la Asamblea Legislativa de la ciudad decidieron, a travs de una reforma a la Ley de Desarrollo Social para el Distrito Federal, incluir en dicha ley el contenido del decreto de creacin del Consejo, con eso la institucin adquiri un mandato de ley explcito. Conviene subrayar que el Consejo de Evaluacin, en adelante Evala DF, constituye un nuevo tipo de rgano gubernamental diseado con el objetivo de poseer un alto grado de autonoma y de nivel profesional, as como facultades expresas para incidir de manera efectiva en la modificacin de polticas y programas en funcin de la evaluacin de los mismos. Las principales innovaciones institucionales de Evala DF se refieren a ser un organismo pblico descentralizado cuyas funciones sustantivas descansan en un Comit de Evaluacin y Recomendaciones de carcter ciudadano, compuesto por seis consejeros acadmicos electos mediante convocatoria pblica y por un solo funcionario pblico, el Secretario de Desarrollo Social, el cual no tiene veto ni voto de calidad, sino slo un voto ms. De las personas consejeras ciudadanas, cuatro de ellas al menos deben pertenecer al Sistema Nacional de Investigadores, y son designadas por un perodo de cuatro aos con opcin a una reeleccin por cuatro aos ms, segn la ley, gozan de inamovilidad. Los consejeros actuales son acadmicos de larga trayectoria en el anlisis de la cuestin social y profesores-investigadores en las siguientes instituciones: Universidad Autnoma

79

Metropolitana, Instituto de Investigaciones Econmicas de la Universidad Nacional Autnoma de Mxico y del Colegio de Mxico. Conforme la Ley de Desarrollo Social para el Distrito Federal para elegir a los consejeros se emiti una Convocatoria Pblica y fueron escogidos por la Comisin Interinstitucional de Desarrollo Social de la Ciudad de la que forman parte los titulares de todos los organismos vinculados a la poltica social, incluyendo al propio Jefe de Gobierno, y los titulares de los 16 gobiernos territoriales (delegacionales) en los que se encuentra dividida en trminos administrativos el Distrito Federal. Adems el Consejo de Evaluacin del Desarrollo Social del Distrito Federal debe rendir un informe de los resultados de su trabajo a la Asamblea Legislativa de la Ciudad y dar a conocer pblicamente las evaluaciones y recomendaciones cuando stas tengan carcter definitivo. Para garantizar la autonoma de estos consejeros se estableci en la ley su inamovilidad y la garanta de plena independencia y libertad en sus funciones. As lo establece textualmente el artculo 42 de la citada Ley:

La designacin de las y los consejeros ser irrevocable por lo que contarn con inamovilidad para el perodo en que fueron designados. En su desempeo gozarn de total autonoma, independencia y libertad de criterio; por lo que no podrn ser reconvenidos en virtud de sus opiniones al respecto del ejercicio de sus responsabilidades. El Gobierno del Distrito Federal proporcionar las facilidades humanas, materiales y tecnolgicas necesarias para que las y los Consejeros ejerzan sus atribuciones y reciban la retribucin econmica que fije la Junta de Gobierno del Consejo de Evaluacin.1

Otra de las innovaciones de Evala DF es que, conforme la ley, slo se considerarn evaluaciones externas las que llev a cabo o realice a travs de terceros el propio Consejo de Evaluacin. Esto significa que ningn rgano evaluado puede contratar por s mismo ni mucho menos pagar directamente una evaluacin externa, sino que deber hacerse a travs de Evala DF con el propsito de garantizar la mxima independencia del evaluador externo respecto al programa u rgano evaluado. Pero probablemente la caracterstica ms novedosa de Evala DF se refiere a la naturaleza vinculante de las recomendaciones. Hasta ahora la experiencia de evaluacin de programas en Mxico, y en muchos lugares de Amrica Latina adolecen en la gran mayora de los casos de peso y trascendencia, quedando en muchos casos limitadas a insumos o sugerencias para los procesos de toma de decisiones, por lo que el vnculo entre evaluacin-recomendacin-transformacin es sumamente dbil. No es inusual en la experiencia mexicana que las recomendaciones, cuando no son vinculantes, conduzcan a su olvido o slo a la elaboracin de nuevos estudios y

80

evaluaciones, pero no a modificar realmente los programas. Hasta ahora, en la experiencia nacional y probablemente de otros pases, el alcance e impacto de las recomendaciones deja mucho a desear. Por el contrario en el diseo institucional de Evala DF el centro son las recomendaciones, por lo que las evaluaciones sirven como materia de las mismas, y no como un fin en s mismas. Dado el carcter vinculante de las recomendaciones ha tenido que empezarse a construir un procedimiento ad hoc sin contar con precedentes o referencias anlogas en el caso del pas y de la ciudad. Ha sido, en el mejor sentido de la palabra, un proceso de construccin e innovacin institucional. Dice el artculo 42 D de la Ley para el Desarrollo Social del Distrito Federal:

Las recomendaciones derivadas de las evaluaciones externas sern hechas del conocimiento de los rganos Desconcentrados, Dependencias, Delegaciones y Entidades ejecutoras de los programas sociales, quienes de no aceptarlas podrn controvertirlas ante la Comisin en un plazo mximo de 15 das hbiles despus de que sean hechas de su conocimiento. La Comisin resolver en forma definitiva sobre la procedencia de stas. Una vez agotado el procedimiento ante la Comisin, el cumplimiento de las recomendaciones ser obligatorio, establecindose entre el Consejo de Evaluacin y el evaluado un programa y calendario para su cumplimiento. La omisin en el cumplimiento de esta obligacin ser hecha del conocimiento de la Contralora General del Distrito Federal y sancionada en trminos de la Ley Federal de Responsabilidades de los Servidores Pblicos.2

Conceptualizar la evaluacin Una de las tareas ms complejas y apasionantes ha sido el inicio de la formulacin de una conceptualizacin y metodologa propia de evaluacin que asumiera de manera explcita el enfoque de cumplimiento de derechos, de construccin de ciudadana y de participacin social. En Evala DF asumimos que la evaluacin es una investigacin aplicada, un proceso de aprendizaje de carcter sistemtico que, como seala la Ley de Desarrollo Social para el Distrito Federal (las evaluaciones) constituyen procesos de aplicacin de un mtodo sistemtico que permite conocer, explicar y valorar al menos, el diseo, la operacin, los resultados y el impacto de la poltica y programas de Desarrollo Social. Las evaluaciones debern detectar sus aciertos y fortalezas, identificar sus problemas y en su caso, formular las observaciones y recomendaciones para su reorientacin y fortalecimiento (Artculo 42).

81

Por ello asumimos que las evaluaciones deben ser objetivas, pero no neutrales respecto al marco de valores y conceptos que guan a la poltica social y que, por ende, en el marco de investigaciones rigurosas, emiten juicios de valor. Asimismo sabemos que todo proceso de evaluacin se desarrolla en un marco de colaboracin y conflicto, en el que estn en juego valores, intereses, aspiraciones, y conceptos, que no deben ser obviados, sino explicitados. La evaluacin es un proceso de investigacin en un contexto de poder, poltica y polticas. En virtud de lo anterior es necesario distinguir con claridad evaluacin de calificacin y evaluacin de auditora. Porque el proceso de aprendizaje no pretende otorgar una calificacin, sino arrojar un conjunto de enseanzas sobre aciertos y vacos, debilidades e inconsistencias, hallazgos y limitaciones y, por ende, se distingue tambin claramente de la funcin de los rganos de control y fiscalizacin, cuya atribucin es detectar omisiones y violaciones de las normas y, en su caso, deslindar responsabilidades. La Dra. Myriam Cardozo, consejera ciudadana del Evala DF, ha destacado las diferencias de enfoque entre la evaluacin que desarrolla el Consejo Nacional de Evaluacin (CONEVAL), rgano federal, y el Evala DF, en los siguientes trminos:

Dos grandes corrientes opuestas (en la prctica a veces combinadas en una perspectiva contingente) orientan la evaluacin de programas en la actualidad: el nfasis positivista, de origen estadounidense, presente en los trabajos realizados a nivel federal por el Consejo Nacional de Evaluacin de la Poltica Social (CONEVAL) en Mxico; y el constructivista, desarrollado en el contexto francs (Monnier, Thoenig), y retomado en el Comit de Evaluacin y Recomendaciones del Consejo de Evaluacin del Desarrollo Social (Evala DF) en el GDF.

Esquemticamente, las diferencias ms relevantes incluyen: Cuadro 1: Sntesis de las diferencias de nfasis entre los enfoques positivistas y constructivistas
nfasis positivista Busca descubrir una verdad nica y objetiva con un mtodo similar al de las ciencias fsiconaturales. Considera que todos los programas deben ser evaluados en forma similar. nfasis constructivista Considera que existen mltiples y subjetivas verdades, identificables por mtodos diversos en ciencias sociales. Piensa que cada evaluacin debe construirse en funcin de las caractersticas especficas del programa. Aspira a la realizacin de estudios experimentales como la forma ms rigurosa de identificar los impactos de un programa. Considera que los estudios experimentales son muy difciles y costosos, y que no han dado los resultados tcnicos esperados y tienen importantes connotaciones ticas negativas.

82

Cuadro 1: Sntesis de las diferencias de nfasis entre los enfoques positivistas y constructivistas (continuacin)
nfasis positivista Valora la cuantificacin (medicin y pruebas) muy por encima de la aplicacin de mtodos cualitativos. Promueve la realizacin de trabajos por expertos, en detrimento de la participacin social. nfasis constructivista Valora la contribucin tanto de los mtodos cuantitativos como cualitativos (interpretacin, comprensin). Realiza trabajos especializados pero promueve siempre la participacin social para generar aprendizaje ciudadano y credibilidad de la evaluacin. Prioriza el anlisis disciplinario de corte econmico. Enfatiza la necesidad de contar con equipos interdisciplinarios pertinentes al programa.3

An es prematuro afirmar que Evala DF cuenta ya con una metodologa propia definida y sistematizada, pero ste es el proceso de construccin en el que se encuentra la institucin sobre la base de los criterios de objetividad, rigurosidad, libertad de investigacin, capacidad de aprendizaje, interdisciplinariedad, participacin y diversidad. En la experiencia de evaluacin seguida hasta ahora se ha buscado darle relevancia a la participacin social. Los trminos de referencia de las evaluaciones son pblicos y, adems, se abri en la pgina web una seccin para que todo aquel interesado en dar su opinin, comentarios o aportar documentos relevantes lo hiciera. Y en varias de las evaluaciones se llevaron a cabo trabajos de entrevista, sondeo o grupos focales con ciudadanas y ciudadanos que reciben algunos de los beneficios de los programas, lo que en la jerga tradicional de la administracin pblica se denomina beneficiarios, pero que desde un enfoque de derechos y desde una perspectiva de institucionalizacin y exigibilidad debiera empezar a denominrseles y, sobre todo a relacionarse con ellos, en su calidad de titulares de derechos, de derecho-habientes de los programas sociales. El otro elemento de gran relevancia es la necesidad de equilibrar rigor metodolgico y conocimiento de la materia sustantiva a ser evaluada. Dominar tcnicas de evaluacin no necesariamente capacita para evaluar cualquier tipo de programa o poltica. El conocimiento de la materia es fundamental. Por ello si se logran reunir ambas caractersticas en una misma persona o personas es magnfico, pero s no, que es lo ms usual, se requieren verdaderos equipos interdisciplinarios. La evaluacin tiene un componente tcnico y metodolgico, pero ms que un conjunto de tcnicas, es un conjunto de instrumentos, por lo que se requiere de conocimiento especializado en los temas de poltica social y programas que van a ser evaluados. Otro asunto sobre el cual se requiere reflexin es sobre los riesgos que pueden acarrear la conformacin de la evaluacin como mercado, esto es, la proliferacin de consultores profesionales que derivan sus ingresos fundamentales de la realizacin de evaluaciones o que eventualmente se constituyen empresas dedicadas a dicha actividad y que pueden desear o intentar evaluar cualquier programa o poltica que se concurse o

83

licite y cuyo propsito es mantenerse como evaluadores profesionales, lo cual puede incentivar procesos de estandarizacin de las evaluaciones, rutina de las mismas, evaluaciones meramente instrumentales o formalistas y, lo que puede ser ms delicado, autolimitacin o autocensura en la evaluacin pensando en futuros concursos o licitaciones. Por ello es muy importante disear dispositivos que refuercen la independencia y autonoma de los evaluadores externos, porque es obvio que no toda evaluacin externa es necesariamente independiente. Los primeros pasos Podemos afirmar que Evala DF es una institucin neonata que ha tenido que construirse prcticamente desde sus cimientos, pero que ya ha acumulado una experiencia modesta aunque significativa. Se inici el proceso de evaluacin en el ao 2008 con una combinacin de programas del gobierno central con programas de los gobiernos territoriales (delegaciones) en los que est dividido administrativamente el Distrito Federal. El criterio de seleccin de los programas a evaluar fue su cobertura, magnitud presupuestal y relevancia y en el caso de las delegaciones, poblacin de las mismas y peculiaridades de su problemtica, como alta desigualdad o combinacin de dinmicas urbanas y rurales. Las evaluaciones realizadas en la primera ronda fueron las siguientes: Programas sociales del Gobierno Central del Distrito Federal:

Programa de pensin alimentaria para adultos mayores de 70 aos residentes en

el DF

Programa de acceso gratuito a los servicios mdicos y medicamentos a las personas

residentes en el DF que carecen de seguridad social laboral

Programa de apoyo econmico a las personas con discapacidad Programa de atencin integral de cncer de mama en el DF Programa de micro-crditos para actividades productivas de autoempleo Programa de vivienda en conjunto Programa de mejoramiento de vivienda y/o lote familiar del DF, y Programa de estmulos para el bachillerato universal 2007-2008 (Prepa S)
Y en el caso de los gobiernos delegacionales se evaluaron los Programas de desarrollo social de las delegaciones: Iztapalapa, Gustavo A. Madero, lvaro Obregn, Tlhuac y Miguel Hidalgo.4 En esta primera experiencia, el perfil de los evaluadores externos era de acadmicos de distintas instituciones pblicas (Universidad de Chapingo, Universidad Autnoma Metropolitana, Colegio Mexiquense, Universidad Autnoma de la Ciudad de Mxico) y de diferentes asociaciones de la sociedad civil con larga experiencia en temas como vivienda, desarrollo urbano y derechos humanos. A diferencia de otras experiencias a ninguna persona u organizacin de la sociedad civil se le otorg ms de una evaluacin.

84

Para cada uno de los programas se elaboraron trminos de referencia especficos para poder dar cuenta de las problemticas concretas de cada uno de ellos. Una de las dificultades mayores lo constituy la conformacin de los trminos de referencia para la evaluacin de los programas de desarrollo social delegacionales, por ser la primera vez que se haca un esfuerzo de este tipo hacia los gobiernos delegacionales y porque todava existe un debate abierto sobre la naturaleza de la poltica social de estos gobiernos territoriales.

De esta primera ronda de evaluaciones, el 31 de octubre de 2009 Evala-DF ha elaborado y enviado a los rganos responsables 121 recomendaciones derivadas de las evaluaciones externas y que a la fecha se clasifican de la siguiente manera: Caractersticas y estado de las recomendaciones emitidas por evala df al 31 de octubre de 2009
Recomendaciones a: nfasis en: Total Con fuerte repercusin presupuestal Situacin de las respuestas de los rganos a las recomendaciones: Aceptada No Parcialmente aceptada aceptada En proceso aclaracin y precisin 39

Diseo Operacin

Gobierno Central del DF Delegaciones del DF Total Porcentaje

40 18 58 47.9

50 13 63 52.1

90 31 121 100.0

19 2 21 17.4

26 31 57 47.1

16

16 13.2

9 7.4

39 32.3

Las recomendaciones que elabor Evala DF tienen carcter vinculante en todos aquellos casos en que han sido aceptadas y, en las que no han sido aceptadas Evala DF considera que si su rechazo no est justificado, deber esperarse la decisin de la instancia de resolucin definitiva, la Comisin Interinstitucional de Desarrollo Social para que tengan carcter definitivo. En el caso de las aceptadas actualmente se trabaja en la definicin de los calendarios de cumplimiento y en los mecanismos de monitoreo de los mismos. Las recomendaciones emitidas ataen en varios de los casos a asuntos importantes del diseo de los programas (tanto en el gobierno central como en las delegaciones) y fueron formuladas con base en una perspectiva conceptual basada en el enfoque de derechos y en la recuperacin de las responsabilidades sociales del Estado; en una concepcin del desarrollo social de combate a la desigualdad, la exclusin y la inequidad

85

social y de gnero; y con un horizonte de poltica social universal sustentada en un robusto marco jurdico e institucional. Para ubicar el tipo de recomendaciones, entre las principales se destacan las siguientes:

Reforzar la visin integral y jerarquizada de la poltica social en el DF colocando

en el centro los derechos sociales universales y, por lo tanto, el objetivo de construir un Estado social de derechos.

Cumplir a cabalidad con los principios y ejes rectores de la poltica social

establecidos en la Ley de Desarrollo Social del DF, y el Programa de Desarrollo Social 2007-2012, vinculando y reorientando los programas sociales a la garanta de los derechos;

Mejorar aspectos en el orden de la planeacin y el desarrollo institucional,

concretando y operando los instrumentos normativos, administrativos y de planeacin correspondientes;

Ajustar los programas para mejorar su eficiencia y eficacia aunque la mayor parte
de ellos cumple en diseo varios adolecen de problemas de operacin;

Tomar medidas para lograr la universalizacin de los programas en el marco de

las caractersticas de cada programa;

Compactar programas en bsqueda de mayores coberturas y resultados y eliminar

todos aquellos de muy baja cobertura y/o presencia muy baja;

Escalar la atencin del desarrollo social al diseo e instrumentacin de polticas

pblicas integrales y a la construccin de instituciones fuertes;

Establecer mecanismos no discrecionales y transparentes en la seleccin de los

derecho-habientes y beneficiarios;

Construir un Sistema de Desarrollo Social de la ciudad que defina las competencias,

atribuciones y formas de coordinacin entre el gobierno central y las delegaciones en materia de desarrollo social;

Impulsar nuevos instrumentos y espacios de consulta para concretar una

participacin ciudadana deliberativa y que incida en la definicin de la poltica social;

Cumplir con las obligaciones en materia de transparencia y rendicin de cuentas; Avanzar en la construccin de una dimensin metropolitana del desarrollo social.
Lo ms complejo, est por venir. Evala DF tiene de manera inminente dos desafos: El primero es el procesamiento de las recomendaciones que no fueron aceptadas y sobre las que tendr que pronunciarse la Comisin Interinstitucional de Desarrollo Social, presidida por el Jefe de Gobierno e integrada por los titulares de doce instituciones del gobierno central con responsabilidades en la poltica social y los diecisis jefes delegacionales. Ser la primera vez en la historia de la ciudad y del pas en que un rgano colegiado de este tipo toma una decisin sobre recomendaciones controvertidas. La definicin de un mecanismo

86

transparente y consistente de decisin es un gran desafo, as como es fundamental la creacin de un contexto de deliberacin y aprendizaje y no un ambiente de ganadores y perdedores. Detrs de este proceso se encuentra ms que la decisin sobre una recomendacin especfica, se trata de construir un nuevo tipo de institucionalidad de la poltica social, altamente deliberativa y con funcionamientos cada vez ms colegiado. El otro desafo es la conceptualizacin y el desarrollo de metodologas para la evaluacin de polticas. En ste ao se encuentran en curso en la Ciudad de Mxico la evaluacin de cuatro polticas:

De fomento al empleo y proteccin del trabajo; De acceso al agua potable en los hogares; De juventud; De infancia.
Evala DF dise una primera aproximacin a la especificidad de la evaluacin de polticas que se expresa en los trminos de referencia de cada una de stas evaluaciones, pero an es mucho lo que resta para contar con un marco ms slido y profundo para la evaluacin de las polticas y, en particular, con una perspectiva de cumplimiento de derechos. En Mxico y en Amrica Latina existe una desproporcin en la experiencia, conceptos, tcnicas y metodologas de la evaluacin de programas con respecto a la evaluacin de polticas. Ha habido un descuido y desatencin en la evaluacin de estas ltimas. En Evala DF consideramos estratgica la evaluacin de las polticas que son o deben ser el marco referencial de los programas y las que en definitiva son las que pueden arrojar los verdaderos impactos y resultados en la transformacin de los indicadores de desarrollo social fuertes. Es necesario superar una mirada que slo atiende a programas y que considera a la poltica social como una suma de o como agregado de los mismos. Por el contrario la magnitud de la crisis social en Mxico y en Amrica Latina demanda una mirada nueva y una evaluacin congruente con la hora de las polticas y el tiempo de los derechos.

Notas
1

L E Y D E D E SA R R O L L O S O C I A L ley_des_soc_feb_2009.pdf L E Y D E D E SA R R O L L O S O C I A L ley_des_soc_feb_2009.pdf

PA R A E L

D IS T R I TO F E D E R A L . http://www.evalua.df.gob.mx /info/2009/ D IS T R I TO F E D E R A L . http://www.evalua.df.gob.mx /info/2009/

PA R A E L

C ARDOZO B RUM, Myriam. Metodologas para la evaluacin de polticas sociales. Mimeo. Ponencia para V Conferencia Bienal SEE. Barcelona, Espaa, 6 al 8 de mayo de 2009
4 El texto completo de las evaluaciones, los comentarios a la evaluacin por la institucin responsable del programa, las recomendaciones de Evala-DF y la respuesta del rgano evaluado a las recomendaciones, pueden ser consultados en la pgina: http://www.evalua.df.gob.mx.

87

Pablo Yanes Nacionalidad mexicana. Participante del curso Evaluacin de Programas Sociales, realizado por la EIAPP/ENAP en 2009. Licenciado en Economa y Maestro en Gobierno y Asuntos Pblicos por la Universidad Nacional Autnoma de Mxico. Durante los ltimos 11 aos ha ocupado diversas responsabilidades en la Secretara de Desarrollo Social del Gobierno del Distrito Federal. Actualmente es Director General del Consejo de Evaluacin del Desarrollo Social del Distrito Federal, Mxico. Profesor del Posgrado en Estudios Latinoamericanos de la UNAM. Coordinador de varios libros sobre polticas sociales, derechos humanos y derechos indgenas, miembro de la Red de Investigadores en Gobiernos Locales y presidente de la asociacin civil Ingreso Ciudadano Universal-Mxico, seccin oficial de la Basic Income Earth Network.

88

Indicadores de avaliao como recurso avaliao de programas do Plano Plurianual: a experincia do Estado de So Paulo Snia Nahas de Carvalho

Introduo A avaliao de polticas pblicas no Brasil uma atividade recente. Diferentes fatores contribuem para o seu desenvolvimento. De um lado, situam-se as presses para ampliar a participao social nas decises pblicas, a expanso de direitos e a Constituio federal de 1988 que, promulgada, consolidou-os. De outro, as contingncias ditadas pela reforma do Estado, com a descentralizao e a privatizao de funes pblicas e a incorporao da focalizao na formatao de programas sociais, imprimindo poltica social um sentido tambm compensatrio. Sumariado nessas poucas linhas, o ambiente sociopoltico propcio emergncia da avaliao decompe-se em fatores associados, pelo menos, a dois grandes processos. O primeiro tem a ver com a redemocratizao poltica do pas e remonta seguramente ao final dos anos de 1970 e a toda a dcada de 1980. No prprio ambiente de regras autoritrias, de um regime poltico que manifestava sinais de esgotamento, a sociedade brasileira comea a se organizar para reivindicar mudanas em movimentos de representao de diferentes segmentos sociais, que se condensam nos debates constituintes. Como resultado, a Constituio de 1988 consagra-se como constituio cidad, por estabelecer princpios de universalizao de direitos sociais; as polticas sociais so redesenhadas para incluir mecanismos institucionais de participao social, seja para dar transparncia s aes pblicas, seja para o controle sobre os recursos pblicos. O segundo processo data de perodo mais recente, nos anos de 1990, e rene fatores associados reforma do Estado e crise fiscal com impactos sobre o montante dos recursos pblicos. Esses fatores tm favorecido a conformao de um modelo de Estado que se funda na reduo das funes de interveno direta e na ampliao das de regulao, para o que decises por privatizao de servios pblicos foram tomadas. Esse modelo de Estado atribui primazia eficincia e eficcia da ao pblica, perseguida pela adoo de procedimentos disciplinadores na alocao dos recursos pblicos; a lei de responsabilidade fiscal, aplicada s trs esferas de governo, um dos principais exemplos. Os esforos por novas formas de gesto pblica tambm se combinam nesse processo e visam a aproximar planejamento e oramento, a partir da concepo de que

89

as decises oramentrias devem ser direcionadas para resultados (outputs) como metas governamentais, objetivos finais ou programas , no lugar de inputs, ou seja, de pessoal, equipamento e manuteno (WILDAVSKY, apud CAVALCANTE, 2007:133). Outros fatores contribuem para conformar o quadro propcio avaliao das polticas pblicas e que se integram a esses processos. Trata-se da atuao de organismos multilaterais de financiamento e de sua capacidade de interferir no desenho de polticas pblicas nacionais, notadamente no captulo das polticas sociais. As crticas feitas pelos bancos Mundial e Interamericano de Desenvolvimento ao padro das polticas sociais brasileiras (e latino-americanas em geral) apontaram o mau uso dos recursos pblicos e a no focalizao dos programas sociais para os mais necessitados. Em decorrncia, orientaram a reforma dos programas sociais na direo da focalizao, descentralizao e privatizao. E, para alm dessa orientao, as agncias multilaterais de financiamento condicionaram a concesso dos emprstimos obrigatoriedade de avaliao dos programas financiados, passando, com isso, a exigir maior racionalidade do gasto pblico e do rendimento dos recursos aplicados (SILVA, 2001:46). Sob influncia dessa multiplicidade de fatores, diferentes esforos e tendncias de avaliao de polticas e programas tm sido desenvolvidos no Brasil e ainda no esto suficientemente sistematizados. Os esforos havidos so de diferentes ordens e incluem a criao de unidades na administrao pblica com atribuio especfica de avaliao, como a Secretaria de Avaliao e Gesto da Informao no Ministrio do Desenvolvimento Social e Combate Fome, ou de extenso de competncias de agncias existentes, como o Instituto de Pesquisas Econmicas Aplicadas, do Ministrio de Planejamento, Oramento e Gesto. Na esfera estadual de So Paulo, a Fundao Sistema Estadual de Anlise de Dados Seade, vinculada Secretaria de Economia e Planejamento, tem desenvolvido projetos que associam produo de dados definio metodolgica de indicadores de avaliao aplicada a programas estaduais. Em outro plano, as possibilidades de instituio da avaliao associam-se ao desenvolvimento de estudos de avaliao para programas pblicos especficos. Entre os exemplos, cita-se a avaliao do Plano Nacional de Formao de Mo de Obra (Planfor), do Ministrio do Trabalho, no governo Fernando Henrique Cardoso, e do Programa Bolsa Famlia, em execuo pelo governo Luiz Incio Lula da Silva, ao lado de um vasto conjunto de experincias desenvolvidas e em andamento orientadas ou no pelos organismos multilaterais de financiamento. O Plano Plurianual (PPA), introduzido pela Constituio Federal de 1988, pode configurar-se como alternativa mais efetiva para a instituio da avaliao no processo das polticas pblicas, ao refletir uma concepo integrada e de longo prazo inerente sua formulao. O artigo constitucional n 165 fixou as normas de regulamentao do processo oramentrio federal, definindo novos instrumentos legais: o PPA e, a ele referenciado, as leis anuais de diretrizes oramentrias e do oramento. As constituies estaduais e as leis orgnicas municipais reproduziram esses mesmos preceitos. Com vigncia de quatro anos, correspondendo aos trs ltimos anos de um mandato e ao primeiro ano do mandato seguinte, o PPA tem por funo bsica

90

organizar os sistemas de planejamento e oramento que permitam a formulao das polticas pblicas de desenvolvimento social e econmico da unidade de governo de referncia. E organizar esses sistemas pressupe desenvolver e aplicar metodologias e instrumentais tcnicos para a definio de objetivos, recursos materiais e humanos, metas e indicadores de monitoramento e avaliao adequados aos programas e aes pblicas. Ainda que em plano formal, o PPA carrega triplo significado para a gesto pblica, de: implementar o planejamento governamental no mdio e longo prazo; coordenar as aes governamentais; e estabelecer diretrizes, objetivos e metas da administrao pblica que orientem a alocao dos recursos pblicos. O PPA o instrumento que prope organizar a ao de governo, introduzindo nova forma de gesto pblica e favorecendo a incluso da avaliao entre as atividades de governo. O instrumento privilegiado dessa organizao so os programas pblicos e, por seu intermdio, pretende-se: fortalecer a funo planejamento integrada ao oramento e gesto do gasto como central para dar qualidade e coerncia aos processos de monitoramento e avaliao e de reviso do plano plurianual; e subsidiar a elaborao dos projetos de lei de diretrizes oramentrias e do oramento anual (CAVALCANTE, 2007:131). Com o propsito de discutir as perspectivas da avaliao como instrumento de gesto pblica, analisam-se os indicadores propostos para a avaliao de programas educacionais e de sade do PPA estadual de So Paulo dos perodos 2004-2007 e 2008-2011. A escolha dos 22 programas, igualmente divididos entre educao e sade, tomou como critrio sua presena nos dois perodos, mesmo que tenha sido alterada sua designao. A anlise dos indicadores desses programas baseia-se na noo de avaliao de processo, entendida como aferio de eficcia e eficincia, por ser esta a modalidade por excelncia para avaliar programas, e se desenvolve de forma a verificar como essas noes tm sido apropriadas pela administrao pblica paulista no processo de elaborao do Plano Plurianual. Referenciais metodolgicos Os parmetros adotados para o tratamento dos indicadores so de duas ordens. A primeira aquela que toma por parmetro o objetivo visado pelo programa, mesmo se considerado em seu enunciado formal, pois a partir de sua apreenso que se identificam os objetivos da avaliao e se definem os critrios de aferio. Para programas sociais que, em geral, se propem a atingir metas, garantir atendimento ou diminuir carncias e, dessa forma, contribuir para a melhoria de condies sociais, o propsito da avaliao avaliar processo, que permite, pela observao dos resultados, verificar a adequao dos recursos mobilizados aos fins visados e realizao dos objetivos e metas propostos, ou seja, aferir a eficincia ou a eficcia das aes executadas. Por eficincia e eficcia adotam-se as noes usualmente presentes em estudos e metodologias de avaliao. Assim, eficincia resulta da relao entre recursos mobilizados e produtos obtidos. A eficincia de um programa ser maior ou menor quanto maior ou menor for o valor do produto em relao totalidade dos recursos empregados. E eficcia o resultado da relao entre objetivos ou metas esperados e alcanados.

91

A eficcia de um programa ser maior ou menor quanto maior ou menor for a adequao entre o que de fato se produziu e o que se esperava produzir. O segundo parmetro aquele que distingue indicadores de produto e de avaliao uma distino fundamental e nem sempre percebida na definio dos indicadores dos programas do PPA. Indicadores de produto identificam-se diretamente com os esforos de mobilizao de recursos de diferentes naturezas, sejam eles humanos, tcnicos, materiais, legais etc. Indicadores de avaliao, por sua vez, pressupem o estabelecimento de relaes, nas quais o produto decorrente das aes constitui um dos elementos. O produto relacionado a recursos possibilita avaliao de tipo custo/ benefcio, em geral financeiro, mas que pode ser social ou poltica. J a relao um pouco mais distante dos produtos obtidos aquela que se expressa entre o que o programa visou a alcanar e o que efetivamente alcanou. luz desses referenciais, os indicadores dos programas selecionados sero distinguidos em indicadores de produto, que quantificam aes executadas, indicadores de avaliao, quando de fato mensurem resultados quanto eficcia ou eficincia e, com isso, avaliem o processo, e indicadores com tendncia de avaliao, para aqueles que no permitem tais aferies de forma absoluta, mas que contm esforos de estabelecimento de relao entre variveis. Uma quarta categoria tambm considerada, mas que se afasta de qualquer conceituao de indicador, nomeada como indicador nem de produto nem de avaliao, ou de caractersticas indefinidas. Programas sociais do PPA paulista A seleo dos programas educacionais e de sade resultou em uma lista de 22 programas, integrantes do PPA paulista dos perodos 2004-2007 e 2008-2011 (Quadro 1).1 Os esforos metodolgicos empreendidos pela agncia de coordenao do plano plurianual no so ainda suficientes para garantir a formatao adequada dos programas, integrada poltica pblica, em particular quanto definio do objetivo visado e, a ele correlato, do problema social a ser solucionado e do pblico-alvo a ser beneficiado. Dar maior clareza e preciso na especificao dessas definies o caminho para mais bem definir indicadores de avaliao dos programas. Percorrer esse caminho tambm contribuir para superar problemas atinentes ao planejamento governamental, como a baixa complementaridade entre os programas e destes com a poltica pblica, e a adoo de lgicas distintas de organizao dos programas entre reas ou setores de atuao pblica. Quadro 1 - Lista dos programas de educao e sade selecionados

92

Quadro 1 - Lista dos programas de educao e sade selecionados (continuao)

Nota: Os programas esto designados conforme constam do PPA 2008-2011.

Ao se comparar os indicadores dos programas selecionados nos dois perodos do PPA tem-se forte distino segundo as reas de educao e sade. Entre os programas educacionais, h predomnio dos indicadores com caractersticas de produto, que se elevam no PPA 2008-2011 e, em contrapartida, os de avaliao ou com tendncia de avaliao, que eram oito, passam para to somente nove no segundo perodo. Entre os programas de sade, h tambm elevao do nmero de indicadores, mas em movimento distinto em relao aos programas educacionais, pois os indicadores de produto so substitudos por outros de caractersticas mais prximas de avaliao (Tabela 1). Mais do que preciso numrica, os resultados permitem supor avanos conceituais e metodolgicos que se incorporam gesto pblica paulista quando da definio dos programas de sade do PPA. O mesmo no se verifica para os programas educacionais, entre os quais a principal evidncia da maior participao de indicadores de produto. Tabela 1 - Quantidade de indicadores, segundo programas de educao e sade, por perodo do PPA e tipo de indicador

93

Considerando-se os programas educacionais do PPA 2008-2011, os indicadores de produto mensuram diretamente aes executadas, em geral expressas em nmeros de alguma unidade de medida associada ao programa. Entre eles, tm-se quantidades, como: salas ambiente, salas de leitura de escolas de ensino mdio e salas de professor equipadas pelo programa de Informatizao escolar; escolas abertas e escolas beneficiadas com parcerias pelo programa Parceria escolacomunidade e sociedade civil. De forma equivalente comportam-se os indicadores dos programas Ensino pblico superior e Alimentao escolar, que so: alunos matriculados na graduao por ano e alunos beneficiados pela oferta de merenda escolar no sistema centralizado por ano, respectivamente. Apesar de serem indicadores de expresso anual, eles no perdem as caractersticas de indicadores de produto e, com isso, no diferem dos anteriores. Se os indicadores de produto no so apropriados para avaliar programas, entre os propostos para os programas educacionais h dois indicadores com caractersticas indefinidas, posto que no aferem resultados e nem mesmo mensuram produtos das aes. Nesta condio situam-se: ampliao de matrculas no ensino superior de formao tecnolgica, do programa Ensino pblico tecnolgico; e ampliao do nmero de matrculas existentes no Ensino pblico tcnico. Os indicadores de avaliao distinguem-se segundo suas caractersticas. De um lado, identificam-se indicadores de cobertura, que medem a parcela atendida em relao ao pblico-alvo e, com isso, aproximam-se de esforos de avaliao que, em sentido estrito, refere-se eficcia no cumprimento de metas. Nesta categoria insere-se a taxa de alunos do ensino fundamental municipalizados, um dos indicadores do programa Parceria educacional Estado-municpio. De outro lado, situam-se os indicadores que de fato avaliam eficcia. Porcentagens ou taxas de aprovao, reprovao ou abandono dos estudantes so os indicadores dos programas Melhoria da qualidade do ensino fundamental, Melhoria da qualidade do ensino mdio e Formao continuada de educadores da educao bsica. Esses indicadores, comuns aos trs programas, refletem o esforo de, ao observar resultados alunos aprovados, reprovados ou que abandonaram os estudos aferir se os objetivos de assegurar permanncia e qualidade de aprendizado so alcanados. Entre os programas de sade, a maior parte dos indicadores de caractersticas indefinidas refere-se ao programa Produo de imunobiolgicos, biofrmacos e hemoderivados. Os indicadores propostos para o PPA 2008-2011 equivalem-se ao nico proposto para o perodo anterior, todos eles formulados em termos de proporo de bens produzidos, como doses de vacinas para diferentes tipos de enfermidade, doses de hemoderivados ou ampolas de soro, sem que se explicite a base de clculo para mensurao. Os indicadores de avaliao aproximam-se dos propsitos de avaliao de processo e incluem a aferio da eficcia e da eficincia dos benefcios pblicos gerados. Alguns indicadores so medidas efetivas para as aferies e outros revelam potencial positivo para a avaliao dos programas a eles associados. Entre eles, identificam-se aqueles construdos a partir de dados de operao dos programas,

94

como volume de atendimento e tempo gasto. Indicadores desse tipo aproximam-se da aferio da eficincia, como constatado entre os propostos por dois programas de objetivos idnticos Atendimento integral e de alta complexidade em assistncia mdica, distinguidos segundo rea de atuao: So Paulo e Ribeiro Preto. No obstante a identidade de objetivos, os indicadores desses programas no foram os mesmos. Para So Paulo, os indicadores focam-se em uma nica dimenso e se referem variao da mdia mensal de um ano de (i) consultas mdicas ambulatoriais, (ii) entradas para internao e (iii) atendimentos de pronto-socorro, calculada em relao mdia mensal do ano anterior. Para Ribeiro Preto, os indicadores so mais heterogneos e mensuram diferentes dimenses dos servios prestados, como tempo (mdia de permanncia, mdia mensal de cirurgias), otimizao dos recursos (razo entre docentes e internao, taxa de internao da unidade de emergncia, taxa de absentesmo de recursos humanos) e custo (apurao do custo do paciente). De qualquer forma, todos eles requerem estabelecer algum parmetro a indicar se mdias altas ou baixas, variaes positivas ou negativas, custo por paciente apontam para a eficincia do programa. Na direo da eficincia, o programa Apoio ateno bsica de competncia municipal com objetivo de universalidade define um indicador de mdia mensal de consultas por habitante. Se calculado em bases municipais, esse indicador diferencia-se dos anteriores, ao oferecer possibilidades de comparao. O programa tambm prope outros dois indicadores que efetivamente avaliam resultados: cobertura vacinal por tetravalente, em menores de um ano, maior ou igual a 95%; e proporo de nascidos vivos de mes com sete ou mais consultas de pr-natal. Estes indicadores consagrados de sade trazem, em sua formulao, o parmetro de aferio: maior ou igual a 95% e pelo menos sete consultas, respectivamente. A anlise conjunta desses indicadores permite avaliar o objetivo de complementar a ao municipal para atingir a universalidade da ateno bsica local visada pelo programa. Equivalentes para a aferio da eficcia situam-se os coeficientes de mortalidade infantil e materna, definidos para o programa Atendimento integral e descentralizado do SUS-SP. De forma semelhante a indicadores de programas educacionais, os de sade tambm incluem indicadores de cobertura, que expressam relaes dos benefcios gerados sobre algum universo. Apresentados em porcentagem, esses indicadores incluem a proporo de: servidores treinados em relao meta final do PPA, do programa Capacitao e desenvolvimento de recursos humanos; municpios assessorados ou treinados em oncologia sobre o total dos municpios, dos programas Preveno e controle de endemias e Diagnstico, reabilitao, capacitao, informao e epidemiologia em cncer, respectivamente; exames colpocitolgicos realizados e de pacientes internados pela Fundao Oncocentro sobre os totais alcanados pelo SUS-SP, para o programa Diagnstico, reabilitao, capacitao, informao e epidemiologia em cncer; bolsas de sangue e hemocomponentes em relao demanda, do programa Doe sangue, doe vida. Antes de tecer as consideraes finais, apresentam-se dois programas de sade e dois de educao como recurso a facilitar o entendimento sobre os esforos da anlise classificatria dos indicadores apresentada.

95

96

Consideraes finais A avaliao como atividade integrada ao processo das polticas pblicas, examinada a partir da discusso dos indicadores formulados para programas do Plano Plurianual paulista, sinaliza um cenrio com perspectivas positivas. As diferenas constatadas entre os perodos confirmam um processo em curso, com incorporao dos referenciais

97

de avaliao, mais evidente entre os programas de sade. O entendimento dessas diferenas talvez decorra do conhecimento acumulado da poltica de sade. Porm, reconhece-se um movimento que ainda de resultados incertos, a depender da convergncia de interesses favorveis ao planejamento e avaliao das polticas governamentais. Os indicadores dos 22 programas examinados compem um mosaico de diferentes matizes e que se associam heterogeneidade prpria dos programas e dos objetivos por eles visados.1 As situaes observadas podem ser singulares aos programas e, com isso, veem confirmar a realidade da administrao pblica paulista fortemente heterognea no esforo de incorporao da avaliao no processo do PPA. Os indicadores desses programas incluem expresses que no se coadunam com alguma definio de indicador e muitos deles so indicadores de produto, medida mais adequada ao monitoramento de programas. Eles tambm incluem indicadores de avaliao ou com tendncia de avaliao e so, em maior proporo, de eficcia. E, nesta direo, orientam o foco da avaliao de programas para a avaliao de processo, modalidade que permite, ao observar resultados, verificar o sucesso do programa no cumprimento dos objetivos e metas propostos. Cabem alertas finais a serem considerados em novos estudos. O primeiro referese ao risco de a formulao dos indicadores dos programas ser absolutamente instrumental, de cumprimento de exigncias formais, e pouco contribuir para a reviso dos programas. Conforme salientado por Faria (2005), os resultados das avaliaes no tm sido incorporados aos prprios programas avaliados. Alm disso, a vinculao entre planejamento e oramento, que reafirma a nfase em programas na confeco dos planos plurianuais, pode levar ao olhar fragmentado das polticas pblicas e ao comprometimento da avaliao como atividade do processo mais geral das polticas pblicas. Referncias documentais
Lei n 11.605, de 24 de dezembro de 2003. Institui o Plano Plurianual para o perodo de 2004/2007. Lei n 13.123, de 8 de julho de 2008. Institui o Plano Plurianual para o perodo de 2008/ 2011.

Referncias bibliogrficas
CAVALCANTE, Pedro Luiz. O plano plurianual: resultados da mais recente reforma do planejamento e oramento no Brasil. Revista do Servio Pblico. Braslia 58 (2): 129-150. Abr/Jun 2007. FARIA, Carlos Alberto Pimenta de. A poltica da avaliao de polticas pblicas. Revista Brasileira de Cincias Sociais. Vol. 20 n 59 outubro/2005. SILVA e SILVA , Maria Ozanira. Avaliao de polticas e programas sociais: aspectos conceituais e metodolgicos. In: SILVA e SILVA, Maria Ozanira (org). Avaliao de polticas e programas sociais: teoria e prtica. So Paulo: Veras Editora. 2005, pp. 44-93.

98

Notas
1 Os demais programas de sade para o PPA 2008-2011 so: Encargos gerais; Suporte administrativo; Assistncia mdica ao servidor pblico estadual; Controle social na gesto do SUS; Programa Boa Viso; Saneamento para todos; Fortalecimento da gesto com tecnologia, informao e inovao; e Comunicao social. Para o mesmo perodo, os programas educacionais incluem tambm: Promoo e desenvolvimento do ensino superior; Desenvolvimento da cincia e da tecnologia; Avaliao do sistema educacional; Expanso, melhoria e reforma da rede fsica escolar; Gesto institucional e manuteno da educao; Fortalecimento da gesto com tecnologia, informao e inovao; Suporte administrativo; e Encargos gerais, das Secretarias de Educao e de Ensino Superior. 2

A estas se juntam tambm os diferentes perfis das equipes responsveis ou gestoras dos programas.

Sonia Nahas de Carvalho Nacionalidade brasileira. Sociloga, doutora em Cincias Sociais pela Instituto de Filosofia e Cincias Humanas da Universidade Estadual de Campinas (Unicamp). Atualmente, exerce a funo de assessora tcnica da Diretoria Adjunta de Anlise e Disseminao de Informaes da Fundao Sistema Estadual de Anlise de Dados (Seade).

99

100

Estruturao de sistemas de monitoramento e especificao de pesquisas de avaliao, os problemas dos programas pblicos no Brasil so1 Paulo de Martino Jannuzzi Maria Rosngela F. Machado Silva Mariana Almeida de Faria Sousa Leonardo Milhomem Resende
Pouca sade e muita sava, os males do Brasil so. Pensamento sanitarista do incio do sc XX.

Introduo A crescente atuao do Estado Brasileiro na promoo de polticas sociais, em especial a partir da Constituio Federal de 1988, tem sido acompanhada, com alguma defasagem, do aprimoramento da capacidade de formulao e avaliao de programas pblicos no pas. De modo geral, os estudos de avaliao de demandas sociais, os diagnsticos propositivos para intervenes especficas, os sistemas de indicadores de monitoramento e as pesquisas de avaliao de programas vm se tornando mais consistentes e presentes no cotidiano dos gestores pblicos, ainda que em um ritmo menos veloz que o necessrio e de forma bastante desigual pelas esferas de governo e regies do pas. Em que pesem os avanos na capacidade de gesto de programas, ainda so expressivos os contrastes que se podem observar, por exemplo, no acompanhamento dos programas na rea da sade e na rea da qualificao profissional, ou entre equipes de gestores do governo federal e tcnicos de prefeituras de pequenos municpios no interior do pas. H mesmo quem diga nos crculos acadmicos e nas diferentes esferas da administrao pblica que no por falta de estudos, diagnsticos e indicadores que os programas sociais no conseguem alcanar os resultados e impactos esperados no Brasil. Afinal, fato que centros de pesquisa, universidades, empresas de consultoria e equipes de tcnicos do setor pblico tm produzido, de forma sistemtica ou por meio de projetos contratados, um amplo conjunto de trabalhos, artigos e estudos sobre diferentes aspectos da realidade social, referidos direta ou indiretamente ao contexto de operao dos vrios programas pblicos. Entretanto, tambm verdade que muitos desses trabalhos, mesmo os contratados para subsidiar a formulao de programas especficos, acabam se revelando como diagnsticos descritivos bastante gerais, aplicveis a diferentes programas sociais, com contribuies certamente relevantes, mas desprovidas de informaes mais particulares e customizadas para formatao de aes pblicas mais dirigidas, no grau que se requer atualmente. Nos diagnsticos

101

contratados pelo setor pblico, contribuem para isso, sem dvida, as imprecises ou lacunas dos termos de referncia que espelham, muitas vezes, a falta de clareza dos objetivos e natureza do programa pblico a ser implementado, fato decorrente, por sua vez, das deficincias de formao do gestor pblico e a exiguidade de tempo e recursos para realizao de levantamentos de campo especficos. Nesse contexto, acabam se justificando estudos diagnsticos mais gerais, baseados em trabalhos anteriores e em fontes de dados e pesquisas j disponveis. Tambm preciso reconhecer as limitaes das pesquisas de avaliao de programas pblicos como fontes de informao para readequao dos programas existentes ou proposio de novos. Nas avaliaes de impacto, as constataes empricas acerca da efetividade dos programas so, no raras vezes, ambguas ou pouco consistentes. Nos casos em que se adotam delineamentos metodolgicos quasi-experimentais, as condies para garantir a validade interna dos estudos acabam por inviabilizar a apropriao e a generalizao dos resultados para avaliaes mais abrangente de programas (WORTHERN et al., 2004). Vrios estudos avaliativos focados no processo de implementao dos programas acabam tendo baixo poder de generalizao devido s lacunas de conhecimento sobre as atividades desenvolvidas e o papel dos agentes institucionais envolvidos nos programas, seja pelas limitaes ou inexistncia de sistemas de informaes de monitoramento, seja pelas decises metodolgicas quanto s tcnicas, amostras e casos investigados, muitas vezes escolhidos mais em funo dos prazos e recursos disponveis do que pelas perguntas as quais se quer responder. Avaliaes voltadas anlise da consistncia terica e do desenho lgico de programas que poderiam gerar conhecimento mais generalizvel na rea so menos frequentes ou, pelo menos, menos conhecidas do que outros tipos de estudos avaliativos no pas. Enfim, em que pesem os avanos na rea, preciso reconhecer que a insatisfao com os estudos avaliativos ainda mais frequente do que o desejvel. Como j revelava Cotta h mais de dez anos:

As metodologias de avaliao de programas sociais tm sido objeto de severas crticas. Basicamente, afirma-se que, na prtica, as avaliaes no subsidiam o processo decisrio porque seus resultados so inconclusivos, inoportunos e irrelevantes. Inconclusivos em funo das prprias limitaes deste tipo de estudo, inoportunos devido morosidade do processo avaliativo e irrelevantes porque no respondem s demandas informacionais de todos os agentes sociais afetos interveno. (COTTA 1998, p.118).

Situao semelhante parece ter passado os Estados Unidos (EUA) nos anos 1970, a julgar pelo relatrio do General Accounting Office que, mobilizado por demanda do

102

Senado americano em 1974, constatou que as informaes das pesquisas sociais e estudos avaliativos financiados com recursos pblicos no contribuam para o desenho das polticas pblicas, pela disperso e fragmentao de temas investigados, falta de coordenao e orientao do que era de interesse governamental investigar, dificuldade de acesso e compreenso dos relatrios de pesquisas. (GAO, 1977). Mesmo mais recentemente tm-se constatado limitaes e problemas nos estudos avaliativos de programas pblicos nos EUA, s vezes com desdobramentos at piores que os descritos por Cotta. De fato, como colocam Worthern et al. (2004):

De vez em quando, uma avaliao mal concebida ou mal executada produz informaes que, no melhor dos casos, seriam enganosas e, no pior, absolutamente falsas. Embora essas ocorrncias sejam raras, podem causar problemas graves. Como geralmente tem ar de respeitabilidade, essas avaliaes no costumam ser questionadas, e o resultado que decises importantes sobre programas e servios essenciais baseiam-se inadvertidamente em informaes falaciosas. (WORTHERN et al., 2004, p.44).

Conspiram para conformao de tais problemas, entre tantos fatores, a crena desmesurada na capacidade de antecipao e implementao de programas por parte de tcnicos de alto escalo que, ao no incorporar a contribuio de agentes envolvidos no trabalho, acabam por desenhar processos e rotinas que desconsideram as distintas realidades de operao dos programas. Esse tecnocratismo ingnuo invariavelmente esquece-se das dificuldades de articulao e colaborao dos trs nveis de governo ou de pastas sociais em uma mesma esfera e das diferenas de capacidade de gesto e controle social pas afora. To ou mais grave, tambm desconsidera a heterogeneidade socioeconmica da populao demandante na formulao dos programas, considerandoa como nico pblico-alvo, para o qual se deve disponibilizar um mesmo conjunto de servios, de Norte a Sul, do centro periferia das cidades. Assim, com problemas nas fases iniciais do ciclo de gesto de programas no reconhecimento das questes sociais e no desenho das intervenes idealizadas para mitig-los no se poderiam esperar resultados, de fato, impactantes. Desconhecimento sobre o estgio de avaliabilidade dos programas outro fator a minar a credibilidade dos instrumentos de monitoramento e avaliao. A prematuridade na encomenda de estudos avaliativos de resultados e impactos, quando se sabe que o programa ainda se encontra em fase de implantao ou com problemas de gesto; e a antecipao de avaliaes externas, com natureza mais de auditoria em detrimento de avaliaes de carter mais formativo, conduzidas internamente e voltadas ao aprimoramento incremental do programa so problemas mais frequentes do que se poderia esperar. So aportados volumes significativos de recursos em pesquisas de avaliao, procurando garantir representatividade amostral de resultados em nvel

103

nacional, esquecendo-se de estruturar painis ou sistemas de indicadores de monitoramento que com todas as limitaes de cobertura, mas com a tempestividade devida permitiriam identificar boa parte dos problemas em tempo de serem corrigidos. De fato, um dos achados sistemticos das avaliaes de programas realizadas pelo Tribunal de Contas da Unio a inexistncia de sistemas de informao para acompanhamento das atividades dos programas. ilustrativa, nesse sentido, a constatao, , reproduzida a seguir, acerca da avaliao do Programa Nacional Biblioteca na Escola (PNBE), operado pelo Fundo Nacional de Desenvolvimento Escolar (FNDE) do Ministrio da Educao (MEC), com objetivo de distribuir acervo de livros para formao de bibliotecas nas escolas.

O trabalho constatou que o FNDE tem mostrado grande eficcia operacional na distribuio dos acervos do Programa para as escolas beneficiadas. Foram atendidas 20 mil escolas em 1998 e 36 mil em 1999, com previso de atendimento de 139 mil escolas em 2002. Todavia, tambm se verificou que o PNBE no tem atividades de monitoramento e avaliao bem estruturadas. O MEC no dispe de informaes que permitam conhecer o nvel de utilizao dos acervos, bem como os problemas que podem estar afetando a efetividade do uso dos livros no desenvolvimento escolar dos alunos nas escolas beneficiadas. Tal fato mais preocupante justamente no momento em que aumenta a escala de atendimento do Programa (TCU, 2002, p.10).

Para isso, contribui o estgio ainda incipiente do conhecimento do campo aplicado de monitoramento e avaliao de programas no Brasil, seja dentro da estrutura pblica, seja nas universidades e nos centros de pesquisa. Enquanto nos EUA e em pases europeus desenvolvidos a cultura de avaliao de programas j se encontra em estgio maduro, depois de mais de trs ou quatro dcadas de desenvolvimento, com marcos conceituais abrangentes e testados, com profissionais com formao multidisciplinar e com instituies especializadas, no Brasil, a institucionalizao do campo bem mais recente. Como comentam Worthern et al. (2004), a cultura de monitoramento e avaliao de programas nos Estados Unidos assim como os instrumentos de planejamento e programao oramentria comeou a se fortalecer nos anos 1960 no Governo Lyndon Johnson, quando da estruturao de vrios programas sociais em nvel federal, no contexto do que se denominou Great Society, e da necessidade, portanto, de garantir melhor gesto dos programas pblicos naquele pas. Rossi et al. (2004) identificam esforos sistemticos em avaliao de programas sociais norte-americanos, j a partir da dcada de 1930, como desdobramento do papel crescente do Estado americano no financiamento de servios sociais (respondendo aos efeitos da crise de 1929). A avaliao de programas, que se concentrava, inicialmente, nas reas de educao (sobretudo na

104

investigao de programas de alfabetizao), de sade pblica (nas aes de combate mortalidade por doenas infecto-parasitrias) e de qualificao profissional, passa, no ps-guerra, a abranger reas como preveno da violncia juvenil, planejamento familiar, nutrio, programas habitacionais, desenvolvimento rural. No entanto, nos anos 1960, o campo da avaliao de programas passa por um boom, com a ampliao dos programas sociais, como j mencionado, e tambm, como lembram Rossi et al. (2004), com o avano e a disseminao das tcnicas aplicadas da pesquisa social, desenvolvidas nas universidades americanas. Ao contrrio do que se poderia imaginar, nas dcadas seguintes, a nfase na desregulamentao e descentralizao da prestao de servios pblicos e no questionamento sobre a pertinncia e o tamanho dos programas sociais nos governos republicanos conservadores, que assumiram o poder mais tarde, acabou por valorizar a prtica da avaliao, ao disseminar a cultura de monitoramento e avaliao para governos estaduais, municipais e organizaes no governamentais. Afinal, mesmo um estado regulador requer instrumentos de medio de resultados para acompanhar a prestao dos servios financiados com recursos pblicos, at para justificar, com alguma base tcnica e transparncia, a descontinuidade de programas sociais ineficazes e redirecionar os gastos para outras reas (como para os despesas militares da Guerra do Vietn, no governo Nixon, e para defesa militar no Governo Reagan). Respondendo a essas demandas, comentam os autores que, nos anos 1970, so estruturados cursos de ps-graduao, de natureza disciplinar e, mais tarde, multidisciplinar, com forte nfase em tcnicas de pesquisa (quantitativas e qualitativas), abrindo a possibilidade para criao de uma comunidade profissional de avaliadores1. A avaliao de programas deixaria de ser preocupao apenas de cientistas sociais, em temas de pesquisas acadmicas nas universidades, ganhando projeo e interesse na comunidade de gestores pblicos como instrumento para aprimoramento dos servios pblicos. Essa mudana qualitativa da produo e apropriao de conhecimentos na rea que parece se processar neste momento no Brasil muito bem registrada pela seguinte passagem de Rossi et al. (2004):

In its early years, evaluation was shaped mainly by the the interests of social researchers. In later stages, however, the consumers of evatuation research exercised a significant influence on the filed. Evaluation in now sustained primarily by funding from policymakers, program planners, and administrators who use the findings and by the interests of general public and the clients of the programs evaluated. Evaluation results may not make front-page headlines, but they are often matters of intense concern to informed citizens, program sponsors, and decisionmakers, and those whose lives are affected, directly or indirectly, by the programs at issue (ROSSI et al., 2004,p.9).

105

No caso brasileiro, atualmente, parte significativa da avaliao de programas pblicos tem sido realizada por equipes de centros de pesquisa e universidades, com boa experincia em anlise de macropolticas, conjuntura social ou projetos de pesquisa acadmicos, mas, em geral, sem experincia na implementao real de programas e sem reunir o conhecimento multidisciplinar requerido para abordagem dos problemas complexos em que os programas procuram atuar2. No h dvidas de que, em geral, essas avaliaes de programas contam com equipes competentes no emprego das boas prticas da pesquisa social e no uso rigoroso de tcnicas quantitativas e qualitativas de coleta e anlise de dados. Como nas pesquisas acadmicas, fundamental garantir o rigor metodolgico nos estudos avaliativos, para permitir conhecimento mais circunstanciado dos problemas, as solues idealizadas para mitig-los e para conferir legitimidade tcnica-cientfica na avaliao da ao governamental. Mas, como j alertado em um dos primeiros manuais abrangentes de avaliao de programas no incio dos anos 1970, programas sociais so objetos de pesquisa inerentemente difceis de serem tratados, pelo ambiente muitas vezes inspito e pouco colaborativo, pelo contexto poltico menos ou mais favorvel, pela natureza fugidia das perguntas e questes que so demandadas ao avaliador responder, pela menor ou maior disponibilidade de dados, pelo tempo e recursos disponveis para conduzir anlises mais consistentes (Weiss, 1972). Em manuais mais recentes, como os j citados de Worthern et al. (2004) e Rossi et.al. (2004), recomenda-se que os estudos avaliativos sejam realizados por pesquisadores com conhecimento tcnico e metodolgico apropriado temtica em questo, mas tambm com experincia emprica anterior e, sobretudo, com desprendimento para inovar e improvisar nas diversas circunstncias e dificuldades que insistem em aparecer no cotidiano prtico da rea. No incomum, pois, que estudos avaliativos realizados por puristas metodolgicos cheguem a resultados j conhecidos do gestor de programas, ou concluam com ingnua assertividade acerca da necessidade de descontinuidade do programa avaliado, pela suposta baixa efetividade apurada, segundo suas escolhas metodolgicas sobre o que investigar e como faz-lo. Essas consideraes iniciais um tanto extensas, mas necessrias para contextualizao e justificativa da discusso aqui pretendida ilustram o paralelismo que se procurou estabelecer entre o ttulo deste trabalho Estruturao de sistemas de monitoramento e especificao de pesquisas de avaliao, os problemas dos programas pblicos no Brasil so e a epgrafe Pouca sade e muita sava, os males do Brasil so3 jingle da luta do movimento sanitarista por intervenes pblicas frente s precrias condies de sade da populao brasileira no incio do sculo XX. De fato, a inexistncia ou deficincia de sistemas de monitoramento para acompanhar as aes e programas governamentais no Brasil e os frequentes problemas de especificao de pesquisas de avaliao desses programas so males que acometem regularmente a gesto de programas pblicos no pas. No to comum encontrar, nos gabinetes e escritrios de gestores e tcnicos do setor pblico, especialmente em nvel estadual e dos grandes municpios, sistemas de monitoramento que permitam acompanhar, por meio de um conjunto consistente e atualizado de indicadores, a ao governamental, da alocao do gasto pblico ao impacto junto aos pblicos beneficirios. Muitos so os exemplos de pesquisas de avaliao que, mesmo motivadas

106

por preocupao legtima e meritria com a eficcia e efetividade do gasto pblico, revelam, infelizmente, resultados triviais, metodologicamente questionveis ou com baixa apropriao para reformulao dos programas. Este texto procura trazer alguma contribuio de natureza conceitual e metodolgica para ajudar a debelar os males apontados anteriormente; isto , para auxiliar na estruturao de sistemas de monitoramento e na especificao de pesquisas de avaliao que realmente se prestem ao objetivo de permitir o acompanhamento contnuo e aprimoramento efetivo da ao governamental e, portanto, a gesto de programas. Inicia-se com uma exposio do Ciclo de Formulao e Avaliao de Polticas Pblicas e Programas, para em seguida discutir como os sistemas de indicadores de monitoramento e as pesquisas de avaliao podem e devem se integrar naquele. Esse caminho escolhido parte da hiptese de que as dificuldades apontadas no monitoramento e avaliao de programas no Brasil e as frustraes da decorrentes so consequncia, em boa medida, de desenvolv-los seguindo modelos e prescries muito particulares e padronizados, sem a devida customizao que deveriam ter em funo do estgio de maturidade dos programas ou do momento do ciclo de vida em que eles se encontram , ou ainda de conduzi-los sem uma anlise prvia do grau de avaliabilidade dos programas e sem uma compreenso de que essas atividades se integram a processos mais amplos, e igualmente importantes, da gesto de programas. Forando um pouco o argumento para torn-lo mais claro ainda que em prejuzo do reconhecimento do esforo meritrio e do trabalho competente observado em diversos setores da administrao pblica brasileira , o fato que as lacunas de formao e o pouco domnio de conceitos e tcnicas no campo de monitoramento e avaliao, na comunidade de gestores, acabam trazendo problemas na especificao dos instrumentos de monitoramento e avaliao das aes governamentais. Isso leva s conhecidas frustraes com resultados to ansiosamente esperados e aos questionamentos sobre a utilidade dos estudos. Explicitando melhor a motivao para elaborao desse texto agora, sob o risco de simplificar demais a natureza e minimizar o alcance dos estudos avaliativos conduzidos por colegas pesquisadores nas universidades e centros de pesquisa no pas , a abordagem marcadamente disciplinar da pesquisa aplicada no campo, a sobrevalorizao de algumas abordagens e modelos especficos de avaliao, o desconhecimento do contexto de operao da ao pblica e da forma com que os resultados dos estudos podem ser usados mais efetivamente pelos gestores tambm contribui para conformao de tal quadro. Este texto procura, assim, em uma perspectiva modesta em substncia, mas comprometida no seu sentido pblico, contribuir para melhoria na especificao da demanda de instrumentos de monitoramento e pesquisa de avaliao por parte da comunidade de gestores pblicos e na estruturao dos servios a serem oferecidos pela comunidade de pesquisadores acadmicos e profissionais. Antes de passar a uma explicao mais detalhada de cada etapa desse ciclo, vale formalizar dois termos citados correntemente no texto polticas pblicas e programas. Isso importante para circunstanciar os limites do campo de dilogo estabelecido neste texto, j que avaliao de polticas pblicas e avaliao de programas pblicos so

107

termos muito imbricados, mas referem-se a contextos muito diferentes (em amplitude) da anlise da interveno estatal. Evitando entrar em uma discusso muito extensa sobre os diferentes significados do termo sistematizados em Villanueva (2006) poltica pblica , na definio de Nascimento (1991), o conjunto de decises tomadas por aqueles que detm competncia legal para deliberar em nome da coletividade as instituies de Estado visando soluo de um problema ou ao redirecionamento de uma tendncia, com a inteno de orientar sua evoluo para um fim estabelecido como o desejvel. Como esclarece Saravia (2006), em

[...] uma perspectiva mais operacional, poderamos dizer que ela [a poltica pblica] um sistema de decises pblicas que visa a aes ou omisses, preventivas ou corretivas, destinadas a manter ou modificar a realidade de um ou vrios setores da vida social, por meio da definio de objetivos e estratgias de atuao e da alocao dos recursos necessrios para atingir os objetivos estabelecidos (SARAIVA, 2006, p.29).

As decises que conformam tal poltica pblica distributiva, redistributiva ou regulatria; universal ou focalizada assumem diferentes formatos: podem ser enunciados de diretrizes estratgicas de governo, leis e decretos normativos, que especificam de forma mais clara e operacional tais diretrizes, criao de organizaes ou programas que vo conferir operacionalidade s diretrizes, leis e normas (VILLANUEVA, 2006). O programa pblico , pois, um dos instrumentos operacionais das polticas pblicas. Mais especificamente, trata-se de um conjunto sistmico de aes programadas e articuladas entre si, com objetivo de atender uma demanda pblica especfica, encampada na agenda de prioridades de polticas pblicas do Estado ou governo. Assim, um programa social um conjunto de atividades direcionadas para solucionar um problema vivenciado pela sociedade, no seu todo ou por grupos (ROSSI et al., 2004). Avaliao de polticas pblicas, ou melhor, anlise de polticas pblicas, termo preferido por Owen (2007), , pois, uma atividade muito mais ampla que a avaliao de programas. Trata do contexto poltico-social de surgimento da poltica, dos atores participantes. Volta-se mais ao esclarecimento de seu processo de construo do que da recomendao prtica de como aprimor-la, constituindo, na realidade, um campo de investigao mais propriamente acadmico que a perspectiva tcnica-profissional em que se realiza a avaliao de programas. Vale observar que h Programas, inclusive, com escopo temtico e escala de operao muito mais abrangente que o usual, revelando-se mais como um guarda-chuva de outros programas mais especficos. Outros programas podem ser projetos de curto alcance, ou atividades que visam produo de um produto ou servio finalstico ou da rea-meio. A discusso aqui empreendida suficientemente ampla para contemplar essas modalidades.

108

O Ciclo de Polticas Pblicas e Programas Nos manuais clssicos de Cincia Poltica, o processo de formulao de polticas pblicas tem sido apresentado recorrentemente pelo ciclo de etapas sucessivas (Policy Cycle), com mais ou menos estgios, como ilustrado no Diagrama 14. Em que pesem as crticas de longa data quanto forma simplificada com que esse diagrama apresenta o processo poltico e sua prpria veracidade emprica, a separao em etapas se presta aos objetivos de evidenciar, ao longo do processo, nfases diferenciadas no planejamento, operao ou avaliao dos programas. Justifica-se ainda para fins didticos e para orientar o recorte analtico na pesquisa acadmica na rea (NASCIMENTO, 1991). Nesse modelo, a primeira etapa Definio da Agenda Poltica (Agenda-Setting) corresponde aos mltiplos caminhos e processos que culminam com o reconhecimento de uma questo social como problema pblico e da necessidade da ao governamental para sua soluo; isto , a legitimao da questo social na pauta pblica ou agenda das polticas pblicas do pas, em determinado momento. A etapa seguinte Formulao de Polticas e Programas (Policy Formulation) referese aos processos e atividades relacionados construo de possveis solues, encaminhamentos e programas para lidar com a questo recm-legitimada na agenda. preciso, ento, em sequncia na Tomada de Deciso Tcnica-Poltica (Decision Making) , escolher o rumo a seguir, de ao efetiva ou no, decidindose por uma ou algumas das alternativas formuladas. A quarta etapa Implementao de Polticas e Programas ( Policy Implementation ) corresponde aos esforos de implementao da ao governamental, na alocao de recursos e desenvolvimento dos processos previstos nas alternativas e programas escolhidos anteriormente. Por fim, preciso analisar se os esforos empreendidos esto atuando no sentido esperado de solucionar o problema original etapa de Avaliao das Polticas e Programas (Policy Evaluation). necessrio avaliar se preciso realizar mudanas nos programas implementados para garantir sua efetividade; descontinu-los, se o problema deixou de compor a agenda; ou ento adapt-los a uma nova realidade, reiniciando o ciclo. oportuno registrar que a avaliao, enquanto etapa do ciclo, realiza-se aps a implementao. Trata-se de um momento de natureza mais reflexiva para continuidade ou no do programa. Distingue-se, portanto, das atividades de monitoramento e avaliao, que se realizam mediante os sistemas de indicadores e as pesquisas de avaliao, instrumentos investigativos que podem ser empregados a qualquer momento do ciclo, como discutido mais adiante. Denominar essa etapa decisiva do ciclo como de avaliao somativa talvez ajudasse a evitar o duplo sentido que o termo assume na rea.

109

Diagrama 1: O Ciclo de Polticas e Programas Pblicos

A agenda poltica corresponde ao conjunto de assuntos e problemas que os gestores pblicos e a comunidade poltica entendem como mais relevantes em dado momento e, no necessariamente, lista de preocupaes da sociedade ou destaques da imprensa (JANN; WEGRICH, 2007). Afinal, o reconhecimento de uma questo social como problema de governo ou Estado no um processo simples e imediato, que responde automaticamente s estatsticas disponveis, por mais reveladoras que sejam da gravidade da questo, quando comparada a outros pases ou a outros momentos do passado. No a vontade de um tcnico do setor pblico, um pesquisador acadmico ou governante eleito, com conhecimento emprico consistente da realidade ou viso ousada, que garante imediatamente sua incorporao na agenda formal de governo. Como coloca Parada (2006, p.73), no toda idea entra a la agenda. No todos temas de la agenda se convierten en programas. Quando existe a convico de que um problema social precisa ser dominado poltica e administrativamente, que ele se transforma em uma questo pblica (FREY, 1997). Se parece haver soluo tcnica vivel e factvel para determinada questo social, essa entra mais facilmente na agenda. Afinal, a estrutura do setor pblico, pelos mecanismos institucionais existentes e operantes, um ambiente que digere inovaes a seu prprio tempo e estilo1. H vrias interpretaes diferentes de como a agenda construda. Em todas as perspectivas, ela entendida como um processo coletivo e conflituoso de definio, como assinalam Howlett & Ramesh (2003). Vai sendo formada por meio de diferentes mecanismos de presso externa de grupos organizados em partidos polticos, sindicatos, associaes patronais, imprensa e outras instituies, pelas temticas por eles entendidas como relevantes; por iniciativa interna do governo e mobilizao social em funo de

110

compromissos assumidos nas eleies; pela atuao da burocracia pblica no encaminhamento das demandas setoriais etc. Os atores polticos so elementos catalisadores desse processo. Eles so diversos e possuem caractersticas distintas: polticos e burocratas; empresrios, trabalhadores/ sindicatos, servidores pblicos e os meios de comunicao (R UA , 1998). Grandes empresrios, individualmente ou por meio de seus lobbies (grupos de presso), encaminham suas demandas e pressionam os atores pblicos, nas decises governamentais, em favor de seus interesses. Outro ator poltico de grande importncia so os agentes internacionais, tais como o Fundo Monetrio Internacional (FMI), o Banco Mundial, a Organizao das Naes Unidas (ONU), a Organizao Mundial do Comrcio (OMC) etc; ou ainda os pases com os quais o Brasil mantm relaes polticas. Esses atores podem afetar no apenas a economia, como tambm a poltica interna do pas (RUA, 1998). Alm desses, os meios de comunicao so outros agentes importantes no processo de modo especial, a televiso, com difuso massificada em todas as camadas da populao pois dispem de recursos para influenciar a opinio pblica na formao das demandas (FREY, 1997). Enfim, as organizaes polticas partidos, sindicatos, grupos de interesse so fundamentais para que as demandas entrem na agenda poltica do governo e para que, l presentes, possam se transformar em aes e programas concretos. A amplitude da agenda poltica estaria condicionada tambm ao nvel de desenvolvimento econmico e tecnolgico do pas, j que tais fatores, ao viabilizar ganhos crescentes de produtividade na economia, permitiriam o atendimento de demandas de grupos de interesse organizados, pela ampliao da oferta, cobertura e diversidade dos servios sociais (CAREY, 2006). O ritmo de constituio de tal agenda de bem-estar social seria potencializado, em contextos de maior liberdade e participao poltica, com maior atuao de partidos polticos, sindicatos, imprensa e outros grupos de interesse. Os nveis de urbanizao e envelhecimento populacional tambm seriam outros condicionantes importantes para entender a formao da agenda poltica, pela visibilidade e concretude que conferem aos problemas sociais deles decorrentes. Na etapa da formulao da poltica, os problemas, propostas e demandas explicitados na agenda transformam-se em leis, programas e propostas de aes. Isto , a formulao de poltica envolve a busca de possveis solues para as questes priorizadas na agenda. Nesse momento, os elementos operacionais da poltica em questo precisam ser explicitados: diretrizes estratgicas, propostas de leis, decretos normativos, programas e projetos. Em uma viso simplificada e um tanto romntica e ingnua, como diria Charles Lindblom do processo, tais programas e propostas seriam elaborados pelo emprego de tcnicas gerais de planejamento de projetos; conhecimentos setoriais especficos; anlise de viabilidade poltica, de custo-benefcio ou custo-efetividade das solues; reviso crtica de experincias anteriores e boas prticas identificadas. Essas tarefas so conduzidas por tcnicos do setor pblico, com maior ou menor participao de consultores externos, seguindo orientaes emanadas de gestores pblicos no topo da hierarquia. Em funo da natureza do problema e orientao geral de governo, os programas propostos se classificariam em aes de cunho distributivo, redistributivo ou regulamentatrio (H OWLETT e RAMESH , 2003). Na realidade, essa fase no est to

111

desvinculada assim do cotidiano da poltica ou to isolada das influncias das propostas dos grupos de interesse, como se supe. Muitas vezes, as propostas de encaminhamento de solues chegam junto com as presses para introduzir a questo na agenda formal de governo. Se no, colocada a questo, h sempre atores com maior ou menor influncia na formatao dos possveis programas e aes (JANN; WEGRICH, 2007). Levantadas as diferentes alternativas para uma dada questo social, preciso escolher qual dever ser adotada. Enquanto que na definio da agenda poltica e formulao de programas a participao de agentes no pertencentes ao governo ou Estado desempenha papel central, a tomada de deciso envolve os gestores e tcnicos mais diretamente relacionados poltica ou ao programa. Esse o nus e o bnus do exerccio da atividade pblica. Isso no significa que outros agentes e atores no estejam ativos no processo, de modo a influenciar a deciso em um ou outro sentido, introduzindo legitimamente em muitos casos consideraes de ordem poltica em rotinas de cunho mais eminentemente tcnico. Como bem colocam Howlett & Ramesh (2003):

These actors can and do, of course, engage in various kinds of lobbying activities aimed at persuading, encouraging, and sometimes even coercing authoritative office-holders to adopt options of which they approve. However, unlike office-holders, those other actors have, at best, a voice in the decision-making process, but they do not have a vote per se (HOWLETT e RAMESH, 2003, p.163).

Chega ento o momento da implementao dos programas, projetos e aes pontuais ou mais abrangentes. A fase de implementao o momento em que a poltica pblica comea a ser executada, em que os recursos alocados comeam a se transformar em aes capazes de agir e mudar certa realidade. Aqui a poltica adquire uma concretude objetiva maior e, por isso, comea a revelar mais explicitamente as dificuldades de sua introduo e operao pelos agentes encarregados de por a mo na massa (NASCIMENTO, 1991). Trata-se da gesto das aes para fazer uma poltica sair do papel e funcionar efetivamente, compreendendo o conjunto de aes realizadas, por grupos ou atores de natureza pblica ou privada, para a consecuo de objetivos definidos. Envolve programao de atividades, previsionamento de recursos financeiros, alocao de recursos humanos, mobilizao de agentes, interlocuo com atores estratgicos, manejo dos mecanismos que assegurem a governabilidade das atividades e correo de cursos, caso se identifiquem obstculos ou surpresas no antecipadas. na avaliao ou melhor, na avaliao somativa que so confrontados os resultados esperados com os resultados alcanados. o momento em que se d um retorno etapa inicial de formulao, com correes no plano de ao, caso seja uma poltica de ordem contnua; ou quando se decide pelo encerramento da poltica. tambm uma etapa de verificao dos impactos desejados e indesejados. Trata-se de verificar os efeitos obtidos para deduzir consequncias indesejadas nas aes e programas futuros.

112

Como bem coloca Frey (1997), a avaliao imprescindvel para o desenvolvimento e a adaptao contnua das formas e dos instrumentos de ao pblica, o que pode ser denominado como a fase de aprendizagem poltica. O ciclo de polticas pblicas tal como descrito , certamente, um modelo idealizado, com aderncia bastante limitada ao cotidiano verificado no Brasil ou em outros pases. Como bem observa Saravia (2006, p.29), o processo de poltica pblica no possui uma racionalidade manifesta. No uma ordenao tranquila na qual cada ator social conhece e desempenha o papel esperado. Pelo que sugere Lindblom (2006), atualizao da agenda, formulao de polticas e programas, implementao e avaliao seriam estgios permanentes e concomitantes do processo poltico. A atualizao da agenda poltica e as inovaes dos programas seriam, de fato, muito mais incrementais e contnuas do que gostariam os gestores pblicos. Tampouco haveria, segundo Parada (2006, p.72), um momento de avaliao cabal das polticas e programas, sendo [...] ms habitual que cambien o se combinem com outras. Se ha llegado a decir que las polticas pblicas son imortales. Boa parte da crtica feita a esse modelo se refere ao fato de ele sugerir que a administrao pblica, seus gestores, os atores polticos e os tcnicos atuem de forma bastante sistemtica e cooperativa, como se estivessem todos envolvidos na resoluo de um problema consensualmente percebido, empregando mtodos racionais e objetivos na busca da soluo, de acordo com uma sequncia linear de etapas bem delineadas. Como diria Lindblom (2006), mais uma vez, o imperativo da racionalidade tcnica no processo, a anlise exaustiva dos problemas, a busca de solues timas e a crena no poder revelador e conciliador do discurso tcnico-cientfico to presente nos rgos de planejamento pblico no seriam empiricamente constatveis, nem factveis e muito menos desejveis. Na realidade, a formulao de polticas configura-se como um processo que envolve a interao de muitos agentes, com diferentes interesses. marcada por apoios entusiasmados de alguns, resistncias legtimas ou no de outros. Est repleta de avanos e retrocessos, com desdobramentos no necessariamente sequenciais e no plenamente antecipveis. Como observam Jann & Wegrich (2007):

Policy process rarely features clear-cut beginnings and endings. At the same time, policies have always been constantly reviewed, controlled, modified and sometimes even terminated; policies are perpetually reformulated, implemented, evaluated and adapted. Moreover, policies do not develop in a vacuum, but are adopted in a crowded policy space that leaves little space for innovation [] (JANN; WEGRICH, 2007, p.44-45).

Contudo, na viso de Howlett & Ramesh (2003), esse modelo de representao tem a grande virtude de facilitar o entendimento do processo complexo de interao de diversos agentes, nos mltiplos estgios por que passa a formulao de polticas pblicas,

113

oferecendo um marco metodolgico geral para anlises isoladas de cada etapa do processo ou das relaes de cada uma com as demais, frente ou jusante. Esse modelo seria tambm suficientemente geral para ser aplicado no entendimento do processo na maioria dos mbitos e contextos de formulao de polticas e programas em nvel federal, estadual, local e mesmo setorial. Jann & Wegrich (2007) acrescentam ainda que o sucesso e a resilincia desse modelo clssico s crticas de pesquisadores acadmicos que ele parece como um modelo prescritivo ideal a ser adotado, em que gestores eleitos governam com corpos burocrticos com boa capacidade de diagnstico de problemas, com posturas ativas e inovadoras na formulao de programas, operando com racionalidade tcnica na tomada de decises, com controle efetivo das atividades na implementao dos programas pblicos e objetividade na avaliao desses. Os sistemas de indicadores de monitoramento no Ciclo de Polticas e Programas A preocupao com a construo de indicadores de monitoramento da ao governamental to ou mais antiga que a prpria avaliao de programas pblicos, se forem consideradas as medidas de performance mais geral do setor pblico baseadas na entrega de obras e produtos e na computao de indicadores de custos de servios, a partir da execuo oramentria. Como registram Mcdavid e Hawthorn (2006) em livro que procura oferecer uma viso integrada entre avaliao de programas e medio do desempenho governamental:

While we have tended to situate the beginnings of performance measures in the United States, in the 1960s, with the development of performance management systems such as programmed planned budgeting systems (PPBS)[] there is good evidence that performance measurement and reporting was well-developed in some American local governments early in the 20th century (MCDAVID; HAWTHORN, 2006, p.283). Os autores citam as iniciativas de alguns governos locais nos EUA, antes da 2 Guerra Mundial, na elaborao de relatrios com computao regular de medidas de eficincia dos servios pblicos ento oferecidos, como a construo e manuteno das ruas e rodovias, distribuio de gua e recolhimento de lixo. Os produtos e servios disponibilizados pelo setor pblico municipal eram bastante simples e tangveis, assim como a contabilizao dos custos para sua produo. Mas a introduo das tcnicas de programao oramentria por programas no Governo Kennedy que marcaria um momento de maior aprimoramento na medio do desempenho expresso por indicadores de eficincia e efetividade na esfera federal americana. Ao propor a estruturao do oramento segundo conjunto de atividades e programas afins agora bem mais complexos que os oferecidos pelos municpios na primeira metade do sculo XX e no segundo as agncias e organizaes que as

114

executavam, esperava-se conseguir apurar resultados e custos mais consistentes dos servios pblicos disponibilizados e, portanto, medidas de eficincia mais precisas (MCDAVID; HAWTHORN, 2006). Em que pesem o fracasso na implementao do oramento-programa na vinculao entre recursos-produtos em nvel de programas, e o contexto de crise fiscal do estado, comentam os autores que a orientao voltada medio dos resultados ganhou fora nos anos 1970 e na dcada seguinte, Os governos conservadores desse perodo em especial na Inglaterra, com Tatcher, e nos EUA, com Reagan imprimem reformas no setor pblico, que vieram a ser conhecidas como o movimento da Nova Administrao Pblica, preconizando a adoo de instrumentos de controle e gesto de resultados do setor privado. Sem entrar na discusso acerca dos excessos, limitaes e aspectos meritrios de tal movimento debate esse j empreendido no Brasil por vrios autores, com muito mais competncia, autoridade e espao, do que o disponvel para este texto , o legado de preocupao com a transparncia e responsabilizao pblica criou oportunidades para aprimoramento da gesto de programas, seja para a estruturao de sistemas de indicadores de monitoramento, seja para a realizao das pesquisas de avaliao. Neste tpico do texto, discute-se o primeiro desses instrumentos de gesto: os sistemas de monitoramento. O modelo idealizado de ciclo de vida de polticas e programas apresentado anteriormente uma referncia conceitual interessante para ilustrar como os sistemas de indicadores de monitoramento podem ser estruturados e como as pesquisas de avaliao podem ser especificadas de forma a potencializar seu emprego na gesto dos programas. A proposta bsica desta seo mostrar a importncia de se dispor de indicadores relevantes e periodicamente atualizados para acompanhar as atividades e a produo de servios dos programas, que permitam corrigir desvios, reprogramar atividades ou mesmo especificar pesquisas de avaliao para entender por que determinados processos no esto se encaminhando no sentido idealizado originalmente. Como discutido em texto anterior2, as atividades de cada etapa do ciclo apoiamse em um conjunto especfico de indicadores. Na definio da agenda, os indicadores so recursos valiosos para dimensionar os problemas sociais, servindo como instrumentos de advocacy e presso de demandas sociais no satisfeitas. Indicadores produzidos pelas instituies oficiais de estatsticas sobretudos os computados a partir de censos demogrficos e pesquisas amostrais regulares prestam-se bem a esse papel, pela legitimidade que gozam perante diferentes pblicos. No Brasil, o relatrio Sntese de Indicadores Sociais, publicado anualmente pelo IBGE, uma referncia importante nesse sentido, provocando grande interesse na mdia quando de sua divulgao3. O ndice de Desenvolvimento Humano (IDH) computado para pases, municpios, mulheres e negros outro bom exemplo de como uma medida simples pode mobilizar os veculos de comunicao e recolocar anualmente o debate sobre desigualdade social e os impactos das polticas pblicas na mdia e nas esferas de governo4. Na elaborao dos diagnsticos para formulao de programas, os indicadores so imprescindveis para qualificar os pblicos-alvo, localiz-los e retrat-los de modo to

115

amplo e detalhado quanto possvel. preciso adequar as intervenes s caractersticas e necessidades dos demandantes dos programas. De modo geral, na elaborao de diagnsticos socioeconmicos propositivos para programas pblicos empregam-se indicadores de vrias reas temticas analticas ou de atuao governamental. Para desenvolver programas no campo da educao bsica, por exemplo, preciso conhecer no apenas as condies de acesso escola, a infraestrutura escolar, o desempenho dos alunos, mas tambm aspectos relacionados s condies de vida dos estudantes, como moradia, nvel de pobreza e rendimento familiar, acesso a servios de sade, escolaridade dos pais, fatores esses que certamente podem afetar ou potencializar as aes programticas especficas5. Indicadores construdos a partir dos censos demogrficos so particularmente teis nessa fase, pela amplitude do escopo temtico investigado e pela possibilidade de desagregao territorial ou por grupos sociodemogrficos especficos. O Censo Demogrfico 2010 potencializar ainda mais essas duas caractersticas escopo e desagregabilidade , constituindo-se em marco importante para reavaliao das demandas sociais da populao brasileira, nesse momento de ampliao da estrutura de proteo social no pas. Na seleo de alternativas programticas idealizadas para atender questo pblica colocada na agenda e eleger prioridades de interveno, preciso dispor de indicadores que operacionalizem os critrios tcnicos e polticos definidos. Indicadores sintticos, como o j citado ndice de Desenvolvimento Humano, o ndice de Desenvolvimento da Educao Bsica, o ndice da Pegada Humana (Footprint Index) ou as classificaes geradas por tcnicas de anlise multicritrio podem ser teis para apoiar decises nessa fase do ciclo, como discutido em Scandar et al. (2006) e Jannuzzi et al. (2009) 6. Para acompanhar a implementao dos programas e, posteriormente, para gesto, quando eles entrarem em plena operao, so necessrios indicadores que permitam acompanhar regularmente as aes programadas, do previsionamento e alocao do gasto produo dos servios e, idealmente, aos eventuais resultados e impactos esperados quando da idealizao dos programas. So os indicadores que estruturam processos formais de monitoramento, entendido, nas palavras de Coutinho (2001, p.11) como um processo sistemtico e contnuo que, produzindo informaes sintticas e em tempo eficaz, permite rpida avaliao situacional e a interveno oportuna que confirma ou corrige as aes monitoradas. Dispostos em painis ou em sistemas informatizados, os indicadores de monitoramento devem ser atualizados com regularidade e tempestividade adequada tomada de deciso. Idealmente, esses indicadores devem ser especficos e sensveis s aes programadas, a fim de se tornarem, de fato, teis para inferir se o programa est sendo implantado conforme planejado ou para permitir as correes de rumo (aspectos que s podero ser comprovados mais precisamente por meio de pesquisas de avaliao especficas, durante ou aps a implantao). Para isso, esses painis ou sistemas de indicadores de monitoramento devem se valer dos dados continuamente atualizados nos cadastros e registros administrados pelos gestores e operadores envolvidos nos programas. Devem estar interligados aos

116

sistemas informatizados de gesto do programa, no qual so registrados atendimentos prestados, informaes dos agentes que o operam, caractersticas dos beneficirios, processos intermedirios, que produziro os efeitos idealizados pelo programa. Diferentemente do que se passa nas pesquisas de avaliao, na estruturao de sistemas de monitoramento no se prev levantamentos primrios de dados. Pode ser necessrio criar rotinas de coleta de dados que operem fora dos crculos normais de produo de servios dos programas, mas preciso fazer esforos para aproveitar as informaes geradas no mbito de operao cotidiana dos programas. A criao de mais uma rotina para registro de informao, pelo beneficirio do programa ou pelo agente envolvido na implementao, pode implicar atrasos indesejados e, pior, declaraes mal preenchidas que acabam no se prestando sua finalidade original. Vale observar que, em geral, as informaes compiladas e enviadas para atualizao dos registros de acompanhamento do Plano Plurianual, no Ministrio do Planejamento, Oramento e Gesto, so somente a ponta do iceberg de dados armazenados em planilhas eletrnicas e gavetas nos escritrios da administrao pblica. Alis, curioso que, nas mdias e altas gerncias do setor pblico prefeituras, secretarias de estados ou ministrios , reclame-se de falta de informao para gesto em meio a tanta informao continuamente produzida nas unidades de prestao de servios pblicos (escolas, postos de sade, delegacias, centros de referncia da assistncia social, postos de intermediao de mo de obra, agncias do INSS etc). Para superar esse paradoxo da escassez na abundncia, preciso aprimorar os processos de gesto da informao nos escritrios em que se planejam e coordenam as polticas e programas pblicos. Os fluxos de informao, os processos de tratamento, validao, classificao e, naturalmente, de armazenamento precisam ser pensados de forma articulada, valendo-se de aplicativos e ferramentas de integrao de dados (e no dos custosos em planejamento, tempo dinheiro sistemas informatizados de 4, 5 ou ensima gerao propostos por consultorias experientes em automao de processos na iniciativa privada, mas pouco conhecedoras da complexidade operacional da gesto de programas pblicos). possvel que algumas informaes produzidas pelas agncias estatsticas no caso brasileiro, o IBGE, o Datasus, o Inep, entre outros7 possam ser teis para a construo de indicadores de monitoramento de programas, sobretudo de natureza universal ou com pblico-alvo numeroso. Em geral, essas fontes proveem informaes para avaliaes de polticas ou para um conjunto de polticas e macroaes governamentais mais adequadas para composio de mapas estratgicos da ao governamental e no para os propsitos de monitoramento de programas especficos, em funo da escala territorial de desagregao dos dados ou do tempo que levam para serem produzidas. Esse quadro pode mudar para melhor com as transformaes anunciadas nas pesquisas amostrais do IBGE para a dcada de 2010, com maior integrao conceitual, maior possibilidade de incorporao de temas suplementares, ampliao e adensamento da amostra pelo interior do pas. No s se poder dispor de um escopo mais amplo de estatsticas e indicadores sociais divulgados mais regularmente ao longo do ano, como tambm referidos para domnios territoriais e grupos sociodemogrficos bem mais diversos. Aos indicadores mensais de emprego, hoje restritos s seis principais regies metropolitanas, somar-se-

117

o muitos outros indicadores educacionais, habitacionais, de rendimentos etc. divulgados em base trimestral (semestral ou anual) para todos os estados brasileiros. Mediante o emprego de mtodos estatsticos avanados, usando informao combinada dessas pesquisas com outras fontes de dados, pesquisadores de centros de anlise de polticas pblicas e universidades podero estimar indicadores sociais com bom grau de preciso para domnios territoriais ainda mais especficos8. De qualquer forma, as informaes estatsticas mais gerais so teis para que se possam disponibilizar alguns indicadores de contexto socioeconmico no mbito do sistema de monitoramento. Afinal, todo sistema aberto, como so os programas pblicos, est sujeito aos efeitos de fatores externos, que podem potencializar ou atenuar resultados. Sistemas de indicadores de monitoramento de programas de qualificao profissional, por exemplo, devem dispor de indicadores de mercado de trabalho e de produo econmica como informaes de contexto, pelos impactos que uma conjuntura econmica menos ou mais favorvel pode ocasionar na operao do programa. Como alternativa ou complemento s pesquisas estatsticas oficiais, possvel construir indicadores de contexto ou mesmo de monitoramento de programas, a partir dos registros administrativos de programas de grande cobertura populacional como o Cadastro nico de Programas Sociais do Ministrio de Desenvolvimento Social e Combate a Fome; a Relao Anual de Informaes Sociais e o Cadastro Geral de Empregados e Desempregados do Ministrio do Trabalho; e o Cadastro Nacional de Informaes Sociais do INSS/Ministrio da Previdncia. Naturalmente, os registros de provimento e execuo oramentria do Sistema Integrado de Administrao Financeira do Governo Federal (Siafi) tambm so importantes fontes de informao para construo de indicadores de monitoramento (sobretudo porque permitem computar indicadores de regularidade de repasse de recursos, dimenso crucial para programas que envolvem diversas aes intermedirias para viabilizar a consecuo das atividades mais finalsticas). Vale registrar que os ministrios responsveis pela gesto desses cadastros tm feito esforos importantes com o objetivo de disponibilizar as informaes neles depositadas para pesquisadores e pblico em geral9. Um bom sistema de indicadores de monitoramento no necessariamente composto de grande quantidade de informao, mas sim um sistema em que a informao foi selecionada de diferentes fontes e est organizada de forma sintetizada e mais adequada ao uso analtico pelos diferentes gestores (Diagrama 2). preciso encontrar um ponto de equilbrio entre o caos informacional, potencialmente gerado pela estruturao de sistemas de monitoramento construdos de baixo para cima (em que participam inicialmente tcnicos e gestores da base e depois de nveis tticos e mais estratgicos), e a pobreza analtica das propostas desenvolvidas de cima para baixo. Um sistema de indicadores de monitoramento no um sistema de gesto operacional do programa, que prov acesso aos incontveis registros dirios e individuais de operao de convnios, prestao de servios, recursos transferidos, projetos e atividades concludas. Um sistema de monitoramento vale-se do(s) sistema(s) de gesto dos programas para buscar informaes, integr-las segundo unidades de referncia comum (municpio, escola etc.), sintetiz-las em indicadores e conferir-lhes significado analtico. Ao apresentar informaes sintetizadas

118

na forma de indicadores, que podem ser analisados no tempo, por regies e pblicosalvo, ou que podem ser comparados com metas esperadas, os sistemas de monitoramento permitem ao gestor avaliar se os diversos processos e inmeras atividades sob sua coordenao esto se somando no sentido preconizado. Um sistema de monitoramento no , pois, um conjunto exaustivo de medidas desarticuladas, mas uma seleo de indicadores de processos e aes mais importantes. Um sistema que no prov acesso orientado s centenas de indicadores disponveis talvez no se preste ao propsito de monitoramento (ainda que possa ser til como base de dados para estudos avaliativos a posteriori ). Tambm no se presta ao monitoramento um sistema em que a informao no est organizada segundo o nvel de relevncia operacional-estratgica do gestor usurio. Ao gerente de processos operacionais bsicos, deve estar disponvel a informao essencial para o bom desempenho das atividades de seus coordenados. Ao gestor mais estratgico, devem estar disponveis indicadores que lhe permitam acompanhar os macroprocessos segundo o modelo lgico do programa. Diagrama 2: Integrao de informaes de diferentes fontes na estruturao de um Sistema de Indicadores de Monitoramento

Para um e para outro gestor os indicadores devem ser os pertinentes a sua esfera de deciso, ajustados referncia temporal e territorial que lhes compete e interessa. As novas ferramentas de integrao de dados permitem construir painis de indicadores de forma customizada, permitindo, inclusive, acesso a informao mais detalhada se assim o gestor o desejar. Pode-se construir painis em camadas explicativas, isto , organizando indicadores segundo uma estrutura nodal, em que um primeiro conjunto reduzido de indicadores estratgicos seja acompanhado de um segundo conjunto mais amplo de indicadores mais especficos, que ajudem a entender o comportamento e evoluo dos primeiros, e assim por diante. Na realidade trata-se de um sistema de monitoramento que rene informaes sintticas para anlise de tendncias gerais

119

das atividades estratgicas- e informaes analticas para entendimento mais aprofundado das tendncias observadas. A proposta de acompanhamento das Metas de Incluso Social nos pases da Comunidade Europia segue essa lgica de estruturao, dispondo os indicadores em trs painis articulados (ATKINSON et al. 2005): Nvel 1: conjunto restrito de indicadores-chave (lead indicators) cobrindo as dimenses consideradas mais importantes para a acompanhar a excluso social Nvel 2: indicadores complementares em cada dimenso que ajudam a interpretar cada um dos indicadores-chave Nvel 3: indicadores que cada pas membro decidir incluir para acompanhar as especificidades nacionais e que ajudem a entender os indicadores do nvel 1 e 2 Tal proposta de organizao de indicadores vem acompanhada de algumas premissas bsicas para escolha dos mesmos, que parece oportuno resgatar nesse texto, pois podem ser teis em outras aplicaes (Quadro 1). Vale tambm registrar que tal escolha deveria se orientar tambm pela anlise da aderncia dos indicadores s propriedades de relevncia social, validade de constructo, confiabilidade, periodicidade, sensibilidade s mudanas, especificidades das aes programadas, como discutido em Jannuzzi (2005). Quadro 1: Premissas para escolha de indicadores de monitoramento da Incluso/ Excluso Social na Comunidade Europia

O conjunto de indicadores no pode se pretender exaustivo e deve ser equilibrado entre

as dimenses da excluso social (sade, educao, moradia etc). Um conjunto muito amplo de indicadores leva a perda de objetividade, perda de transparncia e credibilidade

Os indicadores devem ter uma interpretao normativa claramente definida (Para

monitorar a excluso social a taxa de desemprego cumpre tal requisito; um indicador de produtividade do trabalho no)

Os indicadores devem ser mutuamente consistentes, isto , no devem sugerir

tendncias inconsistentes ( indicadores de desigualdade como o ndice de Gini e a Proporo de Massa Salarial Apropriada podem ter comportamentos diferentes ao longo do tempo, j que medem aspectos distributivos diferentes)

Os indicadores devem ser intelegveis e acessveis a toda a sociedade. So preferveis

medidas simples, de fcil entendimento. Deve-se resistir s simplificaes indevidas (indicadores sintticos) O documento Guia metodolgico para construo de indicadores do PPA (MPO, 2009), elaborado pelo Ministrio do Planejamento, outra referncia importante para especificao de sistemas de indicadores de monitoramento de programas, pela extensa reviso bibliogrfica empreendida na sua elaborao, pela preocupao em incorporar aspectos de propostas desenvolvidas em outros estados e contextos do setor pblico brasileiro, pelo experincia de mais de 10 anos na elaborao de Planos Plurianuais no Governo Federal, e pela preocupao com clareza na exposio de conceitos, etapas e fontes de dados.

120

Se o programa foi especificado segundo as boas prticas e tcnicas de planejamento de projetos deve haver um desenho lgico de encadeamento de atividades e etapas. Tal sistema deve conseguir oferecer evidncias acerca da execuo do gasto, da produo, eficincia e qualidade dos servios, do consumo e usufruto por parte do pblico-alvo e, se possvel, antecipar dimenses impactadas pelo programa. Isto , um bom sistema de monitoramento deve prover indicadores de insumo, processo, resultado e possveis impactos do programa. Exemplificando, tal sistema deve permitir monitorar, simultaneamente, o dispndio realizado por algum tipo de unidade operacional prestadora de servios ou sub-projeto; o uso dos recursos humanos, financeiros e fsicos; a gerao de produtos e a percepo dos efeitos gerados pelos programas. Em Rezende e Jannuzzi (2008) apresentado um exemplo de Painel de Indicadores de Monitoramento do PDE- Plano de Desenvolvimento da Educao estruturado na lgica insumo- processo- resultado- impacto. Na dimenso insumo deu-se prioridade aos indicadores voltados para o financiamento da educao; para a dimenso processo foram definidos indicadores que pudessem ser produzidos com certa regularidade e que estivessem relacionados ao processo de ensino-aprendizagem, como percentual de docentes com nvel superior, percentual de alunos atendimento por turno integral, entre outros; como medida de resultados, os indicadores de proficincia da Prova Brasil, defasagem idade-srie e taxa de abandono; como apontamentos de impactos potenciais, o ingresso de jovens no ensino superior1. A compilao de indicadores e de programas organizada pela Secretaria de Avaliao e Gesto da Informao do Ministrio de Desenvolvimento Social e Comate Fome DIC-VIP um produto til para servir como referncia estruturao de sistemas de monitoramento de programas nessa perspectiva processual, no apenas no mbito do Ministrio, mas para de outros setores da Administrao Pblica2. Em geral, h maior disponibilidade de indicadores de processos, que espelham os esforos e produtos gerados nas aes programadas, para os quais h registros formais e maior controle operacional pelos gestores. Ainda assim, em alguns casos possvel que se possa dispor, no painel de monitoramento de indicadores de resultados e impactos junto ao pblico-alvo dos programas, buscando informaes nos registros e cadastros pblicos citados anteriormente. No caso do Sistema de Indicadores de Monitoramento de Programas de Qualificao Profissional, ilustrado a pouco, seria possvel dispor de alguma medida de impacto do programa, com a integrao de informaes cadastrais dos trabalhadores qualificados com os dados da RAIS ou mesmo do Cadnico, mediante o uso do Nmero de Identificao do Trabalhador ou do CPF (de fato, procedimentos anlogos so usados correntemente pelo Ministrio do Desenvolvimento Social para fins de fiscalizao na concesso de benefcios do programa Bolsa-Famlia para famlias cadastradas no programa). Com o avano da informatizao no setor pblico brasileiro possvel, tambm obter informaes referidas a unidades de prestao de servios muito especficas (em tese, ao nvel de escolas, hospitais, postos policiais etc), com boa periodicidade de atualizao (frequncia escolar mensal, atendimentos ambulatoriais semanais etc. ), o que permitiria a construo de indicadores de monitoramento referidos ao contexto de vivncia dos

121

beneficirios de programas e ao tempo adequado de tomada de deciso. De fato, projetos sociais de alcance local tm recorrido busca peridica de informaes nesses postos de prestao de servios pblicos como estratgia de monitorar resultados e impactos de sua ao. Centros de promoo de cursos de artesanato, atividades culturais e esportivas voltados reintegrao social de jovens em comunidades muito violentas, projetos que vieram a surgir com freqncia nos ltimos anos, pela ao direta de prefeituras ou organizaes filantrpicas, podem ter seus resultados e impactos inferidos pelo eventual aumento das taxas de freqncia escola, diminuio dos atendimentos ambulatoriais decorrentes de ferimentos ou das ocorrncias policiais envolvendo jovens, entre outras informaes coletadas localmente. Naturalmente, nos dois casos aqui exemplificados programa de Qualificao Profissional e projeto social de reintegrao social de jovens- os indicadores citados podem estar sendo afetados por outros fatores conjuntura mais favorvel do mercado de trabalho, no primeiro caso, policiamento mais ostensivo, no segundo- e no propriamente pela excelncia do programa ou projeto. No seriam, pois, exatamente indicadores de impacto, mas talvez indicaes potenciais de impacto, que para efetiva atribuio ou vinculao causal com o programa ou projeto requereriam uma pesquisa de avaliao especfica. Diferentemente dessas ltimas, em que a investigao da atribuio de um efeito a um programa pode ser uma questo a avaliar, para inferncia a posteriori, em sistemas de monitoramento assume-se, a priori, acreditando-se na validade do desenho de implementao, a vinculao de aes (e de seus indicadores) com os resultados (na forma como podem ser medidos pelas informaes geradas pelo programa e outras fontes secundrias de baixo custo de aquisio). (MCDAVID; HAWTHORN 2006). Indicadores de eficincia, produtividade na prestao dos servios e de qualidade de produtos disponibilizados, como proxies de eficincia e eficcia dos programas, tambm deveriam constar da matriz de indicadores de monitoramento. Em programas de Qualificao Profissional, por exemplo, com base nos registros de operao dos prprios programas possvel computar indicadores como custo de formao por aluno, nmero mdio de alunos formados por entidade credenciada, taxa de freqncia ou abandono de qualificandos. H quatro sistemas de macro-acompanhamento de programas- Siga Brasil do Senado, Matriz de Informao Social-MIS- da Sagi/MDS, Sim-Trabalho da Secretaria de Emprego e Relaes do Trabalho de So Paulo e o Agenda 2012 da Prefeitura de So Paulo, que podem ilustrar algumas dos aspectos estruturantes aqui apresentados. No so propriamente sistemas de indicadores de monitoramento para gestores de programas, mas sim ferramentas para consulta e acompanhamento de programas pblicos por parte do cidado, j que esto franqueados aos usurios da Web. O Siga Brasil3 permite acesso a dados e indicadores histricos sobre a execuo oramentria do Governo Federal, ao nvel de programas, para estados e municpios. A MIS4 rene um conjunto amplo de dados de contexto e indicadores de programas federais, de interesse a gestores e pesquisadores da rea de Assistncia Social. O SIM-Trabalho5 um sistema voltado a elaborao de diagnsticos para especificao de planos locais de qualificao profissional permitindo tambm acesso a informaes sobre a execuo de programas

122

de intermediao de mo de obra e micro-crdito. A Agenda 20126 um portal de comunicao da Prefeitura de So Paulo quanto evoluo das metas de gesto, nas vrias secretarias, por distritos e subprefeituras, com atualizao semestral. Como j assinalado, um bom sistema de monitoramento deve permitir a anlise comparativa dos indicadores ao longo do tempo e para distintas unidades de prestao dos servios ou atendimento do programa, assim como em relao a padres normativos de referncia. A anlise da evoluo dos indicadores, de seus avanos, retrocessos e permanncias permitem identificar falhas operativas do programa, ainda que no a explicao das mesmas, em geral. Essa uma diferena bsica entre os sistemas de monitoramento e as pesquisas de avaliao: os primeiros, ao assumir que existe uma lgica de encadeamento de atividades, delineiam comportamentos esperados aos indicadores; nas pesquisas de avaliao, alertados pelos desvios no esperados na evoluo dos indicadores, buscam-se as explicaes valendo-se dos mtodos e tcnicas da Pesquisa Social (MCDAVID; HAWTHORN, 2006). No exemplo acima, se um gestor precisar entender porque a taxa de abandono de alunos em cursos de qualificao em uma dada localidade ou em uma instituio est aumentando talvez ele consiga alguma interpretao para a situao em seu prprio sistema de monitoramento, se este for um sistema que dispe de informaes analticas, alm de sintticas. Pode ser que haja indicadores de contexto que mostrem forte aumento das vagas no mercado de trabalho regional (da a evaso). A extrao de informaes desse sistema para um pacote estatstico ou aplicativo de minerao de dados pode permitir aos gestor refinar sua hipteses, se ele dispuser de conhecimento ou consultoria especializada no uso das ferramentas7. Ou talvez ele tenha nenhuma pista adicional e busque uma explicao com o dirigente da instituio ou gestor responsvel pela rea. o que Worthern et al. (2004,p.38) classificam como avaliao informal, que ocorre sempre que uma pessoa opta por uma entre vrias alternativas existentes, sem antes ter coletado evidncia formal do mrito relativo dessas alternativas. Embora no seja pautada em procedimentos sistemticos, estas avaliaes nem sempre ocorrem no vcuo.

A experincia, o instinto, a generalizao e o raciocnio podem, todos eles, influenciar o resultado das avaliaes informais, e qualquer desses fatores, ou todos eles, pode ser a base de bons julgamentos (WORTHERN et al. 2004, p.38).

Se o seu conjunto de indicadores de monitoramento no lhe permite chegar a explicaes satisfatrias, se suas estratgias de visitao ou contato informal no lhe agregam evidncias convincentes, ou se o processo de evaso ganha dimenses preocupantes em algumas reas e no em outras, talvez seja o momento do gestor pensar em encomendar uma Pesquisa de Avaliao.

123

As Pesquisas de Avaliao no Ciclo de Polticas e Programas O fato de se denominar de Avaliao a fase posterior Implementao de Programas no Ciclo de Polticas e Programas cria uma distino artificial entre as atividades de monitoramento exercida com base nos Sistemas de Indicadores descritos no tpico anterior e as atividades de realizao de Pesquisas de Avaliao, que podem ser realizadas a qualquer momento do ciclo. Na realidade, Monitoramento e Avaliao de Programas so ambos termos cunhados para designar procedimentos tcnicos formais de acompanhamento de programas, focados na anlise da eficincia, eficcia e efetividade dos mesmos, visando aprimoramento da ao pblica (COHEN; FRANCO 2000). Monitoramento e Avaliao so processos analticos organicamente articulados, complementado-se no tempo, com o propsito de subsidiar o gestor pblico com informaes mais sintticas e tempestivas sobre a operao do programa -resumidas em painis ou sistemas de indicadores de monitoramento- e informaes mais analticas sobre o funcionamento do mesmolevantadas nas pesquisas de avaliao. Como bem conceitua documento do Tribunal de Contas da Unio:

O monitoramento e avaliao dos programas de governo so ferramentas essenciais para a boa prtica gerencial. A avaliao um procedimento que deve ocorrer em todas as etapas permitindo ao gestor federal o acompanhamento das aes e sua reviso e redirecionamento quando necessrio. Enquanto o monitoramento uma atividade gerencial interna, que se realiza durante o perodo de execuo e operao, a avaliao pode ser realizada antes ou durante a implementao, como ao concluir uma etapa ou projeto como um todo, ou mesmo algum tempo depois, devendo se preocupar com o impacto provocado pela interveno pblica em seus beneficirios (TCU, 2006, p. 75).

As tipologias clssicas usadas para classificar as pesquisas de avaliao tambm acabam tambm favorecendo alguma confuso, como por exemplo considerar monitoramento como avaliao de processo. Esta ltima aquela realizada quando se requer avaliar as atividades de Implementao dos programas, a extenso de cobertura do pblico-alvo atendido, a qualidade dos servios oferecidos ou ainda entender as dificuldades que esto emperrando a efetiva operao do programa, em contraposio pesquisa de avaliao de resultados e impactos realizada idealmente depois de resolvidos os problemas de gesto, quando se requer, j na fase de Avaliao do Ciclo, uma resposta cabal s perguntas: o problema social que originou o programa foi equacionado? Qual a contribuio desse programa para isso? O programa deve continuar, ser expandido ou ser descontinuado? (CARVALHO, 2003).

124

Cohen e Franco (1994) as classificam, respectivamente, de avaliao formativa e avaliao somativa. Estas ltimas seriam avaliaes do tipo ex-post, que por sua vez seriam distintas da avaliaes ex-ante , destinadas a estudos de necessidade e viabilidade de criao de um programa. Worthern et al (2004) resgatam outra classificao clssica,diferenciando as pesquisas de avaliao segundo seus protagonistas: avaliao interna, conduzida pela equipe do programa; a avaliao externa, realizada por equipe de consultores externos contratados; a avaliao mista, que prev a interao dos dois grupos; e a avaliao participativa, construda juntamente com os beneficirios dos programas (que tambm contribuem para o planejamento do mesmo). Cada modalidade tem vantagens e limitaes: se a avaliao externa parece permitir um olhar externo no enviesado e comprometido com a continuidade do programa, conferindo maior iseno anlise (supondo que os consultores so absolutamente profissionais, no preocupados com as chances de contratao em uma a prxima demanda de avaliao); a avaliao interna, a mista e a participativa parecem permitir aportes mais circunstanciados na anlise dos processos e resultados, alm de facilitar a incorporao de melhorias na gesto do programa objetivo ltimo da avaliao. Avaliaes internas podem ser rpidas e baratas, ao contrrio das outras modalidades. Avaliaes participativas podem viabilizar aprimoramentos mais efetivos. Uma tipologia de pesquisas avaliativas particularmente interessante, face sua aderncia o Ciclo de Polticas e Programas j exposto, proposta por Rossi et al (2004) (Diagrama 3). Para esses autores, os estudos avaliativos deveriam compor um programa de investigao completo, seguindo a lgica implcita do ciclo de vida dos Programas: antes de mais nada seria preciso analisar a pertinncia do programa na Agenda de Polticas Pblicas (Needs Assessment), investigando se o programa responde a uma demanda social efetivamente existente (o que se proporia a avaliao ex-ante de Cohen e Franco (1994). Se o programa tiver razo de existir porque procura responder a uma demanda pblica de fato, e no a uma necessidade de auto-preservao de uma estrutura organizacional criada em algum momento do passado, deveria se investigar a teoria ou modelo de interveno em que o programa se assenta (Design Assessment). Afinal este o melhor desenho lgico de interveno, no quadro de relaes institucionais prevalecente entre as esferas de governo? Frente s distintas capacidade de gesto e controle social pelo pas afora? Respondidas essas questes, faria sentido ento investigar o processo de implementao do programa (Program Process Assessment), e se constatada a inexistncia de graves problemas quanto entrega dos servios ao pblico-alvo, faria sentido avaliar impactos e resultados do programa (Impact Assessment). Ao final, tendo-se constatado que o programa socialmente justificvel, conta com um desenho de implementao adequado, com procedimentos operacionais bem estabelecidos e com resultados efetivamente comprovados, passaria-se para a Avaliao da Eficincia ou Custo-Efetividade (Efficiency Assessment), para responder

125

se o custo da operao do programa legitima-se pelos efeitos obtidos (em termos de outputs monetarizveis ou em indicadores sociais efetivos) e se replicvel para outras escalas de operao. A proposta de Rossi et al. (2006) certamente um avano conceitual na forma de se entender os diferentes focos dos estudos avaliativos, para alm daquelas dicotomias avaliao de processos/avaliao de impactos, avaliao ex-ante / avaliao ex-post, etc. Ao propor nfases avaliativas para cada etapa do ciclo de vida do programa, os autores oferecem um plano de avaliao abrangente, orientando a especificao das pesquisas de avaliao segundo uma lgica de abordagem que tenderia a garantir, a priori, resultados relevantes e teis ao final do processo. Tal proposta ajudaria a definir melhor a questo crucial para sucesso de uma pesquisa de avaliao de programas: que aspectos do programa devem ser avaliados e quais devem abordados posteriormente, em funo do estgio de maturidade do programa, para maximizar as chances de se obter informaes teis e revelantes para seu aprimoramento no momento.

When developing the questions around which the plan for an evaluation will resolve, therefore, it is best for the evaluator to start at the bottom of the evaluation hierarchy [Avaliao da necessidade do programa] and consider first what is known and needs to be known about the most fundamental issues. When the assumptions that can be safely made are identified and the questions that must be answered are defined, then it is appropriate to move to the next level of hierarchy [...] By keeping in mind the logical interdependencies between the levels in the evaluation hierarchy and the corresponding evaluation building blocks [tcnicas e instrumentos apropriados da pesquisa social], the evaluator can focus the evaluation on the questions most appropriate to the program situation (ROSSI et al. 2004, p.81).

Afinal, no caberia especificar uma pesquisa de avaliao de resultados e impactos se h dvidas com relao ao estgio de maturidade dos processos e aes previstas na implementao do programa ou ainda se existem suspeitas de que o desenho de implementao padece de supostos no sustentveis em sua estrutura lgica de interveno. No caberia proceder-se a investigaes complexas de Anlise de Custo-Efetividade se no h certeza de que os resultados e impactos gerados pelo programa so significativos. Enfim, evidncias de baixa efetividade do programa poderiam ser conseqncias menos de falhas no desenho ou da forma como ele foi implementado e sim da prpria inadequao da existncia do programa, como parece ser o caso dos programas voltados a oferecer experincia de primeiro emprego para jovens (MADEIRA, 2004).

126

Diagrama 3: Indicadores e as Pesquisas de Avaliao no Ciclo de Polticas e Programas

A hierarquia de focos avaliativos de Rossi et al (2006) no implica que o gestor s possa dispor de informaes acerca da eficincia, da qualidade dos servios, da cobertura de atendimento do pblico-alvo dos programas nas fases mais adiantadas do ciclo de vida do programa. Afinal, pressupe-se que h um sistema de indicadores de monitoramento j estruturado com rene informaes indicativas nesse sentido. Pode at ser necessrio encomendar pesquisas de avaliao de resultados e impactos ou estudos mais aprofundados de avaliao da eficincia em estgios ainda incipientes da implementao do programa, para responder a demandas externas de avaliao. O que os autores defendem que se organize um plano consistente de avaliao em todas as etapas do ciclo de vida do programa, e que se resista a tentao de colocar a carroa antes dos bois, encomendando pesquisas de avaliao de forma precoce e desarticulada. preciso ser diligente com o risco de produo de resultados irrelevantes ou, pior, com a produo de resultados precipitados em pretensa legitimidade cientfica. Cada um desses tipos de estudos avaliativos requer uma abordagem metodolgica e/ou disciplinar diferente. Estudos de viabilidade ou necessidade de programas podem se valer de anlises documentais comparativas, de recurso s tcnicas de anlise econmica ou mesmo s anlises institucionais tpicos da Cincia Poltica. Anlise de desenhos lgicos de implementao envolve reviso de documentos usados quando da formulao do programa, emprego das tcnicas de planejamento de projetos e de comparao com outros modelos de interveno social semelhantes em outros contextos e momentos. Avaliao de processos pode requerer emprego de tcnicas variadas de coleta de informaes usados na Pesquisa Social. Avaliao de resultados e impactos pode requerer emprego de entrevistas com agentes institucionais, grupos de discusso com beneficirios dos programas, pesquisas amostrais, delineamentos quase-experimentais ou estudos comparativos de casos.

127

A especificao do delineamento metodolgico adequado aos objetivos da pesquisa de avaliao pretendida , pois, aspecto crucial. Afinal, a avaliao de programas um empreendimento tcnico-cientfico de uso de mtodos da pesquisa social para investigar a situao, problemas e diferentes aspectos da gesto de um programa pblico ao longo do seu ciclo de vida, da sua concepo ao usufruto dos produtos e servios por ele disponibilizado, considerando o contexto organizacional e poltico em que ele se insere, com a finalidade ltima de informar as necessidades de aprimoramento de suas aes, de modo a contribuir, juntamente com outros programas, a melhorar as condies sociais da populao. Como empreendimento tcnico-cientfico, tal como na conduo de pesquisas acadmicas, a escolha do mtodo depende dos objetivos especficos almejados pelo avaliador. A busca de dados secundrios, a observao e suas variantes visitao, observao participante etc., as entrevistas semi-estruturadas ou estruturadas , os Grupos de Discusso, as Pesquisas de Campo com questionrios com amostras probabilsticas ou intencionais os desenhos quase-experimentais e no experimentais so algumas das estratgias metodolgicas mais empregadas nas pesquisas de avaliao de programas no Brasil. Cada tcnica tem suas caractersticas, vantagens e suas limitaes. Os mtodos quantitativos, organizados sob a gide do modelo hipottico-dedutivo, como os levantamentos amostrais e experimentos compreendem tcnicas bastante estruturadas, destinadas investigao de problemas especficos,voltadas a dimensionamento de quantidades ou de intensidade de relaes entre variveis, supondo distanciamento do pesquisador em relao ao objeto investigado. Os mtodos qualitativos, baseados no princpio da produo do conhecimento pela lgica indutiva, do particular para o geral como a observao, entrevistas e grupos de discusso, compreendem tcnicas pouco ou semi-estruturadas, para investigar exploratoriamente problemas complexos, pressupondo proximidade do pesquisador do objeto avaliado. Foge ao escopo desse trabalho detalhar prescries metodolgicas acerca do emprego de uma ou outra tcnica, dada a complexidade de cada uma e pela boa disponibilidade de manuais de mtodos e tcnicas da Pesquisa Social no Brasil, como os de Laville e Dionne (1999), Cano (2002), Richardson et al (2002) e Babbie (1999), entre outros. Vale incluir nessa lista, como importante material de referncia para delineamento metodolgico de pesquisas de avaliao, o documento organizado pela Secretaria de Avaliao e Gesto da Informao do Ministrio de Desenvolvimento Social e Combate Fome1 (MDS, 2007). So apresentados 18 estudos, na sua maioria pesquisas de avaliao de programas do Ministrio na rea de Assistncia Social, Segurana Alimentar e Nutricional, e Renda da Cidadania, Na exposio do estudo avaliativo de cada programa so apresentados as instituies e pesquisadores participantes do estudo, o perodo de realizao, os objetivos da avaliao, os aspectos metodolgicos acerca das tcnicas de coleta de dados empregadas, as caractersticas da amostra e sujeitos entrevistados e os instrumentos de coleta de dados (questionrios ou roteiros de entrevistas). As bases de dados de algumas dessas pesquisas de avaliao foram disponibilizadas no Consrcio de Informaes Sociais da Anpocs, permitindo pesquisadores e avaliadores buscarem respostas preliminares para questes de outros programas similares2.

128

Este material evidencia, na prtica, como a natureza do programa, o estgio em que ele se encontra, os objetivos de avaliao, a disponibilidade de tempo e de recursos acabam orientando as decises metodolgicas acerca de instrumentos e tcnicas de pesquisa, o tamanho, intencionalidade ou no das amostras das pesquisas de avaliao encomendadas pela SAGI. Ilustra-se como pesquisas de avaliao de processo conduzidas para vrios programas procuram garantir levantamento de informaes atravs de entrevistas semi-estruturadas com agentes pblicos em diferentes posies da produo dos servios (gestores municipais, tcnicos atendentes do pblico), em localidades intencionalmente selecionadas (segundo tempo de implantao do programa, por exemplo). Percebe-se, contudo, predominncia de uso de questionrios bastante estruturados, mesmo em estudos avaliativos de natureza mais exploratria. Constatase tambm que h pouco emprego de Grupos de Discusso e no utilizao de ferramentas de Anlise Estruturada de Textos, mesmo nos estudos avaliativos que compreenderam mais de uma centena de entrevistas. Worthen et al. (2004) reputam essas tcnicas como avanos metodolgicos significativos nas abordagens qualitativas de avaliao. Grupos de discusso com equipes tcnicas envolvidas nos programas e sobretudo com beneficirios desses permitem levantar rapidamente informaes cruciais para aprimoramento de procedimentos e aes dos programas e tambm para captar dimenses de impacto no facilmente tangveis. Exemplo ilustrativo da tcnica descrito por Carvalho (2003), na estratgia para avaliar os resultados e impactos do programa Jovem Cidado. Este programa visava proporcionar, aos estudantes de 16 a 21 anos da rede pblica estadual de ensino mdio, a primeira oportunidade de experincia profissional no mercado de trabalho.

Por se tratar de um pblico composto por jovens, a tcnica utilizada foi a de grupos de discusso, aplicando- se dinmicas que estimulam e facilitam a manifestao dos participantes, como simulaes e jogos, tornando a pesquisa quase ldica. Tais dinmicas ajudam a atenuar dificuldades como inibio, timidez, desconfiana de determinados pblicos. Isso particularmente til no caso de jovens, segmento que geralmente se caracteriza por falas lacnicas, em cdigo, em especial diante de adultos [...] (CARVALHO 2003,p.189).

Anlise Estruturada de Textos uma tcnica usada para interpretar relatos de entrevistas ou de grupos de discusso de forma mais estruturada, tratando palavras, frases, pargrafos como entidades empricas, permitindo contabilizar frequncias, recorrncias e relacionamentos entre idias de um conjunto de textos e documentos. No campo dos estudos de avaliao de programas, em especial nas pesquisas de satisfao ou avaliao de impacto junto a beneficirios de programas sociais, a tcnica pode ser utilizada como recurso analtico para sistematizar de forma mais objetiva e padronizada

129

as manifestaes, opinies e crticas presentes nos discursos dos entrevistados, e como estratgia metodolgica para garantir maior replicabilidade das avaliaes em outros contextos territoriais e temporais. Vale observar que as pesquisas de avaliao no implicam necessariamente no levantamento de dados atravs de algumas das tcnicas acima relacionadas. Os dados disponveis nos registros operacionais do programa, o sistema de indicadores de monitoramento, as pesquisas do IBGE e dados de outros rgos podem permitir fazer anlises preliminares a baixo custo e tempo. O problema que, em geral, no tem a especificidade necessria para responder questes mais especficas. Outras fontes de informao secundria teis so os relatrios de avaliao de programas do Tribunal de Contas da Unio e os da Controladoria Geral da Unio. Os relatrios de avaliao de programas do TCU3, elaborados desde 1998, so organizados em grandes tpicos, iniciando-se com a exposio dos objetivos da avaliao do programa (seo O que foi avaliado), da justificativa para sua realizao (Por que foi avaliado), dos aspectos metodolgicos da pesquisa avaliativa, explicitando mtodos e tcnicas de coleta e anlise dos dados, as amostras e sujeitos investigados (Como se desenvolveu o trabalho) a e uma breve apresentao do programa (Histrico do Programa). Os resultados da avaliao (O que o TCU encontrou) so apresentados em sees, organizadas segundo os objetivos da avaliao. Ao final, sistematiza-se as sugestes de aprimoramento para o programa (O que pode ser feito para melhorar o programa). Os relatrios de avaliao da execuo dos programas federais, conduzidos pela Controladoria Geral da Unio 4, na forma de sorteios sistemticos de estados e municpios desde 2003, so tambm fontes de informao muito interessantes para avaliaes preliminares de processo de implementao de programas pblicos. Um exemplo nesse sentido o de Vieira (2008), que empregou os relatrios da CGU para identificar os problemas de gesto municipal do programa de Assistncia Farmacutica em uma amostra de 597 municpios. A autora constatou que 90,3% deles apresentaram problemas na gesto de recursos ou servios, como falta ou deficincia de controle de estoque de medicamentos, compras irregulares e condies inadequadas de armazenamento entre outros aspectos. No existe a priori um mtodo universal, mais legtimo ou com maior status cientfico para toda e qualquer pesquisa de avaliao, como no existe um nico mtodo para as pesquisas acadmicas. Como bem assinalado em um importante manual da Pesquisa Social americana acerca da prtica da pesquisa cientfica: 1. It seems to us futile to argue wheter or not a certain design is scientific [] It is not a case od scientific or not scientific, but rather one of good or less good design[] 2. The proof of the hypotheses is never definitive [] 3. There is no such thing as a single correct design. Different workers will come up with different designs favoring their own methodological and theoretical predispositions []

130

4. All research design represents a compromise dictated by the many practical considerations that go into social research. None of us operates except on limited time, money, and personnel budgets [] A research design must be practical. 5. A research design is not a hihly specific plan to be followed without deviation, but rather a series of guideposts to keep one headed in the right direction [...] (SUCHMAN in MILLER 1991,p. 98).

estranho, pois, que ainda persista em certas comunidades o mito de que os delineamentos experimentais ou quase-experimentais constituem-se nos mtodos mais adequados e legtimos cientificamente para avaliao de impactos. Esses desenhos metodolgicos de avaliao so inspirado no formato clssico do experimento nas Cincias Naturais. Tal modelo tem o objetivo de investigar a estrutura e intensidade de causalidade entre uma varivel-efeito dependente e seus fatores determinantes. Para isso preciso garantir o controle da situao experimental em laboratrio e o emprego de grupos tratamento (beneficirios de programas) e controle (no beneficirios) escolhidos de forma aleatria. Nos desenhos quase-experimentais, uma das condies bsicas que definem o Experimento no verificada, em geral, a designao aleatria em Grupos Experimental e de Controle. Como ilustrado no Quadro 2, o desenho visa avaliar a evoluo dos dois grupos- supostamente idnticos no comeo do experimento- ao longo de tempo, e constatar se ao final, h evidncias de que o primeiro mostrou melhor performance que o segundo em uma varivel entendida como reveladora dos efeitos do programa. Quadro 2: Desenho experimental clssico

Na realidade tal delineamento de pesquisa experimental ou quase-experimental- um dos mtodos usados para avaliao de impacto, no necessariamente o melhor ou

131

mais factvel. Neste tipo de desenho avaliativo, h problemas ticos (como escolher e justificar quem vai ser beneficirio e quem vai ficar de fora do programa?), operacionais (como evitar a evaso dos beneficirios, como garantir que os efeitos medidos so apenas do programa em foco, em meio a um contexto crescente de intervenes sociais?), metodolgicos (o indicador empregado a melhor medida para para captar a dimenso impactada ? O que se supe como dimenso impactada guarda, pelo desenho lgico do programa, vinculao estreita com as aes e atividades do programa? O impacto deve ser medido sobre os beneficirios ou junto comunidade a que pertencem?) e epistemolgicos (como os esforos de garantia da validade interna do experimento conspiram contra a generalizao dos resultados, como garantir que um programa bem avaliado em circunstncias to artificiais possa repetir o xito m situaes normais?) (W EISS 1972, M OHR 1995, C ANO 2002). Ainda que todos esses problemas fossem contornveis, restaria um problema prtico: se os efeitos potenciais do programa, tal como medidos em uma determinada varivel, no forem elevados- algo que o incrementalismo de Lindblom sugeriria-, as amostras de beneficirios antendidos e do grupo controle teriam que ser consideravelmente grandes para que os testes estatsticos possam ser aceitos sem hesitao (ROSSI et al 2004). A mitificao desse desenho na avaliao de programas se deve, em alguma medida, pela origem dos estudos avaliativos centrados na investigao de programas na rea de Educao e Sade Pblica, como j mencionado, onde tais modelos podem se viabilizar mais concretamente pelas condies de simulao de laboratrio em salas de aula ou pela tradio dos ensaios de tratamento clnico de doenas. A hegemonia circunstancial dos modelos quantitativos importados da pesquisa em Cincias Naturais no debate sobre a cientificidade dos mtodos de pesquisa a serem ensinados e adotados na pesquisa social americana nos anos 1960, momento de expanso dos estudos avaliativos naquele pas como j mencionado- tambm outro fator explicativo. Nesse contexto, como sugerem Worthern et al (2004), o livro Experimental and QuasiExperimental Designs for Research, escritos pelos psiclogos Donald Campbell e Julian Stanley, publicado em 1966, acabou sendo adotado como o manual de referncia metodolgica da comunidade de avaliadores que ora se formava. Afinal, apesar das advertncias sobre as dificuldades de replicao das condies de controle laboratorial no contexto de operao dos programas sociais, a elegncia e a preciso do mtodos experimental levaram a maioria dos avaliadores de programa a v-lo como ideal (WORTHERN et al. 2004, p.116). As crticas que se seguiram nas dcadas seguintes sobre aspectos ticos, factibilidade operacional e poder de generalizao dos resultados de desenhos experimentais e suas aproximaes quase experimentais seja na pesquisa acadmica, seja na pesquisa de avaliao de programas, a incorporao de avaliadores provenientes das vrias disciplinas das Cincias Sociais antroplogos, socilogos, comuniclogos etc. e a formalizao mais rigorosa de abordagens de investigao mais qualitativas, mais adequadas aos problemas complexos e pouco estruturados da realidade social, acabaram por consolidar a percepo na comunidade de avaliadores nos EUA de que os estudos avaliativos requerem certo ecletismo metodolgico, integrando mtodos quantitativos e qualitativos.

132

Na verdade, a maioria dos avaliadores srios comeou a entender que as abordagens quatitativas e naturalistas tm padres metodolgicos e rigor que so diferentes, e no ausentes. A maioria dos avaliadores passou a aceitar a existncia das mltiplas realidades ou pelo menos das mltiplas percepes da realidade. Com essa conscincia e uma legitimidade maior, a avaliao qualitativa surgiu como alternativa real ou complemento da abordagem quantitativa tradicional (WORTHERN et al. 2004, p.117).

Ainda assim, continuam os autores, alertando que o debate no est encerrado, na medida em que:

Aqueles que preferem o uso exclusivo ou majoritrio de mtodos quantitativos esto, em sua maior parte, aborrecidos com a aceitao dos estudos qualitativos (apesar do fato de o trabalho quantitativo ainda manter sua posio como abordagem dominante da avaliao e pesquisa) [...] Esses crticos da avaliao qualitativa queixam-se com freqncia da subjetividade de muitos dos mtodos e tcnicas qualitativos, mostrando a preocupao de que a avaliao tenha abandonado a objetividade em favor de uma subjetividade exercida inabilmente (WORTHERN et al. 2004, p.117).

Dada a complexidade operacional, os contextos de implementao, os desenhos institucionais e diversidade de pblicos-alvo dos programas pblicos no Brasil no se pode definir uma tcnica de investigao como melhor em qualquer situao. Muitos programas operam em contextos complexos, pouco estruturados para abordagens quantitativas (e muito menos para desenhos quase-experimentais). Nessas situaes, abordagens metodolgicas menos estruturadas podem levantar evidncias mais relevantes e teis para aprimoramento dos programas. possvel que permitam a estruturao de questes mais especficas a investigar, para o que os mtodos quantitativos podem se revelar mais teis. Abordagens quantitativas e qualitativas no so mutuamente excludentes em um projeto de pesquisa ou avaliao. So complementares, compatveis e conectveis. Pluralismo metodolgico, enfoques avaliativos mistos, triangulao de abordagens investigativas5, complementariedade de tcnicas so essas as perspectivas da pesquisa de avaliao de programas partilhadas pelos autores das duas principais referncias bibliogrficas aqui citadas Worthern et al (2004) e Rossi et al. (2004), Rigor metodolgico e maleabilidade tcnica com instrumentos de natureza mais estruturada ou menos estruturada, mais quantitativos ou mais qualitativos, quase-experimentais ou no- frente complexidade do objeto de estudo, estas so as prescries generalizveis para qualquer equipe necessariamente multidisciplinar que queira encarar responsavelmente a pesquisa aplicada na Avaliao de Programas.

133

Consideraes finais A ampliao do gasto social no Brasil e a diversificao dos programas voltados a atender s diversas demandas pblicas vm pressionando o setor pblico a aprimorar suas prticas de gesto. Neste sentido, a preocupao com aprimoramento tcnico na elaborao de diagnsticos e nas atividades de monitoramento e avaliao de programas vem crescendo6. Estruturar melhor os Sistemas de Indicadores de Monitoramento e especificar Pesquisas de Avaliao mais consistentes so desafios que precisam ser rapidamente enfrentados nos trs nveis de governo- federal, estadual e municipal-, sob pena de estender por mais tempo ainda a superao das iniqidades sociais no pas e sob o risco de se perder a crena de que os programas pblicos podem ser vetores impactantes na mudana social no Brasil. Este texto procurou mostrar que tais instrumentos precisam ser especificados de acordo com o estgio de maturidade do programa, respondendo s demandas de informao do gestor nas diferentes fases do ciclo de vida do programa. No existe uma receita nica, pronta e acabada para desenhar esses instrumentos. Existem experincias, recomendaes e boas prticas. Nem a sava, nem a sade acabaram com o Brasil. Ao contrrio, o Brasil encontrou formas de controlar os efeitos daninhos da sava e implantar programas em Sade Pblica com resultados e impactos significativos nos ltimos cinquenta anos. A julgar pelo amadurecimento da cultura e prtica no campo de monitoramento e avaliao de programas no pas, o prognstico para os prximos cinqenta anos nas outras reas de atuao social do Estado brasileiro tambm alentador! Referncias Bibliogrficas
ALMEIDA , A.C. Como so feitas as pesquisas eleitorais e de opinio. Rio de Janeiro, FGV, 2002. ATKINSON, T. et al. Social Indicators: the EU and Social Inclusion. Oxford, Oxford Univ. Press, 2005. BABBIE, E. Metodos de pesquisa de Survey. Belo Horizonte: Ed.UFMG, 1999) BENNETT,C.A. ; LUMSDAINE, A. A. Evaluation and experiment: some critical issues in assessing social programs. New York: Academic Press, 1975. CANO, I. Avaliao de programas sociais. Rio de Janeiro: FGV, 2002. CAREY, G. W. Government. Encyclopedia Americana. Danburry: Scholastic, 2006,p. 127-131. CARVALHO, S.N. Avaliao de programas sociais: balano das experincias. So Paulo em Perspectiva, So Paulo,17(3-4): 185-197, 2003. COHEN, Ernesto; FRANCO, Rolando. Avaliao de projetos sociais. Petrpolis, RJ: Vozes, 1999. COTTA , T. C. Metodologias de avaliao de programas e projetos sociais: anlise de resultados e impacto. Revista do Servio Pblico, Brasilia, 49(2):103-124, 1998.e contribuio para o debate. So Paulo em Perspectiva, So Paulo,17(3-4): 185-197, 2003 COUTINHO, R. G. Subsdios para organizar avaliaes da Ao Governamental. Textos para discusso, Braslia, n. 776: IPEA, 2001. FREY, Klaus. Polticas Pblicas: Um debate conceitual e reflexes referentes prtica da anlise de polticas no Brasil. Planejamento e Polticas Pblicas, 21. Braslia: IPEA, 2002. GENERAL ACCOUNTING OFFICE. Social research and development of limited use to national policymakers: Report to the congress Washington:, 1977.

134

GUIMARES, J.R.S; JANNUZZI, P.M. IDH, Indicadores sintticos e suas aplicaes em polticas pblicas: uma anlise crtica. Revista Brasileira. Est. Urbanos e Regionais, Salvador 7 (1):73-89, 2005. HOWLETT, M.; RAMESH, M. Studying public policy: policy cycles and policy subsystems. DonnMills: Oxford University Press, 2003. JANN, W.; WEGRICH, K. Theories of the policy cycle. FISCHER,F. et al. Handbook of public policy analysis: theory, politics and methods. Boca Raton: CRC Press, 2007, p. 43-62. JANNUZZI, P. M. Indicadores sociais no Brasil: conceitos, fonte de dados e aplicaes. Campinas: Alnea, 2004. JANNUZZI, P. M.. Indicadores para diagnstico, monitoramento e avaliao de programas sociais no Brasil. Revista do Servio Pblico, Braslia 56 (2): 137-160. Abr./Jun. 2005. JANNUZZI, P. M., M IRANDA, W. L Pradin e Monit: ferramentas para tomada de deciso no ciclo de polticas pblicas. Salvador, Boletim de Estatsticas Pblicas, n.4, 2008, p.62-73. JANNUZZI, P. M., MIRANDA ,W.L., SILVA, D. S. G. da. Anlise Multicritrio e Tomada de Deciso em Polticas Pblicas: Aspectos Metodolgicos, Aplicativo Operacional e Aplicaes. Belo Horizonte: Revista Informtica Pblica, ano II, 2009, pg. 69-87. LAVILLE, C.;DIONNE, J. A construo do saber. Porto Alegre: Artmed/ED.UFMG, 1999. LINDBLOM, C. Todava tratando de salir del paso. SARAVIA,E.; FERRAREZI,E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p.99-122.. MADEIRA, F.R. A improvisao na concepo de programas sociais: muitas convices, poucas constataes o caso do primeiro emprego. So Paulo em Perspectiva, So Paulo, 18(2): 7894,2004. MCDAVID, J. HAWTHORN.L. Program Evaluation and Performance Measurement: An Introduction to Practice. Thousand Oaks; Sage, 2006. MILLER, D.C. Handbook of research design and social measurement. Nwebury Park: Sage, 1991. MINISTRIO DO D ESENVOLVIMENTO SOCIAL E COMBATE FOME. Metodologias e instrumentos de pesquisas de avaliao de programas do MDS: Bolsa Famlia, Assistncia Social, Segurana Alimentar e Nutricional. /Rmulo Paes-Sousa (org.); Jeni Vaitsman (org.). - Braslia, DF: MDS; SAGI, 2007. MINISTRIO DO PLANEJAMENTO, ORAMENTO E GESTO. Guia metodolgico para construo de indicadores para o PPA. Braslia, 2009. MOHR, L. B. Impact analysis for program evaluation. Thousand Oaks: Sage, 1995. NASCIMENTO, B. A reforma universitria de 1968: origem, processo e resultados de uma poltica pblica para o ensino superior. Tese de Doutorado, UFRJ, 1991. OWEN, J.M. Program evaluation: forms and approaches. New York> Guilford Press, 2007 PARADA, E.L. Poltica y polticas pblicas. SARAIVA,E.; FERRAREZI,E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p.67-95. REZENDE, L. M. e JANNUZZI, P. M. Monitoramento e Avaliao do PDE: IDEB e painel de indicadores. Revista do Servio Pblico, Brasilia, 59(2): 121-150, 2008. RICHARDSON, R.J et al. Pesquisa social: mtodos e tcnicas. So Paulo: Atlas, 2002. ROSSI, P. H. et al. Evaluation: a systematic approach. Thousand Oaks: Sage, 2004. RUA, M. G. Algumas consideraes preliminares sobre poltica e polticas pblicas. In, R UA, Maria das Graas e CARVALHO, M.I.V. (orgs). O estudo da poltica: tpicos selecionados. Braslia: Paralelo 15, 1998. R UA , M.G. A avaliao no ciclo da gesto pblica. Apostila do curso de Especializao em polticas pblicas da Educao com nfase em monitoramento e Avaliao MPA. ENAP. MIMEO, 2004. SARAVIA,E. Introduo teoria da poltica pblica. In: SARAIVA ,E.; F ERRAREZI,E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p. 21-42. SARAVIA,E.; FERRAREZI,E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006. SCANDAR NETO, W. et al. Sistemas de indicadores ou indicadores sintticos : do que precisam os gestores de programas sociais In: HENRIQUES,R. et al (Org). Educao na diversidade : como indicar as diferenas? (Coleo Educao para Todos, Srie Avaliao). Braslia, MEC/Unesco, n. 8, v. 25, p. 16-34. 2006.

135

TRIBUNAL DE CONTAS DA UNIO.Avaliao do TCU sobre o Programa Nacional Biblioteca na Escola. Braslia: TCU, 2002. VIEIRA, Fabiola Sulpino. Qualificao dos servios farmacuticos no Brasil: aspectos inconclusos da agenda do Sistema nico de Sade. Revista Panamericana de Salud Publica, vol. 24, n. 2, p. 91-100, 2008. VILLANUEVA, L.F.A. Estudio introdutrio. SARAIVA,E.; FERRAREZI,E.(orgs.) Polticas pblicas: coletnea. Braslia: ENAP, 2006, p.43-65. WEISS,C. Evaluation research. New Jersey: Prentice Hall, 1972. WORTHERN,B.R. et al. Avaliao de programas: concepes e prticas. So Paulo, EdUsp/Gente, 2004.

Notas
Ainda que as incurses em temas correlatos j venham de algum tempo, a elaborao deste texto mais especfico, no campo do monitoramento e da avaliao de programas, s foi possvel pelas oportunidades valiosas proporcionadas na ENAP, por meio dos convites de Paulo Carvalho, Elizabeth Ferrarezi, Maria Stela Reis e Lgia Camargo, para ministrar cursos na temtica; e de Mrcia Rocha para participar das atividades complementares do curso da Escola Ibero-americana de Administrao e Polticas Pblicas (EIAPP), no segundo semestre de 2009, entre as quais a produo deste texto. Igualmente importantes foram a participao em projetos na rea na Fundao Seade (Sistema Estadual de Anlise de Dados), especialmente os desenvolvidos junto Secretaria do Emprego e Relaes do Trabalho de So Paulo; as orientaes sempre pertinentes de Felcia Madeira e Sonia Carvalho; os debates com Beatriz Ribeiro e Daniel Siqueira, ento alunos no Mestrado em Estudos Populacionais e Pesquisas Sociais na Escola Nacional de Cincias Estatsticas (Ence/IBGE); o dilogo com os professores Marco Aurlio Ruediger e Rogrio Sobreira, da Fundao Getlio Vargas; e a experincia de orientao de Jnia Nehme e dos coautores desse texto na elaborao da monografia de concluso do curso de Especializao em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao, da ENAP. Os recursos proporcionados pelo Conselho Nacional de Desenvolvimento Cientfico e Tecnolgico (CNPq), no mbito do projeto A produo, a disseminao e uso da informao estatstica para fins de formulao, monitoramento e avaliao de polticas pblicas no Brasil (Proc. 485517/2006-0), particularmente para as visitas tcnicas aos rgos estatsticos e outras instituies americanas em Washington, entre 2008 e 2009, tambm foram fundamentais para obteno de material bibliogrfico e para produo de partes desse texto. As lacunas e eventuais equvocos so da responsabilidade exclusiva do primeiro autor.
2 Vide, por exemplo, as publicaes, eventos e sites das associaes profissionais ou acadmicas de avaliao nesses pases, entre os quais: American Evaluation Association (www.eval.org); Canadian E v a l ua t io n S o c ie t y ( w w w. e v a l ua t io nc a na da . c a ) ; E u ro p e a n E v a l ua t io n S o c ie t y (www.europeanevaluation.org); e Societ Franaise dEvaluation (www.afe.asso.fr). 1

De fato, no Brasil, os trabalhos de avaliao de programas pblicos e seus autores encontram-se dispersos pelas principais associaes cientficas disciplinares, tais como: Anpad (administrao e administrao pblica); Anpec (economia); Anpocs (cincias sociais); Anped (educao); Abep (estudos populacionais); Abet (estudos do trabalho); Abrasco (sade coletiva). Vale destacar alguns dos principais peridicos em que se podem encontrar estudos avaliativos: Revista do Servio Pblico; Revista Brasileira de Cincias Sociais; Revista de Administrao Pblica; Revista So Paulo em Perspectiva; Textos de Discusso (Ipea); Planejamento e Polticas Pblicas; Pesquisa de Planejamento Econmico; Texto de Discusso Ence, entre outros (alguns desses peridicos esto disponveis no portal www.scielo.br. A partir dos anos 2000, foram criados espaos mais multidisciplinares para discusso e apresentao de estudos de avaliao de polticas pblicas, entre eles a Associao Brasileira de Avaliao Educacional (www.abave.org.br); a Rede Brasileira de Monitoramento e Avaliao (http://redebrasileirademea.ning.com); o portal Polticas Pblicas em Foco (www.boletimfundap.cebrap.org.br), mantido pela Fundap e Cebrap ; o stio do Tribunal de Contas da Unio (www.tcu.gov.br) e da Controladoria-geral da Unio (www.cgu.gov.br ), alm dos fruns criados pelos programas de ps-graduao lato e stricto sensu, acadmicos e profissionais,e das linhas de pesquisa nesse sentido em programas de ps-graduao em administrao pblica, economia social, sade coletiva, direito etc.

136

Macunama, personagem do antolgico romance homnimo de Mario de Andrade, teria formulado tal frase, inspirado no ditado Ou o Brasil acaba com a sava, ou a sava acaba com o Brasil, atribudo a um naturalista francs, em viagem pelo pas, e que foi imortalizado com inmeras variaes.

Como apresentado nos vrios textos reunidos na valiosa coletnea organizada por Saravia e Ferrarezi (2006) em polticas pblicas, publicada pela ENAP e disponibilizada em seu stio (www.enap.gov.br), o Ciclo de Polticas Pblicas pode ser descrito com um nmero maior ou menor de etapas. De modo geral, distinguem-se, pelo menos, trs macroetapas: formulao (no qual estaria a formao da agenda), a implementao e a avaliao. Essa publicao, organizada segundo as etapas do ciclo, traz artigos clssicos que aprofundam a vasta discusso envolvida em cada uma delas. A resistncia mudana e incorporao de inovaes no problema s no setor pblico, mas tambm nas empresas privadas. Os mecanismos de motivao, presso e coero nessas ltimas acabam mobilizando mudanas, s vezes a custos pessoais e institucionais elevados. No setor pblico,
7 6

Jannuzzi (2005), disponvel para download na Revista do Servio Pblico, v.56, n.2, em www.enap.gov.br. Outra referncia para aprofundamento nesse campo Jannuzzi (2004). Essa publicao do IBGE, assim como diversas outras da instituio, est disponveis para download em www.ibge.gov.br. Uma discusso dos limites e potencialidades do IDH pode ser vista em Guimares e Jannuzzi (2005).

9 10

Um bom exemplo de indicadores para diagnsticos de programas setoriais demonstrado na publicao Construindo o diagnstico municipal, disponvel em www.cepam.sp.gov.br. Outro exemplo de diagnstico apoiado em indicadores multitemticos o Diagnstico para Programa de Qualificao Profissional do Estado de So Paulo, disponvel em www.emprego.sp.gov.br .
11

No stio www.anipes.org.br est disponvel um aplicativo (Pradin) que permite entender o potencial da Anlise Multicritrio na tomada de deciso em polticas pblicas.
12

As pesquisas e dados destas instituies podem ser consultadas, respectivamente, em www.ibge.gov.br, www.datasus.gov.br, www.inep.gov.br. No portal www.anipes.org.br, podem ser acessados stios de rgos subnacionais de estatstica no Brasil.

Vide, nesse sentido, o que as agncias estatsticas americanas produzem regularmente, acessando o portal www.fedstats.gov. O Bureau of Labor Statistics produz, por exemplo, estimativas mensais de taxa de desemprego para 372 reas metropolitanas e taxas anuais para os mais de 3 mil condados e 50 maiores cidades americanas. O Bureau of Census , por sua vez, traz anualmente estimativas populacionais para mais de 20 mil localidades e indicadores sociais referidos a mais de 10 temticas de ocupao, moradia educao para municpios acima de 65 mil habitantes.
14

13

Vide, nesse sentido, os aplicativos da Senarc/MDS (www.mds.gov.br), os sistemas de consulta online da Rais e do Caged no MTE (www.mte.gov.br), e os dados da Previdncia na ferramenta Infologo em www.dataprev.gov.br.
15 No referido texto, empregou-se o aplicativo Monit disponvel em www.anipes.org.br para compor um painel situacional com grficos dos indicadores escolhidos para duas unidades territoriais de interesse de monitoramento. Uma breve apresentao do aplicativo encontrada em Jannuzi e Miranda (2008), disponvel no Boletim de Estatsticas Pblicas n.4, no mesmo site.

Consulte o Dicionrio de variveis, indicadores e programas sociais no endereo http:// aplicacoes.mds.gov.br/sagi/dicivip. Esse dicionrio tambm est disponvel para download em www.mds.gov.br/sagi.
17 18 19 20

16

Acesse por meio de um buscador na Web, procurando por Siga Brasil + Senado. Acesse por meio do endereo http://aplicacoes.mds.gov.br/sagi. Acesse por meio do stio www.emprego.sp.gov.br.

Acesse por meio do stio www.agenda2012.com.br. A Agenda 2012 foi criada para responder s exigncias da Emenda 30 Lei Orgnica do Municpio, aprovada pela Cmara Municipal, ao final de 2008. Essa iniciativa vai ter, certamente, repercusses em outras localidades do pas.
21

Um pacote estatstico gratuito de ampla difuso o Epi-info, disponvel em www.lampada.uerj.br/ , onde se pode encontrar tambm material de consulta e treinamento. O Weka, disponvel em www.cs.waikato.ac.nz/ml/weka, um aplicativo gratuito para minerao de dados, isto , dispe de rotinas para anlise descritiva e exploratria de dados.
22 23 24 25 26

Vide www.mds.gov.br, menu Institucional Sagi. Vide www.nadd.prp.usp.br/cis. Vide www.tcu.gov.br, menu Avaliao de Programas de Governo. Vide www.cgu.gov.br, menu Auditoria e Fiscalizao.

Triangular significa abordar o objeto de pesquisa com trs (ou mais) tcnicas diferentes de investigao, como linhas no paralelas na forma de um tringulo cercando o objeto de pesquisa ao centro.

137

27

Vale registrar, nesse sentido, a proposta de realizao de cursos de Graduao e de Especializao em Gesto Pblica a distncia pela Universidade Aberta do Brasil, vinculada ao Ministrio da Educao (www.uab.mec.gov.br), e operada pelas universidades e institutos federais, iniciativa fundamental para se imaginar alguma parcela dos 1,7 milho de servidores municipais com ensino mdio e 1,3 milho com ensino superior contabilizados em 2008 nos mais de 5.500 municpios brasileiros.

Paulo de Martino Jannuzzi Nacionalidade brasileira. Coordenador acadmico do ambiente virtual de aprendizagem do curso Avaliao de Programas Sociais, realizado pela EIAPP/ENAP em 2009. Mestre em Administrao Pblica pela Eaesp/FGV e Doutor em Demografia pela Unicamp. Assessor tcnico da Diretoria Executiva da Fundao Seade, Professor da Escola Nacional de Cincias Estatsticas do IBGE e colaborador da Escola Nacional de Administrao Pblica, PUC-Campinas e Fundao de Desenvolvimento Administrativo. Pesquisador CNPq. Maria Rosngela F. Machado Silva Nacionalidade brasileira. Bacharael em Comunicao Social com habillitao em Publicidade e Propaganda na Universidade Catlica de Braslia. Assistente Tcnica da Assessoria de Comunicao Social do Ministrio da Educao. Especialista em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao pela ENAP. Mariana Almeida de Faria Sousa Nacionalidade brasileira. Graduada em Pedagogia com Habilitao em Magistrio e Orientao Educacional na Universidade de Braslia. Servidora do Ministrio da Educao. Especialista em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao pela ENAP. Leonardo Milhomem Resende Nacionalidade brasileira. Bacharel e Licenciado em Cincias Biolgicas pela Universidade de Braslia. Chefe de Servio de Apoio ao Monitoramento e Avaliao do PPA Coordenao de Avaliao do Ministrio da Educao. Especialista em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao.

138

Qu funciona? Lo que la evaluacin nos dice sobre programas costo-efectivos de prevencin de riesgo primario para la juventud Mnica Rubio

En la regin latinoamericana, los jvenes entre 15 y 24 aos son los principales victimas y victimarios de la violencia. La violencia juvenil como se denomina genricamente a un fenmeno extremadamente complejo- es un tema de poltica pblica de la mayora de los pases de la regin. As por ejemplo, en el campo de homicidio, Amrica Latina se destaca por sus altas tasas, especialmente en lo referido al homicidio de jvenes. Si las tasas de homicidio para toda la poblacin son diecisis veces ms altas que las europeas, cuando se trata de vctimas jvenes, esta es 31 veces mayor. La mortalidad por armas de fuego de Amrica Latina casi duplica la de Amrica del Norte y es catorce veces mayor que la europea, pero entre los jvenes, esta distancia es an mayor: ms del doble que la de Amrica del Norte y cuarenta veces mayor que la de Europa. Hasta hoy, las respuestas sociales y de poltica de la regin apuntan tanto a castigar a los jvenes como a buscar los medios de desarrollar los factores de proteccin contra el crimen carecindose de una mirada integral del fenmeno de la violencia juvenil y enfocndose el mismo como una serie compartimentalizada de problemas especficos como consumo y trafico de drogas, pandillas, violencia escolar etc. Pero, mas all de los factores subyacentes a la violencia en cada pas, lo cierto es que la distribucin del ingreso explica el 63.5% de la variabilidad de las tasas de homicidio de jvenes y alrededor del 54% de la variabilidad de las tasas de mortalidad por armas de fuego en la regin, y la evidencia indica claramente que la regin est experimentando una crisis grave y compleja de la juventud1. El fomentar polticas y estrategias que faciliten la plena integracin y un papel protagnico de los jvenes en el desarrollo nacional no es postergable. El presente artculo tiene un alcance modesto: Presentar, sobre la base de la amplia base de literatura existente en los Estados Unidos que es lo que funciona en el campo de la prevencin de la delincuencia juvenil. Diversas evaluaciones, sobretodo las realizadas fuera de la regin latinoamericana con un alto grado de rigurosidad, muestran con claridad como intervenciones y programas con ciertas caractersticas pueden tener un efecto preventivo, reduciendo la probabilidad de que los jvenes participen de actividades criminales y equipndolos para hacer contribuciones positivas a la sociedad. Se destacan, en la experiencia norteamericana, un nmero de programas efectivos y probados, que se enmarcan bajo distintas categoras de intervenciones, y que van desde la prevencin de riesgos primarios y secundarios a travs del trabajo con nios y familias en riesgo, hasta programas para jvenes que ya delinquieron. Esta nota, por temas de extensin, resea la experiencia de los principales programas de jvenes orientados a

139

la prevencin primaria y secundaria, dejando pendiente la discusin en torno a las intervenciones exitosas para prevencin de riesgos secundarios y terciarios2. Los objetivos de esta nota son: I primero, ilustrar la importancia de la evaluacin rigurosa para la creacin de conocimiento y para el diseo e implantacin de poltica pblica basada en la evidencia de su efectividad; II ilustrar como, a partir de la implantacin de programas e informacin de su evaluacin, los gobiernos pueden atender el problema de la violencia en los jvenes y hacer el mejor uso de recursos financieros limitados. En efecto, la nota destaca la importancia de la evaluacin como insumo fundamental para un anlisis costo-beneficio que, a fin de cuentas, es una herramienta que permite arrojar luz sobre la decisin de inversin de recursos pblicos escasos. En efecto, como se ver, los programas reseados, pese a ser intensivos y de larga duracin, han resultado en beneficios econmicos a la sociedad que sobrepasan sus costos; III presentar en rasgos generales los principios bsicos de xito de las intervenciones preventivas en los Estados Unidos; que si bien no directamente trasladables a la regin latinoamericana, iluminan un rea de conocimiento que se distingue por la carencia de evidencia de que funciona, y IV presentar un ejemplo prctico de diseo de un programa orientado a la proteccin de la juventud en riesgo que intenta un enfoque comprensivo, as como adaptar algunos de estos principios de xito. A. Marco Conceptual. En la literatura existen marcos conceptuales diversos que intentan definir los conceptos relativos al desarrollo juvenil y la prevencin y tratamiento de conductas de riesgo en los jvenes, incluyendo la violencia. La investigacin emprica sobre las causas de este fenmeno y el abordaje de los diferentes factores de riesgo asociados a l, ha permitido evaluar la efectividad de los modelos preventivos y de estrategias implementadas, dando cuenta del desarrollo de dos grandes enfoques de prevencin en este mbito: por un lado, aquel centrado en los problemas y la solucin de los factores de riesgo y por el otro lado aquel focalizado en la adquisicin de capital humano. El primer concepto referido a la prevencin de comportamientos riesgosos se refiere al de la proteccin a los riesgos. Algunas caractersticas de los individuos, familias, o sus comunidades se han identificado como factores de riesgo para el desarrollo de conductas antisociales o resultados (outcomes) negativos; mientras que otros factores, o factores de proteccin tienen el efecto de reducir la probabilidad de resultados negativos y estn asociados a una mayor probabilidad de resultados positivos (Ver Grafico 1). En este marco, identificar los riesgos y los factores de proteccin hace posible identificar a un nivel micro o macro la poblacin que con mayor probabilidad incurrir en comportamientos de riesgo; y consecuentemente, al enfocarse en grupos de riesgo permite a la poltica pblica enfocarse en las actitudes, comportamientos, y necesidades de los individuos con mayor probabilidad incurrirn en resultados negativos y proveer recursos y servicios que coadyuven a la obtencin de resultados positivos3. Una segunda perspectiva complementaria a este marco terico es el de desarrollo de capital humano, o de acumulacin de activos humanos que proveen la base para un desarrollo saludable. El anlisis costo-beneficio de programas descansa en la premisa de que los recursos destinados a la adquisicin de activos humanos, en educacin, salud u otros, son una inversin que puede producir retornos econmicos individuales y sociales.

140

Grafico 1: Factores de Riesgo y Mitigacin

As, la inversin en capital humano no solo representa un costo econmico, sino que sus efectos o impactos representan un beneficio econmico, tanto para el individuo como para la sociedad. Si los efectos o impactos de programas e intervenciones pudieran convertirse a valores monetarios y compararse con los costos de las inversiones requeridas para lograr estos efectos, los hacedores de poltica pblica contaran con una herramienta prctica y simple para ayudar a analizar alternativas programticas con recursos limitados, al obtener una medida de efectividad por dlar gastado. No intentaremos resumir aqu la amplia literatura de anlisis costo-beneficio de programas sociales. Basta sealar que el gran reto para el investigador es la identificacin de los beneficios de una intervencin determinada, la oferta o disponibilidad de informacin disponible sobre estos, y su monetizacin. Un programa de prevencin de violencia puede redundar por ejemplo, en menor delincuencia y encarcelamientos. Sus beneficios econmicos sin embargo, pueden cubrir una amplia gama tal como: la reduccin de costos de administracin del sistema judicial; la reduccin del costo de rehabilitacin o encarcelamiento de jvenes y adultos en conflicto con la ley en el sistema penal u otros; los ahorros de costos tangibles e intangibles a las victimas del crimen, incluyendo costos de hospitalizacin

141

y dolor y sufrimiento asociados a la delincuencia y crimen; los mayores ingresos a lo largo de la vida y hasta la adultez de los participantes en programas preventivos; los costos evitados por servicios escolares remediales; los menores costos para el sistema de bienestar, por atencin y tratamiento de casos de abuso infantil y negligencia; los costos evitados por la administracin y provisin de servicios sociales, incluyendo el tratamiento de casos de abuso de sustancias. A estos podra aadirse, para una intervencin preventiva como la educacin preescolar, la liberacin del tiempo de los padres para actividades laborales; o la mejor performance educativa. Esta medicin de resultados (outcomes) o impactos, se encuentra a la base del acervo de conocimiento de los hacedores de poltica sobre que intervenciones funcionan y son adems fundamentales para capturar el costo econmico y social de la violencia4. Evidencia de Programas: Jerarqua de acuerdo a rigor

Evaluaciones de impacto y programas basados en evidencia. En los Estados Unidos existe un importante conjunto de evidencia generada en evaluaciones de impacto de alta calidad; o programas basados en evidencia. La determinacin de que constituye un programa basado en evidencia difiere entre entidades acadmicas y de investigacin o de gobierno interesadas en promover poltica pblica basada en evidencia y evaluacin rigurosa, encontrndose definiciones ms restringidas que otras. En general, los programas basados en la evidencia (evidence based-programs) son aquellos que a travs de evaluacin rigurosa han sido demostrados efectivos y confiables. Al decir evaluacin rigurosa se hace referencia al uso de mtodos de evaluacin experimentales, con asignacin aleatoria de participantes a grupos de tratamiento y de control, y a veces incluyendo seguimientos de largo plazo de resultados para participantes y no participantes (pues la rigurosidad y validez de los resultados aumenta, para algunos investigadores, en la medida en los programas no solo sean evaluados de modo experimental, sino que estas intervenciones sean replicadas y evaluadas, y muestren evidencia de impacto sostenido). Como se ilustra en el grafico 2, pocos programas (y virtualmente ninguno en Amrica Latina) tienen evaluaciones replicadas y con seguimientos a lo largo del tiempo. Algunos programas (el caso de Progresa/ Oportunidades es notable) tienen una evaluacin experimental, pero la mayora de

142

programas evaluados hace uso de mtodos de evaluacin cuasi-experimentales o cuyo diseo est basado en evidencia indicativa (evaluaciones cualitativas, modelos tericos de comportamiento, investigacin estadstica). Este limitado acervo de conocimiento sobre lo que funciona en trminos de prevencin primaria y secundaria de la violencia, es lo que motiva a esta breve resea basada en la experiencia norteamericana. B. Revisin de la Literatura: Programas de Prevencin Primaria y Secundaria que funcionan. Una revisin de la literatura muestra que los programas de prevencin primaria y secundaria ms efectivos comparten una serie de elementos o principios bsicos, resumidos en el recuadro adjunto5, y que pueden ser adoptados como una gua en el diseo de programas orientados a la juventud, en tanto son ejes comunes a los programas de efectividad demostrada.

Caractersticas de los programas de prevencin primaria I Intervencin comprensiva. Los programas exitosos tienden a poseer diversos componentes y que atienden a varios factores de riesgo o de proteccin (Grafico 1); II Estn basados en un modelo terico. Los programas exitosos tienen una base terica y de informacin, y estn basados en evidencia; III Son implementados por personal entrenado. La efectividad del programa se encuentra ligada a las caractersticas del personal encargado de la implementacin.; IV Son evaluados de modo regular, lo cual permite la reflexin sobre implementacin, procesos del programa y resultados; V En todos los casos, se trata de intervenciones intensivas y con un tiempo de contacto importante; VI Son oportunas. Los programas ms efectivos toman en cuenta el momento de la vida en que los participantes son ms receptivos a los cambios, o cuando estos son mas vulnerables al riesgo; VII Son cultural y socialmente pertinentes el adaptar el programa a las tradiciones culturales de los jvenes y sus familias, aumenta asistencia y retencin y permite resultados. VIII Tienen a organizaciones fuertes detrs. Los programas eficaces muestran estructuras administrativas slidas, baja rotacin y remuneracin competitiva del staff, y una visin compartida por su personal. IX Aplicado mediante variados, incluyendo mtodos interactivos para lograr la mayor efectividad del programa y la mayor participacin de los clientes.

143

Entre estos programas, que se describe se encuentran: I Programas de educacin preescolar: Estos programas atienden a nios en la fase inicial del ciclo de vida y construyen competencias cognitivas, sociales, emocionales y acadmicas, y son programas relativamente intensivos. Diversas evaluaciones encuentran que la participacin de programas preescolares est asociada con resultados positivos acadmicos y sociales, de corto y largo plazo, y que son evidentes incluso en la adultez, traducindose en importantes retornos econmicos6. Los tres programas ms conocidos y evaluados son High Scope Perry Preschool, the Chicago Child Parent Centers y Abecedarian y su informacin se presenta en la Tabla 1. En el caso del primer programa, su evaluacin incluy grupos de control y tratamiento, con levantamientos de base a ambos y seguimientos a los 27 y 40 aos, encontrndose que el grupo de tratamiento presentaba menores arrestos por robos, drogas u otras causas, y menos meses de encarcelacin. Se encuentra tambien que los participantes tienen menor probabilidad de repetir un grado, mayor probabilidad de graduarse de secundaria, mayor probabilidad de encontrarse empleados a los 27 y 40 aos, mayor probabilidad de ser dueos de su vivienda, y menor probabilidad de descansar en los servicios sociales. Por su parte, el programa Chicago Child Parent Centers hizo seguimiento a una muestra de 989 participantes y a un grupo de control de 550, hasta la edad de 24 aos. La evaluacin encontr para los participantes, menores tasas de arrestos juveniles, convicciones y encarcelaciones; un logro educativo ms alto; menor necesidad de educacin remedial y menores incidencias de maltrato infantil. Finalmente, la evaluacin del programa Abecedarian muestra efectos similares a los dos programas mencionados, con la excepcin de que no captur un efecto significativo de los participantes sobre la prevencin del crimen. Es notable que todos los ratios de costo a beneficio exceden a dos. Las fuentes de beneficios econmicos principales son la recaudacin tributaria (debida a los mayores ingresos en el tiempo de los participantes), y los ahorros pblicos debidos al crimen reducido, menores costos de victimizacin y menores necesidades de de rehabilitacin y tratamiento. Entre los principales elementos de efectividad de estos programas se encuentran la disponibilidad de personal bien entrenado y con salarios competitivos; son experiencias basadas en centros y con elementos de apoyo familiar a travs de visitas familiares y servicios de salud y nutricin; alta intensidad de servicios en trminos de horas; y currcula desarrollada con nfasis en actividades educativas y de enriquecimiento apropiadas para la edad de los participantes. II Programas de apoyo familiar: Una de las influencias ms importantes en el estimulo de un desarrollo saludable y positivo y la prevencin de la violencia es la de la familia. Habilidades parentales deficientes, o relaciones padres-hijos no constructivas son frecuentemente un factor de resultados negativos, incluyendo la incidencia de comportamientos riesgosos o conductas criminales. Atendiendo a esto, los programas basados en la evidencia que se enmarcan dentro del apoyo familiar y con impactos demostrados en la reduccin de delincuencia son de dos tipos: Programas de visitas familiares y programas de educacin parental. Subyacente a estos, hay tres supuestos: I que los padres juegan un rol crtico en el desarrollo y bienestar de los nios de un

144

hogar; II que el apoyo y la intervencin a los padres, tan pronto como posible, es una estrategia eficiente; y III que no puede esperarse que los padres busquen por si mismos recursos y educacin, sino que estos ltimos deben disponibilizarse y llevarse de modo activo a los hogares. Los programas de visitas familiares son una forma de programa preventivo centrada en la familia extremadamente popular en los Estados Unidos, estimndose que medio milln de nios participantes. La mayora de estos est dirigido a madres primerizas y se orientan a mejorar el embarazo, promover el desarrollo infantil, reducir el stress asociado al cuidado del nio, prevenir el abuso infantil y mejorar las habilidades parentales. Si bien rara vez se enfocan en prevencin de violencia per se, los estudios muestran un impacto sobre esta, a la vez que mejoran la calidad de vida de madres y nios. La literatura de evaluacin de impacto encuentra que los nios que participan de estos programas tienen mejores resultados que el grupo de control en varias dimensiones. Un meta-anlisis encuentra que los padres no presentan menor stress, ni se encuentran impactos sobre la mayor autonoma de las madres respecto de los servicios sociales. Sin embargo, las actitudes parentales y su comportamiento, as como el desarrollo emocional y cognitivo de los nios es impactado de modo positivo. De estos programas, uno es ejemplar, dado sus resultados positivos consistentes en evaluaciones: el Nurse Family Partnership Program (NFP), cuyas evaluaciones encuentran que los participantes experimentan menos arrestos, menores convicciones, menor abuso de alcohol, y menor incidencia de comportamientos sexuales riesgosos. Tanto en la familia como en la madre se encuentra un abuso menor de sustancias durante el embarazo; as como menor maltrato infantil, menor tamao familiar, mayor espaciamiento entre embarazos y menor dependencia de servicios sociales. Pese a sus altos costos, estos impresionantes resultados dan cuenta de un beneficio neto de $5.06 por cada dlar invertido. Entre los factores de xito, pueden destacarse la duracin e intensidad de la intervencin (mas de dos aos de visitas y cada trabajador no lleva ms de 25 casos); y que se trata de una intervencin comprensiva que abarca la salud parental y ambiental, las habilidades para el cuidado, el apoyo a las necesidades de otros miembros familiares (incluso proveyendo referencias); y un grado de supervisin estrecho del staff, que es a su vez, staff calificado. Por el lado de los programas de educacin y entrenamiento parental se destaca una gran variedad de programas orientados a influenciar el comportamiento y las habilidades parentales, a travs del impulso de cambios cognitivos, afectivos y de comportamiento; aumentando las interacciones positivas, recompensando los comportamientos positivos, y mejorando la comunicacin a travs del entrenamiento de padres con o sin sus nios. Se encuentra mayor efectividad cuando estos se dirigen a nios jvenes entre 3 y 10 aos, y cuando se da tiempo a los padres para que sus propios problemas puedan ser discutidos. La literatura encuentra que los programas que incluyen participacin de padres con sus hijos son ms efectivos, al incluir oportunidades de aprendizaje de control de emociones; de aceptar y dar crtica constructiva; de comunicar y de, simplemente, practicar estas habilidades. Como en anteriores programas, los ms exitosos son comprensivos, atendiendo varios factores

145

de riesgo en la familia; son interactivos y no tanto didcticos y su intensidad depende del riesgo y disfuncionalidad de la familia. De estos programas, Families and Schools Together (FAST), es el ms conocido y evaluado, implementndose en 45 estados y cinco pases7. Cada programa atiende de 5 a 25 familias durante 8 a 10 sesiones de intervencin grupal intensiva; seguidas de dos aos de reuniones mensuales comunitarias. Con cuatro evaluaciones experimentales se demuestra que se altera de modo efectivo los factores de riesgo, observndose en los participantes, menores niveles de agresividad y ansiedad, mejores logros acadmicos y sociales, y que los padres aumentan su involucramiento en la escuela y la comunidad. Otro programa, Strengthening Families Program for Parents and Youth 10 to 14 (SFP 10 14) encuentra que los nios participantes tienen menor probabilidad de usar alcohol y drogas, menor agresividad y problemas de conductas; y que los padres demuestran mayor afecto y mayor capacidad de definir lmites a los nios. El ratio de costo beneficio del programa es de $7.82 por cada dlar invertido8. III Programas de aprendizaje social y emotivo con base en la escuela. Aunque se ha incrementado la preocupacin en la regin por las manifestaciones de violencia en las escuelas (sea violencia entre pares o bullying y violencia de carcter delictivo), no hay datos uniformes a nivel regional que traduzcan la magnitud del fenmeno a escala regional. La violencia en las escuelas requiere ser prevenida no slo porque dificulta el aprendizaje de los alumnos, y porque causa daos fsicos y psicolgicos a sus vctimas, sino porque tambin la evidencia emprica demuestra que los jvenes que se involucran en ella tienen mayor riesgo de desarrollar trayectorias de vida problemticas. En general, las polticas pblicas de la regin sobre el tema suelen carecer de focos de intervencin especficos, de planificacin y sistemas de evaluacin y monitoreo eficientes. Su enfoque principal ha sido de prevencin primaria, junto con la incorporacin de prcticas de prevencin secundaria9. En los Estados Unidos, este tipo de programas parte de la nocin de que la escuela no es solo un mbito donde no solo se provee educacin sino uno donde se ejerce la ciudadana responsable. Desafortunadamente, la presencia de nios con preeminencia de factores de riesgo pueden afectar a otros en una escuela; y si muchos nios con estas caractersticas confluyen, el resultado puede ser un ambiente escolar caracterizado por la agresin, bullying y pandillas. Este tipo de programa se define como orientado a generar procesos de desarrollo de la habilidad de reconocer y controlar emociones; desarrollar empatia por otros; ejercer decisiones responsables; establecer relaciones positivas y administrar situaciones complejas de modo efectivo. Meta-anlisis muestran que estos programas decrecen el abandono escolar, el abuso de sustancias, y los problemas de conducta y delincuencia. El programa Skills, Opportunities,and Recognition (SOAR), por ejemplo, muestra mayor desempeo acadmico, mayor identificacin y compromiso con la escuela, menores actos de violencia, menores incidencias de uso de alcohol y de comportamientos sexuales riesgosos, y un retorno de $3.14 por cada dlar invertido. Otro programa, este diseado para implementacin universal en las escuelas, el Olweus Bullying Prevention Program, tambin presenta como impactos la menor victimizacin, vandalismo, peleas, robo y mejores actitudes hacia la escuela.

146

IV Programas de capacitacin familiar de prevencin secundaria. Como se seal anteriormente, abundante literatura ha documentado la importancia de la familia en la prevencin de la delincuencia juvenil y la promocin del desarrollo positivo y saludable. El Programa Formacin Familiar Eficaz (FET) surgi como una respuesta eficaz, centrada en la familia y cuya poblacin objetivo eran familias hispanas con nios de 6 a 12 aos de edad en la que los conflictos familiares ya ocurren, fruto a menudo de procesos de aculturacin. Un terapeuta o facilitador trabaja con los miembros de la familia en 13 sesiones para fortalecer a la familia, proporcionando tratamiento para patrones de interaccin negativos. Una evaluacin de este programa encontr que en comparacin con un grupo de control, los jvenes participantes presentaban menos problemas de personalidad y conductas, demostraban mayor madurez; y que las familias muestran funcionar mejor en los seis meses posteriores a su seguimiento en diversas medidas. Otro programa de prevencin secundaria, el programa de Fortalecimiento de Familias desarrollado en la Universidad de Utah ha sido reconocido por varios organismos como un programa basado en la evidencia y con resultados demostrados. Con una intervencin sustancialmente similar a SFP 10-14, pero con un mayor nmero de sesiones, las evaluaciones de este programa han encontrado importantes reducciones de los trastornos de la conducta de los jvenes y cambios positivos en varios aspectos del funcionamiento de la familia participantes. Hasta la fecha, este programa no ha sido sometido a un anlisis costo-beneficio. V Programas de entrenamiento en habilidades sociales de prevencin de riesgos secundarios. Como se seal anteriormente, las escuelas son un lugar privilegiado lugar para las intervenciones relacionadas con la juventud y la prevencin de comportamientos riesgosos. El programa (PACT) de prevencin secundaria destinado a los afro-americanos y los estudiantes con antecedentes de comportamiento agresivo y / o la victimizacin, ha demostrado impactos positivos en diversas evaluaciones. El programa entrena a estudiantes en habilidades sociales, y manejo de la ira, a travs de videos culturalmente apropiados y oportunidades para la discusin. La evaluacin de este programa indica que en comparacin con los grupos de control, los jvenes del programa mostraron menos inclinacin a la agresin fsica en la escuela; mejores habilidades sociales, menores contactos con el sistema de tribunales de menores; y menores delitos penales en general. En un seguimiento de este programa, se encontr que el grupo de control presentaba tasas de delincuencia dos veces superior a la de los participantes del programa los participantes. Lamentablemente, no hay un anlisis costo-beneficio del programa. VI Programas de mentora. En los ltimos aos, los programas de mentora10 o tutora han recibido un mayor inters de los responsables de las polticas de juventud. Subyacentes a los programas de mentora est la suposicin de que los nios y adolescentes pueden beneficiarse de una estrecha relacin con un adulto que no sea uno de los padres, pues: I el desarrollo social y emocional del joven es fomentado a travs de relaciones caracterizadas por la comunicacin y la confianza, y que pueden aumentar la autoestima y esperanzas del joven para el futuro; II las interacciones con adultos capacitados afecta de modo positivo el desarrollo cognitivo de los jvenes,

147

brindndoles la oportunidad de pensar y comunicar crticamente sobre cuestiones importantes a ellos ya a su futuro; y III la funcin de modelo o gua de adultos estables y exitosos puede disminuir las creencias de los jvenes de que sus oportunidades en la vida son muy limitadas. Los programas de mentora varan a lo largo de varias dimensiones. Algunos son lo suficientemente amplios como para cubrir aspectos diversos del desarrollo de los jvenes, mientras que otros se centran en un rea especfica, como la mejora del rendimiento acadmico o la prevencin del abuso de sustancias. Algunos programas consisten principalmente en interacciones de unoa-uno entre los mentores y los jvenes emparejados; mientras que otros ofrecen adems clases de aptitudes para la vida, o talleres para padres. A pesar de estas variaciones, programas de tutora comparten algunos rasgos comunes. As por ejemplo, los mentores son seleccionados tomando en cuenta el gnero, la raza, la ubicacin geogrfica, y los intereses comunes de los mentores y los jvenes. Datos de evaluaciones muestran que estos programas pueden influir positivamente en los resultados de los jvenes. Por ejemplo, un resumen de los ltimos diez programas de mentora para jvenes encuentra que en general, los jvenes participantes presentan mejores indicadores de logro educativo, mejores aptitudes sociales, y menor abuso de sustancias y comportamiento delictivo. De estos, el programa Big Brothers Big Sisters de Amrica (BBBSA) es el ms frecuentemente implementado en los Estados Unidos, a travs de ms de 500 organizaciones. El programa empareja a los nios y adolescentes de familias monoparentales con un mentor adulto voluntario para prestar apoyo en sus vidas. Los mentores y los jvenes emparejados se renen de dos a cuatro veces al mes durante al menos un ao. Una amplia evaluacin del programa presenta varios resultados notables. Los jvenes participantes del programa, en comparacin a los del grupo control, fueron 46 % menos propensos a comenzar a usar drogas, 27 % menos propensos a empezar a usar alcohol y presentan una tercera parte de la probabilidades de golpear a alguien que el grupo de control. Comparando con el grupo de control, los jvenes participantes perdieron la mitad del nmero de das de escuela, mostraron un rendimiento acadmico mayor y mejor relaciones con su familia y sus amigos. El anlisis costo-beneficio indica que el programa BBBSA no es sustancialmente rentable. Para un costo de 4.117 dlares por participante, los beneficios slo ascienden a 4.166 dlares, es decir una ganancia de $ 1,01 por cada dlar invertido en el programa. Algunos de los factores de xito de este tipo de programa son: I el fomento de relaciones positivas duraderas; as por ejemplo, el programa BBBSA requiere que los participantes se comprometan a mantener su relacin de mentora durante al menos un ao; pues se encuentra que las relaciones de ms de un ao producen los mayores resultados para los jvenes, incluidas las mejoras en el mbito acadmico, dominios del comportamiento y psicolgicos11; II apoyo y formacin amplios a los mentores antes y durante la relacin de tutora; III medidas activas para facilitar la interaccin entre los jvenes y sus mentores adultos como organizacin de actividades que reflejen los intereses de los jvenes; y IV estrecho control interno y mejora de sus prcticas

148

basadas en la evaluacin de datos. BBBSA es el modelo mas exitoso de este tipo de programas y su xito, al menos parcialmente, puede atribuirse a su historia de evaluacin de la ejecucin del programa y sus resultados. VII Programas de formacin profesional y/o capacitacin laboral. Los programas de capacitacin laboral y profesional se basan en la premisa de que el aumento de la educacin y las oportunidades de empleo permiten reducir la delincuencia y el comportamiento criminal de adultos. Las evaluaciones de los programas de formacin profesional han producido resultados mixtos. Unos programas han producido impactos insignificantes o negativos sobre el empleo, la delincuencia, y otros resultados; generando mayores costos que beneficios. Otros, como el Job Corps, han demostrado resultados positivos. Ms de 60.000 jvenes con edades entre 16 y 24 aos participan en un programa de Job Corps cada ao. En una evaluacin a largo plazo de los resultados de los participantes, se encuentra que estos participantes tuvieron significativamente menos detenciones y condenas y menor tiempo de encarcelamiento que los del grupo de control. Los participantes transcurrieron ms tiempo en las clases acadmicas que el grupo de control, y, en general, tuvieron mayores logros educativos y mayores ingresos que el grupo de control. A un costo de aproximadamente $15.804 dlares por participante, y con de aproximadamente $ 22.883 en beneficios para la sociedad, el programa alcanza un beneficio neto de 1,45 dlares por cada dlar invertido en el programa. VIII Programas de uso de tiempo despus de la escuela. Las investigaciones recientes han encontrado evidencia de que la intensidad de la delincuencia juvenil alcanza un pico entre las horas de 2-6 pm. Y ello se atribuye a la falta de supervisin de los adultos. As, muchas comunidades ofrecen programas antes y despus de las sesiones de la escuela regular y que generalmente incluyen servicios tales como mentora, oportunidades de trabajo voluntario, instruccin de computacin, participacin en actividades deportivas y actividades recreativas. Un reciente metaanlisis de los programas de uso de tiempo despus de la escuela indica que estos programas pueden reducir la delincuencia en estudiantes de escuela secundaria (middle-school) pero no de primaria (elementary). Comparados con el grupo de control, se encontr que los participantes muestran menores intenciones de usar drogas; mayores habilidades sociales y asociaciones positivas con compaeros positivos, todos estos factores asociados a la reduccin de la delincuencia. De los programas estudiados, aquellos que se enfocan en habilidades sociales tuvieron los mayores efectos en comportamiento, de all quizs que los efectos en los estudiantes de secundaria (donde este componente se incluye) sean mayores. Los investigadores han sealado que uno de los problemas con estos programas como parte de una estrategia de prevencin es que la probabilidad de que los jvenes en mayor riesgo participen regularmente de programas despus de la escuela es reducida, es decir, de all que no pueda asumirse que los programas de uso de tiempo despus de escuela reduzcan la delincuencia en la mayora de los jvenes en riesgo. Al momento no se ha realizado ningn anlisis de costo-beneficio de este tipo de programas.

149

150

Programa

mbito de la Intervencin

Poblacin Objetivo

Intensidad y Duracin

Impacto sobre: (a) prevencin de violencia y (b) otros impactos, en Edad o tiempo relacin con el grupo de control: transcurrido desde el ultimo seguimiento 21 aos

Ratio Beneficio -Costo

(i) Programas de educacin preescolar Chicago Escuela Nios de 3 a 9 Hasta los 6 aos. a) En comparacin al grupo de control, menor delincuencia hasta los Childaos, en 18, menores arrestos, y menores arrestos por ofensas violentas. Parent situacin b) En comparacin al grupo de control mayor aprestamiento para Centers socioeconmica kindergarten, puntajes de lectura y matemticas ms altos en tercer desaventajada, grado, menor probabilidad de repeticin, menor probabilidad de en reas urbanas requerir servicios de educacin especial, puntajes ms altos en examen de competencias, mayor involucramiento de padres, menores reportes de maltrato infantil, mayor logro educativo. High Scope Perry Escuela Nios/ Nios de 3 a 4 1 a 2 aos a) Reduccin en las conductas antisociales, menores arrestos, Preschool Enriquecimiento, aos, en menores contactos con la justicia criminal. involucramiento situacin b) Mayor logro acadmico para mujeres participantes, no para los de padres socioeconmica hombres; mayores ingresos; mayor probabilidad de propiedad de desaventajada vivienda; menor dependencia de programas sociales Abecedarian Escuela, Nios de de 6-12 Atencin de 5 a) Ninguno reportado. Project actividades de semanas de das por semana b) Puntajes ms altos en matemticas y lectura, menor probabilidad enriquecimiento edad hasta por 5 aos. de requerir educacin especial, mayor IQ; empleo materno. kindergarten; en situacin socioeconmica desaventajada (ii) Programas de apoyo familiar Nurse Family Familia 0-2 aos, Visitas a) Como adolescentes, menor probabilidad de arrestos, convicciones Partnership NFP Padres de poblacin de bimensuales de hasta los 15 aos. familias de bajos ingresos, dos horas cada b) Como adolescentes: menos parejas sexuales, menor consumo de alto riesgo/ madres una, terminando cigarrillos. Para madres: menor uso de sustancias durante el visitas primerizas cuando el nio embarazo, tamaos de familias menores, nacimientos ms familiares cumple dos aos espaciados, menor dependencia de servicios sociales, menos casos de abuso infantil. Strengthening Familia Familias con 2 hrs. semanales, a) Menores problemas de conducta, menor uso de sustancias, Families Program Padres y nios entre los por 7 a 14 menor probabilidad de afiliacin con jvenes en conflicto con la ley (10-14) nios 10-14 aos. semanas. b) Padres ms afectuosos y con mayores capacidades de establecer lmites para los nios.

10.15

27 y 40 aos

8.74 17.07

21 aos

2.02

15 aos

5.06

4 aos 14 despus

(iii) Programas de aprendizaje social y emotivo con base en la escuela Skills, Opportunities, and Recognition (SOAR) Olweus Bullying Prevention Program Familia Effectiveness Training (FET) Escuela Poblacin escolar/ padres y maestros Escuela Poblacin escolar Familia Alumnos entre los grados 1-6t, en reas urbanas de alto riesgo. Alumnos de 6-15 aos Jvenes de 6-12 aos de familias hispanas en riesgo Estudiantes afroamericanos de 10-18 aos, con una historia de problemas de conductas o de victimizacin Nios y jvenes entre 6 y 18 aos, de contextos socioeconmicos desventajosos, o de hogares monoparentales Jvenes de 16 a 14 aos en contextos de desventaja socioeconmica Multianual y continuo durante la primaria, consistente con ao escolar. Multianual y consistente con ao escolar. 13 sesiones de 1-1.5 horas a) Menor incidencia de conducta violenta. b) Mejor comportamiento en la escuela, mayor identificacin con la escuela, mayor logro educativo, menor probabilidad de actividad sexual, menor probabilidad de mltiples parejas sexuales, menor probabilidad de uso de alcohol. a) Menor vandalismo, peleas, robo y bullyingb) Mayor orden y disciplina en clases; actitudes positivas respecto de la escuela. a) Menores problemas de conducta, menor asociacin con otros jvenes en conflicto con la ley.b) Aumento de la autoestima, mayor funcionamiento de la familia. a) Menor agresin fsica, menor involucramiento con cortes juveniles, menores cargos por conducta violenta. 6 aos 3.14

2.5 aos

6 meses

Positive Escuela Adolescent Choices Training (PACT) (vi) Programas de mentora Big Brothers Big Comunidad Sisters of America (BBBSA)

2-4 veces al mes, a) Comparado al grupo de control, menor probabilidad de pelea por lo menos violenta en un ao anterior. por un ao. b) Menor uso de alcohol y drogas, menores ausencias escolares, calificaciones escolares y de competencia ms altas, mejores relaciones con familia y amigos.

(vii) Programas de formacin profesional y/o capacitacin laboral. Job Corps Escuela y Comunidad 8 meses a) Reduccin en la reincidencia, menos arrestos y convicciones; menor tiempo de crcel. b) Mas tiempo en la casa, incrementos en educacin y habilidades para el trabajo, mayores ingresos.

De: http://www.promisingpractices.net/research_topic.asp?topicid=11; What Works, Wisconsin. By Stephen A. Small, Arthur J. Reynolds, Cailin OConnor, and Siobhan M. Cooney, June 2005; http://www.rand.org/pubs/research_briefs/RB9352/index1.html

151

C. Utilizando las lecciones sobre lo que funciona: El diseo del Programa de Reformas Sociales en Brasil (PROARES-II), en Ceara. El gobierno de Cear, Brasil, tiene en marcha un programa que intenta recoger en su formulacin algunos de los principios de xito reseados en las pginas anteriores. Reconociendo que la atencin de la juventud del Estado de Cear representa a la vez un desafo y una oportunidad para su desarrollo sostenible, el gobierno estadual de Cear implementar la segunda fase del Programa de Apoyo a las Reformas Sociales, PROARES-II. Con el objetivo de mejorar las condiciones de vida e insercin social de los jvenes y de su grupo familiar, y fortalecer a la vez la capacidad de gestin municipal y estadual en el rea social, las actividades de PROARES-II: I parten de una estrategia de accin integral, preventiva y remedial, diseada para abordar los principales riesgos que afectan a la juventud del Estado; II son un complemento a la accin estadual y federal en las reas de juventud, asistencia social, educacin y salud; y III atienden especficamente aspectos como la importancia de de sistemas de informacin para la gestin, seguimiento y evaluacin, y el fortalecimiento de la capacidad de gestin municipal.

Situacin de riesgo de los nios y jvenes en Cear: Algunas cifras:

La desnutricin afecta a ms de 27 nios menores de dos aos por cada

1.000.

Los jvenes que se encuentran dentro del sistema educativo presentan

elevados niveles de desercin (8% en primaria y 12% en secundaria) y desfase respecto de su grado esperado (41% en primaria y 60% en secundaria).

En Cear el 53% de los jvenes no estudia y del total de desempleados

en el Estado, el 52% son jvenes.

El nmero de madres adolescentes menores de 15 aos creci un 19%

slo en el 2006. El embarazo adolescente, asociado generalmente con bajos niveles de ingresos y escolarizacin, afecta al 13,1% de las adolescentes de 15 a 19 aos.

La violencia es la manifestacin extrema de la situacin de riesgo que

afecta directamente a este grupo etreo, siendo los jvenes las principales vctimas y victimarios. As, se estima que del total de muertes en el grupo de 15 a 24 aos de edad en 2004, 30% fueron ocasionadas por homicidios, el 19% por accidentes de trnsito y 6% por suicidios. Cear figura adems entre los cinco estados con ms adolescentes infractores, registrndose en 2006 ms de 2.700 internaciones.

La violencia domstica presenta niveles alarmantes y Cear ocupa el

quinto lugar en el pas de casos denunciados de abuso de menores y adolescentes con un total de 15 denuncias por cada 100.000 habitantes.

152

Por que un programa de atencin de la juventud de Cear? El Estado de Cear, con una poblacin de 8.2 millones de habitantes, presenta tasas de pobreza e indigencia de 54,3% y 25,4%, respectivamente12. Pese a que el gobierno estadual ha realizado notables esfuerzos de promocin del desarrollo social en los ltimos aos, que se reflejan en un incremento sostenido del ndice de Desarrollo Humano (IDH) desde 0,47 a 0,84 entre 1980 y 2004; los indicadores socioeconmicos siguen siendo significativamente inferiores al promedio nacional, configurando una situacin de alta vulnerabilidad social para importantes segmentos de poblacin, en particular, los jvenes. En este contexto, tres temas relacionados merecen ser destacados: I Primero, la juventud de Cear es mayoritariamente pobre. En efecto, la poblacin entre 0 y 24 aos, que constituye la mitad de la poblacin del Estado, presenta incidencias de pobreza e indigencia de 55% y 28% respectivamente, alcanzando el 74% y 46% en zonas rurales. En Cear dos de cada tres familias (63%) con nios menores de 15 aos son pobres; II Segundo: La juventud de Cear se encuentra expuesta a riesgos cuya naturaleza cambia a lo largo del ciclo de vida. Estos riesgos abarcan, entre otros: (a) En la edad temprana (0-5 aos): desnutricin, enfermedad, y falta de estimulacin cognitiva y psicosocial, crucial para su posterior desarrollo; (b) En la infancia: el bajo rendimiento, el desfase, y las tasas de abandono escolar; y (c) En la adolescencia y juventud: el desarrollo inadecuado de habilidades y limitadas oportunidades de empleo, el embarazo adolescente; los altos ndices de transmisin de enfermedades sexualmente transmitidas; el uso y trfico de drogas; los altos ndices de violencia y la alta reincidencia de delincuencia juvenil; y (d) Pese a los importantes avances del Estado en su poltica social, persiste el reto de la fragmentacin de las acciones y la capacidad limitada en la atencin a la juventud. El Estado ha impulsado en los ltimos aos acciones que han contribuido a incrementar la cobertura de los servicios de educacin y salud. Pese a ello, no solo persisten retos de acceso y calidad, sino que la capacidad del sector pblico para atender a jvenes con programas complementarios es limitada. Estas intervenciones se caracterizan por ser dispersas, de calidad variable, centradas en temas antes que en estrategias integradas y con limitada coordinacin entre sectores y niveles de gobierno13. Ente este cuadro situacional, el diseo de PROARES-II parte de una estrategia de accin integral -preventiva y remedial- pensada para abordar los principales riesgos que afectan a la juventud en el Estado de Cear. Esta estrategia es: (a) multidimensional, al reconocer la amplia gama de riesgos que afectan a los jvenes; (b) primordialmente preventiva, privilegiando intervenciones costo-efectivas y de alto retorno social; (c) incluye, como parte de una misma estrategia de inversin, acciones de rehabilitacin de la fraccin de la juventud cearense que ya asume comportamientos riesgosos y/o experimenta las consecuencias negativas derivadas de estos comportamientos; (d) reconoce la centralidad de la familia y la comunidad para el desarrollo del joven, y por tanto busca reforzar mecanismos para asegurar su participacin en las intervenciones; y (e) se centra en el grupo objetivo buscando coordinar de modo efectivo y de acuerdo a sus ventajas comparativas, la accin de mltiples agentes pblicos y privados. Adems,

153

consciente de la importancia del seguimiento y evaluacin para la gestin y el diseo de poltica, PROARES-II fortalece los sistemas y procesos de informacin, seguimiento y evaluacin del Programa. As, PROARES-II, incluye, de un lado, el financiamiento de inversiones orientadas a aumentar la cobertura y expandir la calidad de la red de servicios sociales orientada a la juventud en riesgo en los municipios ms vulnerables14 de Caer. Estas inversiones, originadas en procesos de planificacin participativa municipal, parten a su vez de un men de intervenciones posibles compuesto por las siguientes intervenciones preventivas: I Desarrollo infantil temprano, a travs de la implantacin de Centros de Educacin Inicial; II Refuerzo escolar y recreacin de jvenes, a travs de la implantacin de Polos de Atencin Social; bibliotecas municipales; y/o centros deportivos; III Capacitacin profesional de jvenes; y IV Apoyo familiar y proteccin social, a travs del fortalecimiento de Centros de Referencia de Asistencia Social (CRAS)15. Cuadro I-1 Men de Intervenciones de PROARES-II
Men de Intervenciones Centro Educacin Infantil (CEI) Polo de Atencin Social Biblioteca municipal Ncleos deportivos Educacin Profesional y Emprendedora CRAS Actividades Desarrollo infantil temprano (lectura, juegos, actividades artsticas, socializacin, salud preventiva y nutricin). Prctica de actividades socioeducativas, culturales, deportivas, de apoyo a la escolaridad y a las familias. Promocin de la lectura y apoyo a la escolaridad. Fomento de la prctica de actividades deportivas y recreativas para jvenes vulnerables. Entrenamiento vocacional y profesional a jvenes. Poblacin Objetivo 0 a 5 aos

7 a 17 aos Universal 6 a 25 aos 16 a 25 aos Universal

Puerta de entrada a los servicios de asistencia social. Atiende familias con poblacin de referencia.

De otro lado, y con el objetivo de apoyar la planificacin y ejecucin de programas integrales de atencin al adolescente en conflicto con la ley y que est en proceso de reinsercin social, PROARES-II contempla el financiamiento de la elaboracin de un Plan Estadual Intersectorial de Atencin Socioeducativa. El Plan establecer las polticas, directrices, acciones, recursos y responsabilidades de la atencin integral y multisectorial del adolescente en conflicto con la ley, de acuerdo a las directrices del SINASE y ECA16, y ser el referente principal de las actividades de rehabilitacin de adolescentes en conflicto con la ley en el Estado; as como inversiones estratgicas para la rehabilitacin de menores en conflicto con la ley. Finalmente, PROARES-II incluir recursos para generar y analizar informacin para el seguimiento y evaluacin del Programa, y financiar: I fortalecimiento del sistema de informacin gerencial, seguimiento y evaluacin del Programa, incluyendo actualizaciones peridicas del software y entrenamiento de usuarios estaduales y municipales; II consultoras externas de evaluacin de medio trmino y final, adems de evaluaciones puntuales de las actividades del

154

Plan; III estudios y encuestas para profundizar el conocimiento de aspectos crticos de la realidad de los jvenes en Cear; y IV misiones de intercambio de tcnicos a programas sociales exitosos en Brasil u otros pases. El Programa tendr un costo total de US$64,26 millones. Un anlisis de costobeneficio encuentra que el valor actualizado neto de los beneficios y costos econmicos de PROARES-II asciende a R$910,9 y R$374,2 millones, respectivamente. El beneficio neto actualizado del Programa alcanza entonces R$536,7 millones o US$374,2 millones17, lo que supone una tasa interna de retorno de 26,6% y una relacin de beneficios a costos de 2,43; es decir, por cada unidad monetaria invertida, el Programa retorna 2,43 a la sociedad. El valor presente del costo evitado por cuenta de comportamientos riesgosos prevenidos corresponde a 1,9% del PIB de Cear en el 2007. Estos clculos suponen: I una distribucin de la canasta final de intervenciones idntica a la que resulta de la demanda expresada de los 23 municipios de la primera ronda de PROARESII, que han servido como una muestra indicativa de anlisis econmico; II los costos evitados por reduccin de comportamientos riesgosos calculados en la literatura para Brasil, son aplicables al caso concreto de Cear; y III el clculo de los impactos esperados de las intervenciones sobre la incidencia de comportamientos riesgosos es similar al encontrado en la literatura especializada internacional18. Es de esperar que, en la medida en que el Programa recolecte informacin para su seguimiento y evaluacin, sobretodo en indicadores de resultados clave de reduccin de vulnerabilidad juvenil, el Programa pueda no solo dar cuenta de sus impactos, sino tambin del costo fiscal de los mismos. Notas
1 2

Mapa da Violncia: Os Jovens da Amrica Latina, RITLA, 2008.

Caplan, G. (1964). The principles of preventive psychiatry. New York: Basic Books. Se identifican tres tipos de prevencin: primaria, secundaria y terciaria. La prevencin primaria es aquella orientada a prevenir la ocurrencia inicial del problema dentro de una poblacin promedio. La prevencin secundaria se orienta a poblacin que muestra sntomas de problemas, o comportamientos de riesgo de modo de evitar problemas mas serios. La prevencin terciaria involucra la intervencin para la reduccin del problema que el grupo ya experimenta.
3 Cummingham, W. et. al. The Promise of Youth: Policy for Youth at-risk in Latin America and the Caribbean, 2008, intenta caracterizar a la juventud de riesgo en America Latina. 4 La regin latinoamericana ha realizado esfuerzos significativos para obtener estadsticas que permitan caracterizar mejor la magnitud y manifestaciones de la violencia, tanto a partir del Informe de Epidemiologa y Costos en 1999, como tambin a partir del estudio de casos nacionales en Per, Mxico, Venezuela, Colombia, El Salvador, Panam, y Brasil.

What Works, Wisconsin. By Stephen A. Small, Arthur J. Reynolds, Cailin OConnor, and Siobhan M. Cooney, June 2005 Incluso a nivel de la regin, existe ya amplia literatura al respecto y habiendo poca discusin sobre el hecho de que los programas de Desarrollo Infantil Temprano son una de las intervenciones de poltica social de mayor retorno. Esta nota se circunscribe a tres evaluaciones hito en los Estados Unidos.
7 1 FAST Program Description. Retrieved May 20, 2005, from http://www.wcer.wisc.edu /fast/; McDonald, L. FAST Fact Sheet. Retrieved May 9, 2005, from http://www.wcer.wisc. edu/fast/how/ FACTsheets/FACTSheet_18.pdf; Development Services Group for the Office of Juvenile Justice and Delinquency Prevention. (2004). Model programs guide (Version 3.2). 6

Cabe destacar un tema crucial para la regin: Existen en Amrica Latina, iniciativas parciales y sin evaluacin en las mismas lneas de los programas de apoyo familiar. Como en estos, el fenmeno de

155

la violencia intrafamiliar o la violencia de gnero es uno que debe necesariamente considerarse. Las polticas de prevencin de la violencia intrafamiliar en la regin han variado su enfoque, pasando de centrarse en actividades de sensibilizacin a acciones de institucionalizacin, formulacin de legislacin especfica, a planes intersectoriales de prevencin. Dicho esto, an hay mucho que avanzar en este sentido para poner en marcha polticas de prevencin coordinadas, que no se enfoquen nicamente en la sensibilizacin y en la capacitacin, sino que encaren de manera integral los factores estructurales asociados a este tipo de violencia, como la inestabilidad laboral, la pobreza, la falta de redes sociales de apoyo, el consumo de drogas, etc.
9 En la regin latinoamericana existen experiencias innovadoras que buscan transformar a la escuela en un espacio donde toda la comunidad contribuye a la solidaridad. Entre ellos se destaca, el programa Habilidades para la Vida en Colombia, de la Fundacin Paz y Alegra, evaluado por el Banco Mundial y la Organizacin Panamericana de la Salud, como parte del Estudio Regional sobre Salud Escolar y Nutricinen Amrica Latina, que reflej cambios positivos en la conducta en los alumnos, con impacto en sus familias, y mejoras en el manejo de conflictos; y el programa Convivir en la Escuela de la Fundacin Convivir de Argentina, que ha sido designada por la PAHO como Centro de Excelencia Regional para las estrategias de Escuelas Promotoras de Salud y Habilidades para la Vida, y el cual desarrolla procesos de reflexin sobre los derechos, la autoestima, las drogas, el alcohol, los hbitos saludables y las habilidades sociales, entre otros. 10

La mentora es por lo general definida como una relacin entre un adulto y un joven en la que el adulto proporciona orientacin y apoyo Se encuentra que relaciones de mentara que duran al menos seis meses pero menos de un ao producen algunos efectos positivos, pero no en la magnitud deseada. Las relaciones de mentoria que duran menos de tres meses llegan a producir efectos negativos, incluyendo una disminucin en la autoestima y en la competencia escolar de los jvenes participantes. Los promedios nacionales para la pobreza e indigencia son de 31,8% y 12,8%, respectivamente. Esta situacin cobra una dimensin crtica en el caso de la atencin de la juventud en alto riesgo, y en particular de los menores en conflicto con la ley: La limitada capacidad actual del Sistema de Atencin Socioeducativa para prestar un servicio integral que facilite su reinsercin social y productiva plena explica la alta tasa de reincidencia (50%) que, en un circulo vicioso, conlleva altos costos sociales, y genera cuellos de botella en el sistema de justicia juvenil y superpoblacin en los centros de rehabilitacin, que comprometen a su vez la calidad de los servicios de rehabilitacin de jvenes. Ver Nota Tcnica No. 26, IPECE http://www.ipece.ce.gov.br/publicacoes/notas_ tecnicas/NT_26.pdf,

11

12 13

14 15

Los Polos son equipamientos multifuncionales orientados a propiciar la prctica de actividades socioeducativas, culturales, y deportivas en la poblacin de 7 a 17 aos. Los CRAS son la puerta de entrada a los servicios del Sistema de Asistencia Social.
16 17

Ver http://www.presidencia.gov.br/estrutura_presidencia/sedh/.arquivos/.spdca/sinase_integra1.pdf.

Estos clculos asumen una tasa de descuento de 12%, una tasa de cambio de R$1,65 por dlar, y un estimado del PIB estadual de R$48,1 mil millones en 2007. Fuente: IPECE. En efecto, adems de la usual dificultad de medicin de los beneficios tpica a proyectos sociales (particularmente en intervenciones orientadas a la juventud, en que la literatura especializada es particularmente escasa), el ejercicio enfrenta la complejidad adicional de estimar la demanda final municipal de intervenciones del men y a los beneficiarios, pues PROARES-II es un Programa por demanda, en donde estos son desconocidos al momento de la aprobacin. Ver el Documento Tcnico VII para mayor detalle metodolgico y referencias bibliogrficas especficas.
18

Monica Rubio Nacionalidad peruana. Economista y doctora en economa por Duke University, Estados Unidos. Actualmente se desempea como Economista de Proyectos en Amrica Latina, para la divisin de Proteccin Social y Salud del Banco Interamericano de Desarrollo- BID. Nota: Este articulo no refleja necessariamente la opinin del BID.

156

Novo enfoque de monitoramento e avaliao dos programas do Ministrio da Educao: Simec e Matriz de Avaliao Geysa Maria Bacelar Pontes Melo e Jnia Lagoeiro Dutra Nehm
Introduo A criao de uma cultura institucional pr-avaliao uma tendncia cada vez mais valorizada pelas instituies pblicas de todos os pases. No Brasil essa tendncia tambm uma realidade, depois de um sistemtico esforo de implantar a prtica do Planejamento Pblico nos diversos mbitos de governo nas duas ltimas dcadas. A Constituio Federal de 1988 foi a mola propulsora das principais reformas nesta rea desde a sua promulgao, por constituir-se na fundamentao legal para introduo do Plano Plurianual, da Lei de Diretrizes Oramentrias e da Lei Oramentria Anual, conforme prescrito no seu artigo 165. A partir de ento, definiu-se que o Plano Plurianual (PPA) seria a pea principal do planejamento de mdio prazo, documento embasador para a elaborao da Lei de Diretrizes Oramentrias que, por sua vez, estabeleceria metas e prioridades a serem executadas pela Lei Oramentria Anual, passando o planejamento governamental a ser sinnimo de Plano Plurianual e vice-versa. Desde 1991 j foram elaborados cinco planos plurianuais, merecendo destaque os dois ltimos. O PPA 2004-2007, intitulado Plano Brasil de Todos e elaborado com a participao da sociedade civil, culminou no desenvolvimento de um modelo de gesto gerencial (Decreto n. 5.233/2004) e na criao de um sistema de monitoramento e avaliao, no mbito do governo federal. Encontra-se em vigncia o PPA 2008-2011, intitulado Desenvolvimento com Incluso Social e Educao de Qualidade, que est dando continuidade metodologia anterior, com nfase no monitoramento e avaliao dos projetos e programas de governo, suas gestes estratgicas e transparncia na aplicao dos recursos pblicos. No atual PPA merece destaque o Programa de Desenvolvimento da Educao (PDE), criado em 2007 como referencial estratgico de execuo das polticas educacionais a serem implementadas pelo MEC, mediante a articulao de um conjunto de programas, projetos e aes que envolvem os trs nveis de ensino e suas diversas modalidades. O importante papel da poltica educacional na agenda do governo federal vem conferindo posio primordial s atividades de gesto do Ministrio da Educao, exigindo reestruturaes organizacionais e desenvolvimento de novas ferramentas gerenciais para o alcance da eficincia, eficcia e efetividade das polticas que vm sendo implementadas. Este texto procura, nesse sentido, apresentar de forma sinttica duas ferramentas que o MEC vem desenvolvendo para permitir acompanhar, em tempo real, a execuo

157

das aes governamentais, desde a sua concepo at a efetiva realizao fsica e financeira e avaliar criticamente seus programas. So apresentados aqui o Sistema Integrado de Planejamento, Oramento e Finanas do Ministrio da Educao (Simec) e o esboo da Matriz de Avaliao de Programas e Aes. Simec Ferramenta de Monitoramento e Avaliao A sistematizao informacional da execuo fsica dos programas e das aes governamentais, para monitoramento e avaliao, culminaram na necessidade de implantao, no mbito do Ministrio da Educao, de um sistema prprio, capaz de alimentar o Sistema de Informaes Gerenciais e de Planejamento (SIGPlan), do Ministrio do Planejamento, Oramento e Gesto, e atender s necessidades de um sistema gerencial especfico, tendo em vista as demandas institucionais dos gestores da rea educacional. O Simec foi implantado em 2005 para atender a esta demanda e ser uma ferramenta de organizao e integrao do gerenciamento do PPA. Foi elaborado como um instrumento, por meio do qual os gerentes de programa/gestores do governo federal pudessem elaborar, monitorar e avaliar suas atividades, em tempo real, inclusive com registro das restries, de modo a permitir atuao preventiva para soluo dos entraves. Foi desenvolvido e implantado pela Subsecretaria de Planejamento e Oramento (SPO), que conforme seu Regimento Interno, Portaria n 1.891, de 29/11/2006, um rgo subordinado diretamente SecretariaExecutiva do Ministrio da Educao, e tem como principais finalidades:

I instrumentalizar o SecretrioExecutivo com informaes gerenciais, tempestivas e fidedignas relacionadas a Planejamento, Oramento, Finanas e Contabilidade no mbito do Ministrio da Educao; II exercer as funes de Unidade de Monitoramento e Avaliao, de modo a oferecer subsdios tcnicos na definio de conceitos e procedimentos especficos aos programas sob responsabilidade do Ministrio da Educao; III colaborar com os rgos centrais dos Sistemas Federais de Planejamento e Oramento, Administrao Financeira e Contabilidade na anlise e proposies de mecanismos, processos, e atos normativos, com vistas ao contnuo aperfeioamento das atividades desenvolvidas no mbito do Ministrio da Educao; IV planejar, coordenar e supervisionar a execuo das atividades relacionadas aos Sistemas Federais de Planejamento e de Oramento, de Administrao Financeira e de Contabilidade, no mbito do Ministrio da Educao;

158

V promover a articulao com os rgos Centrais dos Sistemas Federais de Planejamento e Oramento, de Administrao Financeira e de Contabilidade, informando e orientando os rgos e unidades do Ministrio da Educao quanto ao cumprimento das normas vigentes; VI coordenar a elaborao e a consolidao dos planos e programas anuais e plurianuais do Ministrio da Educao e submet-los deciso superior; VII coordenar e avaliar as atividades de execuo oramentria, financeira e contbil, no mbito do Ministrio da Educao; VIII monitorar e avaliar as metas e os resultados da execuo dos planos e programas anuais e plurianuais, em articulao com as demais Secretarias, Autarquias, Empresa Pblicas e Fundaes vinculadas ao Ministrio da Educao.

Inicialmente o Simec foi desenvolvido com o objetivo de monitoramento das aes do MEC no Plano Plurianual (PPA), o qual, at ento, era realizado por meio do Sistema de Informaes Gerenciais e de Planejamento (SIGPlan). Contudo, havia muita resistncia ao uso dos sistemas estruturadores tal qual o SIGPlan, devido ao fato de no atenderem sobremaneira s necessidades dos gestores responsveis pelo monitoramento das aes, e no permitirem a produo de relatrios no nvel de detalhamento/agrupamento para tomada de decises, requeridas pelas reas de planejamento e oramento. A premncia de sistematizao informacional da execuo fsica dos programas e das aes governamentais, para monitoramento e avaliao, culminou na implantao, por parte do MEC, de um sistema prprio, capaz de alimentar o SIGPlan e atender s necessidades de um sistema gerencial principalmente para os gestores da educao. O Simec foi elaborado para servir no apenas como um instrumento de monitoramento e avaliao de processos, mas tambm como uma ferramenta de gesto dos programas governamentais. Isso refora a necessidade de avanar mais no que diz respeito a produo de informao e gesto do conhecimento, uma vez que o banco de informaes de monitoramento e avaliao disponvel refere-se, principalmente, a avaliao de processos, ou seja, as ferramentas atuais disponibilizadas pelo sistema priorizam avaliar a eficcia e a eficincia das 322 aes que integram os 24 programas do MEC. Atualmente, devido ao crescimento da capacidade de gerar e disponibilizar informaes, a estrutura de desenvolvimento do sistema, criada na SPO, ganhou corpo e, em meados de 2007, passou a integrar uma Diretoria de Tecnologia da Informao do MEC, tamanho o seu reconhecimento. A partir de ento, a estrutura do Simec j est sendo aproveitada, inclusive para captar (on-line) os projetos de expanso das Instituies Federais de Ensino Superior e propostas de adeso ao Plano de Metas Compromisso Todos Pela Educao, que tem por objetivo permitir a captao do diagnstico e definio do plano de aes articuladas de cada estado/municpio da federao.

159

Em seu primeiro ano, foi implantado o Mdulo PPA Monitoramento e Avaliao, com vistas ao acompanhamento fsico e financeiro dos programas e aes do Plano Plurianual (PPA). Desde ento surgiram novos mdulos com funes correlacionadas tanto ao monitoramento e avaliao, quanto execuo oramentria e financeira das aes do Ministrio, redundando num total de 23 mdulos, conforme Quadros de I a III e Figura 1.

Quadro I: Simec - Mdulos gerenciais de carter sistmico 1. PPA-Monitoramento e Avaliao Finalidade: monitorar e avaliar as aes e programas do PPA (Plano Plurianual); 2. Programao Oramentria - Finalidade: elaborar a Proposta Oramentria do Ministrio da Educao; 3. PPA-Elaborao e Reviso - Finalidade: elaborar e revisar os Programas e aes do PPA (Plano Plurianual); 4. Oramentrio e Financeiro - Finalidade: acompanhar a execuo oramentria e financeira do MEC; 5. PDE - Mdulo de Monitoramento do Plano de Desenvolvimento da Educao - Finalidade: elaborar e acompanhar o Plano de Desenvolvimento da Educao; 6. Monitoramento de Obras - Finalidade: monitorar as obras das redes de Educao Profissional e Tecnolgica e Superior e as obras das redes estaduais e municipais financiadas pelo MEC; 7. SIG - Informaes para Presidncia - Finalidade: agregar e prestar informaes gerenciais para subsidiar a elaborao de documentos; 8. Painel de Controle - Finalidade: Cadastrar e manter srie histrica de informaes de produtos decorrentes de atividades do Alinhamento Estratgico, tais como mapas estratgicos e indicadores estratgicos. Os mapas estratgicos so representados no Painel de acordo com os eixos: Educao Bsica, Educao Superior, Alfabetizao, Educao Continuada e Diversidade e Educao Profissional e Tecnolgica.

A criao desse sistema e a respectiva evoluo, em diferentes mdulos e funcionalidades, tem permitido ao MEC superar desafios, tanto de sua rotina de trabalho, quanto no cumprimento de sua agenda de governo, alm de inovar como modelo de governana do setor pblico. Os mdulos do Simec possuem diferentes pblicos-alvo. Atualmente, possui aproximadamente 50 mil usurios cadastrados, incluindo todos os governos de estados e municpios brasileiros, 176 unidades oramentrias do MEC, mantendo interface com a Presidncia da Repblica, o Ministrio da Fazenda e o Ministrio do Planejamento, Oramento e Gesto (Fig.2). Merece destaque a disponibilizao do cdigo fonte do sistema gratuitamente, para instituies pblicas, podendo ser utilizado em qualquer plataforma tecnolgica, sendo preferencialmente software livre. J foram atendidas 20 instituies pblicas at o momento.

160

Quadro II: Simec - Mdulos gerenciais com foco especfico 1. Reuni - Reestruturao e Expanso das Universidades - Finalidade: captar on-line os projetos das Instituies Federais de Ensino Superior; 2. PAR - Plano de Metas Compromisso Todos pela Educao - Finalidade: permitir a captao do diagnstico e definio do plano de aes articuladas de cada estado, on-line; 3. Brasil Profissionalizado - Finalidade: permitir a captao do diagnstico e definio do plano de aes articuladas para o Ensino Mdio Integrado a Educao Profissional e Tecnolgica dos estados e municpios, on-line; 4. REHUF - Finalidade: avaliar recursos e infraestrutura dos hospitais universitrios federais; 5. PAR Indgena - Finalidade: monitorar aes indgenas de formao escolar, elaborao de materiais didticos e obras indgenas; 6. PDE Escola / Mais Educao - Finalidade: captar dados e auxiliar o planejamento estratgico das escolas da rede pblica; 7. Emendas - Finalidade: cadastrar emendas das unidades vinculadas ao MEC.

Quadro III: Simec - Mdulos administrativos e de servios 1. Gerncia de Projetos - Finalidade: Planejar o desenvolvimento de projetos e acompanhar e controlar a execuo de tarefas; 2. Conjur - Mdulo de Consultoria Jurdica - Finalidade: controlar o fluxo de processos administrativos ou jurdicos, apoiado pelas coordenaes CGEPD, CGNLJ, CGACC e Seata; 3. Mdulo de Demandas - Finalidade: cadastrar demandas para as reas de sistemas de informao, suporte de atendimento, redes, telefonia, entre outras; 4. Rede Federal - Finalidade: permitir o monitoramento de dados relativos a informaes acadmicas, tais como bolsas e cargos, permitindo a distribuio e acompanhamento dessas informaes. 5. Eventos/Compras - Mdulo Administrativo - Finalidade: controlar eventos e compras; 6. Gesto de Tarefas - Finalidade: gerenciar as atividades de um departamento controlando todo processo de atendimento, principalmente os seus prazos e as pessoas envolvidas; 7. Gesto de Pessoas - Finalidade: Gesto de Pessoas avaliao institucional; 8. PSE Finalidade: monitorar o Programa Sade na Escola - PSE

161

Figura 1: Telas do SIMEC

Fonte: MEC/2009 - http//:simec.mec.gov.br

Figura 2: Diagrama de Fluxos

Fonte: MEC/2009

162

Para execuo das polticas nacionais de educao, especialmente as previstas no PDE, houve a necessidade de elaborao, por parte da Subsecretaria de Planejamento e Oramento, de recurso que permitisse a integrao entre o Plano Estratgico do MEC (PDE) e o Plano Plurianual (PPA 2008-2011), do governo federal, materializado pela adoo de Subaes Oramentrias cadastradas no Simec. Foi institudo, a partir de ento, o Sistema Integrado de Planejamento, Oramentao e Custos, no mbito do Simec. A Subao Oramentria constitui-se no instrumento de interseco que correlaciona as aes oramentrias do PPA s iniciativas do PDE, identificando suas caractersticas qualitativas mais relevantes e vinculando-as a Planos Internos (PI). O PI detalha a respectiva execuo e apropria custos para subsidiar o planejamento, a implementao, o monitoramento, a avaliao e a reviso contnua de cada Subao Oramentria, orientando, assim, os processos de tomada de deciso a partir de uma melhor visibilidade das atividades desenvolvidas. Embora o Plano Interno tenha sido institudo pelo Sistema Integrado de Administrao Financeira (Siafi1) foi adotado pelo Simec, com uso obrigatrio para todas as Unidades Gestoras do MEC. O fator decisivo para a adoo do Plano Interno e da Subao pelo MEC justifica-se pelo fato de a sua utilizao exigir dos gestores pblicos um planejamento estruturado de suas aes e, consequentemente, uma execuo mais eficaz, tendo em vista que, ao se planejarem, os gestores reduzem o nmero de aes oramentrias, possibilitando, assim, maior agilidade e flexibilidade na execuo fsica e financeira das aes. Implantao da Matriz de Avaliao de Programas e Aes Com o intuito de complementar os instrumentos de avaliao dos esforos e iniciativas do MEC, a Subsecretaria de Planejamento e Oramento desenvolveu uma metodologia de avaliao que possibilitar a anlise da execuo dos programas do MEC, constantes do Plano Plurianual do governo federal. Trata-se da Matriz de Avaliao de Programas e Aes do Ministrio da Educao, em fase de concluso, cuja proposta de incluso no Simec representar um passo frente para o processo de avaliao dos programas governamentais e mais uma inovao no cenrio governamental. O modelo do governo federal para avaliao de programas e aes aborda aspectos relacionados concepo, implementao e aos resultados alcanados, numa metodologia padronizada, comum aos diversos programas de governo, seja da rea social ou de infraestrutura, dificultando a anlise das especificidades de cada programa. Segundo o Manual de Avaliao Plano Plurianual 2004/2007, Exerccio 2008, do Ministrio do Planejamento, para que se cumpra o objetivo de promover a aprendizagem e auxiliar a tomada de deciso, essa anlise deve ser realizada de forma participativa, envolvendo diferentes percepes, mediante consulta equipe gerencial, aos coordenadores de ao, aos parceiros e, quando possvel, aos beneficirios do programa. A proposta da Matriz de Avaliao de Programas e Aes do Ministrio da Educao, cujo formato teve origem na Matriz de Envolvimento dos Atores, constante do Manual de Avaliao j mencionado, baseada em avaliao gerencial interna, um tipo de autoavaliao submetida aos atores envolvidos na gesto, em um processo de

163

aprendizagem e repactuao de compromissos dentro das organizaes, em torno de metas de desempenho (BRASIL, 2008). Baseada nessa premissa foi desenvolvida a Matriz de Avaliao dos Programas e Aes, onde o Gerente do Programa e os respectivos Coordenadores das Aes tero espao para expressar suas percepes sobre a situao do programa ou da ao durante o seu preenchimento. Eles podero avaliar, conforme seus julgamentos, quesitos relacionados potencialidade e eficcia ou eficincia das aes e, por conseguinte, do Programa. Trata-se de uma avaliao de menor custo, realizada no mbito da estrutura institucional pelas equipes executoras, coordenada e validada pela Coordenao de Avaliao da Subsecretaria de Planejamento e Oramento do MEC. Objetiva apontar as aes e os indicadores dos programas que se constituem em obstculos para a obteno dos resultados pretendidos, de modo a reverter as deficincias identificadas e orientar para um possvel redesenho do programa avaliado. A sua metodologia compreende critrios e normas estabelecidos e aplicados por meio de um roteiro de avaliao, que visa identificar o grau de relevncia das aes em relao aos indicadores do programa, de modo a explicitar o quanto determinada ao contribui para os resultados que se pretende alcanar. Na Figura 3 apresentado um modelo hipottico da Matriz, no qual possvel observar que os Critrios I e II so relativos potencialidade e o III relativo ao resultado alcanado pela ao. Essa categorizao relevante para fins de anlise, pois o potencial da ao ser o resultado da mdia aritmtica dos critrios I e II, e a eficcia da ao ser obtida pela mdia aritmtica apenas das notas do Critrio III.

Figura 3 - Matriz de Avaliao de Programas e Aes (lay out do Coordenador de ao)

Fonte: MEC/SPO

164

As Figuras 4 e 5 representam formas distintas de anlise dos resultados obtidos do conjunto de aes do Programa Brasil Escolarizado, mediante aplicao da Matriz, representada acima, sendo que na Figura 4 as categorias Alto, Mdio e Baixo correspondem s mdias 3, 2 e 1 (ou aproximaes), respectivamente. Na Figura 5, as notas verificadas no eixo y representam os resultados propriamente ditos, sem a categorizao mencionada. Ambas as figuras so comparaes entre o potencial da ao e a sua eficcia, em determinado perodo, sobre os indicadores de desempenho do Programa.

Figura 4 Quadro de Anlise: Potencial x Eficcia

Fonte: MEC/SPO

Figura 5 Histograma de Anlise: Potencial x Eficcia

Fonte: MEC/SPO

Essa Matriz, quando implementada, permitir identificar o grau de contribuio das aes para o alcance dos objetivos dos programas; os indicadores que melhor mensuram

165

o alcance dos resultados dos programas; aes e indicadores que devem ser aperfeioados; e aes que devem ser excludas. Possibilitar no apenas verificar se os resultados previstos esto sendo alcanados, como tambm contribuir, de forma evidente, para o aperfeioamento e melhoria do desempenho dos programas, superando as deficincias detectadas no desenvolvimento das polticas educacionais. Outras vantagens que podero ser obtidas esto relacionadas sua capacidade de apontar pontos positivos e negativos dos programas, diagnosticando a sua sustentabilidade ou necessidade de redesenho. Pode tambm prover os gestores com maior quantidade de informaes, ainda no disponibilizadas no Simec, fundamentais para a tomada de decises. Trata-se de um modelo em fase de desenvolvimento e, portanto, sujeito aos aperfeioamentos demandados pelos cenrios vindouros. Consideraes Finais O Ministrio da Educao, ao investir na gesto da qualidade e melhoria contnua no monitoramento e na avaliao do Plano Plurianual (PPA), conseguiu, pela criao do Sistema Integrado de Planejamento, Oramento e Finanas (Simec), no s conferir maior agilidade e racionalidade ao processo gerencial do Ministrio, por meio de um inovador e eficiente instrumento de gesto, como tambm padronizar as atividades inerentes ao fluxo de informaes fsicas e financeiras, repercutindo na elevao do nvel de satisfao dos seus usurios internos e externos. A metodologia conceitual utilizada para desenvolver o Simec como instrumento de integrao entre Planejamento, Oramento e Finanas do Ministrio inovou o conceito de sistemas de governo. [...] o Simec fortaleceu a atividade de planejamento e gesto no mbito do MEC, por constituir uma ferramenta permanente, suprimindo iniciativas pontuais e esparsas e facilitando a tomada de deciso (Aes premiadas no 13 Concurso Inovao na Gesto Pblica Federal 2008, p.176). A proposta inovou, tambm, ao apresentar uma soluo tecnolgica que possibilita a criao e substituio de mdulos conforme a necessidade dos gestores, conferindolhe grande flexibilidade e carter evolutivo, tendo logrado o primeiro lugar no 13 Concurso Inovao na Gesto Pblica Federal 2008, promovido anualmente pela Escola Nacional de Administrao Pblica ENAP. Em 2009, recebeu o 8 Prmio Excelncia em Governo Eletrnico o Prmio e-gov cujo objetivo reconhecer e incentivar a criao de projetos e solues de governo eletrnico nas administraes pblicas federais, estaduais e municipais. A Matriz de Avaliao de Programas e Aes do Ministrio da Educao tem o potencial de constituir instrumento relevante de avaliao por apresentar um enfoque diferenciado das avaliaes padronizadas j realizadas na esfera governamental. Espera-se que a avaliao de programas e aes do MEC contribua com a elevao dos padres de eficincia e eficcia da gesto governamental, bem como rena subsdios para avaliar a efetividade da aplicao dos recursos na rea educacional e a consequente qualidade da educao brasileira.

166

Referncias bibliogrficas
ALBUQUERQUE, C.; FEIJ, P. H.; MEDEIROS, M. Gesto de Finanas Pblicas : Fundamentos e Prticas de Planejamento, Oramento e Administrao Financeira com Responsabilidade Fiscal. Braslia: Paulo Henrique Feij, 2006. p. 488. BELLONI, Isaura; COSTA , L.S.; MAGALHES , H. Metodologia de Avaliao em Polticas Pblicas: uma experincia em educao profissional. So Paulo: Cortez, 2007. p. 96. BRASIL. Constituio (1988). Constituio da Repblica Federativa do Brasil: promulgada em 5 de outubro de 1988. Arnaldo Oliveira Jnior (Ed). Belo Horizonte: Mandamentos, 2006. BRASIL. Decreto n 5.233, de 06 de outubro de 2004. Estabelece normas para a gesto do Plano Plurianual 2004-2007 e de seus Programas e d outras providncias. Dirio Oficial da Unio, Braslia, 2004. BRASIL. Decreto n 6.601, de 10 de outubro de 2008. Dispe sobre a gesto do Plano Plurianual 2008-2011 e de seus programas. Dirio Oficial da Unio, Braslia, 2008. BRASIL. Ministrio da Educao. Portaria n. 4.601, de 31 de dezembro de 2005. Define os Gerentes de Programa e Gerentes Executivos do MEC, institui o Comit Gerenciador de Programas do rgo, designa a Subsecretaria de Planejamento e Oramento, por meio da sua Coordenao Geral de Planejamento, para exercer as funes de Unidade de Monitoramento e Avaliao, estabelece que o SIMEC funcionar como infrasig do SIGPlan, entre outros. Braslia. BRASIL. Ministrio da Educao. Portaria n. 731, de 22 de julho de 2009. Define os Gerentes de Programa e Gerentes Executivos do MEC, institui a Subao como instrumento de integrao entre o planejamento, a programao e execuo oramentria e financeira. BRASIL. Ministrio da Educao. Portaria n. 1.891, de 29 de novembro de 2006. Aprova o Regimento Interno da Subsecretaria de Planejamento e Oramento da Secretaria Executiva do Ministrio da Educao. BRASIL. Ministrio da Educao. Manual SIMEC. MEC: Braslia, 2009. Disponvel em: < http:// simec/monitora/monitora.php?modulo=inicio&acao=C. BRASIL/Ministrio do Planejamento, Oramento e Gesto. Manual de Avaliao - Plano Plurianual 2004/2007, Exerccio 2008, Ano Base 2007. Braslia, 2008. CALMON , K. M. N; GUSSO , D.A. A Experincia de Avaliao do Plano Plurianual (PPA) do Governo Federal do Brasil. Planejamento e Polticas pblicas, n. 25. Braslia: IPEA, jun./dez. 2002. NEHM, Junia Lagoeiro Dutra. Sistema Integrado de Planejamento, Oramento e Finanas (SIMEC): Histrico e Implementao. 2008. 69f. Monografia (Concluso da Especializao em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao) Escola Nacional de Administrao Pblica, Braslia. ENAP. Aes premiadas no 13 Concurso Inovao na Gesto Pblica Federal. Braslia: ENAP, 2009. Disponvel em: < http://inovacao.enap.gov.br/index.php.

Notas
1 Um dos sistemas mais antigos do pas e que no s preserva como aumenta a cada dia a sua importncia, principalmente na rea contbil e financeira, o Siafi foi implantado em 1987 e constitui, desde ento o mais importante instrumento de acompanhamento e controle da execuo oramentria, financeira e contbil do governo federal. (Albuquerque et al, p. 325).

167

Geysa Maria Bacelar Pontes Melo Nacionalidade brasileira. Participante do curso Avaliao de Programas Sociais, realizado pela EIAPP/ENAP em 2009. Economista com especializao em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao pela Escola Nacional de Administrao Pblica (ENAP). Servidora do Ministrio da Educao, lotada na Subsecretaria de Planejamento e Oramento do Ministrio da Educao, onde exerce a funo de coordenadora de Avaliao. Jnia Lagoeiro Dutra Nehm Nacionalidade brasileira. Economista com Especializao em Polticas Pblicas da Educao com nfase em Monitoramento e Avaliao pela Escola Nacional de Administrao Pblica (ENAP). Servidora do Ministrio da Educao, lotada na Subsecretaria de Planejamento e Oramento, onde exerce as funes de coordenadora-geral de Gesto do Conhecimento e subsecretria substituta de Planejamento e Oramento.

168