Manual de Auditoria Operacional

Repblica Federativa do Brasil Tribunal de Contas da Unio

Ministros Ubiratan Aguiar, Presidente Benjamin Zymler, Vice-Presidente Valmir Campelo Walton Alencar Rodrigues Augusto Nardes Aroldo Cedraz Raimundo Carreiro Jos Jorge Jos Mcio

Auditores Augusto Sherman Cavalcanti Marcos Bemquerer Costa Andr Lus de Carvalho Weder de Oliveira

Ministrio Pblico Lucas Rocha Furtado, Procurador-Geral Paulo Soares Bugarin, Subprocurador-Geral Cristina Machado da Costa e Silva, Subprocuradora-Geral Marinus Eduardo de Vries Marsico, Procurador Jlio Marcelo de Oliveira, Procurador Srgio Ricardo Costa Carib, Procurador

Manual de Auditoria Operacional

Braslia, 2010

 Copyright 2010, Tribunal de Contas da Unio Impresso no Brasil / Printed in Brazil <www.tcu.gov.br>

Permite-se a reproduo desta publicao, em parte ou no todo, sem alterao do contedo, desde que citada a fonte e sem fins comerciais.

Brasil. Tribunal de Contas da Unio. Manual de auditoria operacional / Tribunal de Contas da Unio. -- 3.ed. Braslia : TCU, Secretaria de Fiscalizao e Avaliao de Programas de Governo (Seprog), 2010. 71 p. 1.Auditoria operacional. I. Manual de Auditoria Operacional. Catalogao na fonte: Biblioteca Ministro Ruben Rosa

PORTARIA-SEGECEX N 4, DE 26 DE FEVEREIRO DE 2010 Aprova a reviso do Manual de Auditoria de Natureza Operacional e altera a sua denominao para Manual de Auditoria Operacional. O SECRETRIO-GERAL DE CONTROLE EXTERNO, no uso de suas atribuies, Considerando que o Plano Estratgico do Tribunal definiu como objetivos estratgicos Aperfeioar a estrutura legal e normativa de suporte ao controle externo e Aperfeioar instrumentos de controle e processos de trabalho; Considerando que compete Secretaria-Geral de Controle Externo Segecex aprovar manuais e regulamentos relativos s atividades, aos processos de trabalho e aos projetos na rea de controle externo, conforme o disposto no Inciso III do Art. 2 da Portaria-Segecex n 15, de 15 de setembro de 2008; Considerando o item 9.5 do Acrdo 2.730/2009 TCU-Plenrio, que determina Secretaria-geral de Controle Externo orientar suas unidades tcnicas acerca da necessidade de as auditorias operacionais observarem o disposto nos manuais, roteiros e tcnicas aprovados pelo Tribunal; Considerando a necessidade de adaptao do Manual evoluo dos mtodos e tcnicas empregados pelo TCU na realizao de auditorias operacionais; Considerando os padres de auditoria operacional adotados pela International Organization of Supreme Audit Institutions Intosai, resolve: Art. 1 Fica aprovada a reviso do Manual de Auditoria de Natureza Operacional, anexo da Portaria n 144, de 10 de julho de 2000, documento que passar a ser denominado Manual de Auditoria Operacional, contendo os princpios e padres que orientaro a realizao e o controle de qualidade das auditoras operacionais a cargo das unidades tcnicas do Tribunal de Contas da Unio. Art. 2 A Segecex manter atualizado o documento de que trata o artigo anterior, cabendo-lhe, ainda, o esclarecimento de dvidas e o recebimento de sugestes para o seu aperfeioamento, bem como o acompanhamento de sua implementao. Art. 3 Todas as auditorias operacionais realizadas por este Tribunal devero observar o disposto neste manual. Art. 4 Fica revogada a Portaria-Segecex n 33, de 3 de dezembro de 2002. Art. 5 Esta Portaria entra em vigor na data de sua publicao. PAULO ROBERTO WIECHERS MARTINS Secretrio-Geral de Controle Externo

Lista

de

Quadros

Quadro 1

Tcnicas mais utilizadas na etapa de planejamento

Quadro 2

25 32 38 41 48 56 62 64

Modelo de matriz de planejamento

Quadro 3

Processo lgico de identificao de achados e produo de recomendaes e determinaes

Quadro 4

Modelo de matriz de achados

Quadro 5

Estrutura recomendada para a parte textual do relatrio de auditoria operacional

Quadro 6

Exemplo de quadro resumo da situao de implementao das deliberaes

Quadro 7

Principais abordagens em auditoria operacional

Quadro 8

Resumo das principais tcnicas de coleta de dados

Lista
Figura 1

de

Figuras
11 14 21 29

Diagrama de insumo-produto
Figura 2

Ciclo de Auditoria Operacional

Figura 3

Atividades de planejamento
Figura 4

Hierarquia de questes e subquestes

sumrio

Introduo; 9 Objetivo; 9 Dimenses de Desempenho Caractersticas de Anop; 11

Economicidade; 11 Eficincia; 12 Eficcia; 12 Efetividade; 12 Outras dimenses de desempenho; 12 Equidade; 13 Caractersticas da auditoria operacional; 13

Seleo; 15
Processo de seleo dos objetos de auditoria; 15 Integrao com o planejamento estratgico; 15 Critrios de seleo; 15 Agregao de valor; 16 Materialidade; 16 Relevncia; 16 Vulnerabilidade; 17 Levantamento; 17 Levantamento de escopo amplo; 18 Levantamento de escopo restrito; 18

Planejamento; 21
Anlise preliminar do objeto auditado; 23 Definio do objetivo e do escopo da auditoria; 26 Tipos de questo de auditoria; 27

Especificao dos critrios de auditoria; 30 Elaborao da matriz de planejamento; 32 Validao da matriz de planejamento; 33 Elaborao de instrumentos de coleta de dados e teste-piloto; 34 Elaborao do projeto de auditoria; 34

Execuo; 35
Achado de auditoria; 35 Evidncias; 37 Desenvolvimento dos trabalhos de campo; 39 Anlise dos dados coletados; 40 Matriz de achados; 40 Validao da matriz de achados; 42

Relatrio; 43
Orientaes gerais para elaborao do relatrio; 44 Padres de elaborao; 45 Apresentao de dados; 47 Citaes e referncias; 47 Componentes do relatrio de auditoria; 47 Introduo; 49 Viso geral; 49 Captulos principais; 49 Anlise dos comentrios dos gestores; 50 Concluso; 51 Proposta de encaminhamento; 51

Monitoramento; 53
Plano de ao; 53 Sistemtica de monitoramento; 54 Relatrio de monitoramento; 54

Situao das deliberaes; 55

Controle de Qualidade; 57
Modalidades de controle de qualidade; 57 Papis dos principais atores envolvidos com o controle de qualidade; 58 Ferramentas de controle de qualidade; 59

Apndice Planejamento e Mtodo; 61

Matriz de Planejamento: Como Preench-la; 61 Informaes Requeridas; 61 Fontes de Informao; 61 Estratgias Metodolgicas; 61 Procedimentos de Coleta de Dados; 64 Procedimentos de Anlise de Dados; 66 Limitaes; 67 O Que a Anlise Vai Permitir Dizer; 68

Referncias; 69

introduo

Esta a terceira verso do manual, publicado inicialmente em 1998 e revisto em 2000. Diferencia-se das anteriores, pois aborda todo o ciclo de realizao desta modalidade de auditoria. Assim, alm da atualizao dos captulos dedicados ao planejamento, execuo e elaborao do relatrio, incluram-se orientaes gerais sobre a escolha do tema a ser auditado e o monitoramento das deliberaes resultantes da apreciao dos relatrios de auditoria. O controle de qualidade tambm foi objeto de captulo especfico. O documento reflete a evoluo dos mtodos e tcnicas empregados pelo TCU, por meio da acumulao de experincia na execuo de auditorias operacionais. Na elaborao deste manual foram consideradas as melhores experincias internacionais sobre o tema, bem como contribuies de profissionais desta Corte. O manual est alinhado aos padres de auditoria operacional adotados pela International Organization of Supreme Audit Institutions (Intosai).

objetivo

O objetivo deste documento definir princpios e padres que orientem a realizao e o controle de qualidade das auditorias operacionais a cargo das unidades tcnicas do Tribunal.

dimenses de desempenho CaraCterstiCas de anop

1 Auditoria operacional (ANOp1) o exame independente e objetivo da economicidade, eficincia, eficcia e efetividade de organizaes, programas e atividades governamentais, com a finalidade de promover o aperfeioamento da gesto pblica2. 2 As auditorias operacionais podem examinar, em um mesmo trabalho, uma ou mais das principais dimenses de anlise. O diagrama de insumo-produto ilustra essas dimenses e suas inter-relaes: Efetividade Economicidade Compromisso objetivos definidos Eficcia
Fonte: Adaptado de ISSAI 3000/1.4, 2004. Figura 1 Diagrama de insumo-produto

Insumos recursos alocados

Ao/Produo aes desenvolvidas Eficincia

Produto bens e servios providos

Resultados objetivos atingidos

Economicidade
3 A economicidade a minimizao dos custos dos recursos utilizados na consecuo de uma atividade, sem comprometimento dos padres de qualidade (ISSAI 3000/1.5, 2004)3. Refere-se capacidade de uma instituio gerir adequadamente os recursos financeiros colocados sua disposio. 4 O exame da economicidade poder abranger a verificao de prticas gerenciais, sistemas de gerenciamento, benchmarking de processos de compra e outros procedimentos afetos auditoria operacional, enquanto o exame estrito da legalidade de procedimentos de licitao, fidedignidade de documentos, eficincia dos controles internos e outros devero ser objeto de auditoria de conformidade. Na prtica, poder haver alguma superposio entre auditoria de conformidade e auditoria operacional. Nesses casos, a classificao de uma auditoria especfica depender do objetivo primordial da auditoria (ISSAI 100/41, 2001).
1

Neste manual utiliza-se o termo auditoria operacional como sinnimo de auditoria de desempenho (performance auditing). A definio de auditoria operacional adotada neste manual est baseada nas Diretrizes da Intosai para auditoria de desempenho - Implementation Guidelines for Performance Auditing (ISSAI 3000/1, 2004). As referncias aos documentos da Intosai seguem as orientaes dessa organizao e no as normas da ABNT.

11

Eficincia
5 A eficincia definida como a relao entre os produtos (bens e servios)4 gerados por uma atividade e os custos dos insumos empregados para produzi-los, em um determinado perodo de tempo, mantidos os padres de qualidade. Essa dimenso refere-se ao esforo do processo de transformao de insumos em produtos. Pode ser examinada sob duas perspectivas: minimizao do custo total ou dos meios necessrios para obter a mesma quantidade e qualidade de produto; ou otimizao da combinao de insumos para maximizar o produto quando o gasto total est previamente fixado (COHEN; FRANCO, 1993). Nesse caso, a anlise do tempo necessrio para execuo das tarefas uma varivel a ser considerada5. A eficincia pode ser medida calculando-se e comparando-se o custo unitrio da produo de um bem ou servio. Portanto, podemos considerar que o conceito de eficincia est relacionado ao de economicidade.

Efetividade
8 A efetividade diz respeito ao alcance dos resultados pretendidos, a mdio e longo prazo. Refere-se relao entre os resultados de uma interveno ou programa, em termos de efeitos sobre a populaoalvo (impactos observados), e os objetivos pretendidos (impactos esperados), traduzidos pelos objetivos finalsticos da interveno. Trata-se de verificar a ocorrncia de mudanas na populao-alvo que se poderia razoavelmente atribuir s aes do programa avaliado (COHEN; FRANCO, 1993). 9 Portanto, ao examinar a efetividade de uma interveno governamental, pretende-se ir alm do cumprimento de objetivos imediatos ou especficos, em geral consubstanciados em metas de produo ou de atendimento (exame da eficcia da gesto). Trata-se de verificar se os resultados observados foram realmente causados pelas aes desenvolvidas e no por outros fatores (ISSAI 3000/1.5, 2004). A avaliao da efetividade pressupe que bens e/ou servios foram ofertados de acordo com o previsto. O exame da efetividade ou avaliao de impacto requer tratamento metodolgico especfico que busca estabelecer a relao de causalidade entre as variveis do programa e os efeitos observados, comparandoos com uma estimativa do que aconteceria caso o programa no existisse (ISSAI 3000/1.7, 2004).

Eficcia
6 A eficcia definida como o grau de alcance das metas programadas (bens e servios) em um determinado perodo de tempo, independentemente dos custos implicados (COHEN; FRANCO, 1993). O conceito de eficcia diz respeito capacidade da gesto de cumprir objetivos imediatos, traduzidos em metas de produo ou de atendimento, ou seja, a capacidade de prover bens ou servios de acordo com o estabelecido no planejamento das aes. 7 importante observar que a anlise de eficcia deve considerar os critrios adotados para fixao da meta a ser alcanada. Uma meta subestimada pode levar a concluses equivocadas a respeito da eficcia do programa ou da atividade sob exame. Alm disso, fatores externos como restries oramentrias podem comprometer o alcance das metas planejadas e devem ser levados em conta durante a anlise da eficcia.

Outras dimenses de desempenho

10 Alm das quatro dimenses de desempenho examinadas, outras, a elas relacionadas, podero ser explicitadas em razo de sua relevncia para a delimitao do escopo das auditorias operacionais. Aspectos como a qualidade dos servios, o grau de adequao dos resultados dos programas s necessidades das clientelas (gerao de valor pblico), equidade na distribuio de bens e servios podem ser tratados em auditorias operacionais com o objetivo de subsidiar a accountability de desempenho da ao governamental.

4 5

Os produtos (bens e servios ofertados) podem ser entendidos como resultados imediatos. a principal questo saber se os recursos foram aplicados para obter uso timo ou satisfatrio ou se resultados similares, em termos de qualidade e tempo, poderiam ter sido alcanados com menos recursos (ISSAI 3000/1.5, 2004).

12

Equidade
11 O exame da equidade, que pode ser derivado da dimenso de efetividade da poltica pblica, baseia-se no princpio que reconhece a diferena entre os indivduos e a necessidade de tratamento diferenciado. Segundo Rawls (apud COHEN; FRANCO, 1993, p. 25), para proporcionar uma autntica igualdade de oportunidades a sociedade deve atender mais aos nascidos com menos dotes e aos nascidos em setores socialmente menos favorecidos. Ainda segundo Rawls (apud MEDEIROS, 1999), o tratamento desigual justo quando benfico ao indivduo mais carentedesigualdade justa. Promover a equidade garantir as condies para que todos tenham acesso ao exerccio de seus direitos civis (liberdade de expresso, de acesso informao, de associao, de voto, igualdade entre gneros), polticos e sociais (sade, educao, moradia, segurana)6. Portanto, as polticas pblicas de proteo e de desenvolvimento social tm papel fundamental na construo da equidade. 12 O exame da equidade poder envolver, por exemplo, a investigao dos critrios de alocao de recursos vis--vis distribuio espacial e o perfil socioeconmico da populao-alvo; as estratgias adotadas pelo gestor pblico para adequar a oferta de servios ou benefcios s diferentes necessidades do pblico-alvo; ou o exame do impacto diferenciado decorrente da implementao da poltica pblica7.

que adotam padres relativamente fixos, as auditorias operacionais, devido variedade e complexidade das questes tratadas, possuem maior flexibilidade na escolha de temas, objetos de auditoria, mtodos de trabalho e forma de comunicar as concluses de auditoria. Empregam ampla seleo de mtodos de avaliao e investigao de diferentes reas do conhecimento, em especial das cincias sociais ( ISSAI 3000/1.2, 2.2, 2004; ISSAI 400/4,21, 2001). Alm disso, essa modalidade de auditoria requer do auditor flexibilidade, imaginao e capacidade analtica (ISSAI 3000/1.8, 2004). 14 Algumas reas de estudo, em funo de sua especificidade, necessitam de conhecimentos especializados e abordagem diferenciada, como o caso das avaliaes de programa, auditoria de tecnologia de informao e de meio ambiente (ISSAI 3000/1.7, Apndices 5 e 6, 2004). 15 Nas auditorias de regularidade, as concluses assumem a forma de opinio concisa e de formato padronizado sobre demonstrativos financeiros e sobre a conformidade das transaes com leis e regulamentos, ou sobre temas como a inadequao dos controles internos, atos ilegais ou fraude. Nas auditorias operacionais, o relatrio trata da economicidade e da eficincia na aquisio e aplicao dos recursos, assim como da eficcia e da efetividade dos resultados alcanados. Tais relatrios podem variar consideravelmente em escopo e natureza, informando, por exemplo, sobre a adequada aplicao dos recursos, sobre o impacto de polticas e programas e recomendando mudanas destinadas a aperfeioar a gesto (ISSAI 400/2-3, 2001). 16 Pela sua natureza, as auditorias operacionais so mais abertas a julgamentos e interpretaes e

Caractersticas da auditoria operacional

13 As auditorias operacionais possuem caractersticas prprias que as distinguem das auditorias tradicionais. Ao contrrio das auditorias de regularidade8,
6

De acordo com a Constituio Federal (art. 3, inciso III), constitui objetivo fundamental da Repblica Federativa do Brasil erradicar a pobreza e a marginalizao e reduzir as desigualdades sociais e regionais. Sobre a ordem econmica, est estabelecido que esta se fundamenta na valorizao do trabalho humano e na livre iniciativa e que tem por fim assegurar a todos existncia digna, conforme os ditames da Justia Social observada, entre outros princpios, a reduo das desigualdades regionais e sociais (art. 170). Um exemplo desse tipo de anlise consistiria em verificar os ndices de incidncia de determinada enfermidade, aps campanha de erradicao, segundo a regio ou o perfil socioeconmico da populao para identificar possveis distores derivadas da forma de implementao da poltica. Segundo a Intosai, a auditoria de regularidade (regularity audit) compreende auditoria financeira, auditoria de controles internos e auditoria da legalidade de atos administrativos (ISSAI 100/39, 2001).

13

seus relatrios, consequentemente, so mais analticos e argumentativos (ISSAI 3000/1.2, 2004). Enquanto nas auditorias de regularidade o exame da materialidade est diretamente relacionado ao montante de recursos envolvidos, nas auditorias operacionais essa uma questo mais subjetiva e pode basear-se em consideraes sobre a natureza ou o contexto do objeto auditado (ISSAI 400/29, 2001). 17 A participao do gestor e de sua equipe fundamental em vrias etapas do ciclo de ANOp (Figura 2). Desde a etapa de seleo do tema e definio do escopo da auditoria at a caracterizao dos achados e possveis recomendaes, a equipe deve contar com a imprescindvel colaborao do auditado. Para que a auditoria contribua efetivamente para o aperfeioamento da gesto, o gestor precisa apoiar o trabalho e estar disposto a colaborar, facilitando a identificao das reas relevantes a serem examinadas. Por sua vez, o envolvimento do gestor favorece a apropriao dos resultados da auditoria e a efetiva implementao das recomendaes propostas (ISSAI 3000/Apndice 4, 2004). Monitoramento Divulgao Seleo

Figura 2 Ciclo de Auditoria Operacional

Apreciao Planejamento

Comentrio do gestor Relatrio

Fonte: Adaptado de NAO, 1996.

Execuo

18 Sinteticamente, o ciclo de auditoria operacional se inicia com o processo de seleo dos temas. Aps a definio de tema especfico, deve-se proceder ao planejamento com vistas elaborao do projeto de auditoria, que tem por finalidade detalhar os objetivos do trabalho, as questes a serem investigadas, os procedimentos a serem desenvolvidos e os resultados esperados com a realizao da auditoria. Na fase de execuo, realiza-se a coleta e anlise das informaes que subsidiaro o relatrio destinado a comunicar os achados e as concluses da auditoria. A etapa de monitoramento destina-se a acompanhar as providncias adotadas pelo auditado em resposta s recomendaes e determinaes exaradas pelo TCU, assim como aferir o benefcio decorrente de sua implementao (ISSAI 3000/3.1, 2004; TCU, 2005).

14

seLeo

Processo de seleo dos objetos de auditoria

19 O processo de seleo do objeto de auditoria o primeiro estgio do ciclo de auditoria. Sua importncia reside na definio de um objeto que oferea oportunidade para a realizao de auditoria que contribua para o aperfeioamento da administrao pblica e fornea sociedade opinio independente sobre o desempenho da atividade pblica. 20 O processo de seleo necessrio porque o campo de atuao do controle externo muito amplo, se comparado aos seus recursos, que so limitados. Para decidir o que auditar, necessrio estabelecer critrios, visando orientar a aplicao de recursos e aumentar a probabilidade de selecionar objetos de auditoria que tragam oportunidade de realizar trabalhos significativos (ISSAI 200/1.21, 2001). Este captulo trata desses critrios e de instrumentos que podem apoiar o processo de seleo. 21 Ao determinar a alocao de seus recursos, o Tribunal priorizar atividades que precisam, por lei, ser completadas em certo prazo (ISSAI 200/1.22, 2001), a exemplo do relatrio e pareceres prvios sobre as contas do Governo da Repblica. Este captulo no trata desses casos, mas dos cuidados que devem ser adotados para priorizar as auditorias de iniciativa prpria.

processo de seleo orientado por escolhas fundamentais, que definem a alocao de recursos e diretrizes de atuao. A definio de prioridades, compatveis com a manuteno da qualidade das atividades de controle, inclui a tomada de decises estratgicas, luz das informaes disponveis (ISSAI 200/1.23, 2001). 24 As escolhas estratgicas do rgo controlador abrangem diferentes perspectivas, desde decises sobre a alocao de recursos para cumprir suas obrigaes legais at decises sobre reas de governo que devem ser examinadas prioritariamente. 25 Assim, as escolhas estratgicas afetam a alocao de recursos em geral, tais como a natureza do investimento em capacitao, os tipos de ferramentas de trabalho que devem ser desenvolvidas, o quantitativo de pessoal alocado por linha de atuao. Alm disso, a seleo de objetos especficos deve partir de perspectiva geral do rgo de controle sobre temas prioritrios de auditoria (ISSAI 300/3.2, 2001). 26 Uma vez definidas as grandes reas de atuao, levando em considerao os objetivos do rgo de controle, o processo de seleo de objetos de auditoria pode ser mais bem focado, passando-se ao exame das informaes setoriais das aes de governo em confronto com critrios de seleo. Essa segunda etapa permitir passar do planejamento estratgico para a formulao de plano operacional.

Integrao com o planejamento estratgico

22 O processo de seleo deve estar integrado simultaneamente ao planejamento estratgico e ao sistema de planejamento anual (ISSAI 3000/3.2, 2004; BRASIL, 2005, art. 2). 23 A razo para a integrao da seleo com o planejamento estratgico reside no fato de que o

Critrios de seleo
27 Realizadas as escolhas estratgicas, o prximo passo do processo de seleo de objetos de auditoria definir os critrios que sero usados para selecionar objetos especficos de auditoria. 28 O principal critrio de seleo a capacidade de a auditoria agregar valor, por meio de sua contribuio

15

para a avaliao e a melhoria da gesto pblica (ISSAI 3000/3.2, 2004). Outros critrios podem ser usados, entre os quais se destacam os citados nos normativos da Intosai e do TCU: materialidade, relevncia e vulnerabilidade (ISSAI 3000/3.2, 2004; BRASIL, 2005). Esses critrios esto fortemente relacionados, mas so apresentados separadamente de forma a facilitar a compreenso de como operacionalizar o processo de seleo. 29 Os critrios de seleo podem ter maior ou menor peso no processo de escolha, conforme a conjuntura. As caractersticas do possvel objeto de auditoria devem ser examinadas em relao a cada um desses critrios para, em conjunto, permitir a elaborao de escala de prioridades. O processamento de diferentes informaes sobre agregao de valor, materialidade, relevncia e vulnerabilidade pode ser feito de diversos modos. O detalhamento de como processar as informaes pode ser objeto de roteiro com instrues especficas. 30 importante deixar claro que qualquer das opes possveis implica escolhas do rgo de controle. Assim, a seleo dos objetos de auditoria reflete preferncias dos operadores do processo de seleo. No entanto, as escolhas realizadas devem ser justificadas mediante alguma fundamentao, mesmo sendo a opinio qualificada de grupo de profissionais.

d) pouco conhecimento sobre a relao causa e efeito entre a ao de governo e a soluo de problemas.

Materialidade
32 O critrio de materialidade indica que o processo de seleo deve levar em considerao os valores envolvidos no objeto de auditoria, pois a auditoria deve produzir benefcios significativos. Nem sempre benefcios das auditorias operacionais so financeiros, mas o aperfeioamento de processos em objetos de auditoria com alta materialidade tem grande possibilidade de gerar economia ou eliminar desperdcios. 33 O volume de recursos disponveis no oramento indicador de materialidade. No entanto, em ambientes oramentrios nos quais existe grande diferena entre o orado, o contratado e o pago, o exame dos valores envolvidos em cada uma dessas fases da despesa pode ser necessrio. Alm disso, na fiscalizao da rea de regulao, a dimenso econmica do setor no qual se insere o objeto de auditoria deve ser levada em considerao.

Relevncia
34 O critrio de relevncia indica que as auditorias selecionadas devem procurar responder questes de interesse da sociedade, que esto em debate pblico e so valorizadas. 35 Os seguintes meios podem ser usados para aferir a relevncia do possvel objeto de auditoria: a) opinio de parlamentares, de tcnicos das casas legislativas ou de institutos de pesquisa, de figuras proeminentes de diversos setores da sociedade; b) declaraes de prioridades nos planos e oramentos pblicos como o Plano Plurianual, a Lei de Diretrizes Oramentrias, a mensagem do Executivo que encaminha o oramento ao Legislativo, os planos setoriais, a manifestao pblica de priorizao pelo governo; c) relatos reiterados de desperdcios, erros, desobedincia a procedimentos; d) presena na mdia.

Agregao de valor
31 Agregar valor refere-se a produzir novos conhecimentos e perspectivas sobre o objeto de auditoria (ISSAI 3000/3.2, 2004). As seguintes situaes podem indicar a possibilidade de a auditoria agregar valor significativo: a) discusso sobre nova poltica pblica ou mudana significativa na implementao de programa ou organizao de ente governamental; b) surgimento de novas ou urgentes atividades ou mudanas de condio; c) escassez de auditorias anteriores ou trabalhos de outros rgos de pesquisa ou de controle sobre o objeto de auditoria;

16

Vulnerabilidade
36 No contexto do processo de seleo, as vulnerabilidades so situaes ou propriedades intrnsecas do objeto de auditoria que podem estar associadas ocorrncia de eventos adversos (ABNT, 2009). Conforme a natureza do objeto de auditoria que esteja sendo selecionado, necessrio investigar reas especficas referentes operao de programas de governo, organizaes pblicas ou mesmo municpios a serem auditados. Nesse ltimo caso, podem ser examinadas caractersticas relacionadas ao desenvolvimento institucional local.
Exemplos de situaes que podem estar associadas ocorrncia de eventos adversos

Estruturas gerenciais complexas que envolvem diferentes organizaes governamentais, de uma mesma esfera ou de esferas de governo diferentes, e organizaes no-governamentais. Falta de informaes confiveis ou atualizadas sobre o desempenho do objeto de auditoria, como alcance de metas, custos dos produtos, pblico atendido. Problemas de estrutura, de planejamento, de controle. Falta de clareza sobre objetivos, metas, responsabilidades, processos de tomada de deciso. Problemas operacionais com sistemas informatizados.
Fonte: ISSAI 3000/3.2, 2004.

Levantamento
37 Para passar do planejamento estratgico para o plano operacional, so necessrias informaes atualizadas sobre estrutura, funes e operaes dos possveis objetos de auditoria, que permitam a identificao de reas com alta materialidade, que apresentem vulnerabilidades e que tenham potencial para que a auditoria contribua para gerar melhorias na administrao (ISSAI 200/1.23, 2001). A coleta dessas informaes pode ser realizada por meio de levantamento, que um tipo de instrumento de fiscalizao (BRASIL, 2002a, art. 238). 38 O planejamento estratgico, ao qual se liga o processo de seleo, pode ser baseado em anlise ou identificao de riscos, ou, de forma menos terica, na anlise de indicadores de problemas existentes ou potenciais (ISSAI 3000/3.2, 2004). Sendo assim, a identificao ou anlise de riscos pode ter papel importante na definio do escopo do levantamento e na obteno de informaes que realimentaro o planejamento estratgico.

17

39 O levantamento pode servir tanto como instrumento para selecionar futuros temas para auditorias quanto para decidir se vivel realizar auditorias especficas. Dependendo do objetivo e do conhecimento acumulado sobre a rea em exame, o levantamento poder ter escopo amplo ou restrito.

Levantamento de escopo amplo

40 O levantamento de escopo amplo tem por objetivo conhecer a organizao e o funcionamento das reas que podero ser fiscalizadas, bem como identificar objetos e instrumentos de fiscalizao (BRASIL, 2002a, art. 238, I e II). 41 O levantamento de escopo amplo explora as possibilidades de fiscalizaes mediante anlise do geral para o particular e em perspectiva plurianual. Tendo em vista sua amplitude, ele pode identificar oportunidades de realizar tanto auditorias operacionais quanto de conformidade. 42 Em geral, so colhidas informaes sobre os planos setoriais, base legal dos programas e organizaes, previso oramentria e execuo financeira, sistemas de informao, estruturas de monitoramento e avaliao, metas, planos de programas e organizaes, bem como reviso dos trabalhos de rgos de pesquisa e de controle sobre os possveis objetos de auditoria. 43 O levantamento oportunidade para se adquirir conhecimento sistmico sobre setores de atividade governamental. Procura-se entender a articulao entre programas de governo para alcanar os objetivos de determinada poltica pblica, o papel das organizaes pblicas e privadas envolvidas, os principais desafios e dificuldades existentes. 44 Alm disso, o levantamento permite atualizar ativamente informaes sobre reas de governo, identificar novos desenvolvimentos e tendncias nas polticas pblicas, mudanas de prioridades, necessidade de uso de novas abordagens e tcnicas nas auditorias. 45 Por meio do levantamento, o Tribunal adquire condies de focar melhor sua ao de fiscalizao e pode criar estratgia de atuao com perspectiva plurianual, que aborde de forma consistente os principais problemas identificados. O levantamento de escopo amplo, por sua natureza, tem custo maior do que o de escopo restrito, mas no precisa ser realizado com freqncia, porque parte das informaes so estveis e parte pode ser atualizada mediante consulta a bases de dados ou por meio de outros mtodos disponveis.

18

Levantamento de escopo restrito

46 Em alguns casos, pode ser necessrio aprofundar o levantamento para estudar a viabilidade de realizao da fiscalizao, isto , examinar se o objeto de auditoria indicado auditvel, o que corresponde a um dos possveis objetivos do levantamento (BRASIL, 2002a, art. 238, inciso III). 47 Um dos motivos que pode exigir a realizao do estudo de viabilidade a questo da oportunidade. Como o levantamento de escopo amplo visa identificar objetos de auditoria no curto, mdio e longo prazos, mudanas de condio podem exigir a atualizao de informaes e a reavaliao dos critrios de seleo. Outro motivo que as informaes levantadas, em abordagem sistmica, podem no ser suficientes para decidir sobre a realizao de fiscalizao especfica, para a qual seriam necessrias informaes mais detalhadas. 48 Em geral, o estudo de viabilidade traz informaes sobre os principais processos operacionais e produtos, de forma a esclarecer a forma de execuo das aes. Alm disso, examinam-se: a) a qualidade dos indicadores de desempenho j identificados, destacando oportunidades de melhoria; b) a disponibilidade de dados e sistemas de informaes, abordando sua confiabilidade e abrangncia; c) os relatrios gerenciais existentes e as avaliaes anteriormente efetuadas; d) as limitaes execuo da auditoria, e) a receptividade do gestor em participar da fiscalizao; f) a necessidade de empregar habilidades especializadas na auditoria; g) os possveis prejuzos aos objetivos do controle externo, caso a fiscalizao no seja realizada. 49 A concluso do estudo de viabilidade deve ser manifestao valorativa, substantiva e convincente sobre a convenincia e a oportunidade de se realizar a fiscalizao, abrangendo razes que recomendam a seleo do objeto de auditoria, o potencial do tema para chamar a ateno da mdia, da sociedade civil organizada e do Legislativo, e gerar resultados que agreguem valor. 50 Aps a seleo do objeto de auditoria, a prxima etapa do ciclo de auditoria o planejamento da fiscalizao especfica.

19

pLanejamento

51 Segundo a International Organization of Supreme Audit Institution (Intosai), o planejamento deve ser realizado de modo a assegurar que uma auditoria de alta qualidade seja conduzida de maneira econmica, eficiente, efetiva e com tempestividade (ISSAI 3000/3.3, 2004). 52 As auditorias operacionais devem ser precedidas de planejamento detalhado que oferea claro senso de direo ao trabalho, proporcione estrutura lgica consistente e auxilie a controlar custos e cumprimento de prazos (NAO, 1997).
Objetivo do planejamento de auditoria

O planejamento de auditoria visa delimitar o objetivo e o escopo da auditoria, definir a estratgia metodolgica a ser adotada e estimar os recursos, os custos e o prazo necessrios a sua realizao. 53 O planejamento consiste das seguintes atividades: a) anlise preliminar do objeto de auditoria; b) definio do objetivo e escopo da auditoria; c) especificao dos critrios de auditoria; d) elaborao da matriz de planejamento; e) validao da matriz de planejamento; f) elaborao de instrumentos de coleta de dados; g) teste-piloto; h) elaborao do projeto de auditoria.
- Colher informaes sobre o objeto de auditoria e seu funcionamento; - Aplicar tcnicas de diagnstico. Questes de auditoria: descritivas, normativas, avaliativas e exploratrias.

Figura 3 Atividades de planejamento

Painel de referncia e gestores.

21

54 Considerando que as auditorias operacionais devem ser gerenciadas como projetos, na fase inicial do planejamento, a equipe deve elaborar cronograma contendo as tarefas a executar, os responsveis e o prazo final para execuo. Esse instrumento permite que a equipe organize suas atividades, facilitando a alocao de seus membros de acordo com as tarefas necessrias e o tempo disponvel. O cronograma deve ser acordado entre os membros da equipe e submetido ao supervisor, que o utilizar no acompanhamento dos trabalhos. Para facilitar essa tarefa, tambm podem ser utilizados softwares especficos de acompanhamento de projetos. 55 Compete ao coordenador da equipe assegurar que o trabalho seja planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propsito do planejamento. 56 Para que a equipe forme entendimento comum sobre o trabalho, importante que todos os membros acompanhem o seu desenvolvimento e partilhem as informaes levantadas. Para isso, recomenda-se a realizao de reunies curtas e peridicas, que mantenham todos informados sobre o andamento dos trabalhos e busquem solucionar impasses ou conflitos, quando necessrio. 57 A equipe deve repassar ao supervisor, nos prazos acordados, informaes a respeito das atividades concludas e seu impacto sobre os rumos da auditoria, tendo em vista os dados obtidos at aquele ponto do planejamento. As limitaes ou entraves ao cumprimento dos prazos e tarefas acordados inicialmente tambm devem ser informados ao supervisor dos trabalhos. 58 Durante o planejamento, importante que o coordenador da equipe avalie os prazos estimados inicialmente. Se houver necessidade de readequao, o coordenador da equipe deve submeter novo cronograma de atividades ao supervisor. Essa proposta deve ser feita logo que a necessidade for identificada, para que providncias sejam encaminhadas em tempo hbil. 59 O estabelecimento de boas relaes com os gestores, desde o incio dos trabalhos, de suma importncia para o sucesso da auditoria. Especial ateno deve ser dada cuidadosa organizao dos contatos com os gestores, desde a fase de planejamento (ISSAI 3000/Apndice 4, 2004). O contato inicial deve ser por telefone, seguido de uma reunio em que a equipe de auditoria, acompanhada do supervisor, apresenta os objetivos do trabalho para o gestor e sua equipe. Deve-se solicitar a presena do representante do controle interno. 60 O objetivo desta reunio inicial, alm das apresentaes das equipes de auditoria e da instituio ou programa auditado, esclarecer sobre a modalidade de auditoria que ser realizada e sua finalidade, as principais dimenses de anlise (economicidade, eficincia, eficcia e efetividade), as etapas e os prazos previstos para a realizao do trabalho. fundamental destacar a importncia da colaborao do gestor e a garantia de sua participao em todas as fases do trabalho, ressaltando-se o envio de relatrio preliminar para sua anlise e comentrios. A atitude da equipe de

22

auditoria deve favorecer a confiana mtua e a interao produtiva ao longo de todo o trabalho, sem, entretanto, descuidar da observncia de limites necessrios salvaguarda de sua independncia na conduo da auditoria (ISSAI 3000/4.4, 2004; ISSAI 200/2.25/2.29, 2001). 61 Para evitar conflitos desnecessrios, os auditores devem procurar entender a natureza especfica do objeto de auditoria. Para isso, devero consider-lo a partir de diferentes perspectivas e adotar atitude aberta e objetiva diante de opinies divergentes, esforando-se para explicit-las de maneira a construir uma viso final to verdadeira e justa quanto possvel (ISSAI 3000/4.4, 2004). 62 importante registrar, organizar, documentar e referenciar os dados e informaes obtidos durante todas as fases da auditoria, em forma de papis de trabalho (ISSAI 3000/4.2/Apndice 3, 2004; GAO, 2007). 63 Papis de trabalho so os documentos relevantes coletados e gerados durante a auditoria. Devem ser suficientemente completos e detalhados para permitir que um auditor experiente, que no teve contato prvio com a auditoria, seja capaz de entender, a partir da documentao, a natureza e os resultados da auditoria realizada, os procedimentos adotados, as evidncias obtidas e as concluses alcanadas. 64 A quantidade, tipo e contedo da documentao sero definidos pelo auditor. Entretanto, recomenda-se documentar: a) objetivo, escopo, cronograma e metodologia do trabalho; b) matrizes de planejamento e achados; c) instrumentos de coleta de dados; d) resultados das tcnicas de diagnstico aplicadas; e) resultados de questionrios, entrevistas e grupos focais realizados; f) resultados de anlises estatsticas e de banco de dados; g) sugestes obtidas nos painis de referncia.

65 Manter os papis de trabalho organizados e documentados importante porque: a) auxilia no planejamento, execuo e superviso da auditoria; b) subsidia a elaborao do relatrio e a resposta a questionamentos do auditado ou de outros atores interessados; c) aumenta a efetividade e a eficincia da auditoria; d) auxilia na reviso da qualidade da auditoria; e) contribui para o desenvolvimento profissional do auditor; f) pode subsidiar a realizao de novos trabalhos. 66 A documentao de auditoria deve ser armazenada durante o tempo necessrio para satisfazer as exigncias legais e administrativas. Deve-se garantir a segurana, integridade, acessibilidade e recuperabilidade das informaes, seja em papel, meio eletrnico ou outras mdias.

Anlise preliminar do objeto auditado

67 A anlise preliminar consiste no levantamento de informaes relevantes sobre o objeto auditado para adquirir-se o conhecimento necessrio formulao das questes que sero examinadas pela auditoria. 68 A compreenso do objeto da auditoria permite identificar riscos e pontos crticos existentes e indispensvel definio do objetivo e do escopo da auditoria. importante assegurar que os aspectos centrais do objeto auditado tenham sido investigados, documentados e compreendidos. A extenso e o nvel de detalhamento dos dados que sero coletados devem levar em considerao a natureza do objeto investigado, o tempo e os recursos disponveis pela equipe. 69 A equipe deve realizar investigao preliminar dos controles internos e dos sistemas de informao, assim como dos aspectos legais considerados significativos no contexto da auditoria. Nas auditorias

23

operacionais, o exame da confiabilidade da base informativa e dos controles internos deve enfatizar os aspectos que possam comprometer a efetividade e/ou a eficincia das operaes. 70 A avaliao dos controles internos deve ser considerada na estimativa do risco de auditoria, que consiste na possibilidade de o auditor chegar a concluses equivocadas ou incompletas. Sempre que relevante, o resultado dessa avaliao deve ser registrado no projeto de auditoria. 71 O levantamento de informaes pode ser estruturado da seguinte forma (ISSAI 3000/3.3, 2004): O objeto e seu contexto: a) objetivos (gerais ou parciais, dependendo da extenso do trabalho); b) estratgia de atuao (aes desenvolvidas, metas fixadas, clientes atendidos, procedimentos e recursos empregados, bens e servios ofertados e benefcios proporcionados); c) estrutura organizacional (linhas de subordinao e de assessoramento e relao com as atividades desenvolvidas); d) fontes de financiamento e principais itens de custo e despesa (histrico da execuo oramentria); e) situao no contexto das prioridades governamentais; f) histrico (a partir da data de criao, as denominaes anteriores e mudanas na sua concepo lgica em relao a objetivos, pblico-alvo e formas de implementao); g) grupos de interesse e caractersticas do ambiente externo e interno; h) natureza da atuao de outros rgos ou programas governamentais que atuam na mesma rea (linhas de coordenao). Funcionamento do objeto auditado: a) processos gerenciais; b) bases de dados existentes; c) ambiente de controle; d) restries enfrentadas (imposies legais e limitaes impostas pela concorrncia, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades). 72 As informaes sobre o objeto auditado podem ser obtidas de diversas fontes, conforme exemplificado no Apndice. 73 A equipe dever realizar levantamento de trabalhos relevantes sobre o objeto de auditoria, identificando aspectos avaliados e principais concluses de

24

relatrios de auditoria do TCU e do controle interno, alm de estudos e pesquisas de iniciativa do rgo executor ou de instituio acadmica conceituada. 74 Ainda na fase de anlise preliminar, podem ser utilizadas tcnicas com a finalidade de traar diagnstico a partir da interpretao sistemtica das informaes coletadas e da identificao dos principais problemas relativos ao desempenho do objeto selecionado. O Quadro 1 resume as tcnicas mais empregadas e os objetivos a que se propem.
Tcnica de diagnstico Objetivo Quadro 1 Tcnicas mais utilizadas na etapa de planejamento

SWOT e Diagrama de Identificar as foras e fraquezas do ambiente interno do objeto Verificao de Risco da auditoria e as oportunidades e ameaas do ambiente externo. Identificar possveis reas a investigar. Identificar fatores de risco e conhecer a capacidade organizacional para o seu gerenciamento. Anlise stakeholder Identificar principais grupos de interesse (atores interessados). Identificar opinies e conflitos de interesses e informaes relevantes. Mapa de produtos e Indi- Conhecer os principais objetivos de uma entidade ou cadores de desempenho programa. Representar as relaes de dependncia entre os produtos. Identificar os responsveis pelos produtos crticos. Desenvolver indicadores de desempenho. Mapa de processos Conhecer o funcionamento de processos de trabalho. Identificar boas prticas. Identificar oportunidades para racionalizao e aperfeioamento de processos de trabalho. Observao: Outras tcnicas, como anlise de Ishikawa, anlise RECI e marco lgico, tambm podem ser teis nessa etapa do trabalho de auditoria.

75 Dados sobre desempenho so fundamentais para a avaliao dos aspectos da economicidade, eficincia, eficcia e efetividade do objeto da auditoria. O uso de indicadores de desempenho para aferir os resultados alcanados pelos gestores preconizado pelas doutrinas de gerenciamento voltado para resultados. O Ministrio do Planejamento estabelece que para cada programa finalstico obrigatrio haver ao menos um indicador. Para os programas de apoio s polticas pblicas e reas especiais9, a presena de indicadores facultativa (BRASIL, 2008). Embora ocupe posio central no planejamento de auditoria, a produo de informaes sobre desempenho pelo gestor pode enfrentar os seguintes problemas:

So programas voltados aos servios tpicos de Estado, ao planejamento, formulao de polticas setoriais, coordenao, avaliao ou ao controle dos programas finalsticos, resultando em bens ou servios ofertados ao prprio Estado, podendo ser composto inclusive por despesas de natureza tipicamente administrativas (BRASIL, 2008).

25

a) dificuldade de desenvolver indicadores de desempenho a partir de objetivos definidos de forma imprecisa; b) sistemas de informao inadequados ou pouco confiveis; c) efeito de fatores externos sobre o desempenho de programas, dificultando a identificao dos resultados diretamente atribuveis s aes e s polticas especficas; d) dificuldade de mensurar produtos no homogneos; e) dificuldade de incorporar a dimenso qualitativa nos indicadores de desempenho; f) necessidade de mltiplos indicadores para se obter um quadro da eficincia e da efetividade de um programa. 76 Em funo das dificuldades apontadas, ao examinar informaes sobre desempenho, a equipe deve considerar, entre outras questes: a) Os indicadores de desempenho so vlidos, confiveis e justificveis luz da relao custo-benefcio? b) Os procedimentos de coleta de dados sobre desempenho so suficientes e adequados? c) Os indicadores de desempenho so parte integrante do processo de tomada de decises? 77 Sempre que houver necessidade de ampliar o conhecimento sobre os aspectos operacionais do objeto de auditoria, recomenda-se a realizao de visitas exploratrias, isto , o deslocamento da equipe de auditoria para o local (ou locais) onde as atividades se desenvolvem, com o objetivo de colher informaes preliminares. A ausncia de um claro arcabouo legal, a insuficincia de informaes ou, ainda, a diversidade na forma de implementao das aes so exemplos de razes que justificam a visita exploratria na fase de planejamento. Os custos da sua realizao devem ser considerados no custo estimado da auditoria. 78 A visita exploratria til para prevenir problemas no decorrer da execuo dos trabalhos, reduzir incertezas, auxiliar na definio dos critrios de auditoria, bem como permitir a obteno de informaes que subsidiaro a elaborao dos instrumentos de coleta de dados.

Definio do objetivo e do escopo da auditoria

79 A partir do conhecimento construdo durante a anlise preliminar do objeto de auditoria, a equipe dever definir o objetivo da auditoria por meio da especificao do problema e das questes de auditoria que sero investigadas. O objetivo deve esclarecer tambm as razes que levaram a equipe a sugerir um determinado tema e enfoque, caso estes no tenham sido previamente definidos na deliberao que determinou a realizao da auditoria.

26

Questo de auditoria

A questo de auditoria o elemento central na determinao do direcionamento dos trabalhos de auditoria, das metodologias e tcnicas a adotar e dos resultados que se pretende atingir. 80 Ao formular as questes e, quando necessrio, as subquestes de auditoria, a equipe est, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao, as dimenses e os limites que devero ser observados durante a execuo dos trabalhos. 81 Nesse sentido, a adequada formulao das questes fundamental para o sucesso da auditoria, uma vez que ter implicaes nas decises quanto aos tipos de dados que sero coletados, forma de coleta que ser empregada, s anlises que sero efetuadas e s concluses que sero obtidas. 82 Na elaborao das questes de auditoria, deve-se levar em conta os seguintes aspectos: a) clareza e especificidade; b) uso de termos que possam ser definidos e mensurados; c) viabilidade investigativa (possibilidade de ser respondida); d) articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado).

Tipos de questo de auditoria

83 O tipo de questo formulada ter uma relao direta com a natureza da resposta e a metodologia a adotar. Podemos classificar questes de auditoria em quatro tipos (GAO,1991; NAO,1997): a) Questes descritivas: So formuladas de maneira a fornecer informaes detalhadas sobre, por exemplo, condies de implementao ou de operao de determinado programa ou atividade, mudanas ocorridas, problemas e reas com potencial de aperfeioamento. So questes que buscam aprofundar aspectos tratados de forma preliminar durante a etapa de planejamento. Exemplos de questo descritiva: Como os executores locais esto operacionalizando os requisitos de acesso estabelecidos pelo programa? b) Questes normativas: So aquelas que tratam de comparaes entre a situao existente e aquela estabelecida em norma, padro ou meta, tanto de carter qualitativo quanto quantitativo. A abordagem metodolgica empregada nesses casos a comparao com critrios previamente identificados e o desempenho observado. Abordam o que deveria ser e usualmente so perguntas do tipo: O programa tem alcanado as metas previstas?; Os sistemas instalados atendem s especificaes do programa?.

27

c) Questes avaliativas (ou de impacto, ou de causa-e-efeito): As questes avaliativas referemse efetividade do objeto de auditoria e vo alm das questes descritivas e normativas para enfocar o que teria ocorrido caso o programa ou a atividade no tivesse sido executada. Em outras palavras, uma questo avaliativa quer saber que diferena fez a interveno governamental para a soluo do problema identificado. O escopo da pergunta abrange tambm os efeitos no esperados, positivos ou negativos, provocados pelo programa. Exemplo de questo avaliativa: Em que medida os efeitos observados podem ser atribudos ao programa?. As questes avaliativas quase sempre requerem estratgias metodolgicas bastante complexas, envolvendo modelos experimentais com grupos de controle, anlises estatsticas sofisticadas e modelagem. Esse tipo de estudo pode trazer resultados reveladores, mas, em funo da complexidade envolvida, caro e de demorada implementao. d) Questes exploratrias: Destinadas a explicar eventos especficos, esclarecer os desvios em relao ao desempenho padro ou as razes de ocorrncia de um determinado resultado. So perguntas do tipo: Quais os principais fatores que respondem pela crise do sistema de transporte areo?; Que fatores explicam o aumento expressivo nos gastos com pagamento dos benefcios de auxlio-doena ao longo da ltima dcada? 84 A formulao da questo de auditoria um processo interativo, o qual depende, fundamentalmente, das informaes obtidas na fase de planejamento e daquilo que se quer investigar. Geralmente utiliza-se a tcnica de brainstorming para o seu preenchimento, o que permite a cada participante expor livremente suas idias e interpretaes, at que se alcance entendimento comum sobre a formulao do problema, das questes e subquestes de auditoria. 85 Embora no exista um mtodo fcil para se chegar s questes de auditoria, recomenda-se uma abordagem estruturada para sua formulao, inspirada no mtodo cartesiano de soluo de problemas, como descrito a seguir:

1 passo - Descreva o problema: 86 Com base nas informaes propiciadas pela anlise preliminar do objeto de auditoria, expresse, de forma clara e objetiva, aquilo que motivou a auditoria. A descrio do problema deve ser suficiente para nortear a concepo da auditoria. 87 Caso a solicitao para realizao da auditoria seja formulada de maneira genrica ou muito abrangente, o planejamento dever definir o escopo da auditoria, etapa fundamental para que se possa ter compreenso clara do que ser auditado. A explicitao do no-escopo, ou seja, daquilo que no ser tratado pela auditoria, pode ser necessria para estabelecer com preciso os limites do trabalho.
Exemplo de formulao de problema de auditoria

A partir do ano 2000, os dispndios governamentais com o benefcio de auxlio-doena tiveram aumento expressivo. Por isso, para assegurar a prestao de servios com qualidade e coibir o desperdcio de recursos pblicos, importante investigar a adequao dos mecanismos de controle do INSS para gerenciar a concesso e manuteno desse benefcio, bem como avaliar a contribuio dos servios de reabilitao profissional dos beneficirios, visando reduo de custos.
Fonte: Adaptado do relatrio de auditoria operacional sobre benefcio de auxlio-doena (TC 012.034/2008-7).

2 passo - Formule as possveis questes: 88 O problema deve ser subdividido em partes que no se sobreponham. Por meio de brainstorming identifique possveis questes que, uma vez respondidas, possam elucidar o problema formulado. A seguir, estabelea uma hierarquia de questes, como na Figura 4. Identifique o tipo de questo formulada, pois a natureza da questo ter relao direta com a natureza da resposta e a metodologia a adotar.

28

Figura 4 Hierarquia de questes e subquestes

89 No h regras rgidas sobre quando formular subquestes de auditoria. Contudo, as questes devem ser focadas, especficas e tratar de apenas um tema. Se for necessrio, subquestes devem ser formuladas para que cada uma delas seja o mais simples possvel e, no conjunto, abranjam o que se deseja investigar por meio da questo de auditoria. As subquestes facilitam a organizao das informaes do projeto de auditoria por linha da matriz de planejamento, permitindo ao leitor acompanhar a lgica do desenho da auditoria. Excesso de subquestes pode tornar a matriz extensa, repetitiva e cansativa. Sendo assim, deve ser adotada a soluo mais adequada a cada trabalho.
Exemplo de formulao de questes e subquestes de auditoria

Questo 1: Os controles internos sobre o auxlio-doena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Subquesto 1.1: Os controles internos sobre as atividades de concesso dos benefcios de auxlio-doena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Subquesto 1.2: Os controles internos sobre as atividades de manuteno dos benefcios de auxlio-doena so adequados para garantir, com razovel segurana, o pagamento desses benefcios? Questo 2: Qual a cobertura de atendimento do servio de reabilitao profissional e qual o seu impacto econmico nos gastos com o benefcio? Subquesto 2.1: A estrutura fsica do servio e o nmero de servidores alocados so suficientes para o atendimento da demanda por reabilitao profissional? Subquesto 2.2: Qual a economia que o servio de reabilitao possibilita e qual o seu potencial de crescimento?

Fonte: Adaptado do relatrio de auditoria operacional sobre benefcio de auxlio-doena (TC 012.034/2008-7).

29

3 passo - Teste as questes: 90 Identifique as questes de difcil resposta e considere como as dificuldades podem ser contornadas. Confronte as questes com os recursos disponveis para a realizao da auditoria, definidos em termos de custo, prazos de execuo e de pessoal. Considere ainda as competncias da equipe, vis--vis s necessrias para execuo do projeto de auditoria. 4 passo - Elimine as questes no essenciais: 91 Descarte questes desprovidas de potencial para melhorar o desempenho ou que no tenham soluo vivel. Portanto, os critrios para a escolha ou excluso de determinada questo so a relevncia das concluses que podero ser alcanadas e a factibilidade da estratgia metodolgica requerida para respond-la de forma satisfatria. Priorize as questes e decida quais devem ser estudadas. Lembre-se que as questes devem ser sucintas e sem ambigidades. 92 Aps definir o problema e as questes de auditoria, a equipe dever especificar os critrios de auditoria e elaborar a matriz de planejamento.

comparado ou avaliado10 (ISSAI 3000/Apndice 2, 2004; GAO, 2007). 94 Critrios de auditoria desempenham papel fundamental no desenvolvimento de diversos aspectos do trabalho, servindo de base para (ISSAI 3000/ Apndice 2, 2004): a) definio de arcabouo conceitual bsico que facilite a comunicao entre os integrantes da equipe de auditoria, as autoridades do TCU e os gestores; b) delimitao do escopo da auditoria, tornando explcitos os seus objetivos; c) orientao da coleta de dados, indicando como obter evidncias significativas; d) fixao de parmetros balizadores das concluses e recomendaes da auditoria. 95 Nas auditorias operacionais, a escolha do critrio de auditoria mais flexvel e frequentemente contm elementos de discricionariedade e de julgamento profissional. Dependendo do caso examinado, a fonte mais adequada para o critrio de auditoria ser ou a norma oficial, expressa em leis e regulamentos, ou a fundamentao cientfica, tendo como referncia literatura especializada, normas profissionais e boas prticas. Entre as fontes que podem ser empregadas para a definio de critrios de auditoria, esto (ISSAI 3000/3.3, 2004; GAO, 2007): a) leis e regulamentos que regem o funcionamento da entidade auditada; b) decises tomadas pelo Poder Legislativo ou Executivo; c) referncias a comparaes histricas e comparaes com a melhor prtica; d) normas e valores profissionais; e) indicadores-chave de desempenho estabelecidos pela entidade auditada ou pela Administrao;

Especificao dos critrios de auditoria

93 Ainda na fase de planejamento, a equipe deve definir os critrios de auditoria, que so padres de desempenho utilizados para medir a economicidade, eficincia, eficcia e efetividade do objeto de auditoria. Representam o estado ideal ou desejvel daquilo que se examina e oferecem o contexto para se avaliar as evidncias e compreender os achados, concluses e recomendaes da auditoria. Da comparao entre o critrio e a situao existente (condio) so gerados os achados de auditoria. Portanto, critrio representa a expectativa razovel e fundamentada do que deveria ser, as melhores prticas e benchmarks contra os quais o desempenho

10

importante observar que desempenho satisfatrio no significa desempenho perfeito e que qualquer julgamento deve levar em conta as circunstncias do auditado (ISSAI 3000, Apndice 2).

30

f) opinio de especialista independente; g) critrios utilizados em auditorias similares ou empregados por outras Entidades de Fiscalizao Superior (EFS); h) organizaes que realizem atividades semelhantes ou tenham programas similares; i) bibliografia especializada. 96 Critrios podem ser mais facilmente definidos sempre que os objetivos estabelecidos pelo legislador ou pelo Poder Executivo sejam claros, precisos e relevantes. Quando estes forem vagos ou conflitantes, a equipe de auditoria deve interpret-los ou reelabor-los, tornando-os mais operacionais e mensurveis. Nesse caso, podem ser empregadas duas abordagens alternativas. A primeira consiste em consultar especialistas na rea sobre como deveriam ser interpretados e medidos objetivos e metas; quais deveriam ser os resultados esperados sob dadas condies ou, ainda, qual a mais reconhecida prtica comparvel. A segunda alternativa consiste em consultar gestores e atores interessados relevantes para definir e acordar critrios bem fundamentados e realistas11. 97 Ao definir critrios de auditoria, a equipe deve assegurar que eles sejam razoveis, exequveis e relevantes para os objetivos da auditoria. A definio de critrios adequados deve atender, ainda, s seguintes caractersticas (ISSAI 3000/ Apndice 2, 2004): a) Confiabilidade: deve resultar em concluses consistentes quando aplicado por outro auditor na mesma circunstncia; b) Objetividade: deve ser livre de qualquer tendenciosidade por parte do auditor ou da gerncia; c) Utilidade: deve resultar em achados e concluses que atendam s necessidades de informao dos interessados; d) Clareza: deve ser claramente enunciado e no estar sujeito a interpretaes significativamente diferentes; e) Comparabilidade: deve ser consistente com critrios utilizados para auditar programa ou atividade similar e com aqueles usados previamente para auditar o mesmo objeto de auditoria; f) Completude: deve incorporar as dimenses relevantes para avaliar o desempenho; g) Aceitabilidade: deve ter aceitao por parte de especialistas independentes, rgo ou entidade auditada, legislativo, mdia e pblico em geral.

11

sempre recomendvel obter a opinio dos gestores sobre os critrios de auditoria que sero adotados, para que eventuais discordncias possam ser discutidas e esclarecidas logo no incio da auditoria. Entretanto, os fatos e argumentos apresentados pelos gestores devem ser comparados com os de outras fontes relevantes (ISSAI 3000, Apndice 2)

31

Elaborao da matriz de planejamento

98 Uma vez definidos o problema e as questes de auditoria, a equipe dever elaborar a matriz de planejamento. Trata-se de quadro resumo das informaes relevantes do planejamento de uma auditoria. O Quadro 2 apresenta o modelo de matriz de planejamento empregado nas auditorias operacionais.

Quadro 2 Modelo de matriz de planejamento

Problema: Expressar, de forma clara e objetiva, aquilo que motivou a auditoria. Questo / subquesto de auditoria Especificar os termos-chave e o escopo da questo: - critrio - perodo de abrangncia - atores envolvidos - abrangncia geogrfica Procedimentos de coleta de dados Identificar as tcnicas de coleta de dados que sero usadas e descrever os respectivos procedimentos Procedimentos de anlise de dados Identificar as tcnicas a serem empregadas na anlise de dados e descrever os respectivos procedimentos Especificar as limitaes quanto: - estratgia metodolgica adotada - ao acesso a pessoas e informaes - qualidade das informaes - s condies operacionais de realizao do trabalho Limitaes O que a anlise vai permitir dizer Esclarecer precisamente que concluses ou resultados podem ser alcanados

Informaes requeridas Identificar as informaes necessrias para responder questo de auditoria

Fontes de informao Identificar as fontes de cada item de informao

99 O propsito da matriz de planejamento auxiliar a elaborao conceitual do trabalho e a orientao da equipe na fase de execuo. uma ferramenta de auditoria que torna o planejamento mais sistemtico e dirigido, facilitando a comunicao de decises sobre metodologia e auxiliando a conduo dos trabalhos de campo. A matriz de planejamento um instrumento flexvel e o seu contedo pode ser atualizado ou modificado pela equipe medida que o trabalho de auditoria progride. 100 A matriz tambm o principal instrumento de apoio elaborao do projeto de auditoria, pois contm as informaes essenciais que o definem. Da a importncia da discusso amadurecida da matriz antes de se iniciar a redao do projeto de auditoria. O Apndice detalha cada um dos elementos que compem a matriz de planejamento.

32

Validao da matriz de planejamento

101 O processo de validao da matriz de planejamento passa por duas etapas. Primeiramente, aps a reviso do supervisor, a matriz de planejamento deve ser submetida a um painel de referncia com o objetivo de colher crticas e sugestes para seu aprimoramento. Esse processo de validao tem por objetivos especficos: a) conferir a lgica da auditoria e o rigor da metodologia utilizada, questionando as fontes de informao, a estratgia metodolgica e o mtodo de anlise a ser utilizado, em confronto com os objetivos da auditoria; b) orientar e aconselhar a equipe de auditoria sobre a abordagem a ser adotada pela auditoria; c) prover variado conjunto de opinies especializadas e independentes sobre o projeto de auditoria; d) assegurar a qualidade do trabalho e alertar a equipe sobre falhas no seu desenvolvimento/ concepo; e e) conferir a presena de benefcios potenciais significativos. 102 Portanto, a composio do painel, a ser organizado pela equipe de auditoria, deve favorecer o debate e refletir diferentes pontos de vista sobre o tema da auditoria. O painel poder contar com a participao de especialistas convidados de universidades, centros de pesquisa e consultorias tcnicas do Congresso com interesse no tema; representantes do controle interno e dos rgos de planejamento e oramento; representante do Ministro-Relator; auditores com reconhecida experincia no tema e representantes de organizaes do terceiro setor, quando for o caso. O gestor poder participar do painel de referncia sempre que a equipe e o supervisor entenderem que a sua presena no trar prejuzo aos objetivos propostos no painel. 103 Outro papel, no menos importante, desempenhado pelo painel de referncia o de fortalecimento do controle social, ao possibilitar que atores relevantes participem da discusso do projeto de auditoria e possam ser esclarecidos sobre a natureza da fiscalizao exercida pelo TCU, gerando expectativa sobre os resultados do trabalho e fortalecendo a imagem institucional. 104 A segunda etapa do processo de validao consiste na apresentao da matriz de planejamento aos gestores do rgo ou programa auditado, depois dos ajustes necessrios em funo do resultado das discusses do painel de referncia. A finalidade desse procedimento apresentar o resultado da etapa de planejamento, realizada com a participao do gestor, visando obter seu comprometimento com o objetivo e a conduo da auditoria.

33

Elaborao de instrumentos de coleta de dados e teste-piloto

105 Uma vez definida e validada a matriz de planejamento, passa-se elaborao dos instrumentos de coleta de dados que sero utilizados durante a execuo da auditoria. Cada tcnica de coleta de dados entrevista, questionrio, grupo focal e observao direta possui um instrumento prprio, a ser desenhado de forma a garantir a obteno de informaes relevantes e suficientes para responder s questes de auditoria. 106 Toda a equipe deve envolver-se na elaborao dos instrumentos de coleta de dados, os quais devem ser testados para garantir a sua consistncia. A realizao do teste-piloto permite, ainda, conferir as premissas iniciais acerca do funcionamento do objeto auditado e a qualidade e confiabilidade dos dados. 107 Para obter um quadro representativo, a equipe deve escolher para a realizao do teste-piloto um local ou aspecto do objeto da auditoria que apresente dificuldades potenciais conduo dos trabalhos, permitindo que a equipe antecipe os problemas que podero ser enfrentados. Alm disso, os dados coletados permitiro ajustar o tamanho da amostra e assegurar que a estratgia metodolgica selecionada oferecer resposta conclusiva questo de auditoria. 108 Portanto, a realizao de teste-piloto altamente recomendvel no caso de auditorias de grande complexidade, em locais de difcil acesso e custos elevados, pois aumenta as chances de que o trabalho desenvolvido alcance o nvel de qualidade desejado com o menor custo possvel.

Elaborao do projeto de auditoria

109 Ao final da etapa de planejamento, a equipe deve preparar o projeto de auditoria que resume a natureza do trabalho a realizar e os resultados que se pretende alcanar. O projeto deve explicitar a motivao para se investigar determinado problema de auditoria, segundo enfoque especfico e com a utilizao de certa metodologia. 110 Portanto, o projeto conter descrio sucinta do objeto de auditoria, objetivos do trabalho, questes a ser investigadas, procedimentos a ser desenvolvidos e resultados esperados com a realizao da auditoria. Faro parte do apndice: a matriz de planejamento, que resume as informaes centrais do projeto de auditoria; o cronograma proposto para a conduo dos trabalhos; e a estimativa de custos, inclusive de contratao de especialista, quando for o caso. 111 fundamental destacar os resultados que se pretende alcanar com a realizao da auditoria, indicando as oportunidades de aperfeioamento e, sempre que possvel, de economia de recursos pblicos, a fim de permitir anlise de custo-benefcio da auditoria. 112 Compete ao coordenador da equipe assegurar que o projeto de auditoria contenha todas as informaes necessrias correta e oportuna apreciao da proposta de trabalho.
34

exeCuo

113 A etapa de execuo consiste na obteno de evidncias apropriadas e suficientes para respaldar os achados e concluses da auditoria. 114 As principais atividades realizadas durante a execuo so: a) desenvolvimento dos trabalhos de campo; b) anlise dos dados coletados; c) elaborao da matriz de achados; d) validao da matriz de achados. 115 Em geral, a coleta e a anlise de dados no so atividades estanques. Exceto nas pesquisas, os dados so coletados, interpretados e analisados simultaneamente. Dependendo da metodologia adotada no projeto de auditoria, pode haver variao significativa na organizao dos trabalhos de campo e na estratgia de anlise dos dados.

Achado de auditoria
116 Achado a discrepncia entre a situao existente e o critrio. Achados so situaes verificadas pelo auditor durante o trabalho de campo que sero usadas para responder s questes de auditoria. O achado contm os seguintes atributos: critrio (o que deveria ser), condio (o que ), causa (razo do desvio com relao ao critrio) e efeito (consequncia da situao encontrada). Quando o critrio comparado com a situao existente, surge o achado de auditoria. (ISSAI 3000/4.3, 2004). 117 Critrio de auditoria o padro de desempenho usado para medir a economicidade, eficincia, eficcia e efetividade do objeto de auditoria. Serve para determinar se o objeto auditado atinge, excede ou est aqum do desempenho esperado. Pode ser definido de forma quantitativa ou qualitativa. Atingir ou exceder o critrio pode indicar a ocorrncia de boas prticas. No alcanar o critrio indica oportunidade de melhoria de desempenho. importante destacar que desempenho satisfatrio no desempenho perfeito, mas o esperado, considerando as circunstncias com as quais o auditado trabalha (ISSAI 3000/ Apndice 2, 2004). Os pargrafos 93 a 97 contm mais informaes sobre critrio de auditoria. 118 Condio a situao existente, identificada e documentada durante a auditoria. Causa a razo da diferena entre a condio e o critrio. A causa servir de base para as deliberaes propostas. Efeito a consequncia da diferena constatada pela auditoria entre condio e critrio. O efeito indica a gravidade da situao encontrada e determina a intensidade da ao corretiva. (GAO, 2007).

35

Exemplo de achado de auditoria

Achado: Insuficincia de leitos psiquitricos na maior parte dos estados brasileiros. Critrio: A quantidade de leitos psiquitricos estabelecida pela Organizao Mundial de Sade de 0,43 por mil habitantes. Condio: O Brasil tem, em mdia, 0,37 leitos psiquitricos por mil habitantes. Causas: - Distribuio desigual de leitos entre os estados da federao (a regio sudeste dispe de 0,53 leitos por mil habitantes, enquanto na regio norte o ndice 0,04) - Distribuio de leitos no atende a critrios populacionais - Ausncia de planos municipais e estaduais de sade mental - Controle social incipiente Efeitos: - Deficincia de atendimento em locais com baixo ndice de leitos - Migrao de pessoas com transtornos mentais entre municpios ou entre estados, dificultando o planejamento da ateno sade. 119 Nem sempre obrigatrio identificar todos os quatro atributos do achado. Em auditorias cujo objetivo investigar determinado problema e analisar suas causas, geralmente os critrios no so definidos a priori e, s vezes, nem sequer tem sentido faz-lo (ISSAI 3000/4.3, 2004). o caso, por exemplo, das questes exploratrias, definidas no pargrafo 83 d). 120 Por vezes, no possvel identificar com segurana as causas da situao encontrada, pois essa identificao necessitaria de investigaes que requerem metodologia sofisticada, que foge ao escopo da auditoria. 121 Uma vez identificado o achado de auditoria, ocorrem duas formas complementares de avaliao: a avaliao da relevncia do achado e das causas do desempenho insuficiente. No caso de desempenho acima da expectativa, as causas devem ser investigadas para identificao de boas prticas (ISSAI 3000/4.3, 2004). 122 Os auditores tambm devem avaliar os efeitos do achado. Quando possvel, esses efeitos devem ser quantificados. Por exemplo, o custo de processos ineficientes ou de instalaes improdutivas pode ser estimado. Alm disso, processos ou gerenciamento ineficientes podem resultar em atrasos ou desperdcio de recursos. Efeitos qualitativos, resultantes de decises gerenciais equivocadas ou de falta de controle de qualidade na prestao de servios pblicos, podem ter impactos significativos sobre os beneficirios. Se o efeito j ocorreu, importante verificar se foram tomadas providncias para evitar que ele volte a ocorrer. Se os efeitos no forem facilmente identificados, o auditor deve tentar estim-los (ISSAI 3000/4.3, 2004).
36

Evidncias
123 Evidncias so informaes obtidas durante a auditoria e usadas para fundamentar os achados. O conjunto de achados ir respaldar as concluses do trabalho. A equipe deve esforar-se para obter evidncias de diferentes fontes e de diversas naturezas, porque isso fortalecer as concluses (ISSAI/Apndice 3, 2004). 124 A equipe deve determinar a quantidade e o tipo de evidncias necessrias para atender aos objetivos e ao plano de auditoria, de forma adequada. Para isso, necessrio que as evidncias tenham alguns atributos. So eles (ISSAI/ Apndice 3, 2004): a) validade - a evidncia deve ser legtima, ou seja, baseada em informaes precisas e confiveis; b) confiabilidade - garantia de que sero obtidos os mesmos resultados se a auditoria for repetida. Para obter evidncias confiveis, importante considerar que: conveniente usar diferentes fontes; interessante usar diferentes abordagens; fontes externas, em geral, so mais confiveis que internas; evidncias documentais so mais confiveis que orais; evidncias obtidas por observao direta ou anlise so mais confiveis que aquelas obtidas indiretamente; c) relevncia - a evidncia relevante se for relacionada, de forma clara e lgica, aos critrios e objetivos da auditoria; d) suficincia - a quantidade e qualidade das evidncias obtidas devem persuadir o leitor de que os achados, concluses, recomendaes e determinaes da auditoria esto bem fundamentados. importante lembrar que a quantidade de evidncias no substitui a falta dos outros atributos (validade, confiabilidade, relevncia). Quanto maior a materialidade do objeto auditado, o risco de auditoria e o grau de sensibilidade do auditado a determinado assunto, maior ser a necessidade de evidncias mais robustas. A existncia de auditorias anteriores tambm indica essa necessidade. 125 As evidncias podem ser classificadas em quatro tipos (ISSAI/Apndice 3, 2004): a) fsica - observao de pessoas, locais ou eventos. Pode ser obtida por meio de fotografias, vdeos, mapas. Evidncias fsicas costumam causar grande impacto. A fotografia de uma situao insalubre ou insegura, por exemplo, pode ser mais convincente que uma longa descrio; b) documental - o tipo mais comum de evidncia. Pode estar disponvel em meio fsico ou eletrnico. obtida de informaes j existentes, tais como ofcios, memorandos, correspondncias, contratos, extratos, relatrios. necessrio avaliar a confiabilidade e a relevncia dessas informaes com relao aos objetivos da auditoria; c) testemunhal - obtida por meio de entrevistas, grupos focais, questionrios. Para que a informao testemunhal possa ser considerada evidncia, e no apenas contextualizao, preciso corrobor-la, por meio de confirmao por escrito do entrevistado ou existncia de mltiplas fontes que confirmem os fatos;
37

d) analtica - obtida por meio de anlises, comparaes e interpretaes de dados e informaes j existentes. Este trabalho pode envolver anlise de taxas, padres e tendncias, normalmente por meio de processamento computacional. o tipo de evidncia mais difcil de obter. 126 A equipe de auditoria deve avaliar se a falta de evidncias apropriadas e suficientes deve-se a falha na estratgia metodolgica ou a deficincias do objeto de auditoria, a exemplo de falhas dos controles internos ou problemas operacionais e estruturais. No primeiro caso, pode ser necessrio modificar a estratgia metodolgica ou revisar o objetivo da auditoria e seu escopo. No segundo caso, os problemas identificados so achados de auditoria. 127 A equipe de auditoria deve considerar que algumas evidncias podem apresentar problemas ou fragilidades. Os principais referem-se a evidncias (ISSAI/ Apndice 3, 2004): a) baseadas em apenas uma fonte; b) testemunhais no corroboradas por documento ou observao; c) cujo custo de obteno no atende a critrios de custo-benefcio; d) provenientes apenas do gestor ou da equipe auditada; e) cuja nica fonte parcial com relao ao resultado do trabalho; f) obtidas de amostras no-representativas; g) relacionadas ocorrncia isolada; h) conflitantes. 128 Existem algumas tcnicas que podem contribuir para a obteno de evidncias mais robustas. Uma delas a circularizao, que consiste na confirmao, junto a terceiros, de fatos e informaes apresentados pelo auditado (BRASIL, 2009a). Outra a triangulao, que o uso de diferentes mtodos de pesquisa e de coleta de dados para estudar o mesmo assunto, com o objetivo de fortalecer as concluses (PATTON, 1987).
Quadro 3 Processo lgico de identificao de achados e produo de recomendaes e determinaes

Critrio de auditoria (o que deveria ser) Evidncia de auditoria (o que ) Achado de auditoria (o que comparado ao que deveria ser) Determinar causas e efeitos do achado Desenvolver concluses, recomendaes e determinaes Estimar, sempre que possvel, os provveis benefcios da recomendao ou determinao
Fonte: ISSAI 3000/4.3, 2004.

38

Desenvolvimento dos trabalhos de campo

129 O trabalho de campo consiste na coleta de dados e informaes definidos no planejamento de auditoria. O tipo de dados a coletar e as fontes desses dados dependero da estratgia metodolgica e dos critrios estabelecidos. Os dados coletados devem ser precisos, completos e comparveis. Frequentemente, essa coleta considerada uma tarefa mecnica e a parte menos interessante da auditoria. Porm, uma atividade importante e consome grande quantidade de tempo e esforo (HATRY, WINNIE, FISK, 1981). A qualidade na coleta, anlise e documentao dos dados fundamental para garantir bons resultados da auditoria (ISSAI 3000/4.2, 2004). 130 Normalmente, a coleta de dados feita in loco e a equipe aplica os instrumentos desenvolvidos e testados na fase de planejamento. Os mtodos de coleta de dados mais usados so entrevista, questionrio, grupo focal e observao direta. 131 Quando o objetivo da auditoria inclui a generalizao dos achados para o universo pesquisado, as solues mais comumente adotadas so tratamento estatstico e estudo de caso. Se o estudo de caso representativo, possvel generalizar os resultados, ou seja, os achados identificados em um caso podem ser aplicados a outros casos (NAO, 199-). 132 importante que o auditor obtenha as melhores informaes possveistanto fatos quanto opinies, argumentos e reflexesde diferentes fontes e busque o apoio de especialistas (ISSAI 3000/4.6, 2004). O auditor deve buscar as evidncias necessrias para responder s questes de auditoria e ter cuidado para no se desviar do foco do trabalho nem coletar grande quantidade de informaes que, muitas vezes, so desnecessrias e irrelevantes (POLLITT et al, 2002). 133 Para o sucesso dos trabalhos de campo, necessria a realizao de diversas atividades operacionais. Antes da execuo da auditoria, a equipe deve: a) agendar visitas de estudo, entrevistas e grupos focais; b) providenciar ofcios de apresentao; c) reservar passagens e hotis; d) informar telefones de contato ao supervisor; e) preparar material necessrio (cpias de questionrios, roteiros de entrevistas, grupo focal e observao direta). 134 O preenchimento da matriz de achados deve ser iniciado durante os trabalhos de campo, medida que os achados so constatados. Os esclarecimentos que se fizerem necessrios devem ser colhidos ainda em campo, para evitar malentendido e eventuais novas solicitaes de informaes, com o consequente desperdcio de esforos (BRASIL, 2009a).

39

Anlise dos dados coletados

135 Durante os trabalhos de campo, a equipe obtm grande quantidade de dados, que devem ser organizados, separados e analisados. Sero selecionados aqueles que evidenciam os achados da auditoria e, portanto, ajudam a responder s suas questes. As outras informaes devem ser descartadas, para no desviar a auditoria de seu foco e para no retardar a anlise dos dados relevantes (POLLITT et al, 2002). 136 Para a anlise dos dados coletados, so usadas ferramentas e tcnicas adequadas. A definio do mtodo depender da estratgia metodolgica adotada. O Apndice apresenta as principais tcnicas de anlise e o documento Tcnicas de Apresentao de Dados (BRASIL, 2001) orienta sobre as formas mais adequadas de comunicar o resultado das anlises elaboradas. 137 O estgio final da anlise de dados consiste em combinar os resultados obtidos de diferentes fontes. No h mtodo geral para fazer isto, mas fundamental que o auditor trabalhe de forma cuidadosa e sistemtica na interpretao dos dados e informaes coletados. Para essa atividade, necessrio analisar argumentos e afirmaes, consultar especialistas e fazer comparaes. Tambm vital que o auditor adote abordagem crtica e mantenha objetividade com relao s informaes disponveis. Ao mesmo tempo, ele deve ser receptivo a diferentes argumentos e pontos de vista (ISSAI 3000/4.2 e 4.5, 2004).

Matriz de achados
138 As constataes e informaes obtidas durante a execuo da auditoria, bem como as propostas de concluses, recomendaes e determinaes, so registradas na matriz de achados. 139 A matriz de achados instrumento til para subsidiar e nortear a elaborao do relatrio de auditoria, porque permite reunir, de forma estruturada, os principais elementos que constituiro os captulos centrais do relatrio. A matriz propicia compreenso homognea dos achados e seus elementos constitutivos pelos integrantes da equipe de auditoria e demais interessados. Os itens que compem a matriz de achados so apresentados no Quadro 4.

40

Questo de auditoria (repetir a questo da matriz de planejamento). Achado Evidncias e anlises Podem ser relacionadas operacionalizao ou concepo do objeto da auditoria, ou estar fora do controle ou da influncia do gestor. A identificao de causas requer evidncias e anlises robustas. As deliberaes contero as medidas consideradas necessrias para sanear as causas do desempenho insuficiente. Pode ser uma medida da relevncia do achado. Sugere-se parcimnia na quantidade de deliberaes e priorizao para soluo dos principais problemas. Consequncias relacionadas s causas e aos correspondentes achados. Aes identificadas que comprovadamente levam a bom desempenho. Essas aes podero subsidiar a proposta de recomendaes e determinaes. Devem ser elaboradas de forma a tratar a origem dos problemas diagnosticados. Causas Efeitos prticas determinaes esperados Melhorias que se esperam alcanar com a implementao das recomendaes e determinaes. Os benefcios podem ser quantitativos e qualitativos. Sempre que possvel, quantific-los. Boas Recomendaes e Benefcios

Situao

encontrada

Critrio

Constataes de maior relevncia, identificadas na fase de execuo.

Padro usado para determinar se o objeto auditado atinge, excede ou est aqum do desempenho esperado.

Resultado da aplicao dos mtodos de anlise de dados e seu emprego na produo de evidncias. De forma sucinta, devem ser indicadas as tcnicas usadas para tratar as informaes coleta das durante a execuo e os resultados obtidos.

Quadro 4 Modelo de matriz de achados

41

140 Durante a execuo da auditoria, as situaes encontradas so comparadas com os critrios, previamente selecionados e identificados pela equipe. As diferenas observadas so os achados de auditoria, devidamente respaldados pelas evidncias. 141 Aps caracterizar o achado de auditoria, a equipe deve identificar as causas e os efeitos do desempenho observado. Em geral, esses procedimentos so concludos ao final do trabalho de campo. Entretanto, em funo da complexidade do tema e de evidncias supervenientes, a anlise pode estender-se at a fase do relatrio. 142 Sempre que possvel, deve-se mensurar o efeito associado ao achado de auditoria. Por exemplo, no caso de processos antieconmicos, aquisies mal planejadas ou equipamentos improdutivos, os efeitos podem ser estimados em valores monetrios. J os efeitos decorrentes de procedimentos ineficientes, recursos ociosos ou gerenciamento deficiente podem ser dimensionados em termos de descumprimento de prazos e de desperdcio de recursos fsicos. Os efeitos qualitativos tambm devem ser mencionados, como deficincia de controle, decises inadequadas ou m qualidade do bem ou servio oferecido. As dificuldades de quantificar os benefcios potenciais variam segundo o tipo de benefcio. Entretanto, em muitos casos, os benefcios financeiros podem ser estimados com razovel segurana. 143 A causa do achado de auditoria a base para as deliberaes. Se houver mltiplas causas para um mesmo achado, a equipe deve identificar aquela que, se modificada, poder prevenir situaes similares. Deve-se considerar, ainda, a possibilidade de a causa identificada estar fora do controle do auditado, fa-

zendo com que o foco das deliberaes transcenda o objeto da auditoria. 144 As propostas que visem melhoria do desempenho administrativo ou operacional so um dos aspectos mais importantes das auditorias operacionais. Conquanto os aperfeioamentos requeridos, e no os meios para alcan-los, constituam o objetivo das deliberaes, convm indicar os aspectos que devem ser examinados pelo gestor na busca de solues. 145 Ao formular proposta de deliberao, a equipe deve considerar o custo da implementao e a economia de recursos decorrente, pois o custo no deve superar os benefcios esperados. Tambm importante destacar os aspectos mais relevantes e evitar quantidade excessiva de deliberaes, que pode desviar o foco do gestor da implementao de providncias que sanem as principais deficincias do objeto auditado. Tambm poder dificultar o monitoramento das deliberaes e levar a custobenefcio inadequado.

Validao da matriz de achados

146 Aps a elaborao da matriz de achados, sua validao feita por meio da realizao do segundo painel de referncia. O objetivo principal deste painel verificar a coerncia da matriz apresentada. Nessa ocasio, os participantes so convidados a discutir com a equipe as principais concluses da auditoria, a suficincia das evidncias coletadas, a adequao das anlises realizadas e a pertinncia das propostas de encaminhamento. Aps o painel, a matriz de achados dever ser validada pelos gestores, a exemplo do procedimento adotado na validao da matriz de planejamento.

42

reLatrio

147 O relatrio o principal produto da auditoria. o instrumento formal e tcnico por intermdio do qual a equipe comunica o objetivo e as questes de auditoria, a metodologia usada, os achados, as concluses e a proposta de encaminhamento (BRASIL, 2009a). A Intosai apresenta os padres internacionais de elaborao de relatrios de auditoria governamental para as Entidades de Fiscalizao Superior.
Padro de elaborao de relatrio da Intosai, aplicvel auditoria operacional

Ao final de cada auditoria, o auditor deve preparar opinio escrita ou relatrio, registrando os achados de forma adequada; seu contedo deve ser fcil de entender e livre de idias vagas e ambguas, deve incluir somente informaes que sejam apoiadas por evidncias competentes e relevantes, ser independente, objetivo, justo e construtivo.

Fonte: ISSAI 400/7, 2001.

148 O objetivo deste captulo estabelecer padres e apresentar diretrizes de elaborao de relatrios de auditoria operacional, que favoream a racionalizao do processo e a criao de identidade caracterstica. Trata-se tambm da estrutura das seguintes sees da parte textual do relatrio: introduo, captulos principais, anlise dos comentrios dos gestores, concluso e proposta de encaminhamento. Detalhes sobre a composio de cada elemento do relatrio esto em documento especfico sobre elaborao de relatrio de auditoria operacional. 149 A comunicao dos resultados da auditoria deve reportar sociedade sobre o desempenho da administrao pblica, contribuindo para a responsabilizao dos agentes pblicos pelos resultados da ao de governo, mediante controle parlamentar e controle social. 150 A demonstrao da qualidade do trabalho depende da forma como as questes de auditoria so tratadas nos relatrios. Importa que as informaes sejam organizadas e dispostas com rigor tcnico, com apropriado grau de detalhamento e que os principais pontos sejam destacados. O desenvolvimento do texto deve guardar coerncia com a seqncia lgica dos argumentos, formando um todo coeso, convincente, claro e visualmente atrativo. Portanto, ser capaz de escrever relatrios de qualidade competncia essencial dos profissionais que realizam auditorias operacionais.

43

151 Para que o relatrio tenha qualidade, alm da experincia e da habilidade dos autores, importante que sua elaborao siga as orientaes e padres deste manual.

Orientaes gerais para elaborao do relatrio

152 A elaborao do relatrio de auditoria deve seguir as seguintes orientaes gerais: a) ser conduzida como processo contnuo; b) considerar o ponto de vista do leitor; c) basear-se na matriz de achados. 153 A elaborao do relatrio deve ser vista como um processo contnuo de formulao, teste e reviso de idias sobre o objeto da auditoria. Questes como o benefcio potencial da auditoria, possveis recomendaes e determinaes, bem como a argumentao convincente sobre as concluses devem ser consideradas ao longo da auditoria. O estabelecimento de prazos para a entrega de trechos intermedirios pode aumentar a probabilidade de o relatrio ficar pronto tempestivamente (ISSAI 3000/3.1, 2004). 154 Ao longo de todas as fases da auditoria, a nfase deve estar na produo do relatrio final (ISSAI 3000/3.1, 2004). Por um lado, de nada adianta realizar um excelente trabalho de planejamento ou de execuo das auditorias, se o relatrio no for capaz de comunicar sua mensagem de forma efetiva. Por outro, no possvel elaborar um relatrio de qualidade se o projeto de auditoria no for consistente ou se as evidncias coletadas no forem robustas.
Concepo da Intosai sobre a elaborao do relatrio de auditoria como processo contnuo

medida que o trabalho progride, o relatrio preliminar de auditoria toma forma. Ao longo da auditoria, a anlise de dados e informaes envolve ponderar argumentos e afirmaes, consultar especialistas, fazer comparaes e anlises. Notas e observaes so organizadas de forma estruturada (na matriz de achados) e, medida que discusses internas e externas progridem, o texto rascunhado, avaliado e reescrito, detalhes so conferidos e concluses discutidas. Com base em textos intermedirios de discusso, os principais problemas e concluses podem ser debatidos, fatos confirmados com os auditados e as propostas desenvolvidas.
Fonte: ISSAI 3000/4.5 e 5.1., 2004.

155 Para que os relatrios sejam teis e acessveis importante que levem em considerao o ponto de vista dos leitores (ISSAI 3000/5.3, 2004; BRASIL, 2001). Inicialmente, os relatrios de auditoria operacional tero tramitao interna, direcionados, principalmente, ao Relator da matria. Alm disso, vi-

44

sam comunicar informaes sobre desempenho a formuladores de polticas, gestores dos trs nveis de governo, outros rgos de controle e de avaliao. Documentos complementares ao relatrio, como sumrios executivos, notas para a imprensa e apresentao de slides, tm pblico mais amplo e obedecem a orientaes especficas. 156 O instrumento usado pelo TCU para organizao dos principais elementos do relatrio a matriz de achados. A matriz base para discusso sobre a estrutura do texto entre os integrantes da equipe de auditoria, bem como para discusso com o supervisor do trabalho e para apresentao em painel de referncia. 157 O fato de que a redao do relatrio normalmente compartilhada pelos integrantes da equipe de auditoria refora a necessidade de se dispor de instrumento que apie a elaborao do relatrio. natural que cada colaborador tenha um estilo prprio de redigir. Por isso, torna-se necessrio que todos os membros da equipe discutam previamente a estrutura e a forma de apresentao das informaes. 158 A conformidade s orientaes e aos padres de elaborao, bem como a construo de entendimentos comuns por meio de discusses durante a auditoria, diminui a possibilidade de os textos produzidos ficarem muito dspares. desejvel que a equipe mantenha-se mobilizada at que tenha sido finalizada a redao do relatrio, realizando nesse perodo a reviso cruzada dos textos elaborados. Esses cuidados tornaro mais eficiente o trabalho final do coordenador da equipe, a quem cabe conferir ao trabalho unidade de forma e estilo.

o dessas caractersticas pelo TCU desenvolvida em seguida. 160 Clareza produzir texto de fcil compreenso para o leitor informado. Para aumentar a clareza e a compreenso do relatrio: a) defina termos tcnicos; b) defina o significado das siglas na lista correspondente e use o nome por extenso na primeira vez em que aparecerem no texto; c) apresente fatos de forma precisa; d) apresente evidncias e articule argumentos de forma lgica; e) use frases curtas, evitando perodos longos que se estendem por diversas linhas; f) crie coeso textual por meio do sequenciamento lgico das idias e do uso de conectivos adequados; g) prefira usar a ordem direta (sujeito, verbo, objeto e complementos), evitando oraes intercaladas, parntesis e travesses (BRASIL, 2009a); h) complemente o texto com figuras, fotografias, grficos, diagramas, mapas, caixas de texto e tabelas; i) evite o uso de sinnimos para designar as mesmas coisas. Diferentemente de um texto literrio, no relatrio devem-se usar os mesmos termos do incio ao fim; j) evite abreviaturas; k) evite termos eruditos e expresses em outros idiomas. 161 Convico - expor os achados e as concluses com firmeza. Evite expresses que transmitam insegurana e dvida para o leitor, como salvo melhor juzo ou parece que. A informao apresentada deve convencer os leitores sobre a validade dos achados, a razoabilidade das concluses e os benefcios decorrentes da implementao das propostas. Portanto, os achados devem ser apresentados de forma persuasiva, articulando-se as concluses e propostas de forma

Padres de elaborao
159 Os padres internacionais para elaborao de relatrios, aplicveis s auditorias operacionais, resumem as principais caractersticas de um bom relatrio (ISSAI 400, 2001). No TCU, devem-se observar os requisitos de clareza, conciso, convico, exatido, relevncia, tempestividade e objetividade (BRASIL, 2009a), bem como os de completude e convencimento (ISSAI 3000/5.2, 2004). A formula-

45

que elas decorram logicamente ou analiticamente dos fatos e argumentos apresentados (ISSAI 3000/5.2, 2004). O relatrio deve ser convincente de modo que as deliberaes do Tribunal ganhem apoio dos atores capazes de influenciar na gesto do objeto auditado, sejam implementadas e gerem melhorias de desempenho em benefcio da sociedade. 162 Conciso - produzir texto que no seja mais extenso do que o necessrio para transmitir a mensagem e fundamentar as concluses (ISSAI 3000/5.2, 2004). Por conciso, deve-se dar preferncia a citaes indiretas no lugar de longas transcries de textos originais, resumindo-se as informaes que se deseja transmitir. Como padro indicativo, a parte textual dos relatrios de auditoria operacional, exceto proposta de encaminhamento, no deve exceder 50 pginas. A anlise de temas muito complexos pode requerer relatrios mais longos, mas relatrios completos e tambm concisos so mais teis ao leitor e tm maior probabilidade de serem lidos por pblico maior (ISSAI 3000/5.2, 2004). 163 Exatido - garantir que todas as informaes apresentadas sejam precisas e corretamente registradas. Exatido indispensvel para assegurar ao leitor que o relatrio crvel e confivel. Uma impreciso no relatrio pode lanar dvida sobre a validade de todo o trabalho e desviar a ateno de pontos importantes (ISSAI 3000/5.2, 2004). Exatido tambm significa que sejam descritos corretamente o escopo e a metodologia, bem como apresentados os achados e concluses de forma consistente com o escopo da auditoria (ISSAI 3000/5.2, 2004). Alm disso, o relatrio deve informar sobre a qualidade dos dados e o grau de preciso das estimativas. Imprecises podem prejudicar a imagem do rgo de controle. 164 Relevncia - expor apenas o que tem importncia, considerando os objetivos da auditoria. Evite longos trechos descritivos que no acrescentam informao necessria fundamentao dos argumentos. Os relatos no precisam incluir todas as situaes encontradas, cujo registro fica preservado nos papis de trabalho. 165 Tempestividade - cumprir o prazo previsto para elaborao do relatrio, sem comprometer a
46

qualidade (BRASIL, 2009a). O relatrio deve conter informao atualizada para que possa subsidiar rgos auditados, bem como formuladores de polticas e demais atores interessados, no aperfeioamento de suas atividades. O teor da informao dever, portanto, agregar valor. (ISSAI 3000/5.3, 2004; ISSAI 400/8.i, 2001). O descumprimento de prazos prejudica a superviso da auditoria, a participao dos auditados e o encaminhamento processual. 166 Objetividade - produzir texto imparcial, equilibrado e neutro (ISSAI 3000/5.3, 2004). Alguns dos aspectos da objetividade na conduo da auditoria, que refletiro no relatrio so os seguintes: a) a estratgia metodolgica definida para a auditoria deve assegurar que a seleo dos fatos investigados e apresentados no relatrio no seja viesada (ISSAI 3000/5.3, 2004); b) os achados e o relatrio devem estar baseados nas evidncias obtidas; c) os fatos devem ser registrados de acordo com a sua relevncia para o escopo da auditoria. Fatos relevantes no devem ser excludos, nem pequenas falhas devem ser exageradas (ISSAI 3000/5.3, 2004); d) as explicaes gerenciais sempre devero ser solicitadas e criticamente avaliadas (ISSAI 3000/5.3, 2004); e) as fatos devem ser apresentados separadamente das opinies (ISSAI 3000/5.3, 2004); f) a linguagem utilizada deve ser isenta de qualquer conotao tendenciosa ou ambgua, de forma a evitar atitude defensiva e oposio (ISSAI 3000/5.3, 2004); g) o relatrio de auditoria deve apontar tanto achados negativos quanto fatos positivos. Apesar de o relatrio ser focado em falhas e desempenho insuficiente, a apresentao de evidncias de forma no viesada contribui para aumentar sua credibilidade (ISSAI 3000/5.3, 2004); h) a apresentao de fragilidades e achados crticos deve ocorrer de modo que induza a correo, bem como aperfeioe sistemas e diretrizes internas (ISSAI 400/24, 2001);

i) o relatrio dever ser redigido de forma a denotar impessoalidade. 167 Completude - apresentar toda a informao e argumentos necessrios para satisfazer os objetivos da auditoria, permitir a correta compreenso dos temas e situaes relatadas e registrar todos os elementos necessrios composio do relatrio (ISSAI 3000/5.2, 2004). As relaes entre objetivos, critrios, achados e concluses precisam ser verificveis, bem como expressas de forma clara e completa. (ISSAI 3000/5.2, 2004).

Apresentao de dados
168 Um elemento chave para a qualidade do relatrio de auditoria a anlise abrangente dos dados e como ela apresentada. importante que as informaes sejam bem apresentadas para que os relatrios comuniquem claramente as concluses, as propostas de deliberao e as anlises nas quais se baseiam (NAO, 1996).
Diretriz da Intosai sobre divulgao de relatrios de auditoria

Relatrios abrangentes e a distribuio ampla de todos os relatrios so chave para a credibilidade da funo de auditoria. Se possvel, cada auditoria operacional deve ser publicada em um relatrio separado.
Fonte: ISSAI 3000/5.4, 2004.

169 Ao se planejar a estrutura do texto, deve-se prever a sequncia das ilustraes, de forma que possam demonstrar as principais evidncias e concluses que a equipe de auditoria deseja apontar. H diversos meios de se apresentar dados, incluindo grficos, diagramas, mapas, fotografias, caixas de texto. Orientaes sobre apresentao de dados so encontradas em roteiro especfico do TCU (BRASIL, 2001).

Citaes e referncias
170 A legislao brasileira permite a utilizao no autorizada de obras para fins de estudo, crtica ou polmica, bem como para produzir prova administrativa, sem finalidades lucrativas, desde que seja observado o direito de citao (Lei n 9.610/1998, art. 46). A Associao Brasileira de Normas Tcnicas (ABNT) determina como uma informao colhida de outra fonte deve ser citada e como devem ser elaboradas as referncias (ABNT, 2000, 2002).

Componentes do relatrio de auditoria

171 O relatrio, em sua essncia, a comunicao sobre os achados de auditoria, a emisso de uma opinio qualificada sobre desempenho e a articulao de argumentos a favor da adoo de certas medidas visando melhorar o desempenho. Esses achados e argumentos sero desenvolvidos nos captulos principais do relatrio.

47

172 O principal instrumento de apoio elaborao do relatrio de auditoria a matriz de achados. A matriz a representao sinttica dos resultados da auditoria, que sero desenvolvidos no relatrio. Da a importncia da discusso da matriz entre os integrantes da equipe, com os gestores e demais atores relevantes, antes de se iniciar a redao do texto. 173 O relatrio de auditoria divide-se em elementos pr-textuais, texto e elementos ps-textuais. Os elementos pr-textuais so: folha de rosto, resumo, lista de siglas, lista de figuras, lista de tabelas e sumrio. O texto compe-se de: introduo; viso geral; captulos principais; anlise dos comentrios do gestor; concluso e proposta de encaminhamento. Os elementos ps-textuais so: apndices; referncias e glossrio. 174 O texto deve ser dividido em captulos, e estes, em subttulos. Seo o nome genrico de qualquer uma das partes em que se divide o texto de um documento (ABNT, 2003). Os pargrafos do texto devem ser numerados sequencialmente, a partir da introduo, sem desdobramento por nmero de captulo. A numerao dos subttulos constituda pelo nmero do captulo a que pertence, seguido de ponto e do nmero que lhe foi atribudo na seqncia do assunto (ABNT, 2003).
Quadro 5 Estrutura recomendada para a parte textual do relatrio de auditoria operacional 1. Introduo Identificao simplificada do objeto de auditoria Antecedentes Objetivos e escopo da auditoria Critrios Metodologia 2. Viso geral 3. Primeiro captulo principal Objetivo do captulo Contextualizao especfica para o captulo Descrio do contedo do captulo 3.1 Subttulo Pargrafo inicial de impacto, com descrio concisa do achado Critrio Anlise das evidncias Causas Efeitos e riscos decorrentes da manuteno da situao encontrada Boas prticas Concluso Propostas Benefcios esperados 4. Anlise dos comentrios dos gestores 5. Concluso 6. Proposta de encaminhamento Observao: No necessrio criar ttulos para indicar o contedo dos pargrafos.

48

Introduo
175 A introduo a parte inicial do texto e deve conter os elementos necessrios para situar o tema da auditoria. Compe-se dos seguintes elementos: a) identificao simplificada do objeto de auditoria. Detalhes so apresentados na viso geral; b) antecedentes, que contemplam as razes que originaram a auditoria, a deciso que a autorizou e a existncia de fiscalizaes anteriores no mesmo objeto; c) objetivos e escopo da auditoria, onde devem ser claramente enunciados os objetivos gerais e especficos e os limites do trabalho, especificando os sistemas ou aspectos que foram auditados, bem como a justificativa de se ter adotado a abordagem descrita; d) critrios, que deve conter padres gerais utilizados para emitir opinio sobre o desempenho do objeto de auditoria. Pode incluir o arcabouo conceitual bsico, em auditorias mais complexas, bem como a fonte dos padres de desempenho utilizados. Critrios especficos aplicveis s questes de auditoria devem ser descritos no captulo correspondente; e e) metodologia, que compreende os mtodos empregados na coleta e na anlise dos dados. A metodologia deve ser exposta resumidamente, registrando-se detalhes em apndice. Devem ser mencionadas as limitaes impostas ao trabalho associadas metodologia usada para investigar as questes de auditoria; confiabilidade ou dificuldade na obteno de dados, assim como as limitaes relacionadas ao prprio escopo do trabalho, ou seja, as reas e os aspectos no analisados. 176 Opcionalmente, quando for necessrio tornar mais clara a lgica do relato, poder ser acrescentado um pargrafo ao final da introduo que descreva a forma de organizao do relatrio. Esse pargrafo deve fazer a descrio breve dos temas tratados nos captulos principais, ressaltando a ligao lgica entre eles.

Viso geral
177 Na viso geral, descrevem-se as caractersticas do objeto de auditoria que so necessrias para a compreenso do relatrio, fazendo-se as correlaes com os objetivos da auditoria, quando for o caso. Os textos analticos resultantes da aplicao das tcnicas de diagnstico so importantes para subsidiar a redao desse captulo. Alguns dos elementos da viso geral podem ser: objetivos, responsveis, histrico, beneficirios, principais produtos, relevncia, indicadores de desempenho, metas, aspectos oramentrios, processo de tomada de deciso, sistemas de controle. 178 As informaes que comporo a viso geral dependem dos objetivos da auditoria. Alm disso, por conciso, possvel apresentar informaes especficas nos captulos principais, sem repeti-los na viso geral. Da mesma forma, possvel registrar em apndice dados histricos ou outras informaes de contextualizao no diretamente relacionadas com o objetivo da auditoria.

Captulos principais
179 Os captulos principais compem-se do relato articulado e argumentado sobre os achados de auditoria. Os captulos devem ser apresentados em ordem decrescente de relevncia, isto , inicia-se pelo tema que se revelou mais importante. O mesmo se aplica apresentao dos achados dentro de cada captulo, em subttulos apresentados em ordem decrescente de relevncia. Portanto, nem sempre ser mantida a ordem proposta no projeto de auditoria. Outra forma de organizar o texto partir dos temas mais gerais para os mais especficos. Essa pode ser a melhor maneira de apresentar assuntos complexos e interligados cuja compreenso seja facilitada a partir da leitura de achados que introduzam o contexto no qual os demais de inserem. 180 A estrutura recomendada pretende abranger casos gerais e mais frequentes. O Quadro 5 apresenta a sequncia tpica de apresentao das informaes. No significa que cada elemento do relato tenha

49

que ser apresentado em apenas um pargrafo ou que todos os elementos tenham que estar presentes. Como j foi anteriormente esclarecido neste manual, dependendo do tipo de questo de auditoria, nem sempre possvel identificar causas ou formular propostas, por exemplo. Alm disso, a discusso das evidncias pode ser extensa, incluindo a apresentao de grficos, tabelas e outras ilustraes. 181 Ponto crucial do relatrio a anlise das evidncias. As evidncias devem ser apresentadas de forma lgica, articulada e com ilustraes que facilitem a compreenso da situao encontrada. Os argumentos que fundamentam a posio da equipe devem ser confrontados com os melhores argumentos contrrios (ISSAI 3000/4.5, 2004). 182 Os subttulos devem conter as concluses referentes ao ponto tratado. As concluses so afirmativas relacionadas com o objetivo da investigao, deduzidas da anlise das evidncias, em contraste com os critrios. 183 Em seguida, se for o caso, a equipe deve formular resumidamente a proposta que constar do captulo proposta de encaminhamento, sem, no entanto, enunci-la de forma idntica. A proposta pode basear-se em concluses de mais de um subttulo. Para evitar sua repetio em vrios trechos, a proposta pode ser formulada junto com a concluso do captulo. 184 Por fim, a equipe deve quantificar ou, se no for possvel, estimar os benefcios que podero ser obtidos, caso as propostas sejam implementadas. Tambm por conciso e caso seja conveniente, a equipe poder estimar os benefcios esperados ao final do captulo ou na concluso do relatrio, agrupando propostas que contribuam para a obteno do mesmo benefcio (BRASIL, 2009) e detalhar a memria de clculo em apndice.

Dessa forma, a unidade tcnica deve diligenciar para que os auditados apresentem seus comentrios escritos sobre o relatrio preliminar, fixando prazo compatvel. O relatrio preliminar tem todos os elementos do relatrio final, exceto o captulo de anlise dos comentrios dos gestores. Representa a oportunidade do gestor tomar conhecimento dos achados, concluses e propostas em seu contexto completo e por escrito (ISSAI 3000/4.5, 2004). A unidade tcnica poder deixar de incluir a proposta de encaminhamento no relatrio preliminar, caso seu conhecimento pelos gestores coloque em risco o alcance dos objetivos da auditoria. 186 Os gestores devem ser informados sobre o carter sigiloso do relatrio preliminar. A cpia impressa do relatrio a ser encaminhada deve conter marca dgua na diagonal de todas suas pginas com a expresso SIGILOSO. 187 Os comentrios oferecidos devem ser analisados em instruo na qual a equipe de auditoria avaliar a necessidade de rever pontos do relatrio ou apresentar argumentos para manter posies discordantes dos gestores. 188 Quando os auditados fornecerem novas informaes ao apresentarem seus comentrios, a equipe dever avali-las, segundo os padres aplicveis s evidncias, antes de incorpor-las ao relatrio (ISSAI 3000/4.5, 2004). Caso as novas informaes e argumentos dos auditados sejam importantes para esclarecer pontos do relatrio ou sejam suficientes para alterar o entendimento da equipe, as modificaes sero feitas nos captulos principais do relatrio, sem necessidade de mencion-las no captulo de anlise dos comentrios dos gestores. Nesse caso, deve constar da anlise a informao de que foram feitas alteraes no relatrio em razo dos comentrios dos gestores. 189 As informaes e argumentos que no forem suficientes para alterar o entendimento da equipe devem ser analisadas no captulo anlise dos comentrios dos gestores (ISSAI 3000/4.5, 2004), conforme registrado na instruo.

Anlise dos comentrios dos gestores

185 O auditado sempre deve ter oportunidade de examinar o relatrio preliminar de auditoria antes que ele seja tornado pblico (ISSAI 3000/4.5, 2004).

50

Concluso
190 Esse captulo deve trazer as respostas s questes de auditoria. As concluses devem responder aos objetivos da auditoria, basear-se na racionalidade e em critrios especficos da auditoria (ISSAI 3000/4.5, 2004). As concluses do relatrio so afirmaes da equipe, deduzidas dos achados. Devem destacar os pontos mais importantes da auditoria e as principais propostas de deliberaes (ISSAI 3000/4.3, 2004). 191 Concluses so afirmaes sintticas e, como tal, inevitavelmente omitem ou simplificam algumas das informaes registradas no corpo do relatrio (NAO, 200-). 192 A concluso deve destacar de forma equilibrada os pontos fortes do objeto de auditoria, as principais oportunidades de melhoria de desempenho e os possveis benefcios esperados quantificando-os, sempre que possvel, em termos de economia de recursos ou de outra natureza de melhoria. Devem ser relatadas as dificuldades enfrentadas pelos gestores e destacadas as iniciativas positivas por eles empreendidas no sentido de superar as dificuldades.

(ISSAI 400/25, 2001). Essa orientao se deve ao fato de que a equipe de auditoria no pode alegar ter descoberto a nica soluo para sanar o problema identificado (ISSAI 3000/2.1, 2004). Nos captulos principais, a equipe pode mencionar possveis medidas que podem ser adotas pelos gestores, com base, por exemplo, em boas prticas. 195 Na elaborao da proposta de encaminhamento a equipe dever destacar, mediante ordenao adequada, as propostas mais importantes. Alm disso, dever agrup-las por destinatrio e por tema. Dessa forma, propostas que tiverem relao entre si, mesmo que tenham sido mencionadas em subttulos diferentes, ficaro agrupadas, em razo da conexo com um mesmo tema. 196 As propostas devero indicar entre parnteses os nmeros dos pargrafos nos quais os temas a que se referem so tratados no relatrio. Independentemente de meno no relatrio, deve ser proposta determinao no sentido de que o auditado elabore e encaminhe ao Tribunal plano de ao. O plano dever conter cronograma de implementao das medidas que o gestor adotar visando atender s deliberaes propostas e corrigir os problemas identificados (BRASIL, 2009a). A incluso de propostas dirigidas a outras unidades tcnicas deve ser precedida de negociao entre os titulares (BRASIL, 2009a), com a coordenao da Secretaria-Geral de Controle Externo. 197 importante garantir que as propostas sejam exequveis, agreguem valor e tenham relao com os objetivos da auditoria (ISSAI 3000/4.5, 2004). As propostas subsidiaro a elaborao de plano de ao por parte dos gestores, o monitoramento da implementao das deliberaes e a quantificao de seus efeitos. Por essas razes, a equipe deve formular o nmero estritamente necessrio de propostas que contemple a correo das principais deficincias identificadas.

Proposta de encaminhamento
193 Caso sejam propostas deliberaes, elas devem ter correspondncia clara com os achados e devem ser baseadas nas causas desses achados (ISSAI 3000/5.2, 2004). As propostas de encaminhamento so recomendaes e determinaes que a equipe de auditoria demonstra serem necessrias e que contribuiro para sanar alguma deficincia identificada pela auditoria. 194 A causa do problema pode estar fora do controle do auditado. Nesse caso, a proposta pode ser direcionada para outro rgo/entidade, hiptese na qual se recomenda que ela seja discutida com os interessados. Propostas devem ser formuladas focando o qu deve ser aperfeioado ou corrigido e no o como, embora circunstncias possam surgir que demandem a formulao de propostas especficas, como aperfeioamento ou correo de regulamentos

51

monitoramento

198 Monitoramento a verificao do cumprimento das deliberaes do TCU e dos resultados delas advindos, com o objetivo de verificar as providncias adotadas e aferir seus efeitos. 199 O principal objetivo do monitoramento aumentar a probabilidade de resoluo dos problemas identificados durante a auditoria, seja pela implementao das deliberaes ou pela adoo de outras medidas de iniciativa do gestor. A expectativa de controle criada pela realizao sistemtica de monitoramentos contribui para aumentar a efetividade da auditoria. 200 O monitoramento permite aos gestores e demais partes envolvidas acompanhar o desempenho do objeto auditado, pois atualiza o diagnstico e oferece informaes necessrias para verificar se as aes adotadas tm contribudo para o alcance dos resultados desejados. Alm disso, o monitoramento ajuda a identificar as barreiras e dificuldades enfrentadas pelo gestor para solucionar os problemas apontados. 201 Por meio dos monitoramentos, possvel avaliar a qualidade das auditorias e identificar oportunidades de aperfeioamento, de aprendizado e de quantificao de benefcios. Alm de subsidiar o processo de seleo de novos objetos de auditoria, as informaes apuradas nos monitoramentos so usadas para calcular o percentual de implementao de deliberaes e a relao custo/benefcio das auditorias, indicadores de efetividade da atuao das entidades de fiscalizao superior.

203 O plano de ao um documento apresentado pelo gestor ao TCU que formaliza as aes que sero tomadas para atender as deliberaes propostas no sentido de corrigir os problemas identificados durante a auditoria. Envolve, basicamente, um cronograma em que so definidos responsveis, atividades e prazos para a implementao das deliberaes. Esse instrumento norteia o processo de monitoramento e tende a aumentar a sua efetividade. 204 A elaborao do plano de ao dever ser realizada pelos gestores e apresentada ao TCU no prazo estipulado pelo Acrdo. interessante que representantes da equipe de auditoria possam orientar o processo de construo do plano, para que o documento apresentado atenda s necessidades de monitoramento e abranja medidas satisfatrias para solucionar os problemas identificados. Essa interao pode ser viabilizada por meio de reunies com os gestores. O resultado esperado desse esforo que o plano de ao seja exequvel. 205 Recomenda-se que o plano de ao inclua campo para registro dos benefcios previstos aps a implementao das deliberaes. So estes que, em ltima anlise, justificam a realizao das auditorias operacionais. Os benefcios devem ser estimados junto aos gestores, ainda durante a auditoria. Podem implicar reduo de despesas, aumento de receitas, eliminao de desperdcios, melhoria de desempenho. Tambm possvel obter benefcios no financeiros, tais como: melhorias organizacionais, aperfeioamento de controles internos, benefcios sociais e econmicos, reduo do sentimento de impunidade, aumento do sentimento de cidadania. 206 Cabe ressaltar que os benefcios quantificados poca da auditoria e listados no plano de ao foram estimados. Entretanto, o relatrio do ltimo monitoramento deve conter os resultados efetivamente atingidos, os benefcios causados pela implementao das deliberaes e a forma de mensurao deles.
53

Plano de ao
202 Considerando que o gestor tem a responsabilidade de solucionar as ocorrncias apontadas durante a auditoria, cabe a ele apresentar proposta das medidas a adotar e o respectivo cronograma. Isso feito por meio do plano de ao.

Por exemplo: a implementao dessa recomendao economizou R$ 2 milhes em custos operacionais. Sempre que possvel, os valores apurados, a forma de mensurao e os resultados decorrentes da implementao da deliberao devem ser validados pelo gestor. Possveis divergncias devem ser registradas no relatrio. 207 Dependendo da complexidade das medidas propostas, da dificuldade de articulao entre os rgos e entidades envolvidos na implementao dessas medidas, dos recursos necessrios para realizar o monitoramento, o TCU pode elaborar um plano de monitoramento para verificar a adoo das providncias e a evoluo do desempenho do objeto auditado.

estabelecidas no plano de ao. importante que o monitoramento no demore muito a iniciar, para que no se perca a expectativa de controle. Tambm no vale a pena monitorar as atividades por muito tempo, pois, de acordo com a experincia do Government Accountability Office (GAO), a maior parte das deliberaes implementada at trs anos aps a realizao da auditoria. 211 Quando o monitoramento for realizado por meio de auditoria, esta ter as mesmas etapas que a auditoria operacional (planejamento, execuo, relatrio). Porm, h algumas caractersticas especficas, que sero destacadas a seguir. Preferencialmente, o coordenador do monitoramento ser um integrante da equipe que realizou a auditoria, o que tornar mais fcil apreciar se as medidas tomadas pelos gestores so ou no adequadas frente s deliberaes. O responsvel pelo monitoramento deve entrar em contato com o coordenador da auditoria para obter informaes sobre as condies e peculiaridades do trabalho inicial que possam subsidiar a realizao do monitoramento. 212 Durante o planejamento do monitoramento, a equipe ler o relatrio de auditoria, o plano de ao e outros documentos pertinentes. Aps a leitura, enviar ao gestor a solicitao de documentos e informaes necessrios para o monitoramento, fixando prazo condizente com o volume de informaes solicitadas. 213 A unidade tcnica responsvel pelos monitoramentos avaliar a convenincia de aplicar, no monitoramento final, procedimentos de coleta e anlise de dados semelhantes aos usados durante a auditoria. A principal razo para aplicar esses procedimentos a expectativa de conseguir mensurar benefcios.

Sistemtica de monitoramento
208 Logo aps a apreciao da auditoria pelo Tribunal, recomenda-se que a unidade tcnica do TCU encarregada do monitoramento entre em contato com o gestor do rgo ou programa auditado para orientlo sobre o monitoramento da auditoria. Se houver interesse, poder ser agendada reunio, durante a qual a equipe do TCU explicar aos participantes a sistemtica de monitoramento e apresentar ao gestor modelo de plano de ao, a ser entregue no prazo estabelecido pelo Acrdo. Sugere-se convidar representantes do rgo de controle interno (sempre que oportuno), do objeto auditado e de demais rgos ou entidades envolvidos com a implementao das recomendaes e determinaes. 209 Se for necessrio, haver outras reunies entre os interessados, especialmente quando a implementao das deliberaes for complexa, demandar mais tempo de monitoramento, envolver diversas unidades governamentais ou quando for percebida alguma resistncia por parte do auditado. 210 A partir da anlise do plano de ao, o gestor ser informado da previso de monitoramento da auditoria. O cronograma de monitoramento (quantidade, periodicidade, prazo) dever ser adaptado s particularidades de cada auditoria e definido a partir do teor das deliberaes do TCU e das datas

Relatrio de monitoramento
214 O relatrio de monitoramento dever ser documento autnomo, ou seja, dever conter informaes suficientes, de forma que no seja necessria, para o entendimento do tema, a leitura do relatrio de auditoria e de outros relatrios de monitoramento. O relatrio de monitoramento tem por objetivos:

54

apresentar a situao de implementao das deliberaes; demonstrar, analiticamente, o benefcio efetivo decorrente dessa implementao; mensurar o custo/ benefcio da auditoria. 215 A estrutura e a forma de elaborao do relatrio de monitoramento devero seguir os padres definidos pelo TCU (BRASIL, 2009b). A verso preliminar do relatrio de monitoramento, a critrio da equipe e do supervisor, poder ser enviada aos gestores para que eles possam agregar comentrios e sugestes que julguem pertinentes sobre as constataes da equipe. A anlise desses comentrios ser incorporada ao relatrio final.

Situao das deliberaes

216 Com base nos dados e informaes coletados durante o monitoramento, a equipe classificar as deliberaes, segundo o grau de implementao, no perodo verificado, em uma das seguintes categorias (BRASIL, 2009b): a) implementada - quando o problema apontado pela auditoria e objeto da deliberao proposta foi solucionado por meio de providncias incorporadas s atividades regulares do objeto auditado; b) no implementada; c) parcialmente implementada - quando o gestor considerou concludas as providncias referentes implementao da deliberao, sem implement-la totalmente; d) em implementao - se h evidncias de que existem aes em curso no sentido de solucionar as ocorrncias apontadas durante a auditoria e que deram origem deliberao proposta; e) no mais aplicvel - em razo de mudanas de condio ou de supervenincia de fatos que tornem inexequvel a implementao da deliberao. 217 Quando a deliberao for uma determinao, deve-se substituir os termos implementada e em implementao por cumprida e em cumprimento. Caso seja fixado prazo pelo TCU para atendimento da deliberao, deve-se registrar se o cumprimento encontra-se em andamento dentro do prazo fixado ou se o prazo j expirou. 218 A determinao para elaborar plano de ao e as deliberaes dirigidas secretaria do Tribunal no devem constar de quadro resumo e, portanto, no devem ser consideradas no clculo do percentual de implementao (ex.: enviar cpias do Acrdo, arquivar os autos, publicar o relatrio em documento interno do TCU).

55

Quadro 6 Exemplo de quadro resumo da situao de implementao das deliberaes

Situao Implementada/ cumprida

1 Monitoramento Itens 9.1.4; 9.1.7; 9.1.12 17 %

2 Monitoramento Itens 9.1.2; 9.1.4; 9.1.5; 9.1.7; 9.1.12; 9.3 32 %

3 Monitoramento Itens 9.1.1; 9.1.2; 9.1.3; 9.1.4; 9.1.5; 9.1.7; 9.1.8; 9.1.10; 9.1.11; 9.1.12; 9.2.1, 9.3, 9.4.2;9.5; 9.6 9.2.2; 9.1.6; 9.1.9 %

83

P a r c i a l m e n t e implementada/ cumprida

9.1.1; 9.1.3; 9.1.6; 9.1.8; 9.1.9; 9.1.10; 9.1.11; 9.2.1; 9.2.2; 9.4.1; 9.4.2; 9.5; 9.6

68

17

Em implementao

9.1.1; 9.1.2; 9.1.3; 9.1.5; 9.1.9; 9.1.10; 9.1.11; 9.4.1; 9.4.2; 9.5; 9.6; 9.2.2

66

No implemen- 9.1.6; 9.3; 9.2.1 tada/no cumprida No aplicvel 9.1.8

17

0 9.4.1

Fonte: Tribunal de Contas da Unio (Relatrios de Monitoramento: TC 012.271/2003-0 e TC 003.805/2005-5).

56

ControLe

de

QuaLidade

219 Controle de qualidade nas auditorias operacionais o conjunto de polticas, sistemas, e procedimentos estabelecidos para proporcionar adequada segurana de que os trabalhos alcancem seus objetivos, tenham excelncia tcnica e satisfaam as normas e os padres profissionais estabelecidos (ISSAI 3000/Apndice 4, 2004). 220 A maneira como as auditorias operacionais so desenvolvidas e o grau de excelncia dos relatrios produzidos pode afetar a imagem do Tribunal. Por essa razo, importante assegurar que todas as atividades sejam desenvolvidas com padres elevados de qualidade (NAO, 2006). O controle de qualidade importante, ainda, porque possibilita o contnuo aperfeioamento dos trabalhos desenvolvidos, a partir da incorporao de lies aprendidas. 221 As entidades de fiscalizao superior devem estabelecer sistemas e procedimentos de garantia de qualidade, os quais devem assegurar que todas as auditorias sejam desenvolvidas segundo os padres e as polticas pertinentes (ISSAI 3000/3, 2004). No TCU, foi estabelecido que todos os trabalhos de fiscalizao devem ser submetidos a controle de qualidade (BRASIL, 2005). 222 A qualidade no desenvolvimento dos trabalhos de auditoria operacional assegurada pela aderncia a princpios, procedimentos e metodologias especficos, visando ao alcance de nveis crescentes de objetividade, confiabilidade, consistncia e utilidade na elaborao dos relatrios e dos demais documentos produzidos. O controle de qualidade exercido com os seguintes objetivos: a) assegurar a qualidade dos relatrios de auditoria (ISSAI 200/1.27, 2001); b) identificar oportunidades de melhoria na conduo de trabalhos futuros e evitar a repetio de deficincias (ISSAI 200/1.27, 2001);

c) localizar deficincias no desenvolvimento dos trabalhos e corrigi-las tempestivamente; d) reduzir o tempo de tramitao dos processos das auditorias; e) diminuir a necessidade de retrabalho para correo de deficincias; f) evidenciar boas prticas na execuo dos trabalhos que possam ser disseminadas; g) contribuir para o desenvolvimento de competncias por meio da identificao de necessidades de treinamento; h) identificar a necessidade de reviso ou de elaborao de documentos tcnicos que contenham orientaes para a execuo das atividades; i) suprir a administrao com informaes sistemticas e confiveis sobre a qualidade dos trabalhos (NAO, 1996).

Modalidades de controle de qualidade

223 O controle de qualidade um processo contnuo que abrange as atividades de superviso e orientao da equipe pelo supervisor em todas as fases do ciclo das auditorias operacionais, bem como as atividades de iniciativa da equipe e a reviso do trabalho por outros agentes. O controle de qualidade pode ser concomitante ou a posteriori. 224 O controle de qualidade concomitante integra-se s atividades desenvolvidas durante o ciclo de auditoria. Envolve a orientao da equipe pelo supervisor sobre a concepo da auditoria, o mtodo de trabalho e a anlise de evidncias, bem como atividades compartilhadas pelo supervisor e a equipe, como o acompanhamento do cronograma, revises peridicas dos papis de trabalho, consultas opinio de especialistas e painis de referncia.

57

O controle de qualidade a posteriori pode ser exercido por meio de revises internas ou externas dos papis de trabalho e dos relatrios produzidos, aps a concluso da auditoria. 225 Alm da adoo dos procedimentos de controle, a promoo da qualidade tambm pode ser executada por meio de iniciativas anteriores s fiscalizaes, como a redao de manuais com o objetivo de orientar a execuo dos trabalhos e a realizao de seminrios e treinamentos visando capacitao das equipes de auditoria para os trabalhos a serem desenvolvidos (NAO, 1996). 226 Outra forma efetiva de promover a qualidade das auditorias consiste em criar condies de trabalho que promovam o dilogo, a delegao e a confiana mtua dentro da organizao, bem como estimulem o senso de responsabilidade dos auditores (ISSAI 3000/Apndice 4, 2004).

229 A superviso dos trabalhos deve procurar assegurar que (ISSAI 300/2.3, 2001): a) os objetivos da auditoria sejam alcanados; b) as competncias necessrias para a execuo da auditoria sejam de domnio da equipe ou que sejam incorporadas mediante requisio ou contratao de servios; c) os membros da equipe tenham compreenso clara e consistente do projeto de auditoria; d) os achados e as concluses da auditoria estejam baseados em informaes confiveis e em evidncias vlidas, consistentes, relevantes e suficientes; e) a auditoria seja executada de acordo com padres e normas tcnicas adotadas pelo TCU; f) o projeto de auditoria seja cumprido; g) os recursos necessrios execuo da auditoria estejam disponveis, como servios tcnicos, equipamento e meios de deslocamento. 230 Cabe ao coordenador promover discusses com os demais integrantes da equipe de auditoria para a definio do escopo do trabalho, da estratgia metodolgica e dos procedimentos e tcnicas a serem utilizados. A escolha dos objetivos, dos problemas e das questes de auditoria determina grande parte da qualidade do trabalho (ISSAI 3000/2.1, 2004). 231 Compete ao coordenador da auditoria, ainda, realizar reunies peridicas com a equipe para a discusso de problemas surgidos durante o desenvolvimento das atividades e de adaptaes necessrias nos papis de trabalho produzidos; reportar ao supervisor o andamento dos trabalhos e com ele discutir o tratamento a ser dado a eventuais problemas e dificuldades; revisar toda a documentao obtida durante a fiscalizao, inclusive as contribuies dos demais integrantes da equipe ao relatrio de auditoria; e preparar a verso final do relatrio. Alm disso, o coordenador deve zelar para que: a) os objetivos da auditoria sejam definidos considerando os dados disponveis sobre o desempenho do objeto auditado;

Papis dos principais atores envolvidos com o controle de qualidade

227 A atuao do supervisor essencial para assegurar o alcance dos objetivos da auditoria e para a manuteno da qualidade dos trabalhos, independentemente da competncia individual dos auditores. importante salientar que na auditoria operacional, geralmente, mais importante apoiar as equipes de auditoria em suas iniciativas para alcanar alto nvel de qualidade em seu trabalho, do que supervision-las no sentido tradicional do termo (ISSAI 3000/Apndice 4, 2004). 228 Cabe ao supervisor orientar e revisar tecnicamente a auditoria. A orientao atividade proativa e abrange discutir com a equipe o mrito da concepo do trabalho, do projeto de auditoria, das concluses, das propostas de encaminhamento, bem como encaminhar a viabilizao dos recursos necessrios execuo da auditoria. A reviso dos documentos produzidos refere-se ao relatrio, s matrizes de planejamento e achados, ao projeto de auditoria e demais papis de trabalho, considerando a complexidade da auditoria.

58

b) critrios apropriados sejam definidos para avaliar as questes de auditoria a serem investigadas; c) os membros da equipe tenham investigado, documentado e compreendido os aspectos centrais do objeto de auditoria; d) os objetivos da auditoria estejam claros para os membros da equipe e para os auditados; e) bom ambiente de trabalho seja mantido entre os integrantes da equipe de auditoria e entre a equipe e os auditados; f) o emprego das diversas tcnicas de auditoria siga as prescries contidas nos documentos tcnicos correspondentes; g) os prazos estimados sejam cumpridos, devendo propor ao supervisor a alterao do cronograma em caso de necessidade; h) os membros da equipe responsabilizem-se pela execuo de tarefas condizentes com seus conhecimentos e habilidades; i) o projeto de auditoria contenha todas as informaes necessrias para a apreciao da proposta de trabalho.

e produtos da auditoria. A aplicao de checklists pode ser feita tanto concomitante quanto aps a auditoria. Quando aplicado concomitantemente, o checklist facilita o trabalho da superviso, na medida em que permite a verificao do cumprimento pela equipe de auditoria de medidas chave nas diversas etapas que compem os trabalhos de auditoria e a correo tempestiva de deficincias. Quando aplicado a posteriori, o checklist ajuda a identificar oportunidades de melhoria na conduo de trabalhos futuros e a evitar a repetio de deficincias. 234 O cronograma permite que a equipe planeje e organize suas atividades e facilita a alocao de seus membros de acordo com os procedimentos previstos e com o tempo disponvel. Deve conter a relao das tarefas a serem executadas, os respectivos responsveis e o prazo para a sua execuo. Aps ser acordado entre os membros da equipe, o cronograma deve ser submetido ao supervisor, que dever utiliz-lo para acompanhar o desenvolvimento dos trabalhos. 235 A matriz de planejamento registra os objetivos da auditoria, bem como as questes que sero investigadas e quais as possveis concluses. Assim, base para a discusso da concepo do trabalho e para o posterior acompanhamento da execuo do projeto de auditoria. Esse instrumento sistematiza e detalha os procedimentos previstos para a execuo do trabalho, portanto, auxilia na identificao de falhas e lapsos no planejamento das atividades. Na medida em que organiza os elementos da metodologia em colunas especficas, evidencia se as informaes requeridas so suficientes para responder questo proposta. Permite verificar, ainda, se essas informaes podem ser supridas pelas fontes de informao listadas e se esto coerentes com a estratgia metodolgica e com os mtodos de coleta e de anlise de dados definidos. A matriz de planejamento deve ser revisada nos seguintes pontos: a) O problema de auditoria foi devidamente explicitado? b) As questes de auditoria esto claramente formuladas? c) Existe uma relao clara e satisfatria entre as questes de auditoria e o problema a ser investigado?

Ferramentas de controle de qualidade

232 O controle de qualidade nas auditorias operacionais realizado com o auxlio de determinadas tcnicas e procedimentos rotineiros que facilitam a sua aplicao. As principais ferramentas de controle de qualidade so: a) checklists de qualidade; b) cronograma; c) matriz de planejamento; d) matriz de achados; e) painis de referncia; f) comentrios dos gestores. 233 O checklist uma lista de verificao da realizao de atividades e do cumprimento de padres de qualidade aplicveis a atividades, papis de trabalho

59

d) As metodologias escolhidas (estratgias, mtodos de coleta e anlise de dados) so adequadas para responder s questes formuladas? e) As limitaes foram identificadas? f) As concluses esperadas do trabalho de auditoria (o que a anlise vai permitir dizer) so consistentes com a metodologia proposta e respondem questo de auditoria? 236 A matriz de achados contribui para o controle de qualidade, na medida em que auxilia na sistematizao e anlise dos resultados da auditoria. A matriz de achados importante para a correta elaborao do relatrio de auditoria, pois dispe, de forma estruturada, os achados, suas evidncias, causas e efeitos, elementos que compem os captulos principais do relatrio. possvel verificar, por exemplo, se os achados so suportados por evidncias confiveis e suficientes; se as medidas propostas so adequadas e se incidem sobre as causas dos problemas que se pretende corrigir; e se as questes de auditoria foram respondidas. 237 A realizao de painis de referncia prtica importante que possibilita o controle de qualidade nas auditorias operacionais por meio da reviso das matrizes de planejamento e de achados. Tanto a matriz de planejamento, quanto a matriz de achados devem ser validadas em painis de referncia. Normalmente, os painis de referncia contam com a participao de outros servidores do Tribunal com conhecimento sobre o tema da auditoria, de membros do gabinete do Ministro-Relator, de representantes do Controle Interno e de especialistas externos. O painel de referncia tem por objetivo avaliar a lgica da auditoria e o rigor da metodologia utilizada. Possibilita, ainda, que a equipe seja alertada sobre falhas na concepo e no desenvolvimento dos procedimentos. 238 Recomenda-se que, aps a realizao dos ajustes considerados pertinentes, decorrentes dos painis de referncia, as matrizes de planejamento e de achados sejam apresentadas aos gestores responsveis pelo objeto de auditoria avaliado, de forma que sua apreciao crtica tambm possa contribuir para a melhoria da qualidade dos trabalhos. No mesmo sentido, o encaminhamento da verso preliminar do relatrio de auditoria para a apreciao e manifestao dos gestores, possibilita o esclarecimento de pontos obscuros, a correo de informaes imprecisas ou inconsistentes, assim como o aperfeioamento das medidas propostas. 239 Alm do controle de qualidade concomitante, executado pela unidade tcnica que realiza a auditoria, desejvel que sejam estabelecidos sistemas e procedimentos para confirmar se os processos de garantia de qualidade funcionam adequadamente (ISSAI 200/1.27a, 2001). Esses procedimentos incluem a aplicao de checklists pelos setores do Tribunal encarregados de analisar a qualidade dos trabalhos aps a sua concluso, bem como a reviso posterior dos relatrios por servidores experientes de outras unidades tcnicas, gabinetes de autoridades ou especialistas externos.

60

apndiCe pLanejamento

mtodo

Matriz de Planejamento: Como Preench-la

Embora os elementos da matriz de planejamento sejam apresentados seqencialmente, a definio das questes de auditoria, a escolha das estratgias metodolgicas apropriadas, assim como os resultados a que se quer chegar com a anlise proposta (o que a anlise vai permitir dizer) acontecem simultaneamente, confrontando-se essas informaes de maneira a assegurar a consistncia lgica do projeto de auditoria.

d) pronunciamentos feitos e decises tomadas pelas autoridades competentes; e) organogramas, diretrizes internas e manuais operacionais; f) atas de reunies; g) sistemas de informaes gerenciais; h) bases de dados informatizadas; i) sistemas de informaes da administrao pblica (SIAFI, SIGPlan, SIDOR, SIASG); j) bibliografia especializada; k) gestores e especialistas; l) beneficirios de programas governamentais; m) relatrios e estudos produzidos por fonte credenciada; n) mdia especializada. Cuidado especial deve ser dedicado ao uso de revistas, jornais e outras publicaes jornalsticas, bem como informaes da internet que, embora possam oferecer informaes de carter geral e indicar a relevncia de determinado tema, no so submetidas a revises qualificadas, prprias de publicaes cientficas (reviso por pares). Outras publicaes, mesmo de carter oficial, devem ser interpretadas com reserva ante possibilidade de apresentarem fatos seletivamente, de maneira a dar sustentao a determinado ponto de vista (LEE; LINGS, 2008).

Informaes Requeridas
Para se determinar o tipo de informao necessria para responder questo de auditoria, os termoschave empregados na questo devem ser definidos e suas dimenses ou variveis identificadas. Por exemplo, ao formular uma questo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nvel de ensino, deve-se definir o que se entende por melhoria do nvel de ensino, identificando-se as dimenses envolvidas nesse conceito. A tarefa de traduzir conceitos abstratos em variveis mensurveis indispensvel para que se possa especificar com clareza o tipo de informao a ser coletada.

Fontes de Informao
Deve-se identificar a fonte especfica para cada tipo de informao. Exemplos de fontes de informao: a) documentao legal e institucional que d suporte ao objeto de auditoria; b) legislao oramentria (PPA, LDO e LOA); c) misso declarada, planos estratgicos e relatrios de gesto;

Estratgias Metodolgicas
A estratgia metodolgica a forma geral do desenho investigativo que ser adotado na auditoria e deve ser especificado nas colunas de procedimentos de coleta e anlise de dados. Devem-se registrar a abordagem e os mtodos que sero empregados na investigao de cada questo e subquesto formulada. A estratgia metodolgica est diretamente relacionada com a

61

qualidade das evidncias que podem ser obtidas, o que, por sua vez, influir na confiabilidade das concluses do trabalho. A Intosai relaciona as abordagens mais adequadas para responder a algumas questes tpicas de auditoria operacional (ISSAI 3000/Apndice 1, 2004), conforme Quadro 7:
Quadro 7 Principais abordagens em auditoria operacional Questo de auditoria O programa est alcanando as metas previstas? Como o programa funciona? Quais so os efeitos lquidos do programa? Abordagens Estudo sobre alcance de metas ou resultados Estudo sobre processos Avaliao de impacto

Os benefcios do programa excedem os custos? Estudos de custo-benefcio e de custoOs objetivos so alcanados ao menor custo possvel? efetividade As atividades e procedimentos adotados esto sendo Estudo de benchmarking realizados conforme as melhores prticas? A qualidade da avaliao realizada aceitvel? Fonte: ISSAI 3000/Apndice 1. Estudo de meta-avaliao

Entre os mtodos mais empregados nas auditorias operacionais esto pesquisa documental, estudo de caso e pesquisa (survey). A pesquisa experimental, quaseexperimental e no-experimental, utilizadas em avaliao de programas, tambm fazem parte das opes de estratgia metodolgica. a) Pesquisa documental: abrange o exame de toda espcie de registros administrativos, inclusive estatsticas oficiais. Alm de material produzido pela instituio auditada, so pesquisados relatrios de auditorias anteriores do TCU e da CGU, assim como estudos realizados por outras instituies. Denomina-se pesquisa bibliogrfica a que abrange a bibliografia tornada pblica em relao ao tema de estudo. Ao se realizar pesquisa documental necessrio avaliar a confiabilidade das informaes divulgadas, assim como determinar a natureza, localizao e disponibilidade dos documentos no incio da auditoria. Esses cuidados tm por objetivo garantir o melhor aproveitamento da informao ao menor custo possvel e verificar a viabilidade de se responder questo. b) Estudo de Caso: Estudo de caso um mtodo usado para conhecer uma situao complexa12, baseado em compreenso abrangente13 da situao, obtida a partir de sua ampla descrio e anlise14, considerada como um todo e no seu contexto. [grifamos] (GAO, 1990, p.14). Em auditoria operacional,
12

Situao complexa significa que muitos fatos podem influenciar os acontecimentos e que essas influncias podem interagir no-linearmente, tornando impossvel isolar os efeitos das variveis sob estudo. Compreenso abrangente indica que os estudos de caso visam obter uma representao, a mais completa possvel, do que est acontecendo e do porqu. Ampla descrio e anlise refere-se ao emprego de informaes ricas e completas, provenientes de vrias fontes, particularmente de observaes diretas. Ademais, a anlise ampla, comparando dados de diferentes tipos de fontes por meio do mtodo denominado triangulao.

13

14

62

os estudos de caso so freqentemente complementados por outras estratgias metodolgicas, como a pesquisa. Segundo Patton (PATTON, 1987, p.19):
Estudos de caso tornam-se especialmente teis quando necessrio entender algum problema especfico ou situao em grande profundidade e onde possvel identificar casos ricos em informao ricos no sentido de que muito pode ser aprendido de uma pequena amostra do fenmeno em questo. Por exemplo, geralmente muito pode ser aprendido sobre como aperfeioar um programa estudando desistncias, fracassos e sucessos selecionados.

sejam selecionadas de forma randmica ou aleatria. Isso visa fortalecer a concluso sobre o vnculo causal, garantindo que a maioria dos fatores no manipulados pelo programa e que poderiam influenciar os seus resultados est uniformemente distribuda entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenas observadas. e) Pesquisa Quase-Experimental: A realizao da pesquisa experimental envolve dificuldades de ordem tanto prtica, tratados no subitem anterior, quanto tica (ex.: excluir do programa um grupo de beneficirios em potencial para que operem como grupo de controle). Dessa forma, a pesquisa quase-experimental apresenta-se como estratgia metodolgica alternativa. Assim, os grupos de comparao so selecionados com base na disponibilidade e na oportunidade. As estratgias utilizadas nesses casos so menos robustas do que a pesquisa experimental. Quanto maiores forem as diferenas iniciais entre os grupos de tratamento e de controle, mais ambguas sero as concluses alcanadas. Para minimizar esse problema, devem-se selecionar grupos que sejam to equivalentes quanto possvel, ou seja, grupos que possam ser comparados. Para se garantir a equivalncia entre os grupos, essencial aplicar um pr-teste, destinado a verificar as diferenas preexistentes e, dessa forma, permitir a interpretao e o controle dos resultados do estudo. f) Pesquisa No-Experimental: muitas vezes impossvel utilizar at mesmo modelos quaseexperimentais. A fragilidade inerente a essas pesquisas o fato de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter sido causadas por variveis no associadas ao programa. Quando a coleta de dados executada adequadamente, estudos dessa natureza oferecem valiosas informaes sobre o programa. Entretanto, apresentam problemas considerveis quando o objetivo estabelecer um juzo sobre o programa ou determinar em que medida os resultados obtidos

c) Pesquisa: a pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Com freqncia, utilizada em conjunto com estudos de caso como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia. Quando a pesquisa for baseada em amostragem estatstica15, possvel generalizar as concluses para toda a populao. Para garantir essa generalizao, a amostra deve refletir as caractersticas da populao-alvo. Qualquer deficincia do mtodo amostral utilizado deve ser levada em conta na interpretao dos resultados da pesquisa e ser devidamente relatada. d) Pesquisa Experimental: Na pesquisa experimental, para verificar se um programa a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.): 1) o grupo experimental ou de tratamento, que ser exposto ao programa; 2) o grupo de controle, que no ser exposto. As diferenas observadas nos resultados obtidos por esses grupos, com algumas qualificaes, podero ser atribudas presena do programa. O procedimento, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos,

15

A pesquisa que tem como objeto todos os membros de uma populao denominada censo. 63

podem ser a ele atribudos. Assim, quando se tratar de uma avaliao de programa, essas pesquisas devem ser realizadas em conjunto com outras estratgias metodolgicas.

Procedimentos de Coleta de Dados

Uma vez definida a estratgia metodolgica, deve-se detalhar na matriz de planejamento os procedimentos que sero empregados na coleta de dados, utilizando-se as tcnicas apropriadas. As tcnicas mais utilizadas so: questionrio, entrevista, observao direta e utilizao de dados existentes. A utilizao de dados novos, provenientes de questionrios ou entrevistas ou de registros e anotaes originrias de visitas da equipe s instalaes de projetos, oferece a possibilidade de produzir algo indito e confivel, desde que os benefcios superem os custos incorridos. Ao optar por utilizar dados existentes, a equipe deve avaliar a confiabilidade dos dados, alm de outros aspectos que podem impactar na qualidade das evidncias a serem obtidas. O Quadro 8: apresenta resumidamente as caractersticas das principais tcnicas de coleta de dados e de aspectos relevantes da sua aplicao em auditoria operacional:
Quadro 8 Resumo das principais tcnicas de coleta de dados TCNICAS Questionrios CARACTERSTICAS Mtodo estruturado de coleta de dados, por meio de formulrio, usado para quantificar informao padronizada, sobre grande nmero de unidades de pesquisa. Permite: - comparar respostas; - realizar anlise estatstica; APLICAO EM AUDITORIA OPERACIONAL Os meios mais utilizados so os questionrios postais ou via internet. As principais desvantagens so: - o pr-teste e a realizao da pesquisa so demorados; - requer conhecimento sobre elaborao de questionrios e desenho amostral;

- difcil garantir o rigor das informaes - generalizar as concluses, no prestadas. caso de amostras aleatrias. Entrevistas Mtodo presencial de obteno de informao por meio de perguntas e respostas. Podem ser individuais ou coletivas, estruturadas (questes fechadas), no-estruturadas (questes abertas) ou semi-estruturadas (duas modalidades de questes). Grande parte da auditoria operacional baseada em entrevistas. De acordo com o objetivo de cada etapa do trabalho, so aplicadas: - entrevistas preparatrias; - entrevistas para coletar dados e informaes; - entrevistas para identificar atitudes e argumentos; - entrevistas para gerar e avaliar idias e sugestes. Podem ser empregadas para confirmar fatos e corroborar dados de outras fontes ou explorar potenciais recomendaes.

64

TCNICAS Observao Direta

CARACTERSTICAS Registro presencial e sistemtico de informaes, predefinidas em roteiro. Requer treinamento e preparao especfica em, por exemplo, tcnicas de anotao de campo, bem como capacidade de concentrao e percepo seletiva.

APLICAO EM AUDITORIA OPERACIONAL Empregado principalmente para obter informao contextualizada sobre a forma de funcionamento do objeto auditado.As vantagens desse mtodo podem ser assim resumidas (PATTON, 1987): - permite ao observador compreender o contexto no qual se desenvolvem as atividades;

O observador treinado deve ser capaz de coletar informaes exatas, vlidas e confiveis. - permite ao observador testemunhar os fatos, sem depender de informaes de terceiros; - permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; - pode captar aspectos do programa sobre os quais os participantes no desejam falar numa entrevista, por ser um tema delicado ou embaraoso; - traz para a anlise as percepes do prprio observador, que, ao serem confrontadas com as percepes dos entrevistados, fornecem uma viso mais completa do programa estudado; - permite que o observador forme impresses que extrapolem o que possvel registrar, mesmo nas mais detalhadas anotaes de campo, e que podem auxiliar na compreenso do programa e dos seus participantes. Uso de dados Existentes O uso de dados existentes requer cuidados especiais por parte da equipe de auditoria. Alm da confiabilidade dos dados, outras questes devem ser consideradas: possvel agregar valor e extrair informaes originais de dados existentes, identificando tendncias e examinando -as de modo criativo. Se a auditoria est inteiramente baseada em dados existentes, especialmente se estes forem de domnio -Que tipo de dado est disponvel? Ele se pblico, a equipe deve dedicar especial ateno adapta questo que se pretende investigar? forma de apresentao dos dados e de comunicao -Os dados esto completos e o perodo de mais efetiva da idia chave (NAO,1997). abrangncia suficiente para a anlise? O uso de softwares especializados pode auxiliar na -De que forma o dado est armazenado? Quais as limitaes relativas forma dos dados e quais as dificuldades existentes para a sua obteno? tarefa de analisar e apresentar dados de diferentes modos.

fundamental levar em conta que qualquer problema relativo utilizao de dados existentes e s suas -Que atividades de coleta so realizadas regu- possveis limitaes deve constar como ressalva s larmente? Foi realizada coleta de dados com concluses finais do relatrio de auditoria. objetivo especfico? -H outras fontes relevantes de dados para o tema a ser investigado?

As auditorias operacionais tambm recorrem a outras tcnicas de coleta de dados, como grupo focal, painis de especialistas e seminrios. A coleta de dados um ajuste entre a soluo ideal e a soluo possvel. Um projeto de auditoria muito ambicioso na coleta de dados, de forma perfeitamente completa, precisa e exata, pode prejudicar a realizao da auditoria. A necessidade de ser exato deve ser equilibrada com critrios de razoabilidade, economia e relevncia, luz dos objetivos da auditoria. Por conseqncia, o relatrio de auditoria deve sempre informar sobre a qualidade das informaes e como foram coletadas (ISSAI 3000/4.5, 2004).
65

Procedimentos de Anlise de Dados

Devem-se detalhar na matriz de planejamento os procedimentos que sero empregados na anlise de dados. Tcnicas de anlise de dados so ferramentas usadas para organizar os dados coletados e investigar as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. A especificao da tcnica parte fundamental do projeto de auditoria e deve, portanto, constar da matriz de planejamento. Essas ferramentas tm correspondncia com as tcnicas adotadas na coleta de dados. Geralmente, a anlise de dados um procedimento interativo, isto , realizam-se anlises iniciais na fase de planejamento e, medida que a auditoria progride, as anlises so refinadas. Ampla variedade de tcnicas de anlise pode ser usada em auditoria operacional, incluindo anlise estatstica multivariada, anlise por envoltria de dados, anlise de regresso. As mais comuns so anlise de freqncias em tabelas e anlise grfica: a) Tabulao de freqncias, tabulaes complexas para checar relaes. A anlise deve ser realizada com o auxlio de software adequado que permita o clculo de freqncias, o teste de hipteses e a representao grfica dos dados. Essas tcnicas so usadas para analisar dados coletados por meio de questionrios ou de extrao de dados administrativos; b) Anlise grfica de dados: por meio do uso de grficos (histograma, grfico de Pareto, grfico de barras, setograma16, grfico de disperso, caixa-ehaste17) possvel sintezar informaes e revelar tendncias, regularidades, descontinuidades, desempenhos extremos (bons e ruins), desigualdades na distribuio de bens e servios pblicos. Usa-se ainda a anlise qualitativa, com base em julgamento profissional da equipe ou de especialistas consultados, das informaes coletadas ou produzidas pela equipe, registradas em mapas de processo, indicadores de desempenho, documentos oficiais, avaliaes realizadas por outros agentes. O tipo de anlise depende do problema a ser investigado e dos recursos disponveis para o trabalho. As anlises qualitativas abrangem a comparao e o contraste entre informaes proveniente de fontes diferentes, de unidades de pesquisa que apresentam boas e ms prticas, comparaes mais gerais entre unidades de pesquisa (ISSAI 3000/4.5, 2004). Na anlise e interpretao de dados qualitativos, pode-se adotar ainda (PATTON, 1987): a) Anlise de contedo: tcnica de anlise sistemtica de informao textual, organizada de forma padronizada, que permite realizar inferncia sobre seu contedo. Pode ser usada para analisar transcries de entrevistas,
16 17

Grfico tipo pizza ou pie chart. Box plot.

66

grupos focais e documentos, como relatrios, descrio de poltica pblica. Recomenda-se usar software adequado em caso de grande quantidade de material a ser analisado. b) Triangulao: uso de diferentes mtodos de pesquisa e/ou de coleta de dados para estudar a mesma questo, com o objetivo de fortalecer as concluses finais, podendo assumir as formas a seguir indicadas: coletar dados de diferentes fontes sobre a mesma questo; empregar diferentes entrevistadores e pesquisadores de campo para evitar vieses na coleta de dados; usar mltiplos mtodos de pesquisa para estudar a mesma questo; usar teorias diferentes para interpretar os dados coletados. c) Interpretaes alternativas: uma vez formulada uma interpretao a partir das principais relaes identificadas na anlise, devem-se buscar interpretaes alternativas; caso no sejam encontradas evidncias substantivas que sustentem essas interpretaes, refora-se a confiana na interpretao originalmente formulada (PATTON, 1987). Em uma auditoria operacional de qualidade, os argumentos sustentados pela equipe devem ser confrontados com os melhores contra-argumentos possveis (ISSAI 3000/4.5, 2004). d) Caso negativo: relacionado ao item anterior, trata-se de identificar as situaes que no seguem a interpretao principal ou corrente em razo de circunstncias especficas e que, por isso mesmo, funcionam como excees (casos negativos) que confirmam a regra e que ajudam a esclarecer os limites e as caractersticas da interpretao principal. A efetividade dos procedimentos tratados acima se apoia na honestidade intelectual do analista, que deve despender na busca de casos negativos ou de evidncias que deem sustentao s hipteses alternativas, o mesmo esforo empregado na construo da interpretao principal. O processo de anlise interativo e compartilhado pela equipe, com a participao do supervisor, bem como com a consulta a outros auditores experientes, especialistas e gestores. medida que as informaes so estruturadas, comparadas, confrontadas, discutidas com atores internos e externos, o relatrio deve ser rascunhado, avaliado e reescrito (ISSAI 3000/4.5, 2004). Pode ser necessrio discutir esses textos preliminares com gestores e especialistas, para confirmar dados, desenvolver argumentos e propostas de recomendao (ISSAI 3000/4.5, 2004).

Limitaes
Nesse elemento da Matriz de Planejamento, a equipe de auditoria deve especificar as limitaes inerentes estratgia metodolgica adotada, s caractersticas das informaes que se pretende coletar e s condies operacionais de realizao dos trabalhos.

67

Quanto estratgia metodolgica, deve-se considerar que no h estratgia tima ou ideal, mas apenas aquela que, dadas as circunstncias, melhor se adapta questo que se pretende investigar. Uma vez que sempre haver algum tipo de limitao sobre o que pode ser concludo a partir de determinada metodologia proposta, o melhor a fazer identificar tais restries. A equipe de auditoria deve avaliar as alternativas existentes e estar preparada para defender suas escolhas18. Assim, ao se optar por uma estratgia metodolgica, indispensvel apontar as limitaes que lhe so inerentes, seja do ponto de vista do poder explicativo, seja em relao s possibilidades de generalizao dos resultados do estudo19. Quanto s informaes que se pretende utilizar na anlise, importante mencionar que tipo de dificuldade espera-se encontrar, tanto em relao ao acesso aos dados, como em relao sua qualidade e confiabilidade. Qualquer problema relativo utilizao de dados existentes e s suas possveis limitaes deve constar da matriz de planejamento. A equipe deve indicar a alternativa a ser adotada para minimizar os riscos correspondentes aos resultados esperados decorrentes das limitaes identificadas.

O Que a Anlise Vai Permitir Dizer

Esse elemento da Matriz de Planejamento de Auditoria registra como a anlise dos dados responder questo de auditoria. O propsito dessa informao esclarecer quais concluses ou resultados pretende-se alcanar por meio do projeto de auditoria. Est relacionado com o anterior, pois o que se espera obter da anlise est, naturalmente, condicionado pelas limitaes previamente identificadas. Assim, deve-se registrar, por exemplo: se as concluses alcanadas permitiro responder integralmente s questes de auditoria; se ser possvel fazer afirmaes conclusivas sobre o objeto da auditoria; e se as concluses limitar-se-o aos casos examinados ou se ser possvel generaliz-las. Esses esclarecimentos so necessrios para que se tenha noo, j na fase de planejamento, do que se pode esperar do esforo que ser empreendido pela equipe e dos recursos que sero alocados no desenvolvimento do trabalho.

18

Sobre a adequao e o potencial explicativo de estratgias metodolgicas especficas vide L. J. CRONBACH (1983, p.22-30) e PATTON (1987, p. 60-69). Uma boa auditoria levar em conta as limitaes existentes, em outras palavras: ... a qualidade tcnica de um estudo ou mtodo pode ser determinada pela comparao entre o que foi realizado e o que era possvel realizar. (GAO, 1991, p. 8).

19

68

reFernCias

ASSOCIAO BRASILEIRA DE NORMAS TCNICAS (ABNT). ISO Guia 73:2009. Rio de Janeiro, 2009. _____. Informao e Documentao Apresentao de citaes em documentos: NBR 10520. Rio de Janeiro, 2002. _____. Informao e Documentao Numerao progressiva das sees de um documento escrito. NBR 6024. Rio de Janeiro, 2003. _____. Informao e Documentao Referncias Elaborao. NBR 6023. Rio de Janeiro, 2000. BRASIL. Constituio da Repblica Federativa do Brasil. Braslia, DF: Senado, 1988. BRASIL. Lei n 9.610, de 19 de fevereiro de 1998. Altera, atualiza e consolida a legislao sobre direitos autorais e d outras providncias. Braslia, 1998. Disponvel em: <http://www.planalto.gov.br /ccivil_03/Leis/QUADRO/1998.htm>. Acesso em: 13 jul. 2009. BRASIL. Ministrio do Planejamento. Manual Tcnico de Oramento MTO 2009. Braslia, 2008. Disponvel em: < HTTP://www.planejamento.gov.br>. Acesso em: 16 nov. 2008. _____. Tribunal de Contas da Unio. Padres de Auditoria de Conformidade. Braslia, 2009a. _____. Tribunal de Contas da Unio. Padres de Monitoramento. Braslia, 2009b. _____. Tribunal de Contas da Unio (TCU). Resoluo n 185, de 13 de dezembro de 2005. Dispe sobre o plano de fiscalizao previsto no art. 244 do Regimento Interno do TCU. Braslia, 2005. Disponvel em: https://contas.tcu. gov.br/juris/Web/Juris/ ConsultarAtoNormativo/ ConsultarAtoNormativo.faces. Acesso em: 24 abr. 2009. _____. Tribunal de Contas da Unio (TCU). Resoluo n 155, de 4 de dezembro de 2002. Aprova o Regimento Interno do Tribunal de Contas da Unio. Braslia, 2002a. Disponvel em: <http://www.tcu.gov.br>. Acesso em: 8 set. 2008. _____. Tribunal de Contas da Unio. Tcnicas de Apresentao de Dados. Braslia, 2001.

69

COHEN, E.; FRANCO, R. Avaliao de Projetos Sociais. Petrpolis: Vozes, 1993. CRONBACH, L. J. Designing evaluations of educational and social programs. San Francisco: Jossey-Bass, 1983. Government Accountability Office (GAO). Government Auditing Standards. Washington, 2007. _____. Designing evaluations. Washington, 1991. _____. Case study evaluations. Washington, 1990. _____. Content analysis: a methodology for structuring and analyzing written material. Washington, 1996. HATRY, Harry P WINNIE, Richard E.; FISK, Donald M. Practical Program .; Evaluation for State and Local Governments. 2a edio. The Urban Institute Press. Washington, 1981. International Organization of Supreme Audit Institutions (Intosai). Auditing Standards Basic Principles in Government Auditing. (ISSAI 100). Viena, 2001. Disponvel em: http://www.issai.org/media(629,1033)/ISSAI_100_E.pdf. Acesso em: 8 set. 2008. _____. General standards in Government Auditing and standards with ethical significance (ISSAI 200). Viena, 2001. Disponvel em: <http://www.issai.org/ media(630,1033)/ISSAI_200_E.pdf>. Acesso em: 8 set. 2008. _____. Field Standards in Government Auditing (ISSAI 300). Viena, 2001a. Disponvel em: <http://www.issai.org/media(630,1033)/ISSAI_300_E.pdf>. Acesso em: 8 set. 2008. _____. Reporting Standards in Government Auditing (ISSAI 400). Viena, 2001b. Disponvel em: <www.issai.org>. Acesso em: maro de 2009. _____. Implementation Guidelines for Performance Auditing (ISSAI 3000). Viena, 2004. Disponvel em: <http://www.issai.org/media(381,1033)/ISSAI_3000E. pdf>. Acesso em: 8 set. 2008. LEE, N.; LINGS, I. Doing business research. London: Sage, 2008. MEDEIROS, M. Princpios de Justia na Alocao de Recursos em Sade. Texto para Discusso n 687. Braslia: IPEA, 1999. NATIONAL AUDIT OFFICE (NAO). Collecting, analysing and presenting data. London: NAO, 1996. _____. Designing vfm studies A guide. London: NAO, 1997.
70

_____. Getting to the heart of the matter. London, [199-]. _____. Quality Matters. London, 2006. _____. Value for Money : Handbook, London, 1996. _____. Writing Smart Recommendations. London: NAO, 200-. PATTON, Michael Quinn. How to use qualitative methods in evaluation. Newbury Park: Sage, 1987. POLLITT, Christopher; GIRRE, Xavier; LONSDALE, Jeremy; MUL, Robert; SUMMA, Hilkka; WAERNESS, Marit. Performance or compliance? Performance audit and public management in five countries. Oxford University Press. Oxford, 2002.

71

Responsabilidade pelo contedo

Secretaria Geral de Controle Externo Secretaria Adjunta de Planejamento e Procedimentos Secretaria de Fiscalizao e Avaliao de Programas de Governo

Equipe tcnica
Dagomar Henriques Lima Fbio Mafra Glria Maria Merola da Costa Bastos (coordenadora) Maria Lcia de Oliveira Feliciano de Lima

Responsabilidade editorial
Secretaria Geral da Presidncia Instituto Serzedello Corra Centro de Documentao Editora do TCU

Projeto grfico
Editora do TCU

Capa e diagramao
Paulo Brando

Endereo para contato

TRIBUNAL DE CONTAS DA UNIO Secretaria de Fiscalizao e Avaliao de Programas de Governo (SEPROG) SAFS Quadra 4, Lote 1 Anexo II, Sala 451 70042-900 BrasliaDF Fone: (61) 3316.7902 Fax: (61) 3316.7896 seprog@tcu.gov.br

Ouvidoria do Tcu
0800-6441500

Negcio Controle Externo da Administrao Pblica e da gesto dos recursos pblicos federais Misso Assegurar a efetiva e regular gesto dos recursos pblicos em benefcio da sociedade Viso Ser instituio de excelncia no controle e contribuir para o aperfeioamento da Administrao Pblica

www.tcu.gov.br