c
n
i
c
a
d
e
A
u
d
i
t
o
r
i
a
/
I
n
d
i
c
a
d
o
r
e
s
d
e
D
e
s
e
m
p
e
n
h
o
e
M
a
p
a
d
e
P
r
o
d
u
t
o
s
Custo de aquisio das
vacinas, consideradas as
opes de mercado.
FIGURA 3 EXEMPLOS DE INDICADORES DE DESEMPENHO
Programa de
Vacinao
Manuteno de
Rodovias
Qualificao
Profissional de
Trabalhadores
Desempregados
Ensino Distncia
Custo de uma criana
vacinada em relao
s estimativas iniciais
ou n de cri anas
vaci nadas por
vacinador
N de cri anas
vacinadas como um
percentual das metas
programadas.
Percentual da
popul ao que
contraiu a doena em
relao ao perodo
anterior
Custo dos servios de
manuteno, em relao
aos preos de mercado.
Custo de
manuteno de um km
de rodovia em relao
a padres
preestabelecidos.
Extenso de
rodovi as em boas
condi es de uso
como percentagem
das metas
planejadas.
N de aci dentes
fatais, em relao ao
perodo anterior.
Tempo mdi o de
viagem, em relao ao
perodo anterior.
Custo das atividades de
treinamento, em relao s
alternativas de mercado.
Custo de treinar um
t r a b a l h a d o r
desempregado em
rel ao a outros
programas de
trei namento e/ou
Qualificao profissional.
N de trabalhadores
trei nados como
percentual das metas
planejadas.
Percentual dos
t r a b a l h a d o r e s
trei nados e
empregados, em
razo do treinamento
recebido.
Custo de elaborao dos
programas, em relao s
alternativas de mercado.
Tempo mdi o de
titulao do aluno em
rel ao a anos
anteriores.
N de estudantes
formados em relao s
metas programadas.
Taxas de evaso escolar,
antes e depois da imple-
mentao do programa.
Percentagem de pessoas
com nvel mdio de
escolaridade, antes e depois
da implementao do
programa.
Economicidade Eficincia Eficcia Efetividade
17
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
2. MAPA DE PRODUTOS
2.1. INTRODUO
Mapa de produtos uma tcnica utilizada para a obteno
de indicadores de desempenho. essencial que definamos, desde
logo, em que sentido estamos utilizando a palavra produto:
PRODUTO um bem, um servio ou uma condio resultante de
atividade(s) de uma organizao ou de um indivduo.
Assim, so exemplos de produtos: benefcios de um
programa, estradas conservadas, correspondncia datilografada,
pacientes atendidos etc. Implementar um programa; conservar
estradas; datilografar correspondncia e atender pacientes so
atividades das quais resultam tais produtos.
Uma administrao pblica voltada para resultados deve
direcionar sua ateno para seus produtos. Entretanto, esse
enfoque pode encontrar alguma resistncia por parte de gestores
habituados a administrar predominantemente os insumos (pessoal,
recursos financeiros, instalaes, etc.) e os processos (atividades
desempenhadas).
2.2. CARACTERSTICAS
Um mapa de produtos possui trs componentes bsicos:
insumos, produtos intermedirios e produtos finais. Ele se
assemelha a uma linha de produo ou de montagem, onde o
importante o produto gerado em cada fase, em vez do processo
(ou atividade) que gerou o produto.
18
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
FIGURA 4 ESTRUTURA BSICA DE UM MAPA DE PRODUTOS
No mapa de produtos as setas indicam que a existncia do
contedo da caixa esquerda (insumo ou produto intermediiro)
necessrio para que se produza o contedo da caixa direita
(produto intermedirio ou final).
Quando estamos lidando com um ministrio, um rgo ou
um programa de governo, os insumos tendem a ser muito parecidos:
poltica de governo, oramento, instalaes, equipamentos, pessoal,
programas de treinamento, sistemas informatizados etc.). medida
que descemos aos escales inferiores da Administrao Pblica,
eles se tornam diferenciados.
Os produtos intermedirios so subprodutos obtidos a partir
dos insumos existentes e que, juntos, daro origem ao produto final.
Pode-se dizer que os produtos intermedirios desempenham o papel
de insumos para outros produtos intermedirios ou para o produto
final.
EXEMPLO 1 MAPA DE PRODUTOS: COMUNICAO VIA
MEMORANDO
O diretor do departamento A, deseja fornecer uma orientao
formal a todos os chefes de diviso que lhe so subordinados. Para
tanto ele dita um memorando para sua secretria, que o digita e o
distribui aos chefes de diviso.
Insumos
Insumos
Produtos
Intermedirios
Produto
Final
Papel
Computador
Secretria
Memorando
Impresso
Comunicao
Efetuada
19
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
O produto final (output) das atividades no deve ser
confundido com o impacto (outcome) originado dessas atividades.
Enquanto o produto final depende apenas do desempenho das
atividades, o impacto que ele causa afetado por condies
externas, que fogem ao controle do rgo ou do indivduo.
EXEMPLO 2 MAPA DE PRODUTOS: ALTERAO NA ROTINA
Retomando o exemplo anterior, se o diretor almeja obter um
maior nvel de satisfao dos funcionrios, mediante uma alterao
na rotina de seu departamento e comunica tal alterao por meio
do memorando aos chefes de diviso, teramos um novo mapa de
produtos.
Note-se, no exemplo acima, que o produto final rotina
alterada, e no maior nvel de satisfao dos funcionrios, que
o impacto almejado. A alterao na rotina depende apenas do correto
funcionamento do departamento. J o maior nvel de satisfao
pretendido depende de fatores externos, como a receptividade dos
funcionrios nova rotina. Exemplos mais complexos foram
extrados das primeiras auditorias realizadas utilizando esta tcnica
e podem ser vistos em anexo.
IMPORTANTE: Mapas de produto e de processo no se
confundem. Aqui esto as principais diferenas entre eles.
Papel
Computador
Secretria
Memorando
Impresso
Comunicao
Efetuada
Rotina
Alterada
20
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
FIGURA 5 MAPA DE PRODUTOS X MAPA DE PROCESSOS
O mapa de processo apresenta graficamente uma
srie de atividades interligadas que do origem a
determinados produtos, ao passo que o mapa de
produtos apresenta graficamente os produtos gerados
por aquelas atividades. Nos mapas de produtos, os
processos esto representados pelas setas.
Processos e atividades mudam com o passar do
tempo, enquanto os produtos, se identificados
adequadamente, devem permanecer os mesmos,
independente das atividades realizadas para obt-los.
O enfoque nos produtos em vez de nos processos
empregados para sua obteno, permite-nos comparar
o desempenho de diferentes alternativas (processos)
para obter os mesmos produtos.
2.3. APLICAO
O mapa de produtos pode ser empregado em diferentes
nveis administrativos: pode ser elaborado para uma instituio,
departamento, funo, atividade individual ou mesmo para um
projeto ou programa . A elaborao do mapa de produtos visa:
Obter um quadro claro sobre os objetivos do rgo ou
da atividade auditada;
Mostrar as relaes de dependncia entre os diversos
produtos;
21
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
Identificar as reas ou setores do rgo responsveis
pelos produtos crticos (aqueles cuja obteno fator
determinante do custo, da qualidade e do prazo de
obteno do produto final);
Estabelecer as bases para o trabalho subseqente de
elaborar indicadores de desempenho.
2.4. ELABORAO
O mapa de produtos deve ser elaborado preferencialmente
com a participao do pessoal da instituio auditada, pois quem
melhor conhece as atividades desempenhadas, os produtos
resultantes, os objetivos e a misso da instituio. Essa participao
contribui para a elaborao de um mapa de produtos capaz de refletir
a realidade da instituio.
Uma forma de angariar essa participao por meio da
realizao de workshop
3
, envolvendo a participao do pessoal
chave da instituio ou do programa auditado que, sob a orientao
da equipe de auditoria, vai montando, passo a passo, o mapa de
produtos. Os passos a serem seguidos no workshop, basicamente,
so:
1 passo. Utilizar a tcnica de brainstorm
4
, incentivando
os participantes a identificar os possveis produtos
resultantes das atividades da instituio. Os produtos
identificados podem ser anotados em etiquetas
autocolantes.
3
Reunio destinada troca de idias e conhecimento prtico sobre um assunto.
4
Tcnica em que o facilitador estimula os participantes a emitir opinies.
22
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
2 passo. Definir qual o produto final e quais so os
intermedirios. Colar a etiqueta que descreve o produto
final na parede da sala ou em alguma superfcie lisa
existente, em local visvel a todos.
3 passo. Selecionar um pequeno nmero de produtos
que sejam essenciais para a funo ou atividade sob
exame. Considerar um mximo de dez produtos,
embora algumas atividades mais complexas possam
exigir um nmero maior.
4 passo. Verificar quais produtos A, B, C etc. deveriam
ter sido obtidos numa fase imediatamente anterior
de obteno do produto final. Colar as etiquetas
referentes a esses produtos esquerda daquela que
representa o produto final.
5 passo. Verificar quais produtos ( X, Y, Z etc.) deveriam
ter sido obtidos numa fase imediatamente anterior a
de obteno dos produtos A, B, C etc., e assim por
diante. Cole as novas etiquetas sempre esquerda
das anteriores.
6 passo. Utilizar o mapa de produtos para mostrar de
que forma esses produtos se relacionam entre si e com
o produto final.
7 passo. Desenhar o mapa, uti l i zando software
apropriado, normalmente disponvel em pacotes para
escritrio, distribuindo-o aos participantes.
23
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
RECOMENDAES:
O produto final no deve ser um resultado genrico,
mas algo mensurvel.
O uso de bloco de notas autocolantes facilita a
montagem do mapa, pois permite que se rearranjem
os produtos at se obter uma seqncia adequada.
A efetiva participao dos auditados essencial. O
papel do auditor no workshop deve ser o de facilitador,
incentivando os prprios participantes a elaborar o
mapa de produtos.
O tempo deve ser controlado. As discusses acerca
de quais so os produtos que devem constar no mapa
podem tornar-se acal oradas e prol ongar-se
demasiadamente.
24
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
3. ELABORAO DE INDICADORES DE DESEMPENHO A
PARTIR DO MAPA DE PRODUTOS
3.1. IDENTIFICAO DOS PRODUTOS-CHAVE
Na anlise do Mapa de Produtos para identificao dos
produtos essenciais, devem ser considerados os seguintes aspectos:
custo: produto cuja obteno demanda muito mais
recursos que os demais;
qualidade: produto de cuja obteno dependem vrios
outros;
tempo: produto que determina o tempo total gasto na
obteno do produto final.
Para identificar os produtos-chave preciso recorrer ao mapa
de produtos e rever os produtos. Para alguns deles no necessrio
desenvolver indicadores de desempenho, pois:
no so produtos crticos; eles esto no mapa apenas
para facilitar o seu entendimento;
no so produtos que necessitem de monitoramento
regular;
so produtos cujo acompanhamento deve ser efetuado
no nvel operacional e no no nvel gerencial.
3.2. FORMULAO DE QUESTES SOBRE
ECONOMICIDADE, EFICINCIA E EFICCIA
Esta a fase crucial na elaborao dos indicadores de
desempenho. Se, durante o workshop com o pessoal chave, tais
questes no forem formuladas, partindo-se diretamente para a
elaborao dos indicadores, podero surgir os seguintes problemas:
25
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
os indicadores sugeridos no refletiro os produtos-
chave que se deseja mensurar;
um nmero excessivo de indicadores sero propostos;
existir uma tendncia em se sugerir indicadores que
reflitam o impacto do produto final, ou de um nico
produto (outcome), em vez dos produtos cuja obteno
depende to-somente das aes da instituio.
IMPORTANTE: O enfoque do workshop no deve recair sobre os
indicadores, mas sobre as questes que os indicadores devem
responder.
Todos os participantes do workshop devem ser instrudos para
que se coloquem no lugar dos gerentes da instituio e tentem definir
as perguntas para as quais provavelmente gostariam de obter
respostas. Essas so as questes que realmente interessam a
respeito dos produtos. Os participantes devem tambm indicar se
tais perguntas referem-se economicidade, eficincia ou
eficcia. Chegando a um consenso, os produtos e as perguntas
devem ser anotados em lugar visvel a todos.
26
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
EXEMPLO 3 QUESTES SOBRE O DESEMPENHO
Instalaes e equipamentos disponveis para uso.
O equipamento est disponvel quando se precisa
dele?
Quai s as reai s condi es de uso do nosso
equipamento?
Quanto custa manter o equipamento em condies
de uso?
Estradas conservadas.
Qual o custo por km de estrada conservada?
mais caro terceirizar ou utilizar pessoal prprio?
As condies gerais das estradas tm melhorado?
Licenas ambientais emitidas.
Quantas licenas foram emitidas comparadas com
o planejado?
Quanto de receita foi gerado?
Qual o custo de se emitir uma licena?
27
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
3.3. IDENTIFICAO DOS INDICADORES DE DESEMPENHO
Deve-se ter especial cuidado na identificao dos indicadores
de desempenho, pois se a avaliao de desempenho da instituio
auditada for efetivamente considerada nas tomadas de deciso, a
incorporao dos indicadores como instrumento dessa avaliao
acarretar cobranas em relao ao cumprimento das metas
estabelecidas. Portanto, ao se desenvolverem indicadores de
desempenho, deve-se sempre buscar o comprometimento do gestor
e observar se os indicadores so teis para a administrao, bem
como para o pblico externo.
Deve ser lembrado que:
So necessrios poucos indicadores. Um nmero
excessivo de indicadores ir sobrecarregar a instituio
na obteno de informao necessria ao seu clculo.
preciso que os indicadores cubram todos os
produtos-chave e forneam i nformaes de
economicidade, eficincia e eficcia. Deve-se evitar a
concentrao de indicadores em torno de um nico
produto, e procurar fazer-se uma di stri buio
equilibrada dos indicadores.
Os i ndi cadores de desempenho devem ser
comparativos. Por exemplo: nmero de treinamentos
efetuados no um indicador, mas sim nmero de
treinamentos efetuados comparado com o nmero
planejado.
Os indicadores de eficincia relacionam insumos com
produtos. Por exemplo: Nmero de crianas vacinadas
por vacinador.
28
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
Aps a discusso sobre as questes que foram colocadas
pelos participantes, devem ser selecionados um ou dois conjuntos
de questes mais relevantes. Para esses conjuntos deve-se tentar
identificar indicadores de desempenho que respondam s questes.
Para os demais, a equipe de auditoria dever identificar os
indicadores, por si mesma ou com algum integrante da instituio,
aps o workshop.
3.4. SELEO DOS INDICADORES
Identificados os indicadores, a equipe provavelmente contar
com um nmero muito grande de potenciais indicadores. O passo
seguinte selecionar os mais relevantes. Essa tarefa, por mais que
se tente tornar o critrio de seleo objetivo, envolve muito de
subjetividade, sendo extremamente necessrio contar-se com a
experincia do pessoal da instituio auditada.
29
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
EXEMPLO 4 SELEO DE INDICADORES
O critrio abaixo foi utilizado na seleo de indicadores de
desempenho para a Secretaria de Assuntos
Multiculturais da Austrlia (Australian Office of
Multicultural Interests):
1) Para cada indicador potencial foram atribudas notas
de 1 a 5 nos seguintes quesitos:
Benefcio: as melhorias potenciais decorrentes
de se utilizar aquele indicador na avaliao do
desempenho.
Relevncia: a relevncia do indicador para os
objetivos da instituio.
Acessibilidade: a disponibilidade de dados para
clculo do indicador.
Controle: o quanto de controle a instituio teria
sobre o indicador.
2) Multiplicaram-se as notas de cada um, obtendo-se
valores entre 1 e 625.
3) Selecionaram-se os indicadores que obtiveram os
maiores produtos.
Utilizando esse critrio, os 27 potenciais indicadores
inicialmente encontrados foram
reduzidos para apenas 8 indicadores de desempenho.
30
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
3.5 DEPURAO DOS INDICADORES SELECIONADOS
Aps a identificao dos indicadores, deve-se proceder a
entrevistas com os gerentes da instituio para se discutir com eles
a adequao desses indicadores. Basicamente, a pergunta que deve
ser colocada para eles : Se os gerentes necessitarem de resposta
a esta pergunta, este indicador de desempenho fornecer a resposta
esperada?. Provavelmente ser necessrio revisar os indicadores
vrias vezes, especialmente em reas onde no existam medies
diretas nem facilidade para obteno de informaes.
3.6 FIXAO DE METAS PARA OS INDICADORES
SELECIONADOS
O passo final consiste na fixao de metas de desempenho
a serem atingidas pela instituio, que devero ser aferidas pelos
indicadores de desempenho elaborados. Cabe aos gestores a
fixao de tais metas, devendo equipe to-somente verificar se
elas so:
1) Realsticas: l evam em conta os obj eti vos da
instituio, o contexto econmico em que est inserida,
as limitaes oramentrias, o desempenho anterior
etc;
2) Exeqveis: so passveis de serem atingidas, pois
se no forem, elas sero vistas como meros ideais e
no tero influncia prtica no comportamento da
instituio;
3) Desafiadoras: so desafiadoras, pois se no forem,
elas no encorajaro a se efetuarem melhorias no
si stema; devem, portanto, ser cada vez mai s
ambiciosas ao longo do tempo, de maneira a incentivar
que a instituio busque a otimizao dos resultados,
a partir dos recursos disponveis;
4) Comparveis: podem ser comparadas internamente
instituio, ou externamente, com outras instituies
de reconhecido bom desempenho na rea;
5) Claras: so facilmente identificveis; no sendo,
podem utilizar termos ambguos na sua definio.
31
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional
EXEMPLO 5 FIXAO DE METAS
No desenvolvimento de indicadores de desempenho e metas
a serem atingidas por diferentes instituies governamentais
australianas, criou-se a seguinte escala de desempenho, para
avaliao da evoluo da instituio:
A vantagem de utilizar-se um sistema semelhante que se
pode ter uma viso de como as metas estabelecidas se inserem no
contexto da instituio. Isso permite que se verifique, numa primeira
anlise, se as metas foram estabelecidas de forma correta ( i.e., se
so realsticas, exeqveis, desafiadoras etc.).
3.7 REVISO DOS INDICADORES
Ainda que se tomem todos os cuidados na elaborao de
indicadores de desempenho, eles sempre podero vir a ser
aperfeioados, medida em que forem sendo utilizados pela
instituio auditada.
Outra forma de aperfeioamento dos indicadores sujeit-
los s crticas e sugestes dos usurios dos servios pblicos, de
instituies acadmicas, de outras organizaes governamentais,
das entidades de classe, dos escales superiores nos ministrios,
das entidades governamentais fiscalizadoras, enfim, de todos os
que, de certa forma, esto interessados no desempenho do servio
da entidade pblica em exame.
Melhor nvel de desempenho possvel.
Nvel de desempenho a ser atingido dentro de um
prazo pr-determinado.
Nvel de desempenho atual.
Esse nvel de desempenho aponta a necessidade
de se rever o sistema.
Pior nvel de desempenho possvel.
timo
Meta consensual
Situao atual
Ponto crtico
Inaceitvel
32
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos
4. REFERNCIAS
AUDIT Commission. Direction 98 Performance Indicators for
the Financial Year 1999/2000.
ESCOLA Nacional de Administrao Pblica. Curso: Elaborao
de Indicadores de Desempenho. Braslia, 1996.
KPMG. Output Mapping & Developing Performance Indicators.
(Documento do Microsoft Word).
KPMG. Results Oriented Management - ROM. (Apresentao em
Microsoft Powerpoint). Spring 1999.
NATIONAL Audit Office. Value for Money Handbook. Spring 97.
NATIONAL Audit Office. Performance measurement what to look
for in VFM studies. Spring 98.
NATIONAL Audit Office. What are taxpayers getting for their
money? A value for money guide to examining outputs and
outcomes. Spring 1999.
INSTITUTO Serzedello Corra. Curso: Elaborao de Indicadores
de Desempenho Institucional Fbio Ferreira Batista. Novembro,
99.
33
Tcnica de Auditoria / Indicadores de Desempenho e Mapa de Produtos Operacional