3.

INTRODUCCIN A LA GESTIN DE LOS INDICADORES Medir es una necesidad ineludible si queremos gestionar nuestros servicios sobre la base de los hechos, y no segn intuiciones que se fundamentan ms en nuestros propios prejuicios e intereses que en realidades demostrables. 1

3.1. Conceptos bsicos para la implantacin de un sistema de indicadores La bsqueda de indicadores de evaluacin tanto de la intervencin social como de la gestin de las entidades no es ajena a las ONGs. De hecho, una de las aportaciones fundamentales del tercer sector a la gestin de la calidad es la prctica y evaluacin de los programas sociales y de cooperacin. Esta cultura de evaluacin orientada al aprendizaje supone: el desarrollo de actividades programadas de reflexin sobre la accin, el uso de procedimientos sistemticos de recogida, anlisis e interpretacin de informacin, la emisin de juicios valorativos sobre las actividades, resultados e impactos de esos proyectos o programas y la formulacin de recomendaciones para tomar decisiones que permitan ajustar la accin presente y mejorar la accin futura.

El presente captulo ofrece orientaciones bsicas para implantar un sistema de indicadores, siguiendo la lgica del ciclo de mejora PDCA (planificar, actuar, evaluar y mejorar) y en coherencia con la UNE 66175 2003 de AENOR, Gua para la implantacin de sistemas de indicadores, que define indicador como un dato o un conjunto de datos que ayudan a medir objetivamente la evolucin de un proceso o de una actividad. Tal y como hemos descrito en el apartado Anlisis de los modelos y experiencias existentes partimos de que un sistema de gestin de indicadores se nutre de: 1. En primer lugar, los indicadores de actividad. Deben reflejar adecuadamente la naturaleza, peculiaridades y el adecuado funcionamiento de los diferentes servicios prestados. As, el indicador nos servir para medir el nivel de cumplimiento de las especificaciones establecidas para una determinada actividad y para medir y analizar los puntos clave en la realizacin del servicio/ proyecto ofrecido a la persona usuaria y desarrollar su seguimiento.

Medina Tornero, M.E. Evaluacin de la calidad asistencial en servicios sociales. Revista Intervencin Psicosocial, 1996, pp 23-42.

Ejemplo de indicadores de servicios

PERSONAS ATENDIDAS
Servicio de Calle Albergue Permanente Albergue Invernal N %

CASOS NUEVOS
Servicio de Calle Albergue Permanente Albergue Invernal

DERIVACIONES DEL PROGRAMA

Servicio de Calle Albergue Permanente Albergue Invernal

2. La organizacin tambin necesita informacin que refleje los resultados de las actividades que se desarrollan en el seno de la organizacin (los denominados indicadores de resultados). Cuando analizamos los resultados de los procesos estratgicos y de apoyo (recursos humanos, gestin econmico financiera, comunicacin externa, gestin de recursos materiales) se suelen denominar indicadores de gestin. Ejemplo de indicadores de gestin Nmero de actuaciones de mantenimiento preventivo realizadas Nmero de entrevistas realizadas a medios de comunicacin Porcentaje del presupuesto anual dedicado a compras para la previsin de servicios Nmero de incidencias realizadas en la gestin de la informacin y de la documentacin Media de movimientos de caja diarios Nmero de reuniones entre parejas educativas Nmero de nuevas incorporaciones profesionales Nmero de accidentes o incidentes laborales 3. Otros indicadores de resultado son los indicadores de resultados de los procesos operativos o esenciales de la organizacin, indicadores de impacto y los indicadores estratgicos. Los resultados de los procesos operativos o esenciales estn relacionados con la intervencin directa con las personas destinatarias del servicio y diferentes en funcin del tipo de servicio, se orientan a la satisfaccin de las necesidades y expectativas del colectivo destinatario, aportndoles valor o incidiendo directamente en su satisfaccin.

Ejemplo de indicadores de resultado del proceso de intervencin social INDICADORES % de menores con PEIs diseados al mes de ingreso Resultados alcanzados con respecto al contexto familiar Resultados alcanzados con respecto al contexto residencial Resultados alcanzados con respecto al contexto formativo-escolar Resultados alcanzados con respecto al contexto laboral Resultados alcanzados con respecto al contexto comunitario Resultados alcanzados con respecto al contexto salud ndice de satisfaccin general de los menores Satisfaccin media del educador respecto a la intervencin educativa.

Si lo que pretendemos es medir el efecto de la intervencin de la organizacin en el medio/largo plazo, tendremos indicadores de impacto. Ejemplo de indicadores de impacto % de participacin del colectivo de personas discapacitadas en grupos comunitarios autogestionados % de mujeres que acceden a puestos de trabajo directivos Nota media de la percepcin de la aportacin de las personas gitanas a la sociedad De entre todos los anteriores, los indicadores que miden las estrategias y objetivos generales de la organizacin les llamamos indicadores estratgicos, tambin denominados indicadores clave. Ejemplo de indicadores estratgicos
Nmero de financiadores diferentes que suponen el 60% de la financiacin total % de ingresos provenientes de subvenciones o ayudas pblicas. N de entidades pblicas que han aportado ayudas. % de ingresos de aportaciones privadas. N de donaciones recibidas. N de usuarios / n de trabajadores (desglosado por proyecto / programa / servicio). Coste del servicio por usuario (por tipo de servicio). N de plazas concertadas / convenidas. % del Presupuestos destinado a mejora de los programas o servicios de la organizacin % de beneficios reinvertidos en la propia entidad. % de beneficios destinados a otros proyectos sociales o iniciativas solidarias.

Para formular correctamente los indicadores estratgicos/clave, la organizacin establece su estrategia general, deriva de dicha estrategia unos objetivos ms especficos y establece unas acciones que considera ayudarn a conseguir esos objetivos. Los indicadores para medir si realizamos (o no) y en qu medida, esas acciones, se configuran como el listado o batera de indicadores estratgicos, alineados de esta forma con la misin y visin de la organizacin. Los indicadores econmicos suelen formar parte de este grupo de indicadores estratgicos.

QU QUEREMOS SER

(VISIN)

GRANDES LNEAS DE ACTUACIN

(ESTRATEGIAS)

OBJETIVOS (Nivel 1)

(QUE DEBE LOGRARSE)

PLANES DE ACTUACIN

(COMO LOGRARLO)

INDICADORES

OBJETIVOS (Nivel 2)

PLANES DE ACTUACIN

OBJETIVOS (Nivel 3)

PLANES DE ACTUACIN

Marco Conceptual para el diseo de Indicadores (Fig. 2 de la Norma UNE 66175:2003)

Por todo ello, la informacin que se obtiene del sistema global de indicadores nos reporta seales que nos indican la situacin actual y evolucin futura de la organizacin, y de si se estn logrando sus objetivos. La primera regla de identificacin de los indicadores es que deben caracterizarse por ser estables y comprensibles, y que se configuren como un conjunto interrelacionado y coherente que abarque la mayor cantidad posible de atributos o caractersticas de la entidad. Ese conjunto interrelacionado no es nicamente un listado de indicadores sino que implica necesariamente la forma de gestionarlos (de medirlos, de expresarlos, de utilizarlos, de comunicarlos, es decir, de darles valor para la entidad. ste es el sentido del concepto de sistema de gestin de los indicadores.

Por eso no basta con definir un panel de indicadores y un sistema de recogida de informacin adecuado, sino que es necesario analizar la informacin suministrada y obrar en consecuencia, lo que convierte al sistema de indicadores en una herramienta para la accin. Para ello, el diseo de un panel de indicadores y su utilizacin en el seguimiento y mejora, debe integrarse en el proceso global de gestin como un elemento esencial y activo. La utilizacin de un sistema de indicadores y el estudio de su evolucin cumplen bsicamente los siguientes objetivos: Juzgar la eficacia de la entidad, evitando subjetividades. Verificar el progreso de la organizacin y el grado de cumplimiento de los objetivos fijados. Basar en los indicadores los planes de futuro. Reconocer el trabajo de las personas y de los grupos, potenciando as el compromiso de los y las trabajadoras y personas directivas. Dar informacin a los grupos de inters. Establecer criterios vlidos para todo el sector de actividad, a travs del intercambio de informacin con otras organizaciones pblicas y privadas con y sin fin de lucro.

En resumen, los sistemas de indicadores son herramientas indispensables para dirigir una organizacin, un equipo o un proceso y alcanzar los objetivos previstos.

Objetivos y caractersticas de los indicadores. A la hora de implantar un sistema de indicadores es muy importante tener en cuenta qu es lo que realmente queremos medir (controlar y mejorar) y cul es la informacin que queremos obtener. Los objetivos de un indicador son: determinar de manera continua, peridica y puntual cmo se realizan los procesos y se prestan los servicios, avisar cuando una actividad sometida a estudio no est cumpliendo lo establecido, detectar las causas de la no calidad en los puntos crticos, detectar el potencial de mejora y/o prevenir errores del sistema de procesos de la organizacin y ajustar los recursos destinados y optimizar los resultados y necesidades de la organizacin.

Las caractersticas ms importantes que definen a los indicadores son los siguientes: Que midan aspectos o factores crticos para la organizacin: podemos medir muchas reas de inters, pero centrmonos, sobre todo en un primer momento, en aquellas reas clave de una entidad del tercer sector, como el cumplimiento de nuestra misin,

satisfaccin de los grupos de inters o resultados de la intervencin directa con el colectivo destinatario. Por ejemplo: las entidades no lucrativas debern disponer de indicadores como renovacin de las juntas directivas o la participacin de los socios, ya que constituyen factores crticos vinculados a su identidad. Medibles de forma cuantitativa: sus valores deben expresarse a travs de un dato numrico o de un valor de clasificacin. Por ejemplo: La Creacin de nuevos servicios o productos no es el indicador, sino aquello que pretendemos medir a travs del indicador Nmero de nuevos servicios o productos diseados anualmente. Pasar de medidas cualitativas a cuantitativas, puede realizarse transformando las descripciones en medidas, a travs de escalas de apreciacin con diferentes niveles. Por ejemplo, describiendo la integracin social de una persona con enunciados en relacin a su comportamiento en diferentes mbitos (familiar, laboral, comunitario) y asignando valores de 1 a 5 a partir de una escala en la que 1 es nunca y 5 es siempre. As, tendremos el dato medio del valor asignado a la persona en cada mbito y tambin el dato de la valoracin media de todas las personas en cada mbito. Es decir, podremos obtener las medias de los objetivos alcanzados en diferentes reas, que ser un indicador de resultados clave en toda organizacin que preste servicios de intervencin social. Contexto familiar, rea Relaciones entre el nio/a o joven y la familia CUESTIONES Asignar valor (del 0 al 5, ver escala)

1.- Sale los fines de semana con la familia 2.- Sale durante las vacaciones con la familia 3.- Los contactos con la familia producen reacciones positivas en l/ella 4.- Muestra inters por estar con su familia 5.-Manifiesta afecto hacia la familia 6.- Expresa sentirse querido por su familia Ejemplo extrado del SERAR - Sistema de Evaluacin y Registro del Acogimiento Residencial-, (Asociacin para el estudio y promocin del bienestar infantil, 2009) Otra forma de pasar de lo cualitativo a lo cuantitativo es listar afirmaciones de lo que se desea medir y despus contar los cumplimientos y relacionarlos con el total del listado en forma de porcentaje. Por ejemplo, en el Protocolo de gestin para el fortalecimiento de asociaciones y centros de emigrantes espaoles (ASALER, 2009) algunos de los enunciados que se proponen para evaluar la gestin de la junta directiva son (extracto):

Si cumplimos tres de estas seis afirmaciones tendramos el dato del indicador adecuado funcionamiento de la junta directiva, en este caso, 50% de cumplimiento. Representativos y fiables: los indicadores deben reflejar lo que se quiere medir lo ms fielmente posible. Por ejemplo: para medir la estabilidad de la plantilla, el indicador Tiempo medio de permanencia ser conveniente desagregarlo en las diferentes categoras laborales, ya que si no, el tiempo medio de un grupo, por ejemplo las personas directivas, puede ser significativamente mayor que el de el equipo educativo, y as la media general distorsiona una correcta interpretacin de la informacin. Simples: es recomendable que el indicador se calcule de forma inmediata, con pocas operaciones matemticas y de manera que quien los maneja los entienda y comprenda. Esto es especialmente importante en el clculo de los indicadores econmicos, cuya frmula debe estar bien explicada. Por ejemplo: la Desviacin presupuestaria es la desviacin del resultado final respecto a lo planificado, y se calcula como el cociente entre (Ingresos reales menos Gastos reales) / Presupuestado. Limitados en nmero: demasiados indicadores pueden llevar a una dispersin del esfuerzo y a resultados confusos. Cada organizacin debe decidir cuntos indicadores va a ser capaz de gestionar (recoger los datos, fijar para cada uno su objetivo meta, seguir su evolucin). Especficos: deben ser concretos porque la concrecin incrementa la utilidad del indicador. Por ejemplo, el indicador Compromiso de las y los trabajadores con la entidad puede concretarse a travs de uno o varios indicadores que midan la participacin voluntaria en grupos de mejora, o la percepcin que cada persona haga de su compromiso recogida en una encuesta de satisfaccin, etc. Relativos en el tiempo: un indicador debe determinarse y formularse de manera que sea comparable en el tiempo para poder analizar su evolucin y tendencias, y as permitir su comparacin y anlisis. Rentables: el beneficio debe compensar el esfuerzo de recopilar, calcular y analizar los datos.

Por ejemplo: nos puede interesar el dato de saber el nmero de actuaciones de mantenimiento de las instalaciones y equipamientos realizadas en cada centro que gestione la organizacin, pero hay que tener en cuenta si efectivamente va a ser posible por el o la tcnico de mantenimiento recopilar este dato de forma sistemtica. En los siguientes apartados, profundizamos en los conceptos y la metodologa a seguir en cada momento del proceso de implantacin de un sistema de indicadores, siguiendo el ciclo de mejora PDCA, que puede reflejarse de forma sintetizada como:

1. PLANIFICACIN - Identificar, agrupar y seleccionar los indicadores. - Documentar los indicadores. 2. IMPLANTACIN - Sensibilizacin, Formacin y Comunicacin inicial - Interpretacin de la informacin. 3. EVALUACIN - Toma de Decisiones y Definicin de acciones de mejora - Comunicacin de resultados a grupos de inters 4. REVISIN Y MEJORA DEL SISTEMA

3.2. Planificacin 3.2.1. Identificacin, Agrupacin y Seleccin de Indicadores El indicador debe ser denominado de forma que no genere malas interpretaciones y represente realmente el concepto que se desea conocer y valorar (es decir, que se ajuste su denominacin a lo que realmente describe, y que no de lugar a interpretaciones diferentes). La creatividad, la experiencia y sobre todo el sentido comn sern factores clave a la hora de identificar los indicadores. Recordemos de nuevo que la organizacin debe buscar aquellos indicadores que sean realmente rentables, es decir, aquellos para los cuales compense el esfuerzo necesario para su obtencin respecto a la informacin que obtenemos del mismo. Adems, muchos indicadores no tienen por qu darnos mucha ms informacin que un nmero ms reducido. Por ello, para identificar los indicadores ms adecuados para la organizacin es recomendable en un primer momento seleccionar un grupo reducido de indicadores que afecten a los factores crticos del xito, que sean valiosos para la toma de decisiones, que sean fiables y fciles de medir y que permitan realizar comparaciones y anlisis con otras reas, departamentos, procesos o incluso con otras organizaciones. Una vez establecidos e implantados estos, se ira extendiendo el nmero de indicadores hasta abarcar todas las reas o procesos de la organizacin. Los procesos operativos en los servicios sociales, por su carcter relacional, son naturalmente resistentes a su medicin cuantitativa. Esto va a suponer un gran esfuerzo para la organizacin, que tratar de aislar y objetivar aquello que funciona y establecer indicadores cuya medicin resulte viable, valorando la rentabilidad del esfuerzo a realizar. Adems este esfuerzo debe realizarse desde la conciencia de que algunos factores clave van a quedar irremediablemente fuera, tal y como ocurre en todas aquellas actividades en las que el producto es un servicio prestado por y para personas. Debemos ser conscientes de que los indicadores que identifiquemos no servirn para prever al 100%el xito o el fracaso de la intervencin social, pero s nos sealarn factores clave y facilitarn la incorporacin de mejoras al proceso de intervencin.

10

3.2.2.Documentacin de los Indicadores Documentar los indicadores significa ampliar la informacin sobre estos, ms all de su denominacin, estableciendo para cada indicador: La Forma de Clculo (Cmo se calcula?): La forma de clculo es el sistema que se utiliza para obtener el resultado (el dato). Cuando se define la forma de clculo de un indicador, al igual que cuando lo denominamos, hay que procurar que sea unvocamente comprendido: Por ejemplo: N de reuniones de coordinacin al ao con otros recursos. Se podra interpretar otros recursos como agentes del sistema de servicios sociales, pero tambin podra entenderse que son otros recursos los agentes de otros sistemas como el de educacin, sanidad, judicialTambin habra que sealar claramente lo que entendemos por coordinacin, diferencindolo de otros conceptos como colaboracin o trabajo en red, por ejemplo. Para que no surjan dudas, se puede aadir un apartado de definiciones a los indicadores y especificar cules son las fuentes empleadas para obtener los datos utilizados en el clculo del indicador, por ejemplo, a la hora de establecer un dato econmico anual el valor puede variar mucho si se toma el 31 de Diciembre o el 1 de Enero. En algunos casos, puede ser necesario adaptar los sistemas de informacin de la organizacin para que puedan suministrar los indicadores seleccionados de forma regular y automtica, asegurando una fuente de informacin nica para cada indicador con independencia de quin la utilice. Respecto a la unidad o forma de medida por el que nos decantemos, el dato final puede ser un nmero, das, euros, un recuento, un porcentaje, un grado de medida, una escala de valor, una estimacin, un ratiodependiendo de las necesidades de la organizacin. No todas las unidades de medida proporcionan la misma informacin. Por ejemplo: Nmero natural: N de personas formadas en ingls. Ratio: N de personas formadas / N personas contratadas. Porcentaje: % de personas formadas en ingles. Comparado con lo previsto: % de cumplimiento de plan de formacin. Comparado con la competencia: % de personas formadas en ingles ms que otras organizaciones del sector. Comparados con datos internos: % de personas formadas en cada departamento. Segn periodo de tiempo a considerar y su grado de actualizacin: N de personas formadas al mes, en cada actividad formativa, n total de personas formadas en ingls (acumulado). En general, los nmeros naturales sern las unidades de medida que menor informacin nos reporten, ya que para interpretar el dato tendremos que compararlo necesariamente con un total. Nos ahorraremos, por lo tanto, un esfuerzo aadido en el momento del anlisis si establecemos desde el principio ese porcentaje sobre el total como unidad de medida del indicador.

11

Periodicidad (cada cunto?) Deberemos establecer la periodicidad con la que se calculan y difunden los indicadores (mensual, trimestral, anual), teniendo en cuenta el coste de cada recogida de resultados. Habr indicadores ms sensibles que tenga sentido recoger mensualmente (por ejemplo, para indicadores referidos a tesorera) y otros cuya obtencin anual o incluso bianual pueda resultar ms adecuado (por ejemplo, indicadores de satisfaccin de personal). Objetivos del indicador (para qu?) Cada indicador debe tener un objetivo-meta, ya que si no sera imposible conocer si la organizacin camina por el sentido correcto (puesto que veramos el camino pero no hacia dnde nos dirigimos). Debemos diferenciar la denominacin del objetivo de la organizacin que deriva en una serie de indicadores que medirn su cumplimiento (ver apartado 3.1.) del objetivo u objetivo meta de un indicador, que es el valor punto de referencia que deseamos conseguir, es decir, el valor del indicador al que nos parece deseable y razonable llegar. Los objetivos tienen que ser ambiciosos (que nos impulsen a la mejora), a la vez que crebles y asumibles (tienen que ser poder ser alcanzados en un plazo determinado). Para fijar los objetivos meta del indicador nos basaremos en los requisitos de calidad o especificaciones tcnicas de nuestros servicios, en los resultados obtenidos anteriormente o en los resultados obtenidos por otras organizaciones. Una herramienta muy til es el denominado Cuadro de Mando, ya que tiene como objetivo reagrupar y sintetizar el panel o batera de indicadores (el listado) junto a los resultados obtenidos y los objetivos - meta para presentarlos de manera que puedan ser utilizados por la direccin de la organizacin. El Cuadro de Mando debe poner en evidencia aquellos parmetros de la organizacin que no se ajustan a los lmites establecidos, debe ser til para asignar responsabilidades y debe facilitar la comunicacin entre los distintos niveles de responsabilidad permitiendo mejorar los resultados. En ocasiones, adems del objetivo se establece tambin el estndar del indicador, que es el valor que la organizacin, o la administracin considera el ms adecuado. Por otra parte, el valor alarma sera el valor mnimo que debiera tener el indicador. Por ejemplo, en relacin al indicador % de financiacin proveniente de fondos no pblicos sobre el total de ingresos nuestro resultado inicial en un determinado ao puede ser del 20%. Podemos establecer para el prximo ao un objetivo de llegar al 25% pero, en cualquier caso, el estndar del indicador se mantendra en ese 20% y el valor alarma podra ser el 15%.

12

Forma de representacin Una vez obtenido el dato o el resultado del indicador hay buscar la forma de representarlo. El objetivo es facilitar la interpretacin de los resultados obtenidos por cada indicador mediante la utilizacin de herramientas grficas. Es conveniente representar la evolucin del indicador a travs de un grfico donde se marquen tambin otros valores establecidos que nos ayuden a interpretar correctamente el dato y su tendencia. Por norma general, se suele realizar a travs de un diagrama de lneas quebradas que facilita el anlisis de su evolucin en el tiempo. Ejemplo del grfico ms habitual:
25

20

15 Datos de Indicador Objetivo 10

0 2005 2006 2007 2008 2009 2010

Otra forma de representacin de los indicadores que puede simultanearse en el diagrama anterior es la comparacin no slo con el objetivo sino con la media (y/o con el mejor) del sector. Ejemplo grfico resultado objetivo media del sector lder del sector

El indicador es el ndice de satisfaccin general del personal de una organizacin X (datos en color azul) con el ambiente de trabajo. Se aprecia tanto la evolucin de la satisfaccin en cada curso escolar como la comparacin del dato obtenido con los objetivos propuestos (sealados en rojo), los datos de la media del sector (en amarillo) y de la organizacin del sector que obtiene el mejor resultado en este indicador (en verde).

13

Responsable de medicin y gestin (Quin?) Es importante definir responsabilidades para generar la informacin de partida y realizar el clculo del indicador con la periodicidad establecida: Quin recoge la informacin: Hay que seleccionar a las y los responsables de la recogida de informacin de entre las personas implicadas en los procesos, reas, actividades, de forma que se les permita integrar fcilmente las tareas de esta recogida en sus actividades diarias. Quin analiza o interpreta la informacin resultante del conjunto de indicadores. Quin comunica los resultados y su interpretacin a la direccin y otras personas implicadas.

Formalizacin de Indicadores: ejemplos de fichas de indicadores Una vez definidos todos los aspectos anteriores es conveniente recogerlos en fichas de indicadores. Estas fichas son un resumen de todos los aspectos que conlleva la descripcin de un indicador, y suele contemplar los siguientes campos: denominacin, finalidad, forma de clculo (con una clara definicin de todos sus trminos), forma de representacin, responsable de medicin, objetivo asociado (valores de aos anteriores, meta, estndar, valor mnimo o alarma) periodicidad de clculo, indicadores relacionados, importancia para la organizacin, fijacin de objetivos, y seguimiento y acciones de mejora del indicador.

14

Ejemplo 1 de ficha de indicador

N de ACTIVIDADES CONJUNTAS CON OTRAS ENTIDADES Periodicidad Anual Responsable Coordinadoras de Servicios

FORMA DE CLCULO (Se suman los datos recogidos por cada coordinadora) OBJETIVO 2010: 7 actividades como mnimo durante todo el ao 2009. SEGUMIENTO
Evolucin del Indicador
10 9 8 7 6 5 4 3 2 1 0 2007 2008 2009 2010 Objetivo Real

FECHA 2007 2008 2009 2010

OBJETIVO 3 4 6 7

REAL 2 4 7 -

OBSERVACIONES Se observa una tendencia positiva a lo largo de estos ltimos tres aos, cada vez se realizan ms actividades conjuntas. En 2009, se ha superado el objetivo marcado, por lo que trataremos Forma de representacin: de mantener este buen resultado en el ao 2010.

15

Ejemplo 2 de ficha de indicador Denominacin % de Desviacin de gastos sobre el presupuesto inicial Responsable de proceso: Direccin Responsable recogida del dato Direccin Periodicidad Anual Fuente de informacin: Presupuesto Forma de clculo: Gastos reales-gastos presupuestados Gastos presupuestados Forma de representacin: Grfico de barras Anual Dato Anual FECHA 2009 OBJETIVO 0.5% VALOR 0.7%

Para profundizar en la formalizacin de los indicadores, aconsejamos tambin consultar LORCA, aplicacin informtica gratuita que facilita la documentacin de los procesos, de la gestin de personas y de la gestin de la documentacin de una ONG.

16

3.2.3. Planificacin de las Medidas de Percepcin Se denominan medidas de percepcin a aquellas que recogen la opinin de las personas (generalmente su satisfaccin), tanto de clientes (personas destinatarias o entidades financiadoras) como las y los trabajadores y voluntarios de la organizacin. La recogida de medidas de percepcin, adems de ser una fuente insustituible para la mejora de la organizacin, impulsa la participacin de las personas (destinatarias, profesionales y voluntariado) en el diseo, gestin y mejora de los servicios prestados. Cuando incorporemos a nuestro sistema de indicadores aquellos que tengan que ver con satisfaccin, tendremos que planificar especialmente la metodologa ms adecuada, es decir: 1. Identificar las personas de las que se desea recoger su percepcin, conocer sus caractersticas y en base a ello elegir las tcnicas o instrumentos de medida ms apropiadas. Las habituales son: La encuesta de satisfaccin en todas sus modalidades (telefnica, postal, va e-mail o Web, personales). Si el nmero de personas susceptibles de ser encuestadas es superior a 40, suele ser necesario seleccionar una muestra del total. La entrevista personal, muy recomendada en servicios o actividades con un nmero muy reducido de personas a preguntar. Los grupos de discusin o grupos focales, normalmente cuando se pretende obtener una informacin ms exhaustiva sobre un mbito en concreto.

Desde este primer momento, conviene apoyarse en herramientas informticas, ya que facilitan tanto la recogida de la informacin como su posterior anlisis. 2. Definir cmo, quin, dnde y cundo realizar y recoger los cuestionarios. Es habitual que se disponga de momentos concretos y especficos para analizar la satisfaccin, sobre todo en el caso de la satisfaccin de personal, pero en el caso de las personas destinatarias es conveniente que se integre como una actividad ms en el momento del cierre del proceso de intervencin. Recordemos que las encuestas de satisfaccin deben realizarse de forma voluntaria y trataremos siempre de garantizar la confidencialidad de las personas encuestadas, aunque ello suponga reducir la segmentacin de los diferentes colectivos o servicios. 3. Disear el cuestionario y la escala con la que recoger la valoracin de las personas encuestada. Tenderemos que traducir los indicadores a preguntas adaptadas a un lenguaje comprensible para las y los destinatarios del cuestionario. Podemos elegir entre diferentes tipos de escalas, siendo las numricas las ms comprensibles, especialmente aquellas que identificamos con la tradicional del 0 al 10, a la que podemos adems aadir referencias para aumentar su comprensin univoca.

17

En cualquier caso, conviene, una vez seleccionada una escala, mantenerla en todos los servicios y en cada medicin, para facilitar as las comparaciones. Sobre qu preguntar? En lo referido a la satisfaccin del colectivo atendido por la organizacin, proponemos dos marcos de trabajo para seleccionar los contenidos de la encuesta: 1. Escala SERVQUAL (Parasuraman, Zeithami y Berry, 1988). Establecieron diez dimensiones para medir la calidad de un servicio: Elementos tangibles: apariencia de las instalaciones, equipos Fiabilidad: habilidad para ejecutar el servicio prometido de forma fiable y cuidadosa. Capacidad de respuesta: Disposicin de ayudar a los clientes y proveerlos de un servicio rpido. Profesionalidad: Posesin de las destrezas requeridas y conocimientos de la ejecucin del servicio. Cortesa: Atencin, consideracin, respeto y amabilidad del personal de contacto. Credibilidad: Veracidad, creencia, honestidad en el servicio que se provee. Seguridad: Inexistencia de peligros, riesgos o dudas. Accesibilidad: Accesible y fcil de contactar. Comunicacin: Mantener a los clientes informados utilizando un lenguaje que pueden entender y escucharles. Comprensin del cliente: Hacer el esfuerzo de conocer a los clientes y a sus necesidades.

Esta escala se complementa con una matriz de priorizacin que combina la puntuacin obtenida (el resultado de la satisfaccin) con la importancia relativa que dan las personas encuestadas a cada dimensin.

De esta forma, recogiendo no slo la satisfaccin sino tambin la importancia concedida, dispondremos de un mayor criterio para orientar el plan de mejoras del corto y del medio plazo.

18

2. La tradicin de evaluacin de la satisfaccin especfica de los servicios sociales. Indicadores para valorar la satisfaccin respecto al cumplimiento de derechos de personas usuarias, derechos habitualmente recogidos en cdigos ticos, manuales de buena prctica y legislacin vigente: DERECHO INDICADORES UTILIZADOS Disponer de la informacin adecuada y suficiente. Suelen utilizarse tambin indicadores referidos a una correcta comunicacin de dicha informacin (facilidad en poder comunicarse, sensacin de sentirse escuchada/o) que favorezca la comprensin (percepcin de que la organizacin entiende y se preocupa de sus problemas, percepcin de las demandas latentes) Podemos agrupar como indicadores de este derecho aquellos que tratan de medir aspectos poco tangibles como la relacin, el trato humano, con respeto mutuo, la empata, atencin esmerada e individualizada, implicacin en el caso, capacidad para inspirar confianza, credibilidad y seguridad. Elementos tangibles: Instalaciones y su accesibilidad. Recursos materiales: por ejemplo el uso de tecnologa en la prestacin de servicios. Otros aspectos que determinan la calidad del servicio y que adems suelen tener mucha importancia para los y la clientes: alimentacin, seguridad, confort, limpieza. Valoracin del sistema de sugerencias, quejas y reclamaciones de la organizacin. Valoracin de cmo se resuelven los errores. Sensacin de sentirse involucrado/a en la propia gestin del proyecto, en las decisiones tomadas en el da a da de la prestacin del servicio Valoracin de la intimidad prestada en el servicio.

Informacin

Dignidad

Calidad del servicio: cumplimiento de requisitos materiales, funcionales y de personal

Participacin Privacidad y confidencialidad

Otros indicadores utilizados en la evaluacin de la satisfaccin en servicios sociales: Aquellos referidos a la percepcin de la persona destinataria sobre los RESULTADOS; percepcin del logro/consecucin de los objetivos personales y profesionales pactados con la organizacin al inicio del itinerario/previa a la prestacin del servicio. Es un indicador fundamental ya que evala el fin instrumental de la organizacin, su impacto sobre la calidad de vida de las y los clientes. La capacidad de reaccin o de respuesta: voluntad de ayudar a las personas usuarias y proporcionar un servicio eficaz, celeridad en la gestin, valoracin del tiempo de espera para entrar en el servicio Eficacia del servicio: preguntas para valorar la capacidad de la organizacin para desempear el servicio ofertado de forma seria y exacta.

19

Ejemplo cuestionario satisfaccin a personas destinatarias GRADO DE SATISFACCIN Nada Poco Muy Indiferente Satisfecho satisfecho Satisfecho Satisfecho 1. Las instalaciones donde se han llevado a cabo las sesiones. 2. La organizacin de la actividad. 3. Cumplimiento de los horarios. 4. La documentacin y los materiales aportados. 5. Los temas tratados. 6. La utilidad del taller. 7. La cohesin del grupo para el desarrollo del taller. 8. Mi nivel de satisfaccin general con la actividad es 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 7 7 7 7 7 7 7 7 8 8 8 8 8 8 8 8 9 9 9 9 9 9 9 9 10 10 10 10 10 10 10 10

Si nuestra encuesta trata de recabar la satisfaccin de las personas trabajadoras y/o voluntarias de la organizacin, preguntaremos en relacin a la satisfaccin con los diferentes procesos de gestin de las personas: acogida, identificacin con la misin/visin/valores de la entidad, formacin, desarrollo profesional, reconocimiento, seguimiento/atencin personal, despedida, etc. y tambin sobre elementos ms relacionados con la gestin laboral como condiciones ambientales, instalaciones, salario, etc.

20

Ejemplo cuestionario satisfaccin a personas trabajadoras

Es conveniente realizar un pretest o prueba inicial para asegurarnos que las preguntas y la escala se entienden adecuadamente. Por ltimo, es importante sealar que no aporta beneficio alguno realizar una recogida de informacin acerca de la satisfaccin de personas usuarias o trabajadoras (profesionales o voluntarias) sin que se prevea una posterior introduccin de ajustes y mejoras en los servicios prestados. Las personas que participan en la evaluacin de su satisfaccin generan expectativas de mejora de los servicios a las que debemos responder, luego debe existir el compromiso de implantar las acciones de mejora como consecuencia del anlisis de la informacin recogida.

21

3.3. Implantacin 3.3.1 Sensibilizacin, Formacin y Comunicacin inicial La implantacin de un sistema de indicadores requiere la colaboracin de las personas afectadas en la implantacin, es decir, las personas trabajadoras y voluntarias que realizan actividades que repercuten directa o indirectamente en lo que pretendemos medir. Por ello debemos reflexionar en relacin a la sensibilizacin y formacin de todo el personal sobre los objetivos del sistema de indicadores en la organizacin y sobre su funcionamiento (cmo se recogen los datos, cules son las fuentes de datos, la periodicidad con la que se recogen, quin o quines son las personas responsables). Es habitual que muchas personas de la organizacin perciban con indiferencia incluso desagrado la existencia de un sistema que trate de medir objetivamente los resultados de la intervencin social, o que controle la efectividad de sus actuaciones. Por eso, ser fundamental que estas emociones puedan comunicarse, justificarse y razonarse. Una primera sesin de sensibilizacin tendr como principales contenidos: Explicar que la puesta en funcionamiento de los indicadores trata de obtener unos valores coherentes en el progreso de una actividad de la organizacin y no tienen por objeto sancionar. Procurar que los indicadores del sistema sean comprensibles para todo el personal involucrado.

En un segundo momento, ser necesario formar al personal responsable de los indicadores sobre las acciones que deben realizar para una correcta recogida e interpretacin de los resultados. Esta formacin puede contemplar las reas de diseo, implantacin, explotacin de la informacin y mejora.

22

3.3.2. Interpretacin de la informacin Para interpretar correctamente el dato que nos facilita el indicador habremos de compararlo con: 1. Si se tienen, los datos anteriores, para comprobar la tendencia, sabiendo que dos mediciones marcan una tendencia, y que cada dato no se corresponde necesariamente con un ao, ya que la medicin puede ser semestral o bianual. Son necesarios los datos de al menos los ltimos tres aos para valorar correctamente la evolucin de un indicador. 2. El objetivo - meta propuesto, para revisar su cumplimiento y volver a fijar un nuevo objetivo. Segn se vayan alcanzando, se modificarn de tal forma que el objetivo sea el de al menos mantener (o seguir mejorando) los resultados conseguidos, de modo que estos objetivos que nos fijemos sigan siendo retadores para la organizacin. 3. El dato de otros servicios, de otras organizaciones, de la media del sector, la organizacin considerada lder, etc., para darle al dato el valor que se merece en su contexto. Aunque esta bsqueda de los datos del entorno resulte complicada, es fundamental para la correcta interpretacin de los resultados obtenidos, sobre todo cuando la organizacin est poniendo en marcha su sistema de indicadores, disponer de informacin de otras organizaciones del sector para conocer cul es la situacin de su organizacin respecto a las dems. Por ejemplo, un 75% como resultado de un indicador que mide el porcentaje de altas teraputicas sobre el total de personas atendidas puede ser un buen dato si la media del sector es por ejemplo del 70% pero ser un mal dato si la media del sector es de un 90%. Si no conocemos el dato de otras organizaciones con las que compararnos, no podremos interpretar correctamente su significado.

23

3.4. Evaluacin 3.4.1. Toma de Decisiones y Definicin de acciones de mejora Recoger los datos correspondientes al listado de indicadores es un paso necesario pero no el objetivo del sistema. Es necesario analizar la informacin suministrada y obrar en consecuencia, porque recordemos que el panel de indicadores es la base para el seguimiento y mejora de la gestin. Para la explotacin y utilizacin de indicadores hay que tener en cuenta que se debe realizar un anlisis general de todo el sistema, ya que una adecuada interpretacin de los resultados requiere un anlisis conjunto de los diferentes indicadores. Por ejemplo, en un centro de da para la inclusin social, la informacin dada por el indicador tiempo medio de permanencia en el servicio debe necesariamente completarse con la informacin dada por el indicador % de objetivos logrados en los proyectos educativos individualizados y los indicadores % de abandonos voluntarios o % de expulsiones. El anlisis que se realiza de los resultados obtenidos, debe ser un anlisis de causa-efecto (por qu?), y la valoracin de resultados debe proporcionar la base sobre la que tomar decisiones para el futuro. Este plan de futuro es lo que se denomina un plan de mejora que marcar, junto o integrado al plan de gestin, la ruta a seguir por la entidad hasta el momento del anlisis de la siguiente recogida de la informacin de los indicadores. Para facilitar el cumplimiento del plan de mejoras y su posterior evaluacin, es conveniente que cada accin de mejora se acompae del objetivo concreto que se pretende conseguir (cunto y en referencia a qu indicador), la persona responsable de llevar a cabo la accin, el proceso al que se vincula, y el momento del ao en el que se llevar a cabo. Una columna de estado (previsto o realizado) nos ayudar tambin a realizar el seguimiento de las acciones.

24

Ejemplo de Plan de Mejoras derivado de un anlisis del sistema de indicadores:

OBJETIVO Obtener al menos una nota media de 6 en la satisfaccin de personal en relacin a la formacin ACCIONES Admitir un mximo de 40 horas de formacin por persona al ao dentro de jornada laboral Dedicacin del gerente a esta tarea de 2 horas cada quince das Redistribucin del personal educativo por los centros Actualizacin de los contenidos mensual Curso de diseo de proyectos para los y las responsables de programas Editar un boletn bimensual sobre la entidad para los socios Realizar las convocatorias telefnicamente Realizar un grupo focal para reflexionar sobre el potencial de su participacin, expectativas, etc. PROCESO ESTADO RESPONSABLE CRONOGRAMA 2011 E F M A M J J A S

O N D

Gestin de RR.HH.

Realizado

Maribel

Reducir el Tiempo medio de respuesta ante una queja/sugerencia/reclamacin a 1 mes Igualar el ratio personal/personas usuarias en los centros de caractersticas similares Aumentar el nmero de visitas de la pgina web de 1.000 a 1.500 al ao Pasar del 50 al 60% del porcentaje de proyectos aprobados sobre los presentados

Calidad

Previsto 2011

Sara

Gestin de RR.HH.

Previsto 2011

Maribel

Comunicacin externa

Previsto 2011

Miguel

Gestin de RR.HH.

Realizado

Maribel

Aumentar la participacin de los socios en la organizacin

Planificacin y gestin estratgica

Previsto 2011

Andrea

25

3.4.2. Comunicacin de resultados a los grupos de inters Adems de la sensibilizacin y formacin inicial descrita en el apartado 3.3.1., peridicamente deberemos realizar sesiones participativas con las personas que conforman la organizacin, con el objeto de: Informar sobre los resultados obtenidos y la evolucin de los indicadores. Contrastar y enriquecer las interpretaciones realizadas. Comunicar las acciones de mejora desarrolladas a partir de dichos anlisis. Mantener un adecuado nivel de motivacin y colaboracin respecto al sistema.

Estas sesiones de comunicacin servirn para motivar hacia el trabajo diario, ya que a travs de las mediciones se puede apreciar con datos el impacto del esfuerzo de las personas de la entidad en los resultados. La visualizacin de los resultados mediante los indicadores es una importante fuerza motivadora que puede ayudar a introducir cambios culturales en la organizacin. A travs de la comunicacin peridica a las personas del resultado de su trabajo, se consigue mejorar los resultados de la actividad evaluada y fomentar el inters y la participacin en las acciones que se deriven para alcanzar los objetivos correspondientes. Es conveniente que los resultados obtenidos se comuniquen tambin a los grupos de inters de la organizacin, es decir, a todas aquellas personas o entidades que tengan un inters legtimo respecto a la prestacin del servicio o actividad evaluado (por ejemplo: la administracin pblica contratante, entidades privadas financiadoras, asamblea de socios, donantes, etc.). Esta comunicacin supone para las organizaciones un ejercicio de rendicin de cuentas que demuestra su voluntad de transparencia. Al hacer pblicos sus resultados, facilita adems el uso de comparaciones para otras entidades, el establecimiento de medias del sector y por lo tanto la formulacin de objetivos meta ambiciosos pero realistas. Por ltimo, el intercambio de informacin de los diferentes indicadores es la base para el establecimiento de buenas prcticas y el benchmarking entre las organizaciones que comparten sus datos. Existen diversas experiencias por las que las organizaciones que pertenecen a una misma red y por lo tanto que comparten en gran medida su misin, caractersticas y colectivo atendido, han comparado sus datos entre s identificando a las organizaciones lderes (es decir, las que mejor resultado obtienen en cada indicador). Habitualmente, no es una nica entidad la que presenta el mejor resultado en todos los indicadores, sino que este liderazgo se distribuye entre diferentes organizaciones de forma temtica, es decir, en funcin de si los indicadores son econmicos, de gestin de las personas, de satisfaccin de clientes, etc.

26

As, la mejor organizacin en los indicadores econmicos puede apoyar al resto de entidades de la red en el mbito econmico financiero, mientras que la mejor en gestin de personas puede compartir y explicar sus polticas de personal para que el resto puedan mejorar sus resultados en este mbito.

Para que estas experiencias de intercambio sean exitosas, deben partir de la confianza mutua entre las entidades, la generosidad en el deseo de compartir con los otros y la humildad para aprender de ellos.

27

3.5. Revisin y mejora El sistema ha sido planificado, implantado y ha dado sus primeros resultados: primeras mediciones, primer plan de mejoras Ha llegado el momento de validar el propio sistema: Son los indicadores elegidos tiles? Sirven para tomar decisiones? Representan claramente lo que deseamos conocer? Es clara la representacin utilizada? Compensa la utilidad que generan con el costo de recogida de informacin? Es adecuada la periodicidad establecida? Existe una forma de obtener la informacin ms sencilla? Qu indicadores revelan mejor nuestra misin y el xito de nuestra organizacin? Qu indicadores explican mejor la satisfaccin de los grupos de inters? Qu indicadores miden mejor el xito o el fracaso de la intervencin social que realizamos?

La validacin del sistema de indicadores ha de realizarse con la participacin de las personas que recogen los indicadores, alimentan con datos el cuadro de mando, analizan y tratan de interpretar su informacin. Segn el resultado de estas evaluaciones se deber mantener, modificar o eliminar indicadores existentes o crear nuevos. Estas evaluaciones y revisiones permiten mantener un sistema de indicadores o cuadro de mando actualizado a las condiciones y necesidades del estado de la organizacin y de su entorno. Como resumen, y para finalizar este captulo, los principales retos de las ONGs en la implantacin de un sistema de indicadores son: Identificar los indicadores ms adecuados: cmo medir los resultados de la accin social (cmo medir los aspectos relacionales de la intervencin social, cmo pasar de lo cualitativo a lo cuantitativo) y qu indicadores reflejan mejor nuestro valor aadido como tercer sector. Establecer objetivos ambiciosos y realistas que impulsen a la organizacin a la mejora. Gestionar estos indicadores como un nico sistema y a travs del ciclo PDCA. Manejar herramientas y fuentes que faciliten la recogida y el anlisis de la informacin (la tendencia y la comparacin).

28