Anda di halaman 1dari 18

Presupuesto y Gasto Pblico 40/2005: 185-202 Secretara General de Presupuestos y Gastos 2005, Instituto de Estudios Fiscales

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local


DAVID ORTIZ RODRGUEZ Departamento de Economa Financiera y Contabilidad Universidad de Granada Recibido: Julio 2004 Aceptado: Mayo 2005

Resumen
La transparencia y la eficiencia en el uso de los recursos constituyen dos de los principios inspiradores de los modernos modelos de gestin pblica, tal como han recogido las ms recientes normas presupuestarias. Para la evaluacin de la eficiencia, los indicadores de gestin y la contabilidad analtica representan instrumentos apropiados, bien entendido que su grado de utilidad prctica depende, en gran medida, de la viabilidad de los anlisis comparativos entre entidades, lo que requiere que las actuaciones a comparar sean homogneas. El presente trabajo pretende identificar y estandarizar las actividades comunes en tres servicios pblicos prestados por nueve grandes ayuntamientos espaoles, para lo que hemos llevado a cabo un estudio que, sobre la base del anlisis de las actuaciones y tareas reales de los mismos, ha permitido elaborar un listado ponderado de actividades, consensuado entre los gestores y relevante para la evaluacin de la eficiencia. Palabras clave: eficiencia, gestin pblica local, indicadores, actividades. Clasificacin JEL: H11.

1.

Introduccin

La realidad de las Administraciones pblicas est marcada por la necesidad de mejorar la eficacia y eficiencia en sus prestaciones, as como para un mayor inters por los resultados y los costes y por cambiar la cultura de las organizaciones, dirigindola hacia el ciudadano como cliente. Este hecho viene provocando, desde hace algn tiempo, el replanteamiento de los procedimientos utilizados en el contexto pblico, procurando la introduccin de mtodos y tcnicas ya utilizados en el mbito privado, modelo al que se ha denominado New Public Management Nueva Gestin Pblica o Gerencialismo (Hood, 1991, 1995; Dunleavy y Hood, 1994). An cuando los planteamientos de la Nueva Gestin Pblica podran ser matizados, en esta lnea hay que entender el Pacto de Estabilidad y Crecimiento de la Unin Europea firmado en msterdam en julio de 1997, plasmado en la legislacin espaola a travs de la Ley General de Estabilidad Presupuestaria, a las que se remite la Ley General Presupuestaria.

186

David Ortiz Rodrguez

Ambos preceptos especifican los principios que regulan la actividad presupuestara, y por ende la econmico-financiera, del conjunto de las entidades pblicas, pudiendo resumirse en los siguientes: principio de estabilidad presupuestaria, principio de plurianualidad, principio de transparencia y principio de eficiencia en la asignacin y utilizacin de los recursos pblicos. Esta situacin en el mbito general del Estado es tanto o ms marcada a nivel de la Administracin local espaola, cuya gestin es especialmente interesante fundamentalmente por dos motivos. En primer lugar, por su cercana a los ciudadanos y la importancia que stos dan a los servicios de dichos entes, particularmente a los prestados por los ayuntamientos. En segundo lugar, porque hasta ahora sus sistemas informativos han estado orientados al cumplimiento de la normativa legal y al control presupuestario, resultando claramente insuficientes para las necesidades de informacin de los nuevos modelos de gestin pblica. A nuestro juicio, los indicadores de gestin y la contabilidad analtica representan los dos principales instrumentos para mejorar los sistemas de informacin econmica, bien entendido que la utilidad prctica de ambos queda muy limitada si no se realizan comparaciones entre los datos de eficiencia de diferentes entidades. Pero, aunque cualquier comparacin de datos requiere la homogeneidad entre los mismos, lo cierto es que la imprecisin de las normas legales en materia de actividades, ha provocado que los diferentes entes locales lleven a cabo actuaciones con una denominacin tan divergente como adaptada a las peculiaridades de su mbito territorial, dando as lugar a tal grado de heterogeneidad que cualquier comparacin de las actuaciones realizadas podra resultar irrelevante para la evaluacin de la eficiencia. Sobre esta base, el objetivo de nuestro trabajo consiste en definir y estandarizar actividades para facilitar la evaluacin de la eficiencia de los servicios pblicos locales. A tal fin, a travs de un proceso interactivo con los gestores de tres servicios pblicos en nueve ciudades andaluzas, hemos analizado las competencias y atribuciones propias de los distintos servicios y la realidad de sus prestaciones, intentando identificar y concretar aquellas actuaciones comunes a todos ellos, al objeto de lograr elaborar un listado normalizado de actividades que permita alcanzar el suficiente grado de uniformidad entre las actuaciones a comparar. Por otro lado, con la pretensin de facilitar las evaluaciones realizadas por los distintos agentes, hemos consensuado con los gestores una ponderacin de la importancia que cada una de las actividades definidas representan en el conjunto del servicio, ya que creemos que la misma puede ser til para municipios de similares caractersticas.

2.

La utilidad de la identificacin de actividades para la evaluacin de la eficiencia a travs de anlisis comparativos

Los cambios en la concepcin y en los procedimientos del Sector Pblico precisan, necesariamente, de reformas tanto en el fondo como en la forma de realizar el control. Ello supone ponderar en mayor medida otras funciones distintas de la siempre consabida de legali-

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

187

dad. No se trata de confrontar la legalidad y la eficiencia, sino ms bien de dejar de fijarse slo en aqulla dando importancia a sta. Para ello, adquiere importancia no slo la consecucin de los objetivos propios del control, entendido de forma ampla, sino que, tambin, es necesario que dentro de las entidades pblicas se asuma y construya una cultura del control (Ortigueira, 1987; Montesinos, 1998; Blasco, 2002). Las caractersticas principales de los modernos modelos de control pueden sintetizarse en las siguientes: a) no es un control exclusivo del cumplimiento de las formalidades; b) nuevos objetivos: fiabilidad de la informacin contable y mejora en la gestin; c) ampliacin del objeto a la actividad descentralizada y empresarial; d) el control interno es: no universal, no slo a priori, establecimiento de procedimientos, externo para la actividad descentralizada; e) ampliacin del mbito a entes administrativos, empresas pblicas, concesionarios, beneficiarios de subvenciones, etc. La nueva normativa que regula la actividad financiera de las entidades pblicas en Espaa apunta en esta lnea. El Titulo VI de la Ley General Presupuestaria, referido al control de la actividad financiera de las entidades pblicas, incide en el control de legalidad y en la buena gestin financiera, todo ello dentro de los principios establecidos por la Ley General de Estabilidad Presupuestaria, resaltando la importancia del seguimiento de objetivos y el aseguramiento de la efectividad, tareas asignadas al control financiero permanente y a la auditora en su modalidad de auditora operativa. No estamos, sin embargo, ante algo novedoso. La Constitucin ya marcaba los criterios de economa, eficacia y eficiencia como principios que han de regir las actuaciones pblicas y, por tanto, los que han de ser considerados en la evaluacin del Sector Pblico. No obstante, la insistencia en su consideracin supone reforzar la importancia que adquiere el seguimiento de su consecucin. La experiencia internacional nos ensea que no basta con conseguir los objetivos y hacerlo al menor coste desde un punto de vista productivo, es necesario, adems, analizar cules son los efectos que las actuaciones pblicas provocan (Pallot, 1999). Dicho de otro modo, no slo hay que proceder a la realizacin de auditoras operativas, hay tambin que avanzar en la evaluacin, entendida, segn la expone Ballart (1992), como el uso de los mtodos de investigacin de las ciencias sociales con el objetivo de determinar los efectos reales de una poltica pblica una vez que est en funcionamiento. Todos estos nuevos planteamientos de control requieren instrumentos para su puesta en marcha. Entre otros posibles, habra que destacar la necesidad de contar con sistemas de contabilidad analtica y de indicadores de gestin. De esta opinin son diversidad de autores vase como ejemplo Blasco (2002) o Montesinos (2002). No es de extraar, pues, que hayan existido intentos y propuestas de diversa ndole y alcance en esta lnea. As, por ejemplo, respecto de la contabilidad analtica puede resaltarse el proyecto CANOA (IGAE, 1994) o los trabajos realizados por la IGAE para el desarrollo de indicadores en las entidades pblicas (IGAE, 1997). Desde posiciones doctrinales tambin se insiste en estas dos herramientas como fundamentales para el desarrollo de los sistemas de informacin pblicos. ste es el caso de los trabajos realizados por AECA, tanto en referencia a la contabilidad de costes (AECA, 1997a), como sobre indicadores, en principio desde un planteamiento genrico para

188

David Ortiz Rodrguez

las Administraciones pblicas (AECA, 1997b), y ms recientemente centrndose en los ayuntamientos (AECA, 2002). Este inters por los instrumentos de evaluacin de la eficiencia es especialmente manifiesto en las Administraciones municipales. En este mbito existen un buen nmero de trabajos que abogan por la implantacin de tcnicas de evaluacin (Federacin Navarra de Municipios y Concejos, 1986; Navarro, 1998; Carreras, 1998; Boada y Mora, 1999) as como distintas iniciativas por parte de diferentes ayuntamientos 1. Ahora bien, como apuntan Lovell y Muiz (2003: 57) la tarea pendiente en el sector pblico espaol pasa por que este tipo de estudios trascienda el mbito acadmico y llegue a la instituciones pblicas, de modo que las obligaciones legales y voluntades polticas que existen en abstracto de evaluar las actividades pblicas se materialicen de forma concreta, a travs de la articulacin de mecanismos de evaluacin y medida de la eficiencia productiva. Con el fin de conseguir la definitiva aplicacin de estas tcnicas en las entidades locales, la ltima reforma de la legislacin de este mbito, realizada a travs de la Ley 57/2003, de medidas para la modernizacin del gobierno local, conocida como ley de grandes ciudades, establece, entre los criterios de gestin econmico-financiera, la introduccin de la exigencia del seguimiento de los costes de los servicios y la asignacin de recursos segn los principios de eficacia y eficiencia 2. As pues, la conveniencia de la implantacin de la contabilidad de costes y de sistemas de indicadores de gestin en las entidades municipales, en las que centramos nuestro trabajo, queda fuera de toda duda. En cuanto a la utilidad del establecimiento de una adecuada contabilidad de costes, como recoge Buenda (1999: 546), favorecera el control de eficacia y eficiencia, as como la elaboracin de la Cuenta General; permitira la fijacin ms objetiva de precios y tasas; contribuira a la toma de decisiones y la asignacin racional de recursos a los distintos servicios de la entidad en base a las necesidades reales, al tiempo que facilitara el control de gestin de los mismos mediante el anlisis de desviaciones, y permitira la comparacin con otros entes que presenten servicio similares. Las ventajas que por su parte supone el uso de indicadores, segn AECA (1997b; 2002), seran las siguientes: 1) clarificar los objetivos; 2) obtener informacin sobre las actividades realizadas; 3) conocer los resultados; 4) mejorar la rendicin de cuentas; 5) controlar y mejorar la utilizacin de los recursos; 6) motivar al funcionariado e incentivarlo retribuyndolo segn los resultados alcanzados. Pero, con independencia de cuanto antecede, la evaluacin y control pblico encuentran el problema de la definicin y medicin de las prestaciones, as como la multiplicidad de inputs utilizados y la heterogeneidad de los objetivos y resultados de las actuaciones de las entidades pblicas. Sin embargo, ninguno de los estudios empricos publicados se ha dedicado a la homogeneizacin de las actividades en la Administracin local espaola. A nuestro modo de ver, la realizacin de anlisis comparativos entre entidades y/o entre diferentes momentos de tiempo permite extraer interesantes conclusiones acerca del nivel de eficiencia alcanzado por la gestin. A tal fin, el Benchmarking se erige como una de las tcnicas de mayor utilidad prctica.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

189

dad. No se trata de confrontar la legalidad y la eficiencia, sino ms bien de dejar de fijarse ganizaciones de actividades y procesos similares, conlleva, adems de la necesaria medicin de los resultados, la evaluacin de los procesos realizados para alcanzar los mismos, siempre desde la ptica de la satisfaccin de los clientes (IFAC, 1993). Aunque inicialmente fue concebido para su aplicacin en empresas privadas, es una de las tcnicas con mayor aceptacin entre gestores pblicos locales de Gran Bretaa, Canad y EE.UU. (Wraith, 2002), habindose resaltado la utilidad que su implantacin tendra en el mbito pblico espaol (Montesinos y Gimeno, 1998; Navarro y Ortiz, 2003). Sin embargo, si nos fijamos en cualquier servicio municipal de forma global, nos encontramos ante una realidad heterognea en competencias, formas de actuar y prestaciones ya que, en funcin de diversas situaciones, cada entidad optar por organizarlo de forma diversa. Por otro lado, contamos con la clasificacin funcional del presupuesto, pero se trata de una clasificacin muy genrica y poco desarrollada por las entidades locales. Hemos, por tanto, de avanzar en busca de aspectos comunes que al mismo tiempo sean sustanciales en las actuaciones de los ayuntamientos. En cualquier caso, la prestacin de servicios, con el objeto de satisfacer las necesidades de los ciudadanos, es la principal funcin de los ayuntamientos. Estos servicios pueden prestarse de forma directa o indirecta. Tanto en uno como en otro caso, el proceso productivo es similar al que realizara una entidad privada, suponiendo la ejecucin de actuaciones de tipo econmico-tcnico, donde partiendo de un conjunto de factores, y mediante la realizacin de un proceso productivo, se obtienen bienes y/o servicios. De este modo, y aunque el servicio puede organizarse de distintas formas, las actividades realizadas como parte del proceso productivo habrn de ser similares en los distintos ayuntamientos. Observando, por tanto, las actividades, podemos intentar identificar aqullas que los distintos municipios llevan a cabo en la prestacin de un determinado servicio, analizando los que sean comunes y de mayor relevancia. Adems, desde el punto de vista de la evaluacin, como seala Anthony (1990: 24), un adecuado control de gestin de municipal necesita describir y analizar las actividades para saber cules deben medirse y valorarse y cules van a ser controladas. A propsito del concepto de actividad, de acuerdo con los fines que perseguimos, resulta interesante el dado por el proyecto CANOA, segn el cual la definicin de actividades debe hacerse teniendo en cuenta que la esencia misma de stas tiene una doble consideracin: en sentido econmico son las portadoras ltimas de coste de la organizacin y en un sentido que podra denominarse cualitativo deben ser el reflejo pormenorizado del objeto del Organismo (IGAE, 1994: 381). De cara a nuestro trabajo, sin perder de vista lo anterior, vamos a entender este concepto en un sentido amplio. Por tanto, y sin perjuicio de otras definiciones, consideraremos actividad como el conjunto de actuaciones o tareas realizadas por un rea municipal y dirigidas a la produccin de un bien o en la prestacin de un servicio. La identificacin de las actividades y su ejecucin por un grupo de entidades municipales presentan una serie de ventajas y utilidades a la hora de proceder a la evaluacin y el control de la gestin, ya que nos permiten, como hemos sealado, la realizacin de comparaciones homogneas. En este sentido, y entre otras posibilidades, destacaremos las ventajas

190

David Ortiz Rodrguez

relacionadas con el anlisis de costes y el diseo de indicadores de gestin. De igual modo, la determinacin de actividades sera til para la gestin presupuestaria a travs del presupuesto por programas, ya que, el mejor conocimiento de las actividades realizadas, permitira una mejor asignacin de los recursos, el establecimiento claro de objetivos y responsabilidades, as como de un seguimiento ms preciso de las actuaciones. En relacin a los costes, la delimitacin de actividades va a facilitar el estudio del proceso de formacin de costes del servicio, as como la eleccin del mtodo de asignacin de los mismos. De igual modo, la disposicin de un listado de actividades del servicio junto con la importancia que, de forma conjunta, otorgan los gestores a cada una de ellas, contribuir a las decisiones sobre el reparto de recursos entre las mismas. Respecto a los indicadores de gestin, la identificacin de las actividades favorece el proceso de normalizacin, al tiempo que permite determinar el nmero de indicadores necesarios para la evaluacin de una determinada tarea y su importancia en el conjunto del servicio en virtud del peso especfico que ha sido asignado a cada una de las actividades.

3. Una experiencia prctica sobre definicin y estandarizacin de actividades en la administracin municipal.


3.1. Objetivo del estudio
La legislacin local establece las competencias que los entes municipales han de cubrir, procediendo los ayuntamientos, en virtud de su realidad concreta y de las necesidades de los ciudadanos, a organizar y prestar los servicios mediante la ejecucin de distintas actividades. Con el fin ltimo de poder evaluar los servicios municipales a travs comparaciones entre ellos, el objetivo de nuestro trabajo consiste en concretar, delimitar y estandarizar actividades de forma que, para un conjunto de ayuntamientos, dispongamos de un marco comn en el que poder evaluar la eficiencia de la gestin. Nos proponemos definir y especificar las actividades que integran el proceso productivo municipal para unos servicios determinados, porque la legislacin no seala de forma clara y precisa cules son las tareas que han de realizarse, pudiendo comprobarse, a partir de la observacin directa de la realidad de los municipios, que stos no siempre ajustan sus servicios exactamente a lo establecido en la distinta normativa. Asimismo, y una vez identificadas las actividades, pretendemos delimitarlas, es decir, determinar, para el mbito de los municipios estudiados y de cara a la evaluacin, cual es el contenido preciso de cada una. Finalmente, y como fruto del proceso, podremos disponer de un conjunto de actividades estandarizado que resulte til a la evaluacin de la eficiencia de la gestin de los servicios analizados. Adicionalmente, una vez estandarizadas las actividades, pretendemos obtener una ponderacin relativa de las mismas, de forma que las comparaciones puedan realizarse considerando el distinto inters y relevancia particular que cada una de ellas tiene en el conjunto del servicio.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

191

3.2. Metodologa del estudio


El estudio que hemos realizado, en el que participan los nueve municipios con mayor poblacin de la Comunidad Autnoma de Andaluca 3, tiene como propsito la creacin de un sistema de informacin que ayude a la evaluacin y control de la gestin de los servicios de Cultura, Deportes y Parques y Jardines. Por tanto, buscamos dar respuesta a la necesidad de consensuar un conjunto de actividades que sean desarrolladas por las reas y que sirvan de base para posteriores investigaciones tanto en el mbito de los costes como de los controles de eficacia y eficiencia. En este sentido, no se pretende ms que acordar una base de anlisis, sin intentar en ningn caso establecer una estructura de los servicios, lo que, por otro lado, queda supeditado a las particularidades y opciones de cada municipio a la hora de ejercer tanto su potestad organizativa como el establecimiento de sus prioridades. Para cada uno de los servicios analizados hemos procedido de igual forma. Dado que las competencias de los ayuntamientos vienen determinadas legalmente, partimos de lo que la normativa establece para cada uno de los servicios. Como punto de partida, cotejamos el listado de las actividades resultante del anlisis legal con la opinin de algunos miembros cualificados de cada uno de los servicios, con el fin de que el listado presentado a los gestores se acerque lo ms posible a la realidad diaria a que los mismos tienen que hacer frente. A continuacin, remitimos a los distintos responsables de los servicios participantes en el estudio el listado de actividades que servir como base de discusin, solicitndoles que realicen cuantas consideraciones estimen oportunas, aadiendo, modificando o eliminando actividades segn su experiencia. Al mismo tiempo les pedimos que valoren la importancia que cada una de las actividades, asignndoles un peso especfico sobre el total del servicio. A tal fin, dado que la mayor utilidad de la fijacin de las actividades la encontramos en las posibilidades que brinda para la realizacin de evaluaciones comparativas de las actuaciones y para el control de las mismas, la valoracin de los gestores, basada en su experiencia, ha de considerar cuatro criterios: 1) tiempo empleado en la organizacin y ejecucin de la actividad; 2) cantidad de usuarios actuales del resultado de la actividad; 3) usuarios y/o beneficiarios potenciales de la actividad; 4) coste de los recursos humanos y materiales dedicados a la actividad. Una vez recibidas y sistematizadas las respuestas de los gestores, disponemos de una idea bastante aproximada de la realidad de los servicios, si bien, puesto que cada gestor responder en funcin de la realidad particular de su servicio, es de esperar que encontremos divergencias en las actividades e importancia asignada a cada una de ellas. Por ello es conveniente aunar posiciones y centrar la evaluacin en aquellas cuestiones de mayor inters. Con este objetivo convocamos una reunin a la que acudieron los responsables de los servicios. En la misma, los gestores, a partir del conjunto establecido, podan eliminar, aadir o modificar las actividades del servicio en funcin de las que realmente estaban siendo realizadas. Para ello aplicamos, aunque con ciertas modificaciones, la tcnica de grupo nominal. Esta tcnica pretende aprovechar las bondades de las decisiones de grupo con el objetivo de priorizar entre diversas alternativas. Con este objetivo se combina el trabajo individual con el trabajo en grupo, pudiendo dividirse en las siguientes cuatro fases: 1) generacin

192

David Ortiz Rodrguez

individual de ideas; 2) retroalimentacin entre los miembros del grupo; 3) discusin de cada una de las ideas; 4) votacin individual sobre la prioridad de las ideas. De este modo, intentamos soslayar los problemas ms conocidos de las decisiones a travs de grupos, persiguindose los siguientes objetivos: 1) asegurar los diferentes procesos para cada una de las fases de creatividad; 2) equilibrar la participacin entre los miembros; 3) incorporar tcnicas de votacin en la recopilacin del juicio del grupo.

3.3. Propuesta abierta de actividades


3.3.1. Servicio de Cultura

Dentro de las competencias que una entidad local debe asumir, como recoge la Ley Reguladora de Bases de Rgimen Local (LBRL) en su artculo 25.2.m, encontramos la referida a actividades o instalaciones culturales y deportivas; ocupacin del tiempo libre; turismo. En este trabajo analizamos de forma diferenciada el servicio de cultura y el de deportes. En el primero de ellos, el de cultura, las actividades que lo conforman, siguiendo la normativa legal, seran las siguientes: - Creacin, gestin y mantenimiento de bibliotecas municipales (art. 26.1.b de la LRBRL). - Fomento de museos (art. 44 de la Constitucin Espaola de 1978). - Gestin de servicios de informacin a la juventud (art. 26 de la LRBRL). - Promocin y apoyo a la creacin de asociaciones con fines culturales (art. 44 de la CE). - Fomento y desarrollo de las actividades artsticas (art. 44 de la CE). - Concesin de licencias para ejercicio de actividades recreativas, de celebracin de fiestas y de verbenas populares (Ley 10/1990). - Resolucin de expedientes sancionadores (art. 31.4 de la Ley 10/1990). - Inspeccin y clausura, en su caso, de los locales dedicados a actividades recreativas (Ley 10/1990). - Gestin de los servicios de temporada en las playas (art. 115 de la Ley 22/1988 y art. 208.c del RD 1471/1989). Como puede observarse, el conjunto de competencias que acabamos de recoger no es til para la definicin de las actividades del servicio de cultura, ya que es genrico, impreciso y, sobre todo, no permite la identificacin de los outputs del servicio. No obstante, a travs de conversaciones con responsables y especialistas de esta rea, llegamos a la definicin y normalizacin del siguiente conjunto de actividades, el cual, adaptado al da a da de las reas de cultura municipales, fue remitido a los gestores: - Actividades artsticas y culturales, donde se incluiran la promocin, organizacin y/o realizacin de actuaciones musicales, teatrales, conferencias, exposiciones, etc.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

193

- Promocin cultural, referida a la difusin de la cultura que se realiza a travs de las ayudas que el rea presta a distintos colectivos y artistas, bien a travs de subvenciones bien mediante la puesta a disposicin de medios municipales. - Bibliotecas, hemerotecas y otros archivos. - Fiestas populares. 3.3.2. Servicio de Deportes De modo similar al servicio de cultura, la LBRL determina la asuncin por parte de los entes locales de las actividades deportivas. Esta competencia se concreta, en virtud del art. 26 de la LBRL y la ley del deporte, en la organizacin y promocin de actividades deportivas y en el mantenimiento y puesta a disposicin de instalaciones deportivas de uso pblico, controlando su grado de utilizacin. En el caso especfico de la Comunidad Autnoma de Andaluca, las competencias deportivas han sido reguladas mediante la Ley 6/1998, enumeradas de forma exhaustiva en el artculo 7.1, y en su conjunto, responden a las actividades mencionadas. Al igual que en el caso anterior, mantuvimos entrevistas con gestores responsables del rea de deportes para perfilar las actividades a considerar. Segn las opiniones de estos expertos, las actividades recogidas por la Ley 6/1998 podran agruparse, por cuestiones operativas, en las siguientes, que nos sirvieron de base para la propuesta a evaluar por los gestores de las nueve ciudades analizadas: - Instalaciones, donde se distingue por un lado la gestin y puesta a disposicin de los ciudadanos y, por otro, el mantenimiento de las mismas, todo dentro de la planificacin autonmica que supone el plan director de infraestructuras de Andaluca. - Actividades, organizacin de eventos y prcticas deportivas en general, especialmente las orientadas al deporte para todos y deporte de base, distinguindose aqullas que la entidad organiza de forma regular de aqullas otras que son puntuales o que, organizadas por otras entidades, son apoyadas por el rea municipal de deportes. 3.3.3. Servicio de Parques y Jardines Este servicio se encontrara inserto dentro del ms amplio denominado Medio Ambiente. Siguiendo la normativa legal, debido a la generalidad con la que es tratada esta cuestin, es complejo delimitar cules habran de ser las reas o actividades que formaran parte de dicho servicio, ya que encontramos referencias muy genricas en la Ley 4/1989 sobre las tareas a realizar. Concretamente, este precepto arts. 2.3 y 26.1 ocupa de la gestin de terrenos forestales de utilidad pblica, velar por la conservacin de recursos naturales y de las especies de la flora y la fauna silvestres, y la conservacin de zonas verdes. Con el objeto de definir ms detalladamente las actividades de este servicio, recurrimos a diversos documentos de la Consejera de Medio Ambiente de la Junta de Andaluca. En particular, el Programa de Sostenibilidad Ambiental considera las siguientes reas: el ciclo del agua; la gestin sostenible de los residuos urbanos; el uso racional y eficiente de la

194

David Ortiz Rodrguez

energa; el paisaje urbano; flora y fauna urbanas; zonas verdes y espacios libres; la calidad del aire; la proteccin contra la contaminacin acstica; la movilidad urbana; la educacin ambiental, comunicacin y participacin ciudadana; y por ltimo, la poblacin para distintos mbitos del rea medio ambiental gestionada por los entes municipales. Evidentemente, la relacin anterior recoge, de forma extensiva, todas las cuestiones relativas al medio ambiente, las cuales caen bajo las competencias de diversidad de reas municipales (urbanismo, suministro de agua, recogida de residuos slidos, sanidad, etc.). De entre las distintas secciones, nos vamos a centrar en la de zonas verdes y espacios libres, que considera cuestiones como dotacin de zonas verdes, recursos relacionados con la gestin y el mantenimiento de las zonas verdes y flora y fauna urbanas, donde se distingue la densidad de arbolado urbano, conservacin de la fauna, superpoblacin de especies y grado de proteccin de la flora y la fauna urbanas. Teniendo en cuenta lo expuesto, tuvimos la oportunidad de contactar con expertos del rea de parques y jardines, seleccionando finalmente, como propuesta inicial a los gestores de las actividades del servicio, las siguientes actividades: - Mantenimiento y conservacin, que correspondera a una gran rea en la que se recogeran todas las actuaciones del servicio relacionadas con las actividades propias del cuidado y adecentamiento de las zonas verdes urbanas. - Inventario, que incluira el conjunto de los elementos vegetales y de mobiliario urbanos que constituyen la finalidad del servicio y que, por tanto, generan actividad en el mismo.

3.4. Resultados del proceso: definicin de actividades comunes y asignacin de ponderaciones


Comenzando por el servicio de cultura, el peso relativo asignado a las actividades propuestas es el que detallamos en el Cuadro n. 1 donde se advierte, adems de la variabilidad
Cuadro n. 1 Valoracin de las actividades propuestas a los gestores del Servicio de Cultura
Actividades 1. Programacin, organizacin y realizacin de eventos y actividades teatrales 2. Programacin, organizacin y realizacin de eventos y actividades musicales y de danza 3. Organizacin, imparticin y colaboracin en cursos 4. Organizacin y colaboracin en exposiciones 5. Bibliotecas 6. Hemerotecas 7. Archivos 8. Organizacin de Fiestas Populares Valoracin media conjunta Fuente: Elaboracin propia. Media 14,75 16,38 3,75 9,63 11,38 1,71 6,50 11,38 75,48 Mnimo 2 4 0 4 3 0 2 0 Mximo 30 30 20 20 20 5 15 30

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

195

razn por la que hemos decidido incluir el valor medio, la valoracin mnima y la mxima, que todas las actividades, excepto la de hemerotecas, obtuvieron una valoracin que podra considerarse significativa respecto del conjunto del servicio. Por el peso que cada una de las actividades tiene en el conjunto de los ayuntamientos estudiados, las propuestas recogeran el 75% de la actividad realizada por los servicios culturales de los municipios consultados. Adems, al tratarse de una aproximacin a la realidad de cada uno de los municipios, los gestores de cada uno de ellos incluyeron aqullas que, a su juicio, no haban sido consideradas inicialmente. Estas aportaciones fueron sintetizadas y agrupadas, sirviendo como base de discusin en la reunin mantenida con los responsables de los servicios. Una vez que los responsables analizaron y discutieron las actividades, propusimos la agrupacin de algunas por su afinidad y la exclusin de otras por ser poco relevantes o muy particulares de un municipio en concreto. A travs de la tcnica de grupo nominal qued fijado el conjunto de actividades que, a juicio de los gestores, debera ser evaluado, desechando las no consideradas como comunes e importantes para el grupo de municipios. Por este motivo, y dado que nos vamos a centrar slo en las actividades finalmente determinadas, se solicit a los responsables una nueva valoracin del peso relativo asignado, donde nicamente deban tener presente la importancia que, dentro del conjunto establecido, ostenta cada una de ellas respecto del resto. El Cuadro n. 2 presenta las actividades definitivas y la ponderacin obtenida media, mnima y mxima producto del reparto, por cada uno de los gestores, de 100 puntos entre las ocho actividades. En la informacin recogida en el mencionado cuadro podemos observar el resultado del proceso realizado, que consiste en: a) la aparicin de nuevas actividades, como es la consideracin expresa y separada de las actividades audiovisuales; b) la reagrupacin de las que te-

Cuadro n. 2 Actividades seleccionadas para el Servicio de Cultura


ACTIVIDADES 1. Programacin, organizacin y realizacin de eventos y actividades teatrales 2. Programacin, organizacin y realizacin de eventos y actividades musicales y de danza 3. Programacin, organizacin y realizacin de eventos y actividades audiovisuales 4. Organizacin, imparticin y colaboracin en cursos, seminarios, conferencias y otros 5. Programacin y gestin de salas expositivas de artes plsticas 6. Bibliotecas, servicio de publicaciones, promocin de la lectura y actividades literarias 7. Patrimonio: Museos, archivos y hemerotecas 8. Organizacin de Fiestas populares Fuente: Elaboracin propia. Media 13,57 13,04 9,33 10,14 13,94 10,79 8,94 20,24 Mnimo 0 1 3 3 7 4 3 10 Mximo 20 20 21 17 37 15 15 30

196

David Ortiz Rodrguez

nan menor peso, como por ejemplo museos, archivos y hemerotecas; y c) el mayor desarrollo de otras de cara a una mejor y ms completa concrecin, como es el caso de Bibliotecas, servicio de publicaciones, promocin de la lectura y actividades literarias. Otra cuestin a resaltar es el hecho de que, a pesar de haber limitado el listado de actividades a aqullas que son desarrolladas por la mayor parte de los municipios y con una importante dedicacin de medios humanos y econmicos, la valoracin de actividades mantiene una enorme diversidad. En el caso concreto del servicio de cultura esta circunstancia puede tener su explicacin en el hecho de que, pese a tratarse de una competencia municipal, no lo es en exclusiva, razn por la que cada ayuntamiento centra sus actuaciones en algunas actividades, dejando otras que en su municipio son atendidas y cubiertas por la oferta de otras Administraciones. Un ejemplo significativo puede ser el de las salas expositivas. Algunos ayuntamientos nicamente realizan exposiciones puntuales no permanentes en espacios reducidos, prestando poca atencin y recursos a esta actividad. Esta forma de actuar tiene su motivacin en la existencia de grandes museos gestionados por otras Administraciones. Finalmente, apuntar que las tres primeras actividades, a pesar de que son consideradas como independientes por los responsables de los servicios dada su distinta naturaleza, segn nuestro parecer, deberan ser analizadas como una nica, ya que, salvo excepciones, gran parte de los recursos y de las infraestructuras utilizadas para su realizacin son comunes. Siguiendo un esquema anlogo al utilizado en el caso del servicio de cultura, incluimos, en el Cuadro n. 3, los datos relativos a la valoracin de las actividades inicialmente propuestas para el servicio de deportes.

Cuadro n. 3 Valoracin de las actividades propuestas a los gestores del Servicio de Deportes
ACTIVIDADES 1. Actividades y competiciones deportivas regulares organizadas por la propia entidad 2. Actividades y competiciones puntuales organizadas por la propia entidad 3. Colaboracin en actividades y competiciones deportivas organizadas por otras entidades 4. Instalaciones (gestin y puesta a disposicin de los ciudadanos) 5. Mantenimiento y conservacin de instalaciones Valoracin media conjunta Fuente: Elaboracin propia. Media 32,8 16,1 12,6 20,4 12,5 94,4 Mnimo 20 10 8 5 5 Mximo 50 20 15 28 20

Como suceda en el caso anterior, existe una gran variabilidad en el peso relativo asignado. No obstante, hay que destacar que, desde el punto de vista de la media, las cinco actividades inicialmente propuestas recogan el 94% de la actividad realizada por los servicios deportivos de los municipios consultados, aunque ello no impidi que los gestores sugirieran nuevas actividades, as como que planteasen la reformulacin de alguna de las actividades mencionadas.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

197

Finalmente, como resultado de la reunin, el conjunto de responsables estableci definitivamente las mismas cinco reas propuestas para el servicio de deportes, si bien el contenido de cada una de ellas fue mejor perfilado. Las valoraciones definitivas son las que aparecen en el Cuadro n. 4.

Cuadro n. 4 Actividades seleccionadas para el Servicio de Deportes


ACTIVIDADES 1. Actividades y competiciones deportivas regulares organizadas por la propia entidad 2. Actividades y competiciones puntuales organizadas por la propia entidad 3. Colaboracin en actividades y competiciones deportivas organizadas por otras entidades 4. Instalaciones (gestin y puesta a disposicin de los ciudadanos) 5. Mantenimiento y conservacin de instalaciones Fuente: Elaboracin propia. Media 26,6 13,6 15,6 39,7 4,6 Mnimo 18 10 10 30 1 Mximo 40 25 23 50 10

El hecho ms llamativo est en que, considerando de nuevo las mismas actividades, algunas sufren cambios significativos en su valoracin relativa. Esto es debido a que determinados gestores, que inicialmente no aportaron sus evaluaciones y que por tanto no estn recogidas en el Cuadro n. 3, s las expresaron en la reunin conjunta. Por otro lado, a causa del intercambio de opiniones entre los gestores, la valoracin previa de alguno de ellos fue modificada. En este servicio, interesa advertir, por ltimo, que, pese a todo, en referencia a las instalaciones, los responsables municipales pusieron de manifiesto dos planteamientos distintos, los cuales tuvieron reflejo en las ponderaciones facilitadas y en su variabilidad. La primera de las posturas, que valora, dentro de su importancia, las instalaciones con una ponderacin ms baja, estima que stas son un instrumento ms para el desarrollo de las actividades. La segunda de las lneas, que valora las instalaciones con un peso ms alto, asocia la gestin de las instalaciones con la realizacin de ciertas actividades. Para terminar, en el servicio de parques y jardines fue donde las actividades propuestas (ver Cuadro n. 5) representaban un menor peso medio respecto de la actividad total del servicio, aunque, como suceda en los dos casos anteriores, existe una gran heterogeneidad en la relevancia asignada a cada una. Debido a ello, en este servicio los gestores propusieron mayor nmero de actividades adicionales, quedando finalmente determinadas las que recogemos en el Cuadro n. 6. Como en los casos anteriores, hemos de resaltar las diferencias entre las ponderaciones facilitadas, aunque es posible que sea ste el servicio donde la variabilidad sea ms acusada, como puede verse en el caso de los viveros. La razn de esta divergencia est en que, por un lado, existen municipios que los gestionan y quieren darles cada vez mayor relevancia, mientras que otros prefieren adquirir las plantas a viveros externos, por lo que no cuentan con es-

198
Cuadro n. 5

David Ortiz Rodrguez

Valoracin de las actividades propuestas a los gestores del Servicio de Parques y Jardines
ACTIVIDADES 1. Inventario de parques y jardines 2. Mantenimiento y conservacin Valoracin media conjunta Fuente: Elaboracin propia. Media 7,13 48 55,13 Mnimo 0 34 Mximo 15 70

Cuadro n. 6 Actividades seleccionadas para el Servicio de Parques y Jardines


ACTIVIDADES 1. Inventario de parques y jardines 2. Mantenimiento y conservacin de parques y jardines 3. Diseo, informes, supervisin y realizacin de obras en parques y jardines 4. Arbolado viario: sistema de inventario, mantenimiento y conservacin 5. Produccin y gestin de plantas en viveros municipales 6. Atencin ciudadana sobre parques y jardines 7. Diseo, mantenimiento y gestin de la red hidrulica para riego de parques y jardines 8. Recogida, reciclaje y eliminacin de residuos vegetales urbanos de parques y jardines Fuente: Elaboracin propia. Media 4,5 45,3 15,4 9,9 3,5 7,6 7,9 6,0 Mnimo 1 17 5 2 0 1 5 1 Mximo 10 70 23 25 7 15 15 17

tas instalaciones. Explicacin parecida tendran otras actividades. Por ejemplo, el diseo, mantenimiento y gestin de la red hidrulica, puesto que en algunos municipios esta red es antigua y manual, necesitando por ello una gran cantidad de tiempo y recursos para su gestin, mientras que en otras ciudades la red ha sido modernizada y automatizada, por lo que necesita menor dedicacin y mantenimiento. En cualquier caso, especialmente llamativa es la realidad presentada en la segunda de las actividades del listado, relativa al mantenimiento y conservacin, actividad con una importancia prcticamente igual al conjunto del resto de actividades y cuya variabilidad es muy acusada. La explicacin est en la forma de gestin adoptada, circunstancia que afecta a todas las actividades y de forma especial a sta, donde existe una gran externalizacin. En el servicio de parques y jardines pueden observarse servicios prestados prcticamente en su totalidad con personal y medios del ayuntamiento y otros en los que la actividad del personal municipal es meramente de direccin y supervisin, existiendo algunos en los que el reparto de actuaciones prcticamente se realiza a partes iguales entre el ayuntamiento y las empresas concesionarias.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

199

4. Conclusiones
En el marco de los nuevos planteamientos de la gestin pblica, la insistencia en los principios de transparencia y eficiencia aumenta la necesidad de evaluar la gestin con dichos criterios. En este contexto, instrumentos como la contabilidad analtica y los indicadores de gestin resultan muy apropiados, aunque el mejor aprovechamiento de ambas herramientas implica la posibilidad de comparar la situacin de distintas entidades de forma que los gestores cuenten con elementos de referencia tiles para evaluar la eficiencia. Las organizaciones municipales llevan a cabo las competencias que tienen encomendadas segn los criterios y con la organizacin que estiman oportuna, por lo que difcilmente dos entidades, por muy parecidas que sean, presentan servicios idnticos, pese a que las normas legales fijan competencias comunes. Para homogeneizar las actividades es fundamental contar con la opinin de los gestores, permitindoles que sean ellos quienes, a partir de su experiencia diaria, eliminen, aadan o modifiquen las actividades establecidas en la legislacin. Mediante el uso de la tcnica de grupo nominal, hemos identificado, para los servicios de cultura, deportes y parques y jardines, el conjunto bsico de actividades realizadas, sin que con ello pretendamos establecer una organizacin tipo, sino ms bien un marco para el anlisis y la comparacin. De igual modo, partiendo de las opiniones de los distintos responsables, hemos asignado una ponderacin para cada una de las actividades determinadas, de forma que tengamos una mejor idea de cual es la realidad de cada uno de estos servicios. Como puede comprobarse, el conjunto final de actividades no coincide con las incluidas en la normativa legal. Tampoco responde a un municipio en concreto. De hecho, aunque los gestores estn de acuerdo en cuales son las actividades ms relevantes, existe una gran variabilidad en cuanto a la importancia que dan a cada una de ellas. No obstante, la disposicin de estos datos nos facilitar las comparaciones tanto en costes como en prestaciones de los distintos servicios estudiados, pudiendo disear indicadores de forma ms concreta y acertada. El listado conseguido con arreglo a este proceso permite disear indicadores de eficiencia para la tcnica del Benchmarking. De igual modo, creemos que el conjunto de actividades final pueden ser de utilidad a los responsables de otros municipios de forma que ayude en la toma de decisiones de organizacin y gestin.

Notas
1. En este sentido podemos resaltar la iniciativa de algunos ayuntamientos que, enlazando su uso con las Cartas de Servicios, o el Cuadro de Mando Integral, estn mostrando su inters en la implantacin de indicadores de gestin, como por ejemplo el de Alcobendas (www.alcobendas.org), Espluges de Llobregat (www.ajesplugues.es), Gijn (www.ayto-gijon.es), Sant Cugat del Valls (www.santcugatobert.net), o fundaciones como la fundacin Carles Pi i Sunyer (www.pisunyer.org). Vanse los apartados e y f del artculo 133 de la LBRL, parte del Ttulo X sobre rgimen de organizacin de los municipios de gran poblacin, aadido a la mencionada LBRL por la Ley 57/2003.

2.

200

David Ortiz Rodrguez

3. Municipios todos ellos con ms de 100.000 habitantes y que se corresponden con las ocho capitales de provincia Almera, Cdiz, Crdoba, Granada, Huelva, Jan, Mlaga, Sevilla, adems de Jerez de la Frontera.

Bibliografa
Anthony, R.N. (1990): El control de Gestin: marco, entorno y proceso. Ed. Deusto, Bilbao. Asociacin Espaola de Contabilidad y Administracin de Empresas - AECA (1997a): La contabilidad de gestin en las entidades pblicas. Documento n. 15 de Contabilidad de Gestin. AECA. Madrid. (1997b): Indicadores de Gestin para las Entidades Pblicas. Documento n. 16 de Contabilidad de Gestin. AECA. Madrid. (2002): Un sistema de Indicadores de Gestin para los Ayuntamientos. Documento n. 26 de Contabilidad de Gestin. AECA. Madrid. Ballart, X. (1992): Cmo evaluar programas y servicios pblicos? Aproximacin sistemtica y estudios de caso. Ministerio para las Administraciones Pblicas. Madrid. Blasco Lang, J.J. (2002): El ejercicio de control y la estabilidad presupuestaria, Presupuesto y Gasto Pblico, n. 30, pp. 103-109. Boada, M. y Mora, A. (1999): Aplicacin prctica de indicadores de gestin. Valoracin de algunos de los servicios municipales obligatorios, Auditora Pblica, n. 17, junio, pp. 23-30. Buenda Carrillo, D. (1999): Anlisis, calculo y control del coste de los servicios pblicos municipales, Tcnica Contable, n. 607, julio, pp. 541-558. Carreras, J.M. (1998): Indicadores de gestin de los servicios pblicos locales, Auditora Pblica, n. 13-14, junio, pp. 7-14. Dunleavy, P. y Hood, C. (1994): From old public administration to new public management, Public Money and Management, jul.-sept., pp. 9-16 - Traducido al Castellano, De la Administracin Pblica tradicional a la nueva gestin pblica. Ensayo sobre la experiencia modernizadora de diversos pases desarrollados, Gestin y Anlisis de Polticas Pblicas, n. 3, mayo-agosto, pp. 105-114. (traducido por Q. Brugu). Federacin Navarra de Municipios y Concejos (1986): Sistemas de Informacin y Evaluacin por Indicadores de la Gestin Pblica Local. Pamplona. Fuertes Fuertes, I. (1998): Las reformas contables en el proceso general de reestructuracin de la Administracin local: Una perspectiva europea, comunicacin presentada a la IV Jornada de Trabajo sobre Contabilidad de costes y gestin de ASEPUC, Castelln. Hood, C. (1991): A Public Management for All Season?, Public Administration, vol. 69, pp. 3-19. (1995): The new public management in the 1980s: Variation on a Theme, Accounting Organizations and Society, vol. 20, n. 2-3, pp. 93-109. International Federation of Accountant - IFAC (1993): Managing Quality Improvements. http://www.ifac.org.

El papel de las actividades en la evaluacin de la eficiencia de la gestin pblica local

201

Intervencin General de la Administracin del Estado - IGAE (1994): Contabilidad Analtica de las Administraciones Pblicas. El proyecto CANOA. Ministerio de Economa y Hacienda. Madrid. (1997): El establecimiento de objetivos y la medicin de resultados en el mbito pblico. Gua, Fundamentos Tcnicos y Aplicacin Cprox. IGAE, Madrid. Legislacin Espaola (1985): Ley 7/1985, de 2 de abril, Reguladora de Bases de Rgimen Local (LBRL). (1988): Ley 22/1988, de 28 de julio, de costas. (1989): Real Decreto 1471/1989, de 1 de diciembre, por el que se aprueba el Reglamento general para desarrollo y ejecucin de la Ley 22/1988, de 28 de julio, de costas. (1989): Ley 4/1989, de 27 de marzo, de conservacin de los espacios naturales y de la flora y la fauna silvestres. (1990): Ley 10/1990, de 15 de octubre, del Deporte. (2001): Ley 18/2001, de 12 de diciembre, General de Estabilidad Presupuestaria. (2003): Ley 47/2003, de 26 de noviembre, General Presupuestaria. (2003): Ley 57/2003, de 16 de diciembre, de medidas para la modernizacin del gobierno local. Legislacin Espaola - Comunidad Autnoma de Andaluca (1998): Ley 6/1998, de 14 de diciembre, del Deporte. Lovell, C.A.K. y Muiz Prez, M.A. (2003): Eficiencia y productividad en el sector pblico. Temas dominantes en la literatura, Papeles de Economa Espaola, n. 95, pp. 47-65. Montesinos Julve, V. (1998): La legitimacin del sector pblico a travs de su reforma y su control, incluido en Constela Acanso, F.J. (coord.) (1998): tica Pblica e Control Externo Pblico, Consello de Contas de Galicia, Santiago de Compostela, pp. 91-135. (2002): La reforma de la Ley General Presupuestaria en el marco de la estabilidad financiera: Una reflexin desde la perspectiva de la Contabilidad Pblica, Presupuesto y Gasto Pblico, n. 30, pp. 53-60. Montesinos Julve, V. y Gimeno Ruiz, A. (1998): Contabilidad y control en el marco de la nueva gestin pblica, ponencia presentada a la IV Jornada de Trabajo sobre Contabilidad de Costes y Gestin. ASEPUC. Castelln, noviembre, pp. 145-192. Navarro Galera, A. (1998): El control econmico de la gestin municipal. Un modelo basado en indicadores. Sindicatura de Comptes de la Generalitat Valenciana. Valencia. Navarro Galera, A. y Ortiz Rodrguez, D. (2003): Propuesta metodolgica para la aplicacin del Benchmarking a travs de indicadores: una investigacin emprica en Administraciones Locales, Revista de Contabilidad, Vol. 6, n. 12, pp. 109-138. Ortigueira Bouzada, M. (1987): Administraciones Pblicas: El Control de la Eficiencia y la Eficacia mediante Indicadores. Separata Seminarios 1986. Tribunal de Cuentas. Pallot, J. (1999): Beyond NPM: Developing strategic capacity, Financial Accountability & Management, Vol. 15, n. 3 & 4, agosto-noviembre, pp. 419-426.

202

David Ortiz Rodrguez

Wraith, P. (2002): Tcnicas de gestin implantadas en la Administracin Local: Una comparacin internacional, comunicacin presentada a la I Jornada sobre gestin estratgica en la Administracin Pblica: El Cuadro de Mando Integral. Ajuntament de Sant Cugat. Abstract
It is broadly recognized that transparency and efficiency in the use of economic resources are two main foundations of the modern public sector management models. The last budgetary laws insist in this principles. The performance indicators and the analytical accounting are appropriate instruments for the measurement of the efficiency, although their utility depends on the comparative analysis among entities. It requires that actions must be homogeneous. This paper aims to identify and to establish standards of common activities in three public services of nine big Spanish town governments. To achieve our aim, we have studied the performance of these services and we have designed a list of activities and their weighs. This list has been drawn up in agreement with the managers and it is useful for efficiency analysis. Key words: efficiency, local public management, indicators, activities. JEL Classification: H11-Structure, Scope and Performance of Government.

Anda mungkin juga menyukai