Cmo medir la precisin de los pronsticos?

Por Toms Glvez Martnez

Presidente y Director de CELOGIS
Education Partner de ENAE Business School

A la fecha de la publicacin de este documento usted podr encontrar, en la mayora de

artculos y libros especializados en el tema y en algunas soluciones tecnolgicas dedicadas
al clculo de pronsticos, ms de 25 modelos y ms de 15 formas para medir la efectividad
de ellos. El propsito de este artculo es exponer las principales herramientas de precisin
de los pronsticos considerando tres interrogantes pertinentes en la evaluacin del modelo.
1. Los modelos que mejor se ajustan a los datos histricos son igual de efectivos al
pronosticar?
2. Cuntas medidas de precisin existen y en qu casos aplicar cada una de ellas?
3. Qu otros criterios existen para la seleccin de los modelos de pronstico?
Al final es posible que no dispongamos de un slo criterio de seleccin, adems del costo
que ello implica, pero tendremos ms informacin que nos ayudar a la evaluacin del
resultado de los pronsticos. Se presentan recomendaciones para medir la efectividad del
modelo de pronstico durante el proceso de seleccin y despus de l.

1. Los modelos que mejor se ajustan a los datos histricos son igual de efectivos
al pronosticar?
Existe evidencia significativa que un modelo que ajusta bien a los datos histricos, no
necesariamente pronostica bien. Entonces para qu evaluar la precisin de un modelo de
pronstico en funcin de su capacidad de ajuste a los datos histricos? Existen
alternativas para evaluar un modelo en funcin de su capacidad de pronosticar?
Una de las alternativas es dividir la informacin en dos conjuntos. El primer conjunto le
podemos denominar datos de control y utilizarlo para encontrar el mejor modelo de
pronstico. Y al segundo conjunto etiquetarlo como datos de prediccin y no incluirlos en el
anlisis inicial. La cuestin es qu cantidad de datos tomar para cada conjunto de
informacin? Por ejemplo si usted dispone de 4 aos de informacin histrica divididos en
forma mensual, puede tomar los tres primeros aos para los datos de control y el resto para
los datos de prediccin. O bien dejar los ltimos 6 o 3 meses para esta ltima actividad.
Existe una gran variedad de combinaciones que siempre estarn sujetas a las necesidades
y resultados esperados de cada organizacin.

Para los datos de control, es necesario seleccionar el modelo de pronstico que mejor
ajusta a los datos histricos, pero Cuntas formas de medicin existen? Todas tienen la
misma funcionalidad? El qu tiene menor error o el de mayor complejidad y variables? Se
sabe que a medida que aumentan las variables en el modelo, el error puede disminuir. Con
relacin a los datos de prediccin. Cmo determinar aqul que pronostic mejor? O qu
medida utilizar para este fin? En las siguientes pginas se expondrn alternativas para
solucionar estas interrogantes.

2. Cuntas medidas de precisin existen y cmo aplicar cada una de ellas?

Para cada uno de los escenarios que usted genere es necesario medir el desempeo de
ellos mediante indicadores de precisin. Se requiere definir un criterio para la precisin del
pronstico (datos de prediccin) y otra para la seleccin del modelo (datos de control). No
todos tendrn el mismo significado ni el mismo uso, pero ambos estn basados en la
siguiente frmula del error (et):

et Yt Yt

Donde et es el error del pronstico, Y t el valor observado o real en el tiempo t de la serie

de tiempo, y Y t es igual al valor pronosticado en el tiempo t de la serie de tiempo.
El error tambin puede ser representado en trminos relativos y/o absolutos (%) utilizando
la siguiente formulacin:

eat (%)

Yt Yt
Yt

*100

O bien expresarlo en forma cuadrtica:

2
et2 Yt Yt

En la Tabla 1 se muestran las medidas de error ms utilizadas donde Ft es igual a Y t.,

notacin utilizada para identificar el valor pronosticado.
Como se puede observar en dicha tabla existen ms de 15 herramientas para medir el error
del pronstico, y su cantidad complica la seleccin de la medida de precisin ms adecuada
para el modelo de prediccin. Por ejemplo, si seleccionamos aquellas de errores absolutos
en lugar de los cuadrticos, stos penalizan en mayor medida los errores grandes. La
eleccin depender de la importancia que se les d a los grandes errores. El coeficiente de
desigualdad U de Theil, que no se muestra en la tabla y que se detalla ms adelante,
presenta una solucin para estos escenarios. Si el valor de U es cercano a cero, supone
una prediccin perfecta, lo cual es muy difcil que suceda.

Una medida muy utilizada en la prctica de los pronosticadores es el MAPE, pero sta
presenta sesgos que favorece a los pronsticos que estn por debajo de los valores reales.
Para evitar ese problema, puede utilizarse el sMAPE. Pero ste indicador tambin tiene los
propios, ya que tiene un comportamiento no deseado cuando el valor real o el pronstico
estn muy cerca de cero. Otra de las medidas para seleccionar el mejor modelo de
pronstico es el MSE o la RMSE pero a pesar su efectividad probada, y aunque aparece
en primer lugar en la Tabla 1, sta no es muy utilizada entre los pronosticadores.
Con este breve antecedente y la estructura bsica del error definida, he dividido las
diferentes alternativas de medicin del error en tres: a) Medidas de seleccin y b) Medidas
de interpretacin, y c) Medidas de precisin. En esta divisin no se incluyen todas las que
aparecen en la mencionada tabla, pero si las ms significativas que son producto de ms
de 15 aos de experiencia en el tema y en ms de 200 empresas. Como siempre el lector
tendr el ltimo comentario con base en la informacin que dispone y los datos de la
empresa en la que participa.

a) Medidas de seleccin.
En la primera seccin de este artculo, se sugiri dividir la serie de tiempo de dos partes.
Una parte la denominamos datos de control y otra datos de prediccin. En esta seccin
haremos referencia a la primera, y con ella encontrar el mejor modelo de pronstico que
presente el mnimo error. Las herramientas que nos ayudan a cumplir este objetivo son:
MSE (Mean Square Error): Es el promedio de los cuadrados de las diferencias de cada
artculo en el periodo t y se utiliza para comparar la precisin entre diferentes mtodos
o criterios de pronstico. Segn mi experiencia esta medida o la siguiente son las ms
recomendadas para seleccionar el mejor mtodo de pronstico.

t
t

MSE t 1
n
n

RMSE (Root Mean Square Error): Esta medida es la raz del promedio de los
cuadrados del error de cada artculo en el periodo t y tambin se utiliza para comparar
la precisin de diferentes mtodos de pronstico. La diferencia con la anterior es que
el resultado est en las unidades originales de la informacin histrica.

t
t

RMSE t 1
n
n

b) Medidas de Interpretacin.
MPE (Mean Percentage Error): Es la media del error porcentual. Es una mtrica
simple, que sirve para ver si el error del pronstico tiene un sesgo (bias) positivo o
negativo. Tambin se dice que el pronstico est subestimado o sobrestimado.

t
t
n

Yt
MPE t 1
n

Ambas formas de error incrementan el costo y reduccin en la utilidad, por lo que entre
ms cercano a cero es mejor. Un pronstico sobre estimado puede generar: exceso de
inventario, sobre costos, rechazos por obsolescencia, costos por mermas, entre otros.
Un pronstico subestimado puede producir: reduccin en los niveles de servicio, costo
por prdida de ventas, incremento en el costo por el reprocesamiento de rdenes, entre
otros.

MAPE (Mean Absolute Percentage Error): Es la media de los errores porcentuales en

valor absoluto, no considera el signo del error slo la magnitud. El MAPE es una de las
medidas ms utilizadas a nivel mundial, pero no se recomienda para la seleccin de un

mtodo de pronstico puesto que sta presenta sesgos que favorece a los pronsticos
que estn por debajo de los valores reales.

MAPE

Yt Yt
Yt
n

t 1

WMAPE (Weighted Mean Absolute Percentage Error): Es el MAPE ponderado por el

peso de las ventas, compras o servicios ofrecidos. Es un indicador muy recomendado
ya que la ponderacin del total minimiza los efectos de productos con grandes
variaciones pero con poco impacto en los valores reales. Pero presenta los mismos
problemas que el MAPE.

WMAPE

Yt Yt

t 1

Yt

* Yt

c) Medida de Precisin
En esta seccin se hace referencia a la segunda porcin de informacin denominada
datos de prediccin que se describe en el nmero 1 de este artculo. Recuerde que
tenemos que probar que tan efectivo fue el modelo o los modelos seleccionados para
pronosticar. En seguida se muestran varias alternativas para evaluar la efectividad del
modelo seleccionado para pronosticar tales como el FA (forecast accuracy), el
coeficiente U de Theil, el AIC y el BIC. La seleccin depender siempre de los resultados
esperados en la organizacin y de la experiencia del planeador.
FA (forecast accuracy)
La forma ms comn de medir la precisin de un pronstico (forecast accuracy) es
comparar los resultados del pronstico contra los valores reales del siguiente periodo.
El objetivo es encontrar valores cercanos a 1 para emitir juicios favorables sobre el
modelo de pronstico seleccionado. La frmula utilizada para este efecto es:

FA (forecast accuracy) = 1 eta(%)

Aun cuando sta es la una de las medidas ms utilizada entre los pronosticadores, slo
se recomienda utilizarla en el corto plazo (no ms de tres periodos) ya que existen otros
criterios que nos pueden ayudar a encontrar cul modelo pronostica mejor a periodos
ms largos. Recuerde que si el modelo seleccionado se ajust muy bien a los datos
histricos no necesariamente es igual de efectivo en el momento de pronosticar.
5

U de Theil
El coeficiente de desigualdad U de Theil es otra medida que permite analizar la
efectividad del modelo seleccionado en la prediccin. Recuerde que las medidas de
errores absolutos en lugar de los cuadrticos, suelen presentar sesgos y stos ltimos
penalizan en mayor medida los errores grandes. La eleccin depender de la
importancia que se les d a los grandes errores. El coeficiente de desigualdad U de
Theil presenta una solucin para estos escenarios. Si el valor de U es cercano a cero,
supone una prediccin perfecta. Su formulacin est basada en la diferencia cuadrtica
que existe entre las tasas de crecimiento de la variable real y la estimada.
Este coeficiente se puede utilizar para evaluar la efectividad del pronstico a mediano
plazo

=1 2
=
=1( 1 )2
AIC (Akaike Information Criterion)
Esta herramienta penaliza la complejidad del modelo tomando en cuenta el nmero de
variables y se utiliza para seleccionar el mejor modelo dentro del conjunto de los mismos
datos. Los mtodos de Box & Jenkins tiene esta caracterstica, ya que utilizan valores
reales y anteriores de la variables independiente para producir pronsticos precisos a
corto plazo. La solucin dada por Akaike es elegir como funcin de prdida (o criterio
de especicacin) el mnimo del criterio de informacin.

=1 2
2

=
(
)

BIC (Bayesian Information Criterion)

El criterio BIC de Schwarz penaliza con mayor intensidad modelos ms complejos y con
mayor nmero de variables, por lo que se dice que es ms consistente. Por el contrario
el criterio de Akaike es asintticamente eficiente, ya que a medida que aumenta el
nmero de variable su eficiencia para medir la efectividad de la precisin no mejora.
La eficiencia asinttica tiene que ver con la hiptesis de que la realidad es mucho ms
complicada que cualquier modelo considerado por lo que, al aumentar el nmero de
observaciones tambin debiera aumentarse el nmero de modelos en el conjunto
considerado. Poler et al (2007)

=1 2

Tanto en el criterio AIC y el BIC, k son el nmero de variables del modelo, n el nmero
de observaciones y et el error de pronstico en el perodo t. Cuando se utilizan estos
criterios, se selecciona el modelo que presenta el valor ms pequeo.

Otros criterios de evaluacin:

Si bien la precisin es una cualidad importante en la seleccin de un modelo de pronstico,
no es la nica que a considerar en la seleccin y evaluacin de un modelo de pronstico.
Las caractersticas de la informacin como: 1) El tamao o el horizonte de tiempo de los
datos histricos, 2) el comportamiento de la informacin y 3) el tipo de relacin del
pronstico tambin deben considerarse en la eleccin.
El horizonte de tiempo limita la bsqueda del modelo. Algunos modelos se utilizan para
calcular pronsticos a corto plazo (de uno a tres meses) como los modelos de atenuacin
exponencial. Los modelos de descomposicin y ARIMA son tiles para el mediano plazo,
mientras que los economtricos funcionan bien a mediano y largo plazo.
El comportamiento de la informacin tambin es til para limitar la bsqueda del modelo.
Por ejemplo si los datos histricos presentan estacionalidad no todos los modelos de
pronstico tienen esta funcionalidad. Winters o Box & Jenkins seran los ms
recomendables.
Por ltimo existen tres tipos de relaciones que limitan tambin esta bsqueda: 1) Si la serie
es nica y el pronstico se obtiene a partir de su propio pasado, 2) Si la serie es no causal
y el pronstico se obtiene a partir de otras bases histricas, y 3) Si la serie es causal en
donde los pronsticos son obtenidos a partir de otras variables que estn relacionadas
causalmente.

Conclusiones y recomendaciones
Como se expuso en este artculo, si usted busca seleccionar el modelo que mejor ajusta a
sus datos histricos, no use el MAPE, ni el WMAPE estos son indicadores de interpretacin
relativos y tienden a presentar sesgos. El MSE o la RMSE presentan mejores resultados
para dicho efecto. Al seleccionar un modelo de pronsticos compare precisin contra
pertinencia y no olvide el costo que esto representa. Recuerde que no siempre los modelos
ms complicados son ms precisos que los ms simples y por lo general menos costosos.
Tal vez no posea un criterio nico para juzgar la seleccin de un modelo en ciertas
situaciones, en cualquier caso es necesario contar con varios de ellos y siempre
dependern de lo que se va a pronosticar y de la experiencia del pronosticador.
Dependiendo del uso que se le d en la empresa a las predicciones a corto, a medio y a
largo plazo, la importancia del horizonte de prediccin debe ser tomada en cuenta a la hora
de definir un criterio de seleccin de modelos. Es posible que sea ms adecuado un modelo
de pronstico que tengo menor efectividad en el corto y mayor al mediando plazo y
viceversa.

TG

Bibliografa de apoyo

Box, G.E., Jenkins, G.M., 1970. Time Series Analysis: Forecasting and Control, Holden-Day, San
Francisco.
Croston, J.D., 1972. Forecasting and stock control for intermittent demands, Operational Research
Quarterly, 23, pp. 289303.
Fildes, R., & Makridakis, S., 1995. The impact of empirical accuracy studies on time series analysis
and forecasting, International Statistical Review 63, 289-30.
Makridakis, S., Hibon, M., 2000. The M3-Competition: results, conclusions and implications
International Journal of Forecasting, 16, pp. 451476.
Makridakis, S., Wheelright, S.C., Hyndman, 1998. Forecasting: Methods and Applications. Wiley.
Poler, R., Mula, J., Peidro D., Toms, J.V., 2006. PROGNOS: Un sistema de soporte al proceso de
previsin de demanda. X Congreso de Ingeniera de Organizacin.