t
es igual al valor pronosticado en el tiempo t de la serie de tiempo.
El error tambin puede ser representado en trminos relativos y/o absolutos (%) utilizando
la siguiente formulacin:
O bien expresarlo en forma cuadrtica:
En la Tabla 1 se muestran las medidas de error ms utilizadas donde F
t
es igual a Y
t.,
notacin utilizada para identificar el valor pronosticado.
Como se puede observar en dicha tabla existen ms de 15 herramientas para medir el
error del pronstico, y su cantidad complica la seleccin de la medida de precisin ms
adecuada para el modelo de prediccin. Por ejemplo, si seleccionamos aquellas de
errores absolutos en lugar de los cuadrticos, stos penalizan en mayor medida los
errores grandes. La eleccin depender de la importancia que se les d a los grandes
errores. El coeficiente de desigualdad U de Theil, que no se muestra en la tabla y que se
detalla ms adelante, presenta una solucin para estos escenarios. Si el valor de U es
cercano a cero, supone una prediccin perfecta, lo cual es muy difcil que suceda.
( )
t t t
Y Y e
=
100 *
(%)
t
t t
t
Y
Y Y
ea
=
( )
2
2
t t t
Y Y e =
3
Una medida muy utilizada en la prctica de los pronosticadores es el MAPE, pero sta
presenta sesgos que favorece a los pronsticos que estn por debajo de los valores
reales. Para evitar ese problema, puede utilizarse el sMAPE. Pero ste indicador tambin
tiene los propios, ya que tiene un comportamiento no deseado cuando el valor real o el
pronstico estn muy cerca de cero. Otra de las medidas para seleccionar el mejor
modelo de pronstico es el MSE o la RMSE pero a pesar su efectividad probada, y
aunque aparece en primer lugar en la Tabla 1, sta no es muy utilizada entre los
pronosticadores.
Con este breve antecedente y la estructura bsica del error definida, he dividido las
diferentes alternativas de medicin del error en tres: a) Medidas de seleccin y b) Medidas
de interpretacin, y c) Medidas de precisin. En esta divisin no se incluyen todas las que
aparecen en la mencionada tabla, pero si las ms significativas que son producto de ms
de 15 aos de experiencia en el tema y en ms de 200 empresas. Como siempre el lector
tendr el ltimo comentario con base en la informacin que dispone y los datos de la
empresa en la que participa.
4
a) Medidas de seleccin.
En la primera seccin de este artculo, se sugiri dividir la serie de tiempo de dos
partes. Una parte la denominamos datos de control y otra datos de prediccin. En esta
seccin haremos referencia a la primera, y con ella encontrar el mejor modelo de
pronstico que presente el mnimo error. Las herramientas que nos ayudan a cumplir
este objetivo son:
MSE (Mean Square Error): Es el promedio de los cuadrados de las diferencias de
cada artculo en el periodo t y se utiliza para comparar la precisin entre diferentes
mtodos o criterios de pronstico. Segn mi experiencia esta medida o la siguiente
son las ms recomendadas para seleccionar el mejor mtodo de pronstico.
RMSE (Root Mean Square Error): Esta medida es la raz del promedio de los
cuadrados del error de cada artculo en el periodo t y tambin se utiliza para
comparar la precisin de diferentes mtodos de pronstico. La diferencia con la
anterior es que el resultado est en las unidades originales de la informacin
histrica.
b) Medidas de Interpretacin.
MPE (Mean Percentage Error): Es la media del error porcentual. Es una mtrica
simple, que sirve para ver si el error del pronstico tiene un sesgo (bias) positivo o
negativo. Tambin se dice que el pronstico est subestimado o sobrestimado.
Ambas formas de error incrementan el costo y reduccin en la utilidad, por lo que
entre ms cercano a cero es mejor. Un pronstico sobre estimado puede generar:
exceso de inventario, sobre costos, rechazos por obsolescencia, costos por mermas,
entre otros. Un pronstico subestimado puede producir: reduccin en los niveles de
servicio, costo por prdida de ventas, incremento en el costo por el reprocesamiento
de rdenes, entre otros.
n
Y Y
MSE
n
t
t t
=
.
|
.
|
\
|
=
1
2
n
Y Y
RMSE
n
t
t t
=
.
|
.
|
\
|
=
1
2
n
Y
Y Y
MPE
n
t t
t t
=
.
|
.
|
\
|
=
1
5
MAPE (Mean Absolute Percentage Error): Es la media de los errores porcentuales
en valor absoluto, no considera el signo del error slo la magnitud. El MAPE es una de
las medidas ms utilizadas a nivel mundial, pero no se recomienda para la seleccin
de un mtodo de pronstico puesto que sta presenta sesgos que favorece a los
pronsticos que estn por debajo de los valores reales.
WMAPE (Weighted Mean Absolute Percentage Error): Es el MAPE ponderado por
el peso de las ventas, compras o servicios ofrecidos. Es un indicador muy
recomendado ya que la ponderacin del total minimiza los efectos de productos con
grandes variaciones pero con poco impacto en los valores reales. Pero presenta los
mismos problemas que el MAPE.
c) Medida de Precisin
En esta seccin se hace referencia a la segunda porcin de informacin denominada
datos de prediccin que se describe en el nmero 1 de este artculo. Recuerde que
tenemos que probar que tan efectivo fue el modelo o los modelos seleccionados para
pronosticar. En seguida se muestran varias alternativas para evaluar la efectividad del
modelo seleccionado para pronosticar tales como el FA (forecast accuracy), el
coeficiente U de Theil, el AIC y el BIC. La seleccin depender siempre de los
resultados esperados en la organizacin y de la experiencia del planeador.
FA (forecast accuracy)
La forma ms comn de medir la precisin de un pronstico (forecast accuracy) es
comparar los resultados del pronstico contra los valores reales del siguiente periodo.
El objetivo es encontrar valores cercanos a 1 para emitir juicios favorables sobre el
modelo de pronstico seleccionado. La frmula utilizada para este efecto es:
n
Y
Y Y
MAPE
n
t t
t t
=
.
=
1
=
.
=
t
n
t
t
t
t t
Y
Y
Y
Y Y
WMAPE
1
*
FA (forecast accuracy) = 1 e
t
a(%)
6
Aun cuando sta es la una de las medidas ms utilizada entre los pronosticadores,
slo se recomienda utilizarla en el corto plazo (no ms de tres periodos) ya que
existen otros criterios que nos pueden ayudar a encontrar cul modelo pronostica
mejor a periodos ms largos. Recuerde que si el modelo seleccionado se ajust muy
bien a los datos histricos no necesariamente es igual de efectivo en el momento de
pronosticar.
U de Theil
El coeficiente de desigualdad U de Theil es otra medida que permite analizar la
efectividad del modelo seleccionado en la prediccin. Recuerde que las medidas de
errores absolutos en lugar de los cuadrticos, suelen presentar sesgos y stos ltimos
penalizan en mayor medida los errores grandes. La eleccin depender de la
importancia que se les d a los grandes errores. El coeficiente de desigualdad U de
Theil presenta una solucin para estos escenarios. Si el valor de U es cercano a cero,
supone una prediccin perfecta. Su formulacin est basada en la diferencia
cuadrtica que existe entre las tasas de crecimiento de la variable real y la estimada.
Este coeficiente se puede utilizar para evaluar la efectividad del pronstico a mediano
plazo
AIC (Akaike Information Criterion)
Esta herramienta penaliza la complejidad del modelo tomando en cuenta el nmero de
variables y se utiliza para seleccionar el mejor modelo dentro del conjunto de los
mismos datos. Los mtodos de Box & Jenkins tiene esta caracterstica, ya que utilizan
valores reales y anteriores de la variables independiente para producir pronsticos
precisos a corto plazo. La solucin dada por Akaike es elegir como funcin de prdida
(o criterio de especicacin) el mnimo del criterio de informacin.
)
BIC (Bayesian Information Criterion)
El criterio BIC de Schwarz penaliza con mayor intensidad modelos ms complejos y
con mayor nmero de variables, por lo que se dice que es ms consistente. Por el
contrario el criterio de Akaike es asintticamente eficiente, ya que a medida que
aumenta el nmero de variable su eficiencia para medir la efectividad de la precisin
no mejora.
7
La eficiencia asinttica tiene que ver con la hiptesis de que la realidad es mucho ms
complicada que cualquier modelo considerado por lo que, al aumentar el nmero de
observaciones tambin debiera aumentarse el nmero de modelos en el conjunto
considerado. Poler et al (2007)
Tanto en el criterio AIC y el BIC, k son el nmero de variables del modelo, n el
nmero de observaciones y e
t
el error de pronstico en el perodo t. Cuando se
utilizan estos criterios, se selecciona el modelo que presenta el valor ms pequeo.
Otros criterios de evaluacin:
Si bien la precisin es una cualidad importante en la seleccin de un modelo de
pronstico, no es la nica que a considerar en la seleccin y evaluacin de un modelo de
pronstico. Las caractersticas de la informacin como: 1) El tamao o el horizonte de
tiempo de los datos histricos, 2) el comportamiento de la informacin y 3) el tipo de
relacin del pronstico tambin deben considerarse en la eleccin.
El horizonte de tiempo limita la bsqueda del modelo. Algunos modelos se utilizan para
calcular pronsticos a corto plazo (de uno a tres meses) como los modelos de atenuacin
exponencial. Los modelos de descomposicin y ARIMA son tiles para el mediano plazo,
mientras que los economtricos funcionan bien a mediano y largo plazo.
El comportamiento de la informacin tambin es til para limitar la bsqueda del modelo.
Por ejemplo si los datos histricos presentan estacionalidad no todos los modelos de
pronstico tienen esta funcionalidad. Winters o Box & Jenkins seran los ms
recomendables.
Por ltimo existen tres tipos de relaciones que limitan tambin esta bsqueda: 1) Si la
serie es nica y el pronstico se obtiene a partir de su propio pasado, 2) Si la serie es no
causal y el pronstico se obtiene a partir de otras bases histricas, y 3) Si la serie es
causal en donde los pronsticos son obtenidos a partir de otras variables que estn
relacionadas causalmente.
8
Conclusiones y recomendaciones
Como se expuso en este artculo, si usted busca seleccionar el modelo que mejor ajusta a
sus datos histricos, no use el MAPE, ni el WMAPE estos son indicadores de
interpretacin relativos y tienden a presentar sesgos. El MSE o la RMSE presentan
mejores resultados para dicho efecto. Al seleccionar un modelo de pronsticos compare
precisin contra pertinencia y no olvide el costo que esto representa. Recuerde que no
siempre los modelos ms complicados son ms precisos que los ms simples y por lo
general menos costosos. Tal vez no posea un criterio nico para juzgar la seleccin de un
modelo en ciertas situaciones, en cualquier caso es necesario contar con varios de ellos y
siempre dependern de lo que se va a pronosticar y de la experiencia del pronosticador.
Dependiendo del uso que se le d en la empresa a las predicciones a corto, a medio y a
largo plazo, la importancia del horizonte de prediccin debe ser tomada en cuenta a la
hora de definir un criterio de seleccin de modelos. Es posible que sea ms adecuado un
modelo de pronstico que tengo menor efectividad en el corto y mayor al mediando plazo
y viceversa.
Nos vemos en el siguiente artculo.
TG
Bibliografa de apoyo
Box, G.E., Jenkins, G.M., 1970. Time Series Analysis: Forecasting and Control, Holden-Day, San
Francisco.
Croston, J.D., 1972. Forecasting and stock control for intermittent demands, Operational Research
Quarterly, 23, pp. 289303.
Fildes, R., & Makridakis, S., 1995. The impact of empirical accuracy studies on time series analysis
and forecasting, International Statistical Review 63, 289-30.
Makridakis, S., Hibon, M., 2000. The M3-Competition: results, conclusions and implications
International Journal of Forecasting, 16, pp. 451476.
Makridakis, S., Wheelright, S.C., Hyndman, 1998. Forecasting: Methods and Applications. Wiley.
Poler, R., Mula, J., Peidro D., Toms, J.V., 2006. PROGNOS: Un sistema de soporte al proceso de
previsin de demanda. X Congreso de Ingeniera de Organizacin.