La precisión del pronóstico es una métrica clave para juzgar la calidad de su proceso de planificación de la demanda. (No es el único. Otros incluyen oportunidad y costo; Ver 5 consejos de planificación de la demanda para calcular la incertidumbre del pronóstico.) Una vez que tenga los pronósticos, hay varias formas de resumir su precisión, generalmente designados por acrónimos oscuros de tres o cuatro letras como MAPE, RMSE y MAE. Ver Cuatro formas útiles de medir el error de pronóstico para más detalles.
Un tema menos discutido pero más fundamental es cómo se organizan los experimentos computacionales para calcular el error de pronóstico. Esta publicación compara los tres diseños experimentales más importantes. Uno de ellos es de la vieja escuela y esencialmente equivale a hacer trampa. Otro es el patrón oro. Un tercero es un recurso útil que imita el patrón oro y se considera mejor como una predicción de cómo resultará el patrón oro. La figura 1 es una vista esquemática de los tres métodos.
Figura 1: Tres formas de evaluar el error de pronóstico
El panel superior de la Figura 1 muestra la forma en que se evaluó el error de pronóstico a principios de la década de 1980 antes de que moviéramos el estado del arte al esquema que se muestra en el panel central. En los viejos tiempos, los pronósticos se evaluaban con los mismos datos que se usaban para calcular los pronósticos. Después de ajustar un modelo a los datos, los errores calculados no eran para los pronósticos del modelo sino para el modelo. encaja. La diferencia es que los pronósticos son para valores futuros, mientras que los ajustes son para valores concurrentes. Por ejemplo, suponga que el modelo de pronóstico es un promedio móvil simple de las tres observaciones más recientes. En el momento 3, el modelo calcula el promedio de las observaciones 1, 2 y 3. Este promedio luego se compararía con el valor observado en el momento 3. Llamamos a esto hacer trampa porque el valor observado en el momento 3 obtuvo un voto sobre el pronóstico. debería ser en el momento 3. Una evaluación de pronóstico real compararía el promedio de las primeras tres observaciones con el valor del próximo, cuarto, observación. De lo contrario, el pronosticador se queda con una evaluación demasiado optimista de la precisión del pronóstico.
El panel inferior de la Figura 1 muestra la mejor manera de evaluar la precisión del pronóstico. En este esquema, todos los datos históricos de demanda se utilizan para ajustar un modelo, que luego se utiliza para pronosticar valores de demanda futuros desconocidos. Eventualmente, el futuro se desarrolla, los verdaderos valores futuros se revelan y se pueden calcular los errores de pronóstico reales. Este es el estándar de oro. Esta información completa el informe de "pronósticos versus datos reales" en nuestro software.
El panel central representa una medida intermedia útil. El problema con el patrón oro es que debe esperar para saber qué tan bien funcionan los métodos de pronóstico elegidos. Este retraso no ayuda cuando se requiere elegir, en el momento, qué método de pronóstico usar para cada artículo. Tampoco proporciona una estimación oportuna de la incertidumbre del pronóstico que experimentará, lo cual es importante para la gestión de riesgos, como la cobertura del pronóstico. El camino intermedio se basa en el análisis de exclusión, que excluye (“excluye”) las observaciones más recientes y le pide al método de pronóstico que haga su trabajo sin conocer esas verdades fundamentales. Luego, los pronósticos basados en el historial de demanda abreviado se pueden comparar con los valores reales retenidos para obtener una evaluación honesta del error de pronóstico.
