Cuatro tipos generales de métricas de error 

1. Error dependiente de la escala

2. Error porcentual

3. Error relativo

4. Error sin escala

Observación: Las métricas dependientes de la escala se expresan en las unidades de la variable pronosticada. Los otros tres se expresan como porcentajes.

1. Métricas de error dependientes de la escala

• Error absoluto medio (MAE), también conocido como desviación absoluta media (MAD)
• Error absoluto medio (MdAE)
• Error cuadrático medio (RMSE)

• Estas métricas expresan el error en las unidades originales de los datos.
  • Ej: unidades, cajas, barriles, kilogramos, dólares, litros, etc.
• Dado que los pronósticos pueden ser demasiado altos o demasiado bajos, los signos de los errores serán positivos o negativos, lo que permitirá cancelaciones no deseadas.
  • Ej: no desea que los errores de +50 y -50 se cancelen y muestren "sin error".
• Para lidiar con el problema de la cancelación, estas métricas eliminan los signos negativos elevando al cuadrado o utilizando el valor absoluto.

2. Métrica de porcentaje de error

• Error porcentual absoluto medio (MAPE)
  

• Esta métrica expresa el tamaño del error como porcentaje del valor real de la variable pronosticada.
• La ventaja de este enfoque es que deja claro de inmediato si el error es importante o no.
• Ej: Supongamos que el MAE es de 100 unidades. ¿Es horrible un error típico de 100 unidades? ¿OK? ¿estupendo?
• La respuesta depende del tamaño de la variable que se pronostica. Si el valor real es 100, entonces un MAE = 100 es tan grande como lo que se pronostica. Pero si el valor real es 10,000, entonces un MAE = 100 muestra una gran precisión, ya que el MAPE es solo 1% del real.

3. Métrica de error relativo

• Error absoluto relativo mediano (MdRAE)

• ¿Relativo a qué? A un pronóstico de referencia.
• ¿Qué punto de referencia? Por lo general, el pronóstico "ingenuo".
• ¿Cuál es el pronóstico ingenuo? Próximo valor de previsión = último valor real.
• ¿Por qué utilizar el pronóstico ingenuo? Porque si no puedes vencer eso, estás en una forma difícil.

4. Métrica de error sin escala

• Error escalado relativo mediano (MdRSE)
  

• Esta métrica expresa el error de pronóstico absoluto como un porcentaje del nivel natural de aleatoriedad (volatilidad) en los datos.
• La volatilidad se mide por el tamaño promedio del cambio en la variable pronosticada de un período de tiempo al siguiente.
  • (Esto es lo mismo que el error cometido por el pronóstico ingenuo).
• ¿En qué se diferencia esta métrica de la MdRAE anterior?
  • Ambos usan el pronóstico ingenuo, pero esta métrica usa errores al pronosticar el historial de demanda, mientras que MdRAE usa errores al pronosticar valores futuros.
  • Esto es importante porque normalmente hay muchos más valores históricos que pronósticos.
  • A su vez, eso es importante porque esta métrica "explotaría" si todos los datos fueran cero, lo que es menos probable cuando se usa el historial de demanda.

El problema especial de la demanda intermitente

• La demanda "intermitente" tiene muchas demandas cero mezcladas con demandas aleatorias distintas de cero.
• MAPE se arruina cuando los errores se dividen por cero.
• MdRAE también puede arruinarse.
• Es menos probable que MdSAE se arruine.

Resumen y comentarios

• Las métricas de pronóstico son ayudas necesarias para monitorear y mejorar la precisión del pronóstico.
• Hay dos clases principales de métricas: absolutas y relativas.
• Las medidas absolutas (MAE, MdAE, RMSE) son opciones naturales al evaluar los pronósticos de un artículo.
• Las medidas relativas (MAPE, MdRAE, MdSAE) son útiles al comparar la precisión entre elementos o entre pronósticos alternativos del mismo elemento o al evaluar la precisión en relación con la variabilidad natural de un elemento.
• La demanda intermitente presenta problemas de división por cero que favorecen a MdSAE sobre MAPE.
• Al evaluar los pronósticos de varios artículos, a menudo tiene sentido usar promedios ponderados, ponderando los artículos de manera diferente por volumen o ingresos.

MENSAJES RECIENTES