Repensar la precisión del pronóstico: un cambio de la precisión a las métricas de error

Sin lugar a dudas, medir la precisión de los pronósticos es una parte importante del proceso de planificación de la demanda. Este cuadro de mando de pronóstico podría construirse basándose en uno de dos puntos de vista contrastantes para calcular métricas. El punto de vista del error pregunta: "¿a qué distancia estaba el pronóstico de lo real?" El punto de vista de la precisión pregunta: "¿Qué tan cerca estuvo el pronóstico de lo real?" Ambas son válidas, pero las métricas de error proporcionan más información.

La precisión se representa como un porcentaje entre cero y 100, mientras que los porcentajes de error comienzan en cero pero no tienen límite superior. Los informes de MAPE (error porcentual absoluto medio) u otras métricas de error pueden denominarse informes de “precisión del pronóstico”, lo que desdibuja la distinción. Por lo tanto, es posible que desee saber cómo pasar del punto de vista del error al punto de vista de la precisión que defiende su empresa. Este blog describe cómo con algunos ejemplos.

Las métricas de precisión se calculan de manera que cuando lo real es igual al pronóstico, la precisión es 100% y cuando el pronóstico es el doble o la mitad de lo real, entonces la precisión es 0%. Los informes que comparan el pronóstico con el real a menudo incluyen lo siguiente:

  • El actual
  • La previsión
  • Error unitario = Pronóstico – Real
  • Error absoluto = Valor absoluto del error unitario
  • Error absoluto % = Error Abs / Real, como %
  • Precisión % = 100% – Error absoluto %

Mire un par de ejemplos que ilustran la diferencia en los enfoques. Digamos que Real = 8 y el pronóstico es 10.

El error de unidad es 10 – 8 = 2

Error absoluto de % = 2/8, como % = 0,25 * 100 = 25%

Precisión = 100% – 25% = 75%.

Ahora digamos que el real es 8 y el pronóstico es 24.

El error de unidad es 24– 8 = 16

Error absoluto de % = 16/8 como % = 2 * 100 = 200%

Precisión = 100% – 200% = negativo se establece en 0%.

En el primer ejemplo, las mediciones de precisión proporcionan la misma información que las mediciones de error, ya que el pronóstico y lo real ya están relativamente cerca. Pero cuando el error es más del doble del real, las mediciones de precisión llegan a cero. Indica correctamente que el pronóstico no era del todo exacto. Pero el segundo ejemplo es más preciso que el tercero, donde el valor real es 8 y el pronóstico es 200. Esa es una distinción que un rango de precisión de 0 a 100% no registra. En este último ejemplo:

El error de unidad es 200 – 8 = 192

Error absoluto de % = 192/8, como % = 24 * 100 = 2,400%

Precisión = 100% – 2,400% = negativo se establece en 0%.

Las métricas de error continúan proporcionando información sobre qué tan lejos está el pronóstico de lo real y posiblemente representan mejor la precisión del pronóstico.

Alentamos a adoptar el punto de vista del error. Simplemente espera que un pequeño porcentaje de error indique que el pronóstico no estuvo lejos de lo real, en lugar de esperar un gran porcentaje de precisión para indicar que el pronóstico estuvo cerca de lo real. Este cambio de mentalidad ofrece los mismos conocimientos y al mismo tiempo elimina las distorsiones.

 

 

 

 

Una introducción suave a dos técnicas avanzadas: Bootstrapping estadístico y simulación de Monte Carlo

Resumen

El análisis avanzado de la cadena de suministro de Smart Software explota múltiples métodos avanzados. Dos de los más importantes son el “bootstrapping estadístico” y la “simulación Monte Carlo”. Dado que ambos involucran muchos números aleatorios que vuelan, la gente a veces se confunde acerca de cuál es cuál y para qué sirven. Por eso, esta nota. En pocas palabras: el arranque estadístico genera escenarios de demanda para la previsión. La simulación de Monte Carlo utiliza los escenarios para la optimización del inventario.

arranque

Bootstrapping, también llamado "remuestreo", es un método de estadísticas computacionales que utilizamos para crear escenarios de demanda para la previsión. La esencia del problema de pronóstico es exponer los posibles futuros que su empresa podría enfrentar para que pueda averiguar cómo administrar los riesgos comerciales. Los métodos de pronóstico tradicionales se enfocan en calcular los futuros "más probables", pero no llegan a presentar el panorama completo del riesgo. Bootstrapping proporciona un número ilimitado de escenarios hipotéticos realistas.

Bootstrapping hace esto sin hacer suposiciones poco realistas sobre la demanda, es decir, que no es intermitente o que tiene una distribución de tamaños en forma de campana. Esas suposiciones son muletas para simplificar las matemáticas, pero el arranque es un procedimiento, no una ecuación, por lo que no necesita tales simplificaciones.

Para el tipo de demanda más simple, que es una aleatoriedad estable sin estacionalidad ni tendencia, el arranque es muy fácil. Para tener una idea razonable de cuál podría ser el valor de una sola demanda futura, elija una de las demandas históricas al azar. Para crear un escenario de demanda, haga múltiples selecciones aleatorias del pasado y únalas. Hecho. Es posible agregar un poco más de realismo "variando" los valores de demanda, es decir, agregando o restando un poco de aleatoriedad adicional a cada uno, pero incluso eso es simple.

La figura 1 muestra un arranque simple. La primera línea es una secuencia corta de la demanda histórica de un SKU. Las siguientes líneas muestran escenarios de demanda futura creados al seleccionar aleatoriamente valores del historial de demanda. Por ejemplo, las siguientes tres demandas pueden ser (0, 14, 6), o (2, 3, 5), etc.

Bootstrapping Estadístico y Simulación Monte Carlo 1

Figura 1: Ejemplo de escenarios de demanda generados por un arranque simple

 

Las operaciones de mayor frecuencia, como los pronósticos diarios, traen consigo patrones de demanda más complejos, como la doble estacionalidad (p. ej., día de la semana y mes del año) y/o tendencia. Esto nos desafió a inventar una nueva generación de algoritmos de arranque. Recientemente obtuvimos una patente de EE. UU. para este avance, pero la esencia es la descrita anteriormente.

Simulación del Monte Carlo

Montecarlo es famoso por sus casinos que, al igual que el bootstrapping, invocan la idea de la aleatoriedad. Los métodos de Monte Carlo se remontan a mucho tiempo atrás, pero el ímpetu moderno vino con la necesidad de hacer algunos cálculos peludos sobre dónde volarían los neutrones cuando explota una bomba atómica.

La esencia del análisis de Monte Carlo es esta: “Nuestro problema es demasiado complicado para analizarlo con ecuaciones de papel y lápiz. Entonces, escribamos un programa de computadora que codifique los pasos individuales del proceso, coloque los elementos aleatorios (por ejemplo, en qué dirección se dispara un neutrón), déle cuerda y observe cómo funciona. Dado que hay mucha aleatoriedad, ejecutemos el programa un millón de veces y promediemos los resultados”.

Al aplicar este enfoque a la gestión de inventario, tenemos un conjunto diferente de eventos que ocurren aleatoriamente: por ejemplo, una demanda de un tamaño determinado llega un día aleatorio, un reabastecimiento de un tamaño determinado llega después de un tiempo de espera aleatorio, recortamos un PO de reabastecimiento de un tamaño determinado cuando las existencias caen hasta un punto de pedido determinado o por debajo de él. Codificamos la lógica que relaciona estos eventos en un programa. Lo alimentamos con una secuencia de demanda aleatoria (consulte el arranque anterior), ejecutamos el programa durante un tiempo, digamos un año de operaciones diarias, calculamos métricas de rendimiento como Tasa de llenado y Promedio de inventario disponible, y "tiramos los dados" volviendo a ejecutar el programa muchas veces y promediando los resultados de muchos años simulados. El resultado es una buena estimación de lo que sucede cuando tomamos decisiones gerenciales clave: “Si establecemos el punto de reorden en 10 unidades y la cantidad de la orden en 15 unidades, podemos esperar obtener un nivel de servicio de 89% y un promedio disponible de 21 unidades.” Lo que la simulación está haciendo por nosotros es exponer las consecuencias de las decisiones de gestión basadas en escenarios de demanda realistas y matemáticas sólidas. Las conjeturas se han ido.

La figura 2 muestra parte del funcionamiento interno de una simulación de Monte Carlo de un sistema de inventario en cuatro paneles. El sistema utiliza una política de control de inventario Min/Max con Min=10 y Max=25. No se permiten pedidos atrasados: tienes el bien o pierdes el negocio. Los plazos de entrega del reabastecimiento suelen ser de 7 días, pero a veces de 14. Esta simulación duró un año.

El primer panel muestra un escenario complejo de demanda aleatoria en el que no hay demanda los fines de semana, pero la demanda generalmente aumenta cada día de lunes a viernes. El segundo panel muestra el número aleatorio de unidades disponibles, que sube y baja con cada ciclo de reabastecimiento. El tercer panel muestra los tamaños aleatorios y los tiempos de los pedidos de reposición que llegan del proveedor. El panel final muestra la demanda insatisfecha que pone en peligro las relaciones con los clientes. Este tipo de detalle puede ser muy útil para comprender mejor la dinámica de un sistema de inventario.

Bootstrapping estadístico y simulación Monte Carlo 2

Figura 2: Detalles de una simulación de Monte Carlo

 

La Figura 2 muestra solo una de las innumerables formas en que podría desarrollarse el año. Generalmente, queremos promediar los resultados de muchos años simulados. Después de todo, nadie lanzaría una moneda al aire una vez para decidir si era una moneda justa. La Figura 3 muestra cómo cuatro métricas de rendimiento clave (KPI) varían de un año a otro para este sistema. Algunas métricas son relativamente estables en todas las simulaciones (tasa de llenado), pero otras muestran una variabilidad más relativa (costo operativo = costo de mantenimiento + costo de pedido + costo de escasez). Observando los gráficos, podemos estimar que las opciones de Min=10, Max=25 conducen a un costo operativo promedio de alrededor de $3,000 por año, una tasa de llenado de alrededor de 90%, un nivel de servicio de alrededor de 75% y un promedio de encendido. mano de unos 10

Bootstrapping estadístico y simulación Monte Carlo 3

Figura 3: Variación en los KPI calculados durante 1000 años simulados

 

De hecho, ahora es posible responder a una pregunta de gestión de mayor nivel. Podemos ir más allá de "¿Qué pasará si hago tal y tal cosa?" a “¿Cuál es el mejor ¿Qué puedo hacer para lograr una tasa de relleno de al menos 90% para este artículo al costo más bajo posible? El matemágica  detrás de este salto hay otra tecnología clave llamada "optimización estocástica", pero nos detendremos aquí por ahora. Baste decir que el software SIO&P de Smart puede buscar en el "espacio de diseño" de los valores mínimo y máximo para encontrar automáticamente la mejor opción.

 

6 observaciones sobre los procesos exitosos de pronóstico de la demanda

1. Pronosticar es un arte que requiere una combinación de juicio profesional y análisis estadístico objetivo. Los pronósticos de demanda exitosos requieren una predicción de referencia que aproveche los métodos de pronóstico estadístico. Una vez establecido, el proceso puede centrarse en la mejor manera de ajustar los pronósticos estadísticos en función de sus propios conocimientos y conocimientos comerciales.

2. El proceso de pronóstico suele ser iterativo. Es posible que deba realizar varios ajustes a su pronóstico inicial antes de estar satisfecho. Es importante poder generar y comparar pronósticos alternativos de forma rápida y sencilla. El seguimiento de la precisión de estos pronósticos a lo largo del tiempo, incluidas las alternativas que no se utilizaron, ayuda a informar y mejorar el proceso.

3. La credibilidad de los pronósticos depende en gran medida de las comparaciones gráficas con datos históricos. Una imagen vale más que mil palabras, por lo tanto, muestre siempre los pronósticos a través de pantallas gráficas disponibles al instante con informes numéricos de apoyo.

4. Una de las principales tareas técnicas en el pronóstico es hacer coincidir la elección de la técnica de pronóstico con la naturaleza de los datos. Los procesos efectivos de previsión de la demanda emplean capacidades que identifican el método correcto a utilizar. Las características de una serie de datos como tendencia, estacionalidad o cambios abruptos en el nivel sugieren ciertas técnicas en lugar de otras. Una selección automática, que selecciona y utiliza automáticamente el método de previsión adecuado, ahorra tiempo y garantiza que su previsión de referencia sea lo más precisa posible.

5. Los procesos exitosos de pronóstico de la demanda funcionan en conjunto con otros procesos comerciales. Por ejemplo, la previsión puede ser un primer paso esencial en el análisis financiero. Además, las previsiones precisas de demanda de productos y ventas son entradas fundamentales para los procesos de control de inventario y planificación de la producción de una empresa de fabricación.

6. Un buen proceso de planificación reconoce que los pronósticos nunca son exactamente correctos. Debido a que algunos errores se infiltran incluso en el mejor proceso de pronóstico, uno de los complementos más útiles para un pronóstico son las estimaciones honestas de su margen de error y sesgo de pronóstico.

 

 

 

 

¿Qué hace un pronóstico probabilístico?

¿Qué es todo el alboroto en torno al término "pronóstico probabilístico"? ¿Es solo un término de marketing más reciente que algunos proveedores de software y consultores han acuñado para fingir innovación? ¿Hay alguna diferencia tangible real en comparación con las técnicas anteriores de "mejor ajuste"? ¿No son todos los pronósticos probabilísticos de todos modos?

Para responder a esta pregunta, es útil pensar en lo que realmente le dice el pronóstico en términos de probabilidades. Un pronóstico "bueno" debe ser imparcial y, por lo tanto, arrojar una probabilidad de 50/50 de ser mayor o menor que el real. Un pronóstico "malo" generará amortiguadores subjetivos (o deprimirá artificialmente el pronóstico) y dará como resultado una demanda sesgada hacia arriba o hacia abajo. Considere a un vendedor que reduce intencionalmente su pronóstico al no informar las ventas que espera cerrar para ser "conservador". Sus pronósticos tendrán un sesgo de pronóstico negativo ya que los datos reales casi siempre serán más altos de lo que predijeron. Por otro lado, considere un cliente que proporciona un pronóstico inflado a su fabricante. Preocupados por los desabastecimientos, sobrestiman la demanda para asegurar su suministro. Su pronóstico tendrá un sesgo positivo ya que los datos reales casi siempre serán más bajos de lo que predijeron. 

Estos tipos de pronósticos de un número descritos anteriormente son problemáticos. Nos referimos a estas predicciones como "pronósticos puntuales", ya que representan un punto (o una serie de puntos a lo largo del tiempo) en un gráfico de lo que podría suceder en el futuro. No brindan una imagen completa porque para tomar decisiones comerciales efectivas, como determinar cuánto inventario almacenar o la cantidad de empleados disponibles para respaldar la demanda, se requiere información detallada sobre cuánto más bajo o más alto será el real. En otras palabras, necesita las probabilidades de cada posible resultado que podría ocurrir. Entonces, por sí mismo, el pronóstico puntual no es probabilístico.   

Para obtener un pronóstico probabilístico, debe conocer la distribución de las posibles demandas en torno a ese pronóstico. Una vez que calcula esto, el pronóstico se convierte en "probabilidad". La forma en que los sistemas de pronóstico y los profesionales, como planificadores de demanda, analistas de inventario, gerentes de materiales y directores financieros, determinan estas probabilidades es el núcleo de la pregunta: "¿qué hace que un pronóstico sea probabilístico?"     

Distribuciones normales
La mayoría de los pronósticos y los sistemas/software que los producen comienzan con una predicción de la demanda. Luego, calculan el rango de posibles demandas en torno a ese pronóstico al hacer suposiciones teóricas incorrectas sobre la distribución. Si alguna vez usó un "intervalo de confianza" en su software de pronóstico, esto se basa en una distribución de probabilidad alrededor del pronóstico. La forma en que se determina este rango de demanda es asumiendo un tipo particular de distribución. La mayoría de las veces esto significa asumir una forma de campana, también conocida como distribución normal. Cuando la demanda es intermitente, algunos sistemas de optimización de inventario y previsión de la demanda pueden suponer que la demanda tiene forma de Poisson. 

Después de crear el pronóstico, la distribución supuesta se aplica alrededor del pronóstico de demanda y luego tiene su estimación de probabilidades para cada demanda posible, es decir, un "pronóstico probabilístico". Estas estimaciones de la demanda y las probabilidades asociadas se pueden usar para determinar valores extremos o cualquier valor intermedio si se desea. Los valores extremos en los percentiles superiores de la distribución (es decir, 92%, 95%, 99%, etc.) se utilizan con mayor frecuencia como entradas para los modelos de control de inventario. Por ejemplo, los puntos de pedido de piezas de repuesto críticas en una empresa de servicios eléctricos pueden planificarse en función de un nivel de servicio de 99,51 TP3T o incluso superior. Mientras que una pieza de servicio no crítica podría planificarse en un nivel de servicio 85% o 90%.

El problema de hacer suposiciones sobre la distribución es que estas probabilidades se equivocarán. Por ejemplo, si la demanda no se distribuye normalmente pero está forzando una curva normal/en forma de campana en el pronóstico, entonces, ¿cómo es posible que las probabilidades sean incorrectas? Específicamente, es posible que desee saber el nivel de inventario necesario para lograr una probabilidad 99% de no quedarse sin existencias y la distribución normal le indicará que almacene 200 unidades. Pero cuando se compara con la demanda real, descubre que 200 unidades solo llenaron la demanda por completo en 40/50 observaciones. Entonces, en lugar de obtener un nivel de servicio 99%, ¡solo logró un nivel de servicio 80%! Esta es una falla gigantesca que resulta de intentar encajar una clavija cuadrada en un agujero redondo. El error lo habría llevado a tomar una reducción de inventario incorrecta.

Las distribuciones estimadas empíricamente son inteligentes
Para producir un pronóstico probabilístico inteligente (lectura precisa), primero debe estimar la distribución de la demanda empíricamente sin suposiciones ingenuas sobre la forma de la distribución. Smart Software hace esto mediante la ejecución de decenas de miles de escenarios simulados de demanda y tiempo de entrega. Nuestra solución aprovecha técnicas patentadas que incorporan simulación Monte Carlo, Bootstrapping estadístico y otros métodos. Los escenarios están diseñados para simular la incertidumbre y la aleatoriedad de la vida real tanto de la demanda como de los plazos de entrega. Las observaciones históricas reales se utilizan como entradas principales, pero la solución también le dará la opción de simular a partir de valores no observados. Por ejemplo, el hecho de que 100 unidades hayan sido la demanda histórica máxima no significa que esté garantizado alcanzar un máximo de 100 en el futuro. Después de terminar los escenarios, sabrá la probabilidad exacta de cada resultado. El pronóstico “puntual” se convierte entonces en el centro de esa distribución. Cada período futuro a lo largo del tiempo se expresa en términos de la distribución de probabilidad asociada con ese período.

Líderes en Pronóstico Probabilístico
Smart Software, Inc. fue la primera empresa en introducir el arranque estadístico como parte de un sistema de software de pronóstico de demanda disponible comercialmente hace veinte años. En ese momento se nos otorgó una patente de EE. UU. y se nos nombró finalista en los Premios a la Excelencia Corporativa APICS para la Innovación Tecnológica. Nuestro Investigación patrocinada por la NSF que condujo a este y otros descubrimientos fueron fundamentales para avanzar en la previsión y la optimización del inventario. Estamos comprometidos con la innovación continua, y usted puede encuentre más información sobre nuestra patente más reciente aquí.

 

 

Una guía práctica para desarrollar un proceso de pronóstico profesional

Muchas empresas que buscan mejorar su proceso de pronóstico no saben por dónde empezar. Puede ser confuso lidiar con el aprendizaje de nuevos métodos estadísticos, asegurarse de que los datos estén correctamente estructurados y actualizados, acordar quién es el "propietario" del pronóstico, definir qué significa propiedad y medir la precisión. Habiendo visto esto durante más de cuarenta años de práctica, escribimos este blog para delinear el enfoque central y alentarlo a mantenerlo simple desde el principio.

1. Objetividad. Primero, comprenda y comunique que el proceso de Planificación y Pronóstico de la Demanda es un ejercicio de objetividad. El enfoque está en obtener aportes de varias fuentes (partes interesadas, clientes, gerentes funcionales, bases de datos, proveedores, etc.) y decidir si esos aportes agregan valor. Por ejemplo, si anula un pronóstico estadístico y agrega 20% a la proyección, no debe simplemente asumir que lo hizo correctamente automáticamente. En su lugar, sea objetivo y verifique si eso anula el aumento o la disminución de la precisión del pronóstico. Si descubre que sus anulaciones empeoraron las cosas, ha ganado algo: esto informa el proceso y sabe cómo analizar mejor las decisiones de anulación en el futuro.

2. Trabajo en equipo. Reconocer que la previsión y la planificación de la demanda son deportes de equipo. Acuerde quién será el capitán del equipo. El capitán es responsable de crear los pronósticos estadísticos de referencia y de supervisar el proceso de planificación de la demanda. Pero los resultados dependen de que todos los miembros del equipo realicen contribuciones positivas, proporcionen datos, sugieran metodologías alternativas, cuestionen las suposiciones y ejecuten las acciones recomendadas. Los resultados finales son propiedad de la empresa y de cada una de las partes interesadas.

3. Medición. No se obsesione con los puntos de referencia de precisión de los pronósticos de la industria. Cada SKU tiene su propio nivel de "previsibilidad", y es posible que esté gestionando cualquier número de elementos difíciles. En su lugar, cree sus propios puntos de referencia basados en una secuencia de métodos de pronóstico cada vez más avanzados. Los pronósticos estadísticos avanzados pueden parecer abrumadoramente complejos al principio, así que comience de manera simple con un método básico, como pronosticar la demanda promedio histórica. Luego, mida qué tan cerca está ese pronóstico simple de la demanda real observada. A partir de ahí, desarrolle técnicas que se ocupen de complicaciones como la tendencia y la estacionalidad. Mida el progreso utilizando métricas de precisión calculadas por su software, como el error porcentual absoluto medio (MAPE). Esto permitirá que su empresa mejore un poco cada ciclo de pronóstico.

4. Tiempo. Luego concentre sus esfuerzos en hacer que la previsión sea un proceso independiente que no se combine con el complejo proceso de optimización del inventario. La gestión de inventario se basa en una sólida previsión de la demanda, pero se centra en otros temas: qué comprar, cuándo comprar, cantidades mínimas de pedido, existencias de seguridad, niveles de inventario, plazos de entrega de los proveedores, etc. Deje que la gestión de inventario pase a más adelante . Primero construya "músculo de pronóstico" creando, revisando y evolucionando el proceso de pronóstico para tener una cadencia regular. Cuando su proceso haya madurado lo suficiente, póngase al día con la velocidad creciente de los negocios aumentando el ritmo de su proceso de previsión a una cadencia mensual como mínimo.

Observaciones

Revisar el proceso de previsión de una empresa puede ser un paso importante. A veces sucede cuando hay rotación de ejecutivos, a veces cuando hay un nuevo sistema ERP, a veces cuando hay un nuevo software de pronóstico. Cualquiera que sea el evento precipitante, este cambio es una oportunidad para repensar y refinar cualquier proceso que haya tenido antes. Pero tratar de comerse todo el elefante de una sola vez es un error. En este blog, describimos algunos pasos discretos que puede seguir para lograr una evolución exitosa hacia un mejor proceso de pronóstico.