Nauwkeurigheid van prognoses is een belangrijke maatstaf om de kwaliteit van uw vraagplanningsproces te beoordelen. (Het is niet de enige. Anderen omvatten tijdigheid en kosten; zie 5 Tips voor vraagplanning voor het berekenen van prognoseonzekerheid.) Zodra u prognoses heeft, zijn er een aantal manieren om hun nauwkeurigheid samen te vatten, meestal aangeduid met obscure drie- of vierletterige acroniemen zoals MAPE, RMSE en MAE. Zien Vier handige manieren om prognosefouten te meten voor meer informatie.

Een minder besproken maar meer fundamentele kwestie is hoe computationele experimenten worden georganiseerd voor het berekenen van voorspellingsfouten. Deze post vergelijkt de drie belangrijkste experimentele ontwerpen. Een van hen is ouderwets en komt in wezen neer op valsspelen. Een andere is de gouden standaard. Een derde is een handig hulpmiddel dat de gouden standaard nabootst en kan het beste worden gezien als een voorspelling van hoe de gouden standaard zal uitpakken. Figuur 1 is een schematische weergave van de drie methoden.

Afbeelding 1: Drie manieren om prognosefouten te beoordelen

Het bovenste paneel van figuur 1 geeft de manier weer waarop voorspellingsfouten werden beoordeeld in het begin van de jaren '80 voordat we de stand van de techniek verplaatsten naar het schema in het middelste paneel. Vroeger werden prognoses beoordeeld op dezelfde gegevens die werden gebruikt om de prognoses te berekenen. Nadat een model aan de gegevens was aangepast, waren de berekende fouten niet voor modelvoorspellingen maar voor model past bij. Het verschil is dat prognoses voor toekomstige waarden zijn, terwijl aanpassingen voor gelijktijdige waarden zijn. Stel dat het voorspellingsmodel een eenvoudig voortschrijdend gemiddelde is van de drie meest recente waarnemingen. Op tijdstip 3 berekent het model het gemiddelde van waarnemingen 1, 2 en 3. Dit gemiddelde wordt dan vergeleken met de waargenomen waarde op tijdstip 3. We noemen dit vals spelen omdat de waargenomen waarde op tijdstip 3 een stem kreeg over wat de voorspelling zou moeten zijn op tijdstip 3. Een echte prognosebeoordeling zou het gemiddelde van de eerste drie waarnemingen vergelijken met de waarde van de volgende, vierde, observatie. Anders blijft de voorspeller achter met een te optimistische beoordeling van de nauwkeurigheid van de voorspelling.

Het onderste paneel van figuur 1 toont de beste manier om de nauwkeurigheid van prognoses te beoordelen. In dit schema worden alle historische vraaggegevens gebruikt om in een model te passen, dat vervolgens wordt gebruikt om toekomstige, onbekende vraagwaarden te voorspellen. Uiteindelijk ontvouwt de toekomst zich, onthullen de werkelijke toekomstige waarden zich en kunnen werkelijke voorspellingsfouten worden berekend. Dit is de gouden standaard. Deze informatie wordt ingevuld in het rapport 'Prognoses versus actuals' in onze software.

Het middelste paneel toont een handige tussenmaat. Het probleem met de gouden standaard is dat u moet wachten om erachter te komen hoe goed de door u gekozen prognosemethoden presteren. Deze vertraging helpt niet wanneer u op dit moment moet kiezen welke prognosemethode u voor elk item wilt gebruiken. Het geeft ook geen tijdige inschatting van de prognoseonzekerheid die u zult ervaren, wat belangrijk is voor risicobeheer zoals het afdekken van prognoses. De middenweg is gebaseerd op hold-out-analyse, die de meest recente waarnemingen uitsluit (“holds out”) en de voorspellingsmethode vraagt zijn werk te doen zonder die grondwaarheden te kennen. Vervolgens kunnen de prognoses op basis van de verkorte vraaggeschiedenis worden vergeleken met de uitgestelde werkelijke waarden om een eerlijke beoordeling van de prognosefout te krijgen.

Als je de laatste tijd je hoofd omhoog hebt gehouden, heb je misschien wat extra waanzin opgemerkt op het basketbalveld: het falen van Silicon Valley Bank. Degenen onder ons in de supply chain-wereld hebben het bankfalen misschien afgedaan als het probleem van iemand anders, maar die spijtige episode bevat ook een grote les voor ons: het belang van stresstesten die goed worden uitgevoerd.

De Washington Post onlangs verscheen een opiniestuk van Natasha Sarin met de titel “Regulators misten de problemen van Silicon Valley Bank maandenlang. Dit is waarom." Sarin schetste de tekortkomingen in het stresstestregime dat de Federal Reserve aan de bank heeft opgelegd. Een probleem is dat de stresstesten te statisch zijn. De stressfactor van de Fed voor de nominale bbp-groei was één enkel scenario met de veronderstelde waarden voor de komende 13 kwartalen (zie figuur 1). Die 13 driemaandelijkse projecties zijn misschien iemands consensus over hoe een bad hair day eruit zou zien, maar dat is niet de enige manier waarop dingen zouden kunnen verlopen. Als samenleving wordt ons geleerd een betere manier te waarderen om onvoorziene omstandigheden weer te geven telkens wanneer de National Weather Service ons geprojecteerde orkaansporen laat zien (zie figuur 2). Elk scenario, weergegeven door een lijn met een andere kleur, toont een mogelijk stormpad, waarbij de geconcentreerde lijnen het meest waarschijnlijke pad vertegenwoordigen. Door de lagere waarschijnlijkheidspaden bloot te leggen, wordt de risicoplanning verbeterd.

Bij het stresstesten van de toeleveringsketen hebben we realistische scenario's nodig van mogelijke toekomstige eisen die zich kunnen voordoen, zelfs extreme eisen. Smart voorziet hierin in onze software (met aanzienlijke verbeteringen in onze Gen2 methodes). De software genereert een groot aantal geloofwaardige vraagscenario's, genoeg om de volledige omvang van de risico's bloot te leggen (zie figuur 3). Stresstesten hebben alles te maken met het genereren van enorme aantallen planningsscenario's, en de probabilistische methoden van Smart wijken radicaal af van eerdere deterministische S&OP-toepassingen, omdat ze volledig op scenario's zijn gebaseerd.

De andere fout in de stresstests van de Fed was dat ze maanden van tevoren waren ontworpen, maar nooit werden bijgewerkt voor veranderende omstandigheden. Vraagplanners en voorraadbeheerders begrijpen intuïtief dat sleutelvariabelen zoals de vraag naar artikelen en de doorlooptijd van leveranciers niet alleen zeer willekeurig zijn, zelfs wanneer de zaken stabiel zijn, maar ook onderhevig zijn aan abrupte verschuivingen die een snelle herschrijving van planningsscenario's vereisen (zie afbeelding 4, waar de gemiddelde vraag springt dramatisch omhoog tussen waarnemingen 19 en 20). Smart's Gen2-producten bevatten nieuwe technologie voor het detecteren van dergelijke "regime verandert' en dienovereenkomstig automatisch veranderende scenario's.

Banken worden gedwongen om stresstests te ondergaan, hoe gebrekkig ze ook mogen zijn, om hun spaarders te beschermen. Supply chain-professionals hebben nu een manier om hun supply chains te beschermen door moderne software te gebruiken om hun vraagplannen en voorraadbeheerbeslissingen aan een stresstest te onderwerpen.

Figuur 1: Scenario's die de Fed gebruikte om banken te stresstesten.

Figuur 2: Scenario's die door de National Weather Service worden gebruikt om orkaansporen te voorspellen

Afbeelding 3: Vraagscenario's van het type gegenereerd door Smart Demand Planner

Figuur 4: Voorbeeld van regimeverandering in productvraag na observatie #19

Er is één ding waar ik bijna elke dag aan herinnerd wordt bij Smart Software dat me een raadsel stelt: de meeste bedrijven begrijpen niet hoe prognoses worden gemaakt en hoe voorraadbeleid wordt bepaald. Het is een organisatorische zwarte doos. Hier is een voorbeeld van een recent verkoopgesprek:

Hoe voorspel je?
Wij gebruiken geschiedenis.

Hoe gebruik je geschiedenis?
Wat bedoel je?

Welnu, u kunt een gemiddelde nemen van het afgelopen jaar, de afgelopen twee jaar, het gemiddelde nemen van de meest recente perioden, of een ander type formule gebruiken om de prognose te genereren.
Ik ben er vrij zeker van dat we een gemiddelde van de laatste 12 maanden gebruiken.

Waarom 12 maanden in plaats van een andere hoeveelheid geschiedenis?
12 maanden is een goede hoeveelheid tijd om te gebruiken omdat het niet vertekend wordt door oudere gegevens, maar het is recent genoeg

Hoe weet je dat het nauwkeuriger is dan 18 maanden of een andere lengte van de geschiedenis te gebruiken?
We weten het niet. Wel passen we de prognoses aan op basis van feedback van sales.  

Weet u of de aanpassingen de zaken nauwkeuriger of minder nauwkeurig maken dan wanneer u alleen het gemiddelde zou gebruiken?
We weten het niet, maar zijn ervan overtuigd dat de prognoses te hoog zijn

Wat doen de voorraadkopers dan als ze denken dat de cijfers te hoog zijn?
Ze hebben veel zakelijke kennis en passen hun aankopen hierop aan

Dus, is het eerlijk om te zeggen dat ze de voorspellingen in ieder geval een deel van de tijd zouden negeren?
Ja, soms.

Hoe beslissen de kopers wanneer ze meer bestellen? Heeft u een bestelpunt of veiligheidsvoorraad gespecificeerd in uw ERP-systeem die u helpt bij het nemen van deze beslissingen?
Ja, we gebruiken een veiligheidsvoorraadveld.

Hoe wordt de veiligheidsvoorraad berekend?
Kopers bepalen dit op basis van het belang van het artikel, doorlooptijden en andere overwegingen, zoals hoeveel klanten het artikel kopen, de snelheid van het artikel en de kosten. Afhankelijk hiervan zullen ze verschillende hoeveelheden veiligheidsvoorraad bij zich hebben.

De discussie ging door. De belangrijkste afhaalmogelijkheid hier is dat wanneer je net onder het oppervlak krabt, er veel meer vragen worden onthuld dan antwoorden. Dit betekent vaak dat het voorraadplanning- en vraagprognoseproces zeer subjectief is, van planner tot planner varieert, niet goed wordt begrepen door de rest van de organisatie en waarschijnlijk reactief is. Zoals Tom Willemain heeft beschreven, is het "chaos gemaskeerd door improvisatie". Het "as-is"-proces moet volledig worden geïdentificeerd en gedocumenteerd. Alleen dan kunnen hiaten worden blootgelegd en kunnen verbeteringen worden aangebracht.   Hier is een lijst met 10 vragen die u kunt stellen dat zal het werkelijke proces van prognoses, vraagplanning en voorraadplanning van uw organisatie onthullen.

Smart IP&O wordt mogelijk gemaakt door de SmartForecasts®-prognose-engine die automatisch de meest geschikte methode voor elk item selecteert. Smart Forecast-methoden worden hieronder vermeld:

• Eenvoudig voortschrijdend gemiddelde en enkele exponentiële afvlakking voor platte, ruisige gegevens
• Lineair voortschrijdend gemiddelde en dubbele exponentiële afvlakking voor trendgegevens
• Winters Additief en Winters Multiplicatief voor seizoens- en seizoens- en trendgegevens.

Deze blog legt uit hoe elk model werkt met behulp van tijdgrafieken van historische en voorspelde gegevens. Het schetst hoe te kiezen welk model te gebruiken. De onderstaande voorbeelden tonen dezelfde geschiedenis, in rood, voorspeld met elke methode, in donkergroen, vergeleken met de Slim gekozen winnende methode, in lichtgroen.

Seizoensgebondenheid
Als u seizoensinvloeden wilt forceren (of voorkomen) in de prognose, kies dan voor Winters-modellen. Beide methoden vereisen 2 volle jaren geschiedenis.

'Winter is multiplicatief zal de grootte van de pieken of dalen van seizoenseffecten bepalen op basis van een procentueel verschil met een trending gemiddeld volume. Het past niet goed bij items met een zeer laag volume vanwege deling door nul bij het bepalen van dat percentage. Merk in de onderstaande afbeelding op dat de grote procentuele daling van de seizoensgebonden vraag in de geschiedenis naar verwachting zal voortduren gedurende de prognosehorizon, waardoor het lijkt alsof er geen seizoensgebonden vraag is, ondanks het gebruik van een seizoensmethode.

Statistische voorspelling gemaakt met de multiplicatieve methode van Winter. 

Toevoeging voor de winter zal de grootte van de pieken of dalen van seizoenseffecten bepalen op basis van een eenheidsverschil met het gemiddelde volume. Het past niet goed als er een significante trend in de gegevens is. Let op in de afbeelding hieronder dat seasonaliteit wordt nu voorspeld op basis van de gemiddelde eenheidsverandering in seizoensgebondenheid. De voorspelling geeft dus nog steeds duidelijk het seizoenspatroon weer ondanks de neerwaartse trend in zowel het niveau als de seizoenspieken/dalen.

Statistische voorspelling gemaakt met de additieve methode van Winter.

Trend

Als u trend omhoog of omlaag wilt forceren (of voorkomen) om in de prognose te tonen, beperk dan de gekozen methoden tot (of verwijder de methoden van) Lineair voortschrijdend gemiddelde en Double Exponential Smoothing.

 Dubbele exponentiële afvlakking zal een langetermijntrend oppikken. Het past niet goed als er weinig historische datapunten zijn.

Statistische voorspelling geproduceerd met Double Exponential Smoothing

Lineair voortschrijdend gemiddelde zal trends op kortere termijn oppikken. Het is niet geschikt voor zeer volatiele gegevens

Niet-trending en niet-seizoensgebonden gegevens
Als u wilt forceren (of voorkomen) dat een gemiddelde wordt weergegeven in de prognose, beperk dan de gekozen methoden tot (of verwijder de methoden van) Eenvoudig voortschrijdend gemiddelde en Enkelvoudig exponentieel effenen.

Enkele exponentiële afvlakking zal de meest recente gegevens zwaarder wegen en een vlakke lijnprognose produceren. Het is niet geschikt voor trending- of seizoensgegevens.

Statistische voorspelling met Single Exponential Smoothing

Eenvoudig voortschrijdend gemiddelde zal voor elke periode een gemiddelde vinden, dat soms lijkt te wiebelen, en beter voor middelingen op langere termijn. Het is niet geschikt voor trending- of seizoensgegevens.

Statistische voorspelling met behulp van eenvoudig voortschrijdend gemiddelde

De beste voorraadplanningsprocessen zijn gebaseerd op statistische analyse om relevante feiten over de gegevens te ontdekken. Bijvoorbeeld:

1. Het bereik van te verwachten vraagwaarden en doorlooptijden van leveranciers.
2. De meest waarschijnlijke waarden van de vraag naar artikelen en de doorlooptijd van de leverancier.
3. De volledige kansverdelingen van de artikelvraag en de doorlooptijd van de leverancier.

Als u het derde niveau bereikt, beschikt u over de feiten die nodig zijn om belangrijke operationele vragen te beantwoorden, aanvullende vragen zoals:

1. Hoeveel extra voorraad is er precies nodig om het serviceniveau met 5% te verbeteren?
2. Wat gebeurt er met tijdige levering als de voorraad wordt verminderd met 5%?
3. Zal een van de bovenstaande wijzigingen een positief financieel rendement opleveren?
4. Meer in het algemeen, welk serviceniveaudoel en bijbehorend voorraadniveau is het meest winstgevend?

Wanneer u over de feiten beschikt en uw zakelijke kennis toevoegt, kunt u beter geïnformeerde beslissingen nemen over opslag die een aanzienlijk rendement opleveren. Je schept ook de juiste verwachtingen bij interne en externe belanghebbenden, zodat er minder ongewenste verrassingen zijn.