Nauwkeurigheid van prognoses is een belangrijke maatstaf om de kwaliteit van uw vraagplanningsproces te beoordelen. (Het is niet de enige. Anderen omvatten tijdigheid en kosten; zie 5 Tips voor vraagplanning voor het berekenen van prognoseonzekerheid.) Zodra u prognoses heeft, zijn er een aantal manieren om hun nauwkeurigheid samen te vatten, meestal aangeduid met obscure drie- of vierletterige acroniemen zoals MAPE, RMSE en MAE. Zien Vier handige manieren om prognosefouten te meten voor meer informatie.

Een minder besproken maar meer fundamentele kwestie is hoe computationele experimenten worden georganiseerd voor het berekenen van voorspellingsfouten. Deze post vergelijkt de drie belangrijkste experimentele ontwerpen. Een van hen is ouderwets en komt in wezen neer op valsspelen. Een andere is de gouden standaard. Een derde is een handig hulpmiddel dat de gouden standaard nabootst en kan het beste worden gezien als een voorspelling van hoe de gouden standaard zal uitpakken. Figuur 1 is een schematische weergave van de drie methoden.

Afbeelding 1: Drie manieren om prognosefouten te beoordelen

Het bovenste paneel van figuur 1 geeft de manier weer waarop voorspellingsfouten werden beoordeeld in het begin van de jaren '80 voordat we de stand van de techniek verplaatsten naar het schema in het middelste paneel. Vroeger werden prognoses beoordeeld op dezelfde gegevens die werden gebruikt om de prognoses te berekenen. Nadat een model aan de gegevens was aangepast, waren de berekende fouten niet voor modelvoorspellingen maar voor model past bij. Het verschil is dat prognoses voor toekomstige waarden zijn, terwijl aanpassingen voor gelijktijdige waarden zijn. Stel dat het voorspellingsmodel een eenvoudig voortschrijdend gemiddelde is van de drie meest recente waarnemingen. Op tijdstip 3 berekent het model het gemiddelde van waarnemingen 1, 2 en 3. Dit gemiddelde wordt dan vergeleken met de waargenomen waarde op tijdstip 3. We noemen dit vals spelen omdat de waargenomen waarde op tijdstip 3 een stem kreeg over wat de voorspelling zou moeten zijn op tijdstip 3. Een echte prognosebeoordeling zou het gemiddelde van de eerste drie waarnemingen vergelijken met de waarde van de volgende, vierde, observatie. Anders blijft de voorspeller achter met een te optimistische beoordeling van de nauwkeurigheid van de voorspelling.

Het onderste paneel van figuur 1 toont de beste manier om de nauwkeurigheid van prognoses te beoordelen. In dit schema worden alle historische vraaggegevens gebruikt om in een model te passen, dat vervolgens wordt gebruikt om toekomstige, onbekende vraagwaarden te voorspellen. Uiteindelijk ontvouwt de toekomst zich, onthullen de werkelijke toekomstige waarden zich en kunnen werkelijke voorspellingsfouten worden berekend. Dit is de gouden standaard. Deze informatie wordt ingevuld in het rapport 'Prognoses versus actuals' in onze software.

Het middelste paneel toont een handige tussenmaat. Het probleem met de gouden standaard is dat u moet wachten om erachter te komen hoe goed de door u gekozen prognosemethoden presteren. Deze vertraging helpt niet wanneer u op dit moment moet kiezen welke prognosemethode u voor elk item wilt gebruiken. Het geeft ook geen tijdige inschatting van de prognoseonzekerheid die u zult ervaren, wat belangrijk is voor risicobeheer zoals het afdekken van prognoses. De middenweg is gebaseerd op hold-out-analyse, die de meest recente waarnemingen uitsluit (“holds out”) en de voorspellingsmethode vraagt zijn werk te doen zonder die grondwaarheden te kennen. Vervolgens kunnen de prognoses op basis van de verkorte vraaggeschiedenis worden vergeleken met de uitgestelde werkelijke waarden om een eerlijke beoordeling van de prognosefout te krijgen.

Wat doet u wanneer u een periodiek gevraagd artikel, zoals een reserveonderdeel, voorspelt met een gemiddelde vraag van minder dan één eenheid per maand? Meestal is de vraag nul, maar het onderdeel is zakelijk significant; het kan niet worden genegeerd en moet worden voorspeld om er zeker van te zijn dat u voldoende voorraad heeft.

Uw keuzes zijn meestal gecentreerd rond een paar opties:

Optie 1: Rond elke maand af naar 1, dus uw jaarprognose is 12.

Optie 2: Rond elke maand naar beneden af op 0, zodat uw jaarprognose 0 is.

Optie 3: Prognose "hetzelfde als dezelfde maand vorig jaar", zodat de prognose overeenkomt met de werkelijke waarde van vorig jaar.

Er zijn duidelijke nadelen aan elke optie en niet veel voordeel aan een van hen. Optie 1 resulteert vaak in een forse overprognose. Optie 2 resulteert vaak in een aanzienlijke ondervoorspelling. Optie 3 resulteert in een prognose die bijna gegarandeerd de werkelijke aanzienlijk zal missen, aangezien het niet waarschijnlijk is dat de vraag in exact dezelfde periode een piek zal bereiken. Als u het item MOET voorspellen, raden we normaal gesproken optie 3 aan, aangezien dit het meest waarschijnlijke antwoord is dat de rest van het bedrijf zal begrijpen. 

Maar een betere manier is om het helemaal niet te voorspellen in de gebruikelijke zin en in plaats daarvan een "voorspellend bestelpunt" te gebruiken dat is afgestemd op het door u gewenste serviceniveau. Om een voorspellend bestelpunt te berekenen, kunt u het gepatenteerde Markov-bootstrap-algoritme van Smart Software gebruiken om alle mogelijke eisen die tijdens de doorlooptijd kunnen optreden te simuleren en vervolgens het bestelpunt te identificeren dat uw beoogde serviceniveau zal opleveren.

Vervolgens kunt u uw ERP-systeem configureren om meer te bestellen wanneer de voorhanden voorraad het bestelpunt overschrijdt in plaats van wanneer u naar verwachting nul bereikt (of welke veiligheidsvoorraadbuffer dan ook wordt ingevoerd). 

Dit zorgt voor meer logische bestellingen zonder de onnodige aannames die nodig zijn om een af en toe gevraagd onderdeel met een laag volume te voorspellen.

'Ondanks wat je in je tekenfilms op zaterdagochtend hebt gezien, kunnen olifanten niet springen, en daar is een simpele reden voor: dat hoeft niet. De meeste springerige dieren – je kangoeroes, apen en kikkers – doen het voornamelijk om weg te komen van roofdieren.” — Patrick Monahan, Science.org, 27 januari 2016.

Nu weet u waarom de grootste ERP-bedrijven geen best-of-breed-achtige oplossingen van hoge kwaliteit kunnen ontwikkelen. Dat hebben ze nooit hoeven doen, dus ze zijn nooit geëvolueerd om te innoveren buiten hun kernfocus. 

Naarmate ERP-systemen echter gemeengoed zijn geworden, werden hiaten in hun functionaliteit onmogelijk te negeren. De grotere spelers probeerden hun deel van de portemonnee van de klant te beschermen door te beloven innovatieve add-on-applicaties te ontwikkelen om alle witte ruimtes te vullen. Maar zonder die 'innovatiekracht' mislukten veel projecten en stapelden zich bergen technische schulden op.

Best-of-breed bedrijven zijn geëvolueerd om te innoveren en hebben een diepgaande functionele expertise in specifieke branches. Het resultaat is dat de beste ERP-add-ons eenvoudiger te gebruiken zijn, meer functies hebben en meer waarde bieden dan de native ERP-modules die ze vervangen. 

Als uw ERP-leverancier al een samenwerking heeft aangegaan met een innovatieve, toonaangevende add-onprovider*, bent u helemaal klaar! Maar als u alleen de basis uit uw ERP kunt halen, kies dan voor een best-of-breed add-on die op maat is geïntegreerd met het ERP. 

Een goede plek om te beginnen met zoeken is om te zoeken naar add-ons voor ERP-vraagplanning die hersens toevoegen aan de kracht van het ERP, dat wil zeggen add-ons die voorraadoptimalisatie en vraagvoorspelling ondersteunen. Maak gebruik van aanvullende tools zoals Smart's apps voor statistische prognoses, vraagplanning en voorraadoptimalisatie om prognoses en voorraadbeleid te ontwikkelen die worden teruggekoppeld naar het ERP-systeem om dagelijkse bestellingen te stimuleren. 

*App-stores zijn een licentie voor de beste in hun soort om te verkopen aan de ERP-bedrijvenbasis - zijnde beursgenoteerde partnerschappen.

Als je de laatste tijd je hoofd omhoog hebt gehouden, heb je misschien wat extra waanzin opgemerkt op het basketbalveld: het falen van Silicon Valley Bank. Degenen onder ons in de supply chain-wereld hebben het bankfalen misschien afgedaan als het probleem van iemand anders, maar die spijtige episode bevat ook een grote les voor ons: het belang van stresstesten die goed worden uitgevoerd.

De Washington Post onlangs verscheen een opiniestuk van Natasha Sarin met de titel “Regulators misten de problemen van Silicon Valley Bank maandenlang. Dit is waarom." Sarin schetste de tekortkomingen in het stresstestregime dat de Federal Reserve aan de bank heeft opgelegd. Een probleem is dat de stresstesten te statisch zijn. De stressfactor van de Fed voor de nominale bbp-groei was één enkel scenario met de veronderstelde waarden voor de komende 13 kwartalen (zie figuur 1). Die 13 driemaandelijkse projecties zijn misschien iemands consensus over hoe een bad hair day eruit zou zien, maar dat is niet de enige manier waarop dingen zouden kunnen verlopen. Als samenleving wordt ons geleerd een betere manier te waarderen om onvoorziene omstandigheden weer te geven telkens wanneer de National Weather Service ons geprojecteerde orkaansporen laat zien (zie figuur 2). Elk scenario, weergegeven door een lijn met een andere kleur, toont een mogelijk stormpad, waarbij de geconcentreerde lijnen het meest waarschijnlijke pad vertegenwoordigen. Door de lagere waarschijnlijkheidspaden bloot te leggen, wordt de risicoplanning verbeterd.

Bij het stresstesten van de toeleveringsketen hebben we realistische scenario's nodig van mogelijke toekomstige eisen die zich kunnen voordoen, zelfs extreme eisen. Smart voorziet hierin in onze software (met aanzienlijke verbeteringen in onze Gen2 methodes). De software genereert een groot aantal geloofwaardige vraagscenario's, genoeg om de volledige omvang van de risico's bloot te leggen (zie figuur 3). Stresstesten hebben alles te maken met het genereren van enorme aantallen planningsscenario's, en de probabilistische methoden van Smart wijken radicaal af van eerdere deterministische S&OP-toepassingen, omdat ze volledig op scenario's zijn gebaseerd.

De andere fout in de stresstests van de Fed was dat ze maanden van tevoren waren ontworpen, maar nooit werden bijgewerkt voor veranderende omstandigheden. Vraagplanners en voorraadbeheerders begrijpen intuïtief dat sleutelvariabelen zoals de vraag naar artikelen en de doorlooptijd van leveranciers niet alleen zeer willekeurig zijn, zelfs wanneer de zaken stabiel zijn, maar ook onderhevig zijn aan abrupte verschuivingen die een snelle herschrijving van planningsscenario's vereisen (zie afbeelding 4, waar de gemiddelde vraag springt dramatisch omhoog tussen waarnemingen 19 en 20). Smart's Gen2-producten bevatten nieuwe technologie voor het detecteren van dergelijke "regime verandert' en dienovereenkomstig automatisch veranderende scenario's.

Banken worden gedwongen om stresstests te ondergaan, hoe gebrekkig ze ook mogen zijn, om hun spaarders te beschermen. Supply chain-professionals hebben nu een manier om hun supply chains te beschermen door moderne software te gebruiken om hun vraagplannen en voorraadbeheerbeslissingen aan een stresstest te onderwerpen.

Figuur 1: Scenario's die de Fed gebruikte om banken te stresstesten.

Figuur 2: Scenario's die door de National Weather Service worden gebruikt om orkaansporen te voorspellen

Afbeelding 3: Vraagscenario's van het type gegenereerd door Smart Demand Planner

Figuur 4: Voorbeeld van regimeverandering in productvraag na observatie #19

Er is één ding waar ik bijna elke dag aan herinnerd wordt bij Smart Software dat me een raadsel stelt: de meeste bedrijven begrijpen niet hoe prognoses worden gemaakt en hoe voorraadbeleid wordt bepaald. Het is een organisatorische zwarte doos. Hier is een voorbeeld van een recent verkoopgesprek:

Hoe voorspel je?
Wij gebruiken geschiedenis.

Hoe gebruik je geschiedenis?
Wat bedoel je?

Welnu, u kunt een gemiddelde nemen van het afgelopen jaar, de afgelopen twee jaar, het gemiddelde nemen van de meest recente perioden, of een ander type formule gebruiken om de prognose te genereren.
Ik ben er vrij zeker van dat we een gemiddelde van de laatste 12 maanden gebruiken.

Waarom 12 maanden in plaats van een andere hoeveelheid geschiedenis?
12 maanden is een goede hoeveelheid tijd om te gebruiken omdat het niet vertekend wordt door oudere gegevens, maar het is recent genoeg

Hoe weet je dat het nauwkeuriger is dan 18 maanden of een andere lengte van de geschiedenis te gebruiken?
We weten het niet. Wel passen we de prognoses aan op basis van feedback van sales.  

Weet u of de aanpassingen de zaken nauwkeuriger of minder nauwkeurig maken dan wanneer u alleen het gemiddelde zou gebruiken?
We weten het niet, maar zijn ervan overtuigd dat de prognoses te hoog zijn

Wat doen de voorraadkopers dan als ze denken dat de cijfers te hoog zijn?
Ze hebben veel zakelijke kennis en passen hun aankopen hierop aan

Dus, is het eerlijk om te zeggen dat ze de voorspellingen in ieder geval een deel van de tijd zouden negeren?
Ja, soms.

Hoe beslissen de kopers wanneer ze meer bestellen? Heeft u een bestelpunt of veiligheidsvoorraad gespecificeerd in uw ERP-systeem die u helpt bij het nemen van deze beslissingen?
Ja, we gebruiken een veiligheidsvoorraadveld.

Hoe wordt de veiligheidsvoorraad berekend?
Kopers bepalen dit op basis van het belang van het artikel, doorlooptijden en andere overwegingen, zoals hoeveel klanten het artikel kopen, de snelheid van het artikel en de kosten. Afhankelijk hiervan zullen ze verschillende hoeveelheden veiligheidsvoorraad bij zich hebben.

De discussie ging door. De belangrijkste afhaalmogelijkheid hier is dat wanneer je net onder het oppervlak krabt, er veel meer vragen worden onthuld dan antwoorden. Dit betekent vaak dat het voorraadplanning- en vraagprognoseproces zeer subjectief is, van planner tot planner varieert, niet goed wordt begrepen door de rest van de organisatie en waarschijnlijk reactief is. Zoals Tom Willemain heeft beschreven, is het "chaos gemaskeerd door improvisatie". Het "as-is"-proces moet volledig worden geïdentificeerd en gedocumenteerd. Alleen dan kunnen hiaten worden blootgelegd en kunnen verbeteringen worden aangebracht.   Hier is een lijst met 10 vragen die u kunt stellen dat zal het werkelijke proces van prognoses, vraagplanning en voorraadplanning van uw organisatie onthullen.