Nauwkeurigheid van prognoses is een belangrijke maatstaf om de kwaliteit van uw vraagplanningsproces te beoordelen. (Het is niet de enige. Anderen omvatten tijdigheid en kosten; zie 5 Tips voor vraagplanning voor het berekenen van prognoseonzekerheid.) Zodra u prognoses heeft, zijn er een aantal manieren om hun nauwkeurigheid samen te vatten, meestal aangeduid met obscure drie- of vierletterige acroniemen zoals MAPE, RMSE en MAE. Zien Vier handige manieren om prognosefouten te meten voor meer informatie.

Een minder besproken maar meer fundamentele kwestie is hoe computationele experimenten worden georganiseerd voor het berekenen van voorspellingsfouten. Deze post vergelijkt de drie belangrijkste experimentele ontwerpen. Een van hen is ouderwets en komt in wezen neer op valsspelen. Een andere is de gouden standaard. Een derde is een handig hulpmiddel dat de gouden standaard nabootst en kan het beste worden gezien als een voorspelling van hoe de gouden standaard zal uitpakken. Figuur 1 is een schematische weergave van de drie methoden.

Afbeelding 1: Drie manieren om prognosefouten te beoordelen

Het bovenste paneel van figuur 1 geeft de manier weer waarop voorspellingsfouten werden beoordeeld in het begin van de jaren '80 voordat we de stand van de techniek verplaatsten naar het schema in het middelste paneel. Vroeger werden prognoses beoordeeld op dezelfde gegevens die werden gebruikt om de prognoses te berekenen. Nadat een model aan de gegevens was aangepast, waren de berekende fouten niet voor modelvoorspellingen maar voor model past bij. Het verschil is dat prognoses voor toekomstige waarden zijn, terwijl aanpassingen voor gelijktijdige waarden zijn. Stel dat het voorspellingsmodel een eenvoudig voortschrijdend gemiddelde is van de drie meest recente waarnemingen. Op tijdstip 3 berekent het model het gemiddelde van waarnemingen 1, 2 en 3. Dit gemiddelde wordt dan vergeleken met de waargenomen waarde op tijdstip 3. We noemen dit vals spelen omdat de waargenomen waarde op tijdstip 3 een stem kreeg over wat de voorspelling zou moeten zijn op tijdstip 3. Een echte prognosebeoordeling zou het gemiddelde van de eerste drie waarnemingen vergelijken met de waarde van de volgende, vierde, observatie. Anders blijft de voorspeller achter met een te optimistische beoordeling van de nauwkeurigheid van de voorspelling.

Het onderste paneel van figuur 1 toont de beste manier om de nauwkeurigheid van prognoses te beoordelen. In dit schema worden alle historische vraaggegevens gebruikt om in een model te passen, dat vervolgens wordt gebruikt om toekomstige, onbekende vraagwaarden te voorspellen. Uiteindelijk ontvouwt de toekomst zich, onthullen de werkelijke toekomstige waarden zich en kunnen werkelijke voorspellingsfouten worden berekend. Dit is de gouden standaard. Deze informatie wordt ingevuld in het rapport 'Prognoses versus actuals' in onze software.

Het middelste paneel toont een handige tussenmaat. Het probleem met de gouden standaard is dat u moet wachten om erachter te komen hoe goed de door u gekozen prognosemethoden presteren. Deze vertraging helpt niet wanneer u op dit moment moet kiezen welke prognosemethode u voor elk item wilt gebruiken. Het geeft ook geen tijdige inschatting van de prognoseonzekerheid die u zult ervaren, wat belangrijk is voor risicobeheer zoals het afdekken van prognoses. De middenweg is gebaseerd op hold-out-analyse, die de meest recente waarnemingen uitsluit (“holds out”) en de voorspellingsmethode vraagt zijn werk te doen zonder die grondwaarheden te kennen. Vervolgens kunnen de prognoses op basis van de verkorte vraaggeschiedenis worden vergeleken met de uitgestelde werkelijke waarden om een eerlijke beoordeling van de prognosefout te krijgen.

'Ondanks wat je in je tekenfilms op zaterdagochtend hebt gezien, kunnen olifanten niet springen, en daar is een simpele reden voor: dat hoeft niet. De meeste springerige dieren – je kangoeroes, apen en kikkers – doen het voornamelijk om weg te komen van roofdieren.” — Patrick Monahan, Science.org, 27 januari 2016.

Nu weet u waarom de grootste ERP-bedrijven geen best-of-breed-achtige oplossingen van hoge kwaliteit kunnen ontwikkelen. Dat hebben ze nooit hoeven doen, dus ze zijn nooit geëvolueerd om te innoveren buiten hun kernfocus. 

Naarmate ERP-systemen echter gemeengoed zijn geworden, werden hiaten in hun functionaliteit onmogelijk te negeren. De grotere spelers probeerden hun deel van de portemonnee van de klant te beschermen door te beloven innovatieve add-on-applicaties te ontwikkelen om alle witte ruimtes te vullen. Maar zonder die 'innovatiekracht' mislukten veel projecten en stapelden zich bergen technische schulden op.

Best-of-breed bedrijven zijn geëvolueerd om te innoveren en hebben een diepgaande functionele expertise in specifieke branches. Het resultaat is dat de beste ERP-add-ons eenvoudiger te gebruiken zijn, meer functies hebben en meer waarde bieden dan de native ERP-modules die ze vervangen. 

Als uw ERP-leverancier al een samenwerking heeft aangegaan met een innovatieve, toonaangevende add-onprovider*, bent u helemaal klaar! Maar als u alleen de basis uit uw ERP kunt halen, kies dan voor een best-of-breed add-on die op maat is geïntegreerd met het ERP. 

Een goede plek om te beginnen met zoeken is om te zoeken naar add-ons voor ERP-vraagplanning die hersens toevoegen aan de kracht van het ERP, dat wil zeggen add-ons die voorraadoptimalisatie en vraagvoorspelling ondersteunen. Maak gebruik van aanvullende tools zoals Smart's apps voor statistische prognoses, vraagplanning en voorraadoptimalisatie om prognoses en voorraadbeleid te ontwikkelen die worden teruggekoppeld naar het ERP-systeem om dagelijkse bestellingen te stimuleren. 

*App-stores zijn een licentie voor de beste in hun soort om te verkopen aan de ERP-bedrijvenbasis - zijnde beursgenoteerde partnerschappen.

Er is één ding waar ik bijna elke dag aan herinnerd wordt bij Smart Software dat me een raadsel stelt: de meeste bedrijven begrijpen niet hoe prognoses worden gemaakt en hoe voorraadbeleid wordt bepaald. Het is een organisatorische zwarte doos. Hier is een voorbeeld van een recent verkoopgesprek:

Hoe voorspel je?
Wij gebruiken geschiedenis.

Hoe gebruik je geschiedenis?
Wat bedoel je?

Welnu, u kunt een gemiddelde nemen van het afgelopen jaar, de afgelopen twee jaar, het gemiddelde nemen van de meest recente perioden, of een ander type formule gebruiken om de prognose te genereren.
Ik ben er vrij zeker van dat we een gemiddelde van de laatste 12 maanden gebruiken.

Waarom 12 maanden in plaats van een andere hoeveelheid geschiedenis?
12 maanden is een goede hoeveelheid tijd om te gebruiken omdat het niet vertekend wordt door oudere gegevens, maar het is recent genoeg

Hoe weet je dat het nauwkeuriger is dan 18 maanden of een andere lengte van de geschiedenis te gebruiken?
We weten het niet. Wel passen we de prognoses aan op basis van feedback van sales.  

Weet u of de aanpassingen de zaken nauwkeuriger of minder nauwkeurig maken dan wanneer u alleen het gemiddelde zou gebruiken?
We weten het niet, maar zijn ervan overtuigd dat de prognoses te hoog zijn

Wat doen de voorraadkopers dan als ze denken dat de cijfers te hoog zijn?
Ze hebben veel zakelijke kennis en passen hun aankopen hierop aan

Dus, is het eerlijk om te zeggen dat ze de voorspellingen in ieder geval een deel van de tijd zouden negeren?
Ja, soms.

Hoe beslissen de kopers wanneer ze meer bestellen? Heeft u een bestelpunt of veiligheidsvoorraad gespecificeerd in uw ERP-systeem die u helpt bij het nemen van deze beslissingen?
Ja, we gebruiken een veiligheidsvoorraadveld.

Hoe wordt de veiligheidsvoorraad berekend?
Kopers bepalen dit op basis van het belang van het artikel, doorlooptijden en andere overwegingen, zoals hoeveel klanten het artikel kopen, de snelheid van het artikel en de kosten. Afhankelijk hiervan zullen ze verschillende hoeveelheden veiligheidsvoorraad bij zich hebben.

De discussie ging door. De belangrijkste afhaalmogelijkheid hier is dat wanneer je net onder het oppervlak krabt, er veel meer vragen worden onthuld dan antwoorden. Dit betekent vaak dat het voorraadplanning- en vraagprognoseproces zeer subjectief is, van planner tot planner varieert, niet goed wordt begrepen door de rest van de organisatie en waarschijnlijk reactief is. Zoals Tom Willemain heeft beschreven, is het "chaos gemaskeerd door improvisatie". Het "as-is"-proces moet volledig worden geïdentificeerd en gedocumenteerd. Alleen dan kunnen hiaten worden blootgelegd en kunnen verbeteringen worden aangebracht.   Hier is een lijst met 10 vragen die u kunt stellen dat zal het werkelijke proces van prognoses, vraagplanning en voorraadplanning van uw organisatie onthullen.

In een recente LinkedIn na, heb ik vier vragen uitgewerkt die, wanneer ze worden beantwoord, zullen onthullen hoe de prognoses zijn gebruikt worden in uw bedrijf. In dit artikel hebben we vragen opgesomd die u kunt stellen om te onthullen hoe de prognoses zijn gemaakt.

1. Als we gebruikers vragen hoe ze prognoses maken, is hun antwoord vaak "we gebruiken geschiedenis". Dit is duidelijk niet genoeg informatie, aangezien er verschillende soorten vraaggeschiedenis zijn die verschillende prognosemethoden vereisen. Als u historische gegevens gebruikt, zorg er dan voor dat u erachter komt of u een middelingsmodel, een trendmodel, een seizoensmodel of iets anders gebruikt om te voorspellen.

2. Zodra u het gebruikte model kent, vraagt u naar de parameterwaarden van die modellen. De prognose-output van een "gemiddelde" zal verschillen, soms aanzienlijk, afhankelijk van het aantal perioden dat u middelt. Zoek dus uit of u een gemiddelde gebruikt van de afgelopen 3 maanden, 6 maanden, 12 maanden, enz.

3. Als u trending-modellen gebruikt, vraag dan hoe de modelgewichten zijn ingesteld. In een trendingmodel, zoals dubbele exponentiële afvlakking, zullen de prognoses bijvoorbeeld aanzienlijk verschillen, afhankelijk van hoe de berekeningen recente gegevens wegen in vergelijking met oudere gegevens (hogere gewichten leggen meer nadruk op de recente gegevens).

4. Als u seizoensmodellen gebruikt, zullen de prognoseresultaten worden beïnvloed door het gebruikte "niveau" en "trendgewicht". U moet ook bepalen of seizoensperioden worden voorspeld met multiplicatieve of additieve seizoensinvloeden. (Additieve seizoensinvloeden zeggen bijvoorbeeld: "Voeg 100 eenheden toe voor juli", terwijl multiplicatieve seizoensinvloeden zeggen "Vermenigvuldig met 1,25 voor juli".) Ten slotte gebruikt u dit soort methoden misschien helemaal niet. Sommige beoefenaars zullen een voorspellingsmethode gebruiken die simpelweg het gemiddelde neemt van voorgaande perioden (dat wil zeggen, komende juni zal worden voorspeld op basis van het gemiddelde van de voorgaande drie junis).

5. Hoe kiest u het ene model boven het andere? Hangt de keuze van de techniek af van het type vraaggegevens of wanneer er nieuwe vraaggegevens beschikbaar zijn? Is dit proces geautomatiseerd? Of als een planner subjectief een trendmodel kiest, wordt dat item dan voorspeld met dat model totdat de planner het weer verandert?

6. Zijn uw prognoses 'volledig automatisch', zodat trends en/of seizoensinvloeden automatisch worden gedetecteerd? Of zijn uw prognoses afhankelijk van artikelclassificaties die door gebruikers moeten worden bijgehouden? Dit laatste vereist meer tijd en aandacht van planners om te definiëren welk gedrag een trend, seizoensinvloeden, enz. is.

7. Welke regels voor artikelclassificatie worden gebruikt? Een artikel kan bijvoorbeeld worden beschouwd als een trending artikel als de vraag met meer dan 5% periode-over-periode toeneemt. Een artikel kan als seizoensgebonden worden beschouwd als 70% of meer van de jaarlijkse vraag in vier of minder perioden plaatsvindt. Dergelijke regels worden door de gebruiker gedefinieerd en vereisen vaak te brede aannames. Soms zijn ze geconfigureerd toen een systeem oorspronkelijk werd geïmplementeerd, maar nooit herzien, zelfs niet als de omstandigheden veranderen. Het is belangrijk om ervoor te zorgen dat eventuele classificatieregels worden begrepen en, indien nodig, worden bijgewerkt.

8. Wordt de prognose automatisch opnieuw gegenereerd wanneer er nieuwe gegevens beschikbaar zijn, of moet u de prognoses handmatig opnieuw genereren?

9. Controleert u of de prognose van de ene periode op de andere verandert voordat u beslist of u de nieuwe prognose wilt gebruiken? Of ga je standaard naar de nieuwe prognose?

10. Hoe worden prognose-overschrijvingen die in eerdere planningscycli zijn gemaakt, behandeld wanneer een nieuwe prognose wordt gemaakt? Worden ze hergebruikt of vervangen?

11. Hoe verwerkt u prognoses van uw verkoopteam of van uw klanten? Vervangen deze prognoses de basislijnprognose, of gebruikt u deze invoer om planner-overrides te maken voor de basislijnprognose?

12. Onder welke omstandigheden zou u de basisprognose negeren en precies gebruiken wat verkopen of klanten u vertellen?

13. Als u vertrouwt op klantprognoses, wat doet u dan met klanten die geen prognoses geven?

14. Hoe documenteert u de effectiviteit van uw prognosebenadering? De meeste bedrijven meten alleen de nauwkeurigheid van de definitieve prognose die naar het ERP-systeem wordt gestuurd, als ze al iets meten. Maar ze beoordelen geen alternatieve voorspellingen die mogelijk zijn gebruikt. Het is belangrijk om wat je doet te vergelijken met benchmarks. Presteren de methoden die u gebruikt bijvoorbeeld beter dan een naïeve voorspelling (dwz 'morgen is gelijk aan vandaag', waar u niet bij hoeft na te denken), of wat u vorig jaar zag, of het gemiddelde van de afgelopen 12 maanden. Door uw basisprognose te benchmarken, weet u zeker dat u zoveel mogelijk nauwkeurigheid uit de gegevens haalt.

15. Meet je of overrides van sales, klanten en planners de prognose beter of slechter maken? Dit is net zo belangrijk als meten of uw statistische benaderingen beter presteren dan de naïeve methode. Als u niet weet of overrides helpen of schaden, kan het bedrijf niet beter worden in prognoses. U moet weten welke stappen waarde toevoegen, zodat u er meer van kunt doen en nog beter kunt worden. Als u de nauwkeurigheid van de prognoses niet documenteert en geen analyse van de toegevoegde waarde van de prognose uitvoert, kunt u niet goed beoordelen of de geproduceerde prognoses de beste zijn die u kunt maken. U mist kansen om het proces te verbeteren, de nauwkeurigheid te vergroten en het bedrijf te leren welk type voorspellingsfout te verwachten is.

Smart IP&O wordt mogelijk gemaakt door de SmartForecasts®-prognose-engine die automatisch de meest geschikte methode voor elk item selecteert. Smart Forecast-methoden worden hieronder vermeld:

• Eenvoudig voortschrijdend gemiddelde en enkele exponentiële afvlakking voor platte, ruisige gegevens
• Lineair voortschrijdend gemiddelde en dubbele exponentiële afvlakking voor trendgegevens
• Winters Additief en Winters Multiplicatief voor seizoens- en seizoens- en trendgegevens.

Deze blog legt uit hoe elk model werkt met behulp van tijdgrafieken van historische en voorspelde gegevens. Het schetst hoe te kiezen welk model te gebruiken. De onderstaande voorbeelden tonen dezelfde geschiedenis, in rood, voorspeld met elke methode, in donkergroen, vergeleken met de Slim gekozen winnende methode, in lichtgroen.

Seizoensgebondenheid
Als u seizoensinvloeden wilt forceren (of voorkomen) in de prognose, kies dan voor Winters-modellen. Beide methoden vereisen 2 volle jaren geschiedenis.

'Winter is multiplicatief zal de grootte van de pieken of dalen van seizoenseffecten bepalen op basis van een procentueel verschil met een trending gemiddeld volume. Het past niet goed bij items met een zeer laag volume vanwege deling door nul bij het bepalen van dat percentage. Merk in de onderstaande afbeelding op dat de grote procentuele daling van de seizoensgebonden vraag in de geschiedenis naar verwachting zal voortduren gedurende de prognosehorizon, waardoor het lijkt alsof er geen seizoensgebonden vraag is, ondanks het gebruik van een seizoensmethode.

Statistische voorspelling gemaakt met de multiplicatieve methode van Winter. 

Toevoeging voor de winter zal de grootte van de pieken of dalen van seizoenseffecten bepalen op basis van een eenheidsverschil met het gemiddelde volume. Het past niet goed als er een significante trend in de gegevens is. Let op in de afbeelding hieronder dat seasonaliteit wordt nu voorspeld op basis van de gemiddelde eenheidsverandering in seizoensgebondenheid. De voorspelling geeft dus nog steeds duidelijk het seizoenspatroon weer ondanks de neerwaartse trend in zowel het niveau als de seizoenspieken/dalen.

Statistische voorspelling gemaakt met de additieve methode van Winter.

Trend

Als u trend omhoog of omlaag wilt forceren (of voorkomen) om in de prognose te tonen, beperk dan de gekozen methoden tot (of verwijder de methoden van) Lineair voortschrijdend gemiddelde en Double Exponential Smoothing.

 Dubbele exponentiële afvlakking zal een langetermijntrend oppikken. Het past niet goed als er weinig historische datapunten zijn.

Statistische voorspelling geproduceerd met Double Exponential Smoothing

Lineair voortschrijdend gemiddelde zal trends op kortere termijn oppikken. Het is niet geschikt voor zeer volatiele gegevens

Niet-trending en niet-seizoensgebonden gegevens
Als u wilt forceren (of voorkomen) dat een gemiddelde wordt weergegeven in de prognose, beperk dan de gekozen methoden tot (of verwijder de methoden van) Eenvoudig voortschrijdend gemiddelde en Enkelvoudig exponentieel effenen.

Enkele exponentiële afvlakking zal de meest recente gegevens zwaarder wegen en een vlakke lijnprognose produceren. Het is niet geschikt voor trending- of seizoensgegevens.

Statistische voorspelling met Single Exponential Smoothing

Eenvoudig voortschrijdend gemiddelde zal voor elke periode een gemiddelde vinden, dat soms lijkt te wiebelen, en beter voor middelingen op langere termijn. Het is niet geschikt voor trending- of seizoensgegevens.

Statistische voorspelling met behulp van eenvoudig voortschrijdend gemiddelde