Veel bedrijven die hun prognoseproces willen verbeteren, weten niet waar ze moeten beginnen. Het kan verwarrend zijn om te worstelen met het leren van nieuwe statistische methoden, ervoor zorgen dat gegevens correct zijn gestructureerd en bijgewerkt, het eens worden over wie "eigenaar" is van de prognose, definiëren wat eigendom betekent en meetnauwkeurigheid. Na meer dan veertig jaar oefenen hebben we deze blog geschreven om de belangrijkste focus te schetsen en om u aan te moedigen om het in het begin simpel te houden.

1. Objectiviteit. Begrijp en communiceer eerst dat het proces van vraagplanning en -prognose een oefening in objectiviteit is. De focus ligt op het verkrijgen van input uit verschillende bronnen (stakeholders, klanten, functioneel beheerders, databases, leveranciers, enz.) en het bepalen of die input waarde toevoegt. Als u bijvoorbeeld een statistische prognose overschrijft en 20% aan de projectie toevoegt, moet u er niet zomaar van uitgaan dat u het automatisch goed had. Wees in plaats daarvan objectief en controleer of die opheffing de prognosenauwkeurigheid heeft vergroot of verkleind. Als u merkt dat uw overrides de zaken erger hebben gemaakt, heeft u iets gewonnen: dit informeert het proces en u weet dat u in de toekomst override-beslissingen beter kunt onderzoeken.

2. Teamwerk. Erken dat prognoses en vraagplanning teamsporten zijn. Maak afspraken over wie het team zal aanvoeren. De kapitein is verantwoordelijk voor het maken van de statistische basisprognoses en het toezicht houden op het vraagplanningsproces. Maar de resultaten zijn afhankelijk van het feit of iedereen in het team een positieve bijdrage levert, gegevens verstrekt, alternatieve methoden voorstelt, aannames in twijfel trekt en aanbevolen acties uitvoert. De uiteindelijke resultaten zijn eigendom van het bedrijf en elke afzonderlijke belanghebbende.

3. Meting. Fixeer u niet op benchmarks voor de nauwkeurigheid van prognoses in de branche. Elke SKU heeft zijn eigen niveau van "voorspelbaarheid", en u kunt een aantal moeilijke items beheren. Creëer in plaats daarvan uw eigen benchmarks op basis van een reeks steeds geavanceerdere prognosemethoden. Geavanceerde statistische prognoses lijken in het begin misschien ontmoedigend ingewikkeld, dus begin eenvoudig met een basismethode, zoals het voorspellen van de historische gemiddelde vraag. Meet vervolgens hoe dicht die simpele voorspelling de werkelijk waargenomen vraag benadert. Werk van daaruit verder naar technieken die te maken hebben met complicaties zoals trend en seizoensinvloeden. Meet de voortgang met behulp van nauwkeurigheidsstatistieken die door uw software zijn berekend, zoals de gemiddelde absolute procentuele fout (MAPE). Hierdoor kan uw bedrijf elke prognosecyclus een beetje beter worden.

4. Tempo. Richt u vervolgens op het maken van prognoses tot een op zichzelf staand proces dat niet wordt gecombineerd met het complexe proces van voorraadoptimalisatie. Voorraadbeheer is gebaseerd op een solide vraagvoorspelling, maar is gericht op andere onderwerpen: wat te kopen, wanneer te kopen, minimale bestelhoeveelheden, veiligheidsvoorraden, voorraadniveaus, doorlooptijden van leveranciers, enz. Laat voorraadbeheer later verder gaan . Bouw eerst "voorspellingskracht" op door het voorspellingsproces te creëren, te herzien en te ontwikkelen om een regelmatige cadans te hebben. Wanneer uw proces voldoende volwassen is, kunt u de toenemende snelheid van het bedrijfsleven bijbenen door het tempo van uw prognoseproces te verhogen tot ten minste een maandelijks tempo.

Opmerkingen

Het herzien van het prognoseproces van een bedrijf kan een grote stap zijn. Soms gebeurt het als er personeelsverloop is, soms als er een nieuw ERP-systeem is, soms als er nieuwe prognosesoftware is. Wat de overhaaste gebeurtenis ook is, deze verandering is een kans om het proces dat je eerder had te heroverwegen en te verfijnen. Maar proberen de hele olifant in één keer op te eten is een vergissing. In deze blog hebben we enkele discrete stappen uiteengezet die u kunt nemen om een succesvolle evolutie naar een beter prognoseproces te maken.

Buiten het werk heb je misschien de beroemde uitspraak 'Correlatie is geen oorzakelijk verband' gehoord. Het klinkt misschien als een stuk theoretische onzin die, hoewel betrokken bij een recente Nobelprijs voor economie, niet relevant is voor uw werk als vraagplanner. Is dat zo, dan heb je misschien maar gedeeltelijk gelijk.

Extrapolatieve versus causale modellen

De meeste vraagvoorspellingen maken gebruik van extrapolatieve modellen. Deze modellen, ook wel tijdreeksmodellen genoemd, voorspellen de vraag op basis van alleen de waarden uit het verleden van de vraag naar een artikel. Plots van waarden uit het verleden onthullen trend en seizoensgebondenheid en volatiliteit, dus er is veel waar ze goed voor zijn. Maar er is nog een ander type model – causale modellen – dat de nauwkeurigheid van prognoses mogelijk kan verbeteren, verder dan wat u kunt krijgen van extrapolatieve modellen.

Causale modellen voegen meer invoergegevens toe aan de prognosetaak: informatie over veronderstelde prognose "stuurprogramma's" buiten de vraaggeschiedenis van een artikel. Voorbeelden van potentieel bruikbare oorzakelijke factoren zijn onder meer macro-economische variabelen zoals het inflatiepercentage, het groeipercentage van het bbp en grondstofprijzen. Voorbeelden die niet gebonden zijn aan de nationale economie zijn onder meer branchespecifieke groeipercentages en uw eigen advertentie-uitgaven en die van uw concurrenten. Deze variabelen worden meestal gebruikt als invoer voor regressiemodellen, dit zijn vergelijkingen met vraag als uitvoer en causale variabelen als invoer.

Voorspellingen met behulp van causale modellen

Veel bedrijven hebben een S&OP-proces waarbij maandelijks statistische (extrapolatieve) prognoses worden beoordeeld, waarbij het management de prognoses aanpast op basis van hun oordeel. Vaak is dit een indirecte en subjectieve manier om causale modellen in het proces te verwerken zonder de regressiemodellering uit te voeren.

Om daadwerkelijk een causaal regressiemodel te maken, moet u eerst een lijst van potentieel bruikbare causale voorspellende variabelen nomineren. Deze kunnen voortkomen uit uw inhoudelijke expertise. Stel, u vervaardigt vensterglas. Veel van uw glas kan terechtkomen in nieuwe woningen en nieuwe kantoorgebouwen. Het aantal nieuw gebouwde woningen en kantoren zijn dus plausibele voorspellende variabelen in een regressievergelijking.

Er is hier een complicatie: als je de vergelijking gebruikt om iets te voorspellen, moet je eerst de voorspellers voorspellen. Zo kan de verkoop van glas komend kwartaal sterk gerelateerd zijn aan aantallen nieuwe woningen en nieuwe kantoorpanden komend kwartaal. Maar hoeveel nieuwe woningen komen er komend kwartaal? Dat is zijn eigen prognoseprobleem. Je hebt dus een potentieel krachtig prognosemodel, maar je hebt extra werk te doen om het bruikbaar te maken.

Er is één manier om dingen te vereenvoudigen: als de voorspellende variabelen "vertraagde" versies van zichzelf zijn. Zo kan het aantal nieuw afgegeven bouwvergunningen een half jaar geleden een goede voorspeller zijn van de glasverkoop volgende maand. U hoeft de bouwvergunninggegevens niet te voorspellen, u hoeft ze alleen maar op te zoeken.

Is het een causaal verband of slechts een onechte correlatie?

Causale modellen zijn de real deal: er is een feitelijk mechanisme dat de voorspellende variabele relateert aan de voorspelde variabele. Het voorbeeld van het voorspellen van de verkoop van glas uit bouwvergunningen is een voorbeeld.

Een correlatierelatie is twijfelachtiger. Er is een statistische associatie die al dan niet een solide basis vormt voor prognoses. Stel, u verkoopt een product dat Nederlanders het meest aanspreekt, maar u heeft dit niet door. Nederlanders zijn gemiddeld de langste mensen van Europa. Als uw verkopen stijgen en de gemiddelde lengte van Europeanen toeneemt, kunt u die relatie goed gebruiken. Maar als het aandeel Nederlanders in de eurozone afneemt terwijl de gemiddelde lengte toeneemt omdat de mix van mannen versus vrouwen naar mannen verschuift, wat kan er dan misgaan? U verwacht dat de verkoop zal toenemen omdat de gemiddelde lengte toeneemt. Maar uw verkopen zijn eigenlijk vooral aan Nederlanders, en hun relatieve aandeel in de bevolking wordt kleiner, dus uw verkopen zullen in plaats daarvan echt afnemen. In dit geval is de associatie tussen verkoop en klantlengte een onechte correlatie.

Hoe kun je het verschil zien tussen echte en valse relaties? De gouden standaard is om een rigoureus wetenschappelijk experiment te doen. Maar u bent waarschijnlijk niet in de positie om dat te doen. In plaats daarvan moet u vertrouwen op uw persoonlijke 'mentale model' van hoe uw markt werkt. Als uw vermoedens juist zijn, zullen uw potentiële causale modellen correleren met de vraag en zal causale modellering voor u lonend zijn, hetzij als aanvulling op extrapolatieve modellen, hetzij ter vervanging ervan.

We hebben onlangs een ontmoeting gehad met het IT-team bij een van onze klanten om de gegevensvereisten en de installatie van onze API-gebaseerde integratie te bespreken die gegevens zou halen uit hun lokale installatie van hun ERP-systeem. De IT-manager en de analist uitten allebei hun grote bezorgdheid over het verstrekken van deze gegevens en vroegen zich serieus af waarom ze überhaupt moesten worden verstrekt. Ze uitten zelfs hun bezorgdheid dat hun gegevens zouden kunnen worden doorverkocht aan hun concurrentie. Hun reactie was een grote verrassing voor ons. We hebben deze blog geschreven met hen in gedachten en om het voor anderen gemakkelijker te maken om te communiceren waarom bepaalde gegevens nodig zijn om een effectief vraagplanningsproces te ondersteunen. 

Houd er rekening mee dat als u een prognoseanalist, vraagplanner of supply chain-professional bent, het meeste van wat u hieronder zult lezen voor de hand ligt. Maar wat deze bijeenkomst me heeft geleerd, is dat wat voor de ene groep specialisten vanzelfsprekend is, dat niet zal zijn voor een andere groep specialisten op een heel ander gebied. 

De vier belangrijkste soorten gegevens die nodig zijn, zijn:  

1. Historische transacties, zoals verkooporders en verzendingen.
2. Taakgebruik transacties, zoals welke componenten nodig zijn om eindproducten te produceren
3. Voorraadoverdrachttransacties, zoals welke inventaris van de ene locatie naar de andere is verzonden.
4. Prijzen, kosten en attributen, zoals de eenheidskosten betaald aan de leverancier, de eenheidsprijs betaald door de klant en verschillende metagegevens zoals productfamilie, klasse, enz.  

Hieronder volgt een korte uitleg waarom deze gegevens nodig zijn om de implementatie van software voor vraagplanning door een bedrijf te ondersteunen.

Transactiegegevens van historische verkopen en verzendingen per klant
Denk aan wat uit de inventaris werd gehaald als de "grondstof" die nodig is voor software voor vraagplanning. Dit kan zijn wat aan wie en wanneer is verkocht of wat u aan wie en wanneer hebt verzonden. Of welke grondstoffen of halffabrikaten zijn verbruikt in werkorders en wanneer. Of wat er wanneer vanuit een distributiecentrum aan een satellietmagazijn wordt geleverd.

De geschiedenis van deze transacties wordt door de software geanalyseerd en gebruikt om statistische prognoses te produceren die waargenomen patronen extrapoleren. De gegevens worden geëvalueerd om patronen zoals trend, seizoensinvloeden, cyclische patronen bloot te leggen en om potentiële uitschieters te identificeren die zakelijke aandacht vereisen. Als deze gegevens niet algemeen toegankelijk zijn of onregelmatig worden bijgewerkt, is het bijna onmogelijk om een goede voorspelling van de toekomstige vraag te maken. Ja, je zou zakelijke kennis of onderbuikgevoel kunnen gebruiken, maar dat schaalt niet en introduceert bijna altijd vertekening in de prognose (dwz consequent te hoog of te laag voorspellen). 

Er zijn gegevens nodig op transactieniveau om nauwkeurigere prognoses op wekelijks of zelfs dagelijks niveau te ondersteunen. Als een bedrijf bijvoorbeeld het drukke seizoen ingaat, wil het misschien beginnen met wekelijkse prognoses om de productie beter af te stemmen op de vraag. Dat lukt niet zonder de transactiegegevens in een goed gestructureerd datawarehouse te hebben. 

Het kan ook zo zijn dat bepaalde soorten transacties niet in de vraaggegevens moeten worden opgenomen. Dit kan gebeuren wanneer de vraag het gevolg is van een forse korting of een andere omstandigheid waarvan het supply chain-team weet dat deze de resultaten zal vertekenen. Als de gegevens geaggregeerd worden verstrekt, is het veel moeilijker om deze uitzonderingen te scheiden. Bij Smart Software noemen we het proces om uit te zoeken welke transacties (en bijbehorende transactiekenmerken) in het vraagsignaal moeten worden meegeteld "vraagsignaalsamenstelling". Door toegang te hebben tot alle transacties kan een bedrijf zijn vraagsignaal in de loop van de tijd naar behoefte aanpassen binnen de software. Slechts het verstrekken van een deel van de gegevens resulteert in een veel rigidere vraagsamenstelling die alleen kan worden verholpen met extra implementatiewerk.

Prijzen en kosten
De prijs waarvoor u uw producten heeft verkocht en de kosten die u hebt betaald om ze (of grondstoffen) te kopen, zijn van cruciaal belang om inkomsten of kosten te kunnen voorspellen. Een belangrijk onderdeel van het vraagplanningsproces is het verkrijgen van zakelijke kennis van klanten en verkoopteams. Verkoopteams denken vaak aan de vraag per klant of productcategorie en spreken in de taal van dollars. Het is dus belangrijk om een prognose in dollars uit te drukken. Het vraagplanningssysteem kan dat niet als de prognose alleen in eenheden wordt weergegeven. 

Vaak wordt de vraagprognose gebruikt om een groter planning- en budgetteringsproces aan te sturen of op zijn minst te beïnvloeden, en de belangrijkste input voor een budget is een omzetprognose. Wanneer vraagprognoses worden gebruikt om het S&OP-proces te ondersteunen, moet de software voor vraagplanning de gemiddelde prijs over alle transacties berekenen of "tijdgefaseerde" conversies toepassen die rekening houden met de op dat moment verkochte prijs. Zonder de onbewerkte gegevens over prijsstelling en kosten kan het vraagplanningsproces nog steeds functioneren, maar zal het ernstig worden belemmerd. 

Productkenmerken, klantgegevens en locaties
Productattributen zijn nodig zodat voorspellers prognoses kunnen verzamelen voor verschillende productfamilies, groepen, goederencodes, enz. Het is handig om te weten hoeveel eenheden en de totale geprojecteerde gedollariseerde vraag voor verschillende categorieën. Zakelijke kennis over wat de vraag in de toekomst zou kunnen zijn, is vaak niet bekend op productniveau, maar wel op productfamilieniveau, klantniveau of regionaal niveau. Met de toevoeging van productkenmerken aan uw datafeed voor vraagplanning, kunt u eenvoudig prognoses "oprollen" van artikelniveau naar familieniveau. U kunt prognoses op deze niveaus omzetten in dollars en beter samenwerken aan hoe de prognose moet worden aangepast.  

Zodra de kennis is toegepast in de vorm van een prognose-override, zal de software de wijziging automatisch afstemmen op alle individuele items waaruit de groep bestaat. Zo hoeft een forecast analist niet elk onderdeel apart aan te passen. Ze kunnen op geaggregeerd niveau een wijziging aanbrengen en de software voor vraagplanning de afstemming voor hen laten doen. 

Groepering voor gemakkelijke analyse is ook van toepassing op klantkenmerken, zoals een toegewezen verkoper of de voorkeurslocatie van een klant voor verzending. En locatieattributen kunnen handig zijn, zoals toegewezen regio. Soms hebben attributen betrekking op een product- en locatiecombinatie, zoals voorkeursleverancier of toegewezen planner, die voor hetzelfde product kan verschillen, afhankelijk van het magazijn.

Een laatste opmerking over vertrouwelijkheid

Bedenk dat onze klant bezorgd was dat we hun gegevens aan een concurrent zouden verkopen. Dat zouden we nooit doen. Al tientallen jaren gebruiken we klantgegevens voor trainingsdoeleinden en om onze producten te verbeteren. We zijn nauwgezet in het beschermen van klantgegevens en het anonimiseren van alles wat bijvoorbeeld kan worden gebruikt om een punt in een blogpost te illustreren.

Hier zijn voorbeelden van prognoseproblemen die SmartForecasts kan oplossen, samen met de soorten bedrijfsgegevens die representatief zijn voor elk.

Een item voorspellen op basis van het patroon

Welke omzet kunt u, gegeven de volgende zes kwartaalverkoopcijfers, verwachten voor het derde en vierde kwartaal van 2023?

Verkoop per kwartaal

SmartForecasts biedt u vele manieren om dit probleem aan te pakken. U kunt uw eigen statistische prognoses maken met een van de zes verschillende Exponential smoothing en Moving average methoden. Of, zoals de meeste niet-technische voorspellers, kunt u de tijdbesparende automatische opdracht gebruiken, die is geprogrammeerd om automatisch de meest nauwkeurige methode voor uw gegevens te selecteren en te gebruiken. Ten slotte kunt u, om uw zakelijke oordeel in het prognoseproces op te nemen, elk statistisch prognoseresultaat grafisch aanpassen met behulp van SmartForecasts' "oogbol" aanpassing mogelijkheden.

Een item voorspellen op basis van zijn relatie met andere variabelen.

Gezien de volgende historische relatie tussen de verkoop per eenheid en het aantal vertegenwoordigers, welke verkoopniveaus kunt u verwachten wanneer de geplande toename van het verkooppersoneel plaatsvindt in de laatste twee kwartalen van 2023?

Verkoop en verkoopvertegenwoordigers per kwartaal

U kunt een vraag als deze beantwoorden met behulp van het krachtige SmartForecasts Regressie commando, speciaal ontworpen om prognosetoepassingen te vergemakkelijken die oplossingen voor regressieanalyse vereisen. Regressiemodellen met een vrijwel onbeperkt aantal onafhankelijke/voorspellersvariabelen zijn mogelijk, hoewel de meeste bruikbare regressiemodellen slechts een handvol voorspellers gebruiken.

Gelijktijdig een aantal productitems en hun totaal voorspellen

Gegeven de volgende totale verkoop voor alle overhemden en de verdeling van de verkoop per kleur, wat zal de individuele en totale verkoop zijn in de komende zes maanden?

Maandelijkse verkoop van overhemden per kleur

De unieke Group Forecasting-functies van SmartForecasts voorspellen automatisch en gelijktijdig nauw verwante tijdreeksen, zoals deze artikelen in dezelfde productgroep. Dit bespaart veel tijd en levert prognoseresultaten op, niet alleen voor de afzonderlijke artikelen, maar ook voor het totaal. "Eyeball"-aanpassingen op zowel item- als groepsniveau zijn eenvoudig te maken. U kunt snel prognoses maken voor productgroepen met honderden of zelfs duizenden artikelen.

Automatisch duizenden items voorspellen

Wat kunt u verwachten van de vraag in de komende zes maanden voor elk van de 5.000 SKU's, gegeven het volgende record van productvraag op SKU-niveau?

Maandelijkse productvraag per SKU (Stock Keeping Unit)

In slechts een paar minuten kan de krachtige automatische selectie van SmartForecasts een prognosetaak van deze omvang uitvoeren, de gegevens over de productvraag lezen, automatisch statistische prognoses voor elke SKU maken en het resultaat opslaan. De resultaten zijn vervolgens klaar voor export naar uw ERP-systeem met behulp van een van onze API-gebaseerde connectoren of via bestandsexport. Eenmaal ingesteld, worden er automatisch elke planningscyclus prognoses gemaakt zonder tussenkomst van de gebruiker.

Voorspelling van de vraag die meestal nul is

Een apart en vooral uitdagend type data om te voorspellen is periodieke vraag, die meestal nul is, maar op willekeurige tijdstippen omhoog springt naar willekeurige waarden die niet gelijk zijn aan nul. Dit patroon is typerend voor de vraag naar langzaam in beweging items, zoals service-onderdelen of groot ticket kapitaalgoederen.

Kijk bijvoorbeeld eens naar het volgende voorbeeld van de vraag naar serviceonderdelen voor vliegtuigen. Let op het overwicht van nulwaarden met niet-nulwaarden vermengd, vaak in bursts.

SmartForecasts heeft een unieke methode die speciaal is ontworpen voor dit soort data: de functie Intermittent Demand forecasting. Aangezien intermitterende vraag het vaakst ontstaat in de context van voorraadbeheer, richt deze functie zich op het voorspellen van het bereik van waarschijnlijke waarden voor de totale vraag gedurende een doorlooptijd, bijvoorbeeld de cumulatieve vraag over de periode van 23 juni tot 23 augustus in het bovenstaande voorbeeld .

Voorspellen van voorraadbehoeften

Het voorspellen van voorraadvereisten is een gespecialiseerde variant van prognoses die zich richt op de bovenkant van het bereik van mogelijke toekomstige waarden.

Overweeg voor de eenvoud het probleem van het voorspellen van voorraadbehoeften voor slechts één periode vooruit, bijvoorbeeld één dag vooruit. Gewoonlijk is de prognosetaak het schatten van het meest waarschijnlijke of gemiddelde niveau van de productvraag. Als de beschikbare voorraad echter gelijk is aan de gemiddelde vraag, is er een kans van ongeveer 50% dat de vraag de voorraad overtreft, wat resulteert in omzetverlies en/of goodwill. Het voorraadniveau instellen op bijvoorbeeld tien keer de gemiddelde vraag zal waarschijnlijk het probleem van stockouts elimineren, maar zal net zo zeker resulteren in opgeblazen voorraadkosten.

De truc van voorraadoptimalisatie is om een bevredigende balans te vinden tussen voldoende voorraad hebben om aan de meeste vraag te voldoen zonder al te veel middelen in het proces vast te leggen. Meestal is de oplossing een combinatie van zakelijk inzicht en statistieken. Het beoordelende deel is het definiëren van een acceptabel voorraadserviceniveau, zoals het direct uit voorraad voldoen aan 95% vraag. Het statistische deel is om het 95e percentiel van de vraag te schatten.

Wanneer niet omgaan met Intermittent demand, schat SmartForecasts het vereiste voorraadniveau door uit te gaan van een klokvormige (normale) vraagcurve, zowel het midden als de breedte van de klokcurve te schatten en vervolgens een standaard statistische formule te gebruiken om het gewenste percentiel te schatten. Het verschil tussen het gewenste voorraadniveau en het gemiddelde niveau van de vraag wordt de veiligheidsvoorraad genoemd omdat het beschermt tegen de mogelijkheid van stockouts.

Bij intermitterende vraag is de klokvormige curve een slechte benadering van de statistische verdeling van de vraag. In dit speciale geval gebruikt SmartForecasts gepatenteerde intermitterende vraagvoorspellingstechnologie om het vereiste voorraadserviceniveau te schatten.

Nauwkeurigheid van prognoses is een belangrijke maatstaf om de kwaliteit van uw vraagplanningsproces te beoordelen. (Het is niet de enige. Anderen omvatten tijdigheid en kosten; zie 5 Tips voor vraagplanning voor het berekenen van prognoseonzekerheid.) Zodra u prognoses heeft, zijn er een aantal manieren om hun nauwkeurigheid samen te vatten, meestal aangeduid met obscure drie- of vierletterige acroniemen zoals MAPE, RMSE en MAE. Zien Vier handige manieren om prognosefouten te meten voor meer informatie.

Een minder besproken maar meer fundamentele kwestie is hoe computationele experimenten worden georganiseerd voor het berekenen van voorspellingsfouten. Deze post vergelijkt de drie belangrijkste experimentele ontwerpen. Een van hen is ouderwets en komt in wezen neer op valsspelen. Een andere is de gouden standaard. Een derde is een handig hulpmiddel dat de gouden standaard nabootst en kan het beste worden gezien als een voorspelling van hoe de gouden standaard zal uitpakken. Figuur 1 is een schematische weergave van de drie methoden.

Afbeelding 1: Drie manieren om prognosefouten te beoordelen

Het bovenste paneel van figuur 1 geeft de manier weer waarop voorspellingsfouten werden beoordeeld in het begin van de jaren '80 voordat we de stand van de techniek verplaatsten naar het schema in het middelste paneel. Vroeger werden prognoses beoordeeld op dezelfde gegevens die werden gebruikt om de prognoses te berekenen. Nadat een model aan de gegevens was aangepast, waren de berekende fouten niet voor modelvoorspellingen maar voor model past bij. Het verschil is dat prognoses voor toekomstige waarden zijn, terwijl aanpassingen voor gelijktijdige waarden zijn. Stel dat het voorspellingsmodel een eenvoudig voortschrijdend gemiddelde is van de drie meest recente waarnemingen. Op tijdstip 3 berekent het model het gemiddelde van waarnemingen 1, 2 en 3. Dit gemiddelde wordt dan vergeleken met de waargenomen waarde op tijdstip 3. We noemen dit vals spelen omdat de waargenomen waarde op tijdstip 3 een stem kreeg over wat de voorspelling zou moeten zijn op tijdstip 3. Een echte prognosebeoordeling zou het gemiddelde van de eerste drie waarnemingen vergelijken met de waarde van de volgende, vierde, observatie. Anders blijft de voorspeller achter met een te optimistische beoordeling van de nauwkeurigheid van de voorspelling.

Het onderste paneel van figuur 1 toont de beste manier om de nauwkeurigheid van prognoses te beoordelen. In dit schema worden alle historische vraaggegevens gebruikt om in een model te passen, dat vervolgens wordt gebruikt om toekomstige, onbekende vraagwaarden te voorspellen. Uiteindelijk ontvouwt de toekomst zich, onthullen de werkelijke toekomstige waarden zich en kunnen werkelijke voorspellingsfouten worden berekend. Dit is de gouden standaard. Deze informatie wordt ingevuld in het rapport 'Prognoses versus actuals' in onze software.

Het middelste paneel toont een handige tussenmaat. Het probleem met de gouden standaard is dat u moet wachten om erachter te komen hoe goed de door u gekozen prognosemethoden presteren. Deze vertraging helpt niet wanneer u op dit moment moet kiezen welke prognosemethode u voor elk item wilt gebruiken. Het geeft ook geen tijdige inschatting van de prognoseonzekerheid die u zult ervaren, wat belangrijk is voor risicobeheer zoals het afdekken van prognoses. De middenweg is gebaseerd op hold-out-analyse, die de meest recente waarnemingen uitsluit (“holds out”) en de voorspellingsmethode vraagt zijn werk te doen zonder die grondwaarheden te kennen. Vervolgens kunnen de prognoses op basis van de verkorte vraaggeschiedenis worden vergeleken met de uitgestelde werkelijke waarden om een eerlijke beoordeling van de prognosefout te krijgen.