Quants en financiële meltdowns

Ik besteed veel van mijn tijd aan het ontwikkelen van nieuwe kwantitatieve methoden voor statistische prognoses, vraagvoorspellingen en voorraadoptimalisatie. Voor mij is dit een boeiende manier om een bijdrage te leveren aan de samenleving. Maar ik weet dat de meest voorzichtige manier om aan de ontwikkeling van algoritmen te doen, is door een beetje aan de kant te gaan staan en een sceptische blik te werpen op mijn eigen werk.

De noodzaak van dit scepticisme werd mij onlangs duidelijk gemaakt toen ik het boek van Scott Patterson las The Quants: hoe een nieuw ras van wiskundige suizen Wall Street veroverde en bijna vernietigde (Kroon publiceren, 2010). Dit boek besprak de "quants" wiens complexe financiële modellen grotendeels verantwoordelijk waren voor de financiële ineenstorting in 2007. Terwijl ik verder las en dacht: "Wat was er mis met deze jongens?" Ik begon me af te vragen of wij supply chain quants schuldig waren aan een aantal van dezelfde zonden.

Modellen versus instincten

Over het algemeen is het supply chain-veld achtergebleven bij het gebruik van statistische modellen. Mijn universiteitscollega's en ik zijn daar mee bezig, maar we hebben nog een lange weg te gaan. Sommige toeleveringsketens zijn technisch behoorlijk geavanceerd, maar veel, misschien meer, worden in wezen net zo goed door onderbuikgevoel als door cijfers beheerd. Is dit vermijden van analyse veiliger dan te vertrouwen op modellen?

Wat het onderbuikgevoel gevaarlijk maakt, is dat het zo amorf is. Iedereen die lang in een baan werkt, ontwikkelt instincten, maar een lang leven is niet hetzelfde als wijsheid. Het is mogelijk om tijdens een lange carrière alle verkeerde lessen te leren. Het is ook mogelijk de kans te missen om de juiste lessen te leren, omdat bepaalde informatieve scenario's zich misschien nooit zullen voordoen in iemands carrière. Het is ook mogelijk om goede dagen en slechte dagen te hebben; zelfs goeroes kunnen het verpesten. Onderbuikgevoel is ook antiproductief, aangezien alle beslissingen door dat ene onderbuikgevoel moeten gaan, wat een knelpunt voor de onderneming wordt. En Golden Guts bereiken uiteindelijk hun Golden Years en nemen hun Golden Watch en gaan weg in een Golden Sunset; op dat moment is alle expertise die aanwezig was de deur uitgelopen.

Modellen hebben daarentegen bepaalde voordelen. Ten opzichte van buikgevoel zijn modellen:

• Expliciet: de theorie van de supply chain-operatie wordt voor iedereen zichtbaar gemaakt.
• Adaptief: omdat de theorie zichtbaar is, kan deze worden beoordeeld, bekritiseerd, getoetst aan gegevens en verder ontwikkeld.
• Consistent: modellen kunnen min of meer waar zijn, maar ze zijn niet onderhevig aan dagelijkse variabiliteit.
• Alomvattend: modellen kunnen in ieder geval in potentie een breed scala aan empirische ervaring verzamelen, inclusief scenario's die nooit zijn gezien tijdens iemands carrière.
• Leerzaam: Modellen zijn verzamelingen van relaties tussen variabelen. Als de 'ingewanden' van het model zichtbaar worden gemaakt, kunnen gebruikers meer te weten komen over die relaties.

Modelfout

Ondanks al hun deugden kunnen modellen echter ook ongelijk hebben. In feite is dat een gegeven. Een constructieve manier om hiermee te leven is gecodeerd in het beroemde aforisme van Dr. George Box, een van de beste modelbouwers van de laatste halve eeuw: “All models are wrong. Sommige zijn nuttig.”

De modellen van de financiële quants waren verkeerd omdat ze te simpel waren. Ze begonnen met een quasi-religieus geloof in de efficiëntie van markten en ontwikkelden statistische modellen die bepaalde veronderstellingen maakten die waarschijnlijker waren voor de fysieke wereld dan voor de financiële wereld. Onder deze waren normale verdelingen van veranderingen in activaprijzen en onafhankelijkheid van gebeurtenissen in verschillende hoeken van de markt. Ze gingen ook uit van menselijke rationaliteit.

Het zou een beetje verontrustend moeten zijn dat de aannames van normale distributie en onafhankelijkheid ook ten grondslag liggen aan veel van de modellen in supply chain-software. In feite zijn er alternatieve modellen van supply chain-dynamiek waarvoor deze vereenvoudigende aannames niet nodig zijn, dus dit is een onnodig risico dat wordt gelopen door veel, misschien wel de meeste, gebruikers van supply chain-software.

Maar zelfs met meer robuuste en realistische modelaannames valt niet te ontkennen dat modelfouten een constant risico vormen. Dus, kun je het slachtoffer worden van je modellen? Natuurlijk kan je dat.

Zelfbescherming: kijk naar de gegevens

Elke supply chain professional die modellen gebruikt, loopt dus het modelrisico. Maar in tegenstelling tot beslissingen op basis van onderbuikgevoel, kunnen beslissingen op basis van modelberekeningen worden blootgelegd en vergeleken met resultaten uit de echte wereld. Herhaalde controle is de beste manier om modelfouten te voorkomen, omdat niet alleen wordt getest of het model realistisch is, maar ook wordt aangegeven wanneer het tijd is om het model bij te werken.

Zoals hierboven opgemerkt, is een model een reeks functionele relaties tussen sleutelvariabelen. Die relaties hebben parameters die het model afstemmen op de huidige operationele context. Supply chain-modellen zijn bijvoorbeeld vaak gedeeltelijk afhankelijk van schattingen van de volatiliteit van de vraag. Historische vraaggegevens worden gebruikt om numerieke waarden voor deze parameters te berekenen. Als de volatiliteit van de vraag verandert, raakt het model achterhaald en levert het waarschijnlijk ongeschikte aanbevelingen op. Daarom vereist een goede praktijk frequente updates van modelparameters.

Zelfs als parameterwaarden actueel zijn, kunnen er nog steeds problemen zijn als gevolg van onjuiste functionele relaties. Denk bijvoorbeeld aan de relatie tussen het gemiddelde en de standaarddeviatie van de vraag naar reserveonderdelen. Over het algemeen geldt: hoe groter de gemiddelde vraag, hoe groter de volatiliteit van de vraag, gemeten aan de hand van de standaarddeviatie.

Overweeg nu vereenvoudigde "old school"-modellen die de vraag naar reserveonderdelen beschrijven als een Poisson-proces. Het Poisson-proces is zeer nuttig en relatief eenvoudig, dus het komt vaak voor in Statistics 101-klassen. Vanwege hun relatieve eenvoud zijn Poisson-modellen de witte ratten van supply chain-analyses voor reserveonderdelen, dwz mensen doen computerexperimenten en theorie-ontwikkeling op basis van het gedrag van Poisson-vraagmodellen. Voor Poisson-modellen is de standaarddeviatie van de vraag gelijk aan de vierkantswortel van het gemiddelde. Wanneer we echter naar de werkelijke vraaggegevens van onze klanten kijken, ontdekken we dat de werkelijke relatie tussen het gemiddelde en de standaarddeviatie van de vraag beter kan worden beschreven door een meer algemene machtswetrelatie. Het eenvoudige model kan dus nauwkeurige schattingen van gemiddelde en standaarddeviatie gebruiken, maar hun relatie nog steeds niet nauwkeurig weergeven. Dit leidt op zijn beurt tot onjuiste aanbevelingen over bestelpunten voor reserveonderdelen. Het controleren van echte gegevens is het beste tegengif tegen arrogante aannames.

Wat nu te doen

Ik heb niet het gevoel dat de supply chain-modellen van vandaag op het punt staan om het soort ineenstorting te creëren dat we zagen in het begin van de Grote Recessie. Maar degenen onder ons die supply chain-kwants zijn, moeten meer professionele volwassenheid tonen dan onze financiële collega's. We moeten niet verliefd worden op onze modellen en we moeten onze klanten waarschuwen voor correcte modelhygiëne.

Dus modelgebruikers, was regelmatig uw handen nu het griepseizoen begint en was uw modellen grondig door middel van harde gegevens om er zeker van te zijn dat de modellen waarop u vertrouwt zowel up-to-date als realistisch zijn. Beide stappen beschermen u tegen het slachtoffer worden van uw modellen en stellen u in staat hun voordelen ten opzichte van management te benutten op basis van onderbuikgevoel.

Bijlage: Technische tips

Supply chain analytics bieden verschillende soorten output. Op het gebied van prognoses en vraagplanning is de voor de hand liggende empirische controle het vergelijken van prognoses met de werkelijke vraagwaarden die zich uiteindelijk openbaren. Dit zelfde "voorspelling en dan controleren" benadering kan ook worden gebruikt bij het genereren van prognoses. Op het gebied van voorraadbeheer kunnen de modellen voortbouwen op prognoses om beleidskeuzes aan te bevelen, zoals bestelpunten en bestelhoeveelheden of min- en max-waarden. Er is een slimme manier om de juistheid van aanbevelingen van bestelpunten en min's te bevestigen. Zie onze blog De juiste prognosenauwkeurigheidsmetriek voor voorraadplanning