Wanneer Slaat Een Voorspelling Ergens Op? Elke voorspelling is fout?!

Transcriptie

1 Wanneer Slaat Een Voorspelling Ergens Op? Elke voorspelling is fout?! Ir. Paul Durlinger 11 maart 2016

2 1 1 Wanneer slaat een voorspelling ergens op? Introductie - Dat voorspellen niet zo gemakkelijk is hoef ik u niet te vertellen. Ik houd mij al ruim 30 jaar professioneel bezig met dit vakgebied, maar ben nog steeds niet in staat de beurskoersen te voorspellen of andere lucratieve voorspellingen te doen. Bedrijven zitten in dezelfde situatie: Als Sales nou maar beter kon voorspellen dan zou het leven een stuk gemakkelijker zijn. Ja, dat is zo maar het helaas niet gaan lukken. De toekomst blijft min of meer een beetje wazig. Maar betekent dat dan, dat we helemaal niet meer moeten voorspellen? Absoluut niet, we kunnen best redelijke dingen zeggen (lees forecasten) over een deel van het assortiment. Als u maar een paar producten in het assortiment had ging het in theorie op de achterkant van een groot sigarenkistje; bij duizenden producten (of meer) is dat een utopie. Maar we hebben tegenwoordig het geluk dat er genoeg forecast-software op de markt is, die ons een groot deel van het rekenwerk uit handen kunnen nemen In dit paper geef ik aan welke producten u kunt voorspellen en waarom. Helaas zijn dat er niet zoveel, maar ik geef ook aan wat we met de overgrote meerderheid van de producten kunnen en moeten doen. We doen dit op basis van drie belangrijke grondslagen van de voorspeltheorie: het aantal beschikbare data en het onderliggend data patroon. We kijken natuurlijk ook naar de voorspelfout. Want al is elke voorspelling fout; de ene voorspelling is fouter dan de andere. Tenslotte kijk ik nog even naar de organisatie en kenniscomponent. Zonder gedegen forecast-kennis in een bedrijf is het voorspellen een kansloze missie. En in combinatie met een geavanceerd softwarepakket zelfs contra-productief. Ik wil ook wijzen op paragraaf 4 en 5. Hier kijk ik naar het verschil tussen theorie en praktijk. Ik zeg vaak dat de praktijk zich vaak niet houdt aan de theorie. En met name bij forecasten komt dat helaas vaak voor. Daarom een goede toelichting om valkuilen te vermijden. 2 Welke SKU s moet/kan ik voorspellen? Bij het voorspellen van SKU s zijn een aantal dingen van belang. Dit zijn op de eerste plaats de belangrijkheid van het product. Op de tweede plaats voldoende betrouwbare data. En op de derde plaats de aanwezigheid van een bepaald data patroon. 2.1 Belangrijke producten Zoals u wel zult vermoeden is het maken van voorspellingen en het analyseren van data-patronen voor een SKU redelijk tijdrovend. Dus alleen voor echt belangrijke artikelen is het zinvol om deze aandacht eraan te besteden. Sommigen denken dat forecast-software hier goed bij kan helpen. Dat is gedeeltelijk waar. De software kan de forecaster helpen bij het bepalen van de juiste parameter instelling voor de belangrijke producten. Ik ben echter van mening dat de forecast-specialist hierbij leading moet zijn. Dit ligt anders voor de minder belangrijke producten. Daar kan de software goed helpen en zal in dit soort gevallen leading kunnen of moeten zijn. Tijd om een goede ABC/XYZ analyse uit te voeren. (zie Durlinger [2015,1]). Hiermee kunt u dié producten opsporen, die er werkelijk toe doen. In praktijk zien we dat dat er eigenlijk maar een paar honderd zijn, zelfs bij bedrijven die 10,000-den producten in hun assortiment voeren. En voor die belangrijke artikelen gaan we alles uit de kast halen. Voor de overige producten gaan we ons beperken tot hele eenvoudige methodieken.

3 2 2.2 Voldoende data Je kunt alleen maar een goede voorspelling maken als je voldoende data hebt. En een goede voorspelling is een voorspelling wanneer geldt: De voorspelfout is gemiddeld nul en de voorspelfout is niet te groot Een waarheid als een koe zal iedereen zeggen maar dat zeggen we niet zomaar. Dit veronderstelt een paar dingen. Om te beginnen met de voldoende data. Elke gezaghebbende forecast-auteur zal in zijn boeken vermelden dat, wil je een goede/betrouwbare forecast maken, je toch zo n 30 getallen nodig hebt. En als je pech hebt dat er een seizoen in de data zit moet je over 5-6 jaar data beschikken. Ik weet dat er nu lezers in paniek raken omdat vaak de product-life-cycle tegenwoordig geen 5 of 6 jaar meer is. Betekent dat dan dat we geen voorspelling kunnen maken als we niet voldoende data hebben? Nou, nog net niet; we kunnen altijd een forecast maken, maar de vraag is wat deze dan voorstelt. Stel dat u de vraag naar een nieuw product ABC wilt voorspellen. De vraag in periode 11 is gelijk aan 600 en in periode 12 is die gelijk aan 800. Laten we voor het gemak eens veronderstellen dat u geen trend verwacht. Wat wordt nu de vraag in periode 13? Denk even nu voor u verder leest. Velen zullen inderdaad 700 zeggen. Dit gemiddelde van 700 stuks noemen we een puntvoorspelling. Well, i have news for u; de kans, dat de vraag in periode 13 inderdaad 700 is, zal ongeveer nul zijn. Wat de statistiek (onder bepaalde voorwaarde) in dit geval zou kunnen zeggen: de kans dat de vraag in periode 13 groter is dan 700 is 50%. Of, de kans dat de vraag in periode 13 kleiner is dan 700 is 50%. En de statistiek zou kunnen zeggen: de vraag in periode 13 ligt met een zekerheid van 95% tussen de 500 en 900 stuks. Dit noemen we een rangevoorspelling. En uw antwoord zal zijn: dat kan men schoonmoeder ook. Hoogstwaarschijnlijk wel; maar dat is precies het probleem als u een forecast wil maken met te weinig data. U kunt altijd een puntvoorspelling maken (in ons geval de 700), maar daar heeft u niet veel aan. De rangevoorspelling geeft aan hoe goed die puntvoorspelling is. Lijkt ingewikkeld maar is heel logisch. Die rangevoorspelling begint pas enige praktische waarde te hebben als u een getal of 30 heeft. En of dit nu de vraag per dag, week of maand is doet er niet zoveel toe. Maar als u weekcijfers heeft moet u een voorspelling op weekniveau maken; heeft u maandcijfers dan worden het voorspellingen op maandniveau. Ik raad aan om weekcijfers te gebruiken en liefst van een jaar; heeft u al meteen 52 cijfers. Verder moeten de data van voldoende kwaliteit. Voorspellen is bijzonder gevoelig voor het GIGO principe dus het opschonen en analyseren van data is essentieel. We verwijzen hiervoor naar Durlinger [ 2015,2,3, 2016]. Wat kunnen we nu doen als we onvoldoende data hebben of van onvoldoende kwaliteit? In dat geval raad ik voor A-producten het gebruik van voorspel-software helaas af. De zogenaamde statistische modellen leveren voorspellingen op met te grote ranges. Misschien kunnen we onze toevlucht nemen tot kwalitatieve modellen; gutfeeling, JBF o.i.d. (Durlinger [2015,3]) Maar wat te doen met minder belangrijke producten?. Het heeft niet veel zin om daar uitgebreid naar te kijken. Dus zijn we eigenlijk gedwongen de computer iets te laten zeggen ondanks dat we weten dat de nauwkeurigheid niet bijster groot zal zijn. Ik kom hier op terug in paragraaf Soorten patronen Laten we er nu van uitgaan dat we voldoende, betrouwbare getallen hebben. Als we een forecastmodel willen gebruiken moeten we eerst weten wat het onderliggende patroon is. Dat

4 3 omdat er een groot aantal modellen zijn die niet geschikt zijn voor elk patroon. Een model dat bedoeld is voor een stationair patroon zal niet goed scoren bij data met een trend en omgekeerd. We kennen in principe 5 soorten patronen die we laten zien in figuur 1. Figuur 1 De 5 verschillende datapatronen Patroon a is het gemakkelijkst te voorspellen en patroon e het moeilijkst. Sterker nog, het patroon in figuur 1.e is eigenlijk geen écht patroon maar chaos (met een mooi woord lumpy ). Het is een patroon dat we vaak tegenkomen in spare-parts omgevingen. Het herkennen van een patroon kan in principe op twee manieren. Óf door de voorspeller óf door software. Mensen denken dat de software dit beter kan de mens. Dat is volgens mij niet helemaal waar. De Durlinger wet over datapatronen binnen forecasting luidt: Als een forecaster geen duidelijk patroon herkent in de data kan de software dat ook niet Ik denk daarom ook dat de forecast verantwoordelijke de aangewezen persoon is binnen een organisatie. Maar wat als de organisatie nu eens SKU s in het assortiment heeft, wat dan? Dan zult u zich af moeten vragen of je wel elke SKU moet gaan voorspellen. Dat is precies waarom wij eerst een ABC/XYZ analyse moeten uitvoeren. Dat zijn die paar honderd producten uit paragraaf 2.1 waarbij we ook nog moeten beschikken over voldoende data. 2.4 Forecast software kan niet eigenlijk niet goed voorspellen Velen denken dat zodra ze forecast-software gekocht hebben alle problemen verdwenen zijn. Maar ook de meest geavanceerde technieken hebben een aparte eigenschap: Ze gaan er van uit dat een (eventueel aanwezig) patroon in de data niet verandert Dat houdt in concreto in dat de software niet kan voorspellen óf en wannéér een gemiddeld vraagpatroon overgaat in een trend. Of trend naar stationair etc. Zelfs geavanceerde software die beurskoersen proberen te voorspellen kunnen dat niet. Ja achteraf, maar dan bent u al te laat met reageren. Software kan wel kijken of het gekozen model met de bijbehorende parameters nog valide is. Maar ook hier geldt dat dat pas achteraf mogelijk is. En dat brengt ons meteen op de vraag van de voorspelfout. Hoe goed kunnen we eigenlijk voorspellen? 3 Hoe meten we de voorspelfout? Stel dat we een product hebben dat een A-product en waar van we voldoende, betrouwbare data hebben en waarvan we ook nog het patroon kennen. Dan kunnen we gaan voorspellen maar indachtig een theorema uit de forecast-theorie:

5 4 Elke voorspelling is fout zou het handig zijn om te weten hoe groot de fout is die we maken, wat het effect is van deze fout en welke fout we nog accepteren. We beginnen met het laatste. Het TopManagement is verantwoordelijk voor het zetten van een norm voor de hoogte van de voorspelfout. Maar dat betekent ook dat ze een criterium moeten bepalen voor het berekenen van de voorspelfout. En dat is in praktijk erg moeilijk. Dat heeft te maken met het doel van de voorspelling. Binnen het voorraadbeheer gebruiken we de voorspelfout om de veiligheidsvoorraad voor een bepaald SKU te berekenen. Dus kijken we naar de voorspelfout op SKU-niveau per week bijvoorbeeld (of per dag/ maand). Maar het management heeft geen tijd om te kijken naar de forecast-prestaties voor afzonderlijke SKU s. Het MT is meer geïnteresseerd in aggregaat KPI s. Helaas kan het daar fout gaan. Ik geef in deze paragraaf drie mogelijke methodes om de voorspelfout te berekenen. En ik doe dat in eerste instantie voor één afzonderlijke SKU om het principe uit te leggen. Er komen helaas wat (eenvoudige) berekeningen aan te pas. Maar juist deze voorbeelden zijn bedoeld om het MT de juiste evaluatiemethode te laten kiezen. Dit bespaart hen later veel discussie en verwarring. Later ga ik aggregeren, maar zonder deze eerste inleiding is het moeilijk te begrijpen wanneer welke methodiek gebruikt moet worden. Stel we hebben een product ABC. Voor dit product waren voldoende, betrouwbare, data beschikbaar. We geven dit grafisch weer in figuur 2 en vragen de lezer wat een goede voorspelling zou zijn voor periode 21, 22, 23, 24 en 25. Figuur 2 Afzet Product ABC laatste 20 weken Het lijkt er op dat 10 (het gemiddelde van de 20 waarnemingen) een mooie forecast zou zijn. En in dat geval is dat ook zo; we voorspellen een afzet van 10 voor de komende periodes. Vervolgens kijken we in tabel 1 naar de echte, gerealiseerde afzet in deze periodes. Daarna gaan we ons afvragen hoe goed deze forecast is. We wachten tot dat de daadwerkelijke afzet van periode 21 t/m25 bekend is. Deze geven we in tabel 1. Realiteit Tabel 1 Forecast vs Realiteit Omdat het om een afwijking gaat zien we in praktijk heel vaak het volgende: we bepalen de zogenaamde gemiddelde fout. We trekken Forecast van Realiteit af (of omgekeerd, maakt in principe niks uit) en vinden dan tabel 2.

6 5. Realiteit Gem Fout Fout Tabel 2 Forecast, Realiteit en Fout De gemiddelde fout is nul. Wat betekent dat nu voor de waarde van deze forecast methode? Dat we geen fout maken? Terwijl iedereen ziet dat we er twee boven zaten en 1 keer onder. Dus de gemiddelde fout is in principe een zinloos criterium als we alleen naar dit criterium kijken! Dit komt doordat plussen en minnen elkaar opheffen. Een oplossing voor dit probleem is te kijken naar de Absolute fout. Dat zien we in tabel 3. Realiteit Gem Abs Fout Abs. Fout ,6 Tabel 3 Forecast, Realiteit en Absolute Fout We zien dat de gemiddelde absolute fout 1,6. Vraag is wat dat betekent? Dat wordt duidelijk als we de fout procentueel gaan uitdrukken zoals we in tabel 4 doen. Realiteit Gem Abs Fout Abs. Fout ,6 Abs. Fout % 25% 0% 28.5% 0% 25% 16,8% Tabel 4 Forecast, Realiteit, Absolute Fout en Absolute% fout Vergeleken met een gemiddelde afzet (realiteit) van 10 betekent dat we er 16% naast zitten (preciezer 16,7%). En opnieuw de vraag; wat betekent dat. Is dat veel of weinig? Helaas is dat een moeilijke vraag. Een voorspelmethodiek met een gemiddelde absolute fout van 30% op SKU-niveau en week-niveau is goed. Maar meer kunnen we helaas niet zeggen. Als criterium om twee forecast technieken met elkaar te vergelijken wordt dit criterium niet gebruikt. Het criterium om te vergelijken is de zogenaamde Mean Squared Error. We laten dat zien in tabel 5. Realiteit MSE Squared Error ,8 Tabel 5 Forecast, Realiteit en Mean Squared Error. Als we kijken naar twee voorspelmodellen is het model met de laagste MSE het beste model. We gebruiken de MSE ook in iets andere vorm om de veiligheidsvoorraden te berekenen. Maar wat die 4,8 nou precies betekent is wat moeilijker uit te leggen. Maar als criterium voor het MT is niet echt handig. En nu? Dit was een mooie exercitie maar hoe gaan we dit nu in praktijk doen met SKU s.

7 6 4. Voorspelfout voor dagelijks gebruik voor het MT. Wat we in de voorafgaande paragraaf gezien hebben is dat de gemiddelde absolute fout een goede maat is voor de accuraatheid van de voorspelling. We kunnen deze voorspelfout in aantallen weergeven of in een percentage. We hebben dit gedaan voor één SKU maar het MT is niet geïnteresseerd in één SKU maar gegarandeerd in meerdere SKU s, of in groepen, families of Business units. Dat betekent aggregeren; maar aggregeren betekent altijd informatieverlies en interpretatie problemen. We hebben hier met drie problemen te maken. De eerste is het doel van de forecast; het tweede is de time-bucket het derde probleem is de eenheid. En alle drie hebben ze min of meer met elkaar te maken. Wanneer de voorspelling gemaakt moet worden op strategisch niveau dan is de enige logische eenheid en is de tijdseenheid een maand/kwartaal/jaar. Bijvoorbeeld een forecast van te verwachten omzet of cashflow. Hoe groter de time-bucket hoe groter de nauwkeurigheid. Op jaar niveau zal men een goede schatting kunnen geven over de omzet of winst. Ondernemingen zijn in staat omzet of resultaat met foutmarges van minder dan 5% te bepalen. Afwijkingen van 10% leiden al vaak tot winstwaarschuwingen van het management. Per maand wordt dat al wat moeilijker en op weekniveau voor een enkele SKU al bijna onmogelijk. Daarnaast is geld makkelijker te voorspellen dan aantallen. Door te spelen met prijzen kunnen winst en omzet nog beïnvloed worden. Beinvloeden van aantallen ligt moeilijker Wanneer we de veiligheidsvoorraad van een product willen bepalen zijn we geïnteresseerd in de omzet per week. Een uitspraak als : de voorspelde afzet voor ABC is stuks per maand, zegt dan niet zoveel. Je wilt weten hoe die over de maand verdeeld. Is dat elke week hetzelfde of zitten er veel verschillen in de weken per maand. Nog gedetailleerder gaan we te werk in vers-afdelingen in retail. De vraag per week zal misschien niet veel verschillen maar binnen de week zijn er grote verschillen tussen een maandag of een zaterdag. En als men maar voor een paar dagen vooruit wil/kan voorspellen is de forecast van de dag afzet cruciaal. En om alles nog moeilijker te maken is het voorspellen van een A-product gemakkelijker (en belangrijker) dan een C-product waarbij de vraag bijvoorbeeld 20 stuks per jaar is. En wat daar kort bij ligt; hoe gefragmenteerder de afzet (aantal varianten) hoe moeilijker het wordt om een goede voorspelling te maken. Stel dat u 1000 flessen shampoo batterijen per maand verkoopt. Dan maakt het nogal wat uit of u maar 5 soorten shampoo verkoopt (Lidl/Aldi) of 150 (Plus/AH/Jumbo). In het tweede geval is een betrouwbare voorspelling op SKU niveau per week praktisch onmogelijk, terwijl het totaal (die 1000 stuks) heel goed voorspeld kan worden. Vaak wil het MT bijvoorbeeld weten hoe een bepaalde familie presteert. Maar stel nu dat in die familie SKU s zitten die in bigbags van 500 kg geleverd worden, producten die in vaatjes van 25kg worden en producten die per kilo gaan. Hoe moet dan de voorspelfout voor deze familie bepaald worden? Ik ken een onderneming waarbij de forecast-verantwoordelijke werd geconfronteerd met bovenstaande product mix werd afgerekend op totaal aantal kilo s juist voorspeld. U kunt zich wel indenken waarop deze persoon zich concentreerde.

8 7 5 Wie moet voorspellen? Mens of software? We gaan in figuur3 nog eens terug naar de uitgangssituatie. Figuur 3 Mens of machine Als we naar figuur 3 kijken is de oplossing voor A-producten duidelijk. Als we voldoende getallen hebben kan de software onder leiding van de forecaster een geschikt model met geschikte parameters bepalen. Ook Sales kan hier input leveren. (zie ook Durlinger [2015,3]). Hebben we onvoldoende data, dan komen judgemental technieken aan de orde. De mens (meestal Sales) zal input moeten gaan leveren voor de uiteindelijke forecast. Dat is niet altijd gemakkelijk en grote voorspelfouten liggen hier op de loer. De uiteindelijke forecast is sterk afhankelijk van de kennis van product en markt. Het is niet anders. Voor B- en C-producten is de oplossing ook duidelijk in het geval dat we voldoende data hebben. Dit is het domein van de forecast-software. Deze is in staat om automatisch goede modellen met geschikte parameters te genereren. Ook hier zal gegarandeerd iets fout gaan, dus misschien zou de forecaster snel over de B-producten heen moeten kijken. Of dat voor C-producten ook haalbaar is,vanwege het grote aantal verschillende producten, is nog maar de vraag. Misschien moeten we maar accepteren dat het daar nu en dan fout gaat, of we vangen de voorspelfouten op met extra veiligheidsvoorraad of een aangepaste voorrraadstrategie. Maar dan houden we een grote categorie B- en C- producten waar bij we in principe onvoldoende data hebben om de forecast-software zijn gang te laten gaan. Zoals we al eerder gezien hebben zal de voorspelfout groot zijn. Aan de andere kant; wat is het alternatief? Het is ondoenlijk om de mens naar deze producten te laten kijken. Enerzijds omdat het te veel producten zullen zijn, anderzijds omdat de mens er ook niet veel van kan maken. Dus zijn we wel gedwongen om de software te gebruiken en de voorspelfouten op de koop toe te nemen. Ook hier kunnen we de voorspelfouten opvangen met extra veiligheidsvoorraad of een aangepaste voorraadstrategie. Maar deze extra voorraden zullen veel hoger dan in het geval van voldoende data. Het verdient aanbeveling om de toegevoegde waarde van deze producten te heroverwegen. Mens en kennis Forecast software is tegenwoordig een geweldige aanvulling als toolbox voor de planners van deze wereld. Maar dan moet de planner wel voldoende kennis hebben om deze software te kunnen gebruiken. Anders zal het resultaat contra-productief zijn. Dat betekent in concreto dat een planner statistisch goed onderlegd moet zijn om de voorstellen van de forecast software op waarde te kunnen schatten. In praktijk zien we helaas dat dit niet vaak het geval is. Bedrijven denken dat het forecast probleem opgelost wordt door het aanschaffen van forecast-software. Integendeel, het begint dan pas. Dus zal er geïnvesteerd moeten worden in het opleidingsniveau van de gebruiker. Natuurlijk een open deur maar vergelijk het maar met het laten besturen van een Formule-I auto of een 25 meter lange vrachtwagen door iemand met één oog en geen rijbewijs.

9 8 6 Samenvatting In dit paper hebben we gekeken welke producten goed voorspeld kunnen worden. We denken dat gedegen forecasten alleen zinvol is voor A(belangrijke)-producten. Voor B en C-producten kan volstaan worden met eenvoudige technieken. Om een betrouwbare forecast te maken zijn er minstens 30 data nodig en in geval van seizoenen ca 5-6 jaar. We hebben laten zien dat mens en software gezamenlijk moeten forecasten. Vanuit praktische overwegingen zal dit alleen bij A- producten waarbij de mens leading moet zijn. Vanwege de grote aantallen zal software de voorspellingen voor B en C-producten moeten uitvoeren. Hierbij moeten we de (grotere) voorspelfout voor lief nemen en opvangen met extra veiligheidsvoorraad en een aangepaste voorraadstrategie. We hebben gekeken naar verschillende manieren om voorspelfouten te meten. Voor het MT is de Mean Absolute Deviation (MAD) een goede keuze. Voor het vergelijken van methodieken is daarentegen de Mean Squared Error een mogelijkheid. Voorspelfouten zijn goed te bepalen op SKU-niveau maar leveren problemen op bij aggregeren. Tenslotte heb ik aangegeven dat gedegen kennis van statistiek en voorspellen onmisbaar als men gebruik wil gaan maken van forecast-software. 7 Literatuur Durlinger P.P.J. [2015,1] Instructie ABC-analyse White-paper Durlinger P.P.J. [2015,2] Rol van Topmanagement bij forecasting White paper Durlinger P.P.J. [2015,3] Productie en Voorraadbeheer H3 : Forecasting Durlinger P.P.J. [2016] Vraagdecompositie White paper