Wat is een goed nauwkeurigheidspercentage voor forecasts?

Er is geen enkel goed nauwkeurigheidspercentage voor forecasts. Nauwkeurigheid, meestal uitgedrukt als 100% min MAPE of WAPE, hangt af van het niveau waarop u meet, de tijdshorizon en hoe volatiel de vraag is. Een goede forecast verslaat een eenvoudige naïeve forecast en uw eigen eerdere nauwkeurigheid, op het niveau waar de beslissingen daadwerkelijk worden genomen.

Belangrijkste punten

• Dezelfde forecast kan bijna 99% scoren voor een productfamilie per maand en minder dan 80% per artikel per week. Noem bij het getal altijd het niveau en de horizon.
• WAPE (totale absolute fout gedeeld door totale werkelijke waarden) is een veiliger basis voor een nauwkeurigheidspercentage dan MAPE, dat faalt bij lage of nulverkopen.
• Beoordeel nauwkeurigheid aan de hand van een benchmark: een naïeve forecast, de nauwkeurigheid van vorig jaar of de fout die u zich kunt veroorloven gegeven levertijden en veiligheidsvoorraad.
• Volg bias apart. Een forecast die consequent 10% te hoog zit, kan gemiddeld "nauwkeurig" lijken terwijl de magazijnen vollopen.
• Meet op beslisniveau: wekelijks per distributiecentrum voor bijvulling, maandelijks per productfamilie voor capaciteit, per kwartaal voor budgetten.

Wat is forecastnauwkeurigheid?

Forecastnauwkeurigheid geeft aan hoe dicht voorspelde waarden bij de werkelijkheid liggen. De meeste teams berekenen eerst een forecastfout en drukken nauwkeurigheid daarna uit als het complement: bij een fout van 15% is de nauwkeurigheid 85%.

Het probleem is dat "fout" op verschillende manieren kan worden berekend en elke manier een ander percentage oplevert voor dezelfde forecast. Controleer voordat u uw getal met dat van anderen vergelijkt welke formule, welk aggregatieniveau en welke tijdsvertraging (lag) zij hebben gebruikt.

Hoe berekent u forecastnauwkeurigheid?

Dit zijn de formules die u het vaakst tegenkomt. A is de werkelijke waarde en F de forecast voor elk artikel en elke periode.

Het nauwkeurigheidspercentage van een forecast is dan meestal 100% − WAPE, met nul als ondergrens. Het forecasting-leerboek van Hyndman en Athanasopoulos legt uit waarom procentuele fouten zoals MAPE "oneindig of niet gedefinieerd" zijn als de werkelijke waarden nul zijn en extreem uitvallen als ze dicht bij nul liggen (Forecasting: Principles and Practice, paragraaf 5.8). Dat is de belangrijkste reden dat demand planners van MAPE naar WAPE overstappen. De forecastingdocumentatie van AWS beschrijft WAPE op dezelfde manier en merkt op dat het minder gevoelig is voor uitschieters dan RMSE omdat het absolute in plaats van gekwadrateerde fouten gebruikt (nauwkeurigheidsmaatstaven van Amazon Forecast).

Een rekenvoorbeeld: één forecast, drie nauwkeurigheidsgetallen

Neem drie producten in één week (illustratieve getallen):

• Totaalniveau: forecast 160 tegenover werkelijk 162. Fout 1,2%, dus de nauwkeurigheid is 98,8%.
• Artikelniveau, WAPE: 38 ÷ 162 = 23,5% fout, dus de nauwkeurigheid is 76,5%.
• Artikelniveau, MAPE: 11,1%, 28,6% en 400%, gemiddeld ongeveer 147% fout. De nauwkeurigheid is betekenisloos, alleen doordat product C 2 stuks verkocht.
• Bias: (160 − 162) ÷ 162 = −1,2%, bijna neutraal.

Tussen die regels is niets aan de forecast veranderd. Alleen de meting is anders. Daarom zegt een leverancier die "95% nauwkeurigheid" claimt weinig, zolang u het niveau, de maatstaf en de horizon niet kent.

Wat is een goed nauwkeurigheidspercentage voor forecasts?

Een goed getal is beter dan een eenvoudige benchmark en goed genoeg voor de beslissing die het ondersteunt. Gepubliceerde "branchegemiddelden" vermelden zelden hun formule of niveau, ga er dus voorzichtig mee om en bouw liever uw eigen baseline op.

Gebruik drie tests:

1. Verslaat het een naïeve forecast? Een naïeve forecast herhaalt gewoon de laatste waarde, of bij seizoensartikelen de waarde van dezelfde periode vorig jaar. Als uw model dat niet verslaat, voegt het niets toe. MASE maakt dit expliciet: volgens de definitie in het leerboek betekent een geschaalde fout onder één dat de forecast beter is dan de naïeve (FPP3).
2. Verbetert het ten opzichte van uw eigen historie? Vergelijk de WAPE van dit kwartaal met hetzelfde kwartaal vorig jaar, op hetzelfde niveau en dezelfde lag.
3. Is de resterende fout betaalbaar? Vertaal de fout naar veiligheidsvoorraad, gemiste verkoop of ongebruikte capaciteit. Als twee punten minder fout meer kosten dan de extra voorraad die ze besparen, stop dan.

Een nuttige realiteitscheck uit hetzelfde leerboek: bij de kwartaalproductie van bier in Australië scoort een gewone seizoensgebonden naïeve methode een MAPE van 3,17%, wat als ongeveer 97% nauwkeurigheid zou worden gerapporteerd. Gladde, seizoensgebonden reeksen zijn gemakkelijk. Volatiele, intermitterende reeksen niet, en een lager percentage daarop kan toch de betere forecast zijn.

Wat het getal omhoog of omlaag drijft

Hoe verbetert u de forecastnauwkeurigheid?

• Maak de historie schoon. Verwijder perioden met voorraadtekort (nulverkopen omdat de schappen leeg waren), dubbele records en eenmalige orders voordat u het model traint.
• Begin eenvoudig. Een seizoensgebonden naïef model of exponentiële afvlakking is een eerlijke baseline en gemakkelijk uit te leggen. Voeg complexiteit pas toe als die de baseline in backtests verslaat.
• Gebruik backtesting. Beoordeel modellen op perioden die ze nog niet hebben gezien, bij voorkeur met rolling-origin-kruisvalidatie, in plaats van op de data waarop ze zijn gefit.
• Voeg drivers toe die u echt van tevoren kent: prijswijzigingen, promoties, feestdagen en het korte-termijnweer voor seizoensgoederen.
• Meet de waarde van handmatige correcties. Vergelijk de statistische forecast met de gecorrigeerde. Aanpassingen van sales en planners voegen vaak bias toe.
• Spreek één getal af voor alle afdelingen. Sales, marketing, operations en finance moeten dezelfde forecast, met bekende aannames, volgens een vast ritme beoordelen.
• Plan voor de fout die u niet kunt wegnemen. Soms leveren kortere levertijden, kleinere batches of flexibele capaciteit meer op dan nog een model.

Machine learning en cloudtools voor forecasting

Machine learning-modellen helpen het meest als u veel samenhangende reeksen en bruikbare externe drivers hebt, zoals duizenden SKU's in veel winkels. Bij korte, ijle historie helpen ze minder. Let op: op AWS is Amazon Forecast niet langer beschikbaar voor nieuwe klanten (AWS-documentatie). Nieuwe projecten gebruiken doorgaans SageMaker of open-sourcebibliotheken, met dezelfde nauwkeurigheidsmaatstaven als hierboven beschreven. Houd, welke tool u ook gebruikt, de naïeve baseline in uw rapportages, zodat u kunt zien wat het model toevoegt.

Hoe Opsio helpt

De teams van Opsio voor predictive analytics consulting en data-analyse en BI helpen organisaties met de datapijplijnen, backtesting en dashboards achter een betrouwbaar nauwkeurigheidsgetal. Wanneer modellen naar productie gaan, verzorgt onze MLOps-praktijk hertraining, monitoring en driftmeldingen in de cloud. Voor het bredere plaatje van hoe ML zich verhoudt tot andere AI-disciplines, zie computer vision versus machine learning.

Veelgestelde vragen

Is 80% forecastnauwkeurigheid goed?

Dat hangt af van het niveau. Op artikel-per-weekniveau voor een gemengd retailassortiment kan 80% (100% − WAPE) sterk zijn. Op bedrijf-per-maandniveau zou het meestal zwak zijn. Vergelijk het met een naïeve forecast op hetzelfde niveau voordat u een oordeel velt.

Hoe berekent u forecastnauwkeurigheid in Excel?

Zet de werkelijke waarden in kolom A en de forecasts in kolom B. Bereken de absolute fout per rij met =ABS(A2-B2). Nauwkeurigheid is dan 1 − SOM(absolute fouten) ÷ SOM(werkelijke waarden), oftewel 1 − WAPE. Geef het weer als percentage en begrens negatieve waarden op nul.

Wat is het verschil tussen forecastnauwkeurigheid en forecastbias?

Nauwkeurigheid meet de omvang van de fouten, ongeacht de richting. Bias meet hun richting: of u gemiddeld te hoog of te laag voorspelt. U hebt beide nodig, omdat fouten in tegengestelde richting elkaar in de bias opheffen.

Waarom is mijn MAPE zo hoog terwijl de forecast goed lijkt?

Meestal omdat sommige artikelen zeer kleine werkelijke waarden hebben. Een misser van 8 stuks op een artikel dat er 2 verkocht, is een fout van 400%, wat het gemiddelde omhoogtrekt. Schakel over op WAPE of MASE, of segmenteer langzame lopers.

Kan forecastnauwkeurigheid negatief zijn?

Wiskundig kan 1 − MAPE of 1 − WAPE onder nul komen als de fouten groter zijn dan de werkelijke waarden. De meeste teams begrenzen het getal op 0% en kijken naar de onderliggende fout.