Qual è una buona percentuale di accuratezza della previsione?

Non esiste una percentuale di accuratezza della previsione valida in assoluto. L'accuratezza, di solito espressa come 100% meno MAPE o WAPE, dipende dal livello di aggregazione a cui misurate, dall'orizzonte temporale e dalla volatilità della domanda. Una buona previsione batte una semplice previsione naïve e la vostra accuratezza storica, al livello in cui si prendono davvero le decisioni.

Punti chiave

• La stessa previsione può ottenere quasi il 99% per una famiglia di prodotti su base mensile e meno dell'80% per singolo articolo su base settimanale. Indicate sempre livello e orizzonte insieme al numero.
• Il WAPE (errore assoluto totale diviso per il venduto totale) è una base più sicura del MAPE per calcolare una percentuale di accuratezza, perché il MAPE non regge con vendite basse o pari a zero.
• Giudicate l'accuratezza rispetto a un benchmark: una previsione naïve, l'accuratezza dell'anno scorso o l'errore che potete permettervi in base ai lead time e alle scorte di sicurezza.
• Monitorate il bias separatamente. Una previsione costantemente superiore del 10% può sembrare "accurata" in media mentre riempie i magazzini.
• Misurate al livello decisionale: settimanale per centro di distribuzione per il riassortimento, mensile per famiglia di prodotti per la capacità, trimestrale per i budget.

Che cos'è l'accuratezza della previsione?

L'accuratezza della previsione indica quanto i valori previsti si avvicinano a quelli effettivamente registrati. La maggior parte dei team calcola prima un errore di previsione e poi esprime l'accuratezza come suo complemento: se l'errore è del 15%, l'accuratezza è dell'85%.

Il problema è che l'"errore" si può calcolare in più modi e ognuno restituisce una percentuale diversa per la stessa previsione. Prima di confrontare il vostro numero con quello di altri, verificate quale formula, quale livello di aggregazione e quale lag temporale hanno usato.

Come si calcola l'accuratezza della previsione?

Queste sono le formule che incontrerete più spesso. A è il valore effettivo e F la previsione per ogni articolo e periodo.

L'accuratezza della previsione in % è quindi di solito 100% − WAPE, con minimo a zero. Il manuale di previsione di Hyndman e Athanasopoulos spiega perché gli errori percentuali come il MAPE sono "infiniti o indefiniti" quando i valori effettivi sono zero ed estremi quando sono vicini a zero (Forecasting: Principles and Practice, sezione 5.8). È il motivo principale per cui i demand planner passano dal MAPE al WAPE. Anche la documentazione di AWS sulle previsioni descrive il WAPE nello stesso modo e osserva che è meno sensibile ai valori anomali rispetto all'RMSE, perché usa errori assoluti anziché quadratici (metriche di accuratezza di Amazon Forecast).

Un esempio pratico: una previsione, tre numeri di accuratezza

Prendiamo tre prodotti in una settimana (numeri illustrativi):

• Livello totale: previsione 160 contro un effettivo di 162. Errore dell'1,2%, quindi l'accuratezza è del 98,8%.
• Livello di articolo, WAPE: 38 ÷ 162 = 23,5% di errore, quindi l'accuratezza è del 76,5%.
• Livello di articolo, MAPE: 11,1%, 28,6% e 400%, con una media di circa il 147% di errore. L'accuratezza non ha alcun significato, solo perché il prodotto C ha venduto 2 unità.
• Bias: (160 − 162) ÷ 162 = −1,2%, vicino alla neutralità.

Tra una riga e l'altra la previsione non è cambiata. È cambiata solo la misurazione. Per questo un fornitore che dichiara il "95% di accuratezza" vi dice molto poco finché non conoscete livello, metrica e orizzonte.

Qual è una buona percentuale di accuratezza della previsione?

Un buon numero è quello che supera un semplice benchmark ed è sufficiente per la decisione che supporta. Le "medie di settore" pubblicate raramente indicano formula e livello, quindi trattatele con cautela e costruite invece una vostra baseline.

Usate tre test:

1. Batte una previsione naïve? Una previsione naïve si limita a ripetere l'ultimo valore, oppure il valore dello stesso periodo dell'anno precedente per gli articoli stagionali. Se il vostro modello non riesce a batterla, non aggiunge valore. Il MASE lo rende esplicito: nella definizione del manuale, un errore scalato inferiore a uno significa che la previsione è migliore di quella naïve (FPP3).
2. Sta migliorando rispetto al vostro storico? Confrontate il WAPE di questo trimestre con quello dello stesso trimestre dell'anno scorso, allo stesso livello e con lo stesso lag.
3. L'errore residuo è sostenibile? Traducete l'errore in scorte di sicurezza, vendite perse o capacità inutilizzata. Se ridurre l'errore di due punti costa più delle scorte aggiuntive che fa risparmiare, fermatevi lì.

Un utile controllo di realtà dallo stesso manuale: sulla produzione trimestrale di birra in Australia, un semplice metodo naïve stagionale ottiene un MAPE del 3,17%, che verrebbe riportato come circa il 97% di accuratezza. Le serie regolari e stagionali sono facili. Quelle volatili e intermittenti no, e su di esse una percentuale più bassa può comunque corrispondere alla previsione migliore.

Che cosa fa salire o scendere il numero

Come migliorare l'accuratezza della previsione

• Pulite lo storico. Prima dell'addestramento rimuovete i periodi di rottura di stock (vendite pari a zero perché gli scaffali erano vuoti), i duplicati e gli ordini una tantum.
• Partite dal semplice. Un modello naïve stagionale o di smorzamento esponenziale è una baseline corretta e facile da spiegare. Aggiungete complessità solo quando batte la baseline nei backtest.
• Usate il backtesting. Valutate i modelli su periodi che non hanno mai visto, idealmente con cross-validation a origine mobile, anziché sui dati su cui sono stati addestrati.
• Aggiungete variabili che conoscete davvero in anticipo: variazioni di prezzo, promozioni, festività, meteo a breve termine per i beni stagionali.
• Misurate il valore delle correzioni manuali. Confrontate la previsione statistica con quella corretta. Le modifiche di vendite e planner spesso aggiungono bias.
• Concordate un unico numero tra le funzioni. Vendite, marketing, operations e finanza dovrebbero rivedere la stessa previsione, con ipotesi dichiarate, a cadenza fissa.
• Pianificate l'errore che non potete eliminare. A volte lead time più brevi, lotti più piccoli o capacità flessibile rendono più di un altro modello.

Machine learning e strumenti di previsione nel cloud

I modelli di machine learning aiutano di più quando avete molte serie correlate e variabili esterne utili, come migliaia di SKU in molti punti vendita. Aiutano meno su storici brevi e sparsi. Su AWS, tenete presente che Amazon Forecast non è più disponibile per i nuovi clienti (documentazione AWS). I nuovi progetti di solito usano SageMaker o librerie open source, con le stesse metriche di accuratezza descritte sopra. Qualunque sia lo strumento, mantenete la baseline naïve nei vostri report, così potete vedere che cosa aggiunge il modello.

Come vi aiuta Opsio

I team di consulenza di predictive analytics e di data analytics e BI di Opsio aiutano le organizzazioni a predisporre le pipeline di dati, il backtesting e le dashboard alla base di un numero di accuratezza affidabile. Quando i modelli passano in produzione, la nostra practice MLOps gestisce riaddestramento, monitoraggio e alert di drift nel cloud. Per un quadro più ampio sulle differenze tra il ML e le altre discipline dell'IA, leggete computer vision e machine learning a confronto.

Domande frequenti

Un'accuratezza di previsione dell'80% è buona?

Dipende dal livello. A livello di singolo articolo per settimana, per un assortimento retail misto, l'80% (100% − WAPE) può essere un ottimo risultato. A livello di azienda per mese sarebbe di solito debole. Prima di decidere, confrontatela con una previsione naïve allo stesso livello.

Come si calcola l'accuratezza della previsione in Excel?

Inserite i valori effettivi nella colonna A e le previsioni nella colonna B. Calcolate l'errore assoluto per ogni riga con =ASS(A2-B2). Poi accuratezza = 1 − SOMMA(errori assoluti) ÷ SOMMA(effettivi), cioè 1 − WAPE. Formattatela come percentuale e portate a zero i valori negativi.

Qual è la differenza tra accuratezza e bias della previsione?

L'accuratezza misura l'entità degli errori a prescindere dalla direzione. Il bias ne misura la direzione: se in media prevedete troppo alto o troppo basso. Servono entrambi, perché nel bias gli errori di segno opposto si annullano.

Perché il mio MAPE è così alto anche se la previsione sembra buona?

Di solito perché alcuni articoli hanno valori effettivi molto piccoli. Un errore di 8 unità su un articolo che ne ha vendute 2 è un errore del 400% e fa salire la media. Passate al WAPE o al MASE, oppure segmentate gli articoli a bassa rotazione.

L'accuratezza della previsione può essere negativa?

Matematicamente, 1 − MAPE o 1 − WAPE può scendere sotto zero quando gli errori superano i valori effettivi. La maggior parte dei team porta il valore a 0% e osserva invece l'errore di fondo.