Qu'est-ce qu'un bon pourcentage de précision de prévision ?

Il n'existe pas de bon pourcentage de précision de prévision unique. La précision, généralement exprimée en 100 % moins le MAPE ou le WAPE, dépend du niveau auquel vous mesurez, de l'horizon temporel et de la volatilité de la demande. Une bonne prévision fait mieux qu'une simple prévision naïve et que votre propre précision passée, au niveau où les décisions se prennent réellement.

Points clés

• La même prévision peut afficher près de 99 % pour une famille de produits par mois et moins de 80 % par article et par semaine. Indiquez toujours le niveau et l'horizon avec le chiffre.
• Le WAPE (somme des erreurs absolues divisée par la somme des valeurs réelles) est une base plus fiable que le MAPE pour calculer un pourcentage de précision, car le MAPE se dégrade dès que les ventes sont faibles ou nulles.
• Jugez la précision par rapport à une référence : une prévision naïve, la précision de l'an dernier ou l'erreur que vous pouvez vous permettre compte tenu des délais d'approvisionnement et du stock de sécurité.
• Suivez le biais séparément. Une prévision systématiquement trop haute de 10 % peut sembler « précise » en moyenne tout en remplissant les entrepôts.
• Mesurez au niveau de la décision : par semaine et par centre de distribution pour le réapprovisionnement, par mois et par famille de produits pour la capacité, par trimestre pour les budgets.

Qu'est-ce que la précision de prévision ?

La précision de prévision mesure à quel point les valeurs prévues sont proches de ce qui s'est réellement produit. La plupart des équipes calculent d'abord une erreur de prévision, puis expriment la précision comme son complément : si l'erreur est de 15 %, la précision est de 85 %.

Le problème, c'est que l'« erreur » peut se calculer de plusieurs façons, et que chacune donne un pourcentage différent pour la même prévision. Avant de comparer votre chiffre à celui d'un autre, vérifiez quelle formule, quel niveau d'agrégation et quel décalage temporel ont été utilisés.

Comment calculer la précision de prévision ?

Voici les formules que vous rencontrerez le plus souvent. A est la valeur réelle et F la prévision pour chaque article et chaque période.

Le % de précision de prévision correspond alors généralement à 100 % − WAPE, plafonné par le bas à zéro. Le manuel de prévision de Hyndman et Athanasopoulos explique pourquoi les erreurs en pourcentage comme le MAPE sont « infinies ou indéfinies » quand les valeurs réelles sont nulles, et extrêmes quand elles en sont proches (Forecasting: Principles and Practice, section 5.8). C'est la principale raison pour laquelle les planificateurs de la demande passent du MAPE au WAPE. La documentation d'AWS sur la prévision décrit le WAPE de la même manière et précise qu'il est moins sensible aux valeurs aberrantes que le RMSE, car il repose sur des erreurs absolues plutôt que quadratiques (Amazon Forecast accuracy metrics).

Un exemple chiffré : une prévision, trois chiffres de précision

Prenons trois produits sur une semaine (chiffres illustratifs) :

• Niveau total : prévision 160 pour un réel de 162. Erreur de 1,2 %, soit une précision de 98,8 %.
• Niveau article, WAPE : 38 ÷ 162 = 23,5 % d'erreur, soit une précision de 76,5 %.
• Niveau article, MAPE : 11,1 %, 28,6 % et 400 %, soit environ 147 % d'erreur en moyenne. La précision n'a aucun sens, uniquement parce que le produit C s'est vendu à 2 unités.
• Biais : (160 − 162) ÷ 162 = −1,2 %, proche de la neutralité.

Rien n'a changé dans la prévision d'une ligne à l'autre. Seule la mesure a changé. C'est pourquoi un prestataire qui annonce « 95 % de précision » ne vous apprend presque rien tant que vous ne connaissez pas le niveau, l'indicateur et l'horizon.

Qu'est-ce qu'un bon pourcentage de précision de prévision ?

Un bon chiffre est un chiffre meilleur qu'une référence simple et suffisant pour la décision qu'il éclaire. Les « moyennes sectorielles » publiées indiquent rarement leur formule ou leur niveau : prenez-les avec prudence et construisez plutôt votre propre référence.

Appliquez trois tests :

1. Bat-il une prévision naïve ? Une prévision naïve se contente de répéter la dernière valeur, ou celle de la même période l'an dernier pour les articles saisonniers. Si votre modèle ne fait pas mieux, il n'apporte rien. Le MASE le rend explicite : selon la définition du manuel, une erreur mise à l'échelle inférieure à un signifie que la prévision est meilleure que la prévision naïve (FPP3).
2. S'améliore-t-il par rapport à votre propre historique ? Comparez le WAPE de ce trimestre à celui du même trimestre de l'an dernier, au même niveau et avec le même décalage.
3. L'erreur restante est-elle supportable ? Traduisez l'erreur en stock de sécurité, en ventes perdues ou en capacité inutilisée. Si réduire l'erreur de deux points coûte plus cher que le stock supplémentaire que cela évite, arrêtez-vous là.

Le même manuel offre un test de réalité utile : sur la production trimestrielle de bière en Australie, une simple méthode naïve saisonnière obtient un MAPE de 3,17 %, ce qui se traduirait par environ 97 % de précision. Les séries lisses et saisonnières sont faciles. Les séries volatiles et intermittentes ne le sont pas, et un pourcentage plus bas sur ces dernières peut tout de même correspondre à la meilleure prévision.

Ce qui fait monter ou baisser le chiffre

Comment améliorer la précision de prévision

• Nettoyez l'historique. Retirez les périodes de rupture de stock (ventes nulles parce que les rayons étaient vides), les doublons et les commandes exceptionnelles avant l'entraînement.
• Commencez simple. Un modèle naïf saisonnier ou de lissage exponentiel constitue une base honnête et facile à expliquer. N'ajoutez de la complexité que si elle bat cette base lors de tests rétrospectifs.
• Utilisez le backtesting. Évaluez les modèles sur des périodes qu'ils n'ont pas vues, idéalement par validation croisée à origine glissante, plutôt que sur les données d'ajustement.
• Ajoutez les facteurs que vous connaissez réellement à l'avance : changements de prix, promotions, jours fériés, météo à court terme pour les produits saisonniers.
• Mesurez la valeur des ajustements manuels. Comparez la prévision statistique à la prévision ajustée. Les corrections des commerciaux et des planificateurs ajoutent souvent du biais.
• Convenez d'un seul chiffre entre les fonctions. Ventes, marketing, opérations et finance devraient examiner la même prévision, avec des hypothèses connues, à un rythme fixe.
• Prévoyez l'erreur que vous ne pouvez pas supprimer. Parfois, des délais plus courts, des lots plus petits ou une capacité flexible rapportent davantage qu'un nouveau modèle.

Machine learning et outils de prévision dans le cloud

Les modèles de machine learning aident surtout lorsque vous disposez de nombreuses séries liées et de variables externes utiles, comme des milliers de références dans de nombreux magasins. Ils aident moins sur des historiques courts et clairsemés. Sur AWS, notez qu'Amazon Forecast n'est plus ouvert aux nouveaux clients (documentation AWS). Les nouveaux projets s'appuient généralement sur SageMaker ou sur des bibliothèques open source, avec les mêmes indicateurs de précision que ceux décrits plus haut. Quel que soit l'outil, conservez la référence naïve dans vos rapports pour voir ce que le modèle apporte.

Comment Opsio vous accompagne

Les équipes conseil en analytique prédictive et analyse de données et BI d'Opsio aident les organisations à mettre en place les pipelines de données, le backtesting et les tableaux de bord qui sous-tendent un chiffre de précision fiable. Lorsque les modèles passent en production, notre pratique MLOps prend en charge le réentraînement, la supervision et les alertes de dérive dans le cloud. Pour une vue d'ensemble des différences entre le machine learning et les autres disciplines de l'IA, consultez vision par ordinateur et machine learning.

Foire aux questions

Une précision de prévision de 80 % est-elle bonne ?

Cela dépend du niveau. Au niveau article par semaine pour une gamme de distribution variée, 80 % (100 % − WAPE) peut être un très bon résultat. Au niveau entreprise par mois, ce serait généralement faible. Comparez-le à une prévision naïve au même niveau avant de conclure.

Comment calculer la précision de prévision dans Excel ?

Placez les valeurs réelles dans la colonne A et les prévisions dans la colonne B. Calculez l'erreur absolue par ligne avec =ABS(A2-B2). La précision est alors égale à 1 − SOMME(erreurs absolues) ÷ SOMME(valeurs réelles), c'est-à-dire 1 − WAPE. Mettez le résultat au format pourcentage et ramenez les valeurs négatives à zéro.

Quelle est la différence entre précision et biais de prévision ?

La précision mesure l'ampleur des erreurs, quel que soit leur sens. Le biais mesure leur direction : prévoyez-vous trop haut ou trop bas en moyenne ? Il faut les deux, car des erreurs de sens opposés s'annulent dans le biais.

Pourquoi mon MAPE est-il si élevé alors que la prévision semble correcte ?

Généralement parce que certains articles ont des valeurs réelles très faibles. Une erreur de 8 unités sur un article vendu à 2 exemplaires représente 400 % d'erreur, ce qui tire la moyenne vers le haut. Passez au WAPE ou au MASE, ou segmentez les articles à faible rotation.

La précision de prévision peut-elle être négative ?

Mathématiquement, 1 − MAPE ou 1 − WAPE peut passer sous zéro lorsque les erreurs dépassent les valeurs réelles. La plupart des équipes plafonnent le chiffre à 0 % et examinent plutôt l'erreur sous-jacente.