O que é uma boa percentagem de precisão de previsão?

Não existe uma única percentagem de precisão de previsão que seja boa para todos os casos. A precisão, normalmente indicada como 100% menos o MAPE ou o WAPE, depende do nível a que mede, do horizonte temporal e da volatilidade da procura. Uma boa previsão bate uma previsão ingénua simples e a sua própria precisão anterior, ao nível em que as decisões são realmente tomadas.

Pontos principais

• A mesma previsão pode ter perto de 99% por família de produtos e por mês, e abaixo de 80% por artigo e por semana. Indique sempre o nível e o horizonte juntamente com o número.
• O WAPE (erro absoluto total dividido pelo total dos valores reais) é uma base mais segura para uma percentagem de precisão do que o MAPE, que falha com vendas baixas ou nulas.
• Avalie a precisão face a uma referência: uma previsão ingénua, a precisão do ano anterior ou o erro que consegue suportar, dados os prazos de entrega e o stock de segurança.
• Acompanhe o enviesamento em separado. Uma previsão que fica sistematicamente 10% acima pode parecer "precisa" em média e, ainda assim, encher armazéns.
• Meça ao nível da decisão: semanalmente por centro de distribuição para o reabastecimento, mensalmente por família de produtos para a capacidade, trimestralmente para os orçamentos.

O que é a precisão de previsão?

A precisão de previsão indica quão próximos os valores previstos ficam do que realmente aconteceu. A maioria das equipas calcula primeiro o erro de previsão e depois exprime a precisão como o seu complemento: se o erro for de 15%, a precisão é de 85%.

O problema é que o "erro" pode ser calculado de várias formas, e cada uma dá uma percentagem diferente para a mesma previsão. Antes de comparar o seu número com o de outra pessoa, confirme qual a fórmula, o nível de agregação e o desfasamento temporal utilizados.

Como se calcula a precisão de previsão?

Estas são as fórmulas que encontrará com mais frequência. A é o valor real e F a previsão para cada artigo e período.

A precisão de previsão em % é, então, normalmente 100% − WAPE, com um mínimo de zero. O manual de previsão de Hyndman e Athanasopoulos explica por que razão os erros percentuais como o MAPE são "infinitos ou indefinidos" quando os valores reais são zero e extremos quando se aproximam de zero (Forecasting: Principles and Practice, secção 5.8). Esta é a principal razão pela qual os planeadores de procura passam do MAPE para o WAPE. A documentação de previsão da AWS descreve o WAPE da mesma forma e refere que é menos sensível a valores atípicos do que o RMSE, porque usa erros absolutos em vez de quadráticos (métricas de precisão do Amazon Forecast).

Um exemplo prático: uma previsão, três números de precisão

Considere três produtos numa semana (valores ilustrativos):

• Nível total: previsão de 160 contra 162 reais. Erro de 1,2%, pelo que a precisão é de 98,8%.
• Nível do artigo, WAPE: 38 ÷ 162 = 23,5% de erro, pelo que a precisão é de 76,5%.
• Nível do artigo, MAPE: 11,1%, 28,6% e 400%, com uma média de cerca de 147% de erro. A precisão deixa de fazer sentido, apenas porque o produto C vendeu 2 unidades.
• Enviesamento: (160 − 162) ÷ 162 = −1,2%, perto do neutro.

Nada na previsão mudou entre estas linhas. Mudou apenas a medição. É por isso que um fornecedor que afirma "95% de precisão" diz muito pouco enquanto não souber o nível, a métrica e o horizonte.

O que é uma boa percentagem de precisão de previsão?

Um bom número é aquele que supera uma referência simples e é suficientemente bom para a decisão que apoia. As "médias do setor" publicadas raramente indicam a fórmula ou o nível, por isso encare-as com cautela e construa antes a sua própria base de comparação.

Use três testes:

1. Bate uma previsão ingénua? Uma previsão ingénua limita-se a repetir o último valor, ou o valor do mesmo período do ano anterior nos artigos sazonais. Se o seu modelo não a superar, não está a acrescentar valor. O MASE torna isto explícito: na definição do manual, um erro escalado inferior a um significa que a previsão é melhor do que a ingénua (FPP3).
2. Está a melhorar face ao seu próprio histórico? Compare o WAPE deste trimestre com o do mesmo trimestre do ano passado, ao mesmo nível e com o mesmo desfasamento.
3. O erro restante é suportável? Traduza o erro em stock de segurança, vendas perdidas ou capacidade ociosa. Se reduzir o erro em dois pontos custar mais do que o stock adicional que poupa, pare por aí.

Uma verificação de realidade útil, do mesmo manual: na produção trimestral de cerveja na Austrália, um simples método sazonal ingénuo obtém um MAPE de 3,17%, o que seria comunicado como cerca de 97% de precisão. As séries regulares e sazonais são fáceis. As séries voláteis e intermitentes não são, e uma percentagem mais baixa nelas pode, ainda assim, corresponder à melhor previsão.

O que faz o número subir ou descer

Como melhorar a precisão de previsão

• Limpe o histórico. Retire os períodos de rutura de stock (vendas a zero porque as prateleiras estavam vazias), as duplicações e as encomendas pontuais antes de treinar.
• Comece pelo simples. Um modelo sazonal ingénuo ou de alisamento exponencial é uma base justa e fácil de explicar. Só acrescente complexidade quando superar essa base em testes retrospetivos.
• Use testes retrospetivos (backtesting). Avalie os modelos em períodos que não viram, idealmente com validação cruzada de origem móvel, e não nos dados com que foram ajustados.
• Acrescente variáveis que conhece de facto com antecedência: alterações de preço, promoções, feriados e, para bens sazonais, a meteorologia a curto prazo.
• Meça o valor das correções manuais. Compare a previsão estatística com a corrigida. Os ajustes das equipas comerciais e dos planeadores introduzem muitas vezes enviesamento.
• Defina um único número entre funções. Vendas, marketing, operações e finanças devem rever a mesma previsão, com pressupostos conhecidos, com uma periodicidade fixa.
• Planeie para o erro que não consegue eliminar. Por vezes, prazos de entrega mais curtos, lotes mais pequenos ou capacidade flexível compensam mais do que outro modelo.

Machine learning e ferramentas de previsão na cloud

Os modelos de machine learning ajudam mais quando existem muitas séries relacionadas e variáveis externas úteis, como milhares de referências (SKU) em muitas lojas. Ajudam menos em históricos curtos e esparsos. Na AWS, tenha em conta que o Amazon Forecast já não está disponível para novos clientes (documentação da AWS). Os novos projetos recorrem tipicamente ao SageMaker ou a bibliotecas de código aberto, com as mesmas métricas de precisão descritas acima. Seja qual for a ferramenta, mantenha a referência ingénua nos seus relatórios para ver o que o modelo acrescenta.

Como a Opsio pode ajudar

As equipas de consultoria de análise preditiva e de análise de dados e BI da Opsio ajudam as organizações a montar os pipelines de dados, os testes retrospetivos e os dashboards que sustentam um número de precisão fiável. Quando os modelos passam para produção, a nossa prática de MLOps trata do retreino, da monitorização e dos alertas de desvio na cloud. Para uma visão mais ampla das diferenças entre o ML e outras disciplinas de IA, consulte visão computacional vs machine learning.

Perguntas frequentes

80% de precisão de previsão é bom?

Depende do nível. Ao nível de artigo por semana, numa gama de retalho mista, 80% (100% − WAPE) pode ser um resultado forte. Ao nível de empresa por mês, seria normalmente fraco. Compare-o com uma previsão ingénua ao mesmo nível antes de decidir.

Como calculo a precisão de previsão no Excel?

Coloque os valores reais na coluna A e as previsões na coluna B. Calcule o erro absoluto por linha com =ABS(A2-B2). Depois, precisão = 1 − SOMA(erros absolutos) ÷ SOMA(valores reais), ou seja, 1 − WAPE. Formate como percentagem e limite os valores negativos a zero.

Qual é a diferença entre precisão de previsão e enviesamento da previsão?

A precisão mede a dimensão dos erros, independentemente da direção. O enviesamento mede a sua direção: se, em média, prevê valores demasiado altos ou demasiado baixos. Precisa de ambos, porque os erros em sentidos opostos se anulam no enviesamento.

Porque é que o meu MAPE é tão alto quando a previsão parece estar bem?

Normalmente porque alguns artigos têm valores reais muito pequenos. Falhar 8 unidades num artigo que vendeu 2 é um erro de 400%, o que puxa a média para cima. Passe para o WAPE ou o MASE, ou segmente os artigos de saída lenta.

A precisão de previsão pode ser negativa?

Matematicamente, 1 − MAPE ou 1 − WAPE pode ficar abaixo de zero quando os erros excedem os valores reais. A maioria das equipas limita o valor a 0% e analisa antes o erro subjacente.