Introducción a las Métricas para la Medición de la Asertividad y Errores de los Pronósticos
Presentamos de manera sencilla las métricas más comunes para la medición de los pronósticos de demanda y de ventas. Por definición, el pronóstico es la identificación del valor más probable de una incertidumbre en el futuro. Entonces la asertividad corresponde a la medida en que el pronóstico sea más cercano a la realidad y el error estadístico mide la diferencia entre el pronóstico y la realidad.
Existen múltiples maneras de gestionar la métricas e indicadores de los errores y asertividad de pronósticos y estos dependen de la naturaleza de los elementos o variables que se están midiendo del negocio o empresa en particular.
En el ámbito empresarial y comercial, los pronósticos más precisos aumentan la eficacia para responder a la demanda disminuyendo los costos. Por consiguiente, es muy importante la medición de la asertividad de los pronósticos dado que las decisiones que se toman se basan sobre sobre la información más certera posible. La forma de medir la asertividad depende del modelo de pronósticos que se utilice.
¿Para qué medir la Asertividad de los Pronósticos?
Para mejorar el proceso de pronóstico
Para obtener más y mejor información del desempeño esperado del pronóstico
Para disponer de información comparativa “Benchmark”
Para identificar problemas de manera anticipada
Formas de Medir o Métricas
Existen diferentes tipos de mediciones, presentamos las más comunes clasificadas por tipo:
Mediciones basadas en Porcentaje
Mediciones basadas en unidades
Mediciones fundamentadas en bases relativas
Mediciones usadas frecuentemente en ambientes Empresariales
La aserividad se puede definir como: Asertividad = 1- Error
MAPE:
Mean Absolute Percent Error (Media del Error Absoluto en Porcentaje) mide el promedio del error en porcentaje. Es calculado como el promedio en porcentaje de los errores absolutos. El MAPE es muy fácil de interpretar inclusive cuando usted desconozca el volumen de la demanda; sin embargo, el MAPE es sensible a la escala y se vuelve sin sentido para bajos volúmenes o datos con periodos de cero demanda. Cuando se agrega o se utiliza con varios productos, el resultado del MAPE es dominado por los productos de bajo volumen o con ceros.
MAD:
Mean Absolute Error (Media del Error Absoluto) mide el promedio de los errores en unidades. Es calculado como el promedio de los errores sin signo. Resulta de gran utilidad cuando se desea medir el error de pronóstico en las mismas unidades de la serie original. El MAD es bueno cuando se utiliza para analizar un pronóstico de un solo producto y usted conoce la escala de la demanda. Cuando se agrega o se utiliza con varios productos, el resultado del MAD es dominado por productos de alto volumen.
WMAPE:
Weighted Mean Absolute Percent Error (Media del Error Absoluto en Porcentaje Ponderada) asigna el peso correspondiente a cada ítem, dependiendo del volumen de venta o de referencia del Item.
RAE:
Relative Absolute Error - Es usada para medir el desempeño del pronóstico comparado con otra base que sirve como referencia. Es calculado usando el error relativo entre el modelo Base (comúnmente se usa “naive”, en donde el pronóstico es igual al valor real del periodo anterior) y el modelo seleccionado. Un RAE de 0,54 indica que el tamaño del error del modelo seleccionado es solo 54% del tamaño del error generado usando el modelo base para el mismo conjunto de datos, o, dicho de otra manera, se logra una mejora del 46% (1-54%).
Ejemplo Práctico
En el siguiente cuadro tenemos el cálculo de las métricas explicadas anteriormente. La primera columna se puede leer como los periodos (serie de tiempo) o también se puede leer como si cada renglón fuera un producto separado.
Interpretación de los Resultados del Ejemplo
MAD: se tiene un error de 19,75 unidades. En este caso, se debe tener claro el volumen para así poder interpretar si la cifra es baja o alta.
MAPE: Se tiene un error del 17,5%. Es una cifra fácil de interpretar, sin embargo, si suponemos que el pronóstico es de varios productos, el renglón que tiene un bajo valor o (renglón 2), pesa igual que los demás renglones y por consiguiente afecta el valor del MAPE.
WMAPE: Se tiene un error del 20,3%. Puede observar la diferencia con el MAPE, en este caso en renglón que tienen un bajo volumen pesa menos y por consiguiente el indicador se incrementa con respecto al MAPE.
RAE: El valor obtenido es 0,15. Esto indica que se tiene una mejora de 85% (1 - 0,15) con respecto al modelo Base (en este caso el modelo Naïve).