La revisión cualitativa de un pronóstico estadístico es una actividad primordial en el proceso de pronóstico. Lo ideal, seria que cada pronóstico estadístico fuera revisado para obtener el mejor resultado posible. Sin embargo, en muchas ocasiones este tipo de revisiones no son posibles debido al volumen y detalle de la información. En estos casos, se deben desarrollar herramientas que permitan de forma eficaz ayudar a tamizar los pronósticos y enfocar el análisis en aquellos artículos donde la atención humana es más necesaria.

Que es un reporte de excepción?

Un reporte de excepción compara un valor "A" con un valor "B" y lista todos los artículos cuya diferencia entre "A" y "B" excede un umbral definido. En el ejemplo de la parte superior se muestra un informe de excepción el cual lista todos los artículos en donde el pronóstico para el próximo mes ("A") ha cambiado en más del 20 % comparado con el pronóstico generado un mes atrás para el mismo período ("B"). El informe cataloga 6 casos donde el umbral del 20 % fue excedido y una excepción fue provocada.

El objetivo principal de un reporte de excepción es ayudar al proceso de supervisión a ser más eficaz y eficiente. En el ejemplo anterior el reporte permite identificar inmediatamente aquellos artículos en donde los pronósticos han cambiado considerablemente de tal forma que la intervención humana se hace necesaria.

Esta supervisión contribuye a mantener bajo control el proceso de pronóstico, permitiendo identificar problemas potenciales antes de emitir el pronóstico en firme lo cual es un uso muy común de este tipo de reportes. Usualmente los pronósticos son revisados contra pronósticos generados con diferentes tiempos de anticipación o contra valores históricos (por ejemplo, contra el mes inmediatamente anterior o anualizados es decir el mismo mes un año atrás).

Otro uso de los reportes de excepción es controlar los pronósticos generados contra lo que verdaderamente paso. Esto permite identificar  artículos cuya variación esta por encima del rango permisible lo cual puede ser un indicio de un articulo fuera de control.

Algunos pronosticadores analizan estadísticas de la muestra como el MAPE (Media Absoluta del Porcentaje de Error) y el MAD (Media Absoluta de la Desviación). Sin embargo en muchas ocasiones estas medidas no son del todo bien analizadas ya que usualmente se asume que un MAPE o MAD alto, indican un modelo de pronostico de pobre desempeño, sin embargo esta conclusión no necesariamente es la mas acertada ya que mas que el nivel de exactitud lo que indican estas estadisticas es el nivel de volatilidad de los datos. adicional a esto hay que tener en cuenta que series de tiempo con altos volúmenes generan un MAD mucho mas grande que series de bajo volumen, sin embargo esto no necesariamente indica que tengan un pobre desempeño en el pronóstico. Un reporte de excepción que trabaje este tipo de indicadores lo que realmente nos estará diciendo es que tan volátiles son los datos en la historia.

Como seleccionar los Umbrales adecuados?

Configurar los Umbrales adecuados es una consideración importante antes de empezar a trabajar con un reporte de excepción, retomando el ejemplo inicial, donde se configuro un umbral de excepción que listara cualquier pronóstico que haya cambiado en +/- un 20 %.

Es claro que si hubiéramos configurado un Umbral con un limite inferior menor al 10% se generarían un mayor numero de excepciones y si se hubiera generado un Umbral superior del 50% se generarían menos excepciones, por lo tanto el Umbral controla la sensibilidad de monitoreo y el numero de excepciones a ser revisadas.

En el proceso de revisión de un artículo que aparece en un reporte de excepción el pronosticador decide si el pronóstico es aceptable o si de lo contrario debe analizarse más detenidamente y cambiarse. Usualmente cuando los Umbrales son estrechos esto puede causar lo que se llaman falsos positivos es decir artículos cuyo beneficio de mejorar su nivel de exactitud es bajo en relación con su costo. Mientras que si los Umbrales son demasiado amplios se puede estar dejando pasar oportunidades de mejora. Por lo tanto hay que encontrar el equilibrio entre el costo de analizar falsos positivos versus el costo de dejar de analizar artículos estratégicos cuya mejora tiene un impacto real para el negocio.

También es de anotar que no hay un Umbral universal, los articulo de alto valor garantizan Umbrales cortos en comparación de los de bajo valor que garantizan umbrales mas amplios. Una buena práctica es realizar una clasificación Pareto en virtud de la importancia que tiene cada artículo para el negocio, y variar los Umbrales de acuerdo a estas categorías.