Calibración

Portada de Bestfy Academy sobre Calibración

La calibración de un modelo probabilístico indica hasta qué punto las frecuencias observadas se corresponden con las probabilidades que anunció. Si un modelo asigna un 70 % a muchos eventos comparables, se espera que alrededor del 70 % ocurran cuando esas previsiones estén bien calibradas, dentro de la variación de la muestra.

Qué significa que una probabilidad sea fiable

Un pronóstico no solo decide entre «sí» y «no». Puede decir que un gol local es probable al 55 %, al 75 % o al 95 %. La calibración pregunta si esas cifras tienen una interpretación frecuentista razonable: entre los partidos con pronóstico cercano al 75 %, ¿ocurre el evento aproximadamente tres de cada cuatro veces?

Para estudiarla se comparan predicciones guardadas antes de los encuentros con sus resultados posteriores, usando exactamente el mismo evento y periodo. Una forma de representarla es agrupar predicciones en intervalos y dibujar un diagrama de fiabilidad: en el eje horizontal la probabilidad predicha media del grupo; en el vertical la proporción que realmente ocurrió. Si ambas son parecidas, los puntos se acercan a la diagonal.

Sin embargo, agrupar afecta al diagnóstico. Un intervalo que va del 60 % al 80 % puede mezclar predicciones de 0,61 y 0,79; usar muchas categorías deja pocos partidos por grupo. Por eso deben publicarse también recuentos y procedimiento de agrupación. Un gráfico visualmente atractivo no sustituye una muestra adecuada.

Ejemplo resuelto: la frase «siete de cada diez»

Ejemplo ficticio de fútbol. Antes de 20 partidos inventados, el modelo atribuye 70 % a que el equipo local marcará al menos un gol. Para este ejercicio son veinte predicciones del mismo evento, todas con 0,70, registradas antes de conocerse el resultado y evaluadas una sola vez.

Escenario A: el equipo local marca en 14 de los 20 encuentros. La frecuencia es 14 / 20 × 100 = 70 %, coincidente con lo previsto. En este grupo concreto, la frecuencia observada se corresponde con la probabilidad anunciada. No significa que el modelo esté calibrado en todos los niveles de probabilidad ni que los próximos veinte produzcan necesariamente catorce goles locales.

Escenario B: con las mismas veinte predicciones de 0,70, solo ocho eventos se cumplen. La frecuencia observada sería 8 / 20 × 100 = 40 %, una diferencia de 30 puntos porcentuales respecto al 70 %. Es una señal que merece análisis, aunque con veinte casos también existe variación aleatoria y no se debe atribuir automáticamente el desajuste a un fallo estructural.

Contraste importante: un sistema que pronosticara siempre 50 % podría tener buena calibración global en una población donde el evento sucede la mitad de las veces, pero separar mal los partidos más favorables de los menos favorables. La discriminación mide esa capacidad de ordenar o distinguir casos, mientras que la calibración pregunta por el significado de los porcentajes.

Calibración no es tasa de acierto ni rentabilidad

Para comprobar calidad probabilística también se usan reglas de puntuación como el Brier score y la pérdida logarítmica. Ambas penalizan probabilidades alejadas de los resultados, pero no miden exclusivamente calibración: integran otros aspectos, incluida la discriminación y la incertidumbre del conjunto evaluado. Que el Brier disminuya no basta, por sí solo, para demostrar que la calibración ha mejorado. Una revisión completa puede estudiar diagramas, grupos suficientemente poblados y desempeño frente a una referencia adecuada.

Si se aprende una transformación para recalibrar un modelo, como ajustar una curva sobre sus pronósticos, debe utilizarse un conjunto apropiado que no contamine la evaluación final. Recalibrar mirando repetidamente la prueba final la convierte en material de desarrollo. Y aunque un modelo prediga probabilidades bien calibradas, los precios ofrecidos y los costes pueden hacer que no exista ninguna oportunidad favorable.

  • Error: interpretar 70 % como garantía de acierto de un partido individual.
  • Error: confundir tener más aciertos con haber anunciado probabilidades mejor calibradas.
  • Error: inferir calibración perfecta por una sola coincidencia de 14/20.

Qué recordar: una probabilidad calibrada debe comportarse como frecuencia a través de muchos casos pertinentes; su evaluación requiere tamaños de muestra, separación temporal y una lectura distinta de la rentabilidad.

Conceptos relacionados

  • Brier score
  • Pérdida logarítmica
  • Tasa de acierto
  • Validación fuera de muestra
  • Valor en una apuesta

Publicidad