Fuga de información

Portada de Bestfy Academy sobre Fuga de información

La fuga de información es la entrada, durante el desarrollo o la evaluación de un modelo, de datos que no deberían estar disponibles para la predicción que se pretende simular. Produce resultados artificialmente favorables porque deja al modelo conocer, directa o indirectamente, parte del futuro o del conjunto de prueba.

La pregunta clave: ¿se sabía en ese momento?

Para evaluar un pronóstico futbolístico no basta con comprobar que una columna exista en un fichero histórico. Debemos preguntar cuándo se conoció su valor y si una persona o sistema habría podido utilizarlo antes del momento elegido. Un modelo que supuestamente predice a las 10:00 no puede utilizar una alineación anunciada a las 19:00, aunque esa alineación aparezca en una base descargada meses después.

La fuga también puede ser estadística y menos visible. Si calculamos medias, escalas, imputaciones de valores ausentes o seleccionamos variables usando todo el conjunto, incorporamos información del bloque reservado a entrenamiento. Incluso sin incluir el marcador final como columna, el procesamiento puede dar pistas indebidas. Para evitarlo, las transformaciones que aprenden de los datos se ajustan solo sobre el entrenamiento disponible en cada fase y se aplican después a los casos nuevos.

Hay que distinguir una variable legítima del futuro como objetivo —el resultado que se desea pronosticar, conocido después para evaluar— de utilizar ese objetivo o información derivada de él como entrada antes de la predicción. Un pronóstico prepartido no puede introducir el número final de córners como variable explicativa de ese mismo encuentro.

Ejemplo resuelto: una predicción matinal

Ejemplo ficticio de fútbol. Fijamos que un analista emite su probabilidad para el 1X2 de un partido inventado a las 10:00. En un archivo histórico aparecen cinco campos. El ejercicio consiste en decidir cuáles podrían utilizarse en ese instante, no en calcular un porcentaje de victoria.

Auditoría temporal de variables ficticias
Campo Disponible ¿Válido para las 10:00?
Últimos cinco resultados anteriores Antes del partido Sí, si no incluyen encuentros futuros
Posibles bajas anunciadas a las 09:00 09:00 Sí, con su fuente y fiabilidad
Once oficial 19:00 No
Cuota de cierre 20:45 No
Marcador final y xG del partido Después del encuentro No

Paso 1: fijar la hora de corte: 10:00, no «antes del inicio» de forma vaga. Paso 2: conservar exclusivamente información documentadamente disponible hasta ese corte. Paso 3: volver a calcular las variables históricas con la misma regla de disponibilidad. El once de las 19:00 podría ser legítimo para otro experimento con predicción a las 19:30, pero jamás para la predicción matinal definida inicialmente.

Imaginemos que el modelo obtiene en la prueba histórica un Brier inventado de 0,08 incluyendo once oficial y cierre, frente a 0,18 al usar solo variables matinales. La mejora no es evidencia válida del modelo de las 10:00, porque se ha cambiado la información permitida. No se ha ejecutado ninguno de esos experimentos; son números creados para ilustrar el problema.

Fugas sutiles y cómo evitarlas

Un promedio móvil de goles puede contener el partido que intenta predecirse si el cálculo no desplaza correctamente la ventana. Los partidos de la misma jornada pueden causar problemas si se utiliza una tabla de clasificación actualizada después de algunos de ellos. Con datos duplicados, dos versiones del mismo encuentro pueden acabar en entrenamiento y prueba. La información compartida por equipos o competiciones exige controlar grupos y dependencias.

Conviene mantener instantáneas temporales de información, ordenar los datos por fecha real de disponibilidad y hacer que las operaciones de transformación formen parte de un procedimiento ajustado únicamente con entrenamiento. Un historial reconstruido después no siempre permite recuperar exactamente lo que podía verse antes: cuando falte esa evidencia, debe registrarse la limitación y no rellenarla por suposición.

  • Error: asumir que la fecha del partido coincide con la fecha de publicación de cada dato.
  • Error: ajustar una normalización con todo el conjunto antes de separarlo.
  • Error: pensar que basta con quitar la columna «resultado final» para evitar cualquier fuga.

Qué recordar: el dato correcto para una predicción no es solo el dato verdadero, sino el dato que ya estaba disponible y definido cuando se habría tomado la decisión.

Conceptos relacionados

  • Backtesting
  • Validación fuera de muestra
  • Sobreajuste
  • Goles esperados o xG
  • Comparación con la cuota de cierre

Publicidad