Backtesting

Portada de Bestfy Academy sobre Backtesting

El backtesting es la evaluación histórica de un método aplicándolo, con reglas reproducibles, a situaciones pasadas como si la decisión se hubiera tomado entonces. Su objetivo es comprobar cómo se habría comportado bajo condiciones documentadas, no demostrar que se obtendrán los mismos resultados en el futuro.

Reconstruir el pasado sin usar el futuro

Una prueba histórica válida necesita una pregunta precisa: «¿qué habría predicho este modelo sobre los partidos que aún no se habían disputado?». Para responder, debemos reconstruir qué información estaba disponible en el momento de cada predicción. Si se usa la alineación revelada después del momento fijado o un resumen estadístico calculado con encuentros posteriores, la prueba deja de representar esa decisión.

Hay dos planos que conviene separar. El primero es predictivo: ¿las probabilidades del modelo eran razonables frente a los resultados, usando métricas como Brier o pérdida logarítmica? El segundo es económico: si se reconstruyen selecciones, importes, cuotas que realmente podrían haberse observado, costes y reglas de liquidación, ¿qué resultado simulado habría surgido? Una buena evaluación predictiva no implica automáticamente buen rendimiento económico; una racha económica favorable tampoco prueba calidad probabilística.

Antes de empezar deben fijarse universo de partidos, competiciones, periodo, mercados, zona horaria, instante de predicción, cobertura de datos y descartes. Las exclusiones justificadas se documentan antes de mirar el resultado. También se registra el tratamiento de partidos suspendidos, anulaciones, cuotas ausentes, posiciones simultáneas y fuentes. Sin estos datos, es fácil construir una historia retrospectiva convincente pero irrepetible.

Ejemplo resuelto: una prueba cronológica pequeña

Ejemplo ficticio de fútbol; no se ha ejecutado un backtest real. Imaginamos doce partidos ordenados por fecha. Utilizamos los ocho primeros exclusivamente para ajustar el modelo y reservamos los cuatro siguientes como evaluación. El objetivo binario es «marca el equipo local al menos un gol», definido de igual manera en todos los encuentros. En la tabla, las probabilidades representan predicciones hipotéticas congeladas antes de cada partido; 1 significa que el evento ocurrió y 0 que no.

Cuatro predicciones ficticias del bloque posterior
Partido Probabilidad prevista Resultado y (p − y)²
9 0,60 1 0,16
10 0,55 0 0,3025
11 0,70 1 0,09
12 0,40 0 0,16

Paso 1: sumamos errores cuadráticos: 0,16 + 0,3025 + 0,09 + 0,16 = 0,7125. Paso 2: dividimos entre cuatro para obtener Brier binario medio = 0,178125. Paso 3: definimos una referencia que siempre pronostica 0,50; su Brier sería 0,25 en cada partido, por lo que el promedio sería 0,25. En esta miniprueba inventada, el modelo obtiene menor error que la referencia.

Pero cuatro partidos no acreditan superioridad estable ni permiten deducir beneficio. Además, si se escogieron las probabilidades después de ver esos cuatro resultados, ya no serían predicciones genuinas. La tabla sirve para enseñar a auditar una operación, no para afirmar que un método ha superado una evaluación real.

Cómo documentar una prueba reproducible

Una auditoría debería poder reconstruir cada fila desde sus fuentes originales: identificador del partido, fecha y hora, evento binario, mercado, momento de decisión, variables disponibles, versión del modelo, probabilidad prevista, precio observado si lo hubo, liquidación y costes. Para un experimento con código, registrar además versión del programa, procedimientos de limpieza, datos excluidos y semilla de cualquier simulación efectivamente realizada.

La separación temporal es fundamental. Puede reentrenarse el modelo con una ventana expansiva, pero en cada paso solo se usan resultados anteriores. Las ventanas irregulares de fútbol requieren considerar calendario y simultaneidad; cortar cada diez filas al azar puede mezclar pasado y futuro. Además, el conjunto utilizado para elegir parámetros deja de ser una prueba final independiente, aunque sea cronológicamente posterior al entrenamiento inicial.

  • Error: buscar retrospectivamente la variante que mejor funcionó y presentarla como si se hubiera elegido antes.
  • Error: sustituir precios históricos realmente observables por cuotas seleccionadas a posteriori o por cuotas de cierre cuando la decisión era matinal.
  • Error: reportar solo selecciones con datos disponibles, sin explicar por qué faltan las demás.

Qué recordar: un backtest informa sobre un procedimiento reconstruido y sus supuestos. No sustituye una evaluación independiente, ni valida por sí solo su viabilidad bajo condiciones reales.

Conceptos relacionados

  • Validación fuera de muestra
  • Fuga de información
  • Brier score
  • Sobreajuste
  • Yield

Publicidad