El Brier score es una medida de error de predicciones probabilísticas: compara la probabilidad anunciada con lo que finalmente ocurrió y promedia la diferencia al cuadrado. Para un evento binario, cuanto menor es el valor, mejor resulta el ajuste numérico bajo esa métrica y una evaluación comparable.
No evalúa solo si acertamos la etiqueta
Una predicción puede afirmar «probabilidad de victoria local del 60 %». Si el equipo gana, el evento observado se codifica con un 1; si no gana, con un 0. No se necesita clasificar la previsión como «acertada» o «fallida»: se compara directamente la probabilidad 0,60 con el resultado observado.
La convención binaria de Bestfy Academy es Brier = suma de (pi − yi)² / n, donde p es una probabilidad entre 0 y 1, y vale 1 si ocurre el evento y 0 si no, y n es el número de pronósticos evaluados. El cuadrado convierte en positiva la distancia y penaliza más los errores grandes. Bajo esta convención, el valor está entre 0 y 1: 0 correspondería a predicciones perfectas para los casos evaluados.
La medida responde a una pregunta distinta de la tasa de acierto. Si un modelo dice 0,51 y otro 0,99 para un evento que se produce, ambos podrían clasificarse como «sí», pero sus errores cuadrados serían muy diferentes. El Brier premia o penaliza también la confianza de la predicción.
Ejemplo resuelto: cuatro pronósticos inventados
Ejemplo ficticio de fútbol. Antes de cuatro partidos independientes solo en el sentido de que se evalúan como cuatro registros separados —sin presumir independencia estadística—, un modelo asigna estas probabilidades al evento «marca el local al menos un gol». No se han obtenido de un modelo real.
| Partido | Probabilidad p | Observado y | Error (p − y)² |
|---|---|---|---|
| 1 | 0,70 | 1 | (0,70 − 1)² = 0,09 |
| 2 | 0,20 | 0 | (0,20 − 0)² = 0,04 |
| 3 | 0,60 | 1 | (0,60 − 1)² = 0,16 |
| 4 | 0,40 | 0 | (0,40 − 0)² = 0,16 |
Paso 1: sumar los cuatro errores: 0,09 + 0,04 + 0,16 + 0,16 = 0,45. Paso 2: dividir entre las cuatro previsiones: 0,45 / 4 = 0,1125. Paso 3: comparar con una referencia explícita, por ejemplo, anunciar siempre 0,50. Para cada uno de estos cuatro resultados, (0,50 − y)² = 0,25, y el Brier medio de la referencia es 0,25.
En esta muestra minúscula e inventada el modelo registra menos error cuadrático que la referencia. No podemos deducir superioridad general, rentabilidad ni calibración perfecta: cuatro encuentros no bastan para esas afirmaciones. Un Brier de 0,1125 no significa «88,75 % de acierto»; se trata de una pérdida cuadrática, no de una tasa de éxito.
Binario y multiclase: la escala debe declararse
En un mercado 1X2 hay tres resultados mutuamente excluyentes: victoria local, empate o victoria visitante. Una extensión multiclase común suma, para cada partido, las distancias cuadráticas de las tres probabilidades a los indicadores del resultado efectivo y promedia entre partidos. Esa suma sin reescalar puede variar de 0 a 2; algunas convenciones la dividen entre dos para que quede de 0 a 1.
Por ejemplo, si el modelo ficticio anuncia 0,50 local, 0,30 empate y 0,20 visitante, y ocurre un empate, el error multiclase sin factor adicional es 0,50² + (0,30 − 1)² + 0,20² = 0,25 + 0,49 + 0,04 = 0,78. Si se decide usar la escala dividida entre dos, sería 0,39. No debe compararse directamente ese 0,39 con otro estudio que utiliza la escala sin dividir. Además, las tres probabilidades deben sumar 1 bajo las condiciones del mismo mercado.
Errores frecuentes y límites
El Brier combina varios aspectos de la calidad de las predicciones, como calibración, discriminación e incertidumbre del conjunto. Un Brier más bajo no prueba aisladamente mejor calibración; para eso también conviene examinar diagramas de fiabilidad y grupos suficientes. Las comparaciones exigen el mismo evento, periodo, muestra o diseño de evaluación, método de escala y tratamiento de datos ausentes.
- Error: introducir 70 en lugar de 0,70 al evaluar una probabilidad del 70 %.
- Error: mezclar Brier binario 0–1 y multiclase 0–2 sin declarar la convención.
- Error: deducir capacidad económica o ventaja ante una cuota porque bajó el error predictivo.
Qué recordar: Brier es una puntuación de calidad probabilística bajo condiciones precisas. Es útil para comparar modelos, pero no sustituye un estudio específico de calibración ni un registro económico.
Conceptos relacionados
- Calibración
- Pérdida logarítmica
- Tasa de acierto
- Validación fuera de muestra
- Mercado 1X2