La pérdida logarítmica, o log loss, evalúa probabilidades pronosticadas penalizando especialmente la confianza elevada en resultados que no ocurren. Cuanto menor sea el valor medio, mejor es el resultado bajo esta regla de puntuación y condiciones de evaluación comparables.
Por qué importa la confianza con la que se falla
Dos modelos pueden equivocarse sobre el mismo partido, pero no de la misma manera. Uno anuncia un 55 % de victoria local y el otro un 99 %. Si el equipo pierde, el segundo estaba mucho más seguro de algo que no ocurrió. La pérdida logarítmica castiga de manera muy fuerte esos pronósticos extremos erróneos, de forma diferente a la pérdida cuadrática de Brier.
Para un evento binario con probabilidad anunciada p y resultado observado y (1 si ocurre, 0 si no), la contribución es −[y × ln(p) + (1 − y) × ln(1 − p)]. El símbolo ln significa logaritmo natural, de base e ≈ 2,71828. Para n eventos se suman las contribuciones y se divide entre n; en Academy llamaremos log loss a esa media por observación.
La fórmula se entiende mejor en dos casos. Si el evento ocurre, y = 1 y el error se reduce a −ln(p). Si no ocurre, y = 0 y queda −ln(1 − p). En ambas situaciones la fórmula pregunta: «¿qué probabilidad asignó el modelo al resultado que efectivamente vimos?». Asignar una probabilidad alta a lo ocurrido produce pérdida pequeña; asignarle una probabilidad minúscula produce pérdida muy grande.
Ejemplo resuelto con fútbol y un fallo extremo
Ejemplo ficticio de fútbol. Para el evento «el local gana», un primer partido recibe p = 0,80 y el local efectivamente gana (y = 1). La contribución es −ln(0,80) ≈ 0,2231. En un segundo partido se anuncia p = 0,20 y el local no gana (y = 0): la probabilidad asignada al resultado observado «no gana» es 0,80, así que su contribución también es −ln(0,80) ≈ 0,2231. La media de ambos errores es aproximadamente 0,2231.
Ahora imaginemos, en el segundo partido, que el modelo anuncia p = 0,99 de victoria local, pero el local no gana. El resultado efectivo recibió probabilidad 1 − 0,99 = 0,01. Su pérdida es −ln(0,01) ≈ 4,6052. Si el primer partido conserva 0,2231, la nueva media sería (0,2231 + 4,6052) / 2 ≈ 2,4142, calculando con valores completos antes de redondear.
Los dos modelos fallan una vez en la pareja de partidos, pero el segundo obtiene una pérdida media muchísimo mayor por su error extremo. Por eso la log loss evalúa información que la tasa de acierto no recoge.
Extremos numéricos, 1X2 y comparación con Brier
Si un modelo asigna p = 0 a un evento que ocurre, el cálculo matemático −ln(0) no es finito: la pérdida tiende a infinito. En programas informáticos es habitual limitar numéricamente las probabilidades a un intervalo como [ε, 1−ε] para poder calcular, donde ε es un número positivo muy pequeño. Es indispensable registrar esa regla, porque afecta a los resultados extremos; no se puede tratar un 0 exacto y uno recortado como idénticos sin explicarlo.
Para un pronóstico 1X2 de tres clases que suman uno, la contribución multiclase habitual es −ln(probabilidad asignada al resultado que se produjo). Si se anuncian probabilidades ficticias de 0,50 victoria local, 0,30 empate y 0,20 victoria visitante y se produce el empate, la pérdida es −ln(0,30) ≈ 1,2040. Es la regla logarítmica aplicada al resultado observado, no el logaritmo de la cuota.
Log loss y Brier son reglas de puntuación probabilística distintas: no tienen la misma escala ni reaccionan de manera idéntica a los extremos. Ambas consideran más que la mera calibración y necesitan datos futuros no utilizados para decidir el modelo. Una pérdida menor en un puñado de partidos no prueba ventaja duradera ni ingresos.
- Error: utilizar porcentajes como 80 en lugar de probabilidades 0,80.
- Error: omitir que se usan logaritmos naturales y que se promedia por evento.
- Error: sustituir 0 por un valor arbitrario sin documentar el tratamiento numérico.
Qué recordar: la pérdida logarítmica hace especialmente costoso estar muy seguro y equivocarse. Evalúa probabilidades; no expresa dinero ganado o perdido.
Conceptos relacionados
- Brier score
- Calibración
- Validación fuera de muestra
- Probabilidad implícita