Invítame un café Inicio

Función de pérdida: entropía cruzada

Visualiza cómo la entropía cruzada penaliza las predicciones incorrectas en clasificación binaria, comparándola con la pérdida cuadrática (MSE).

Cuando y = 1 (clase positiva)

Entropía cruzada: -log(ŷ)
MSE: (1 - ŷ)²

Interpretación: Queremos que ŷ → 1.
• Si ŷ ≈ 1: pérdida ≈ 0 ✓
• Si ŷ ≈ 0: CE explota a ∞, MSE solo llega a 1

Cuando y = 0 (clase negativa)

Entropía cruzada: -log(1-ŷ)
MSE: (0 - ŷ)² = ŷ²

Interpretación: Queremos que ŷ → 0.
• Si ŷ ≈ 0: pérdida ≈ 0 ✓
• Si ŷ ≈ 1: CE explota a ∞, MSE solo llega a 1

Predicción del modelo (ŷ) 0.50
0.693
Entropía cruzada (y=1)
L = -log(ŷ)
0.250
MSE (y=1)
L = (1 - ŷ)²
0.693
Entropía cruzada (y=0)
L = -log(1 - ŷ)
0.250
MSE (y=0)
L = ŷ²
Fórmula general de entropía cruzada binaria
L(y, ŷ) = -y·log(ŷ) - (1-y)·log(1-ŷ)

Derivada de la máxima verosimilitud de una distribución Bernoulli