El mapa de la pérdida: cada punto es una recta posible
pérdida bajapérdida alta
posición actual★ mínimo exacto (mínimos cuadrados)○ punto de partida
Cada punto del mapa es una recta (un intercepto y una pendiente). Las líneas finas unen rectas con la misma pérdida. Haga clic en el mapa para elegir otro punto de partida.
Tamaño del paso (tasa de aprendizaje, η)
Si el paso es muy pequeño, el avance es lento. Si es muy grande, la búsqueda salta de un lado a otro del valle y la pérdida puede empeorar.
La recta que se va ajustando
datos observadoserror (predicho − observado)líneas tenues: rectas anteriores
Cómo baja la pérdida
0
iteración
–
intercepto
–
pendiente
–
pérdida (MSE)
Eje vertical en escala logarítmica. El mínimo exacto es .
Qué calcula cada paso
El gradiente indica en qué dirección sube más rápido la pérdida. El algoritmo se mueve en la dirección contraria, un paso de tamaño η × gradiente, y repite hasta que el gradiente es casi cero: allí ya no se puede bajar más.
¿Qué observar?
- En el mapa, el camino baja por el valle hasta el mínimo; en la gráfica de la izquierda, la recta se acerca poco a poco a los puntos.
- La pérdida baja rápido al comienzo y luego lento: cerca del mínimo la pendiente del terreno es casi plana.
- Con una η muy grande, el camino zigzaguea y la pérdida crece.
- Al final llega a los mismos valores que la fórmula exacta de mínimos cuadrados (★). Con modelos grandes, como las redes neuronales, no hay fórmula exacta y se usa este mismo método.