El ejercicio que se repite millones de veces
La atención: ¿en qué palabras se fija?
Cada palabra anterior recibe un peso: el modelo decide cuánta información toma de ella. Los pesos salen del softmax y siempre suman 1. La última palabra, además, entra siempre por una vía directa (la conexión residual), así que la atención sirve para traer lo que falta del resto de la frase.
Cómo baja la pérdida
0
ejemplos vistos
–
pérdida
–
aciertos
–
pesos del modelo
Escala logarítmica. La pérdida es −log de la probabilidad que el modelo le dio a la palabra correcta: si le dio 100 %, vale 0. Los pesos se ajustan con una versión mejorada (Adam) del mismo descenso del gradiente de la regresión lineal, solo que aquí hay – números en vez de dos.
Escriba un comienzo y deje que el modelo continúe
Con temperatura baja repite siempre la continuación más probable; con temperatura alta se arriesga con palabras menos probables. Es la misma perilla que hace que un asistente no responda igual dos veces.
El texto de entrenamiento
¿Qué observar?
- Al principio reparte la probabilidad entre todas las palabras por igual: no sabe nada. Cada ejemplo empuja un poco los pesos para que la palabra que de verdad sigue reciba más probabilidad.
- El modelo no responde una palabra: responde una probabilidad para cada palabra del vocabulario. Mire «el contrato de»: en el texto vienen tres continuaciones y el modelo reparte entre las tres.
- La atención empieza repartida por igual entre las palabras del contexto —0,33 cada una— y se va concentrando en la que más informa: en «el contrato de» acaba fijándose en contrato.
- En el selector de arriba puede cambiar a «el ejemplo que está entrenando» y ver pasar, uno por uno, los ejemplos con los que el modelo está aprendiendo en ese momento.
- Nadie le enseñó qué es un contrato ni leyó el Código Civil: solo aprendió qué palabras suelen ir juntas. Por eso un modelo grande puede escribir una cita jurídica impecable y falsa — suena a lo que sigue.
- Este modelo es minúsculo: unas 40 frases y unos 4.000 pesos. Los modelos comerciales se entrenan con casi todo el texto público de internet y tienen cientos de miles de millones de pesos. Esa es toda la diferencia: el ejercicio es el mismo.
- Simplificaciones: una sola cabeza de atención y una sola capa, y palabras completas en vez de fragmentos de palabra (los «tokens» de los modelos reales).
Antes de esto: cómo se representan las palabras como números, en el ejemplo de embeddings.