Mapa de palabras en dos dimensiones
Haga clic en un punto para estudiar esa palabra. Los colores solo indican en qué tipo de frases aparece más: el modelo no conoce los temas; las posiciones salen únicamente de qué palabras aparecen cerca de cuáles.
¿Qué observar?
- Palabras con contextos parecidos quedan cerca (juez, magistrado, jueza), aunque nadie le dijo al modelo que significan lo mismo.
- En one-hot toda palabra es igual de distinta de las demás (similitud 0). En un embedding hay grados de parecido.
- Este modelo es minúsculo: unas 200 frases en vez de miles de millones de palabras, y 12 números por palabra en vez de cientos. Por eso comete errores que uno grande no cometería.
- En la pestaña Buscador verá la idea detrás de RAG: encontrar texto por su significado y no solo por las palabras exactas.
¿Y qué hace un modelo con estos vectores? Predecir la siguiente palabra: véalo entrenarse paso a paso.