12 · Word embeddings: espacio vectorial denso
Mapea cada palabra a un vector denso de 50–300 dimensiones para que la similitud semántica se vuelva proximidad geométrica — y 'king − man + woman ≈ queen' sea literalmente verdad.
Mapea cada palabra a un vector DENSO (50–300 dimensiones) de modo que la similitud semántica se convierte en proximidad geométrica — y 'king − man + woman ≈ queen' se vuelve literalmente verdad.
Sin esto:
Atascado en el mundo disperso de one-hot/BOW/TF-IDF donde cada palabra es ortogonal a todas las demás.
Hasta ahora, cada representación de palabras que has visto — one-hot encoding, Bag of Words, TF-IDF — comparte una propiedad estructural: el vocabulario forma las columnas de la matriz. Un vocabulario de 50,000 palabras significa un vector de 50,000 dimensiones. La mayoría de entradas son cero. "cat" y "feline" son ortogonales — similitud coseno exactamente 0.0 — aunque significan casi lo mismo.
Los embeddings densos rompen esta restricción por completo. En lugar de indexar en un vocabulario, cada palabra obtiene un vector de valores reales de dimensionalidad fija y pequeña — típicamente de 50 a 300 dimensiones. Cada dimensión tiene un valor no cero. La geometría del espacio se aprende de los datos, no se impone por el orden del diccionario.
La propiedad notable que emerge: la similitud semántica se convierte en proximidad geométrica. Las palabras usadas en contextos similares terminan con vectores similares. "dog" y "puppy" quedan cerca. "Tokyo" y "Paris" quedan cerca, lejos de "banana". Y la aritmética en este espacio captura relaciones analógicas:
king − man + woman ≈ queen
Paris − France + Italy ≈ Rome
Esto no está diseñado manualmente. Surge del entrenamiento de una red neuronal para predecir el contexto.
Los dos métodos de embedding denso más famosos — Word2Vec (cubierto en las próximas dos lecciones) y GloVe — aprenden estos vectores a partir de patrones de co-ocurrencia en cientos de millones de palabras de texto. Los embeddings pre-entrenados se reutilizan constantemente: descargas los pesos de GloVe o Word2Vec de 300 dimensiones e inmediatamente tienes representaciones de palabras semánticamente ricas sin entrenar nada desde cero.
La analogía king − man + woman ≈ queen como aritmética vectorial
Python (in browser)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Disperso vs denso: one-hot, TF-IDF y embeddings de un vistazo
¿Por qué los embeddings se llaman 'densos' y no dispersos?
- Los embeddings densos mapean cada palabra a un vector de valores reales de baja dimensión (50–300 dims) donde TODAS las dimensiones son no cero — eliminando completamente la dispersión del one-hot, BOW y TF-IDF.
- La similitud semántica se convierte en proximidad geométrica: cosine('cat', 'dog') ≈ 0.8 mientras cosine('cat', 'justice') ≈ 0.1 — aprendido automáticamente de patrones de co-ocurrencia, sin reglas diseñadas manualmente.
- La aritmética analógica (king − man + woman ≈ queen) funciona porque las relaciones lineales en el espacio de embedding codifican estructura relacional — pero falla ~20–30% del tiempo en benchmarks estándar, así que trátalo como una propiedad emergente, no una garantía.
- Los embeddings estáticos (Word2Vec, GloVe, fastText) dan un vector por palabra sin importar el contexto. Los embeddings contextuales (BERT, GPT) dan vectores diferentes para la misma palabra en diferentes oraciones — estrictamente más poderosos pero computacionalmente más pesados.
Word2Vec, GloVe, fastText y BERT — todo modelo NLP moderno produce o consume embeddings densos. Las bases de datos vectoriales (Pinecone, Weaviate, Qdrant, pgvector) almacenan vectores de embedding y recuperan los vecinos más cercanos en el momento de la consulta. La búsqueda semántica, los sistemas de recomendación y los pipelines RAG (generación aumentada por recuperación) dependen de los embeddings densos como su representación fundamental.
Si lo quitas: Sin entender los embeddings densos, las bases de datos vectoriales, la búsqueda semántica y la arquitectura moderna de LLM parecen magia. Los embeddings son el puente conceptual entre el NLP clásico (conteos dispersos) y el deep learning moderno (todo es un vector continuo).