35 · Attention Is All You Need
Ensambla el Transformer completo de extremo a extremo y ve por qué venció a las RNNs: paralelismo total a través de la secuencia y una ruta de longitud constante entre cualquier par de posiciones.
El Transformer completo = embeddings + codificación posicional → N bloques encoder → N bloques decoder (auto-atención enmascarada + cruzada + FFN) → linear → softmax. Venció a las RNNs por su paralelismo total y su longitud de ruta constante.
Sin esto:
Sin ver toda la pila ensamblada, las piezas (cabezas, PE, bloques, máscaras) quedan desconectadas y no puedes razonar por qué los Transformers escalaron donde las RNNs se estancaron.
Es hora de ensamblar todo lo de este capítulo en la máquina completa de "Attention Is All You Need" (Vaswani et al., 2017). De extremo a extremo, los datos fluyen así:
- Embedding de entrada + codificación posicional (lección 32). Los tokens se vuelven vectores; se suma la señal de posición.
- N bloques encoder (lección 33). Cada uno: auto-atención multi-cabeza → Add & Norm → FFN → Add & Norm. La salida es un conjunto de representaciones codificadas de la fuente.
- N bloques decoder (lección 34). Cada uno: auto-atención multi-cabeza ENMASCARADA → Add & Norm → atención CRUZADA hacia la salida del encoder → Add & Norm → FFN → Add & Norm.
- Linear + softmax sobre el vocabulario. Las representaciones finales del decoder se proyectan a logits del tamaño del vocabulario, y el softmax las convierte en una distribución de probabilidad sobre el siguiente token.
¿Por qué venció a las RNNs de forma tan decisiva? Dos victorias estructurales:
-
Paralelismo total a través de la secuencia. Una RNN debe calcular el estado oculto
h_ta partir deh_{t-1}— estrictamente secuencial, así que una secuencia de longitudntomanpasos secuenciales que no puedes paralelizar. La auto-atención calcula TODAS las posiciones de una vez como un par de grandes multiplicaciones de matrices. En hardware moderno de GPU/TPU, esa es la diferencia entre gatear y volar. -
Longitud de ruta constante entre cualquier par de posiciones. En una RNN, la información de la posición 1 llega a la posición 100 solo tras pasar por 99 estados intermedios — una ruta de longitud
O(distancia)a lo largo de la cual los gradientes se desvanecen y la información se diluye. En la auto-atención, CUALQUIER par de posiciones interactúa directamente en un único paso de atención: la longitud de la ruta esO(1), constante, sin importar cuán separadas estén. Las dependencias de largo alcance se vuelven fáciles de aprender.
Estas dos propiedades — paralelismo y longitud de ruta constante — son la razón por la que el Transformer, pese a ser conceptualmente simple, desbloqueó la escala que produjo BERT, GPT y todo lo que vino después.
Transformer completo: embeddings de fuente/objetivo + PE → N bloques encoder → N bloques decoder (auto-atención enmascarada + cruzada + FFN) → Linear → Softmax sobre el vocabulario
Python (in browser)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Python (in browser)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
¿Cuál es la ventaja clave de entrenamiento del Transformer frente a una RNN?
- El Transformer completo es embeddings + codificación posicional → N bloques encoder → N bloques decoder (auto-atención enmascarada + cruzada + FFN) → Linear → softmax sobre el vocabulario.
- Venció a las RNNs por su paralelismo total (sin la secuencialidad h_t ← h_{t-1}) y una longitud de ruta constante O(1) entre cualquier par de posiciones, frente a la ruta O(distancia) de una RNN.
- El costo por capa es O(n²·d) para la auto-atención frente a O(n·d²) para la recurrencia — la auto-atención gana en operaciones cuando n < d — pero el muro de memoria O(n²) originó FlashAttention, la ventana deslizante y las variantes de atención lineal.
Esta arquitectura exacta (o una de sus variantes solo-encoder / solo-decoder) es la columna vertebral de prácticamente todo modelo de NLP, voz y visión de vanguardia desde 2018.
Si lo quitas: Conocerías las piezas individuales pero no por qué el Transformer ensamblado escaló donde las RNNs se estancaron, ni por qué la longitud de contexto y el muro O(n²) dominan tanta investigación moderna de LLMs.