PyTorch autograd
PyTorch
Cada loss.backward() ejecuta AD en modo inverso sobre el grafo de cómputo que PyTorch construyó en el forward.
python
loss = criterion(model(x), y)
loss.backward()
optim.step()Cap. 13 · Fundamentos de Deep Learning
Retropropagación a través de capas
Fundamentos de Deep Learning
Cap. 13
a=σ(Wx+b)
una capa neuronal
Entrenar una red neuronal es descenso por gradiente sobre una función muy profundamente anidada. El milagro es que el gradiente se calcula en tiempo *lineal* en el tamaño de la red, usando la regla de la cadena en reverso. Ese algoritmo es la retropropagación.
⏱ 1min de lectura◇ 2vizs.✓ 5ejercicios
Antes de empezar
Fundamentos que vas a usar aquí
Repasamos lo básico que necesita esta lección. Pulsa cualquier tarjeta para ver la explicación y un ejemplo numérico breve.
Conceptos que usarás
Toca cualquiera para ver la definición y un ejemplo.
★Idea clave
Backprop es la regla de la cadena en reverso.
Sin esto:
Sin backprop, redes con más de 2-3 capas son inentrenables.
Entrenar una red neuronal es descenso por gradiente sobre una función muy profundamente anidada. El milagro es que el gradiente se calcula en tiempo *lineal* en el tamaño de la red, usando la regla de la cadena en reverso. Ese algoritmo es la retropropagación.
Una red feed-forward es una composición con y .
Define . La recursión es , y .
Paso de backprop — cada término etiquetado
\boldsymbol\delta^{(\ell)}[d_l]=(\mathbf{W}^{(\ell+1)})^\top\boldsymbol\delta^{(\ell+1)}\odot\sigma'(\mathbf{z}^{(\ell)})
gradiente upstreampeso transpuestogradiente siguiente capagradiente de la activación
Dos operaciones por capa: matvec transpuesto, luego producto elemento a elemento.
Paisaje de pérdida y dirección del gradiente
Cada flecha es — la dirección en que backprop empuja los parámetros.
↻
Backprop nunca forma una Jacobiana gigante. Solo multiplica vectores por Jacobianas (VJPs). Esto es autodiff en modo reverso — PyTorch, JAX, TF lo implementan.
Por qué backprop es autodiff en modo reverso
1/5
- 1La red es una composición.
- 2Regla de la cadena: producto de Jacobianas.
- 3Lleva el tangente de izquierda a derecha.
- 4Lleva el cotangente de derecha a izquierda — rápido si la salida es escalar.
- 5Lineal en el tamaño del grafo.
Dos modos de fallo: gradientes que se desvanecen (sigmoide/tanh) y gradientes que explotan. Curas: ReLU, conexiones residuales, batch norm, inicialización cuidadosa, recorte de gradientes.
Ejemplo trabajado — backprop por una capa: , ReLU, upstream , . Una ReLU muerta da .
Backprop manual para una red de 2 capas
Python (in browser)
Esperado: Loss prints; gradient norms finite and non-zero
main.pypython
Loading editor…
Ready — click Run to execute in your browser.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Forward → Backward
La misma composición, recorrida en dos direcciones.
Ejemplo trabajado — gradiente respecto a $\mathbf{W}^{(1)}$: . Solo la segunda fila se actualiza.
Aplicaciones reales
Dónde se usa esto en producción
Cada tarjeta es un sistema, modelo o técnica concreta que descansa sobre esta lección.
jit + grad de JAX
JAX
jax.grad deriva una función Python; jax.jit la compila a XLA para GPU/TPU. Juntos dan código tipo numpy a velocidad compilada.
python
from jax import grad, jit
grad_fn = jit(grad(loss_fn))Gradient checkpointing
PyTorchMemory
Guarda activaciones solo cada k capas; recalcula el resto durante el backward. Intercambia 2× cómputo por O(sqrt(L)) memoria — lo que permite entrenar LLaMA-70B.
Entrenamiento en precisión mixta (AMP)
PyTorchAMP
Forward en fp16/bf16, gradientes acumulados en fp32. Reduce memoria y acelera el entrenamiento en Tensor Cores 2-4× con pérdida de precisión mínima.
Ejercicios
Reto dinámico
Pon a prueba tu comprensión. Puntos por acierto + racha + velocidad.
Retropropagación a través de capas
5 rounds1000 max pts
Memoria activa
Repasa con flashcards
1 / 3
Concepto
Backprop es la regla de…
Toca la tarjeta para revelarla
Confirma que captaste la idea
3 preguntas rápidas. Acertá 2 para marcar esta lección como completada.