38 · Pre-entrenamiento auto-supervisado
La etiqueta está escondida dentro del propio texto, así que puedes entrenar con texto crudo a escala masiva. Tres objetivos — LM causal (GPT), LM enmascarado (BERT), denoising (T5) — convierten el texto sin etiquetar en supervisión.
La auto-supervisión construye la etiqueta de entrenamiento A PARTIR del propio texto — predecir el siguiente token, rellenar un token enmascarado o reconstruir un span corrupto — así puedes aprender de texto crudo, sin etiquetar, a escala de internet.
Sin esto:
El aprendizaje supervisado necesita datos etiquetados por humanos, que son escasos y caros. La auto-supervisión es lo que desbloqueó el entrenamiento con billones de tokens e hizo posibles los LLM modernos.
El aprendizaje supervisado necesita ejemplos etiquetados — y las etiquetas son caras: alguien debe anotar cada imagen, calificar cada reseña, etiquetar cada oración. Solo hay una cantidad limitada de datos etiquetados en el mundo. Sin embargo, los mejores LLM se entrenan con billones de tokens. ¿De dónde salen todas esas etiquetas?
El truco es la auto-supervisión: la etiqueta ya está dentro del texto. Tomas texto crudo, sin etiquetar — páginas web, libros, código — ocultas una parte y le pides al modelo que prediga la parte oculta a partir del resto. La "hoja de respuestas" es simplemente el texto original. No se necesita anotación humana, así que el único límite es cuánto texto crudo puedas recolectar. Esto es lo que convirtió "raspar internet" en una señal de entrenamiento e hizo posible el pre-entrenamiento a escala masiva.
Hay tres objetivos auto-supervisados dominantes, cada uno define una familia de modelos:
-
Modelado de lenguaje causal (causal LM, CLM) — el objetivo de GPT. Predecir el SIGUIENTE token dados todos los tokens anteriores. El modelo solo ve el contexto izquierdo, que es justo lo que necesitas para generar: produce un token, añádelo, repite.
-
Modelado de lenguaje enmascarado (masked LM, MLM) — el objetivo de BERT. Ocultar aleatoriamente (~15% de) los tokens con un símbolo especial
[MASK]y predecir los originales usando AMBOS contextos, izquierdo y derecho. Como ve toda la oración a la vez, el MLM construye representaciones bidireccionales ricas — excelente para tareas de comprensión, no para generación. -
Denoising (corrupción de spans) — el objetivo de T5. Corromper la entrada (p. ej. borrar spans de tokens y reemplazar cada uno con un marcador centinela) y hacer que el modelo reconstruya las piezas faltantes. Es un punto medio flexible usado por los modelos encoder-decoder.
Los tres comparten la misma magia: una etiqueta gratuita, derivada automáticamente, que te permite aprender la estructura del lenguaje solo a partir de texto crudo.
Python (in browser)
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
Recetas de pre-entrenamiento: GPT (siguiente token autoregresivo), BERT (LM enmascarado con 80/10/10 + predicción de siguiente oración), T5 (denoising por corrupción de spans).
¿En qué se diferencia el LM enmascarado (BERT) del LM causal (GPT)?
- La auto-supervisión deriva la etiqueta de entrenamiento del propio texto, así los modelos pueden aprender de billones de tokens de texto crudo sin etiquetar y sin anotación humana.
- El LM causal (GPT) predice el siguiente token solo desde el contexto izquierdo; el LM enmascarado (BERT) predice tokens ocultos desde el contexto bidireccional; el denoising (T5) reconstruye spans corruptos.
- El enmascarado de BERT usa la regla 80/10/10 (80% [MASK], 10% aleatorio, 10% sin cambios) para reducir la brecha entre el pre-entrenamiento y el uso posterior donde [MASK] nunca aparece.
Todo modelo fundacional — GPT, Claude, BERT, T5, LLaMA — se crea con uno de estos objetivos auto-supervisados ejecutado sobre corpus de texto enormes antes de cualquier ajuste específico de tarea.
Si lo quitas: Sabrías que los LLM están 'entrenados con mucho texto' pero no podrías explicar cuál es realmente la señal de entrenamiento, ni por qué GPT genera mientras BERT clasifica.