1 · ¿Qué es una app con LLM?
Quita la magia: un gran modelo de lenguaje es una función que predice el siguiente token. Todo lo que hace una app con LLM se construye sobre esa única primitiva.
Un gran modelo de lenguaje es, mecánicamente, un predictor del siguiente token: dada una secuencia de tokens devuelve una distribución de probabilidad sobre el siguiente token. Una 'app con LLM' es la ingeniería que envuelve esa llamada — contexto, recuperación, herramientas, parseo y guardrails.
Sin esto:
Sin el modelo mental del siguiente token, el comportamiento del LLM parece magia y no puedes razonar sobre por qué repite, alucina o se queda sin contexto. Con él, cada técnica de este track se vuelve ingeniería evidente.
Ya viste, en el track de Deep Learning, cómo se construye un transformer. Este track trata de la capa por encima del modelo: la ingeniería que convierte un predictor crudo del siguiente token en un producto útil — un chatbot, un asistente de búsqueda, un agente de código.
Quita cada palabra de moda y un gran modelo de lenguaje (LLM) es una función:
predict( tokens hasta ahora ) → probabilidad de cada posible siguiente token
Esa es toda la interfaz. El modelo lee una secuencia de tokens (su contexto) y devuelve un puntaje para cada token de su vocabulario indicando qué tan probable es que siga. La app elige un token, lo agrega y vuelve a llamar al modelo. Se repite hasta una señal de fin. El texto sale un token a la vez.
Todo lo que construirás en este track es ingeniería alrededor de esa única llamada:
- Contexto — qué tokens metes (el system prompt, la conversación, los documentos recuperados).
- Decoding — cómo conviertes la distribución de probabilidad en un token real (greedy, temperatura, top-p).
- Recuperación (RAG) — traer texto relevante para ponerlo dentro del contexto y que el modelo responda desde tus datos.
- Herramientas / agentes — dejar que el modelo decida llamar una función y luego devolverle el resultado como más contexto.
- Evaluación y guardrails — verificar la salida antes de confiar en ella.
El modelo en sí es una caja negra congelada que llamas por una API. Tu trabajo — el del ingeniero de LLM — es todo lo que la rodea.
Para hacer concreto lo de "predictor del siguiente token", aquí tienes un modelo de lenguaje diminuto que puedes ejecutar. Es un modelo de bigramas: aprende, de un pequeño corpus, la probabilidad de cada carácter dado el anterior — y luego genera texto nuevo muestreando esa distribución un carácter a la vez. Un LLM real hace lo mismo con miles de millones de parámetros sobre tokens subword y un contexto de miles de tokens, pero el bucle es idéntico.
Python (in browser)
Un modelo de bigramas de caracteres: el mismo bucle predecir→muestrear→agregar que corre un LLM real, reducido a algo que puedes leer de principio a fin.
Python runs entirely in your browser via Pyodide (~6 MB on first Run, cached after).
En producción no entrenas el modelo — llamas a uno. La forma de esa llamada es igual entre proveedores: envías una lista de mensajes (una instrucción de sistema más la conversación) y recibes el siguiente mensaje del modelo. Lee la llamada estilo OpenAI de abajo; usaremos esta misma forma (una lista messages) en todo el track.
La API de chat de cada proveedor toma una lista de mensajes y devuelve el siguiente mensaje. Construir bien esa lista es todo el juego.
Mecánicamente, ¿qué calcula un gran modelo de lenguaje en cada paso?
- Un LLM es una función: tokens-hasta-ahora → distribución de probabilidad sobre el siguiente token. Generar es predecir→muestrear→agregar, repetido.
- Una 'app con LLM' es la ingeniería alrededor de esa llamada: contexto, decoding, recuperación, herramientas, evaluación, guardrails.
- La API de chat de cada proveedor toma una lista de mensajes y devuelve el siguiente mensaje — construir bien esa lista es la habilidad central.
Cada chatbot, copiloto y función de búsqueda con IA es un modelo de siguiente token envuelto en código de construcción de contexto y manejo de salida — el tema de todo este track.
Si lo quitas: Trata al modelo como un oráculo en vez de un predictor del siguiente token y quedarás perplejo ante las alucinaciones, la repetición y los límites de contexto en lugar de hacer ingeniería para manejarlos.