En el Módulo 5 vimos que GPT es un decoder-only que hace una sola cosa: predecir el siguiente token en bucle. Pero ese modelo, recién armado, tiene los pesos en números aleatorios: si le pides continuar “El cielo es”, te escupe basura. La pregunta de este módulo es cómo aprende. Cómo un montón de matrices vacías termina “sabiendo” que después de “El cielo es” probablemente viene “azul”, y de paso quién escribió el Quijote y cómo sumar dos números. La respuesta es el pretraining, y es sorprendentemente simple de enunciar y brutalmente caro de ejecutar.

La tesis del módulo

Todo el “conocimiento” de un LLM sale de una sola tarea repetida a escala planetaria: adivinar la siguiente palabra. No hay humanos etiquetando datos: el texto es su propio profesor. De predecir bien el siguiente token, billones de veces, emergen gramática, hechos y hasta chispas de razonamiento — sin que nadie se los enseñara directamente.

El objetivo: predecir el siguiente token

El pretraining (glosar: el “pre-entrenamiento”, la fase larga y cara donde el modelo aprende el lenguaje desde cero, antes de cualquier afinado) toma un corpus gigante de texto — buena parte de la web, libros, código, Wikipedia — y juega un juego trivial billones de veces:

Se toma un fragmento, se le tapa lo que viene, y el modelo tiene que adivinar el siguiente token. Luego se compara con el token real y se corrige.

Lo genial es de dónde salen las “respuestas correctas”. No hay que pagarle a nadie para etiquetar nada: la respuesta correcta ya está en el texto, es simplemente la palabra que efectivamente venía después. Esto se llama self-supervised (glosar: auto-supervisado; las etiquetas para aprender salen del propio dato, no de anotación humana). Es la razón de que el pretraining pueda usar cantidades de datos que sería imposible etiquetar a mano.

 Texto real del corpus:
   "El gato se subió al tejado"

 Se le muestra ──────►  Debe predecir
   "El"                  gato
   "El gato"             se
   "El gato se"          subió
   "El gato se subió"    al
   ...

Cada línea es un ejemplo de entrenamiento gratis, y una sola frase da varios. Multiplica eso por billones de frases y tienes el combustible del modelo.

Cómo se mide el error: cross-entropy

Cuando el modelo predice, no da una sola palabra: da una probabilidad para cada token del vocabulario (los logits + softmax del Módulo 5). ¿Cómo puntuamos qué tan bien lo hizo? Con la loss de cross-entropy (glosar: la “función de pérdida”, un número que mide qué tan equivocado estuvo; cross-entropy castiga según la probabilidad que el modelo le dio a la respuesta correcta).

La intuición, sin fórmulas:

Si el modelo le dio alta probabilidad al token correcto → loss baja (poco castigo, bien hecho).
Si le dio baja probabilidad al token correcto → loss alta (mucho castigo).
Si estaba muy seguro y se equivocó → loss altísima (el peor caso).

El entrenamiento no es más que empujar los pesos, poquito a poquito, en la dirección que baja esa loss promedio sobre millones de ejemplos. Baja la loss = el modelo predice mejor = el modelo “sabe” más lenguaje.

 START
   │
   ▼
 fragmento de texto ──► el modelo predice el token
            │
            ▼
 ¿coincide con el token real?
            │
            ▼
 cross-entropy: mide el error
            │
            ▼
 ajusta los pesos para fallar menos
            │
            ▼
 ¿quedan datos / cómputo? ─ sí ─► vuelve al inicio
            │ no
            ▼
           END  (base model listo)

Ojo: este bucle corre por semanas o meses sobre miles de GPUs en paralelo. El pretraining de un modelo grande cuesta millones de dólares y es la fase más cara de todo el ciclo de vida. Todo lo que viene después (Módulos 7 y 8) es comparativamente barato.

La escala: datos, cómputo y las scaling laws

Aquí entra lo que hace única a esta era. El pretraining se mide en tres ejes:

Eje	Qué es	Órdenes de magnitud hoy
Datos	Tokens de texto vistos	Billones de tokens
Parámetros	Pesos del modelo (su “capacidad”)	Miles de millones a billones
Cómputo	GPU-horas de entrenamiento	Millones de GPU-horas

Lo asombroso es que estos tres ejes se relacionan de forma predecible. Las scaling laws (glosar: “leyes de escala”; relaciones empíricas que muestran que si aumentas modelo, datos y cómputo de forma balanceada, el desempeño mejora de manera regular y anticipable) permiten estimar qué tan bueno será un modelo antes de entrenarlo. No es magia ni suerte: es una curva. Por eso los laboratorios apuestan cientos de millones con cierta confianza — saben, más o menos, qué van a obtener. Este es solo el teaser; el Módulo 12 lo desarrolla en serio.

La conclusión práctica del Módulo 5 se confirma acá: gran parte del progreso vino de escalar, no de reinventar la arquitectura.

Qué aprende un modelo así (y qué NO)

De predecir la siguiente palabra, sin que nadie se lo pida explícitamente, emerge:

Gramática y sintaxis — para predecir bien, tiene que “entender” la estructura del idioma.
Hechos del mundo — “La capital de Francia es ___” se predice mejor si sabes que es París.
Algo de razonamiento — completar problemas paso a paso obliga a modelar relaciones lógicas.

A las habilidades que aparecen solas, a cierta escala, sin haber sido programadas, se les llama capacidades emergentes (glosar: habilidades que un modelo pequeño no tiene y que “aparecen” de golpe al pasar cierto tamaño, como si se prendiera un interruptor; por ejemplo, resolver aritmética o traducir sin entrenamiento específico). Son parte de por qué escalar sorprendió a todos.

Pero — y este “pero” es la bisagra del curso — el modelo que sale del pretraining no conversa. Se le llama base model (modelo base), y lo único que sabe hacer es continuar texto. Si le escribes:

Pregunta: ¿Cuál es la capital de Chile?

Un base model puede responder… o puede seguir con:

Pregunta: ¿Cuál es la capital de Chile?
Pregunta: ¿Cuál es la capital de Perú?
Pregunta: ¿Cuál es la capital de...

Porque en su corpus, un texto que empieza con “Pregunta:” a menudo sigue con más preguntas. El base model no es desobediente: es que nadie le enseñó a obedecer. Solo aprendió a que el texto se vea plausible. Convertir ese continuador de texto en un asistente que sigue instrucciones es exactamente el tema del Módulo 7.

Errores comunes

Creer que hay humanos etiquetando el pretraining. No: es self-supervised, las etiquetas son el propio texto. Los humanos entran después (Módulos 7 y 8).
Pensar que un modelo más grande siempre es mejor sin más datos. Las scaling laws dicen que los tres ejes deben crecer balanceados; un modelo enorme mal alimentado desperdicia capacidad.
Confundir el base model con ChatGPT. El base model completa texto y no obedece instrucciones; el asistente conversacional es el resultado de fases posteriores.
Suponer que “sabe” hechos como una base de datos. Los aprendió estadísticamente al predecir texto; por eso a veces los mezcla o inventa (alucina).

La frase para llevarse

“Nadie le enseñó al modelo qué es el mundo: le hicimos adivinar la siguiente palabra billones de veces, y para adivinar bien tuvo que aprender el mundo de rebote.”

Qué viene

Módulo 7: fine-tuning e instruction tuning. Cómo ese base model que solo completa texto se convierte en ChatGPT — un asistente que sigue instrucciones — con una fase de afinado sorprendentemente pequeña comparada con el pretraining. Y por qué eso, aun así, no basta para que sea seguro y útil.

Transformers — Módulo 6: pretraining — aprender el lenguaje prediciendo la siguiente palabra