Glosario de Transformers y LLMs

Los términos que aparecen una y otra vez en el Curso de Transformers y en cualquier conversación sobre cómo funcionan los LLMs por dentro. Como todo glosario de la academia, crece con cada bloque nuevo del curso.

Entrada: texto a números

Tokenización — el proceso de partir un texto en pedazos (tokens) antes de que el modelo lo procese. No se corta por palabras ni por letras, sino por fragmentos frecuentes aprendidos de millones de textos.

Token — cada pedazo en que queda partido el texto. Puede ser una palabra completa, un pedazo de palabra o un signo. Regla mental para inglés: un token ≈ 4 caracteres ≈ ¾ de palabra; en español salen algo más por palabra.

BPE (Byte Pair Encoding) — el algoritmo más usado para armar el vocabulario: parte de caracteres sueltos y va fusionando los pares que más aparecen juntos, hasta llegar a un tamaño fijo. Así las palabras comunes quedan en un solo token y las raras se arman por pedazos.

Vocabulario — la lista fija de todos los tokens que un modelo conoce, típicamente entre 30.000 y 200.000. Nada fuera de esa lista existe para el modelo: cualquier texto se expresa como combinación de estos tokens.

Token ID — el número entero que identifica a cada token dentro del vocabulario. El texto, ya tokenizado, entra al modelo como una lista de estos IDs (no como letras).

Embedding — el vector de números (una lista de cientos o miles de valores) que representa el significado de un token. La gracia: significados parecidos quedan cerca en ese espacio, así que “perro” y “gato” terminan más próximos que “perro” y “avión”.

Matriz de embeddings — la tabla gigante que guarda un embedding por cada token del vocabulario. Convertir un token ID en su vector es simplemente ir a buscar su fila. Es lo primero que el modelo aprende y ajusta.

d_model — el largo de cada vector de embedding, o sea la “anchura” con que el modelo mueve la información por dentro (768, 4096, etc.). Cuanto mayor, más capacidad y más cómputo.

El mecanismo de atención

Self-attention (auto-atención) — el corazón del Transformer: cada token mira a todos los demás de la secuencia y decide de cuáles conviene tomar información para entenderse mejor a sí mismo. Así “banco” ajusta su significado según si cerca aparece “río” o “dinero”.

Query / Key / Value (Q/K/V) — los tres vectores que se derivan de cada token para hacer atención. La Query es “qué ando buscando”, la Key es “qué ofrezco” y el Value es “qué información entrego”. Se comparan Queries contra Keys para decidir cuánto Value de cada token se lleva cada quien.

Scaled dot-product attention — la fórmula concreta de la atención: se multiplican Queries por Keys (producto punto) para medir afinidad, se divide por una escala para que los números no exploten, se pasa por softmax y con esos pesos se promedian los Values.

Softmax — la función que convierte una lista de números crudos en porcentajes que suman 100%. En atención decide qué fracción de “peso” se lleva cada token; también aparece al final del modelo para repartir probabilidad entre todos los tokens posibles.

Multi-head attention (cabezas) — hacer varias atenciones en paralelo, cada una (cada “cabeza”) con sus propios Q/K/V, mirando relaciones distintas: una sigue la sintaxis, otra las referencias, otra el tema. Luego se juntan todos sus resultados.

Positional encoding — la información de orden que se le suma a cada token, porque la atención por sí sola no distingue “el perro mordió” de “mordió el perro”. Sin esto, para el modelo la frase sería una bolsa de palabras sin secuencia.

La arquitectura

Feed-forward network (FFN) — la pequeña red neuronal que procesa cada token por separado después de la atención. Si la atención mezcla información entre tokens, la FFN es donde el modelo “piensa” sobre cada uno. Concentra la mayoría de los parámetros.

Residual connection (conexión residual) — el atajo que suma la entrada de una capa a su salida, en vez de reemplazarla. Permite apilar decenas de capas sin que la señal se pierda por el camino; sin esto, los modelos profundos no entrenan.

Layer normalization — el paso que reescala los números dentro de cada token para mantenerlos en un rango estable capa tras capa. Es lo que hace que el entrenamiento no se descontrole.

Bloque Transformer — la unidad que se repite: atención + FFN, cada una con su residual y su normalización. Un modelo es básicamente muchos de estos bloques apilados (12, 32, 80…); “profundidad” es cuántos bloques.

Encoder — la mitad del Transformer original que lee toda la entrada de una vez, mirando hacia ambos lados, para entenderla (bueno para clasificar o comprender, como BERT).

Decoder — la mitad que genera texto palabra por palabra, mirando solo hacia atrás. Es la base de los modelos generativos actuales.

Encoder-decoder — la arquitectura completa original (paper “Attention Is All You Need”), pensada para traducción: un lado lee el idioma origen, el otro escribe el destino. Sigue viva en tareas como T5.

Decoder-only — la arquitectura de casi todos los LLMs modernos (GPT, Llama, Claude): solo la parte generadora, entrenada para predecir el siguiente token. Simple y escala espectacularmente bien.

Causal masking (enmascaramiento causal) — el truco que impide que cada token vea a los que vienen después de él durante la generación. Sin esto, el modelo haría trampa mirando la respuesta al aprender a predecirla.

Autoregresivo — que genera un token a la vez y realimenta cada uno como entrada para producir el siguiente. Por eso los LLMs escriben de izquierda a derecha y no pueden entregar todo de golpe.

Logits — los números crudos que el modelo entrega al final, uno por cada token del vocabulario, antes de convertirse en probabilidades. El softmax los transforma en la distribución desde la cual se elige el próximo token.

Parámetro — cada uno de los números ajustables que componen el modelo (pesos de atención, FFN, embeddings). Un “7B” tiene 7 mil millones. Más parámetros = más capacidad y más cómputo para entrenar y usar.

Entrenamiento

Base model (modelo base) — el modelo recién salido del pretraining: sabe muchísimo, pero solo autocompleta texto. No sigue instrucciones ni conversa hasta que se lo afina después.

Pretraining (preentrenamiento) — la fase larga y cara donde el modelo aprende lenguaje leyendo cantidades enormes de texto y prediciendo el siguiente token una y otra vez. Aquí adquiere casi todo su conocimiento.

Self-supervised (autosupervisado) — el modo de aprendizaje del pretraining: no hace falta que un humano etiquete nada, porque la “respuesta correcta” es simplemente la siguiente palabra del propio texto. Por eso se puede entrenar con todo internet.

Cross-entropy — la función que mide qué tan equivocada estuvo la predicción del siguiente token; entrenar es ajustar los pesos para minimizarla. Bajarla es que el modelo se sorprenda menos con el texto real.

Capacidades emergentes — habilidades (razonar pasos, traducir, programar) que aparecen recién al pasar cierto tamaño, sin haber sido programadas ni entrenadas explícitamente. Surgen solas del pretraining a gran escala.

Scaling laws (leyes de escala) — la relación predecible entre más datos, más parámetros y más cómputo, y mejor rendimiento. Son las que justifican gastar millones en entrenar: uno sabe de antemano cuánto mejorará.

Fine-tuning (ajuste fino) — seguir entrenando un modelo base con datos específicos para especializarlo o darle comportamiento. Mucho más barato que el pretraining porque parte de algo ya entrenado.

SFT (supervised fine-tuning) — afinar el modelo con ejemplos de “así se responde bien” escritos por humanos. El primer paso para pasar de un autocompletador a un asistente que sigue instrucciones.

Instruction tuning — variante de SFT centrada en enseñarle a obedecer instrucciones variadas (“resume esto”, “tradúcelo”, “explícalo simple”). Lo que transforma un modelo base en uno útil de a diario.

LoRA / PEFT — técnicas para afinar entrenando solo una fracción diminuta de los pesos en vez de todos (PEFT = ajuste eficiente en parámetros; LoRA es la más popular). Permiten personalizar un modelo grande en una sola GPU y guardar el resultado en pocos megas.

Chat template — el formato con marcas especiales (turnos de sistema, usuario y asistente) con que se le arma la conversación al modelo. Usar el template equivocado degrada las respuestas aunque el texto sea el mismo.

RLHF (Reinforcement Learning from Human Feedback) — afinar el modelo usando preferencias humanas: se le muestran pares de respuestas, la gente elige la mejor y el modelo aprende a producir más de esas. El paso que lo vuelve agradable y seguro de usar.

Reward model (modelo de recompensa) — un modelo entrenado con esas preferencias humanas para dar una nota a cualquier respuesta. Actúa de juez automático para no necesitar un humano en cada paso del RLHF.

PPO (Proximal Policy Optimization) — el algoritmo de aprendizaje por refuerzo clásico del RLHF: ajusta al modelo para subir la nota del reward model sin alejarse demasiado de su versión original.

DPO (Direct Preference Optimization) — alternativa más simple y estable a PPO que aprende directo de los pares de preferencia, sin necesitar un reward model aparte. Hoy muy usada por lo fácil de entrenar.

Constitutional AI / RLAIF — variantes donde la retroalimentación la da otra IA guiada por un conjunto de principios (“constitución”), en vez de solo humanos. Escala el alineamiento y reduce el costo de etiquetar a mano.

Alineamiento — el objetivo general de que el modelo haga lo que uno quiere y evite lo dañino: seguir instrucciones, decir la verdad, negarse a lo peligroso. RLHF, DPO y Constitutional AI son formas de lograrlo.

Generación

Greedy decoding — elegir siempre el token de mayor probabilidad. Rápido y determinista, pero tiende a texto plano y repetitivo; sirve para tareas exactas, no para escritura creativa.

Sampling (muestreo) — elegir el siguiente token al azar según sus probabilidades, en vez de tomar siempre el más alto. Da variedad y naturalidad; es la base de casi toda generación creativa.

Temperature (temperatura) — la perilla que aplana o agudiza la distribución antes de muestrear. Baja (~0.2) = seguro y repetitivo; alta (~1.0+) = creativo y arriesgado. El control más directo del estilo de las respuestas.

Top-k — al muestrear, considerar solo los k tokens más probables y descartar el resto. Evita que se cuele una opción rarísima, a costa de un corte fijo que a veces queda muy corto o muy largo.

Top-p (nucleus) — quedarse con los tokens más probables hasta acumular una probabilidad p (ej. 0.9) y muestrear entre esos. Se adapta solo: pocos candidatos cuando el modelo está seguro, muchos cuando duda. El default más común hoy.

Beam search — mantener varias frases candidatas en paralelo y quedarse con la de mayor probabilidad global. Bueno para traducción y tareas con una respuesta “correcta”; para chat suele sonar rígido.

Repetition penalty (penalización por repetición) — un ajuste que baja la probabilidad de tokens ya usados para que el modelo no caiga en bucles (“el el el”). Uno de los parches contra el texto que se traba.

Eficiencia y escala

Ventana de contexto — el máximo de tokens (prompt + respuesta) que el modelo puede tener presentes a la vez (4K, 128K, 1M…). Lo que no cabe en la ventana, sencillamente el modelo no lo ve.

KV cache — la memoria donde el modelo guarda las Keys y Values ya calculadas de la conversación, para no recalcularlas con cada token nuevo. Acelera muchísimo la generación, pero crece con el largo del contexto y ocupa VRAM.

FlashAttention — una implementación de la atención que evita escribir en memoria las matrices intermedias enormes, calculándolas por bloques. Misma matemática, mucho menos uso de memoria y más velocidad; hoy es el estándar.

RoPE (Rotary Position Embedding) — la forma moderna de codificar posición “rotando” los vectores según su lugar en la secuencia, en vez de sumar una señal fija. Escala mejor a contextos largos y domina en los LLMs actuales.

ALiBi — alternativa a RoPE que codifica posición penalizando la atención según la distancia entre tokens. Facilita que el modelo funcione en secuencias más largas que las vistas al entrenar.

MoE (Mixture of Experts) — arquitectura donde la FFN se divide en muchos “expertos” y cada token activa solo unos pocos. Permite modelos con muchísimos parámetros totales que, al usarse, solo encienden una fracción: potencia de modelo grande al costo de uno chico.

Router — la pieza de un MoE que decide, para cada token, qué expertos lo procesan. Es el “director de tráfico”; entrenar bien el router es parte de lo difícil de estos modelos.

GQA / MQA (Grouped / Multi-Query Attention) — variantes de la atención donde varias cabezas comparten las mismas Keys y Values, en vez de tener las propias. Reduce fuerte el tamaño del KV cache y acelera la generación con contextos largos, casi sin perder calidad.

Knowledge cutoff (corte de conocimiento) — la fecha hasta la cual llegan los datos de entrenamiento del modelo. Nada posterior lo sabe salvo que se lo pases en el prompt o le des una herramienta de búsqueda.

Alucinación — cuando el modelo entrega con total seguridad algo falso o inventado. No “miente”: rellena con lo estadísticamente plausible cuando no sabe. La razón principal para verificar salidas críticas.

El ecosistema: modelos abiertos y cerrados

Pesos (weights) — el conjunto de todos los números aprendidos del modelo; son “lo que el modelo sabe”. Entrenarlos cuesta millones en datos y cómputo, así que son el activo de mayor valor de un LLM. A fondo en Pesos, parámetros y modelos open weight.

Open weight (pesos abiertos) — un modelo cuyo archivo de pesos se publica para descargar, correr y afinar por tu cuenta (Llama, Mistral, Qwen, DeepSeek, gpt-oss). No implica que te den los datos de entrenamiento ni una licencia totalmente libre.

Modelo cerrado / API-only — el que solo se usa a través de una API; nunca ves ni descargas sus pesos (GPT-4, Claude, Gemini). Ganas comodidad y modelos de frontera; pierdes control, privacidad local y permanencia.

Open source (de verdad) — un grado más que open weight: además de los pesos, se liberan los datos, el código y la receta para reproducir el entrenamiento. Mucho “modelo abierto” famoso es open weight, no open source.

Guardrails (barreras de seguridad) — las restricciones que evitan que el modelo genere contenido dañino. Con un modelo open weight, cualquiera puede afinarlo para debilitarlas: por eso liberar los pesos es una decisión sensible.