En el Módulo 10 aprendimos a representar una palabra suelta con un embedding: un vector denso donde la cercanía es significado. Pero el lenguaje no es una palabra suelta — es una secuencia. “El perro mordió al hombre” y “el hombre mordió al perro” tienen las mismas palabras y significan cosas opuestas: el orden manda. Y las frases no miden todas lo mismo. Este módulo cuenta cómo el deep learning atacó las secuencias antes de los Transformers, y —más importante— por qué esos intentos tropezaron con muros que hicieron inevitable la aparición de la atención.

La tesis del módulo

Un MLP no sabe de orden ni de largo variable: procesa una entrada de tamaño fijo y ya. Las RNN resolvieron esto leyendo la secuencia paso a paso y arrastrando una memoria — el estado oculto. Funcionó, pero con dos límites duros: olvidaban lo lejano y eran imposibles de paralelizar. De esos dos muros nació la atención.

Por qué el MLP no sirve para secuencias

El MLP (perceptrón multicapa) que armaste en los módulos anteriores tiene dos limitaciones fatales para el texto:

Entrada de tamaño fijo. Un MLP tiene un número fijo de neuronas de entrada. Pero una frase puede tener 3 palabras o 300. No hay forma natural de meter una secuencia de largo variable en una entrada de tamaño rígido.
Ciego al orden. Aunque forzaras las palabras a una entrada fija, el MLP las trataría como un saco desordenado. No tiene ninguna noción de “esta palabra viene antes que esta otra”. Y en lenguaje, el orden es el significado.

Necesitábamos una arquitectura que leyera la secuencia elemento por elemento, en orden, y que recordara lo que ya vio. Esa arquitectura es la RNN.

Las RNN: procesar paso a paso con memoria

Una RNN (Red Neuronal Recurrente) procesa la secuencia un paso a la vez, manteniendo una memoria que arrastra de un paso al siguiente. Esa memoria es el hidden state (estado oculto): un vector que resume “todo lo que he leído hasta ahora”.

El mecanismo, en cada paso:

Toma la palabra actual (su embedding) más el estado oculto que viene del paso anterior.
Los combina en la misma neurona (los mismos pesos, reutilizados en cada paso — de ahí “recurrente”).
Produce un estado oculto nuevo, que pasa al siguiente paso.

La forma más clara de verlo es desplegar la RNN en el tiempo: dibujar un paso por cada palabra, con el estado oculto viajando de izquierda a derecha.

  entrada:  "el"      "perro"    "mordió"     "al"
              │          │          │          │
 estado    ┌──┴──┐    ┌──┴──┐    ┌──┴──┐    ┌──┴──┐
 inicial   │ RNN │    │ RNN │    │ RNN │    │ RNN │
 h0 ─────► │paso1│ ─► │paso2│ ─► │paso3│ ─► │paso4│ ─► salida
           └─────┘    └─────┘    └─────┘    └─────┘

Fíjate en el detalle clave: es la misma caja RNN (los mismos pesos) aplicada en cada paso; el despliegue es solo una forma de dibujarla. El estado oculto h es el hilo de memoria que conecta todo. Al final, h contiene un resumen de la frase completa — una representación de la secuencia entera, construida palabra por palabra. Con esto, una RNN sí maneja largo variable (procesa tantos pasos como palabras haya) y sí respeta el orden (lee en secuencia).

Ojo con la palabra “recurrente”: no significa que haya muchas redes. Es una sola red que se aplica repetidamente, alimentándose de su propia salida anterior. Ese lazo es lo que le da memoria — y también, como veremos, lo que la condena.

Los dos muros de las RNN

Las RNN dominaron el NLP por años. Pero chocaron con dos límites que ningún parche terminó de resolver.

Muro 1: las dependencias largas. Para conectar la primera palabra con la última de una frase larga, la señal tiene que sobrevivir muchos pasos de estado oculto. Y aquí vuelve un viejo conocido del Módulo 9: el vanishing gradient, pero ahora en el tiempo. Al entrenar, el gradiente se propaga hacia atrás a través de todos los pasos, multiplicándose en cada uno, y se desvanece. Resultado: la RNN “olvida” lo que leyó al principio. En la frase “El gato que perseguí por todo el barrio bajo la lluvia hasta el parque estaba… mojado”, conectar “gato” con “mojado” a través de tanto texto se le hace cuesta arriba.

Para aliviar esto se inventaron variantes con compuertas —LSTM y GRU— que agregan mecanismos para decidir qué recordar y qué olvidar, estirando bastante la memoria. Ayudaron mucho, pero atacaron el síntoma: el olvido a larga distancia seguía siendo el talón de Aquiles.

Muro 2: son secuenciales, no paralelizables. Este es el muro definitivo. Para calcular el estado del paso 5 necesitas el del paso 4, que necesita el del 3… Cada paso depende del anterior. No puedes calcularlos al mismo tiempo. Y esto choca de frente con el hardware de la IA: como viste en GPU para IA, las GPUs brillan haciendo miles de operaciones en paralelo. Una RNN las obliga a esperar en fila. Entrenar sobre corpus gigantescos con RNN es lentísimo justamente porque desperdicia el paralelismo que hace poderosas a las GPUs.

Por qué de aquí nació la atención

Junta los dos muros y el problema queda planteado con toda nitidez: necesitábamos algo que (a) conectara cualquier palabra con cualquier otra sin importar la distancia —matando el olvido— y (b) procesara toda la secuencia de una sola vez, en paralelo —matando el cuello de botella secuencial.

Esa es, palabra por palabra, la descripción del mecanismo de atención. En lugar de arrastrar memoria paso a paso, la atención deja que cada palabra mire directamente a todas las demás al mismo tiempo, pesando cuáles importan. Distancia cero entre cualquier par de palabras, y todo el cómputo en paralelo. El paper que lo formalizó se llamó, sin sutileza, “Attention Is All You Need”: si la atención resuelve ambos muros, la recurrencia sobra.

Cómo funciona por dentro ese mecanismo es justamente el tema del Módulo de atención desde cero. Lo que quiero que te lleves de aquí es el porqué: los Transformers no cayeron del cielo, nacieron para tumbar los dos muros concretos de las RNN.

RNN vs Transformer (un adelanto)

	RNN	Transformer
Cómo lee la secuencia	Paso a paso, en orden	Toda de una vez
Memoria	Estado oculto arrastrado	Atención a todas las posiciones
Dependencias largas	Débil (olvida lo lejano)	Fuerte (distancia cero)
Paralelizable	No (cada paso espera al anterior)	Sí (aprovecha la GPU al máximo)
Noción de orden	Implícita, por la secuencia	Explícita, con codificación posicional
Estado hoy	Histórico, casos de nicho	El estándar de facto

Errores comunes

Creer que una RNN es muchas redes. Es una sola red aplicada repetidamente; el “desplegado en el tiempo” es solo un dibujo.
Pensar que LSTM/GRU eliminaron el problema. Estiraron la memoria y aliviaron el olvido, pero no rompieron el muro secuencial ni resolvieron del todo las dependencias muy largas.
Ignorar el muro del paralelismo. El olvido era grave, pero lo que sentenció a las RNN frente a corpus gigantes fue no poder aprovechar la GPU: entrenaban demasiado lento.
Ver las RNN como un error del pasado. Fueron el estado del arte por años y siguen sirviendo en secuencias cortas o con poco cómputo. Entenderlas es entender por qué la atención fue la respuesta correcta.

La frase para llevarse

“La RNN lee el texto como tú lees en voz alta: palabra por palabra, arrastrando lo anterior en la cabeza. Funciona hasta que la frase es larga o el corpus es enorme — y ahí, la atención dijo: ¿y si todas las palabras se miran a la vez?”

Qué viene

Módulo 12: el mapa completo — dónde encaja cada arquitectura. Cierre del curso. Pondremos en un solo mapa el MLP, la CNN, la RNN y el Transformer, veremos que todos comparten las mismas bases que aprendiste —neuronas, activaciones, pérdida, gradientes, backprop— y cómo este curso es el cimiento de los otros tres itinerarios.

Redes Neuronales — Módulo 11: de redes a secuencias — RNN y por qué llegó la atención