Glosario de Redes Neuronales y Deep Learning

Los términos que aparecen una y otra vez en el Curso de Redes Neuronales y en cualquier conversación sobre cómo aprenden estos modelos. Como todo glosario de la academia, crece con cada bloque nuevo del curso.

La neurona y la red

Neurona artificial — la unidad mínima de una red: toma varios números de entrada, los combina en una suma ponderada, le agrega un bias y pasa el resultado por una función de activación. Inspirada muy libremente en la neurona biológica.

Perceptrón — la neurona más antigua (Rosenblatt, 1958): suma ponderada más un umbral que decide entre 0 y 1. Sola no puede aprender problemas no lineales (el famoso XOR); apilándolas en capas, sí.

Peso (weight) — cada número que multiplica una entrada dentro de la neurona. Los pesos son lo que la red ajusta al aprender: son la “memoria” del modelo.

Bias — un número extra que se suma después de la ponderación, sin depender de las entradas. Permite desplazar la activación y darle a cada neurona un punto de partida propio.

Suma ponderada — el corazón del cálculo de una neurona: cada entrada por su peso, todo sumado, más el bias. En la práctica es una multiplicación de matrices cuando hay muchas neuronas.

Capa (layer) — un grupo de neuronas que procesan la misma entrada en paralelo. Las redes se construyen apilando capas: la salida de una es la entrada de la siguiente.

Capa oculta (hidden layer) — cualquier capa entre la entrada y la salida. Ahí ocurre la magia: es donde la red arma sus representaciones internas. “Profunda” significa muchas de estas.

MLP (Multi-Layer Perceptron) — la arquitectura clásica: capas de neuronas totalmente conectadas, una tras otra. La base de todo; si entiendes el MLP, entiendes deep learning.

Red feed-forward — red donde la información fluye en un solo sentido, de la entrada a la salida, sin ciclos. El MLP es el ejemplo canónico.

Forward pass — el recorrido de los datos hacia adelante a través de la red para producir una predicción. Es “usar” el modelo.

Universal approximation — el teorema que dice que una red con al menos una capa oculta puede aproximar casi cualquier función, si tiene suficientes neuronas. La justificación teórica de por qué esto funciona; no dice cómo entrenarla.

Activación

Función de activación — la función no lineal que se aplica a la salida de cada neurona. Sin ella, apilar capas sería inútil: toda la red colapsaría a una sola operación lineal.

No-linealidad — la propiedad que aporta la activación y que le permite a la red aprender relaciones curvas y complejas. Es literalmente lo que separa una red neuronal de una regresión lineal.

Sigmoid — activación clásica que aplasta cualquier número al rango 0–1, con forma de S. Útil para probabilidades en la salida; problemática en capas ocultas porque satura y mata el gradiente.

tanh — prima de la sigmoid, pero centrada en cero (rango -1 a 1). Suele entrenar mejor que sigmoid en capas ocultas, aunque también satura en los extremos.

ReLU (Rectified Linear Unit) — la activación por defecto del deep learning moderno: deja pasar los positivos tal cual y manda los negativos a cero. Simple, rápida y sin saturación por arriba; destrabó el entrenamiento de redes profundas.

Cómo aprende una red

Función de pérdida (loss) — el número que mide qué tan equivocada está la predicción respecto a la respuesta correcta. Entrenar es, literalmente, minimizar este número.

MSE (Mean Squared Error) — pérdida típica de regresión: el promedio de los errores al cuadrado. Penaliza fuerte los errores grandes. Se usa cuando la red predice un valor continuo.

Cross-entropy — la pérdida estándar de clasificación: mide cuánto se aleja la probabilidad que dio la red de la clase verdadera. La que verás en casi todo problema de “elegir entre categorías”.

Gradiente — el vector que indica, para cada peso, en qué dirección y cuánto cambiar la pérdida si lo mueves. Es la brújula del entrenamiento: dice hacia dónde bajar.

Descenso de gradiente (gradient descent) — el algoritmo de aprendizaje: calcular el gradiente y dar un pasito en la dirección opuesta para reducir la pérdida. Repetido millones de veces, eso es “entrenar”.

Backpropagation — el algoritmo que calcula el gradiente de la pérdida respecto a cada peso, propagándolo desde la salida hacia atrás por toda la red. El motor que hace posible entrenar redes profundas.

Regla de la cadena (chain rule) — la regla del cálculo que backpropagation aplica capa por capa para encadenar derivadas. En el fondo, backpropagation es la regla de la cadena bien organizada.

Backward pass — el recorrido hacia atrás que ejecuta backpropagation para repartir el error entre los pesos. La contraparte del forward pass.

Autograd — la maquinaria de los frameworks (PyTorch, JAX) que arma automáticamente el grafo de operaciones y calcula los gradientes por ti. Antes se derivaba a mano; hoy es una línea.

Entrenar en la práctica

Época (epoch) — una pasada completa por todo el dataset de entrenamiento. Un modelo suele necesitar varias épocas para aprender.

Batch — el grupo de ejemplos que la red procesa junta antes de actualizar los pesos. Procesar por lotes aprovecha mejor la GPU que ir de a uno.

Mini-batch — el batch de tamaño intermedio que se usa en la práctica (32, 64, 128…). Equilibrio entre la estabilidad de usar todo el dataset y la velocidad de usar un solo ejemplo.

Learning rate — el tamaño del paso en cada actualización de pesos. El hiperparámetro más importante: muy alto y el entrenamiento diverge, muy bajo y tarda una eternidad.

Optimizer — el algoritmo que decide cómo actualizar los pesos a partir del gradiente. Desde el simple SGD hasta Adam; envuelve al descenso de gradiente con reglas más astutas.

SGD (Stochastic Gradient Descent) — el optimizer básico: descenso de gradiente usando mini-batches en vez del dataset completo. Simple y confiable; la base de todos los demás.

Momentum — mejora del SGD que acumula inercia de los pasos anteriores, como una bola rodando cuesta abajo. Acelera en direcciones consistentes y suaviza el zigzag.

Adam — el optimizer por defecto del deep learning: combina momentum con un learning rate que se adapta por cada peso. Funciona bien sin mucho ajuste; el punto de partida razonable para casi todo.

Generalización

Overfitting — cuando el modelo se aprende de memoria los datos de entrenamiento, incluido el ruido, y falla con datos nuevos. Se nota cuando la pérdida de entrenamiento baja pero la de validación sube.

Underfitting — lo opuesto: el modelo es demasiado simple o entrenó poco y ni siquiera aprende los datos de entrenamiento. Mala en todo, no solo en lo nuevo.

Train/validation/test — la partición sagrada de los datos: entrenas con train, ajustas decisiones con validation y mides la verdad final, una sola vez, con test. Mezclarlos es engañarse solo.

Regularización — cualquier técnica que frena el overfitting obligando al modelo a ser más simple o más robusto. Dropout y weight decay son sus ejemplos más comunes.

Dropout — durante el entrenamiento, apagar al azar una fracción de las neuronas en cada paso. Fuerza a la red a no depender de ninguna neurona en particular; regularización barata y efectiva.

Weight decay (L2) — penalizar los pesos grandes agregándolos a la pérdida, para que el modelo prefiera soluciones simples. La forma más clásica de regularización.

Batch normalization — normalizar las activaciones dentro de cada mini-batch para estabilizar y acelerar el entrenamiento. Permitió entrenar redes mucho más profundas y con learning rates más altos.

Early stopping — cortar el entrenamiento cuando la pérdida de validación deja de mejorar, aunque la de entrenamiento siga bajando. La forma más simple de evitar overfitting: parar a tiempo.

Profundidad y representaciones

Deep learning — el enfoque de usar redes con muchas capas para que aprendan sus propias representaciones a partir de datos crudos. “Deep” es, literalmente, muchas capas ocultas.

Representación jerárquica — la idea de que las capas tempranas aprenden rasgos simples (bordes, sílabas) y las profundas los combinan en conceptos complejos (caras, significados). El porqué de que la profundidad importe.

Vanishing gradient — cuando el gradiente se hace tan chico al propagarse hacia atrás que las capas tempranas casi no aprenden. El gran obstáculo de las redes profundas antes de ReLU y las residual connections.

Exploding gradient — el problema inverso: gradientes que crecen sin control y hacen estallar el entrenamiento. Se doman recortándolos (gradient clipping).

Residual connection — un atajo que suma la entrada de un bloque a su salida, dejando que el gradiente fluya sin degradarse. La idea (ResNet) que hizo prácticas las redes de cientos de capas.

Inicialización de pesos — cómo se eligen los pesos antes de entrenar. No es un detalle: una mala inicialización mata el gradiente de entrada; esquemas como Xavier o He la resuelven según la activación.

Arquitecturas

One-hot — representar una categoría como un vector de ceros con un solo 1 en la posición correspondiente. Simple, pero no captura ninguna relación entre categorías: por eso existen los embeddings.

Embedding — un vector denso y aprendido que representa un ítem (una palabra, un usuario) en un espacio donde la cercanía significa similitud. Convierte símbolos discretos en algo que la red puede razonar.

RNN (Recurrent Neural Network) — red para secuencias que procesa un elemento a la vez y arrastra un estado de un paso al siguiente. Su idea de “memoria” es la base del procesamiento de texto pre-Transformer.

Hidden state — la memoria interna que una RNN pasa de un paso al siguiente, resumiendo todo lo visto hasta ahí. Lo que le da contexto a la secuencia.

LSTM / GRU — variantes de RNN con compuertas que deciden qué recordar y qué olvidar, para capturar dependencias largas sin que el gradiente se desvanezca. Fueron el estándar de secuencias hasta que llegó el Transformer.

Tensor — el arreglo multidimensional de números que fluye por la red: un vector es un tensor de una dimensión, una imagen es de tres. La estructura de datos fundamental de todo el deep learning.

Parámetro — cada peso o bias ajustable del modelo; sumados dan el “tamaño” de la red. Un modelo con más parámetros tiene más capacidad, pero también más riesgo de overfitting.

Hiperparámetro — cualquier ajuste que tú fijas antes de entrenar y que la red no aprende sola: learning rate, número de capas, tamaño del batch, dropout. Tunearlos es buena parte del oficio.

Del modelo entrenado a los pesos abiertos

Checkpoint (archivo de pesos) — el archivo donde se guardan todos los pesos y bias ya entrenados de una red. Es el modelo “congelado”: cargándolo, cualquiera reproduce su comportamiento exacto sin volver a entrenar.

Open weight (pesos abiertos) — un modelo cuyo checkpoint se publica para descargar, correr y afinar (Llama, Mistral, Qwen). Tener los pesos es tener el modelo funcional, así que “liberar los pesos” es lo que hace a un modelo de verdad reutilizable. A fondo en Pesos, parámetros y modelos open weight.

Material relacionado

• La neurona artificial — dónde empieza todo.
• El mapa completo — el cierre del curso que conecta todas estas piezas.