Glosario de Voz e IA en tiempo real

Los términos que aparecen una y otra vez en el Curso de Voz e IA en tiempo real y en cualquier conversación sobre construir sistemas que escuchan y hablan. La voz junta dos mundos: el procesamiento de señales (números que representan sonido) y los modelos de lenguaje que ya conoces. Como todo glosario de la academia, crece con cada bloque nuevo del curso.

El sonido como números

Onda de sonido (sound wave) — Una variación de presión del aire que viaja en el tiempo. Un micrófono la convierte en voltaje y el computador la mide muchas veces por segundo; ese muestreo es el punto de partida de todo. Se desarrolla en Cómo oye una máquina.

Muestreo (sampling) — Medir la amplitud de la onda a intervalos regulares para convertir una señal continua en una lista de números. Es el equivalente auditivo de lo que hacen los píxeles con una imagen, como se ve en Cómo ve una máquina.

Frecuencia de muestreo (sample rate) — Cuántas muestras se toman por segundo, medida en hercios. 16 kHz es el estándar de voz para IA, 44.1 kHz el de música y 8 kHz el de la telefonía tradicional.

Teorema de Nyquist — Para reconstruir una frecuencia sin distorsión hay que muestrear al menos al doble de esa frecuencia. Por eso 16 kHz captura hasta 8 kHz de señal, suficiente para la voz humana, que vive casi toda bajo ese techo.

Cuantización (quantization) — Redondear cada muestra al valor más cercano de una escala discreta. Introduce un error pequeño (ruido de cuantización) que se hace audible solo cuando la escala es demasiado gruesa.

Profundidad de bits (bit depth) — Cuántos bits se usan por muestra, lo que fija cuántos niveles distintos puede tomar. 16 bits (65.536 niveles) es el estándar de voz; 8 bits basta para telefonía comprimida.

Waveform / PCM (forma de onda / modulación por códigos de pulso) — La representación cruda del audio: la lista de muestras tal cual, sin comprimir. PCM es el formato de esa lista y es lo que reciben los modelos antes de cualquier transformación.

Transformada de Fourier (FFT, transformada rápida de Fourier) — La operación que descompone un trozo de onda en las frecuencias que lo forman. Pasa del “cuánto sube y baja en el tiempo” al “cuánta energía hay en cada tono”, que es lo que un modelo necesita ver.

Espectrograma (spectrogram) — Una imagen del sonido: tiempo en el eje horizontal, frecuencia en el vertical, energía en el color. Es cómo un modelo de voz “ve” el audio, y por eso muchas arquitecturas de voz se parecen a las de visión.

Mel-espectrograma (mel-spectrogram) — Un espectrograma con el eje de frecuencia comprimido según la escala mel, que imita cómo el oído humano distingue tonos: fino en los graves, grueso en los agudos. Es la entrada estándar de casi todos los modelos de ASR y TTS.

MFCC (coeficientes cepstrales en frecuencia mel) — Una compresión aún mayor del mel-espectrograma en unos pocos coeficientes por trama. Fue el rasgo dominante de la era pre-deep learning; hoy los modelos prefieren el mel-espectrograma completo o la onda cruda.

Reconocimiento de voz (ASR)

ASR / STT (reconocimiento automático del habla / voz a texto) — Convertir audio en texto. Es la primera mitad de casi todo sistema de voz y donde más se nota el ruido, el acento y el solapamiento. Se desarrolla en Reconocimiento de voz.

Fonema (phoneme) — La unidad mínima de sonido que distingue palabras en un idioma (la /p/ de “pata” frente a la /b/ de “bata”). Los sistemas clásicos modelaban fonemas explícitamente; los modernos suelen saltarse ese paso.

HMM (modelo oculto de Márkov) — La técnica que dominó el ASR durante décadas: modelaba la secuencia de fonemas como estados ocultos que emiten sonidos. Se menciona para entender de dónde viene el campo, no porque se use hoy.

CTC (clasificación temporal conexionista) — El truco que alinea audio y texto sin decir qué trozo de audio corresponde a qué letra. El modelo emite una etiqueta por trama y un algoritmo colapsa repeticiones y espacios en el texto final. Se explica en Reconocimiento de voz.

Blank token (símbolo en blanco) — El símbolo especial que CTC emite cuando una trama no aporta letra nueva. Permite que un audio de mil tramas produzca una palabra de cinco letras: casi todo son blancos, y al final se eliminan.

Encoder-decoder / seq2seq (codificador-decodificador) — La arquitectura donde un codificador resume el audio y un decodificador genera el texto palabra por palabra. Es la base de Whisper y de la mayoría de los ASR modernos, la misma familia que viste en Transformers.

Whisper — El modelo de ASR de código abierto de OpenAI, entrenado sobre cientos de miles de horas multilingües. Transcribe, traduce y da timestamps, y se convirtió en el punto de partida de casi todo proyecto de voz. Se desarrolla en Whisper en la práctica.

faster-whisper — La reimplementación de Whisper sobre CTranslate2 que corre varias veces más rápido y con menos memoria, sin perder calidad. Es la versión que llega a producción cuando importa la latencia.

Word timestamps (marcas de tiempo por palabra) — El inicio y fin de cada palabra dentro del audio. Son la base para sincronizar subtítulos, medir turnos y cortar frases con precisión.

Diarización (diarization) — Responder “¿quién habló y cuándo?”: separar el audio por hablante sin saber de antemano cuántos hay. Es distinta del ASR, que responde “¿qué se dijo?”.

pyannote — La biblioteca abierta de referencia para diarización, basada en modelos que segmentan y agrupan voces por hablante. Suele combinarse con Whisper para producir transcripciones con etiquetas de quién habla.

WhisperX — Una herramienta que envuelve a Whisper para dar timestamps más exactos (alineando con un modelo fonético) y añadir diarización con pyannote. Es el atajo habitual cuando se necesita transcripción precisa con hablantes.

Alucinación en silencio (hallucination on silence) — El fallo típico de Whisper: ante silencio o ruido de fondo inventa texto, muchas veces frases de cortesía como “gracias por ver el video”. Es la razón principal para poner un VAD antes del transcriptor.

Síntesis de voz (TTS)

TTS (texto a voz, síntesis de voz) — Convertir texto en audio hablado. Es la otra mitad del sistema, y donde se juega que la voz suene natural y no robótica. Se desarrolla en Síntesis de voz.

Concatenativo (concatenative) — El TTS clásico: grabar a una persona diciendo miles de fragmentos y pegarlos para formar frases nuevas. Suena natural en lo grabado y quebrado en las uniones; hoy está superado por lo neuronal.

Modelo acústico (acoustic model) — La parte del TTS que convierte texto en un mel-espectrograma, es decir, decide el ritmo, el tono y la energía. No produce audio audible todavía: entrega el “plano” que luego rellena el vocoder.

Tacotron — El modelo acústico que abrió la era neuronal del TTS: de texto a mel-espectrograma con atención, palabra por palabra. Es autoregresivo y por eso relativamente lento.

FastSpeech — El modelo acústico que reemplazó la generación autoregresiva de Tacotron por una en paralelo, prediciendo la duración de cada sonido. Es mucho más rápido y estable, sin las repeticiones ni los saltos de Tacotron.

VITS — Un modelo TTS de extremo a extremo que va de texto a onda en una sola red, uniendo el modelo acústico y el vocoder mediante inferencia variacional. Elimina el mel-espectrograma intermedio como paso separado y es una base común en voces abiertas.

Vocoder — La parte que convierte el mel-espectrograma en onda audible. Es el paso que da la textura final de la voz; un buen modelo acústico con mal vocoder suena metálico.

WaveNet — El vocoder neuronal que demostró que se podía generar audio muestra por muestra con calidad casi humana. Es autoregresivo y lentísimo en su forma original, pero marcó el rumbo de todo lo que vino después.

HiFi-GAN — El vocoder basado en redes generativas adversarias que produce audio de alta fidelidad más rápido que en tiempo real. Es el vocoder por defecto en gran parte de los TTS modernos por su equilibrio de calidad y velocidad.

Códec de audio neural (neural audio codec) — Un modelo que comprime audio en una secuencia de tokens discretos y lo reconstruye (EnCodec, SoundStream). Es lo que permite tratar el audio como “lenguaje” y generarlo con un transformer.

Tokens de audio (audio tokens) — Las unidades discretas en que un códec neural parte el sonido. Un TTS moderno puede predecir tokens de audio igual que un LLM predice tokens de texto, y así el mismo modelo puede hablar.

Voice cloning (clonación de voz) — Reproducir el timbre de una persona a partir de pocos segundos de muestra. Es potente y delicado: exige consentimiento explícito y trae riesgos de suplantación que se tratan en Voz en producción.

Prosodia (prosody) — La música del habla: ritmo, entonación, pausas y énfasis. Es lo que separa una voz que “lee” de una que “conversa”, y lo más difícil de acertar en TTS.

Tiempo real

Latencia (latency) — El tiempo entre que el usuario termina de hablar y empieza a oír la respuesta. Es la métrica reina de un agente de voz: por encima de cierto umbral la conversación se siente rota. Se desarrolla en Latencia.

Throughput (rendimiento) — Cuántas peticiones o segundos de audio procesa el sistema por unidad de tiempo. Se optimiza distinto que la latencia: agrupar peticiones sube el throughput pero empeora la latencia individual.

TTFB / time-to-first-audio (tiempo hasta el primer audio) — Cuánto tarda en salir el primer fragmento de voz de la respuesta, no la respuesta completa. Es lo que el usuario percibe como “rapidez”, y por eso se optimiza antes que el tiempo total.

p50 / p95 (percentil 50 y 95) — La latencia mediana (p50) y la del 5% peor de los casos (p95). Se reporta el p95 porque el promedio esconde las conversaciones lentas, que son las que arruinan la experiencia.

Jitter — La variación de la latencia entre paquetes de audio. Aunque el promedio sea bajo, un jitter alto produce cortes y saltos; por eso los sistemas usan un buffer que lo absorbe a costa de algo de retraso.

Batch vs streaming (por lotes frente a por flujo) — Procesar el audio entero de una vez frente a procesarlo en trozos según llega. El streaming es obligatorio en tiempo real: no puedes esperar a que el usuario termine para recién empezar a transcribir. Se desarrolla en Streaming en tiempo real.

Resultados parciales (interim results) — Las transcripciones provisionales que el ASR emite mientras el usuario aún habla, que luego se corrigen. Permiten reaccionar antes, a costa de trabajar sobre texto que todavía puede cambiar.

Chunking (troceo) — Partir el flujo de audio en ventanas pequeñas para procesarlas a medida que llegan. El tamaño del trozo es un equilibrio: chico da menos latencia, grande da más contexto y mejor calidad.

WebSocket — Un canal bidireccional persistente sobre TCP, ideal para enviar audio y recibir texto en streaming sin reabrir la conexión. Es el transporte habitual entre navegador y servidor de ASR.

WebRTC — El estándar de comunicación de audio y video en tiempo real del navegador, sobre UDP, con cancelación de eco y control de jitter incorporados. Es lo que se usa cuando la latencia y la calidad de la llamada importan de verdad.

Full-duplex vs half-duplex (bidireccional simultáneo frente a por turnos) — Si las dos partes pueden hablar a la vez (full-duplex, como una llamada) o solo por turnos (half-duplex, como un walkie-talkie). Un buen agente de voz aspira a full-duplex para permitir interrupciones.

Turn-taking

VAD (detección de actividad de voz) — El componente que decide, trama a trama, si hay voz o silencio. Es la pieza que gobierna cuándo empieza y termina un turno, y la que evita mandar silencio al transcriptor. Se desarrolla en VAD y turn-taking.

Silero VAD — El modelo de VAD ligero y abierto que se volvió estándar en el ecosistema de voz. Corre en tiempo real, incluso en CPU, y suele configurarse conservador para no confundir ruido con voz.

Endpointing — Decidir el momento exacto en que el usuario terminó de hablar para pasarle el turno al sistema. Demasiado pronto corta al usuario; demasiado tarde hace la conversación lenta. Es el arte central del turn-taking.

Turn detection semántico (detección semántica de turno) — Usar el significado de lo dicho, no solo el silencio, para decidir si el usuario terminó. “¿Me puedes ayudar con…?” con una pausa no es fin de turno aunque haya silencio; el sentido lo revela.

Barge-in (interrupción) — Que el usuario interrumpa hablando mientras el sistema aún responde, y que el sistema calle y escuche. Sin barge-in la conversación se siente rígida; con él hay que detectar y cortar el TTS al vuelo.

Backchannel (retroalimentación de escucha) — Los “ajá”, “claro”, “mmm” que soltamos para indicar que seguimos escuchando sin querer tomar el turno. Un agente que los confunde con interrupciones se calla cuando no debe.

Solapamiento (overlap) — Cuando dos personas hablan a la vez. Es normal en la conversación humana y difícil para un sistema, que tiende a asumir turnos limpios que la realidad no respeta.

Arquitectura y agentes

Pipeline en cascada (STT→LLM→TTS) — La arquitectura clásica de un agente de voz: transcribir, pensar con un LLM y sintetizar la respuesta, tres pasos en serie. Es la opción por defecto en producción por su control y trazabilidad, a costa de sumar latencia en cada salto. Se desarrolla en Arquitectura de un agente de voz.

Speech-to-speech / audio nativo (voz a voz) — Un único modelo que recibe audio y produce audio directamente, sin pasar por texto. Baja la latencia y conserva el tono y la emoción, a cambio de menos control sobre lo que dice. Se desarrolla en Speech-to-speech y realtime APIs.

Realtime API (API en tiempo real) — La interfaz que expone un modelo de audio nativo por streaming bidireccional, con turn-taking, interrupciones y llamada a herramientas incorporados. La de OpenAI (gpt-realtime) alcanzó disponibilidad general en agosto de 2025; la de Google es la Gemini Live API.

Pipecat — El framework abierto para orquestar agentes de voz en tiempo real, neutral respecto al proveedor y al transporte, que conecta STT, LLM, TTS y VAD en un flujo. Es el andamiaje habitual para no cablear todo a mano.

LiveKit — La plataforma de transporte de audio y video en tiempo real (sobre WebRTC) con un marco de agentes propio. Resuelve la parte de conectividad y medios que un agente de voz necesita antes de siquiera pensar.

Function calling en voz (llamada a funciones) — Que el agente de voz ejecute acciones reales (consultar un pedido, agendar una cita) a través de herramientas, igual que un agente de texto. El mecanismo base es el de Cómo funciona un agente.

Telefonía

PSTN (red telefónica pública conmutada) — La red telefónica tradicional, la de los números de teléfono de siempre. Conectar un agente de voz a ella es lo que le permite recibir y hacer llamadas reales. Se desarrolla en Telefonía y el mundo real.

SIP (protocolo de inicio de sesión) — El protocolo que establece, gestiona y termina las llamadas de voz sobre IP. Es el “lenguaje de señalización” con el que un sistema moderno se enchufa a la telefonía.

CPaaS (comunicaciones como servicio) — Plataformas como Twilio o Vonage que exponen la telefonía tras una API, ahorrando el trato directo con las telcos. Son el puente habitual entre un agente y la red telefónica.

Twilio Media Streams — El servicio de Twilio que envía el audio de una llamada en vivo por WebSocket a tu sistema, típicamente en μ-law a 8 kHz. Es la forma concreta de que un agente escuche una llamada telefónica en tiempo real.

μ-law / G.711 (mu-law) — El esquema de compresión de audio de la telefonía en Norteamérica y Japón (en Europa se usa A-law), definido en el estándar G.711. Comprime a 8 bits por muestra a 8 kHz, lo que degrada la calidad y hay que tener en cuenta al transcribir.

DTMF (multifrecuencia de doble tono) — Los tonos que suenan al marcar dígitos en el teclado del teléfono. Un agente telefónico a menudo debe detectarlos (“marque 1 para ventas”) además de escuchar voz.

AMD (detección de contestador automático) — Distinguir si contestó una persona o un buzón de voz. Es crítico en llamadas salientes: hablarle a un contestador como si fuera humano arruina el mensaje y desperdicia la llamada.

8 kHz — La frecuencia de muestreo de la telefonía tradicional, la mitad del estándar de voz para IA. Recorta los agudos y por eso las transcripciones telefónicas son más difíciles que las de un micrófono de escritorio.

Evaluación y producción

WER (tasa de error por palabra) — La métrica estándar de ASR: qué proporción de palabras se transcribió mal, sumando sustituciones, inserciones y borrados. Más bajo es mejor; conviene medirlo sobre audio parecido al real, no sobre lecturas limpias. Se desarrolla en Evaluar un sistema de voz.

CER (tasa de error por carácter) — La versión de WER a nivel de carácter. Es la métrica correcta en idiomas sin separación clara de palabras (chino, japonés) y para juzgar errores de deletreo finos.

MOS (puntuación media de opinión) — La métrica reina de TTS: personas califican la naturalidad del audio en una escala de 1 (mala) a 5 (excelente) y se promedia. Es subjetiva y cara, pero sigue siendo el patrón oro de calidad de voz.

UTMOS — Un modelo que predice el MOS automáticamente, sin panel humano. Sirve para iterar rápido y a bajo costo, con la advertencia de que estima el juicio humano, no lo reemplaza. Es al TTS lo que un juez LLM es al texto, como se ve en el glosario de Evals.

Inteligibilidad (intelligibility) — Cuán fácil es entender lo que dice una voz sintética, independiente de si suena natural. Se mide indirectamente transcribiendo el audio del TTS con un ASR y calculando el WER contra el texto original.

Dato biométrico (biometric data) — La voz es un identificador único de una persona y por eso muchas leyes la tratan como dato sensible. Almacenarla y procesarla trae obligaciones legales que se abordan en Voz en producción.

Consentimiento de grabación (recording consent) — El permiso explícito del usuario para grabar y procesar su voz, obligatorio en muchas jurisdicciones. No es un trámite: es la línea entre un producto y un problema legal.

Prompt injection por voz (inyección de instrucciones por voz) — Que alguien diga en voz alta instrucciones para secuestrar el comportamiento del agente, la versión hablada del ataque de texto. El mecanismo y sus defensas se detallan en el Curso de Seguridad de IA.

Material relacionado

• Cómo oye una máquina — del sonido a los números: muestreo, espectrograma y mel.
• Reconocimiento de voz — de HMM a CTC y encoder-decoder para pasar audio a texto.
• Whisper en la práctica — timestamps, diarización y la alucinación en silencio.
• Síntesis de voz — modelo acústico, vocoder y TTS de extremo a extremo.
• Latencia — TTFB, percentiles y por qué el promedio miente.
• Streaming en tiempo real — chunking, resultados parciales y transportes.
• VAD y turn-taking — endpointing, barge-in y detección semántica de turno.
• Arquitectura de un agente de voz — el pipeline en cascada y sus piezas.
• Speech-to-speech y realtime APIs — audio nativo frente a cascada.
• Telefonía y el mundo real — PSTN, SIP, μ-law y contestadores.
• Evaluar un sistema de voz — WER, MOS y cómo medir sin engañarse.
• Voz en producción — consentimiento, dato biométrico y seguridad.
• Glosario de Evals — juez LLM, prompt injection y evaluación de sistemas con LLM.
• Cómo ve una máquina — el paralelo visual del muestreo y el espectrograma.