← volver al blog
Publicado en LinkedIn 01-03-2026

AgentInTheLoop: plataforma visual para diseñar y ejecutar pipelines de agentes IA

Presentación de AgentInTheLoop, mi laboratorio personal para experimentar con agentes IA mediante drag-and-drop.

AgentInTheLoopAgentes IADrag-and-DropMulti-Provider
Ver publicación original en LinkedIn ↗

Quiero compartir con ustedes una aplicación que desarrollé para mi día a día en el desarrollo de agentes de IA llamada AgentInTheLoop. Es una plataforma visual para diseñar y ejecutar pipelines de agentes IA mediante drag-and-drop.

La uso para probar ideas, validar hipótesis, hacer pruebas de concepto y comparar modelos, entre otras cosas. Básicamente se convirtió en mi laboratorio personal para experimentar con agentes.

Funcionalidades

  • Pipeline Builder visual: editor de grafos con 10 tipos de nodos (LLM, Tools, Router, RAG, Human-in-the-Loop, Guardrails, Parallel, Memory, etc.) que genera código LangGraph ejecutable.

  • Voice-to-Pipeline: crea y modifica pipelines por voz usando Web Speech API + interpretación con Claude.

  • Ejecución en tiempo real: streaming vía WebSocket con seguimiento de tokens, costos y latencia por nodo.

  • Debug Engine: breakpoints, step-over, pausa y modificación de estado mid-execution.

  • Human-in-the-Loop: revisión, aprobación/rechazo con timeout configurable y conversación multi-turno durante la ejecución.

  • Guardrails de seguridad: detección de prompt injection (regex + LLM) y PII, con acciones configurables (bloquear/advertir/pasar).

  • RAG integrado: carga de documentos (PDF/TXT/MD/DOCX), embeddings OpenAI y búsqueda vectorial.

  • Tool Library + MCP: herramientas custom (Python, endpoints, web search, scraper, email, RAG search) + proveedores MCP preconfigurados.

  • Evaluación completa: LLM-as-Judge, similitud, P/R/F1, alucinaciones, toxicidad + métricas RAGAS (Faithfulness, Relevancy, Context Precision/Recall).

  • Generación sintética de tests: análisis automático del workflow para crear casos de prueba por categoría.

  • Marketplace de templates: publica, busca, instala y destaca templates de la comunidad.

  • Compartir grafos: links públicos con ejecución rate-limited para demos.

  • Code Generation & Export: genera y descarga código Python/LangGraph ejecutable.

  • Multi-provider: Anthropic, OpenAI, Google, Ollama, AWS Bedrock, Azure, Groq, Mistral, DeepSeek.

  • Observabilidad: panels de Trace, Waterfall/Timeline, Logs, JSON Inspector, Token & Cost tracking con pricing de 30+ modelos.