AgentInTheLoop

El problema

Construir agentes de IA multi-step en código es tedioso: cambias una tool, rompes el grafo; debuggear el flujo es ciego; probar casos edge toma horas manualmente. LangGraph resuelve la orquestación, pero el ciclo de desarrollo sigue siendo lento.

La solución

AgentInTheLoop es un laboratorio personal donde construyo, debuggeo y evalúo agentes LangGraph en el navegador. Lo uso a diario para probar ideas, validar hipótesis, hacer pruebas de concepto y comparar modelos.

Funcionalidades principales

• Pipeline Builder visual: los workflows se componen como grafos (DAG) en un canvas drag-and-drop con 15+ tipos de nodos (agentes LLM, Tools, Router, retrievers RAG, Human-in-the-Loop, Guardrails anti-inyección, sanitización de PII, orquestador multi-agente, Memory, Trigger, MCP); cada nodo se configura con formularios dinámicos y se genera código LangGraph en Python listo para producción
• Copilot constructor: asistente de chat que arma el flujo desde una descripción en lenguaje natural, proponiendo acciones sobre el canvas (crear nodos, conectar, configurar) que el usuario aplica, ejecuta o revierte — de minutos a segundos
• RAG integrado: carga de documentos (PDF/TXT/MD/DOCX), embeddings con pgvector y búsqueda vectorial para conectar conocimiento a cualquier pipeline
• Guardrails de seguridad: detección de prompt injection y PII con acciones configurables (bloquear / advertir / pasar)
• Evaluación completa: LLM-as-Judge, BLEU, similitud, P/R/F1, alucinaciones, toxicidad, resistencia a prompt injection + métricas RAGAS (Faithfulness, Relevancy, Context Precision/Recall)
• 6 tipos de Memory Node: buffer, window, summary, entity, Redis, LangGraph checkpoint
• Voice-to-Pipeline y asistente de voz: construir pipelines hablando en español
• MCP integration: Model Context Protocol nativo
• Debug Engine: step-through con inspección de state en cada nodo
• Sesiones multi-turno, canales y triggers: chat persistente, integración con Telegram y disparadores automáticos
• Marketplace de plantillas: publica, busca e instala templates de la comunidad
• Seguridad de plataforma: JWT, sandbox de código, rate limiting y protección SSRF/ReDoS, con claves de API cifradas por usuario

Arquitectura

• Frontend: React + React Flow + Zustand
• Backend: Python + FastAPI + LangGraph
• State: PostgreSQL con checkpointing de LangGraph
• LLMs: multi-provider (OpenAI, Anthropic, Google, Groq, Together, Ollama) con claves cifradas por usuario
• Deploy: Cloud Run + Cloud SQL

Lecciones

1. LangGraph checkpointing es oro: permite “time-travel debugging” sin esfuerzo.
2. MCP está maduro para producción — ya no es sólo especificación.
3. Voice-to-Pipeline fue el feature que más engagement generó en usuarios técnicos.
4. RAGAS como métrica default cambia el rigor del proceso: sin evals no se hace deploy.