Insights

Un agente experto en un dominio no es un chatbot con tu logo

Un chatbot responde preguntas. Un agente hace cosas: lee los documentos que llegaron durante la noche, prepara la respuesta, actualiza el registro, abre el ticket, deriva la excepción a una persona. La diferencia no es el modelo. El mismo modelo está detrás de ambos. La diferencia es todo lo que se construye a su alrededor — y ahí es donde la mayoría de los proyectos de "agentes de IA" justifica su costo o se convierte silenciosamente en una demo.

"Experto en un dominio" es un criterio útil porque es concreto. Un agente es experto en un dominio cuando responde a partir de tus datos en lugar del promedio de internet, cuando puede actuar dentro de los sistemas que realmente usas y cuando alguien puede comprobar su trabajo.

Qué hace realmente

Dentro de una empresa, el día de un agente no tiene glamour. Vigila una bandeja de entrada o una cola. Lee un contrato y señala las cláusulas que señalaría tu equipo. Convierte la transcripción de una entrevista en un perfil estructurado. Concilia recibos con estados de cuenta y solo consulta a una persona sobre los que no coinciden. Escribe el primer borrador del reporte semanal a partir de las cifras, no de memoria.

Ninguna de esas tareas necesita una "escala sin precedentes". Necesitan hacerse bien, ejecutarse dentro de las herramientas que el equipo ya usa y saber cuándo detenerse y preguntar.

Cuatro cosas que lo hacen confiable

1. Fundamentación en fuentes. El agente recupera información de tus documentos y registros antes de responder, y sus respuestas remiten a las fuentes de las que provienen. Eso reduce los hechos inventados; no los elimina, y cualquiera que te diga lo contrario está vendiendo algo. El trabajo práctico está en lo que se indexa, cómo se divide en fragmentos y qué hace el agente cuando la recuperación no devuelve resultados — "no tengo esa información" es una respuesta correcta.

2. Estructura. Algunas preguntas son sobre relaciones, no sobre documentos: qué clientes comparten un proveedor, qué contratos hacen referencia a la misma cláusula, qué incidentes se concentran en torno a un sistema. Modelar explícitamente esas relaciones — un grafo sobre tus entidades — permite que el agente siga una cadena de enlaces en lugar de adivinarla. Vale la pena construirlo cuando las preguntas son relacionales. Es excesivo cuando no lo son, y la mayoría de los primeros agentes no lo necesita.

3. Ajuste fino, por la razón correcta. El ajuste fino no le enseña a un modelo tu negocio; la fundamentación en fuentes lo hace. El ajuste fino le enseña un formato, un tono, una tarea específica — y puede reducir la latencia y el costo cuando el mismo tipo de solicitud se ejecuta miles de veces al día. Recurre a él más adelante, y por esas razones.

4. Evaluación. No puedes gestionar un agente que no mides. Un conjunto de prueba de casos reales con respuestas correctas conocidas, que se ejecute cada vez que cambie un prompt o un modelo; un segundo modelo que evalúe al primero según una rúbrica; y una persona que revise una muestra cada semana. Sin eso, "parece funcionar" es la única señal que tienes, y no es una señal válida.

El control de aprobación

Al principio, una persona aprueba cada acción que propone el agente. No es una limitación por la que haya que disculparse; es la forma en que el agente aprende los casos excepcionales y el equipo aprende a confiar en él. Cada corrección se convierte en una regla. Cuando las correcciones se acercan a cero para una clase de acciones, el control se abre para esa clase — y sigue cerrado para las que aún te sorprenden. La autonomía es algo que un agente se gana, un tipo de acción a la vez.

Dónde se ejecuta

Un agente experto en un dominio se ejecuta dentro del acceso que le otorgas — tu nube, tus permisos, tu registro de auditoría — porque ahí están los datos y ocurren las acciones. Si el plan de un proveedor empieza por sacar tus datos de ahí, pregunta para qué sirve el agente.

La pregunta difícil rara vez es "¿podemos construir un agente?". Es "¿cuál aporta valor primero, con los datos que realmente tenemos?". Esa es una pregunta de dos semanas, no de dos trimestres.

“Un agente experto en un dominio no es un chatbot con tu logo” by Martin Prunell is licensed under CC BY SA. Source code examples are licensed under MIT. Categorized under IA y agentes.

Related reading