Insights

Um agente especialista no seu domínio não é um chatbot com seu logo

Um chatbot responde a perguntas. Um agente faz coisas: lê os documentos que chegaram durante a noite, redige a resposta, atualiza o registro, abre o ticket, encaminha a exceção a uma pessoa. A diferença não é o modelo. O mesmo modelo está por trás dos dois. A diferença é tudo o que se constrói ao redor dele — e é aí que a maioria dos projetos de "agentes de IA" justifica seu custo ou vira uma demo sem alarde.

"Especialista em um domínio" é um critério útil porque é concreto. Um agente é especialista em um domínio quando responde com base nos seus dados em vez da média da internet, quando pode agir dentro dos sistemas que você realmente usa e quando alguém pode conferir seu trabalho.

O que ele realmente faz

Dentro de uma empresa, o dia de um agente não tem glamour. Ele acompanha uma caixa de entrada ou uma fila. Lê um contrato e sinaliza as cláusulas que sua equipe sinalizaria. Transforma a transcrição de uma entrevista em um perfil estruturado. Concilia recibos com extratos e só consulta uma pessoa sobre os que não correspondem. Escreve o primeiro rascunho do relatório semanal com base nos números, não de memória.

Nenhuma dessas tarefas precisa de "escala sem precedentes". Precisam ser feitas corretamente, rodar dentro das ferramentas que a equipe já usa e saber quando parar e perguntar.

Quatro coisas que o tornam confiável

1. Fundamentação em fontes. O agente recupera informações dos seus documentos e registros antes de responder, e suas respostas apontam para as fontes de onde vieram. Isso reduz os fatos inventados; não os elimina, e qualquer pessoa que diga o contrário está vendendo algo. O trabalho prático está no que é indexado, em como é dividido em trechos e no que o agente faz quando a recuperação não encontra resultados — "não tenho essa informação" é uma resposta correta.

2. Estrutura. Algumas perguntas são sobre relações, não documentos: quais clientes compartilham um fornecedor, quais contratos mencionam a mesma cláusula, quais incidentes se concentram em torno de um sistema. Modelar essas relações explicitamente — um grafo sobre suas entidades — permite que o agente siga uma cadeia de links em vez de adivinhá-la. Vale a pena construir quando as perguntas são relacionais. É excessivo quando não são, e a maioria dos primeiros agentes não precisa disso.

3. Ajuste fino, pelo motivo certo. O ajuste fino não ensina seu negócio a um modelo; a fundamentação em fontes faz isso. O ajuste fino ensina um formato, um tom, uma tarefa específica — e pode reduzir a latência e o custo quando o mesmo tipo de solicitação é executado milhares de vezes por dia. Recorra a ele mais tarde, e por esses motivos.

4. Avaliação. Você não pode gerenciar um agente que não mede. Um conjunto de teste de casos reais com respostas corretas conhecidas, executado sempre que um prompt ou modelo mudar; um segundo modelo avaliando o primeiro conforme uma rubrica; e uma pessoa revisando uma amostra toda semana. Sem isso, "parece funcionar" é o único sinal que você tem, e ele não é um sinal válido.

O controle de aprovação

No início, uma pessoa aprova toda ação que o agente propõe. Não é uma limitação pela qual pedir desculpas; é como o agente aprende os casos excepcionais e a equipe aprende a confiar nele. Cada correção vira uma regra. Quando as correções se aproximam de zero para uma classe de ações, o controle se abre para essa classe — e permanece fechado para as que ainda surpreendem você. A autonomia é algo que um agente conquista, um tipo de ação por vez.

Onde ele roda

Um agente especialista em um domínio roda dentro do acesso que você concede — sua nuvem, suas permissões, seu registro de auditoria — porque é onde os dados estão e onde as ações acontecem. Se o plano de um fornecedor começar por tirar seus dados de lá, pergunte para que serve o agente.

A pergunta difícil raramente é "podemos construir um agente?". É "qual deles traz retorno primeiro, com os dados que realmente temos?". Essa é uma pergunta de duas semanas, não de dois trimestres.

“Um agente especialista no seu domínio não é um chatbot com seu logo” by Martin Prunell is licensed under CC BY SA. Source code examples are licensed under MIT. Categorized under IA e agentes.

Related reading