MLOps
Opere e avalie sua IA em produção.
Deploy, avaliação, monitoramento e atualizações para modelos e aplicações com LLM. Construímos verificações, alertas e processos de publicação e definimos quem responde quando o sistema precisa de atenção.
O que construímos
- Pipelines de deploy para modelos e aplicações com LLM
- Monitoramento em produção: qualidade, drift, latência e custo
- Casos de avaliação e critérios de aceitação para mudanças de prompt, modelo ou dados
- Processos de atualização e retreinamento com etapas de revisão e aprovação acordadas
Provas
Nossa própria contratação
No nosso próprio processo de contratação, um agente transforma transcrições de entrevistas em perfis de candidatos prontos para apresentar ao cliente. Nós o usamos em produção desde o início de 2025.
Ler a nota- Em produção desde o início de 2025
- Da transcrição ao perfil do candidato
Quando os times nos procuram
- Um modelo precisa de um plano de deploy e operação
- A equipe tem pouca informação sobre a qualidade das respostas ou as falhas
- É difícil acompanhar o uso e os custos da IA
Como construímos
Definir as verificações
escolher casos de avaliação, métricas e critérios de aceitação
Preparar o deploy
versionar os componentes e documentar a publicação e a recuperação
Configurar o monitoramento
medir qualidade, latência, uso e custo; atribuir responsáveis pelos alertas
Revisar as mudanças
avaliar as atualizações propostas e acordar quem aprova a publicação
O que monitoramos e avaliamos
Escolhemos as verificações conforme a aplicação e as consequências de um erro. Estes aspectos orientam o trabalho:
Qualidade
Comparar amostras dos resultados com respostas esperadas ou critérios de avaliação. Incluir entradas representativas e falhas conhecidas e revisar a cobertura quando a tarefa ou os dados mudarem.
Prompts e versões
Registrar o prompt, o modelo, a configuração de busca e as versões dos dados necessárias para investigar um resultado. Avaliar as mudanças propostas com os casos acordados e revisar regressões antes da publicação.
Latência
Medir os tempos de resposta da aplicação e de suas dependências. Definir limites para a tarefa e investigar atrasos na busca, nas chamadas ao modelo ou em outros serviços.
Custo
Acompanhar o uso e as cobranças por aplicação ou cliente quando a infraestrutura permitir. Compará-los com as estimativas e acordar alertas, limites de uso e ações quando um limite de orçamento for atingido.
As avaliações e o monitoramento fornecem evidências para decidir o que publicar e manter. Sua cobertura e seus limites precisam de revisão conforme o sistema muda.
Como preparamos a operação
Acordamos casos de avaliação e critérios de aceitação, um processo de deploy versionado, monitoramento com responsáveis pelos alertas e um processo para revisar atualizações. O plano de publicação registra as aprovações, as opções de recuperação e os limites para restaurar uma versão anterior.
Revisamos as ferramentas e os processos existentes e identificamos as verificações que faltam. O escopo inclui a implementação, os testes e a documentação operacional acordados. Também definimos quem mantém os casos de avaliação, investiga incidentes e revisa custos e desempenho depois do lançamento.
Funciona bem com
Perguntas frequentes
Só usamos APIs de LLM — ainda precisamos disso?
Uma aplicação que usa APIs de LLM também precisa de avaliação, acompanhamento de versões, permissões e visibilidade sobre uso e custo. Revisamos o que você já tem e definimos as verificações de que a aplicação precisa.
Vocês operam modelos que nosso time construiu?
Sim. Primeiro revisamos o código, a infraestrutura, os acessos disponíveis e os requisitos operacionais. Identificamos o que pode ser instrumentado ou reutilizado e quais mudanças são necessárias antes de acordar o trabalho.
Quanto custa operar IA?
Depende do tráfego, do preço do modelo ou da infraestrutura, do armazenamento, do monitoramento e da revisão necessária. Estimamos esses custos para a carga de trabalho proposta e configuramos relatórios e limites para ajudar a equipe a gerenciar o uso.
O que é um conjunto de avaliação, e por que tudo volta a ele?
É uma coleção de entradas representativas com resultados esperados ou critérios de avaliação. Escolhemos casos da tarefa, falhas conhecidas e limites de permissões e os usamos para comparar mudanças propostas. O conjunto precisa de manutenção e se complementa com monitoramento e revisão em produção; não cobre todas as entradas possíveis.
Quanto custa manter o monitoramento?
Depende do volume de tráfego, da frequência da amostragem dos resultados e das avaliações realizadas. Estimamos o custo do monitoramento para o seu sistema, incluindo verificações automáticas e a revisão humana necessária.
Vocês trabalham com modelos de pesos abertos na nossa infraestrutura?
Sim. Avaliamos os requisitos do modelo, a capacidade de computação, as restrições de deploy e quem vai operá-lo. O escopo pode incluir versionamento, avaliação, monitoramento, planejamento de capacidade e procedimentos de publicação e recuperação para sua infraestrutura.