MLOps
Opera y evalúa tu IA en producción.
Despliegue, evaluación, monitoreo y actualizaciones para modelos y aplicaciones con LLM. Construimos controles, alertas y procesos de publicación, y definimos quién responde cuando el sistema necesita atención.
Qué construimos
- Pipelines de despliegue para modelos y aplicaciones con LLM
- Monitoreo en producción: calidad, drift, latencia y costo
- Casos de evaluación y criterios de aceptación para cambios de prompt, modelo o datos
- Procesos de actualización y reentrenamiento con pasos de revisión y aprobación acordados
Pruebas
Nuestra propia contratación
En nuestro propio proceso de contratación, un agente convierte las transcripciones de entrevistas en perfiles de candidatos listos para presentar al cliente. Lo usamos en producción desde principios de 2025.
Leer la nota- En producción desde principios de 2025
- De la transcripción al perfil del candidato
Cuándo nos buscan los equipos
- Un modelo necesita un plan de despliegue y operación
- El equipo tiene poca información sobre la calidad de las respuestas o los fallos
- Cuesta seguir el uso y los costos de la IA
Cómo lo construimos
Definir los controles
elegir casos de evaluación, métricas y criterios de aceptación
Preparar el despliegue
versionar los componentes y documentar la publicación y la recuperación
Configurar el monitoreo
medir calidad, latencia, uso y costo; asignar responsables de las alertas
Revisar los cambios
evaluar las actualizaciones propuestas y acordar quién autoriza su publicación
Qué monitoreamos y evaluamos
Elegimos los controles según la aplicación y las consecuencias de un error. Estos aspectos orientan el trabajo:
Calidad
Comparar muestras de resultados con respuestas esperadas o criterios de evaluación. Incluir entradas representativas y fallos conocidos, y revisar la cobertura cuando cambie la tarea o los datos.
Prompts y versiones
Registrar el prompt, el modelo, la configuración de búsqueda y las versiones de datos necesarias para investigar un resultado. Evaluar los cambios propuestos con los casos acordados y revisar regresiones antes de publicar.
Latencia
Medir los tiempos de respuesta de la aplicación y sus dependencias. Definir umbrales para la tarea e investigar demoras en la búsqueda, las llamadas al modelo u otros servicios.
Costo
Seguir el uso y los cargos por aplicación o cliente cuando la infraestructura lo permita. Compararlos con las estimaciones y acordar alertas, límites de uso y acciones al alcanzar un umbral de presupuesto.
Las evaluaciones y el monitoreo aportan evidencia para decidir qué publicar y mantener. Su cobertura y sus límites deben revisarse cuando el sistema cambia.
Cómo preparamos la operación
Acordamos casos de evaluación y criterios de aceptación, un proceso de despliegue versionado, monitoreo con responsables de las alertas y un proceso para revisar actualizaciones. El plan de publicación registra las aprobaciones, las opciones de recuperación y los límites para restaurar una versión anterior.
Revisamos las herramientas y los procesos existentes e identificamos los controles que faltan. El alcance incluye la implementación, las comprobaciones y la documentación operativa acordadas. También definimos quién mantiene los casos de evaluación, investiga incidentes y revisa costos y rendimiento después del lanzamiento.
Funciona bien con
Preguntas frecuentes
Solo usamos APIs de LLM: ¿igual necesitamos esto?
Una aplicación que usa APIs de LLM también necesita evaluación, seguimiento de versiones, permisos y visibilidad sobre el uso y el costo. Revisamos lo que ya tienes y definimos los controles que necesita la aplicación.
¿Pueden operar modelos que construyó nuestro equipo?
Sí. Primero revisamos el código, la infraestructura, los accesos disponibles y los requisitos operativos. Identificamos qué se puede instrumentar o reutilizar y qué cambios hacen falta antes de acordar el trabajo.
¿Cuánto cuesta operar IA?
Depende del tráfico, del precio del modelo o la infraestructura, del almacenamiento, del monitoreo y de la revisión necesaria. Estimamos esos costos para la carga de trabajo propuesta y configuramos reportes y umbrales para ayudar al equipo a gestionar el uso.
¿Qué es un conjunto de evaluación y por qué todo vuelve a él?
Es una colección de entradas representativas con resultados esperados o criterios de evaluación. Elegimos casos de la tarea, fallos conocidos y límites de permisos, y los usamos para comparar cambios propuestos. El conjunto necesita mantenimiento y se complementa con monitoreo y revisión en producción; no cubre todas las entradas posibles.
¿Cuánto cuesta operar el monitoreo?
Depende del volumen de tráfico, la frecuencia del muestreo de resultados y las evaluaciones que se ejecuten. Estimamos el costo del monitoreo para tu sistema, incluidos los controles automáticos y la revisión humana que haga falta.
¿Trabajan con modelos de pesos abiertos en nuestra infraestructura?
Sí. Evaluamos los requisitos del modelo, la capacidad de cómputo, las restricciones de despliegue y quién lo operará. El alcance puede incluir versionado, evaluación, monitoreo, planificación de capacidad y procedimientos de publicación y recuperación para tu infraestructura.