Observability

Monitoramento operacional da saúde de dados, pipelines e contexto — fontes desatualizadas, schemas quebrados, campos faltando — antes que impactem o agente.

O Observability monitora a saúde do contexto entregue aos agentes em produção. Detecta fontes desatualizadas, schemas quebrados e campos faltando antes que gerem uma decisão incorreta, e registra qual contexto foi entregue a cada decisão.

Observability monitora a qualidade do contexto em produção, nunca o comportamento do agente nem as respostas do LLM. Um contexto degradado não aparece no log do modelo — aparece aqui.

---

Por que Observability existe

Em produção, o contexto degrada em silêncio. Uma fonte para de sincronizar, um schema muda na origem, um perfil fica obsoleto. O agente continua respondendo, mas com contexto pior, e o problema só aparece quando alguém percebe uma decisão errada.

Observability torna essa degradação visível no momento em que acontece. Ele monitora a saúde dos datasets, dos pipelines e do contexto montado, e notifica o time antes que o problema chegue ao agente.

Para setores regulados — fintech, healthtech, cooperativas de crédito — o audit trail é o que permite reconstruir qual contexto sustentou cada decisão. É requisito de rastreabilidade, não conveniência operacional.

---

O que o Observability monitora

O monitoramento cobre quatro frentes. Cada uma responde a uma pergunta sobre a saúde do contexto em produção.

Monitoramento em tempo real

Acompanha completude, latência e fontes consultadas a cada montagem de contexto. Você vê o estado atual da camada de contexto sem esperar por um relatório.

Detecção de anomalias

Identifica fontes desatualizadas, dados faltando, schemas quebrados e perfis obsoletos. Quando um dataset para de receber cargas ou uma coluna some da origem, o Observability marca a anomalia.

Audit trail completo

Registra qual contexto foi entregue a cada decisão do agente — qual perfil, quais fontes, qual versão. É o registro que permite auditar uma decisão depois que ela aconteceu.

Alertas proativos

Notifica o time antes que o problema impacte o agente em produção. Quando uma métrica de contexto viola o limiar configurado, o alerta dispara.

---

Métricas que o Observability consome

Memory e Knowledge emitem métricas operacionais que o Observability acompanha em produção.

Métrica	Definição
Frescor do perfil	Tempo desde a última atualização vs o SLA configurado
Frescor da timeline	Evento mais recente vs a frequência esperada
Utilização de contexto	% do orçamento de tokens efetivamente usado por requisição
Latência de contexto	Tempo entre a requisição e a entrega do contexto formatado

Os eventos de violação de limiar chegam do Evals, que avalia a qualidade do contexto. Evals mede; Observability monitora em produção.

---

Como se conecta aos outros produtos

Observability fica na camada de Ops Engineering. Consome sinais de todos os produtos que entregam contexto.

Produto	Como o Observability se conecta
Data Pipelines	Monitora a saúde dos pipelines — fontes lentas, dados faltando, falhas de sync
Data Catalog	Monitora a saúde dos datasets — fontes desatualizadas, campos faltando, schemas quebrados
Memory	Acompanha frescor do perfil, latência do contexto e o audit trail de cada entrega
Knowledge	Acompanha latência e saúde do índice vetorial
Evals	Recebe os eventos quando uma métrica de contexto viola o limiar configurado

---

Casos de uso

Fonte que parou de sincronizar

O conector de contratos falha durante a madrugada. O frescor do perfil das entidades afetadas ultrapassa o SLA e o Observability dispara o alerta antes do horário comercial. O time corrige a sincronização antes que qualquer agente entregue contexto desatualizado.

Auditoria de uma decisão passada

Uma cooperativa precisa demonstrar, meses depois, qual contexto sustentou uma decisão de crédito. O audit trail registra o snapshot do contexto entregue naquele momento — perfil, fontes e versão — e a decisão fica reconstruível.

Schema quebrado na origem

Uma coluna é renomeada no sistema de origem e a transformação clean/ passa a entregar um campo vazio. O Observability marca a anomalia de schema e aponta o dataset afetado, antes que o campo faltando chegue ao contexto do agente.

---

Próximos passos

Evals

Entenda como a qualidade do contexto é avaliada em completude, precisão e relevância.

Data Catalog

Veja como os datasets são governados e como o monitoramento de qualidade se conecta a eles.

Memory

Entenda quais métricas de contexto o Memory emite para monitoramento.