Detectar quando o desempenho de um modelo em produção está se degradando devido a mudanças nos dados de entrada ou nos resultados previstos.
→Configure o Monitoramento de Modelos do Vertex AI. Configure um trabalho para detectar desvio de treinamento-serviço (alterações na distribuição de entrada em relação ao treinamento) e desvio de previsão (alterações na distribuição de saída ao longo do tempo).
Por quê: Fornece um sistema automatizado de alerta precoce para degradação do modelo, permitindo retreinamento ou intervenção proativa antes que as métricas de negócios sejam significativamente impactadas.
Referência↗
O desempenho do modelo está se degradando, mas as distribuições de recursos de entrada parecem estáveis (nenhum desvio de dados detectado).
→Implementar o monitoramento dos resultados da previsão em relação aos rótulos de verdade fundamental atrasados. Uma queda na precisão ou em outras métricas de avaliação indica desvio de conceito, onde a relação entre os recursos e o alvo mudou.
Por quê: O monitoramento de desvio de recursos por si só é insuficiente. O desvio de conceito requer a avaliação das previsões do modelo em relação aos dados reais para detectar mudanças nos padrões subjacentes.
Fornecer explicações para previsões individuais do modelo para atender à conformidade regulatória ou para a confiança das partes interessadas.
→Habilite o Vertex AI Explainable AI no endpoint implantado. Use métodos como Sampled Shapley ou Integrated Gradients para obter atribuições de recursos para cada previsão.
Por quê: Fornece explicações locais, por previsão, que identificam quais recursos contribuíram para uma decisão, o que é essencial para auditoria e depuração de modelos "caixa-preta".
Garantir que um modelo tenha um desempenho equitativo em diferentes segmentos de usuários (por exemplo, demográficos) e detectar vieses ocultos.
→Configure o monitoramento do modelo para calcular e rastrear métricas de desempenho (por exemplo, precisão, taxas de erro) em fatias dos dados definidas por atributos sensíveis.
Por quê: Métricas agregadas podem ocultar baixo desempenho para subgrupos minoritários. A análise fatiada é crucial para identificar e mitigar problemas de justiça.
Impedir que um modelo faça previsões não confiáveis e excessivamente confiantes em entradas que são fundamentalmente diferentes dos seus dados de treinamento.
→Implemente um modelo de detecção de saída de distribuição (OOD) (por exemplo, um autoencoder) junto com o modelo principal. Erros de reconstrução altos sinalizam uma entrada como OOD, acionando uma lógica de fallback.
Por quê: Fornece um mecanismo de segurança contra mudança de domínio, melhorando a robustez do modelo ao identificar quando o modelo está operando fora de sua área de especialização.
Documentar o uso pretendido, limitações, dados de treinamento e avaliação de justiça de um modelo para stakeholders técnicos e não técnicos.
→Crie um Model Card usando o framework do Google. Inclua seções sobre detalhes do modelo, uso pretendido, considerações éticas, análises quantitativas (incluindo métricas fatiadas) e limitações.
Por quê: Um padrão para documentação de IA responsável que promove transparência, responsabilidade e uso adequado do modelo em toda uma organização.
Manter um log pesquisável e auditável de todas as solicitações e respostas de previsão para conformidade e depuração.
→Habilite o registro de acesso no Endpoint do Vertex AI. Configure os logs para serem exportados para o BigQuery para armazenamento e análise estruturados de longo prazo.
Por quê: O BigQuery fornece uma plataforma escalável e consultável para criar trilhas de auditoria, analisar tendências de previsão e unir previsões com dados de verdade fundamental.
