Saiba mais sobre a Excelência Operacional bem-arquitetada → Excelência Operacional da Agência
Capacidade de observação do agente
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Agentforce | Rastreamento de sessão | ✅ Use o Modelo de dados de rastreamento de sessão (STDM) nativo para capturar interações do agente em um modelo de dados unificado no Data 360 em vez de criar um sistema de telemetria paralelo, registrando cada conversa como uma hierarquia de rastreamento de sessões, interações (turns) e etapas (UserInputStep, LLMExecutionStep, FunctionStep) |
| Agentforce | Rastreamento de sessão | ✅ Conte com os objetos STDM padrão (AIAgentSession, AIAgentSessionParticipant, AIAgentInteraction, AIAgentInteractionStep, AIAgentInteractionMessage), que capturam ações nativamente como etapas da interação em vez de exigir um registro de ação separado |
| Agentforce | Rastreamento de sessão | ✅ Recupere os detalhes de uso, modelo e prompt do token unindo etapas de interação aos registros de chamada LLM (por meio de referências GenerationId e GenAiGatewayRequest/Response) em vez de armazená-los como campos de sessão personalizados |
| Agentforce | Rastreamento de sessão | ✅ Capture rastreamentos de raciocínio do Mecanismo de raciocínio do Atlas – o rastreamento de sessão registra as etapas do planejador como parte de cada interação – para revelar os processos de decisão do agente e melhorar a capacidade de depuração |
| Agentforce | Configuração do agente | ✅ Registrar detalhes no nível de turno, incluindo entrada do usuário, resposta do agente, explicação de raciocínio, pontuações de confiança, contexto recuperado, ações tentadas e erros encontrados |
| Einstein | Camada Trust | ✅ Ative a trilha de auditoria de IA generativa da Camada de Trust do Einstein (texto de prompt e resposta, versões mascaradas por PII, dados de fundamentação, pontuações de segurança e toxicidade, detalhes do modelo) transmitida ao Data 360, além de Armazenamento e coleta de dados de feedback e IA generativa do Einstein para retenção de longo prazo |
| Plataforma | Objetos personalizados | ✅ Reserve objetos de registro personalizados para exceções deliberadas, como um objeto leve correlacionando o comportamento do agente aos resultados de negócios, em vez de torná-los o substrato de registro principal |
| Plataforma | Painel | ✅ Correlacionar o comportamento do agente aos resultados de negócios, identificar oportunidades de melhoria por meio da análise de padrão e alimentar pipelines de aprendizado contínuo com exemplos rotulados com qualidade |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Objetos personalizados | Criar manualmente objetos transacionais personalizados como o substrato principal de registro de conversas em vez do Modelo de dados de rastreamento de sessão nativo, enfrentando problemas de escala ao armazenar conversas de vários turnos, grandes cargas úteis JSON e rápido crescimento de dados |
| Agentforce | Rastreamento de sessão | Criar um sistema de telemetria paralelo quando o Rastreamento de sessão do Agentforce já captura interações em um modelo de dados unificado no Data 360 |
| Agentforce | Configuração do agente | ⚡️ Registrar apenas as respostas do agente sem capturar entradas, raciocinar rastreamentos, contexto recuperado e ações realizadas |
| Einstein | Camada Trust | Desabilitar a trilha de auditoria da Camada de Trust do Einstein em produção ou não ativar a Coleção e armazenamento de dados de feedback para retenção de longo prazo no Data 360 |
| Plataforma | Monitoramento | ⚡️ Dependendo apenas do sucesso/falha da conversa sem capturar detalhes de uso de token, modelo e prompt por meio das junções de chamada LLM de STDM |
Monitoramento de desempenho
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Monitoramento | ✅ Medir a latência da resposta em percentis (p50, p95, p99) revelando desempenho típico e experiências de pior caso |
| Plataforma | Monitoramento | ✅ Instrumente cada fase de latência separadamente (inferência de modelo, recuperação de contexto, execução de ação, rede) habilitando a otimização direcionada |
| Plataforma | Monitoramento | ✅ Alerta quando a latência p95 excede limites indicando degradação do desempenho |
| Plataforma | Monitoramento | ✅ Rastreie a distribuição de token (tokens de prompt, tokens de conclusão, tokens totais) por conversa, por agente e por caso de uso |
| Plataforma | Monitoramento | ✅ Detectar conversas atípicas que consomem tokens excessivos sugerindo problemas de prompt ou uso indevido |
| Plataforma | Monitoramento | ✅ Comparar a taxa de transferência atual com os limites de taxa conhecidos ou alerta de linhas de base de capacidade ao se aproximar dos limites |
| Plataforma | Monitoramento | ✅ Calcule as taxas de erro como um percentual do total de solicitações, permitindo a comparação entre agentes e períodos |
| Plataforma | Monitoramento | ✅ Diferenciar entre categorias de erro (erros de modelo, erros de permissão, erros de integração) que exigem respostas diferentes |
| Plataforma | Monitoramento | ✅ Calcule a disponibilidade como a porcentagem de tempo em que os agentes respondem com sucesso a solicitações e rastreiam em relação a SLOs |
| Plataforma | Proactive Monitoring | ✅ Configurar limites Proactive Monitoring com base nos padrões de comportamento do agente de linha de base em vez de aceitar padrões |
| Plataforma | Centro de escala | ✅ Revise os dados do Centro de escala depois de implementar novos agentes ou fazer alterações importantes de prompt validando as expectativas de correspondência de consumo do recurso |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Monitoramento | ⚡️ Medindo apenas a latência média, em vez de percentis, mascarando experiências de usuário de pior caso |
| Plataforma | Monitoramento | ⚡️ Rastrear a latência total sem instrumentar fases individuais (inferência, recuperação, execução de ação) |
| Plataforma | Monitoramento | ⚡️ Tratar todos os erros da mesma maneira em vez de categorizar por tipo (modelo, permissão, integração) para uma resposta adequada |
| Plataforma | Proactive Monitoring | Aceitar limites padrão Proactive Monitoring sem ajustar aos padrões de comportamento do agente de base |
| Plataforma | Centro de escala | ⚡️ Implantar novos agentes ou fazer alterações de prompt sem revisar os dados do Centro de escala para validar o consumo de recursos |
| Plataforma | Monitoramento | ⚡️ Ignorar padrões de consumo de token e não detectar conversas atípicas que consomem 10x tokens típicos |
Métricas de qualidade e avaliação
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Agentforce | Centro de testes | ✅ Comece com ferramentas nativas de teste e avaliação: manter conjuntos de casos de teste reutilizáveis na central de testes do Agentforce e executar agentes contra eles em lote, verificando se o agente selecionou o tema e a ação esperados e produziu uma resposta aceitável |
| Agentforce | Centro de testes | ✅ Use avaliadores nativos (dimensões de qualidade prontas para uso e a abordagem de LLM-as-judge para pontuar a qualidade da conversa) e crie avaliadores personalizados para critérios específicos da organização, usando conversas representativas para que a avaliação reflita o uso real |
| Agentforce | Centro de testes | ✅ Para perguntas factuais com respostas conhecidas, mantenha as declarações de resposta conhecida como casos de teste repetíveis no Centro de teste; para perguntas de término aberto, adicione revisão humana de conversas de amostra |
| Data 360 | Qualidade de recuperação | ✅ Para agentes baseados em uma base de Knowledge, use a análise de qualidade de recuperação nativa para avaliar a relevância do contexto, a relevância das respostas e a fidelidade (fundamentaridade) das respostas |
| Einstein | Camada Trust | ✅ Conte com a detecção de toxicidade no tempo de execução da Camada de Trust do Einstein como a primeira linha de defesa de proteção, então melhore o monitoramento de segurança por meio de filtragem de conteúdo, amostragem de revisão manual, relatórios do usuário e auditorias de imparcialidade entre grupos demográficos |
| Data 360 | GenAIFeedback | ✅ Capture a satisfação do usuário por meio do feedback do Agentforce que flui para os DMOs GenAIFeedback / GenAIFeedbackDetail no Data 360 (tomil para cima/para baixo, aceitar/rejeitar, editar, comentários verbais) junto com a solicitação de gateway e os dados de geração |
| Plataforma | Analytics | ✅ Combine feedback explícito (pedido antes do escalonamento, após a conversa, pesquisas de acompanhamento) com sinais implícitos (taxas de conclusão, escalonamento, abandono, novas tentativas), correlacionando-se com características da conversa para orientar a priorização da melhoria |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Agentforce | Centro de testes | Construir e executar um equipamento de teste personalizado em vez de começar com os conjuntos de teste reutilizáveis da Central de Testes do Agentforce e avaliadores nativos |
| Agentforce | Centro de testes | ⚡️ Contando apenas com avaliação automatizada sem revisão humana para avaliação de qualidade de respostas de término aberto |
| Plataforma | Monitoramento | ⚡️ Monitorar apenas a precisão sem rastrear dimensões de relevância, segurança e satisfação do usuário |
| Data 360 | GenAIFeedback | ⚡️ Não conseguir coletar qualquer feedback do usuário (explicito ou implícito) sobre a qualidade da resposta do agente quando o feedback do Agentforce já flui para os DMOs de GenAIFeedback |
| Agentforce | Configuração do agente | ⚡️ Ignorar auditorias de imparcialidade avaliando distribuições de resultados entre grupos demográficos |
Detecção de desvio do modelo
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Agentforce | Configuração do agente | ✅ Estabelecer o desempenho da linha de base imediatamente após a implementação do agente, medindo a precisão, a relevância, a segurança e a satisfação em casos de teste representativos |
| Agentforce | Configuração do agente | ✅ Reavaliar periodicamente em relação aos mesmos casos de teste revelando alterações de desempenho independentemente de turnos de padrão de uso |
| Plataforma | Monitoramento | ✅ Alerta quando as métricas de qualidade ultrapassam limites aceitáveis definidos pela tolerância ao impacto dos negócios |
| Plataforma | Analytics | ✅ Monitorar características de entrada (comprimento da pergunta, distribuição de tópicos, complexidade do idioma, terminologia de domínio) detectando turnos de distribuição significativos |
| Plataforma | Monitoramento | ✅ Monitorar características da resposta (duração média da resposta, taxas de invocação de ação, frequências de escalação, padrões de erro) estabelecendo linhas de base comportamentais |
| Plataforma | Monitoramento | ✅ Configure o acionamento automatizado de alertas quando as métricas de desvio excederem limites acionando investigação e remediação |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Agentforce | Configuração do agente | ⚡️ Falha ao estabelecer o desempenho da linha de base após a implantação inicial do agente, tornando o desvio não detectável |
| Plataforma | Monitoramento | Ignorar o desvio de distribuição quando os padrões de entrada do usuário mudam significativamente em relação ao que os agentes foram projetados para lidar |
| Plataforma | Monitoramento | ⚡️ Não monitorar alterações comportamentais (duração da resposta, taxas de ação, frequências de escalação) em relação às linhas de base estabelecidas |
| Plataforma | Monitoramento | ⚡️ Não ter alerta automatizado para métricas de desvio, contando apenas com observação manual para detectar degradação |
Detecção e alerta de anomalia
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Monitoramento | ✅ Monitore as distribuições de consumo de token detectando conversas atípicas e investigue aquelas que consomem 10x tokens típicos |
| Plataforma | Monitoramento | ✅ Detectar aumentos repentinos nas taxas de falha, novos tipos de erro não na linha de base ou concentrações de erro localizadas que afetam usuários ou agentes específicos |
| Plataforma | Analytics | ✅ Acompanhe o abandono da conversa por estágio da conversa identificando se os usuários abandonam durante a interação inicial, no meio da conversa ou após a conclusão da tarefa |
| Plataforma | Monitoramento | ✅ Encaminhe falhas críticas do agente para engenheiros de chamada imediatamente, degradação de qualidade para equipes do produto durante o horário comercial e pequenas anomalias para resumos diários |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Monitoramento | ⚡️ Tratando todos os alertas com a mesma urgência, causando fadiga de alerta e falhas críticas perdidas |
| Plataforma | Monitoramento | Ignorar anomalias de custo, como picos de consumo de token que podem indicar problemas de prompt, abuso ou problemas de infraestrutura |
| Plataforma | Analytics | ⚡️ Não rastrear as taxas de abandono da conversa ou não analisar o abandono por estágio |
| Plataforma | Monitoramento | ⚡️ Aguardar relatórios do usuário em vez de detectar de modo proativo picos de taxa de erro por meio do monitoramento automatizado |
Controle de versão de prompt
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Controle de origem | ✅ Armazene modelos de prompts no Git junto com avisos de código de aplicativo tratando como lógica de aplicativo crítica que merece revisão, teste e implantação controlada de código |
| Einstein | Criador de prompts | ✅ Use Criador de prompts para desenvolvimento de prompts iterativo com recursos de histórico de versões e teste, então exporte para controle de versão para pipelines de implementação |
| Plataforma | Controle de origem | ✅ Armazenar configurações (seleção de modelo, temperatura, limites de token, configurações de recuperação, permissões de ação, sinalizadores de recurso) como código que habilita valores específicos do ambiente e detecção de desvio |
| Plataforma | Controle de origem | ✅ Aplicar controle de versões semântico a componentes do agente: principal (interrupção de alterações), secundário (recursos), correção (correções de erros) com números de versão aparecendo em registros |
| Plataforma | Documentação | ✅ Documente o que mudou, por que mudou, qual teste validou a alteração e quais procedimentos de reversão existem para cada solicitação e alteração de configuração |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Einstein | Criador de prompts | ⚡️ Fazer alterações de prompt sem revisão de código, teste ou processos de implementação controlados |
| Plataforma | Configuração | Armazenar configurações de agente fora do controle de origem em que o desvio não pode ser detectado e as implantações não podem ser automatizadas |
| Plataforma | Documentação | ⚡️ Fazer alterações de prompt sem documentar a racionalidade, os resultados de teste ou os procedimentos de reversão |
| Plataforma | Controle de origem | ⚡️ Falha na aplicação de controle de versões semântico, impossibilitando a correlação de incidentes com implantações específicas |
Registro de modelo e rastreamento de implementação
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Documentação | ✅ Mantenha um registro de modelo que registra quais versões de modelo são implementadas, incluindo família de modelos, versão específica, estado de ajuste fino, ambiente, data de implementação e equipe responsável |
| Plataforma | Documentação | ✅ Registrar todas as implementações do agente, incluindo versão, ambiente, carimbo de data e hora, usuário de implementação, aprovações obtidas e resultado da implementação |
| Plataforma | Documentação | ✅ Mapeie dependências entre agentes, avisos, bases Knowledge, ações e integrações explicitamente em vez de descobri-las durante incidentes |
| Negócios | Processo | ✅ Estabelecer uma agenda de descontinuação com um período de aviso mínimo com suporte em política comunicado com antecedência suficiente, habilitando migrações planejadas em vez de respostas de emergência a descontinuações forçadas |
| Plataforma | Documentação | ✅ Procedimentos de reversão de documento para cada agente, incluindo versão de destino, etapas de execução, testes de validação e requisitos de notificação |
| Plataforma | Preparação | ✅ Testar procedimentos de reversão em ambientes que não sejam de produção para validar se eles funcionam antes de depender deles durante incidentes de produção |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Documentação | Descobrir dependências entre agentes, avisos e bases de Knowledge apenas durante incidentes, em vez de manter mapas de dependência explícitos |
| Negócios | Processo | ⚡️ Fornecer um aviso de descontinuação insuficiente forçando migrações de emergência em vez de transições planejadas |
| Plataforma | Documentação | ⚡️ Ter procedimentos de reversão não testados que falham quando mais necessário durante incidentes de produção |
| Plataforma | Implantação | ⚡️ Implantar agentes sem registrar versão, ambiente, aprovações ou resultado, perdendo a capacidade de correlacionar incidentes com implantações |
Treinamento contínuo e adaptação de domínio
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | UI | ✅ Colete feedback explícito (polegar para cima e para baixo, pontuações de qualidade, comentários) e feedback implícito (taxas de conclusão, frequências de escalação, padrões de repetição) sistematicamente |
| Data 360 | Curadoria de dados | ✅ Organize registros de conversa em conjuntos de dados de treinamento filtrando pela qualidade, removendo exemplos problemáticos, garantindo a representatividade e desduplicando |
| Data 360 | Fundamentação | ✅ Adapte os agentes ao vocabulário de domínio, aos processos de negócios e ao Knowledge específico da organização, principalmente por meio do RAG baseado no Data 360 e do ajuste rápido – o caminho de adaptação nativo do Salesforce |
| Einstein | BYOLLM | ✅ Quando a fundamentação e o ajuste de prompts forem insuficientes, faça o ajuste fino de um modelo externamente e conecte-o por meio de BYOLLM, em vez de esperar o ajuste fino generativo na plataforma |
| Einstein | Criador de prompts | ✅ Estabelecer ritmo de revisão de prompts regular examinando conversas recentes, métricas de qualidade e feedback do usuário identificando oportunidades de melhoria |
| Einstein | Criador de prompts | ✅ Implemente alterações de prompt incrementalmente com testes A/B validando melhorias antes da distribuição completa |
| Agentforce | Configuração do agente | ✅ Mantenha conjuntos de teste que abrangem caminhos felizes, casos de extremidade, entradas adversárias e cenários de problemas históricos, expandindo-se continuamente à medida que novos casos de extremidade são descobertos |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Dados | ⚡️ Tentando melhorar sem coleta de feedback sistemática, fazendo suposições de melhoria em vez de dados orientados |
| Data 360 | Curadoria de dados | ⚡️ Usar registros de conversa não selecionados para treinamento, incluindo violações de segurança, erros e exemplos não representativos |
| Data 360 | Fundamentação | ⚡️ Alcançar o ajuste fino externo antes de esgotar a fundamentação RAG e o ajuste de prompt, o caminho nativo que resolve a maioria das necessidades de adaptação de domínio sem um modelo personalizado |
| Einstein | Criador de prompts | ⚡️ Tratar a engenharia de prompts como um exercício único em vez de uma prática contínua ajustada conforme os padrões de uso evoluem |
| Agentforce | Configuração do agente | ⚡️ Ter conjuntos de teste estáticos que nunca se expandem para cobrir novos casos de ponta descobertos em produção |
Distribuição gradual e teste A/B
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Tipos de metadados personalizados | ✅ Implemente sinalizadores de recurso usando tipos de metadados personalizados ou configurações personalizadas para desacoplar a implantação da versão para alterações de agente de alto risco |
| Plataforma | Conjuntos de permissões | ✅ Implemente implantações Canary liberando alterações de agente para um pequeno subconjunto de usuários primeiro usando conjuntos de permissões que controlam o acesso do agente |
| Agentforce | Configuração do agente | ✅ Monitore a coorte canária medindo intensivamente as taxas de sucesso, a qualidade, as taxas de erro, a latência, o consumo do token e a satisfação e expanda a distribuição apenas quando o canário corresponde ou melhora no grupo de controle que executa a versão do agente anterior |
| Plataforma | Analytics | ✅ Defina critérios de sucesso antes de iniciar testes A/B para evitar resultados ambíguos, alinhados aos objetivos de negócios |
| Agentforce | Configuração do agente | ✅ Implementar testes de campeão e desafiador mantendo a versão comprovada como fallback enquanto compara a versão de desafiador aprimorada |
| Negócios | Processo | ✅ Estabelecer critérios de promoção objetivos, incluindo tamanho mínimo da amostra, limites de qualidade e duração da avaliação antes das decisões de promoção |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Agentforce | Configuração do agente | Distribuir alterações de agente para todos os usuários ao mesmo tempo sem testes de canary, maximizando o raio de problemas |
| Plataforma | Implantação | ⚡️ Implementar alterações de agente de alto risco sem sinalizadores de recurso habilitando reversão instantânea sem reimplementação |
| Plataforma | Analytics | Executar testes A/B sem critérios de sucesso predefinidos, levando a resultados ambíguos e decisões ruins |
| Plataforma | Analytics | Executar experiências com tamanho de amostra insuficiente produzindo resultados ruidosos que levam a conclusões incorretas |
| Agentforce | Configuração do agente | ⚡️ Usar sinalizadores de recurso para cada pequena alteração de prompt em vez de reservá-los para alterações de alto risco para agentes essenciais para os negócios |
Detecção e classificação de incidentes
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Monitoramento | ✅ Detectar falhas do agente por meio de alerta de monitoramento automatizado sobre taxas de erro, degradação da métrica de qualidade, anomalias de custo, aumentos de latência e escalonamentos de usuário |
| Plataforma | Monitoramento | ✅ Suplementar a detecção automatizada com mecanismos de relatório do usuário que permitem a escalação de erros de monitoramento automatizado de problemas |
| Negócios | Processo | ✅ Defina critérios de gravidade de modo objetivo com base no impacto do usuário, no raio de explosão, no risco de integridade dos dados e na urgência da recuperação |
| Plataforma | Documentação | ✅ Documente procedimentos de resposta inicial como manuais executáveis por engenheiros na chamada sem conhecimento aprofundado do agente |
| Agentforce | Configuração do agente | ✅ Inclua na resposta inicial: desabilitar agente com falha (interruptor de circuito), rotear para fallback, coletar diagnósticos, notificar as partes interessadas, iniciar a comunicação de incidentes |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Monitoramento | Confiar em relatórios do usuário como mecanismo de detecção primário em vez de monitoramento automatizado para falhas do agente |
| Negócios | Processo | ⚡️ Usar classificação de gravidade subjetiva que leva a problemas reais de escalonamento inferior ou problemas secundários de escalonamento excessivo |
| Plataforma | Documentação | ⚡️ Não ter manuais, exigindo investigação específica do incidente por engenheiros com profundo conhecimento do agente durante cada incidente |
| Negócios | Processo | ⚡️ Tratar falhas do agente de maneira idêntica às falhas do aplicativo tradicional sem levar em conta alucinações, respostas fora do tópico ou violações de segurança |
Interruptores de circuito e fallback
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Apex | ✅ Implemente os disruptores de circuito com limite de erro configurável (por exemplo, taxa de erro de 50%), janela de duração (por exemplo, janela dinâmica de 5 minutos) e teste de recuperação (solicitações de avaliação periódica) |
| Agentforce | Configuração do agente | ✅ Projetar hierarquias de fallback: Agente sofisticado principal → Agente de backup mais simples → Respostas frequentes estáticas → Transferência humana |
| Plataforma | Orquestração | ✅ Implemente a lógica de fallback na camada de orquestração, em vez de dentro de agentes individuais, permitindo um comportamento consistente em todo o ecossistema do agente |
| Agentforce | Configuração do agente | ✅ Projetar fluxos de trabalho de transferência humana preservando o contexto da conversa, comunicando o motivo da transferência e roteando para o agente humano adequado com conhecimento relevante |
| Plataforma | Monitoramento | ✅ Monitore as taxas de transferência por tópico, agente e motivo da falha para identificar lacunas de capacidade do agente |
| Agentforce | Configuração do agente | ✅ Quando o raciocínio sofisticado falhar, volte para uma lógica mais simples; quando os dados em tempo real estiverem indisponíveis, operar em dados em cache; quando as integrações falharem, operar no modo somente leitura |
| Plataforma | Orquestração | ✅ Testar caminhos de fallback regularmente, validando se eles funcionam quando necessário |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Agentforce | Configuração do agente | ⚡️ Não ter interruptores de circuito, permitindo que agentes com falha afetem repetidamente os usuários enquanto os problemas são resolvidos |
| Plataforma | Orquestração | ⚡️ Implementar a lógica de fallback em agentes individuais, em vez de na camada de orquestração, criando comportamento inconsistente |
| Agentforce | Configuração do agente | ⚡️ Projetar agentes de aprovação/falha binários que funcionam perfeitamente ou falham completamente sem opções de degradação adequadas |
| Plataforma | Orquestração | ⚡️ Nunca teste caminhos de fallback, descobrindo que eles não funcionam apenas durante incidentes reais |
| Agentforce | Configuração do agente | Transferência humana que perde o contexto da conversa forçando os usuários a repetir informações |
Análise pós-incidente
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Negócios | Processo | ✅ Realize análises pós-incidente impecáveis com foco em melhorias do sistema em vez de falha individual criando segurança psicológica |
| Negócios | Processo | ✅ Crie uma linha do tempo detalhada de condições iniciais por meio de detecção, investigação, resposta, recuperação e validação com carimbos de data e hora |
| Negócios | Processo | ✅ Use a técnica de detalhamento "Cinco razões" dos sintomas para causas fundamentais em vez de conclusões simplificadas |
| Negócios | Processo | ✅ Analisar fatores relevantes, incluindo lacunas de monitoramento, lacunas de teste, lacunas de documentação, lacunas de automação e lacunas arquitetônicas |
| Negócios | Processo | ✅ Avaliar detecção: qual sinal deve ter detectado o problema anteriormente, qual monitoramento permite uma detecção mais rápida |
| Negócios | Processo | ✅ Especifique itens de ação específicos atribuídos que impedem a recorrência (por exemplo, "adicionar alerta para taxa de erro acima de 5% em 10 minutos - atribuído: Alex – vencimento: 2 semanas") |
| Negócios | Processo | ✅ Acompanhe a conclusão do item de ação em revisões subsequentes garantindo que melhoria contínua realmente ocorra |
| Plataforma | Documentação | ✅ Documentar análises pós-incidente na base de Knowledge compartilhada com marcação que habilita a análise de padrão em vários incidentes |
| Negócios | Processo | ✅ Compartilhe análises pós-incidente largamente além dos respondentes de incidentes imediatos por meio de reuniões de equipe ou sessões de almoço e aprendizado |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Negócios | Processo | ⚡️ Pós-mortemas focados em culpa que reduzem a segurança psicológica e impedem a avaliação honesta de falhas |
| Negócios | Processo | ⚡️ Conclusões de causa raiz simples ("o agente tinha um bug") em vez de descobertas específicas que permitem uma solução eficaz |
| Negócios | Processo | Itens de ação vazios, como "melhorar o monitoramento", em vez de tarefas específicas atribuídas e com prazo definido |
| Negócios | Processo | Taxas baixas de conclusão de item de ação indicando falha do processo de melhoria contínua |
| Negócios | Processo | ⚡️ Manter aprendizado pós-incidente isolado para respostas imediatas em vez de compartilhar amplamente para aprendizado organizacional |
Aprovação de implantação
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Negócios | Processo | ✅ Validar a lista de verificação pré-implementação, incluindo teste, revisão de segurança, validação de conformidade, documentação, configuração de monitoramento e aprovação da parte interessada |
| Negócios | Processo | ✅ Avaliar o risco com base no raio de explosão, na confidencialidade dos dados, na autoridade de ação, nas dependências de integração, na complexidade da recuperação e nas implicações de conformidade |
| Negócios | Processo | ✅ Requisitos de aprovação de escala com base no risco: alto risco requer aprovação executiva, revisão de segurança e distribuição gradual; baixo risco requer revisão por pares e testes padrão |
| Plataforma | Processos de aprovação | ✅ Implementar fluxos de trabalho de aprovação automatizados, rastreados e auditáveis usando processos de aprovação do Salesforce ou ferramentas de implementação externas |
| Negócios | Processo | ✅ Defina procedimentos de desvio de emergência que exigem aprovação executiva, documentação de fundamento e revisão pós-implementação acelerada |
| Plataforma | Monitoramento | ✅ Rastreie implantações de emergência separadamente; a alta frequência de implantação de emergência indica problemas de processo que exigem investigação |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Negócios | Processo | Aplicar profundidade uniforme de aprovação independentemente do perfil de risco do agente, desperdiçar esforço em agentes de baixo risco ou subavaliando agentes de alto risco |
| Negócios | Processo | ⚡️ Implementar agentes de produção sem validação da lista de verificação pré-implementação de testes, segurança, conformidade e monitoramento |
| Plataforma | Implantação | ⚡️ Não ter procedimentos de desvio de emergência, causando atrasos críticos durante incidentes de produção |
| Negócios | Processo | ⚡️ Frequentemente exigindo implantações de emergência, indicando processos padrão corrompidos em vez de circunstâncias excepcionais |
Gates de qualidade e teste
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Agentforce | Configuração do agente | ✅ Características de saída de teste (contém informações obrigatórias, mantém o tom adequado, inclui citações) em vez de texto exato para saídas de agente não deterministas |
| Agentforce | Configuração do agente | ✅ Estabelecer limites mínimos de qualidade (por exemplo, "precisão de 95% no conjunto de testes em espera, nenhuma violação de segurança, auditoria de imparcialidade mostra nenhuma disparidade demográfica superior a 5%") |
| Agentforce | Configuração do agente | ✅ Realize testes de segurança com entradas adversárias, incluindo injeção de prompt, tentativas de jailbreak, escalação de solicitação e solicitações fora do escopo |
| Agentforce | Configuração do agente | ✅ Ter testes de segurança realizados por membros da equipe que não estejam envolvidos no desenvolvimento do agente, fornecendo novas percepções sobre vulnerabilidades |
| Plataforma | Teste de desempenho | ✅ Teste sob carregamento realista, incluindo conversas simultâneas, durações típicas da conversa e volume de uso projetado |
| Plataforma | Segurança | ✅ Valide se os agentes não podem acessar dados não autorizados, realizar ações não autorizadas e que a injeção de prompt não pode escalar privilégios |
| Plataforma | CI/CD | ✅ Integre a verificação de segurança ao pipeline de implementação usando o Salesforce Code Analyzer e ferramentas de segurança de IA especializadas |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Agentforce | Configuração do agente | ⚡️ Testar agentes para a correspondência exata de texto em saídas não determinísticas em vez de testar características de saída |
| Plataforma | Teste de desempenho | Teste somente com cenários de usuário único, problemas de limite do regulador ausentes, restrições de recurso e gargalos de escalabilidade |
| Agentforce | Configuração do agente | ⚡️ Ignorar testes de segurança ou fazer os desenvolvedores testarem seus próprios agentes sem uma nova perspectiva sobre vulnerabilidades |
| Plataforma | Segurança | ⚡️ Não testar se a injeção de prompt pode escalar os privilégios do agente ou acessar dados não autorizados |
| Agentforce | Configuração do agente | ⚡️ Ter conjuntos de teste estáticos que não representam diversidade de uso real, incluindo diferentes tipos de usuário e complexidades de conversa |
Gerenciamento de mudanças
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | Documentação | ✅ Documente todas as alterações: o que mudou, por quê, qual teste o validou e qual procedimento de reversão existe |
| Negócios | Comunicação | ✅ Notifique todas as partes interessadas (usuários, equipes de operações, suporte, negócios) descrevendo o que está mudando, quando, quais benefícios, quais riscos e quem contatar |
| Negócios | Comunicação | ✅ Estabelecer modelos de comunicação para diferentes tipos de alteração padronizando mensagens e reduzindo a sobrecarga de preparação |
| Plataforma | Monitoramento de evento | ✅ Implantações do agente de tempo durante períodos de uso baixo informadas por dados de Monitoramento de evento mostrando padrões de uso reais |
| Negócios | Processo | ✅ Implementar alterações importantes do agente no início da semana, evitando fins de semana com capacidade reduzida de resposta a incidentes |
| Negócios | Processo | ✅ Estabelecer períodos de congelamento de alteração antes de grandes eventos de negócios (fim do ano fiscal, lançamentos de produtos, campanhas de marketing importantes) |
| Negócios | Processo | ✅ Calendário de congelamento de alteração de documento comunicando anualmente períodos restritos com antecedência suficiente |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | Implantação | ⚡️ Implantação durante uso de pico, fechamento de fim de mês, fechamento de fim de trimestre ou eventos comerciais importantes |
| Plataforma | Implantação | ⚡️ Implantação em segundas-feiras (aprimoramento) ou sextas-feiras (equipe reduzida) quando a capacidade de resposta a incidentes estiver limitada |
| Negócios | Processo | ⚡️ Ter alterações excessivas congela a velocidade de melhoria sem redução proporcional do risco |
| Negócios | Comunicação | Implementar alterações de agente sem notificar usuários afetados, equipes de operações, equipes de suporte ou partes interessadas de negócios |
| Plataforma | Documentação | ⚡️ Fazer alterações sem justificar a documentação, criando organizações que descobrem novamente lições em vez de se basearem na experiência |
Arquitetura de loop de feedback
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Plataforma | UI | ✅ Implemente a coleta de feedback na interface do usuário da conversa habilitando a resposta imediata enquanto a interação está atualizada em vez de atrasada na coleta |
| Plataforma | Analytics | ✅ Registros de conversas de consulta analisando tipos de pergunta, durações da conversa, taxas de sucesso por tópico e satisfação do usuário por características da conversa |
| Plataforma | Analytics | ✅ Analisar o agrupamento de registros de erro por tipo de erro, usuários afetados, padrões de conversa e distribuição temporal para revelar problemas sistemáticos |
| Plataforma | Analytics | ✅ Priorizar a remoção de erros por frequência e impacto: erros de alta frequência que afetam muitos usuários exigem atenção imediata |
| Plataforma | Monitoramento | ✅ Estabelecer linhas de base de qualidade após a implantação inicial e monitorar a qualidade contínua em relação ao alerta de linhas de base quando as tendências diminuírem |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Plataforma | UI | Adiar a coleta de feedback (por exemplo, emails de acompanhamento dias depois) reduzindo as taxas de resposta e introduzindo o viés de recall |
| Plataforma | Analytics | ⚡️ Não analisar padrões de uso para determinar se os agentes justificam a complexidade operacional ou se os recursos estão subutilizados |
| Plataforma | Analytics | ⚡️ Tratar todos os erros igualmente, em vez de priorizar por frequência e impacto comercial |
| Plataforma | Monitoramento | ⚡️ Tomar decisões de melhoria sem dados, sem linhas de base de qualidade e monitoramento de tendência |
Rastreamento de experiências
Padrões
| Onde procurar | Qual é a boa aparência |
|---|---|
| Negócios | Processo | ✅ Forneça uma estrutura de experimentos consistente: hipótese, design experimental, métricas, tamanho da amostra e critérios de sucesso |
| Negócios | Processo | ✅ Documentar experiências antes da execução, evitando interpretação ambígua dos resultados |
| Plataforma | Analytics | ✅ Acompanhe a atribuição da variante nos metadados da conversa habilitando a correlação de resultados por variante |
| Plataforma | Analytics | ✅ Calcule o tamanho da amostra necessário antes de realizar experiências com base no tamanho do efeito esperado, na potência estatística e nas taxas de erro aceitáveis |
| Plataforma | Analytics | ✅ Use a otimização de bandido multifator para alocar dinamicamente mais tráfego a variantes com melhor desempenho, reduzindo o custo da oportunidade |
| Plataforma | Documentação | ✅ Mantenha o catálogo de experiências com variantes testadas, resultados medidos, resultados alcançados e decisões tomadas para evitar o reteste de abordagens com falha |
Anti-Padrões
| Onde procurar | Qual é a aparência ruim |
|---|---|
| Negócios | Processo | Executar experiências sem hipóteses predefinidas e critérios de sucesso que levam a resultados ambíguos |
| Plataforma | Analytics | ⚡️ Usar tamanhos de amostra insuficientes produzindo resultados ruidosos que levam a decisões de melhoria ruins |
| Plataforma | Documentação | ⚡️ Não ter um catálogo de experimentos, fazendo com que as equipes testem novamente abordagens com falha anteriormente e perdem o Knowledge organizacional |
| Plataforma | Analytics | ⚡️ Não rastrear quais usuários receberam quais variantes, impossibilitando a correlação de resultados |