O agente que funcionava na demo e travava na operação

Chegamos a um varejista que já tinha um agente de atendimento rodando. O diretor de digital estava orgulhoso da demo e frustrado com a operação. As duas coisas eram verdade ao mesmo tempo.

Na apresentação, o agente respondia tudo, recomendava bem, fechava o pedido. Na loja, ele prometia produto esgotado, dava prazo errado, e o cliente reclamava com humano depois. O mesmo agente, dois comportamentos.

O que a gente encontrou

A demo era honesta e mentirosa ao mesmo tempo. Honesta porque o agente realmente conversava bem. Mentirosa porque rodava sobre um catálogo congelado, um retrato do estoque de semanas atrás.

Na operação, o estoque muda a cada minuto, e o agente não enxergava essa mudança. Ele respondia com a confiança da demo sobre um mundo que tinha mudado. A conversa estava certa; o mundo por trás dela estava desatualizado.

O que a gente mudou

Primeiro, ligar o agente ao estoque real, em tempo quase real, em vez do retrato congelado. Isso sozinho cortou a maior parte das promessas furadas.

Depois, dar a ele um caminho de “não sei, te passo para um humano”. Um agente que admite o limite vale mais que um que chuta com confiança. E um limite escrito do que ele pode prometer, para nunca oferecer o que o sistema não confirma.

O número que mexeu

Em cerca de nove semanas, a taxa de resolução sem humano subiu, e a promessa falsa de disponibilidade caiu para perto de zero. O cliente parou de reclamar do agente para o humano.

A parte honesta: parte da melhora veio de reduzir o escopo. Tiramos o agente de perguntas que ele não tinha como responder bem e focamos em recompra e disponibilidade. Menos ambição, mais confiança.

O que a gente errou

No começo, a gente confiou no escore de confiança do próprio agente para decidir quando passar para o humano. O escore estava mal calibrado: o agente estava mais confiante justo nos casos em que errava. Usamos o sinal errado por duas semanas.

A correção foi parar de confiar na autoavaliação e usar regra de negócio: certos tipos de pergunta vão para humano, ponto. É o tipo de detalhe que não aparece em cronograma otimista.

O que ficou para trás

Uma regra de transferência baseada em tipo de caso, não em autoconfiança do modelo. Um painel que o time interno olha toda semana, com a taxa de promessa falsa em primeiro lugar. E o critério de escopo: o agente só assume o que consegue confirmar.

Pensa no agente ou no piloto que encantou na tua sala de reunião. Ele roda sobre o estoque de verdade, ou sobre um retrato? Se ninguém sabe responder, a demo está te enganando com a tua própria confiança.

Se essa forma soa familiar, entre a demo que encanta e a operação que trava, me descreve em um parágrafo o que está acontecendo. A gente entra duas semanas dentro da operação e sai com um documento de uma página que o teu time mantém: o que vimos, o que a demo escondia, e as três mudanças que fecham o gap. É assim que a gente trabalha.