O que é POC e por que ela não prova o que você acha

POC, prova de conceito, é um teste limitado para verificar se uma abordagem técnica é viável. Não se confunde com piloto. A POC prova que a tecnologia consegue fazer. O piloto prova que a operação captura valor com ela.

A distância entre as duas é onde mora o dinheiro. Uma POC que “deu certo” diz que a máquina consegue, não que a tua operação vai adotar.

Como deveria ser medida

Uma POC honesta tem um critério de aprovação escrito antes de começar. Acima de tal acurácia na pior condição real, contra tal custo da alternativa atual, ela passa. Abaixo, reprova, e reprovar é um resultado válido.

A maioria das POCs não tem esse critério. Roda, fica bonita na sala, e “deu certo” vira opinião, não medida.

O que o número esconde

Uma POC sem critério prova entusiasmo, não viabilidade. Ela mostra o melhor caso, em dado limpo, em condição controlada. A operação é o pior caso, em dado sujo, em terça-feira de movimento.

Entre a POC que encanta e a produção que entrega há um abismo, e é nele que a maioria dos projetos de IA cai. A POC provou que dava; ninguém provou que ia para a operação.

Por que isso muda um projeto de IA

A POC só vale se o critério de aprovação for o operacional, medido na verdade da operação, não a acurácia de laboratório. É a mesma disciplina da POC de visão para gôndola: a métrica certa é o acerto na pior condição de corredor, não na melhor foto.

Definir esse critério antes de rodar é o que separa a POC que vira projeto da POC que vira slide guardado.

Pensa no termo que tua operação usa, mas trata como sinônimo de sucesso. “A POC funcionou” costuma ser essa frase. Funcionou em quê, medido como, contra qual alternativa?

Me diz qual POC está na tua mesa. Em uma hora te devolvo uma ficha de uma página: o que ela prova e o que não prova, o critério de aprovação que falta, e o que muda entre ela e a produção. Se a ficha mostrar que o critério precisa ser escrito antes de seguir, o Diagnóstico de duas semanas é o próximo passo.