Como conduzir testes A/B para validar a extração automática de prazos por IA

Testes A/B para extração automática de prazos por IA permitem comparar duas configurações aplicadas a publicações equivalentes. Em vez de escolher um modelo pela reputação ou por uma demonstração, o jurídico mede qual alternativa identifica corretamente o prazo, a ação exigida, o responsável e a urgência.

A lógica é simples: a versão A e a versão B recebem o mesmo conjunto de textos, mas usam modelos, instruções ou parâmetros diferentes. Depois, uma revisão humana compara cada resultado com um gabarito previamente validado, sem deixar que o revisor saiba qual versão produziu a resposta.

Essa metodologia é especialmente útil porque uma extração aparentemente boa pode falhar em pontos críticos. Uma IA pode acertar a data, mas atribuir o prazo ao destinatário errado; reconhecer uma intimação, mas ignorar que o prazo depende de publicação posterior; ou indicar dias corridos quando a rotina exige dias úteis.

O objetivo não é provar que uma ferramenta é perfeita. A finalidade é descobrir em quais tipos de publicação a automação é confiável, quais casos precisam de conferência e qual configuração reduz o risco sem criar uma nova fila de retrabalho.

Antes de iniciar, defina o problema operacional. Um escritório que perde tempo lendo despachos simples precisa medir produtividade, enquanto um departamento jurídico com contencioso de massa deve priorizar falsos negativos, isto é, prazos existentes que a IA não identificou. A matriz de priorização de prazos processuais ajuda a transformar essa preocupação em critérios objetivos.

Não existe um número universal de publicações que valide uma IA para todos os jurídicos. A amostra precisa representar a operação e conter casos raros que podem causar dano desproporcional, como tutela de urgência, intimação para audiência, prazo recursal e determinação de pagamento.

Como ponto de partida, um piloto pode usar de 300 a 500 publicações históricas para comparar desempenho geral. Se o jurídico trabalha com uma categoria específica, uma amostra menor pode ser útil para uma decisão preliminar, mas não deve ser tratada como validação definitiva.

Uma forma prática de planejar o teste é criar cotas. Reserve, por exemplo, 25% para publicações com prazo expresso, 20% para decisões que exigem interpretação, 15% para atos ordinatórios, 15% para textos sem prazo, 15% para documentos com mais de uma providência e 10% para casos urgentes ou excepcionais.

O período também importa. Um teste de sete dias pode revelar problemas de integração e formatação, mas dificilmente captura a variação de tribunais e tipos de ato. Para uma operação com volume regular, 30 dias corridos ou um ciclo que contenha pelo menos 1.000 publicações oferece uma visão mais útil.

A estimativa estatística deve ser interpretada com cautela. Em uma amostra de 400 casos, um resultado de 95% de acerto não significa que o sistema acertará 95% de todos os prazos futuros, principalmente se os casos testados não representarem a carteira. Registre o intervalo de incerteza e trate resultados próximos como inconclusivos.

O piloto de 30 dias para validar um feed de publicações pode servir como estrutura de operação, desde que o experimento de IA tenha seu próprio gabarito, seus critérios de aprovação e seu registro de decisões. O teste A/B mede a extração; o piloto mede também a adoção, a latência e o comportamento da equipe.

O resultado de um teste A/B deve ser lido como uma matriz de risco, não como uma competição de pontuação. Uma versão que acerta 98% dos casos pode ser inadequada se os 2% restantes forem justamente intimações urgentes sem prazo identificado.

Separe os erros por gravidade. Erro de formatação em uma data já confirmada é diferente de erro no marco inicial; ausência de responsável é diferente de classificação de uma tutela como publicação sem ação; e um alerta extra pode ser inconveniente, mas um prazo omitido pode gerar preclusão.

Use uma escala de impacto com pelo menos três níveis. No nível crítico, coloque perda potencial de prazo, data final errada e omissão de obrigação urgente; no nível relevante, ação ou responsável incorreto; no nível baixo, resumo incompleto, campo opcional vazio ou diferença de estilo.

A validação automática versus revisão humana deve ser tratada como uma política de roteamento. Casos de baixo risco podem seguir com conferência amostral, enquanto publicações com múltiplos prazos, linguagem ambígua ou consequência financeira devem permanecer sob revisão integral.

Também é preciso distinguir erro do modelo de erro do processo. Se a publicação chegou incompleta, foi associada ao processo errado ou perdeu seu horário de disponibilização, trocar a IA não resolve a causa. A avaliação deve registrar origem do texto, integridade, horário de entrada, versão da instrução e quem aprovou a decisão.

Para comparar modelos, registre ainda a estabilidade ao longo do tempo. Uma atualização do fornecedor, mudança de parâmetro ou alteração no comando pode modificar o comportamento, mesmo quando a equipe não mudou sua rotina. Por isso, o teste A/B deve gerar uma linha de base para monitoramento contínuo.

Uma boa documentação permite reproduzir o experimento meses depois. Registre objetivo, hipótese, período, população, critérios de inclusão, versão dos modelos, instruções, parâmetros, equipe revisora, regras de desempate e decisão de implantação.

O relatório final deve apresentar números absolutos e percentuais. Em vez de informar apenas que a versão B teve 96% de precisão, mostre que foram analisadas 480 publicações, com 21 erros, três falsos negativos críticos, 64 revisões obrigatórias e mediana de quatro minutos por caso.

Inclua exemplos anonimizados dos principais erros. Para cada um, informe o texto relevante, o resultado da IA, o gabarito humano, a classificação de impacto e a correção adotada. Isso transforma falhas em material de treinamento e evita que a equipe repita a mesma interpretação.

A governança também precisa explicar quem pode aprovar uma mudança. O advogado responsável pela operação deve definir o limite de risco; a equipe técnica controla a versão do conector e dos comandos; e a liderança decide quando a automação pode sair do modo de sugestão.

O checklist de governança para uso de LLMs no jurídico complementa o experimento ao tratar de privacidade, verificação e responsabilidades. Para dados pessoais, documente finalidade, minimização, controle de acesso e retenção, em alinhamento com a Lei Geral de Proteção de Dados no Planalto.

Uma referência útil para estruturar riscos é o AI Risk Management Framework do NIST, que organiza práticas de governança, mapeamento, medição e gestão. Ele não substitui a análise jurídica brasileira, mas ajuda a transformar a validação em um processo contínuo, e não em uma aprovação isolada.

O primeiro erro é testar apenas publicações fáceis. Um conjunto formado por intimações com prazo explícito tende a produzir uma taxa de acerto artificialmente alta e não revela dificuldades com atos ordinatórios, decisões condicionais ou múltiplas determinações.

Outro problema é mudar várias coisas ao mesmo tempo. Se a versão B usa outro modelo, outro comando, outra temperatura e uma regra diferente de cálculo, o resultado não mostra qual mudança produziu o ganho ou a perda.

Também é arriscado usar a decisão da IA como gabarito. O padrão deve ser definido por profissionais que conhecem a rotina processual, com justificativa baseada no texto da publicação e nas regras internas aplicáveis. Quando o caso for juridicamente controverso, classifique-o como ambíguo e não como erro automático.

A ausência de casos sem prazo é uma falha frequente. O sistema precisa saber dizer que não há prazo identificável, em vez de inventar uma data para preencher todos os campos. Inclua publicações informativas, juntadas, baixas e comunicações que exigem acompanhamento, mas não contagem imediata.

Por fim, não confunda precisão técnica com ganho operacional. Se a IA acerta, mas a equipe precisa copiar dados para três sistemas, a automação não eliminou o retrabalho. O guia de avaliação de integrações entre monitoramento, ERPs e assistentes de IA ajuda a avaliar o fluxo completo, incluindo latência, campos e reconciliação.

No Pocket Jurídico, o experimento pode aproveitar o feed de publicações, as tags A/B, o histórico de alterações, a exportação de logs e a conexão via MCP com assistentes como ChatGPT, Claude e Gemini. O ponto central continua sendo a governança: a tecnologia acelera a comparação, mas a política de revisão define quando um resultado pode virar tarefa.