Como treinar e validar prompts de IA para extrair prazos e resumir publicações judiciais

Treinar e validar prompts de IA para extrair prazos e resumir publicações judiciais é uma etapa de controle de qualidade, não apenas um exercício de escrita. Um prompt genérico pode produzir um resumo aparentemente correto, mas omitir a parte dispositiva, confundir uma data de audiência com um prazo processual ou sugerir uma providência que não está no texto.

A consequência de um erro varia conforme o caso. Em uma publicação simples, a falha pode gerar retrabalho. Em uma intimação com prazo curto, pode provocar atraso, distribuição incorreta de tarefas e exposição operacional do escritório ou do departamento jurídico.

O objetivo não é fazer a IA substituir a análise jurídica. É transformar uma publicação extensa em uma primeira camada organizada de informação, com indicação clara do que foi encontrado, do que não foi identificado e do que precisa de confirmação humana.

Um bom processo de validação começa definindo o resultado esperado. Para cada publicação, a equipe deve conseguir responder: qual processo foi afetado, qual ato ocorreu, existe prazo, qual é a data inicial conhecida, qual é a data final estimada, qual providência deve ser tomada e quais trechos sustentam a conclusão?

A interpretação de publicações judiciais para escritórios continua sendo uma competência essencial. A IA pode acelerar a triagem e organizar os elementos relevantes, mas a decisão sobre estratégia, contagem, suspensão, feriados locais e representação processual exige contexto jurídico e conferência adequada.

A validação começa com um conjunto de publicações representativo do trabalho real. Separe documentos por tipo, como despacho, sentença, intimação, pauta de julgamento, decisão monocrática, expediente administrativo e publicação com múltiplas providências.

Uma amostra pequena pode ser útil para um primeiro experimento, mas não deve sustentar uma decisão definitiva. Como ponto de partida, selecione pelo menos 50 publicações anonimizadas, distribuídas entre casos simples, intermediários e ambíguos. Depois, amplie a base com os erros encontrados em produção.

Antes de testar qualquer prompt, uma pessoa com conhecimento jurídico deve criar o gabarito. Esse gabarito precisa registrar os prazos e as ações esperadas, além de marcar situações em que não é possível concluir. Sem uma referência humana, a equipe mede apenas se duas respostas de IA se parecem, não se estão corretas.

Para a extração de prazos, use precisão e cobertura. Precisão é a proporção de prazos apontados pela IA que realmente existiam no gabarito. Cobertura, também chamada de recall, é a proporção dos prazos existentes no gabarito que a IA conseguiu encontrar.

Imagine 40 prazos reais em uma amostra. O prompt encontrou 36 deles e indicou 4 prazos inexistentes. A cobertura foi de 90%, porque 36 de 40 foram encontrados. A precisão foi de 90%, porque 36 das 40 indicações feitas eram verdadeiras.

As métricas precisam ser analisadas por categoria. Um resultado geral de 92% pode esconder cobertura de 98% em intimações simples e de 65% em publicações com dois atos processuais. Essa diferença é mais importante para a operação do que uma média única.

Para resumos, crie uma rubrica com critérios de zero a dois: identificação correta do ato, preservação das obrigações, indicação de datas, ausência de informação inventada, concisão e utilidade para encaminhamento. Um resumo pode estar gramaticalmente perfeito e ainda ser inadequado se omitir que a parte deve juntar documento em cinco dias.

O guia sobre como a IA resume despachos e extrai prazos ajuda a separar resumo, extração e interpretação. Essa separação também melhora a avaliação, porque cada saída passa a ter critérios próprios.

A melhoria contínua depende de uma rotina simples o bastante para ser cumprida. A cada semana, reúna as respostas corrigidas e classifique os erros em grupos: prazo não localizado, prazo indevido, data trocada, destinatário incorreto, resumo incompleto, ação ausente ou informação sem suporte no texto.

Em seguida, escolha os erros com maior impacto e frequência. Corrigir primeiro uma falha que afeta muitos processos é mais eficiente do que aperfeiçoar casos raros, embora exceções críticas devam permanecer em uma fila de revisão obrigatória.

Um indicador operacional útil é a taxa de aceitação sem edição. Ele mostra quantas respostas foram aproveitadas pela equipe, mas não deve substituir precisão e cobertura. Uma resposta pode ser aceita por pressa, mesmo estando incompleta, ou editada por preferência de estilo, sem conter erro factual.

Também acompanhe o tempo médio de revisão. Se um prompt aumenta a cobertura, mas exige uma conferência longa em todos os casos, talvez não seja a melhor versão para a operação. O objetivo é equilibrar segurança, clareza e esforço humano.

Defina critérios de bloqueio. Por exemplo, publicações com prazo inferior a determinado número de dias, múltiplos prazos ou ausência de destinatário podem sempre exigir revisão. A IA pode fazer a triagem e explicar o motivo do alerta, mas não deve ocultar a necessidade de conferência.

A equipe deve revisar o conjunto de teste quando surgirem novos tipos de publicação, mudanças de procedimento ou integração com outro tribunal. O Conselho Nacional de Justiça, em sua página de estatísticas processuais, oferece referências para compreender o volume e a diversidade do sistema de Justiça, mas cada operação precisa medir seu próprio perfil de documentos.

Um prompt não está pronto porque produziu uma resposta convincente em três exemplos. Ele está pronto quando apresenta desempenho consistente em uma amostra representativa, seus limites são conhecidos e existe um caminho claro para revisão das exceções.

Defina um patamar por tipo de tarefa. Para uma triagem inicial, a equipe pode aceitar um nível de cobertura diferente do exigido para criação automática de tarefas. Quanto maior o impacto da saída, maior deve ser a exigência de evidência, rastreabilidade e aprovação humana.

A resposta final deve ser compreensível para quem não participou do teste. “Prazo identificado” é insuficiente sem indicar quantidade, unidade, destinatário, marco temporal e trecho de origem. Quando a data final for calculada por outro sistema, a IA deve deixar claro que extraiu a informação ou que apenas apresentou um dado recebido.

Use também testes de regressão. Sempre que alterar o prompt, execute novamente um subconjunto fixo com casos conhecidos e compare os resultados. Essa prática evita que uma melhora em sentenças produza piora em intimações ou que uma nova regra de resumo elimine dados necessários.

Por fim, comunique que a IA é uma camada de apoio. O playbook de triagem e priorização de publicações judiciais com IA pode complementar a implantação ao organizar prioridades, responsáveis e critérios de encaminhamento. A tecnologia funciona melhor quando está integrada a uma rotina de responsabilidade definida.