Kit prático para avaliar LLMs no jurídico com 40 publicações anotadas

Uma boa amostra combina frequência e risco. Não basta selecionar os textos mais longos. Uma intimação curta que inicia prazo pode ser mais crítica para o escritório do que uma decisão de dez páginas com conteúdo predominantemente argumentativo.

Distribua as 40 publicações em cinco grupos de oito itens. O primeiro grupo pode conter despachos e decisões com determinação expressa. O segundo deve reunir intimações com prazo em dias úteis, dias corridos ou prazo dependente de uma regra processual. O terceiro inclui atos ordinatórios e movimentações que exigem uma ação simples. O quarto reúne textos ambíguos ou incompletos. O quinto deve representar o ruído real do feed, com abreviações, duplicidades, OCR imperfeito ou informações espalhadas em capa e histórico.

Para cada publicação, a planilha deve registrar identificador anonimizado, tribunal ou ramo de Justiça, classe processual, tipo de ato, data de disponibilização, data de publicação, existência de prazo, prazo esperado, unidade do prazo, evento inicial, ação esperada, nível de urgência e observações do anotador. Não inclua dados pessoais desnecessários no conjunto de teste.

A anotação precisa ser feita antes de consultar qualquer modelo. Recomenda-se uma revisão por duas pessoas em pelo menos 20% da amostra, principalmente nos casos em que o prazo depende de contexto processual. Divergências devem ser resolvidas em reunião curta e documentadas, porque uma referência inconsistente contamina a comparação.

O conjunto também deve preservar casos negativos. Se nenhuma providência ou data puder ser determinada com segurança, a resposta esperada precisa dizer isso. Essa regra mede a capacidade de não inventar prazos, um comportamento tão relevante quanto encontrar corretamente os prazos existentes.

O guia de avaliação sobre quando automatizar resumos e quando exigir revisão humana ajuda a transformar esses grupos em faixas de risco e políticas de uso.

O teste ganha valor quando sai do texto isolado e reproduz o ambiente em que a equipe realmente trabalha. No MCP do Pocket Jurídico, a publicação pode ser relacionada ao processo, à capa, ao histórico, às movimentações e aos documentos disponíveis. Use o mesmo conjunto de permissões, campos e contexto para os três modelos.

Crie uma coleção de teste separada, com identificadores anonimizados e registros imutáveis. Cada chamada deve guardar modelo, versão informada pelo provedor, data, instrução, contexto enviado, resposta, duração, consumo e eventuais erros de integração. Essa trilha permite distinguir falha do modelo de falha no conector ou na captura da publicação.

Não altere o prompt a cada modelo para compensar uma preferência percebida. Primeiro rode um protocolo comum. Depois faça uma rodada de otimização específica, identificando claramente que se trata de uma comparação entre configurações ajustadas, e não entre modelos sem intervenção.

Uma saída estruturada em JSON facilita o scoring. Campos recomendados incluem resumo, prazo_existe, prazo_valor, prazo_unidade, evento_inicial, data_calculada, acao, urgencia, evidencias e precisa_revisao. Se o modelo não conseguir determinar um campo, o valor deve ser nulo e acompanhado de uma justificativa curta.

O MCP jurídico para conectar IA a processos e publicações explica a arquitetura de contexto, permissões e consulta. Para a etapa de produção, complemente o teste com o checklist de segurança para proteger publicações e garantir continuidade operacional.

O Pocket Jurídico pode funcionar como camada de monitoramento e contexto, enquanto a LLM realiza resumo, classificação ou extração. Essa separação reduz a dependência de consultas manuais aos tribunais e permite trocar o modelo sem reconstruir toda a captura de publicações.

O primeiro erro é testar apenas cinco ou dez publicações fáceis. Uma amostra pequena pode sugerir uma diferença que desaparece em textos ambíguos ou produzir uma falsa sensação de segurança. As 40 publicações do kit são um ponto de partida, não uma certificação permanente do modelo.

Outro problema é comparar respostas com contextos diferentes. Se um modelo recebe o histórico do processo e outro recebe apenas o texto da publicação, a conclusão mede a qualidade do contexto, não a capacidade relativa das LLMs. A origem, a data e a versão dos dados precisam ser controladas.

Também é comum usar apenas acurácia média. Esse indicador esconde a diferença entre errar uma vírgula no resumo e omitir uma intimação com prazo. Use uma matriz de confusão para campos binários e uma avaliação por gravidade para os erros que podem gerar perda de prazo.

Não transforme a planilha em uma disputa de marcas. Modelos mudam, preços variam e uma configuração eficiente hoje pode deixar de ser a mais adequada após uma atualização. O ativo principal é o conjunto anotado, o protocolo de avaliação e o histórico de decisões.

Por fim, não automatize a data do prazo sem definir a fonte normativa e o evento inicial. Quando a publicação não trouxer elementos suficientes, a saída correta é solicitar validação. O guia prático para validar resumos e prazos extraídos por IA pode ser usado como procedimento complementar para a equipe.