Kit práctico para evaluar LLMs en el ámbito jurídico

La evaluación de LLMs jurídicos no consiste en pedir un resumen atractivo y decidir cuál respuesta parece más inteligente. En un despacho o departamento jurídico, la pregunta real es otra: ¿qué modelo identifica correctamente el acto procesal, distingue una fecha relevante y permite actuar a tiempo con la menor revisión humana posible?

Una respuesta fluida puede ocultar un error crítico. Por ejemplo, un modelo podría resumir correctamente una sentencia, pero confundir la fecha de publicación con el inicio del plazo, omitir una excepción o atribuir una obligación a la parte equivocada. En el contencioso de alto volumen, esos fallos tienen un costo operativo y procesal muy superior al precio de una consulta a la IA.

El kit propuesto en este artículo utiliza 40 publicaciones anonimizadas y anotadas, con portada, movimientos, documentos y plazos esperados. El objetivo es que puedas comparar ChatGPT, Claude y Gemini bajo las mismas entradas, instrucciones y reglas de validación, incluso cuando los modelos se conectan a tus datos mediante el MCP del Pocket Jurídico.

La muestra de 40 casos funciona como un piloto estructurado. No pretende representar por sí sola todos los tribunales, materias y tipos de acto procesal de Brasil. Sirve para detectar diferencias, descubrir errores recurrentes y decidir si conviene ampliar la prueba con datos históricos de tu propia operación.

La evaluación también debe incluir el trabajo que ocurre después de la respuesta. Mide cuánto tarda un abogado en revisar cada salida, cuántos resultados necesitan corrección, cuánto cuesta procesar mil publicaciones y qué porcentaje puede pasar a una cola de baja supervisión. Esa visión evita elegir el modelo con mejor redacción, pero peor desempeño en la rutina.

Una buena planilla separa calidad jurídica, utilidad operativa y costo. Si mezclas todo en una única nota, un modelo puede compensar un error grave con una redacción excelente. La recomendación práctica es mantener métricas independientes y aplicar una regla de seguridad para los fallos críticos.

Para los resúmenes, utiliza una escala de 0 a 2 por criterio. Asigna 2 puntos cuando el resultado es correcto y suficiente, 1 cuando es parcialmente correcto o necesita una pequeña edición, y 0 cuando omite, inventa o distorsiona un dato relevante. Evalúa como mínimo identificación del acto, partes involucradas, decisión o contenido principal, acción recomendada, fechas y ausencia de información inventada.

Una fórmula simple es: puntuación de resumen = puntos obtenidos divididos por puntos posibles. También puedes calcular cobertura de hechos críticos, que responde cuántos elementos indispensables aparecen, y precisión de afirmaciones, que indica cuántas afirmaciones del resumen están respaldadas por la publicación. En un entorno jurídico, la precisión de afirmaciones suele ser más importante que la extensión del texto.

La extracción de plazos necesita métricas específicas. Registra verdaderos positivos cuando el modelo identifica correctamente un plazo existente, verdaderos negativos cuando reconoce que no hay plazo accionable, falsos positivos cuando crea o marca un plazo inexistente y falsos negativos cuando omite un plazo real. El falso negativo suele tener mayor severidad operativa, aunque el falso positivo también genera trabajo, alertas innecesarias y pérdida de confianza.

Calcula la precisión con verdaderos positivos divididos por todos los plazos señalados. Calcula la cobertura con verdaderos positivos divididos por todos los plazos reales. Para combinar las dos, utiliza la medida F1, pero no dependas de ella sola: un modelo con F1 razonable puede seguir teniendo un falso negativo inaceptable en una categoría crítica.

Añade métricas de calibración. Cuando el modelo declare alta confianza, comprueba si realmente acierta más que cuando declara confianza media o baja. La salida ideal no solo dice qué encontró, sino también qué información falta, qué regla utilizó y cuándo exige revisión humana.

La planilla debe incluir costo por publicación, tiempo medio de respuesta, porcentaje de salidas que requieren edición, cantidad de tokens consumidos y costo por acierto útil. Este último indicador puede calcularse como el costo total dividido por el número de casos que llegaron a una salida aceptada sin corrección sustancial. Es más útil para la gestión que comparar únicamente el precio de cada consulta.

No todos los errores tienen el mismo peso. Un falso negativo en una intimación con plazo puede generar una pérdida procesal, mientras que un falso positivo normalmente consume tiempo de revisión. La matriz de evaluación debe asignar una severidad a cada caso y permitir que el equipo vea los errores críticos por separado de los errores de formato.

Considera tres niveles de riesgo. En el nivel alto, el modelo nunca debe crear una fecha definitiva sin evidencia y la salida siempre debe pasar por revisión humana. En el nivel medio, puede sugerir una acción y una fecha provisional, siempre que muestre la fuente textual. En el nivel bajo, puede generar un resumen automático para lectura rápida, con opción de corrección.

Un ejemplo habitual ocurre cuando la publicación menciona una audiencia futura, pero no abre un plazo para presentar una respuesta. Si el modelo registra la fecha de la audiencia como plazo, produce un falso positivo. La solución no es simplemente pedirle más atención, sino definir en las instrucciones que debe clasificar por separado fecha de audiencia, fecha de publicación y plazo procesal.

Otro caso aparece cuando el texto remite a una decisión anterior que contiene la obligación. Si se envía solo el fragmento más reciente, el modelo puede informar que no existe una acción. Con contexto suficiente, la salida puede mejorar, pero el sistema debe declarar que la conclusión depende de un documento relacionado.

La revisión humana no debe ser una aprobación automática de todo lo que la IA produce. Diseña una cola por excepción: alto riesgo, baja confianza, información faltante, contradicción entre documentos o plazo cercano. En cada revisión, conserva el motivo de la corrección para alimentar una nueva prueba y mejorar las reglas del flujo.

Como referencia de gobernanza, puedes adaptar el enfoque de gestión de riesgos del Marco de Gestión de Riesgos de IA del NIST. Para datos procesales y personales, documenta finalidad, acceso, retención y controles de seguridad conforme a la Ley General de Protección de Datos Personales explicada por la ANPD.