Cómo conducir pruebas A/B para validar la extracción automática de plazos por IA
Una metodología práctica para comparar modelos de IA, medir precisión, revisar casos críticos y desplegar la extracción automática con trazabilidad.
Consulta la metodología completa
En este artículo8 secciones
- Qué es una prueba A/B aplicada a la extracción de plazos jurídicos
- Qué métricas usar para comparar modelos de extracción de plazos
- Cómo diseñar una prueba A/B de extracción automática de plazos
- Cuántos casos y cuánto tiempo necesitas para confiar en la automatización
- Cómo organizar la revisión humana y la auditoría del experimento
- Cómo configurar el experimento en Pocket Jurídico usando MCP
- Errores frecuentes al validar la extracción de plazos por IA
- Checklist de aprobación y ejemplo de política de despliegue
Qué es una prueba A/B aplicada a la extracción de plazos jurídicos
Una prueba A/B para la extracción automática de plazos por IA consiste en presentar las mismas publicaciones procesales a dos configuraciones distintas y comparar sus resultados. La configuración A puede utilizar un modelo, una instrucción o una versión del flujo, mientras que la configuración B utiliza otra alternativa. El objetivo no es elegir la respuesta más convincente, sino identificar cuál produce menos errores jurídicamente relevantes.
En un equipo jurídico, la unidad de análisis debe ser la publicación, no solamente la respuesta generada. Para cada documento conviene registrar el texto original, el proceso asociado, la fecha de publicación, el plazo identificado, la acción requerida, el término inicial, el término final y el nivel de confianza. Así se evita comparar respuestas aisladas sin contexto operativo.
Por ejemplo, una publicación puede contener una intimación para contestar en 15 días hábiles, una orden de pago con una consecuencia distinta o simplemente una actualización sin plazo. Un modelo que extrae muchos números, pero confunde una fecha de audiencia con un plazo procesal, puede parecer eficiente y ser peligroso en la práctica.
La prueba A/B tampoco sustituye la revisión profesional. Sirve para medir si una automatización es suficientemente consistente para entrar en una etapa controlada del flujo. La responsabilidad de interpretar el acto procesal, confirmar el cómputo aplicable y decidir la actuación sigue dependiendo del equipo jurídico y de sus reglas internas.
Qué métricas usar para comparar modelos de extracción de plazos
La precisión general es insuficiente para evaluar una herramienta jurídica. Un modelo puede acertar en la mayoría de las publicaciones simples y fallar precisamente en los actos con mayor impacto, como intimaciones, sentencias, embargos o comunicaciones con plazos breves. Por eso conviene separar métricas técnicas, operativas y de riesgo.
La primera métrica es la exactitud del plazo. Compara el plazo extraído por la IA con una respuesta de referencia revisada por una persona competente. Registra como error cualquier diferencia en cantidad de días, unidad temporal, naturaleza del término o condición que active el conteo.
La segunda es la recuperación de casos relevantes, conocida como cobertura. Mide cuántas publicaciones que realmente contenían un plazo fueron identificadas por el sistema. La tercera es la tasa de falsas alarmas, que representa publicaciones marcadas como urgentes cuando no exigían una actuación dentro de un término definido.
También debes medir la exactitud de los campos relacionados. Una fecha final correcta asociada al proceso equivocado sigue siendo un resultado defectuoso. Incluye, como mínimo, identificación del proceso, tipo de actuación, fecha de publicación, fecha de inicio, fecha límite, días hábiles o corridos, acción requerida, responsable sugerido y fuente documental.
Para priorizar el riesgo, utiliza una matriz de severidad. Un error que transforma 10 días hábiles en 10 días corridos merece un peso mayor que una diferencia de formato. Puedes calcular un índice ponderado asignando, por ejemplo, cinco puntos a un plazo perdido, tres a un plazo con fecha incorrecta y un punto a una variación de redacción sin impacto operativo.
La evaluación debe incluir latencia, costo por publicación y porcentaje de respuestas que requieren revisión manual. Una solución ligeramente menos precisa puede ser preferible si identifica claramente sus incertidumbres y permite una revisión rápida. En el ámbito jurídico, la transparencia del error suele ser más valiosa que una apariencia de certeza.
Cómo diseñar una prueba A/B de extracción automática de plazos
- 1
Define una hipótesis operacional
Escribe una afirmación verificable, como: la configuración B reduce los errores críticos de fecha final sin aumentar más de 20% la carga de revisión. Evita hipótesis vagas como “el modelo B parece mejor”, porque no indican qué resultado autorizaría el despliegue.
- 2
Delimita la población de publicaciones
Incluye publicaciones reales de las áreas, tribunales y tipos de proceso que el equipo atiende. Separa, cuando sea necesario, documentos de primera instancia, tribunales superiores, ejecuciones, laborales y administrativos, porque sus estructuras y reglas pueden variar.
- 3
Construye una muestra representativa
No selecciones únicamente documentos fáciles o recientes. Una muestra inicial de 300 a 500 publicaciones suele permitir observar patrones, siempre que incluya suficientes casos con plazos, textos ambiguos, documentos escaneados y publicaciones sin actuación exigible.
- 4
Fija una respuesta de referencia
Solicita que dos profesionales revisen de forma independiente los casos con mayor riesgo y resuelvan sus discrepancias antes de comparar los modelos. La respuesta de referencia debe conservar la justificación y el fragmento del documento que sustenta cada campo.
- 5
Mantén constantes las variables
Usa el mismo texto, los mismos metadatos y el mismo formato de salida para A y B. Si cambias simultáneamente el modelo, la instrucción y las reglas de posprocesamiento, no sabrás qué elemento causó la mejora.
- 6
Aleatoriza o alterna los casos
Cuando sea posible, asigna las publicaciones al azar o alterna lotes equivalentes. Esto evita que una configuración reciba solamente documentos más sencillos. Conserva una semilla, un identificador de lote o una regla de asignación para que el experimento pueda repetirse.
- 7
Define criterios de éxito antes de ejecutar
Establece umbrales para exactitud, cobertura, errores críticos, tiempo de revisión y costo. Un ejemplo es exigir al menos 98% de exactitud en fechas finales revisadas y cero errores críticos sin confirmación humana durante la fase piloto.
- 8
Analiza resultados por segmento
Compara el rendimiento general y también el rendimiento por tribunal, tipo de documento, área, idioma, calidad del archivo y complejidad. Una media elevada puede ocultar una debilidad específica en ejecuciones o en documentos digitalizados.
Cuántos casos y cuánto tiempo necesitas para confiar en la automatización
- ✓Una muestra de 300 a 500 publicaciones es un punto de partida práctico para detectar errores frecuentes, pero no es una garantía estadística universal. Si solo 20 documentos contienen plazos críticos, la evidencia sobre ese escenario seguirá siendo limitada.
- ✓El tamaño debe calcularse por estrato de riesgo. Un departamento con 10.000 publicaciones mensuales puede necesitar separar laboral, civil, fiscal y regulatorio, y garantizar un número mínimo de casos en cada grupo antes de tomar una decisión.
- ✓El periodo de observación debe cubrir variaciones reales del flujo. Como regla operativa, prueba durante cuatro a seis semanas y atraviesa al menos un ciclo completo de recepción, revisión, asignación, agendamiento y cierre de tareas.
- ✓Usa intervalos de confianza o, como mínimo, reporta el número absoluto de aciertos y errores. Decir “98% de precisión” sin indicar si se evaluaron 50 o 5.000 publicaciones puede inducir una falsa sensación de seguridad.
- ✓Incluye una fase silenciosa. Durante ella, la IA genera resultados sin crear tareas definitivas y el equipo compara sus respuestas con la revisión convencional. Esta etapa permite medir impacto sin exponer plazos reales a una automatización todavía no aprobada.
- ✓Define reglas de parada. Si aparece un error crítico, como una fecha límite omitida o una asociación con el proceso equivocado, pausa el experimento, conserva los registros y determina si la causa fue el modelo, el documento, la instrucción o la integración.
Cómo organizar la revisión humana y la auditoría del experimento
La revisión humana funciona mejor cuando tiene un protocolo breve y uniforme. El revisor debe confirmar primero si existe un plazo, después si la actuación fue correctamente clasificada y finalmente si las fechas y condiciones fueron extraídas de forma válida. Revisar directamente la fecha final sin leer el fragmento de origen facilita errores silenciosos.
Para cada discrepancia, registra una categoría de causa. Algunas frecuentes son: texto ambiguo, OCR deficiente, falta de contexto procesal, confusión entre fecha de publicación y disponibilidad, regla de días hábiles no aplicada, instrucción incompleta o asociación incorrecta con el expediente. Esta taxonomía indica qué debe corregirse y evita culpar al modelo por problemas de datos.
La trazabilidad debe permitir reconstruir quién revisó el caso, cuándo lo hizo, qué versión del modelo se utilizó y cuál era la instrucción enviada. Conserva también la respuesta original, la corrección humana y la decisión posterior. La Ley General de Protección de Datos de Brasil debe orientar el tratamiento de datos personales, los controles de acceso y la retención de registros.
Una política de auditoría útil define plazos de conservación, responsables, permisos y procedimiento de incidente. Los registros no deben convertirse en una copia indiscriminada de todos los expedientes: conserva lo necesario para demostrar el funcionamiento, investigar una discrepancia y atender obligaciones internas o legales.
Para gestionar riesgos de forma estructurada, puedes adaptar categorías del Marco de Gestión de Riesgos de IA del NIST, especialmente identificación, medición, gestión y documentación. No es necesario convertir el experimento en un proyecto académico, pero sí crear evidencia suficiente para explicar por qué una configuración fue aprobada.
Cómo configurar el experimento en Pocket Jurídico usando MCP
- 1
Selecciona un feed y crea etiquetas de experimento
Elige un conjunto controlado de publicaciones del feed y aplica etiquetas como A, B, plazo crítico, sin plazo y revisión pendiente. Las etiquetas permiten filtrar los casos, evitar que el resultado se confunda con una tarea definitiva y preparar informes mensuales.
- 2
Define un esquema de salida idéntico
Configura ambas versiones para devolver los mismos campos: existencia de plazo, tipo de actuación, días, unidad, fecha inicial, fecha final, acción, nivel de confianza, fragmento de evidencia y observaciones. La uniformidad es necesaria para comparar datos y no estilos de redacción.
- 3
Enruta el mismo contenido a dos modelos
Con el MCP, puedes dirigir la misma publicación a dos configuraciones de modelos, por ejemplo ChatGPT y Claude, manteniendo constantes los metadatos y la instrucción principal. Identifica cada respuesta con versión, fecha, lote y modelo, sin sustituir la revisión profesional.
- 4
Mantén los resultados en modo de validación
Durante el piloto, evita que una extracción experimental cree automáticamente una tarea irreversible o comunique una fecha al cliente. La respuesta puede aparecer en el feed para revisión, junto con la publicación y su contexto, mientras el responsable confirma o corrige los campos.
- 5
Registra las decisiones en el historial
Guarda la corrección, el motivo y la persona que la realizó en el historial de auditoría. La posibilidad de comentar una publicación y mantener el contexto junto al proceso reduce la dependencia de correos, hojas paralelas y explicaciones fuera del expediente.
- 6
Exporta los datos para el informe mensual
Exporta los logs y resultados a una hoja de cálculo con identificador de publicación, etiqueta A/B, modelo, respuesta, corrección, severidad, tiempo de revisión y decisión. El informe debe incluir métricas globales y cortes por tribunal, tipo de actuación y responsable.
- 7
Aprueba un despliegue gradual
Después de superar los umbrales, habilita la configuración seleccionada para un grupo limitado de procesos o usuarios. Mantén muestreo humano y comparación periódica, porque el rendimiento puede cambiar cuando llegan nuevos formatos de publicaciones o documentos.
Errores frecuentes al validar la extracción de plazos por IA
El error más común es evaluar solo el porcentaje de coincidencia textual. Dos respuestas pueden usar palabras distintas y ser jurídicamente equivalentes, mientras que una respuesta bien redactada puede contener una fecha incorrecta. La revisión debe centrarse en la decisión operativa que el equipo tomaría con ese resultado.
Otro problema es mezclar extracción con cómputo. Identificar que una resolución concede 15 días es una tarea distinta de calcular la fecha límite considerando días hábiles, feriados, suspensión de plazos, forma de comunicación y reglas del tribunal. Define qué hará la IA y qué validará el sistema o la persona responsable.
También es arriesgado entrenar la prueba con respuestas corregidas y luego evaluar el modelo con documentos casi idénticos. Separa los conjuntos de desarrollo y evaluación. Si una misma publicación o una variante mínima aparece en ambos, el resultado puede parecer excelente sin representar el trabajo cotidiano.
La ausencia de casos negativos genera falsas alarmas. Incluye publicaciones informativas, movimientos sin obligación, documentos duplicados, decisiones que solo registran una fecha pasada y actos cuyo plazo depende de una condición todavía no cumplida.
No uses la automatización para ocultar la falta de una política de asignación. Aunque la extracción sea correcta, el proceso fallará si nadie sabe quién confirma el plazo, quién agenda la tarea, quién supervisa los casos críticos y qué ocurre cuando el responsable está ausente.
En operaciones con alto volumen, Pocket Jurídico puede servir como capa de recepción y organización de publicaciones, mientras la IA resume, extrae posibles plazos y responde dudas dentro del feed. La integración mediante API y conectores MCP permite llevar resultados validados a un gestor, ERP o CRM sin replicar manualmente cada registro, siempre que las reglas de aprobación estén documentadas.
Checklist de aprobación y ejemplo de política de despliegue
Antes de activar una extracción automática, confirma que existe una muestra de referencia revisada, que las configuraciones están versionadas y que cada resultado puede rastrearse hasta la publicación original. Verifica también que el equipo sabe distinguir una sugerencia de IA de un plazo confirmado.
Una política sencilla puede establecer lo siguiente: “La IA solo propondrá plazos durante los primeros 30 días. Todo plazo crítico, toda confianza inferior al umbral definido y toda publicación con OCR deficiente requerirán confirmación humana. Ningún resultado experimental modificará una fecha oficial sin aprobación del responsable del proceso”.
Añade un segundo control para los primeros lotes productivos. Revisa, por ejemplo, 10% de las publicaciones sin plazo y 100% de las que incluyan intimación, embargo, sentencia, audiencia o una fecha final dentro de los próximos cinco días hábiles.
El comité o responsable de la operación debe revisar el informe cada mes. Si la tasa de errores críticos aumenta, si cambia el perfil de documentos o si un tribunal adopta un formato nuevo, reduce el alcance de la automatización y repite la evaluación.
El resultado final no tiene que ser una decisión absoluta entre automatizar o no automatizar. Puede consistir en automatizar resúmenes y clasificación, mantener la extracción de plazos en modo asistido y reservar el cómputo final para una persona. Esa combinación suele ofrecer ganancias de productividad sin convertir una métrica promedio en una promesa de seguridad.
Preguntas Frecuentes
¿Qué diferencia hay entre extraer un plazo y calcular una fecha límite?▼
Extraer un plazo significa identificar en la publicación que existe una actuación y recuperar datos como 15 días, contestar, pagar o presentar un recurso. Calcular la fecha límite exige aplicar reglas adicionales, como días hábiles o corridos, fecha de inicio, feriados, suspensiones y normativa procesal. Por eso una prueba A/B debe medir ambas funciones por separado y no tratar una fecha sugerida como confirmación definitiva.
¿Cuántas publicaciones necesito para validar un modelo de IA jurídico?▼
No existe un número universal, porque depende de la diversidad de tribunales, áreas y tipos de documento. Como punto de partida operativo, 300 a 500 publicaciones permiten detectar patrones, pero debes garantizar suficientes casos con plazos críticos y analizar cada segmento de riesgo. Si un escenario importante aparece pocas veces, amplía la muestra o mantén ese escenario bajo revisión humana.
¿Qué métricas son más importantes en una prueba A/B de plazos procesales?▼
Mide exactitud de los campos, cobertura de publicaciones con plazo, falsas alarmas, errores críticos, tiempo de revisión y costo por caso. La identificación correcta del proceso y la evidencia textual también son esenciales, porque una fecha correcta asociada al expediente equivocado puede causar un daño operativo. Reporta siempre el número de casos junto con los porcentajes.
¿Cómo comparar ChatGPT y Claude para extraer plazos jurídicos?▼
Envía la misma publicación, los mismos metadatos y el mismo esquema de salida a ambos modelos, manteniendo documentadas las instrucciones y versiones utilizadas. Compara campos estructurados y clasifica las discrepancias por severidad, en lugar de valorar solo la calidad del texto. El modelo ganador será el que tenga mejor desempeño en tus documentos y reglas, no necesariamente el que produzca la respuesta más extensa.
¿Cómo hacer una prueba A/B sin poner en riesgo plazos reales?▼
Utiliza una fase silenciosa en la que la IA genere resultados sin crear tareas oficiales ni enviar comunicaciones automáticas. Un profesional compara cada caso con la revisión convencional y registra aciertos, errores y causas. Solo después de superar los umbrales definidos debes realizar un despliegue gradual con muestreo humano y reglas de parada.
¿Cómo auditar la extracción automática de plazos en un departamento jurídico?▼
Conserva el texto de origen, la respuesta de IA, el modelo y la instrucción utilizados, la fecha de procesamiento, la corrección humana y la decisión adoptada. Limita los permisos y el tiempo de conservación según tu política de privacidad y las obligaciones aplicables. Un historial claro permite explicar una discrepancia, mejorar el flujo y demostrar que la automatización no eliminó la supervisión profesional.
¿Qué papel cumple el MCP en un experimento A/B jurídico?▼
El MCP puede actuar como una capa de conexión para llevar publicaciones y contexto a diferentes herramientas de IA bajo reglas controladas. En un experimento, permite enrutar el mismo contenido a dos configuraciones, identificar cada respuesta y devolver los resultados al flujo de revisión. Debe utilizarse con controles de acceso, registro de versiones y una política clara sobre qué datos pueden enviarse a cada servicio.