Como exportar e anonimizar 30 dias do feed de publicações judiciais para análises e BI
Veja como montar, proteger e auditar um dataset de 30 dias de publicações judiciais sem eliminar os sinais necessários para análises, indicadores e jurimetria.
Conheça boas práticas para estruturar seu feed jurídico
Neste artigo7 seções
- Por que exportar e anonimizar 30 dias de publicações judiciais
- Quais campos incluir no dataset de publicações judiciais
- Como anonimizar nomes, documentos e textos sem perder sinal analítico
- Passo a passo para exportar 30 dias do feed e preparar a base
- CSV, JSON ou planilha: qual formato facilita auditoria e reprodutibilidade
- Como usar o Pocket Jurídico para exportar o feed de 30 dias
- Erros comuns e indicadores para acompanhar a qualidade da base
Por que exportar e anonimizar 30 dias de publicações judiciais
Exportar e anonimizar 30 dias do feed de publicações judiciais é uma forma prática de transformar uma rotina operacional em uma base segura para análises e BI. O período é suficientemente amplo para revelar padrões de volume, tribunais, classes processuais e tipos de movimentação, sem criar um projeto de dados difícil de controlar.
Uma amostra mensal também facilita comparações. Você pode medir quantas publicações chegaram por dia, qual foi o tempo médio até a ciência, quantos registros exigiram ação e onde ocorreram duplicidades ou falhas de classificação. Para entender melhor o evento de origem, consulte o guia sobre o que é uma publicação judicial e como ela entra na rotina.
O desafio está no equilíbrio entre privacidade e utilidade. Remover todo o texto destrói sinais relevantes, mas manter nomes, documentos, endereços, números de processo ou anexos sensíveis pode expor titulares e criar riscos desnecessários. A anonimização deve reduzir a possibilidade de identificação sem apagar as informações necessárias para responder às perguntas do negócio.
A Lei Geral de Proteção de Dados exige medidas de segurança, prevenção e governança compatíveis com o tratamento realizado. A Lei nº 13.709/2018 no Planalto é a referência jurídica para definir responsabilidades, bases legais, direitos dos titulares e controles aplicáveis ao projeto.
Um bom dataset para BI não é simplesmente uma planilha com o conteúdo bruto do diário. Ele precisa ter dicionário de dados, origem, horário de captura, versão das transformações, regras de anonimização e uma trilha que permita explicar como cada indicador foi calculado.
Quais campos incluir no dataset de publicações judiciais
Comece separando os campos em quatro grupos: identificação técnica, contexto processual, conteúdo operacional e governança. Essa divisão evita que o time misture dados necessários para análise com informações pessoais que não agregam valor ao indicador.
Na identificação técnica, mantenha um identificador interno da publicação, o identificador do processo em formato protegido, a fonte, o tribunal, o diário, a data de disponibilização, a data de publicação, o horário de captura e a versão do registro. O identificador original não deve ser usado diretamente como chave pública do painel.
O contexto processual pode incluir classe processual, assunto normalizado, órgão julgador, unidade federativa, instância, polo anonimizado, área responsável, carteira, escritório correspondente e status operacional. Quando uma dimensão não for necessária para o relatório, prefira generalizá-la. Por exemplo, use região ou estado em vez de endereço detalhado.
No grupo operacional, registre tipo de publicação, classificação de urgência, prazo identificado, data limite calculada, ação recomendada, responsável, data da ciência interna e situação da tarefa. Se a extração for feita por inteligência artificial, inclua também o modelo ou versão da regra, o nível de confiança e a indicação de revisão humana.
O texto integral pode ficar fora do ambiente analítico, em uma camada restrita. Para o BI, use campos derivados como quantidade de caracteres, presença de termos urgentes, categoria da movimentação, quantidade de partes e prazo em dias. O conteúdo bruto deve ser acessado apenas quando houver uma finalidade definida e autorização compatível.
Uma estrutura mínima poderia ser: id_publicacao, processo_hash, tribunal, estado, instancia, classe, assunto, tipo_movimentacao, data_publicacao, data_captura, prazo_dias, data_limite, categoria_urgencia, responsavel_id, origem, versao_transformacao e hash_conteudo. O dicionário deve registrar tipo, formato, nulidade permitida, regra de preenchimento e classificação de sensibilidade para cada coluna.
Antes de alimentar o painel, aplique regras de qualidade. Conte registros por dia, valide datas futuras indevidas, procure processos com mais de uma publicação idêntica e compare o total capturado com os arquivos ou relatórios de origem. A orientação sobre limpeza e deduplicação de nomes e termos ajuda a reduzir ruídos ainda na origem do monitoramento.
Como anonimizar nomes, documentos e textos sem perder sinal analítico
- ✓Substitua nomes de pessoas físicas por identificadores consistentes, como parte_000184. A consistência permite contar publicações relacionadas ao mesmo titular dentro da amostra, sem revelar sua identidade.
- ✓Aplique hash com salt secreto a números de processo, CPFs, CNPJs e identificadores internos. O salt impede que terceiros testem valores conhecidos contra uma tabela de hashes pré-calculados.
- ✓Generalize atributos que podem reidentificar alguém. Troque data de nascimento por faixa etária, endereço por município ou região e horário exato por janela de hora quando a precisão não for necessária.
- ✓Remova ou segregue PDFs, imagens, procurações, contratos, documentos médicos e peças que contenham informação sensível. O BI normalmente precisa de metadados do anexo, não do arquivo integral.
- ✓Masque padrões no texto, incluindo CPF, CNPJ, telefone, e-mail, endereço, número de processo e nomes identificáveis. Depois, preserve sinais derivados como tipo de ato, assunto, urgência e presença de prazo.
- ✓Mantenha um catálogo de transformações. Cada coluna deve informar se foi removida, generalizada, pseudonimizada ou agregada, além da data, ferramenta e responsável pela execução.
- ✓Separe ambientes. O dataset anonimizado deve ser consumido por analistas e painéis, enquanto a tabela de correspondência, quando necessária, permanece em ambiente restrito, com acesso mínimo e registro de consultas.
- ✓Teste o risco de reidentificação combinando colunas. Um nome removido não resolve o problema se tribunal, data, classe, município e descrição rara permitirem deduzir a pessoa. Faça revisão por amostragem antes de compartilhar a base.
Passo a passo para exportar 30 dias do feed e preparar a base
- 1
Defina o período e a finalidade
Escolha datas de início e fim com fuso horário explícito, por exemplo, do primeiro ao último dia do mês em horário de Brasília. Registre a pergunta que o BI deve responder, como volume por tribunal, taxa de urgência ou tempo até ciência.
- 2
Faça um inventário dos campos
Liste campos indispensáveis, opcionais e proibidos no ambiente analítico. Antes de exportar, classifique cada coluna por sensibilidade e confirme quem poderá acessar o arquivo final.
- 3
Extraia os dados em lotes
Na API, use paginação por cursor ou por data, limite de registros por requisição e repetição controlada em caso de erro. Salve o identificador da consulta, o horário de extração e a quantidade retornada em cada lote.
- 4
Congele a camada bruta
Guarde uma cópia original em local restrito, somente para auditoria e reprocessamento autorizado. Não edite essa camada manualmente, pois ela funciona como referência para explicar divergências no painel.
- 5
Normalize formatos
Converta datas para ISO 8601, padronize estados, tribunais e classes processuais, e defina uma codificação única para valores vazios. Normalize também acentos e espaços apenas na coluna auxiliar, preservando o texto original na camada protegida.
- 6
Anonimize em uma camada reproduzível
Aplique máscaras, hashes, generalização e remoção de anexos por script versionado. Evite editar células diretamente no Excel ou no Google Sheets, porque isso dificulta repetir o processo e identificar quem alterou cada valor.
- 7
Valide completude e consistência
Compare o total de registros por dia, tribunal e fonte com a extração original. Verifique chaves duplicadas, datas inválidas, processos sem classificação e publicações cujo prazo calculado não corresponde ao calendário adotado.
- 8
Publique a camada analítica
Entregue ao BI apenas as colunas necessárias, com dicionário e versão da transformação. Registre o momento de publicação, o responsável pela aprovação e o prazo de retenção da base.
CSV, JSON ou planilha: qual formato facilita auditoria e reprodutibilidade
CSV é simples, barato e compatível com planilhas, bancos relacionais e ferramentas de visualização. Ele funciona bem para uma tabela achatada, mas exige cuidado com separadores, quebras de linha, acentos, campos vazios e textos longos. Use UTF-8, cabeçalho fixo, delimitador documentado e uma coluna de versão do esquema.
JSON é mais adequado quando a publicação possui estruturas aninhadas, múltiplos prazos, partes, documentos ou classificações. Para análises recorrentes, uma alternativa eficiente é manter o JSON bruto em armazenamento restrito e gerar tabelas relacionais derivadas para o BI.
Planilhas são úteis para inspeção, validação e compartilhamento controlado, mas não devem ser a única fonte de verdade. Limites de linhas, alterações manuais, fórmulas quebradas e permissões amplas podem comprometer uma análise que precisa ser reproduzida no mês seguinte.
Um exemplo de transformação em Python pode ser organizado assim: "import re, hashlib\n\ndef mascarar_documentos(texto):\n texto = re.sub(r'\b\d{3}\.\d{3}\.\d{3}-\d{2}\b', '[CPF_REMOVIDO]', texto)\n texto = re.sub(r'\b\d{2}\.\d{3}\.\d{3}/\d{4}-\d{2}\b', '[CNPJ_REMOVIDO]', texto)\n return texto\n\ndef hash_id(valor, salt):\n return hashlib.sha256((salt + str(valor)).encode()).hexdigest()". O salt deve ficar fora do código compartilhado e armazenado em um cofre de segredos.
Para uma extração diária em uma API, o fluxo pode buscar cada página, gravar o lote bruto e depois executar a anonimização. Um pseudocódigo útil é: "cursor = None\nwhile True:\n resposta = buscar_publicacoes(inicio, fim, cursor)\n salvar_bruto(resposta)\n cursor = resposta.get('proximo_cursor')\n if not cursor:\n break". Inclua retentativas, limite de chamadas e registro de falhas.
No Google Sheets, o Apps Script pode consumir um endpoint autorizado e gravar apenas campos já tratados. Uma função simples deve usar UrlFetchApp, cabeçalho de autenticação armazenado nas propriedades do script, paginação e uma rotina que rejeite respostas sem o esquema esperado. Para volumes maiores, prefira BigQuery ou outro banco analítico, deixando a planilha como camada de conferência.
A auditoria precisa responder cinco perguntas: qual foi a fonte, qual período foi extraído, qual versão do esquema foi usada, quais transformações ocorreram e quem aprovou o resultado. O checklist de segurança para proteger publicações e garantir continuidade operacional pode ser usado para revisar permissões, retenção, cópias e disponibilidade.
A Agência Nacional de Proteção de Dados disponibiliza guias e orientações que ajudam a estruturar medidas de segurança e governança. Use essas referências junto com a avaliação jurídica e técnica da sua organização, especialmente quando o conjunto envolver dados pessoais sensíveis ou compartilhamento com terceiros.
Como usar o Pocket Jurídico para exportar o feed de 30 dias
Depois de definir o esquema, o Pocket Jurídico pode funcionar como camada de origem para uma rotina analítica mais organizada. A plataforma monitora publicações e movimentações em mais de 490 diários e tribunais, identifica e valida processos e disponibiliza informações para integração via API, conforme o escopo contratado e os controles da sua operação.
Para um estudo mensal, selecione o intervalo de 30 dias, extraia as publicações por paginação e armazene o retorno bruto em um ambiente restrito. O sistema também permite receber e-mails diários com documentos e planilhas, úteis para conferência inicial, reconciliação do total e validação de uma carga automatizada.
A recomendação prática é construir três camadas: bruta, tratada e analítica. Na camada tratada, masque nomes, aplique hash aos identificadores, remova PDFs sensíveis e derive categorias como tribunal, tipo de ato, urgência e existência de prazo. Na camada analítica, mantenha somente os campos necessários para o painel ou relatório.
Um exemplo de rotina para BigQuery é executar uma carga diária incremental, usando data de captura e um identificador estável da publicação. A cada execução, registre quantidade recebida, quantidade rejeitada, duplicidades, falhas de validação e horário de conclusão. Essa reconciliação é especialmente útil quando o jurídico opera com alto volume ou múltiplos escritórios terceirizados.
O feed também pode alimentar sistemas internos sem replicar todo o conteúdo sensível. Antes de escolher os campos enviados ao ERP ou CRM, consulte o guia sobre o que sincronizar e o que manter no jurídico. Para análises com ChatGPT, Claude ou Gemini, envie somente o recorte necessário e aplique política de acesso, retenção e revisão humana.
Quando a finalidade é comparar produtividade ou risco entre áreas, não exponha o processo completo no painel. Use chaves anônimas, agregações e grupos com volume mínimo. Assim, a diretoria consegue observar tendências sem transformar o dashboard em uma nova cópia do acervo processual.
O Pocket Jurídico pode apoiar esse fluxo com exportações, API e organização do feed em uma interface voltada à rotina jurídica. A configuração adequada depende da finalidade, do volume de nomes e termos monitorados, das permissões e do contrato de integração.
Erros comuns e indicadores para acompanhar a qualidade da base
O primeiro erro é anonimizar somente a coluna de nome. Números de processo, trechos raros, anexos, combinações de data e município e identificadores de escritório também podem permitir reidentificação. Faça uma análise de combinação de atributos antes de liberar o dataset.
Outro problema é calcular indicadores sobre publicações duplicadas. A mesma movimentação pode aparecer em mais de uma fonte, instância ou tentativa de captura. Defina uma chave de deduplicação com identificador da publicação, processo protegido, tipo de ato, data e fonte, mantendo o registro original para auditoria.
Também é arriscado misturar data de disponibilização, data de publicação, data de captura e data de ciência. São eventos diferentes e geram conclusões distintas. Se o objetivo for medir agilidade operacional, use o horário de entrada no feed e o horário de ciência interna, sem tratá-los como se fossem a mesma coisa.
Acompanhe pelo menos estes indicadores técnicos: percentual de registros com campos obrigatórios, duplicidade por mil publicações, atraso entre publicação e captura, taxa de falhas na anonimização, quantidade de anexos removidos, registros sem classificação e divergência entre fonte e camada analítica.
Para a operação jurídica, observe volume diário, publicações urgentes, prazos extraídos, tarefas criadas, tempo até ciência, distribuição por tribunal e percentual de itens revisados. Esses indicadores complementam um modelo de dashboard jurídico com métricas para diretoria e operações, mas não substituem a validação do conteúdo original em situações críticas.
Um bom controle de acesso deve seguir menor privilégio, autenticação forte, registro de consultas e revisão periódica de permissões. Bases de teste não devem receber cópia integral da produção, e arquivos exportados precisam de prazo de expiração, proprietário definido e canal autorizado de compartilhamento.
Por fim, documente as limitações. Uma amostra de 30 dias pode sofrer efeito de feriados, recesso, mudanças de carteira ou indisponibilidade pontual de tribunal. O relatório deve informar cobertura, período, exclusões, nível de anonimização e margem de interpretação para evitar decisões baseadas em uma falsa precisão.
Perguntas Frequentes
Quais campos devo incluir em um dataset de publicações judiciais para BI?▼
Inclua identificador protegido, tribunal, estado, instância, classe, assunto, tipo de movimentação, datas de publicação e captura, prazo, categoria de urgência, responsável anonimizado e origem. Mantenha o texto integral e os anexos em uma camada restrita, fora do painel. Também registre versão da transformação, qualidade do dado e indicação de revisão humana quando houver extração por IA.
Como anonimizar nomes, CPFs e CNPJs em publicações judiciais?▼
Use substituição de nomes por identificadores consistentes e aplique máscaras para CPF, CNPJ, telefone, e-mail e endereços. Para identificadores que precisam ser relacionados entre registros, use hash com salt secreto, nunca um hash simples e público. Revise combinações de atributos e remova anexos que possam reidentificar titulares.
É melhor exportar publicações judiciais em CSV ou JSON?▼
CSV é prático para tabelas simples, planilhas e cargas relacionais, desde que a codificação, o delimitador e os campos vazios estejam documentados. JSON preserva melhor estruturas complexas, como múltiplos prazos, partes e documentos. Uma arquitetura comum é guardar JSON bruto com acesso restrito e gerar tabelas CSV ou relacionais para o BI.
Como extrair automaticamente 30 dias de publicações para o BigQuery?▼
Use uma API com filtros de data, paginação, retentativas e controle de limite de chamadas. Grave cada resposta bruta, registre o cursor ou lote processado e aplique transformações em uma etapa posterior. Depois, carregue somente a camada anonimizada no BigQuery, com chave idempotente para evitar duplicidades.
Posso usar Google Sheets para analisar o feed de publicações judiciais?▼
Sim, especialmente para validações, amostras e relatórios de menor volume. A planilha não deve ser a única fonte de verdade quando há muitos registros ou necessidade de auditoria, pois alterações manuais e limites operacionais dificultam a reprodução. Use Apps Script para automatizar cargas pequenas e um banco analítico para volumes maiores.
Anonimização elimina todos os riscos da base de publicações?▼
Não. Ela reduz o risco de identificação, mas o resultado depende da técnica, do contexto e das combinações de campos mantidas. Controle acessos, segregue a tabela de correspondência, remova anexos desnecessários, aplique retenção e teste a possibilidade de reidentificação antes do compartilhamento.
Como auditar uma exportação de publicações judiciais?▼
Registre fonte, período, filtros, horário da extração, quantidade por lote, versão do esquema, regras de anonimização, falhas e responsável pela aprovação. Preserve a camada bruta em ambiente restrito e gere um relatório de reconciliação entre origem, dados tratados e dados publicados no BI. Hashes de conteúdo e identificadores de execução ajudam a demonstrar que os arquivos não foram alterados sem registro.
O Pocket Jurídico permite integrar publicações a ferramentas de BI?▼
O Pocket Jurídico oferece recursos de exportação, planilhas e integração via API para conectar o feed a sistemas internos e fluxos analíticos, conforme a configuração contratada. A equipe pode extrair o período necessário, aplicar anonimização na sua camada de dados e carregar apenas os campos adequados ao BI. Antes de colocar a rotina em produção, defina permissões, retenção, paginação e regras de reconciliação.