Pular para o conteúdo
jsonW Paper GitHub

Grafia, sinais e coluna por bloco

Coluna por bloco e por tenant: o bloco de outro cliente nem abre

Dicionário local por bloco, dígitos de largura fixa e o tenant na zona do bloco. Na base do INPI, a contagem em vigor caiu de 54 para 43 ms.

· jsonW 1.3.11

O problema

Num arquivo com dados de muitos clientes, a consulta de um cliente não deveria pagar o custo de ler os outros. E códigos feitos só de algarismos, como o número de um processo, ocupam mais do que precisam quando são guardados como texto.

Como o jsonW resolve

A versão 1.3.11 trouxe três codecs: o dicionário local de cada bloco, com e sem codificação de entropia, e os dígitos de largura fixa. A zona de cada bloco guarda também o tenant. O filtro compara o código do dicionário em lotes, com instruções SSE2, e avalia o "contém" no bloco inteiro de uma vez.

$ wjsw calcular DADOS_BIBLIOGRAFICOS.jsw --onde "codigo_situacao = IPAS023"
1 grupo(s) em 44.0 ms
total: 2343607 linha(s)
$ wjsw calcular DESPACHOS.jsw --onde "numero_inpi = 818602856"
1 grupo(s) em 277.1 ms
total: 10 linha(s)
$ wjsw calcular CLASSIFICACOES_NICE.jsw --onde "classe_nice = 35"
1 grupo(s) em 145.3 ms
total: 1076928 linha(s)

Saída real das três consultas da Tabela 5D na base inteira de marcas do INPI (55,3 milhões de linhas), gravada pela 1.3.11 no nível máximo, numa execução com o arquivo em cache. As três respostas estão certas. O paper vale o menor de 5 execuções: 43, 207 e 142 ms.

Onde está

Na gravação (os codecs entram sozinhos) e no filtrar e no calcular. Na base do INPI, com 8 núcleos, a contagem em vigor saiu em 43 ms, à frente do Parquet lido pelo DuckDB (54 ms), do DuckDB lendo o CSV (375 ms) e do grep no CSV (519 ms). A coluna do número do processo caiu de 53,0 para 25,7 MB. Um arquivo com os codecs novos não abre nos leitores 1.2.x.

Leia a seção completa no paper →