Saltar al contenido
jsonW Artículo GitHub

Organización del archivo

Zonas: la búsqueda salta bloques enteros

Cada bloque del archivo guarda el mínimo y el máximo de cada columna. En un archivo de 100.000 registros, un filtro saltó 102 de los 103 bloques.

· jsonW 1.3.11

El problema

En JSONL o CSV, para encontrar las filas que pasan un filtro, el lector tiene que abrir y separar todas las líneas, aunque la respuesta esté solo al final del archivo.

Cómo lo resuelve jsonW

El archivo .jsw se graba en bloques, y cada bloque guarda el mínimo y el máximo de cada columna. Si el filtro no puede ser verdadero en un bloque, el lector salta el bloque sin descomprimir nada de él.

$ wjsw filtrar com.jsw "id > 99990"
9 de 100000 linhas em 1.7 ms · blocos 103, pulados pela zona 102 · linhas lidas 833
$ wjsw info prod.jsw
…
zona      preco        890 .. 2400
zona      nota         3.8999999999999999 .. 4.9000000000000004

Salida real, en el archivo de 100.000 registros de la Sección 5 del artículo: 833 filas leídas para encontrar 9. El info muestra las zonas de otro archivo, con los reales en doble precisión.

Dónde está

filtrar y calcular usan las zonas solos, e info muestra los valores. La ganancia depende del orden de los datos: una columna grabada en orden salta muchos bloques, y una columna desordenada salta pocos.

Lea la sección completa en el artículo →