Saltar al contenido
jsonW Artículo GitHub

Grafía, señales y columna por bloque

Señales del audio en una fila de jsonW

A partir de PCM de 16 bits, jsonW mide tono, pausas, intensidad, jitter, shimmer, HNR, formantes, MFCC, centroide, tasa de articulación y respiraciones.

· jsonW 1.3.11

El problema

Medir cómo habló una persona exige juntar herramientas de fonética y de procesamiento de señales, cada una con su salida, antes de guardar el resultado en algún lugar.

Cómo lo resuelve jsonW

La función jsonw_sinal_audio recibe audio PCM de 16 bits mono y devuelve una fila de jsonW-texto en el esquema declarado. El tono sale de la autocorrelación normalizada, el mismo método de Praat; jitter y shimmer, de los pulsos glotales; los formantes, por LPC; y las pausas, por el umbral de Otsu, que toma el corte de los propios datos.

int64_t r = jsonw_sinal_audio(pcm, n, 16000, "sintetico", "a1", saida, sizeof saida, erro, sizeof erro);

{origem: "sintetico", chave: "a1", dur_s: 2, fala_s: 1.6, silencio_pct: 19.1919, pausas: 1, pausa_media_ms: 380, pausa_max_ms: 380, nucleos: 1, taxa_articulacao: 0.625, taxa_fala: 0.5, intensidade_db: -16.0177, intensidade_dp: 0.74886, f0_hz: 164.993, f0_dp: 14.9999, f0_min: 149.997, f0_max: 179.998, jitter_pct: 0.00237075, shimmer_pct: 0.123395, hnr_db: 43.8417, f1: 624.1, f2: 1124.45, f3: 3245.8, mfcc: vf32[-16.138, 14.372, 2.5701, -5.5633, -3.0267, 1.5794, 2.0231, -0.98157, -2.1028, -0.48222, 0.94709, 0.17767, -1.0651], centroide_hz: 293.164, respiracoes: 0, disfluencias: null, vocalizacoes: null, vozeados: 156, quadros: 160}

Salida real de libjsonw 1.3.11 con 2 s de audio sintético: voz a 150 Hz, 0,4 s de silencio y voz a 180 Hz. Encontró 1 pausa de 380 ms y el tono entre 150 y 180 Hz.

Dónde está

En la ABI (jsonw_sinal_audio, con el esquema en jsonw_sinal_esquema). La fila se puede grabar directo en un .jsw. La función mide, no decide: quien interpreta los números es su modelo.

Lea la sección completa en el artículo →