跳到正文
jsonW 论文 GitHub

拼写、信号与按块列

一行 jsonW 中的音频信号

jsonW 从 16 位 PCM 中测量音高、停顿、强度、jitter、shimmer、HNR、共振峰、MFCC、频谱质心、发音速率和呼吸。

· jsonW 1.3.11

问题

要测量一个人是怎么说话的,需要把语音学工具和信号处理工具组合起来,每个工具都有自己的输出,然后才能把结果存起来。

jsonW 的做法

jsonw_sinal_audio 函数接收 16 位单声道 PCM 音频,按声明的模式返回一行 jsonW 文本。音高来自归一化自相关,与 Praat 使用的方法相同;jitter 和 shimmer 来自声门脉冲;共振峰来自 LPC;停顿来自 Otsu 阈值,切分点从数据本身得出。

int64_t r = jsonw_sinal_audio(pcm, n, 16000, "sintetico", "a1", saida, sizeof saida, erro, sizeof erro);

{origem: "sintetico", chave: "a1", dur_s: 2, fala_s: 1.6, silencio_pct: 19.1919, pausas: 1, pausa_media_ms: 380, pausa_max_ms: 380, nucleos: 1, taxa_articulacao: 0.625, taxa_fala: 0.5, intensidade_db: -16.0177, intensidade_dp: 0.74886, f0_hz: 164.993, f0_dp: 14.9999, f0_min: 149.997, f0_max: 179.998, jitter_pct: 0.00237075, shimmer_pct: 0.123395, hnr_db: 43.8417, f1: 624.1, f2: 1124.45, f3: 3245.8, mfcc: vf32[-16.138, 14.372, 2.5701, -5.5633, -3.0267, 1.5794, 2.0231, -0.98157, -2.1028, -0.48222, 0.94709, 0.17767, -1.0651], centroide_hz: 293.164, respiracoes: 0, disfluencias: null, vocalizacoes: null, vozeados: 156, quadros: 160}

libjsonw 1.3.11 对 2 秒合成音频的真实输出:150 Hz 的人声、0.4 秒静音、180 Hz 的人声。它找到了 1 次 380 毫秒的停顿,音高在 150 到 180 Hz 之间。

在哪里

在 ABI 中(jsonw_sinal_audio,模式见 jsonw_sinal_esquema)。这一行可以直接写入 .jsw 文件。该功能只测量,不做判断:解读这些数字的是您的模型。

在论文中阅读完整章节 →