词表
词表:无需训练的文本分类器
一张词表会变成 Aho-Corasick 自动机,一次扫描就能找出文本中的所有词,不区分重音和大小写。
· jsonW 1.3.11
问题
按意图给消息分类,例如购买、取消或投诉,通常需要训练好的模型,或者一份越写越多、难以控制的正则表达式列表。
jsonW 的做法
模式为 termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic 的词表在打开时被编译成 Aho-Corasick 自动机。它匹配完整的词,不区分重音和大小写,返回原文片段,并按信号累加权重。
$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
intenção de compra soma 2.2 vezes 2
risco de perda soma 2 vezes 1
[6..14] CANCELAR (termo 0, risco de perda, peso 2)
[43..55] quanto custa (termo 3, intenção de compra, peso 1.2)
[58..67] orcamento (termo 2, intenção de compra, peso 1)
真实输出(葡萄牙语)。"CANCELAR"匹配了"cancelar","orcamento"匹配了"orçamento"。
在哪里
wjsw reconhecer 和各 SDK 中的 Reconhecedor。它适用于分流,以及把请求转给合适的专家处理。它负责找出词语;理解句子仍是您的模型的工作。