跳到正文
jsonW 论文 GitHub

词表

词表:无需训练的文本分类器

一张词表会变成 Aho-Corasick 自动机,一次扫描就能找出文本中的所有词,不区分重音和大小写。

· jsonW 1.3.11

问题

按意图给消息分类,例如购买、取消或投诉,通常需要训练好的模型,或者一份越写越多、难以控制的正则表达式列表。

jsonW 的做法

模式为 termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic 的词表在打开时被编译成 Aho-Corasick 自动机。它匹配完整的词,不区分重音和大小写,返回原文片段,并按信号累加权重。

$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
  intenção de compra soma 2.2  vezes 2
  risco de perda       soma 2  vezes 1
  [6..14] CANCELAR  (termo 0, risco de perda, peso 2)
  [43..55] quanto custa  (termo 3, intenção de compra, peso 1.2)
  [58..67] orcamento  (termo 2, intenção de compra, peso 1)

真实输出(葡萄牙语)。"CANCELAR"匹配了"cancelar","orcamento"匹配了"orçamento"。

在哪里

wjsw reconhecer 和各 SDK 中的 Reconhecedor。它适用于分流,以及把请求转给合适的专家处理。它负责找出词语;理解句子仍是您的模型的工作。

在论文中阅读完整章节 →