Pular para o conteúdo
jsonW Paper GitHub

Léxico

Léxico: um classificador de texto sem treinamento

Uma tabela de termos vira um autômato de Aho-Corasick que acha todos os termos num texto numa passada, sem diferenciar acento nem maiúsculas.

· jsonW 1.3.11

O problema

Separar mensagens por intenção, como compra, cancelamento ou reclamação, costuma pedir um modelo treinado ou uma lista de expressões regulares que cresce sem controle.

Como o jsonW resolve

Uma tabela com o esquema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic é compilada, ao abrir, num autômato de Aho-Corasick. Ele casa palavra inteira, sem acento e sem caixa, devolve o trecho original e soma os pesos por sinal.

$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
  intenção de compra soma 2.2  vezes 2
  risco de perda       soma 2  vezes 1
  [6..14] CANCELAR  (termo 0, risco de perda, peso 2)
  [43..55] quanto custa  (termo 3, intenção de compra, peso 1.2)
  [58..67] orcamento  (termo 2, intenção de compra, peso 1)

Saída real. "CANCELAR" casou com "cancelar" e "orcamento" casou com "orçamento".

Onde está

wjsw reconhecer e o Reconhecedor dos SDKs. Serve para triagem e para mandar um pedido ao especialista certo. Ele acha termos; entender a frase continua sendo trabalho do seu modelo.

Leia a seção completa no paper →