Léxico
Léxico: um classificador de texto sem treinamento
Uma tabela de termos vira um autômato de Aho-Corasick que acha todos os termos num texto numa passada, sem diferenciar acento nem maiúsculas.
· jsonW 1.3.11
O problema
Separar mensagens por intenção, como compra, cancelamento ou reclamação, costuma pedir um modelo treinado ou uma lista de expressões regulares que cresce sem controle.
Como o jsonW resolve
Uma tabela com o esquema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic é compilada, ao abrir, num autômato de Aho-Corasick. Ele casa palavra inteira, sem acento e sem caixa, devolve o trecho original e soma os pesos por sinal.
$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
intenção de compra soma 2.2 vezes 2
risco de perda soma 2 vezes 1
[6..14] CANCELAR (termo 0, risco de perda, peso 2)
[43..55] quanto custa (termo 3, intenção de compra, peso 1.2)
[58..67] orcamento (termo 2, intenção de compra, peso 1)
Saída real. "CANCELAR" casou com "cancelar" e "orcamento" casou com "orçamento".
Onde está
wjsw reconhecer e o Reconhecedor dos SDKs. Serve para triagem e para mandar um pedido ao especialista certo. Ele acha termos; entender a frase continua sendo trabalho do seu modelo.