Léxico
Léxico: un clasificador de texto sin entrenamiento
Una tabla de términos se convierte en un autómata de Aho-Corasick que encuentra todos los términos de un texto en una pasada, sin distinguir acentos ni mayúsculas.
· jsonW 1.3.11
El problema
Separar mensajes por intención, como compra, cancelación o reclamo, suele pedir un modelo entrenado o una lista de expresiones regulares que crece sin control.
Cómo lo resuelve jsonW
Una tabla con el esquema termo:texto,forma:dic,sinal:dic,peso:f32,idioma:dic,origem:dic se compila, al abrir, en un autómata de Aho-Corasick. Empareja palabras enteras, sin acentos ni mayúsculas, devuelve el fragmento original y suma los pesos por señal.
$ wjsw reconhecer termos.jsw "Quero CANCELAR o pedido, ou então me diga quanto custa o orcamento novo"
3 termo(s), 2 sinal(is)
intenção de compra soma 2.2 vezes 2
risco de perda soma 2 vezes 1
[6..14] CANCELAR (termo 0, risco de perda, peso 2)
[43..55] quanto custa (termo 3, intenção de compra, peso 1.2)
[58..67] orcamento (termo 2, intenção de compra, peso 1)
Salida real, en portugués. "CANCELAR" coincidió con "cancelar" y "orcamento" con "orçamento".
Dónde está
wjsw reconhecer y el Reconhecedor de los SDK. Sirve para triaje y para enviar un pedido al especialista correcto. Encuentra términos; entender la frase sigue siendo trabajo de su modelo.