phuonglh/vlp

Vietnamese Language Processing Toolkit

vlp's Issues

[Tok] Tokenizer không chính xác cho "name"

Trong file vlp.tok.Tokenizer dòng 32:

Brick("name", raw"""\b(\p{Lu}\p{Ll})([\s+_&-]?(\p{Lu}\p{Ll}))+\b""".r, 2),

Regex không cover nhiều trường hợp còn thiếu như:

• iPhone
• iPhone_12
• iPhone_12_Pro_Max
• iPhone_12_Pro_Max_128_GB
• Honda_CBR150R
• TP.HCM
• ...

Đề xuất:

Brick("name", raw"""\b(\p{Ll}?\p{Lu}\p{Ll})([\s+_&-.]?((\p{Lu}\p{Ll})|((\p{Lu}\p{Ll})?\d+(\p{Lu}\p{Ll})?)))+\b""".r, 2),

Báo lỗi khi chạy file tok.jar sau khi build

Dear anh @phuonglh ,
Mình làm theo hướng dẫn build package bằng sbt của anh, sau khi compile và assembly xong, mình chạy file tok.jar theo code mẫu của anh nhưng không được, nó báo lỗi Error: Unable to initialize main class vlp.tok.VietnameseTokenizer. Caused by: java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

Không biết lỗi này do đâu và cách khắc phục ntn, mong anh hỗ trợ giúp nhé.
Cảm ơn anh.