phongnt570/uetsegmenter

A toolkit for Vietnamese word segmentation

uetsegmenter's Issues

A simple preparative feature example

I would like to implement a demo using your approach.

How can I prepare input file. Do I have to segment the sentence first?
After that, I would like to know the format of input (I mean your features) which is used to train Logistic Regression.

I have an example.

Trong vũ_trụ , thời_gian có_thể tồn_tại khắp mọi nơi ?
Có_thể không phải vậy , các nhà_khoa_học cho_rằng ở trung_tâm của một hố đen là không có thời_gian .
Điều này thật khó để tưởng_tượng , bởi chính các hố đen có một lực hấp_dẫn rất mạnh , không có bất_cứ một photon nào ( ánh_sáng hạt ) có_thể thoát_khỏi lực hút của nó .
Thực_sự không_thể quan_sát bên_trong hố đen dù có sử_dụng kính_thiên_văn tốt nhất trên thế_giới .

Thank and best regards,

Xin bản quyền sử dụng

Hi Phong,

Anh đang viết thư viện https://github.com/telexyz/syll2words, và có một phần mã nguồn từ UETsegmenter nên muốn hỏi em bản quyền để sử dụng. Em đọc https://github.com/telexyz/syll2words/blob/master/README.md để biết thêm chi tiết nhé.

Anh thấy UETsegmenter ko đề LICENSE nên có lẽ là em sẽ cho phép mọi người sử dụng lại mã nguồn mình viết 👍 👍 👍, hoặc có thể ngược lại nên anh muốn hỏi em cho chắc chắn.

Mong em trả lời sớm,

Dũng.

Prepare new dataset for training process

Dear,
May I ask how I can prepare new dataset for training another new model to match my problem?
Could you please give us guide?
Thank you

Code Review

Multiple meaningless null checks

Example: https://github.com/phongnt570/UETsegmenter/blob/master/src/vn/edu/vnu/uet/nlp/tokenizer/Tokenizer.java#L25

s can not be null. You already call s before.

String[] tempTokens = s.split("(\\s| )+");

if (trimed.isEmpty() || trimed.equals(StringConst.SPACE) || s == null || tempTokens.length == 0) {
     return tokens;
}

Short approach introduction

Please, give us some approach introduction so we can follow more easily

DATA FORMAT

Hello,

Could you give me the example of training data and test data? I want to retrain your model in my own data, but there is no description for the data format.

Hope to hear from you soon,
Many thanks.

add trainning data

I want to add my training data into this library to retrain the algorithm, how can i do? And where can I acquire the original training data?