git clone https://github.com/khuongvo2305/TriVietNLP
We use VNCore NLP to segmentation, POS tagging, NER, classify and then dependency parsing raw data in data/mnt/doc/doc3/ and save as DataFrame in output/result_labeled_test.csv
- Normalize and Clean DataFrames
- Find the most popular people and their keywords and save in
input/4_df_input_getKeyw.csv
You can add more profile to our labeled profile saved in PerfectProfile.csv
with structure: {name:text,alias:list<text>,keyword:list<Dictionary()>,description:text}
With: Keyword[0]
contain kocation keywords and its count, Keyword[1]
contain Location Person keyword its count, Keyword[2]
contain other keywords and its count.
Example:
name | alias | keywords | description
Cầu Thủ Quang Hải<br>| [hải,quang_hải]<br>| [{'mỹ_đình':1}, {'quang_hải': 3, 'huỳnh_anh': 3}, {'đối_mặt': 2, 'nhiều': 2, 'áp_lực': 2, 'antifan': 2, 'chuyện': 2, 'tình_cảm': 2}]<br>| Mô tả cầu thủ Quang Hải
We use our heuristic to match people found in 5
to our labeled profile saved in PerfectProfile.csv
, and display our result on console window.
10 first rows:
form,label,counts
trump,the_gioi,74
ngọc,doi_song,58
phương,doi_song,39
hồ_duy_hải,phap_luat,24
joe_biden,the_gioi,22
diệu_linh,suc_khoe,21
mai_phương,doi_song,20
hải,phap_luat,19
phanxicô,the_gioi,19
We use our algorithms to identify 10 documents saved in /input
and these are our result:
Document 0:
Person: sơn_tùng_m-tp
Score:
[0.01647653 0.0009299 0.00079761 0.00163723 0. 0.00096869
0.00207021 0. 0.00162338]
Predict:
Perdict person: Sơn Tùng M-TP
Description: Nguyễn Thanh Tùng (sinh ngày 5 tháng 7 năm 1994), thường được biết đến với nghệ danh Sơn Tùng M-TP, là một nam ca sĩ, nhạc sĩ và diễn viên người Việt Nam.
Person: nguyễn_thanh_tùng
Score:
[0.01647653 0.0009299 0.00079761 0.00163723 0. 0.00096869
0.00207021 0. 0.00162338]
Predict:
Perdict person: Sơn Tùng M-TP
Description: Nguyễn Thanh Tùng (sinh ngày 5 tháng 7 năm 1994), thường được biết đến với nghệ danh Sơn Tùng M-TP, là một nam ca sĩ, nhạc sĩ và diễn viên người Việt Nam.
-------------------------
Document 1:
Person: sơn_tùng_m-tp
Score:
[0.02237971 0.00138163 0.00137664 0.00106146 0.00050607 0.00115116
0.00148515 0. 0.0018315 ]
Predict:
Perdict person: Sơn Tùng M-TP
Description: Nguyễn Thanh Tùng (sinh ngày 5 tháng 7 năm 1994), thường được biết đến với nghệ danh Sơn Tùng M-TP, là một nam ca sĩ, nhạc sĩ và diễn viên người Việt Nam.
Contributions are what make the open source community such an amazing place to be learn, inspire, and create. Any contributions you make are greatly appreciated.
- Fork the Project
- Create your Feature Branch (
git checkout -b feature/AmazingFeature
) - Commit your Changes (
git commit -m 'Add some AmazingFeature'
) - Push to the Branch (
git push origin feature/AmazingFeature
) - Open a Pull Request