vinairesearch/phomt

PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation (EMNLP 2021)

PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation

PhoMT is a high-quality and large-scale Vietnamese-English parallel dataset of 3.02M sentence pairs. The dataset statistics are as follows:

Details of the dataset construction and experimental results can be found in our EMNLP 2021 paper:

@inproceedings{PhoMT,
title     = {{PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation}},
author    = {Long Doan and Linh The Nguyen and Nguyen Luong Tran and Thai Hoang and Dat Quoc Nguyen},
booktitle = {Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing},
year      = {2021},
pages     = {4495--4503}
}

Please follow this LINK to download the PhoMT dataset. By downloading this dataset, USER agrees:

• to use the dataset for research or educational purposes only.
• to not distribute the dataset or part of the dataset in any original or modified form.
• and to cite our EMNLP 2021 paper "PhoMT: A High-Quality and Large-Scale Benchmark Dataset for Vietnamese-English Machine Translation" whenever the dataset is used to help produce published results.

Note: We performed Vietnamese tone normalization on the Vietnamese sentences, using a Python script.

Copyright (c) 2021 VinAI Research

THE DATA IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE DATA OR THE USE OR OTHER DEALINGS IN THE
DATA.

phomt's Issues

Unable to download dataset due to affiliation email

Chào anh @datquocnguyen, không biết VinAI có hỗ trợ nghiên cứu sinh tự do không ạ?

Hiện tại em không tải về được dataset bởi vì yêu cầu affiliation email, hiện tại em đang mong muốn viết một chương trình ráp câu tiếng Anh và tiếng Việt, ví dụ:

1. Thank you, Steven.
2. I also put an advanced Fourier system on the main hallway chalkboard.
3. I'm hoping that one of you might prove it by the end of the semester.
4. Now the person to do so will not only be in my good graces...
5. but also go on to fame and fortune...

a. Cám ơn em, Steven.
b. Tôi cũng đã đặt bài hệ thống Fourier nâng cao ở trên bảng ở ngoài phòng đợi chính.
c. Tôi hy vọng là một trong số các em có thể chứng minh nó trước khi kết thúc học kỳ này.
d. Vậy người mà có thể làm được không chỉ được tôi trợ giúp...
e. mà còn tiếp tục được nổi tiếng và cả may mắn nữa...

Hi vọng có thể dạy một LLM để nó ráp lại kết quả thành 1a 2b 3c 4d 5e (trong thực tế có thể là 1a 2a 3b 4 5c).

Tiếp cận với dataset này là bước đầu để viết chương trình đó, hy vọng được VinAI hỗ trợ ạ, nếu có thể thì cho em xin dataset về [email protected].

Cảm ơn anh nhiều ạ.