Xây dựng ngữ liệu song ngữ Việt-K'Ho

Abstract

Ngữ liệu song ngữ là dữ liệu văn bản của hai ngôn ngữ được dịch tương ứng 1-1 về mặt ngữ nghĩa. Đây là nguồn dữ liệu hữu ích trong xử lý ngôn ngữ tự nhiên, đặc biệt là dịch máy thống kê. Do sự giới hạn của kích thước nguồn dữ liệu từ điển mà cần thiết phải mở rộng được từ điển bằng cách thu thập thêm các nguồn dữ liệu khác. Nghiên cứu này giới thiệu một quy trình xử lý và tổng hợp dữ liệu từ điển Việt - K'Ho từ nhiều nguồn khác nhau sử dụng phương pháp gióng từ trên văn bản song ngữ nhằm trích xuất các cặp từ song ngữ có mối quan hệ dịch. Kết quả thực nghiệm cho thấy chương trình gióng từ dựa trên mô hình IBM hiệu quả hơn chương trình dựa trên mô hình BERT với thời gian thực thi nhanh hơn.

A bilingual corpus is a collection of texts of two languages translated 1-1 seman-tically. It is a valuable data source in natural language processing, especially sta-tistical machine translation. Due to the limitation of the size of the dictionary data source, it is necessary to augment the dictionary by collecting additional data sources. This study introduces a process of processing and aggregating Vietnam-ese-K'Ho dictionary data from various sources using word alignment on bilingual text to extract bilingual word pairs with translation relationships. The experi-mental results showed that the IBM model-based word aligner was more effec-tive than the BERT model-based aligner with faster execution time.