Luận văn thạc sĩ nghiên cứu thuật toán tách từ tiếng lào và xây dựng ứng dụng hỗ trợ tra cứu từ mới tiếng lào việt

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG LUẬN VĂN THẠC SĨ Tên đề tài: Nghiên cứu thuật toán tách từ tiếng Lào xây dụng ứng dụng hỗ trợ tra cứu từ tiếng Lào – Việt Giáo viên hướng dẫn : TS NÔNG THỊ HOA Học viên th ực : VONGPHASITH END Lớp: : Cao học K16A Thái Nguyên, tháng năm 2019 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn DANH SÁCH CÁC BẢNG Bảng 2.1: Một số công cụ dùng cho tác từ có Bảng 3.1: Một số cặp từ Việt-Lào thu thập Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn DANH SÁCH CÁC HÌNH VẼ Hình 3.1: Danh sách số file âm đọc tiếng Lào Hình 3.2: Danh sách số file âm đọc tiếng Việt Hình 3.3: Giao diện tra từ điển trang http://vietlao.classbook.vn/ Hình 3.4: Giao diện tra từ điển trang http://www.vietnamese-translation.com Hình 3.5: Giao diện tra từ điển trang https://glosbe.com Hình 3.6: Giao diện tra từ điển Google Translate Hình 3.7: Giao diện tra từ điển Trang Laban.vn Hình 3.8: Giao diện tra từ điển trang tracau.vn Hình 3.9: Vị trí nhập từ cần tra Hình 3.10: Vị trí lệnh dịch từ Hình 3.11: Kết dịch Hình 3.12: Vị trí chọn nghe âm Hình 3.13: Kết tra từ “ba” Hình 3.14: Kết tra từ “đa” Hình 3.15: Kết tra từ “dân” Hình 3.16: Kết tra từ “khoanh” Hình 3.17: Kết tra từ “khó” Hình 3.18: Kết tra từ “hai” Hình 3.19: Kết tra từ “kế” Hình 3.20: Kết tra từ “khách” Hình 3.21: Kết tra từ “lạc” Hình 3.22: Kết tra từ “nam” Hình 3.23: Kết tra từ “ngay” Hình 3.24: Kết tra từ “ngày” Hình 3.25: Kết tra từ “nghi” Hình 3.26: Kết tra từ “phân” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn MỤC LỤC DANH SÁCH CÁC BẢNG DANH SÁCH CÁC HÌNH VẼ CHƯƠNG I: NGỮ PHÁP TIẾNG LÀO 1.1Giới thiệu chung 1.2Thanh điệu bảng chữ 1.2.1Thanh điệu tiếng Lào 1.2.2Bảng chữ tiếng Lào 1.3Ngữ pháp tiếng Lào 1.3.1Biến cách đặc biệt Ngữ ph 1.3.2Quan hệ Danh từ 1.3.3Danh xưng 1.3.4Quan hệ Danh từ Tín 1.3.5Động từ Thời Hàn 1.4Các Thể Ngữ pháp Ngôn ngữ Lào - Thái – Khmer 1.4.1Thể Nghi vấn Ngôn ngữ CHƯƠNG II: CÁC KỸ THUẬT TÁCH TỪ TRONG XỬ LÝ NGÔN NGỮ TỰ NHIÊN 24 2.1 Giới thiệu chung………………………… …………………………………………………….…………………… 24 2.1.1Xử lý ngôn ngữ tự nhiên 2.1.2Tách từ Xử lý ngôn ngữ 2.2Các kỹ thuật tách từ có 2.2.1Mơ hình ngơn ngữ 2.2.2Một số cách tiếp cận toán 2.2.3Thuật toán tách từ phổ biến 2.2.4Một số vấn đề mở rộng 2.3Dùng kỹ thuật Pointwise cho tách từ 2.3.1Ý tưởng 2.3.2Những đặc trưng sử dụn 2.3.3Đặc điểm liệu huấn luy 2.4Một số công cụ (Tools) dùng cho tách từ CHƯƠNG III: XÂY DỰNG ỨNG DỤNG TRA CỨU TỪ ĐIỂN VIỆT-LÀO 3.1Giới thiệu toán 3.2Thu thập liệu để xây dựng từ điển Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn 3.3Khảo sát số phần mềm tra từ điển 3.4Phân tích thiết kế liệu 3.4.1Các yêu cầu chức 3.4.2Các yêu cầu phi chức 3.4.3Thiết kế sở liệu 3.5Xây dựng chương trình 3.5.1Hướng dẫn sử dụng chương t 3.5.2Các giao diện chương trình 3.5.3Một số đoạn code quan trọng KẾT LUẬN HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn CHƯƠNG I: NGỮ PHÁP TIẾNG LÀO 1.1 Giới thiệu chung Tiếng Lào [2] ngôn ngữ thuộc Ngữ chi Thái hệ ngôn ngữ TaiKadai Tiếng Lào chịu ảnh hưởng tiếng Phạn Tiếng Lào ngôn ngữ truyền thống hoàng gia Lào, truyền đạt tư tưởng Ấn Độ giáo Phật giáo Bảng chữ Lào thức cho ngơn ngữ thức, sử dụng để ghi lại ngôn ngữ dân tộc thiểu số nước, dân tộc có chữ riêng Hmơng sử dụng chữ Tiếng Lào có ảnh hưởng nhiều đến ngôn ngữ khác vùng lân bang tiếng Thái, tiếng Khmer, tiếng Việt Lào ngữ coi ngôn ngữ hỗn hợp bán đảo Đơng Nam Á Tiếng Lào có điệu phát âm giống tiếng Thái, phần tương đồng lên đến 80% Vì đối thoại người Lào người Thái Lan hiểu Ở Việt Nam, tiếng Lào không công nhận ngôn ngữ thiểu số, nhiên tiếng Lào nói số vùng núi gần biên giới Việt-Lào người dân xem tiếng Lào ngơn ngữ thương mại khu vực 1.2 Thanh điệu bảng chữ 1.2.1 Thanh điệu tiếng Lào Tiếng Lào có điệu [3] tương đương với điệu tiếng Việt, nhiên có điệu gọi luyến lên – luyến xuống lại biến đổi tùy trường hợp sử dụng Ngữ điệu tiếng Lào quy định năm điệu: Thanh cao (thanh sắc) tạo mái tri viết ” ໊ “ Thanh thấp (thanh huyền) tạo mái ệc viết ‘ ่’ tức dấu nháy sắc phía Thanh (thanh khơng hay bằng) nghĩa khơng có dấu Thanh luyến lên (thanh hỏi) tạo mái chặt-ta-wa viết ” ่” tức dấu cộng phía đầu Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn Thanh luyến xuống (thanh nặng) gọi mái thô viết ” ໊ ” giống dấu ngả tiếng Việt phía phát âm gần giống nặng tiếng Việt Riêng “thanh luyến xuống” (hay gọi “thanh lên – xuống khng ại) “độc” = “đơộc”, “đọc” = “đoọc”… Bộ âm tiếng không phát âm đồng âm “â” mà phát âm “ơ” Đặc biệt tiếng Lào khơng có chữ tương đương với “r” nên từ Việt Nam có chữ “r” đứng đầu phiên âm qua tiếng Lào bị đổi sang “s” Hoặc “L” “gi” (chữ ລ) dùng chữ Lào tương đương với âm “gi” (tức ລ) thường hay bị đọc thành “nh” Để nghe đọc điệu tiếng Lào, vui lòng nghe hát phiên âm tiếng Lào qua phát âm Việt hát Việt phát âm tiếng Lào 1.2.2 Bảng chữ tiếng Lào Phần liệt kê phụ âm nguyên âm tiếng Lào [1] Phụ âm ກ co ກ đo ກ p’hỏ ກກ ngỏ Nguyên âm Khi ghép vần với phụ âm xếp theo thứ tự: +ກ +ກ a ກxກ ກx ệ Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn ກ+ກ ກ+ກ ກ ợ ກ+ ກ+ ạy ay au Số đếm tiếng Lào Số đếm tiếng Lào viết có khác nhiều so với tiếng Thái, phát âm gần giống hoàn toàn với số đếm tiếng Thái Chỉ số tiếng Lào phát âm ‘cậu’, tiếng Thái phát âm ‘cạu’: Số Số Số Số Số Số Số Số Số Số Số 10 1.3 Ngữ pháp tiếng Lào Đối với Ngôn ngữ Đông Dương Lào, Campuchia, Việt Nam Thái Lan Ngữ pháp có nhiều điểm tương đồng [4] Tương đồng Ngữ pháp Ngơn ngữ 'nói xuôi' tức ghép tất Từ vựng lại với theo kiểu Từ - liền - Từ (word - to - word) Từ có ý nghĩa quan trọng xếp đầu câu, Từ quan trọng bị xếp cuối câu Trong lúc phần lớn Ngôn ngữ tiếng Anh, tiếng Hoa, tiếng Đức ngược lại Từ quan trọng xếp cuối câu từ quan trọng xếp đầu câu Vì muốn diễn nghĩa câu tiếng Lào, tiếng Thái tiếng Campuchia sang tiếng Việt dịch nghĩa Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn Qua khảo sát phần mềm trên, bước quan trọng tra từ phần mềm tra từ điển đơn giản gồm - Nhập từ cần tra, chọn ngôn ngữ gốc - Chọn ngôn ngữ cần dịch sang - Yêu cầu dịch Kết hiển thị gồm nghĩa, số câu ví dụ số từ gần giống hay có liên quan Đặc biệt Google Translate có thêm phần âm đọc từ Phần thông tin bố trí giao diện chia thành phần - Nhập thông tin từ cần tra lựa chọn ngôn ngữ gốc, ngôn ngữ cần dịch sang Nút lệnh yêu cầu dịch phía - Kết dịch ví dụ phía phần nhập thông tin - Các từ tương đồng thường để bên trái bên phải 3.4 Phân tích thiết kế liệu 3.4.1 Các yêu cầu chức - Cho phép tra từ điển từ tiếng Việt sang tiếng Lào - Cho phép tra từ điển từ tiếng Lào sang tiếng Việt - Hiện kết tra từ có bao gồm từ tương đồng - Cho phép đọc từ tiếng Việt - Cho phép đọc từ tiếng Lào Các bước thực tra từ, kết quả, cách bố trí thơng tin giống thông tin thu qua việc khảo sát 3.4.2 Các yêu cầu phi chức - Giao diện thân thiện, đơn giản dễ dùng - Hỗ trợ nhập từ cần tìm cách dễ dàng - Chương trình phản hồi kết tra cứu nhanh chóng Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 49 http://lrc.tnu.edu.vn - Âm đọc từ phải rõ ràng xác - Trình bày thơng tin rõ ràng, dễ đọc - Bố trí mục tin khoa học giống số phần mềm phổ biến 3.4.3 Thiết kế sở liệu Cơ sở liệu gồm loại: - Các file âm đọc từ tiếng Việt đọc từ tiếng Lào - File văn có cặp từ Việt-Lào Thiết kế bảng lưu trữ cặp từ STT Tên trường MaCaptu TiengViet TiengLao 3.5 Xây dựng chương trình Chương trình xây dựng phần mềm Visual Studio Cơ sở liệu lưu SQLlite, hai thư mục (chứa file âm tiếng Việt âm tiếng Việt) Dưới số giao diện chương trình thực tra từ điển số đoạn code xử lý quan trọng chương trình 3.5.1 Hướng dẫn sử dụng chương trình Bước 1: Nhập từ khóa cần tra cứu (tiếng Việt tiếng Lào) vào phần khoanh đỏ hình ảnh phía Số hóa Trung tâm Học liệu Cơng nghệ thơng tin – ĐHTN 50 http://lrc.tnu.edu.vn Hình 3.9: Vị trí nhập từ cần tra Bước 2: Bấm chuột vào nút “Dịch” hình ảnh bên Hình 3.10: Vị trí lệnh dịch từ Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 51 http://lrc.tnu.edu.vn Kết trả sau Hình 3.11: Kết dịch Bước 3: Nghe âm từ cần tra Hình 3.12: Vị trí chọn nghe âm Số hóa Trung tâm Học liệu Cơng nghệ thông tin – ĐHTN 52 http://lrc.tnu.edu.vn 3.5.2 Các giao diện chương trình Hình 3.13: Kết tra từ “ba” Hình 3.14: Kết tra từ “đa” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 53 http://lrc.tnu.edu.vn Hình 3.15: Kết tra từ “dân” Hình 3.16: Kết tra từ “khoanh” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 54 http://lrc.tnu.edu.vn Hình 3.17: Kết tra từ “khó” Hình 3.18: Kết tra từ “hai” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 55 http://lrc.tnu.edu.vn Hình 3.19: Kết tra từ “kế” Hình 3.20: Kết tra từ “khách” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 56 http://lrc.tnu.edu.vn Hình 3.21: Kết tra từ “lạc” Hình 3.22: Kết tra từ “nam” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 57 http://lrc.tnu.edu.vn Hình 3.23: Kết tra từ “ngay” Hình 3.24: Kết tra từ “ngày” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 58 http://lrc.tnu.edu.vn Hình 3.25: Kết tra từ “nghi” Hình 3.26: Kết tra từ “phân” Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 59 http://lrc.tnu.edu.vn 3.5.3 Một số đoạn code quan trọng Đoạn code chạy file âm private void picBox_Viet_Click(object sender, EventArgs e) { try { WindowsMediaPlayer player = new WindowsMediaPlayer(); Player.URL = ""; string x = "audio_vn/" + stt_audio + ".mp3"; Player.URL = x.ToString(); Player.controls.play(); } catch (Exception nn) { MessageBox.Show("ERROR !!! : " + nn.Message); } } private void picBox_LAO_Click(object sender, EventArgs e) { try { WindowsMediaPlayer player = new WindowsMediaPlayer(); Player.URL = ""; string x = "audio_lao/" + stt_audio + ".mp3"; //string x = "audio/music1.mp3"; Player.URL = x.ToString(); Player.controls.play(); } catch (Exception nn) { MessageBox.Show("ERROR !!! : "+nn.Message); } } Đoạn code tìm từ sở liệu public void readwrite_File() { try { using (StreamReader sr = new StreamReader("tudienvietlao.txt")) { string line; int i = 1; while ((line = sr.ReadLine()) != null) { / x xau line ko ? bool check = line.Contains(txt_tiengviet.Text.ToString().Trim()); if(check==true) { string[] arrListStr = line.Split('|'); if (i == 1) { stt_audio = arrListStr[0].Trim(); } TXT_VIET.Text += i.ToString()+": " +arrListStr[1]+Environment.NewLine; Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 60 http://lrc.tnu.edu.vn TXT_LAO.Text += i.ToString() + ": Environment.NewLine; " + arrListStr[2] + i++; } } if (i == 1) { MessageBox.Show("Khơng có kết , chưa có liệu từ !!!", "Thông báo"); } } } } catch (Exception e) { MessageBox.Show("Thông báo","Error !!!"+e.Message); } Đoạn code thực tra từ private void picBox_Viet_Click(object sender, EventArgs e) { try { Player.URL = ""; string x = "audio_vn/" + stt_audio + ".mp3"; Player.URL = x.ToString(); Player.controls.play(); } catch (Exception nn) { MessageBox.Show("ERROR !!! : " + nn.Message); } } Số hóa Trung tâm Học liệu Cơng nghệ thông tin – ĐHTN 61 http://lrc.tnu.edu.vn KẾT LUẬN Trong q trình thực luận văn, chúng tơi làm cơng việc sau:  Tìm hiểu đặc trưng ngữ pháp hệ thống ngữ pháp chữ viết Lào  Nghiên cứu phương pháp tách từ  Xây dựng ứng dụng tra cứu từ điển song ngữ Việt-Lào Do thời gian trình độ cịn hạn chế nên lượng kiến thức tích lũy cịn nên chưa hiểu kỹ chưa vận dụng thuật toán tách từ chuyên nghiệp vào tách từ cho câu Chương trình tra từ điển song ngữ đáp ứng yêu cầu quan đơn giản so với phần mềm từ điển chuyên nghiệp HƯỚNG PHÁT TRIỂN Do thời gian có hạn nên chúng tơi chưa thể ứng dụng hết kỹ thuật học để tách từ tiếng Lào Hướng phát triển luận văn tìm hiểu kỹ kỹ thuật tách từ vận dụng để phát triển chương trình cho phép dịch câu Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 62 http://lrc.tnu.edu.vn TÀI LIỆU THAM KHẢO ວວັດຈະນານນຸກກົມພາສາລາວ (Từ điển tiếng Lào) http://bolikhamxay.gov.la Tiếng Lào, Bách khoa toàn thư mở Wikipedia, https://vi.wikipedia.org/wiki/Ti%E1%BA%BFng_L%C3%A0o https://www.hoctienglao.vn/chuyen-muc/ngu-phap-1.html Ngữ pháp tiếng Lào, http://vphat.ddns.net/hoptac/index.php? language=vi&nv=data&op=Ngu-phap-Lao https://vi.wikipedia.org/wiki/X%E1%BB%AD_l%C3%BD_ng%C3%B4n_ng %E1 %BB%AF_t%E1%BB%B1_nhi%C3%AAn http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/thuat-toantach-tu-tokenizer/thuat-toan-tach-tu http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/mo-hinhngon-ngu http://www.vietlex.com/xu-li-ngon-ngu/117Ung_dung_phuong_phap_Pointwise_vao_bai_toan_tach_tu_cho_tieng_Viet https://xltiengviet.fandom.com/wiki/T%C3%A1ch_t%E1%BB%AB 10 http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/thuattoan-tach-tu-tokenizer/thuat-toan-tach-tu Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN 63 http://lrc.tnu.edu.vn ... tra cứu từ điển Việt ? ?Lào trình bày để giúp cho bạn sinh viên Lào học tiếng Việt thuận lợi Các từ tra cứu nhanh chóng có phần âm (gồm tiếng Việt tiếng Lào) kèm 3.2 Thu thập liệu để xây dựng từ. .. Tiếng Lào Tiếng Thái Tiếng Khmer Tiếng Việt Từ loại (phân loại Danh từ) Đặc biệt, Ngôn ngữ Lào, Thái, Khmer, tiếng Hàn tiếng Nhật tiếng Việt có Lượng từ kèm theo Danh từ vấn đề khơng dừng lại chỗ... 3.13: Kết tra từ “ba” Hình 3.14: Kết tra từ “đa” Hình 3.15: Kết tra từ “dân” Hình 3.16: Kết tra từ “khoanh” Hình 3.17: Kết tra từ “khó” Hình 3.18: Kết tra từ “hai” Hình 3.19: Kết tra từ “kế” Hình