Tối ưu bảng cụm từ để cải tiến dịch máy thống kê

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG - - KIỀU CƠNG CHÍNH TỐI ƢU BẢNG CỤM TỪ ĐỂ CẢI TIẾN DỊCH MÁY THỐNG KÊ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii MỤC LỤC MỞ ĐẦU CHƢƠNG I: DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ 1.1 Ngôn ngữ tự nhiên 1.2 Dịch máy 1.3 Dịch máy thống kê dựa vào cụm từ .4 1.3.1 Cơ sở phương pháp dịch máy thống kê .5 1.3.2 Gióng hàng từ, gióng hàng thống kê 1.3.3 Dịch máy thống kê dựa sở cụm từ 1.3.4 Mục đích việc dịch máy thống kê sở cụm từ 11 1.3.5 Đảo cụm từ dịch máy thống kê .13 1.3.6 Bảng cụm từ dịch máy thống kê 13 1.4 Mơ hình ngơn ngữ 14 CHƢƠNG II: PHƢƠNG PHÁP TỐI ƢU BẢNG CỤM TỪ 16 2.1 Quy trình sinh bảng cụm từ 16 2.2 Phƣơng pháp tối ƣu bảng cụm từ .19 2.2.1 Chỉ số cụm từ nguồn .19 2.2.2 Lưu trữ cụm từ mục tiêu 20 2.2.3 Nén ngữ liệu song ngữ 22 2.2.4 Nén bảng cụm từ .27 2.2.5 Mã hóa cụm từ 31 2.2.6 Giải mã cụm từ 33 CHƢƠNG III: ĐÁNH GIÁ THỰC NGHIỆM BẰNG HỆ DỊCH MÁY THỐNG KÊ MOSES 36 3.1 Môi trƣờng triển khai 36 3.2 Xây dựng chƣơng trình dịch thực nén bảng cụm từ 36 3.2.1 Chuẩn hóa liệu 36 3.2.2 Xây dựng mơ hình ngơn ngữ, mơ hình dịch 37 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii 3.2.3Nén bảng cụm 3.2.4Đánh giá kết 3.3 Thực nghiệm đánh giá kết dịch tiếng Anh sang tiếng Việt 3.3.1Thực nghiệm 3.3.2Thực nghiệm 3.3.3Đánh giá kết 3.3.4Đánh giá kết 3.3.5 Đánh giá kết theo thời gian tải bảng cụm từ PHỤ LỤC Kết dịch máy câu đơn giản Kết dịch máy liệu Một số công cụ tiền xử lý thường hay sử dụng tr Tài liệu tham khảo Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv DANH MỤC HÌNH Hình 1.1: Sơ đồ hệ dịch phương pháp thống kê Hình 1.2: Gióng hàng với từ tiếng anh độc lập Hình 1.3: Gióng hàng với từ tiếng việt độc lập Hình 1.4: Gióng hàng tổng quát .7 Hình 1.5: Mơ hình dịch từ Tiếng Anh- Tiếng Việt Hình 1.6: Mô tả việc giải mã 12 Hình 2.1: Sơ đồ đơn giản hóa bảng cụm từ 19 Hình 2.2: Mơ tả q trình tạo Huffman 26 Hình 3.1: Dịch câu đơn giản với bảng cụm từ gốc .51 Hình 3.2: Dịch câu đơn giản với bảng cụm tối ưu 51 Hình 3.3: Điểm Bleu liệu bảng cụm từ gốc 52 Hình 3.4: Điểm Bleu liệu bảng cụm từ tối ưu .52 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v DANH MỤC BẢNG Bảng 2.1 : Một số phần tử bảng cụm từ 18 Bảng 2.2: Bảng mã hóa huffman 27 Bảng 2.3: Bảng tùy chọn mã Simple 28 Bảng 3.1: Ngữ liệu tiếng việt 40 Bảng 3.2: Ngữ liệu tiếng anh 40 Bảng 3.5: Dữ liệu đầu vào 42 Bảng 3.3: So sánh kết dịch máy với câu đơn 43 Bảng 3.4: So sánh hai phương pháp dịch với đầu vào văn 44 Bảng 3.5: So sánh liệu bảng cụm từ gốc bảng cụm sau nén 45 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC BIỂU ĐỒ Biểu đồ 3.1: Biểu đồ so sánh 1………………………………………………… 45 Biểu đồ 3.2: Biểu đồ so sánh …………………………………………………46 Biểu đồ 3.3: Biểu đồ so sánh ……………………………………………………48 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii DANH SÁCH CÁC TỪ VIẾT TẮT Viết tắt PB-SMT SMT PR-Enc Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỞ ĐẦU Hiện giới có khoảng 5650 ngơn ngữ khác nhau, với số lượng ngôn ngữ lớn gây nhiều khó khăn việc trao đổi thơng tin, giao tiếp, đồng thời ngăn cản phát triển thương mại mậu dịch quốc tế Mặt khác, với việc bùng nổ Internet nay, có khối lượng văn khổng lồ Internet mà phần lớn tiếng Anh Do tính đa dạng mà việc hiểu văn hồn tồn khơng dễ chút Do việc có hệ dịch tự động Anh-Việt cần thiết Với khó khăn người ta phải dùng đến đội ngũ phiên dịch khổng lồ, để dịch văn bản, tài liệu, lời nói từ tiếng nước sang tiếng nước khác Những cơng việc mang tính chất thủ cơng, nặng nhọc khối lượng văn cần dịch ngày nhiều Để khắc phục nhược điểm có nhiều hệ thống tự động dịch miễn phí mạng như: systran, google translate, vietgle, vdict Những hệ thống cho phép dịch tự động văn với cặp ngơn ngữ chọn trước (ví dụ dịch từ tiếng Anh sang tiếng Việt) [1] Điều cho thấy phát triển dịch máy ngày tiến gần đến ngôn ngữ tự nhiên người Ngay từ xuất máy tính điện tử người ta tiến hành nghiên cứu dịch máy Cơng việc đưa mơ hình tự động cho việc dịch phát triển, chưa giải triệt để lớp ngôn ngữ tự nhiên Nhưng đời chúng khẳng định ích lợi to lớn mặt chiến luợc kinh tế, đồng thời vấn đề liên quan đến dịch máy chủ đề quan trọng ngành khoa học máy tính, chúng liên quan đến vấn đề xử lí ngơn ngữ tự nhiên, vấn đề có ý nghĩa mà trí tuệ nhân tạo có khả giải Người ta tin việc xử lí ngơn ngữ tự nhiên có dịch máy giải pháp cho việc mở rộng cánh cửa đối thoại người-máy, lúc người khơng phải tiếp xúc với Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn máy qua dịng lệnh cứng nhắc mà giao tiếp cách trực tiếp với máy Với phát triển mạnh mẽ dịch máy tự động dịch máy thống kê (Statistical Machine Translation) chứng tỏ hướng tiếp cận đầy tiềm ưu điểm vượt trội so với phương pháp dịch máy dựa cú pháp truyền thống Kết thực tế hệ thống dịch máy thống kê tốt hơn, ngôn ngữ dịch ngày gần với ngôn ngữ người, giúp người trao đổi thông tin dễ dàng hơn, tốc độ nhanh với nhiều ngôn ngữ Hiện nay, phương pháp dịch thống kê dựa cụm từ phương pháp cho kết dịch tốt Để dịch hiệu bảng cụm từ phải lớn việc lưu trữ tìm kiếm bảng cụm từ quan trọng Chính thế, luận văn lựa chọn thực đề tài “Tối ƣu bảng cụm từ để tiến dịch máy thống kê” Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn CHƢƠNG I: DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ Hiện dịch máy thông kê dựa sở cụm từ hướng phát triển nhiều người quan tâm Dịch máy thống kê dựa cụm từ nhằm mục đích dịch văn từ ngơn ngữ nguồn sang ngơn ngữ đích dựa vào bảng ngữ cụm từ sau thực việc gióng hàng từ, gióng hàng thống kê, đảo cụm từ… kết hợp với mơ hình ngôn ngữ 1.1 Ngôn ngữ tự nhiên Ngôn ngữ tự nhiên ngôn ngữ người sử dụng giao tiếp hàng ngày nghe, nói, đọc, viết Mặc dù người dễ dàng hiểu học ngôn ngữ tự nhiên, việc làm cho máy hiểu ngôn ngữ tự nhiên chuyện dễ dàng Sở dĩ có khó khăn ngơn ngữ tự nhiên có luật, cấu trúc ngữ pháp phong phú nhiều ngơn ngữ máy tính, để hiểu nội dung giao tiếp, văn ngôn ngữ tự nhiên cần phải nắm ngữ cảnh nội dung Do vậy, để xây dựng ngữ pháp, từ vựng hồn chỉnh, xác để máy hiểu ngôn ngữ tự nhiên việc tốn công sức địi hỏi người thực phải có hiểu biết sâu ngơn ngữ học Do cần phải tìm phương pháp dịch tư động tối ưu để làm giảm công sức vấn đề dịch ngơn ngữ nói chung 1.2 Dịch máy Dịch tự động hay gọi dịch máy ứng dụng quan trọng xử lý ngôn ngữ tự nhiên, kết hợp ngôn ngữ, dịch thuật khoa học máy tính Như tên gọi dịch tự động việc thực dịch ngôn ngữ đầu vào (ngôn ngữ gọi ngôn ngữ nguồn) sang nhiều ngôn ngữ khác (gọi ngôn ngữ đích) cơng cụ, phần mềm máy tính lập trình sẵn mà khơng cần có can thiệp người Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 41 Dữ liệu đầu vào: Dữ liệu Dữ liệu huấn luyện Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 42 Dữ liệu điều Chỉnh tham số Dữ liệu đánh giá Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 43 3.3.1 Thực nghiệm dịch với câu đơn giản “She is a student” echo „She is a student‟ | ~/moses/bin/moses -f model/moses.ini > out So sánh kết bảng cụm từ gốc sau tối ưu Tiêu chí so sánh Dung lượng bảng Thời gian tai vào nhớ Thời gian dịch câu Bảng 3.3: So sánh kết dịch máy với câu đơn Như ta thấy kết thu khả quan Từ bảng cụm từ có dung lượng lên tới 343.0 Mb ta thực nén xuống 43.9Mb điều đáng kể việc nén liệu Do thời gian load liệu vào hệ thống thời gian dịch hệ thống tăng lên đáng kể Với phương pháp nén bảng cụm từ mang lại kết khả quan việc nén liệu tăng tốc độ dịch máy Và phương pháp tốt nhiều người sử dụng thực tiễn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 44 3.3.2 Thực nghiệm dịch đoạn văn từ tiếng Anh-Tiếng Việt Bước ta trực tiếp so sánh dịch văn từ tiếng Anh sang tiếng Việt Dữ liệu đầu vào tối ưu chuẩn hóa để tăng tốc độ dịch máy Một số cơng cụ chuẩn hóa liệu đầu vào có ghi phụ lục khóa luận,tất chúng cung cấp dạng mã nguồn mở Thí dụ: Đầu vào file chuẩn hóa có tên 500001b_lower.en Gõ lệnh sau để dịch file đầu vào in kết ~/moses/bin/moses –f model/moses.ini file_out_put So sánh kết bảng cụm từ gốc sau tối ưu: Tiêu chí so sánh Dung lượng file/line Thời gian tai vào nhớ Thời gian dịch câu Bảng 3.4: So sánh hai phương pháp dịch với đầu vào văn 3.3.3 Đánh giá kết liệu huấn luyện bảng cụm từ Dữ liệu huấn luyện thay đổi theo kích thước tập ngữ liệu đầu vào, việc thay đổi trình làm tăng giảm số câu (số dòng) cặp ngữ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 45 liệu đầu vào Việc thay đổi liệu huấn luyện làm ảnh hưởng đến mơ hình dịch, mơ hình ngơn ngữ, … từ ảnh hưởng lớn đến trình đánh giá chất lượng dịch máy Tiêu chí Dữ liệu huấn luyện Bảng 3.5: So sánh liệu bảng cụm từ gốc bảng cụm sau nén Biểu đồ liệu bảng cụm từ Mb Bảng cụm từ gốc Bảng cụm từ tối ưu Biểu đồ 3.1: Biểu đồ so sánh Nhìn vào biểu đồ 3.1 bảng cụm từ trước gốc bảng cụm từ sau nén ta thấy dung lượng bảng cải thiện đáng kể ~12% Ở xét tập ngữ liệu 70.000 câu kích cỡ bảng cụm từ 343.0 Mb, giả sử với tập ngữ liệu lên tới triệu câu dung lượng bảng cụm từ lên tới ~5.0 Gb (dữ liệu lớn) khơng tối ưu khơng thể đưa tồn liệu vảo nhớ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 46 máy tính Như vậy, kích thước liệu bảng cụm từ sau nén giảm đáng kể so với bảng cụm trước nén Chúng ta không cần phải dùng đến không gian nhớ lớn để lưu bảng cụm từ 3.3.4 Đánh giá kết theo cỡ liệu huấn luyện Ta thay đổi kích cỡ liệu huấn luyện 20.000, 30.000,…, 70.000 cặp câu, sau thực đánh giá chất lượng dịch dựa vào điểm BLEU Điểm BLEU cao chất lượng dịch tốt Câu Điểm Bleu Bảng cụm gố Bảng cụm tối Bảng 3.7: So sánh điểm BLEU bảng cụm từ trước sau nén Biểu đồ cỡ liệu huấn luyện Bleu Bảng cụm gốc Bảng cụm tối ưu Biểu đồ 3.2: Biểu đồ so sánh Bảng 3.7 biểu đồ 3.2 cho thấy rằng, chất lượng dịch bạng cụm từ bảng cụm từ tối ưu nhau, với cỡ liệu lớn cho Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 47 chất lượng dịch tốt Với 20.000 cặp câu ngữ liệu đầu vào cho ta điểm BLEU 22.29, số điểm tương đối thấp, với số lượng 70.000 cặp câu số điểm BLEU 31.95, điểm tốt hệ dịch máy Vậy, kết luận là, chất lượng hệ dịch máy phụ thuộc nhiều vào kích cỡ liệu huấn luyện 3.3.5 Đánh giá kết theo thời gian tải bảng cụm từ Ta thay đổi kích cỡ liệu huấn luyện 20.000, 30.000,…, 70.000 cặp câu, sau thực đánh giá chất lượng dịch dựa vào thời gian tải bảng cụm từ Thời gian dịch đoạn văn nhỏ chất lượng dịch tốt Câu Thời gian tải Bảng cụm gố Bảng cụm tối Thời gian (s) Bảng 3.8: So sánh thời gian tải bảng cụm từ trước sau nén Bảng cụm từ gốc Bảng cụm từ tối ưu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 48 Biểu đồ 3.3: Biểu đồ so sánh Nhìn vào bảng 3.8 biểu đồ 3.3 kết nhận thời gian tải bảng cụm từ lúc tăng lúc giảm Ta thấy với liệu đầu vào lớn thời gian giảm xuống tấc độ tìm kiếm tăng lên Trong nén cụm từ xếp thành tấc độ tìm kiếm nhanh so với trước nén (tìm kiếm tuần tự) Vậy, kết luận thời gian dịch cải tiến nén bảng cụm từ Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 49 KẾT LUẬN Dịch máy thống kê phát triển giới, đặc biệt dịch máy thống kê dựa vào cụm từ Hướng tiếp cận dịch máy thống kê sở cụm từ khắc phục nhiều nhược điểm dịch máy dựa sở từ Qua ba chương, luận văn trình bày cách tiếp cận dịch máy thơng kê dựa cụm từ, phương pháp nén bảng cụm từ đồng thời áp dụng vào toán dịch Anh – Việt Mặc dù chất lượng dịch chưa cao cải tiến mơ hình dịch đồng thời huấn luyện với nhiều liệu hơn, chất lượng dịch nâng cao rõ rệt Hơn ta hồn tồn áp dụng cho chiều dịch Việt – Anh Các kết đạt đƣợc: - Trình bày cách tiếp cận dịch máy thống kê sở cụm từ - Trình bày trình sinh bảng cụm từ dịch máy thống kê - Áp dụng phương pháp nén tối ưu bảng cụm từ - Xây dựng chương trình thử nghiệm dịch Anh-Việt thống kê dựa hệ thống dịch máy Moses - Đánh giá kết trước sau áp dụng phương pháp nén bảng cụm từ Hƣớng phát triển: - Thử nghiệm với liệu đa dạng lớn - Tìm hiểu thêm phương pháp nén bảng cụm từ - Cải tiến thuật toán giải nén (decoding) hiệu - Áp dụng cho chiều dịch từ Việt – Anh Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 50 PHỤ LỤC Luận văn nêu phương pháp quan trọng dịch máy thống kê với hệ thống Moses Với việc tập liệu ngôn ngữ lớn việc xử lý với lượng liệu tương ứng với thời gian dịch tăng Do việc tối ưu liệu hướng phát triển hàng đầu dịch máy Một điều quan trọng hầu hết hệ dịch máy online nhu cầu thời gian ngắn đặt lên hàng đầu Chúng ta để clients đợi hàng tiếng để dịch câu từ ngôn ngữ sang ngơn ngữ khác Với việc mã hóa bảng cụm từ, nén bảng cụm từ… Chúng ta có nhìn khái qt phương pháp phổ biến hệ dịch máy Điều giải thích nhiều câu hỏi mà nhiều người thường hay đặt (Tại số từ điển điện thoại-máy tính có vài chục Mb mà dịch tương đối tốt !) Đồng thời luận văn trình bày cách khái quát việc cài đặt sử dụng hệ thống dịch máy Moses hệ thống ổn định đem lại chất lượng tốt, thư viện cơng cụ có liên quan SRILM ,CMPH,BOOST… Kết dịch máy câu đơn giản Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 51 Hình 3.1: Dịch câu đơn giản với bảng cụm từ gốc Hình 3.2: Dịch câu đơn giản với bảng cụm tối ưu Kết dịch máy liệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 52 Hình 3.3: Điểm Bleu liệu bảng cụm từ gốc Hình 4: Điểm Bleu liệu bảng cụm từ tối ưu Một số công cụ tiền xử lý thường hay sử dụng hệ dịch Công cụ tiền xử lý Bộ tokenizer: Sử dụng Tokenizer ngữ liệu Europarl corpus Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 53 Koehn[9] phát triển Bộ tách từ: Sử dụng công cụ JvnSegmenter cung cấp dạng mã nguồn mở nhóm Phan Xuân Hiếu, Nguyễn Cẩm Tú phát triển sử dụng kỹ thuật Conditional Random Field Chất lượng tách từ 94% Bộ gán nhãn từ loại (Postagger): Sử dụng công cụ CRFTagger cung cấp dạng mã nguồn mở nhóm Phan Xuân Hiếu, Nguyễn Cẩm Tú phát triển sử dụng kĩ thuật Conditional Random Field Chất lượng gán nhãn theo tác giả cung cấp lên tới 97% Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 54 Tài liệu tham khảo Tài liệu tiếng Việt [1] Nguyễn Văn Vinh (2005) “Xây dựng chương trình dịch tự động Anh- Việt phương pháp dịch thống kê” Luận văn Thạc sĩ, Đại học Công nghệ, ĐHQGHN Tài liệu tiếng Anh [2] W Weaver (1955) Translation (1949) In: Machine Translation of Languages, MIT Press, Cambridge, MA [3] P Koehn, F.J Och, and D Marcu (2003) Statistical phrase table based translation In Proceedings of the Joint Conference on Human Language Technologies and the Annual Meeting of the North American Chapter of the Association of Computational Linguistics (HLT/NAACL) [4] Koehn, P, H Hoang, A Birch, C Callison-Burch, M Federico, N Bertoldi, B Cowan, W Shen, C Moran, R Zens, C Dyer, O Bojar, A Constantin, E Herbst (2007), Moses: Open Source Toolkit for Statistical Machine Translation ACL 2007, Demonstration Session, Prague, Czech Republic [5] Philipp Koehn, Franz Josef Och, Daniel Marcu (2003), “Statistical Bảng cụm từ Translation”, In proceedings of NAACL [6] Brown, P., Cocke, J., Pietra, S D., Jelinek, J., Lafferty and Roossina, P (1990), “A statistical approach to machine translation”, Computational Linguistics, 16(2), pp 79-85 [7] D Chiang (2005) A Hierarchical phrase Model for Statistical Machine Translation In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 55 [8] Marcin Junczys-Dowmunt (2012) Phrasal Rank-Encoding: Exploiting phrase Redundancy and Translational Relations for phrase Table Compression [9] Franz Joset Och and Hermann Ney (2002), Discriminative training and maximum entropy models for statistical machine translation, In Processdings of the 40th Anuual Meeting of the ACL, pages 295-302, Philadelphia, PA [10] Papineni, Kishore, Salim Roukos, Todd Ward and Wei-Jing Zhu (2002), BLEU: a method for automatic evaluation of machine translation In Proceedings of the 40th Annual Meeting of the ACL, pages 311-318, Philadelphia, PA Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... 1.3.6 Bảng cụm từ dịch máy thống kê Đối với dịch máy thống kê sở cụm từ, ta cần phải có ngữ liệu liên quan đến cụm từ Chính bảng cụm từ xây dựng Bảng cụm từ sử dụng dịch máy thống kê dựa cụm từ. .. hình dịch theo phương pháp bảng cụm từ Dịch máy thống kê sở cụm từ [5] có mục đích để giảm bớt hạn chế dịch máy thống kê sở từ cách dịch cụm từ, độ dài cụm từ nguồn cụm từ đích khác Các cụm từ. .. hàng từ, gióng hàng thống kê 1.3.3 Dịch máy thống kê dựa sở cụm từ 1.3.4 Mục đích việc dịch máy thống kê sở cụm từ 11 1.3.5 Đảo cụm từ dịch máy thống kê .13 1.3.6 Bảng cụm từ dịch