Mô hình Perplexity
Modified Kneser-Ney 3gram 104.15
Modified Kneser-Ney 4gram 116.59
Good-Turing 3gram 110.12
RNNLM 3 lần hồi quy 91.24
RNNLM 4 lần hồi quy 89.89
Nhìn vào kết quả Bảng 3.9 có thể thấy giá trị Perplexity của mô hình RNNLM tốt hơn so với mô hình Modifiend Kneser-Ney và Good-Turing.
145.00 150.00 155.00 160.00 165.00 170.00 175.00 180.00 185.00 10K 20K 40K 50K 120K Mô hình RNNLM VN-RNNLM
Đánh giá trên bộ dữ liệu IWSLT2015 ngôn ngữ tiếng Việt
Dữ liệu tiếng Việt sử dụng để kiểm chứng lại kết quả đánh giá ở bƣớc trên. Dữ liệu IWSLT2015 cho trong Bảng 3.4. Kết hợp so sánh giữa hai mô hình Modified Kneser-Ney và RNNLM theo số từ trong tập huấn luyện. Kết quả đánh giá cho trong Bảng 3.10.
Bảng 3.10: Kết quả Perplexity khi so sánh các mô hình ngôn ngữ
Dữ liệu huấn luyện (số câu) Số từ vựng Tổng số từ huấn luyện Mô hình MKN3 Mô hình RNNLM % cải tiến MKN3 %cải tiến RNNLM 10K 8,691 167,075 182.90 179.03 20K 12,183 335,587 179.92 174.90 1.63% 2.31% 40K 16,779 668,842 172.40 165.23 4.18% 5.53% 50K 18,618 834,422 168.59 165.35 2.21% -0.07% 120K 28,495 2,015,635 166.64 157.51 1.16% 4.74%
Hình 3.8: So sánh Perplexity giữa 2 mô hình theo dung lượng tập huấn luyện
Biểu đồ trên hình 3.8 cho thấy kết quả Perplexity của mô hình RNNLM tốt hơn mô hình Modified Kneser-Ney. Khi số lƣợng từ của tập huấn luyện càng lớn thì mô hình RNNLM học nhiều tri thức nên kết quả cho tốt hơn nhiều so với Modified Kneser-Ney. 140.00 145.00 150.00 155.00 160.00 165.00 170.00 175.00 180.00 185.00 10K 20K 40K 50K 120K Mô hình KN3 Mô hình RNNLM
3.5 Đánh giá gián tiếp qua hệ thống dịch máy thống kê Moses
Các mô hình ngôn ngữ thƣờng không sử dụng độc lập mà thƣờng gắn với hệ thống nhận dạng tiếng nói và dịch máy thống kê. Trong giới hạn của luận văn chỉ tìm hiểu mô hình ngôn ngữ kết hợp với hệ thống dịch máy thống kê Moses.
3.5.1 Dịch máy thống kê
Ngày nay, máy móc đã thay dần công việc của con ngƣời. Dịch giữa các ngôn ngữ sử dụng máy tính cũng là một trong những công việc đó. Dịch máy (Machine Translation –MT) ra đời từ những năm 50, khởi nguồn là chƣơng trình dịch máy 60 câu từ tiếng Nga sang tiếng Anh. Sang những năm 80, 90 cùng với sự phát triển của máy tính lớn, các hệ thống dịch máy mới phát triển đa dạng. Dịch máy là một phần mềm tự động đọc văn bản từ một ngôn ngữ và dịch sang một ngôn ngữ khác. Có rất nhiều loại phần mềm dịch máy nhƣng chia ra thành hai loại chính là dịch máy dựa theo luật (Rule-based Machine Translation) và dịch máy thống kê (Statistical Machine Translation). Dịch máy dựa theo luật sử dụng các luật về cú pháp và ngữ pháp. Để dịch giữa hai ngôn ngữ thì chƣơng trình phải có một bộ từ điển đủ mạnh, phân tích cấu trúc và có các luật kết nối giữa cú pháp của hai ngôn ngữ. Còn dịch máy thống kê lại dựa trên xác suất. Với mỗi câu bên văn bản nguồn, có rất nhiều khả năng bên văn bản đích với xác suất khác nhau. Chƣơng trình sẽ lựa chọn câu có xác suất cao nhất để dịch. Dịch máy thống kê là lĩnh vực đƣợc nhiều ngƣời quan tâm trong những năm gần đây. Đã có một số hệ thống dịch trực tuyến nhƣ Google, Microsoft phát triển dựa trên dịch máy thống kê.
Các mô hình dịch máy thống kê ban đầu thƣờng dùng mô hình lấy cơ sở theo từ, sau đó dịch máy thống kê theo cơ sở cụm từ đã tạo bƣớc tiến đáng kể. Các công trình nghiên cứu gần đây đã kết hợp cú pháp hoặc cấu trúc bán-cú pháp để làm tăng chất lƣợng dịch [3]. Dịch máy thống kê trên cơ sở từ sử dụng đơn vị cơ bản là từ trong ngôn ngữ tự nhiên, ví dụ Giza++. Tuy hiện nay cơ sở từ không đƣợc sử dụng nữa nhƣng Giza++ vẫn đƣợc sử dụng trong dịch máy nhƣ là công cụ để gióng hàng. Dịch máy thống kê dựa trên cụm từ sử dụng phƣơng pháp thống kê để trích rút các cặp câu khi dịch. Ngoài ra, còn có phƣơng pháp dịch máy thống kê dựa trên các đơn vị cú pháp.
3.5.2 Dịch máy thống kê với công cụ Moses
Moses [16] là hệ thống dịch máy thống kê cho phép ngƣời dùng tạo ra mô hình dịch giữa hai cặp ngôn ngữ bất kỳ. Trong dịch máy thống kê, hệ thống đƣợc huấn luyện với số lƣợng lớn các dữ liệu song ngữ và dữ liệu đơn ngữ. Dữ liệu song ngữ là một tập các câu trên cả hai ngôn ngữ tự nhiên, với mỗi câu bên nguồn sẽ tƣơng ứng với một câu bên đích. Quá trình huấn luyện trên Moses lấy dữ liệu song ngữ theo từ và các cụm từ (phrases) để dịch tƣơng ứng ra ngôn ngữ đích. Trong dịch máy trên cơ sở cụm từ, hệ thống tìm sự tƣơng ứng giữa các từ liên tục để dịch. Moses cũng đƣa một mở rộng về dịch máy trên cơ sở cụm từ là dịch máy nhân tố bằng cách đƣa thêm một số thông tin về ngôn ngữ vào hệ thống.
Moses4 là công cụ sử dụng để thực nghiệm đánh giá mô hình ngôn ngữ mạng nơron hồi quy vào bài toán dịch máy thống kê. Nhƣ vậy, dữ liệu sẽ đƣợc đƣa vào Moses, và sử dụng 2 mô hình ngôn ngữ khác nhau: một là mô hình ngôn ngữ sinh ra khi dùng SRILM, hai là mô hình ngôn ngữ mạng nơron. Kết quả dịch đầu ra của công cụ Moses đƣợc đƣa vào để tính điểm BLEU, đây là độ đo đánh giá các hệ thống dịch máy xác định hệ thống nào dịch tốt.
3.5.3 Điểm BLEU
BLEU (Bilingual Evaluation Understudy) là thuật toán để đánh giá chất lƣợng đầu ra của hệ thống dịch máy. Chất lƣợng đầu ra đƣợc đánh giá tƣơng ứng với bản dịch theo phƣơng pháp thủ công và tự động. Quá trình đánh giá thủ công cho điểm các câu dựa trên sự trôi chảy chính xác của các từ, cụm từ. Tuy nhiên cách đánh giá thủ công tốn nhiều thời gian và công sức và khó khi so sánh nhiều ngôn ngữ. Do đó việc đánh giá tự động đƣa vào nhằm giảm công sức của con ngƣời. Papineni đã đƣa ra độ đo BLEU[17] tại hội nghị ACL ở Philadelphie tháng 7 năm 2002. Ý tƣởng chính của phƣơng pháp là so sánh kết quả bản dịch tự động bằng máy với một bản dịch chuẩn dùng làm bản đối chiếu.
Trong luận văn này sẽ sử dụng điểm BLEU để đánh giá quá trình dịch máy qua hai mô hình ngôn ngữ mạng nơron hồi quy và mô hình ngôn ngữ N-gram với phƣơng pháp làm mịn Modified Kneser-Ney.
3.5.4 Đánh giá mô hình ngôn ngữ qua Moses
Dữ liệu dùng để chạy thử nghiệm với công cụ dịch máy thống kê Moses là tập dữ liệu IWSLT2015 gồm cả tiếng Việt và tiếng Anh cho trong Bảng 3.3. Tập dữ liệu huấn luyện sẽ sử dụng để sinh ra mô hình ngôn ngữ bằng phƣơng pháp mô hình ngôn ngữ mạng nơron hồi quy RNNLM và mô hình ngôn ngữ N-gram.
Tích hợp trực tiếp vào Moses
Hệ thống dịch máy thống kê Moses cho phép ngƣời dùng tích hợp trực tiếp mô hình ngôn ngữ bằng cách viết thêm một lớp kế thừa từ lớp
LanguageModelSingleFactor của Moses. Lớp mới này sẽ viết nạp chồng lại hai hàm chính nhƣ sau:
Hàm Load: hàm này dùng để đọc mô hình ngôn ngữ muốn đƣa vào Hàm GetValue: hàm này đƣợc gọi khi Moses thực hiện dịch (decode).
Hàm này nhận vào là một cụm từ, gọi mô hình ngôn ngữ để tính và trả về xác suất của cụm từ đó (là giá trị log của xác suất).
Cơ chế thực hiện khi gọi mô hình ngôn ngữ đƣợc mô tả trong hình 3.9.
Kết quả khi chạy thực nghiệm với cách tích hợp trực tiếp vào Moses đƣợc cho trong bảng . Kết quả dịch với mô hình RNNLM thấp hơn nhiều so với sử dụng mô hình N-gram khi sử dụng cả hai mô hình trong hệ thống dịch máy thống kê Moses.