5.2.4.1. Đánh giá về hiệu suất
Với tập dữ liệu đã thiết kế (xem mục [5.2.1]), tác giả đã tiến hành thử nghiệm cho cả 3 pha trong chương trình: Phân tích cú pháp Tiếng Anh, Chọn ngữ liệu tương tự nhất và Dịch. Kết quả thử nghiệm cho các pha được thống kê trong bảng sau:
STT Tên pha Chỉ tiêu thống kê Số lượng Hiệu suất
1 Phân tích cú pháp Số lượng câu phân tích đúng 257 85.66 %
2 Chọn ngữ liệu tương tự nhất
Số câu có ngữ liệu tương tự nhất
246 82 %
3 Dịch Các loại câu dịch (phân lớp theo chất lượng): E: 127 M: 86 B: 33 42.333 % 28.667 % 11.00 %
Bảng 5. 4: Bảng hiệu suất các pha chính. Từ đó rút ra:
Hiệu suất dịch = (Tổng số câu E + Tổng số câu M) / Tổng số câu thử nghiệm
= (127 + 86)/300 = 71 % Một số nhận xét:
Đối với pha “Chọn ngữ liệu tương tự nhất”, mặc dù khi thiết kế ngữ liệu huấn luyện, chúng ta cố tình chọn câu rất sát với ngữ liệu, và chắc chắn rằng khi thử nghiệm, sẽ thu được chính ngữ liệu đó. Tuy nhiên, kết quả lại không như mong muốn: Hệ thống không tìm thấy ngữ liệu tương tự. Vì sao vậy? Chỉ có một nguyên
nhân duy nhất, đó là hoặc câu đầu vào, hoặc câu ngữ liệu, hoặc cả hai đã bị phân
tích cú pháp sai. Chính vì vậy, khi so khớp sẽ xuất hiện sai sót, ví dụ: hai từ tương ứng trong 2 câu, đáng lẽ có thể thay thế được cho nhau vì cùng kiểu từ loại, nhưng vì phân tích cú pháp sai, dẫn đến khác kiểu từ loại, do đó bộ so khớp phải dùng đến 2 phép xử lý là D và I, làm chi phí so khớp tăng lên nhiều, vượt ngưỡng tối đa cho phép. Vì thế, không có kết quả như mong muốn.
Còn đối với chức năng dịch, một số nguyên nhân dẫn đến câu dịch bị sai lệch về ngữ pháp và ngữ nghĩa là:
• Phân tích cú pháp sai, dẫn đến nhãn từ loại sai và vì thế nghĩa tra được trong từ điển cũng sai.
• Hệ thống chưa giải quyết được bài toán: Nghĩa của từ trong văn
cảnh.Chẳng hạn khi chúng ta tra từ điển đối với danh từ “class”, giá trị trả về
là một tập các nghĩa: lớp học, giai cấp, tầng lớp…Chương trình không thể
biết được đâu là nghĩa phù hợp nhất trong văn cảnh của câu tương ứng mà chỉ lấy nghĩa đầu tiên của từ trong tập hợp đó làm kết quả. Vì thế, có thể dẫn đến chọn nghĩa sai.
• Tập luật chuyển đổi cú pháp còn thiếu, dẫn đễn trật tự chuyển đổi các từ trong ngữ (khi dịch sang Tiếng Việt) bị sai. Chẳng hạn: Với danh ngữ “These five nice gifts” (NP=DT+CD+JJ+NNS), trong tập luật chưa xây dựng luật chuyển đổi cho danh ngữ này nên khi chuyển qua Tiếng Việt, hệ thống vẫn giữ nguyên trật tự các từ như trong Tiếng Anh, dẫn đến dịch sai.
Để khắc phục những hạn chế này, cần tăng cả về lượng và tính đa dạng của tập ngữ liệu và tập luật chuyển đổi cú pháp.
5.2.4.1. Đánh giá về tốc độ xử lý
Thời gian xử lý trung bình đối với từng pha được cho trong bảng sau:
Phân tích cú pháp So khớp Dịch
0.031s 0.646s 0.648s
Bảng 5. 5: Tốc độ xử lý của các pha chính.
Nhìn vào bảng trên ta thấy: thời gian dịch gần như phụ thuộc hoàn toàn vào thời gian so khớp (vì pha phân tích cú pháp chiếm thời gian không đáng kể). Với thời gian dịch trung bình là 0.648 (s), tốc độ dịch thuộc mức khá.Tác giả hy vọng trong tương lai có thể nghiên cứu thêm và đề xuất những phương pháp cải tiến thuật toán so khớp hiện có để có thể tối ưu hơn nữa tốc độ dịch.
Kết chương
Chương này đề cập đến việc thử nghiệm và đánh giá hiệu năng của hệ thống vừa mới xây dựng. Một số kết quả chính thu được như sau:
• Tập mẫu xây dựng gồm 4775 cặp câu, đã được huấn luyện theo mô hình thiết (adsbygoogle = window.adsbygoogle || []).push({});
kế thành 263 đồ thị, tập luật chuyển đổi cú pháp gồm 51 luật.
• Tập ngữ liệu thử nghiệm gồm 300 câu (250 câu được biến đổi từ các câu
trong tập mẫu + 50 câu bất kỳ)
• Kết quả thử nghiệm cho thấy hiệu suất dịch của hệ thống là khá cao với 71%
số câu dịch chấp nhận được. Một số chức năng khác cũng cho kết quả khả quan là: Phân tích cú pháp (85.66%) và So khớp (82%).
• Về tốc độ xử lý: Tốc độ dịch trung bình là: 0.648 (s)
• Đây chỉ mới là các kết quả kiểm thử ban đầu. Hy vọng rằng một khi tập ngữ
liệu được làm giàu thêm thì chúng sẽ còn khả quan hơn nữa.
KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 1. Những kết quả đã đạt được
Dịch máy là một bài toán lớn, muốn thu được kết quả tốt đòi hỏi không những một sự nghiên cứu nghiêm túc, khả năng giải quyết nhiều vấn đề phát sinh về ngôn ngữ, mà bên cạnh đó là sự tỉ mẩn, bền bỉ và vấn đề thời gian. Trong thời gian làm đồ án, tác giả đã cố gắng và đạt được một số kết quả nhất định sau:
• Tìm hiểu và nghiên cứu một lý thuyết dịch khá mới - Dịch dựa vào tập mẫu
-bên cạnh các phương pháp dịch truyền thống đang được triển khai trên thế giới và Việt Nam hiện nay.Từ những nghiên cứu đó, bên cạnh việc kế thừa tư tưởng, tác giả đề xuất một số cải tiến để nâng sao hiệu suất và thời gian dịch.
• Từ tập ngữ liệu thô sưu tầm được gồm 4775 cặp câu song ngữ Anh-Việt, xây
dựng được chiến lược huấn luyện thông qua các giai đoạn: Phân tích cú pháp, Xây dựng lớp và xây dựng đồ thị. Ngữ liệu huấn luyện được lưu trữ theo cấu trúc hợp lý.
• Xây dựng được một website để huy động sự giúp đỡ của cộng đồng để làm
giàu thêm tập ngữ liệu thô và tập ngữ liệu huấn luyện. Trên site này, cộng đồng có thể: tiến hành liên kết cho các cặp câu có sẵn trong CSDL còn chưa được liên kết, cung cấp thêm các cặp câu mới và đặt liên kết cho chúng.
• Xây dựng được một chương trình dịch tự động theo mô hình đã nghiên cứu.
Hệ thống có các đặc điểm:
o Thời gian dịch ở mức chấp nhận được, phụ thuộc vào số lượng đồ thị
tương tự với nó trong tập mẫu.
o Luôn cho kết quả dịch đúng nếu câu vào so với ngữ liệu tương tự nhất
không có thêm Insertion nào.
o Trong trường hợp có thêm Insertion, kết quả dịch chỉ đúng nếu việc
thêm từ chỉ làm thay đổi cấu trúc ngữ pháp của một cụm từ trong câu ngữ liệu tương tự mà thôi.
• Nghiên cứu và giải quyết một số bài toán phụ liên quan đến ngôn ngữ, như:
Chuyển một từ Tiếng Anh bất kỳ về dạng chuẩn (có trong từ điển) để có thể dịch sang Tiếng Việt được. Chẳng hạn: Danh từ số nhiều sang số ít, động từ đã chia sang động từ nguyên thể…Xây dựng được tập gồm khoảng 50 luật chuyển đổi cú pháp Anh-Việt ở mức ngữ…
2. Định hướng nghiên cứu và phát triển đề tài
Mặc dù đã đạt được một số kết quả nhất định như trên, nhưng hệ dịch vẫn chỉ dừng lại ở mức demo, kiểm nghiệm thuật toán mà chưa thể sử dụng được trong thực tế. Để đạt được mục tiếu đó, tác giả đã vạch ra một số hướng nghiên cứu và phát triển đề tài trong thời gian tới như sau:
• Bổ sung (làm giàu) tập ngữ liệu song ngữ Anh-Việt, đi đôi với nó là việc đặt
liên kết cho các cặp câu mới này và huấn luyện chúng theo mô hình đã có. Đây là công việc được ưu tiên hàng đầu. (adsbygoogle = window.adsbygoogle || []).push({});
• Xây dựng thêm một số luật chuyển đổi cú pháp dưới sự trợ giúp của các chuyên gia ngôn ngữ, nhằm giải quyết tốt hơn khâu dịch khi câu đầu vào phát sinh từ cần thêm so với ngữ liệu tương tự nhất.
• Tiếp tục nghiên cứu và đề xuất giải pháp để tối ưu hơn nữa tốc độ dịch của
hệ thống.
• Xử lý nhiều loại file, nhiều định dạng khác nhau cho văn bản tiếng Anh.
• Nghiên cứu cách kết hợp giữa hướng tiếp cận này với các hướng nghiên cứu
truyền thống để lợi dụng được lợi thế của mỗi phương pháp…
Phần phụ lục
PHỤ LỤC 1
H Ệ THỐNG NHÃN TỪ LOẠI CỦA PENN TREE BANK
STT Nhãn từ loại Ý nghĩa
1 CC Liên từ kết hợp
2 CD Số đếm
3 DT Định từ
4 EX "có" (Existential "There")
5 FW Từ tiếng nước ngoài
6 IN Giới từ hay liên từ với mệnh đề phụ
7 JJ Tính từ
8 JJR Tính từ so sánh hơn
9 JJS Tính từ so sánh hơn nhất
10 LS Dấu liệt kê
11 MD Động từ khuyết thiếu
12 NN Danh từ số ít hay không đếm được
13 NNS Danh từ số nhiều
14 NNP Danh từ riêng số ít
15 NPS Danh từ riêng số nhiều
16 PDT Tiền chỉ định từ
17 POS Dấu cuối của sở hữu cách
18 PP Đại từ nhân xưng
19 PP$ Đại từ sở hữu
20 RB Trạng từ (adsbygoogle = window.adsbygoogle || []).push({});
21 RBR Trạng từ so sánh hơn
22 RBS Trạng từ so sánh hơn nhất
23 RP Tiểu từ
Phần Phụ lục bao gồm một số nội dung sau:
Phụ lục 1: Hệ thống nhãn ngữ pháp của Penn Tree Bank Phụ lục 2: Một số luật chuyển đổi cú pháp.
Phụ lục 3: Một số kết quả dịch
Phụ lục 4: Một số kết quả so sánh giữa hai hệ dịch Phần Phụ lục bao gồm một số nội dung sau:
Phụ lục 1: Hệ thống nhãn ngữ pháp của Penn Tree Bank Phụ lục 2: Một số luật chuyển đổi cú pháp.
Phụ lục 3: Một số kết quả dịch
Phụ lục 4: Một số kết quả so sánh giữa hai hệ dịch
24 SYM Ký hiệu
25 TO Từ "To"
26 UH Thán từ
27 VB Động từ nguyên mẫu không "to"
28 VBD Động từ thì quá khứ
29 VBG Danh động từ hay hiện tại phân từ
30 VBN Qúa khứ phân từ
31 VBP Động từ không phải ngôi thứ 3 số ít thời hiện tại.
32 VBZ Động từ ngôi thứ 3 số ít thời hiện tại.
33 WDT Định từ bắt đầu bằng -Wh
34 WP Đại từ bắt đầu bằng -Wh
35 WP$ Đại từ sở hữu bắt đầu bằng -Wh
36 WRB Trạng từ bắt đầu bằng -Wh
PHỤ LỤC 2
MỘT SỐ LUẬT CHUYỂN ĐỔI CÚ PHÁP MỨC NGỮ
STT Nội dung luật chuyển đổi
1 prpos=({NP}) & pos(1,2)=({NN},{CD}) & idx(1,2)=({2},{1}) : idx(1,2)=({1},{2})
2 prpos=({NP}) & pos(1,3)=({DT},{NN},{POS}) & wrd(1)=({DT},{the}) & idx(1,3)=({2},{3}, {1}) : idx(1,3)=({1},{3},{2})
3 prpos=({NP}) & pos(1,2)=({NNP},{CD}) & idx(1,2)=({2},{1}) : idx(1,2)=({1},{2}) 4 prpos=({VP}) & pos(1,3)=({MD},{ADVP},{VP}) & idx(1,3)=({1},{2},{3}) : idx(1,3)=({2},
{1},{3}) (adsbygoogle = window.adsbygoogle || []).push({});
5 prpos=({NP}) & pos(1,3)=({DT},{ORD},{NN}) & idx(1,3)=({1},{2},{3}) : idx(1,3)=({1},{3}, {2})
6 prpos=({ADJP}) & pos(1,2)=({RB},{JJR}) & wrd(1)=({RB},{much}) & idx(1,2)=({1},{2}) : idx(1,2)=({2},{1})
7 prpos=({SQ}) & pos(1,3)=({MD},{NP},{VP}) & idx(1,3)=({1},{2},{3}) : idx(1,3)=({2},{1}, {3})
8 prpos=({ADVP}) & pos(1,2)=({RBS},{RB}) & idx(1,2)=({1},{2}) : idx(1,2)=({2},{1}) 9 prpos=({NP}) & pos(1,3)=({VB},{NN},{CD}) & idx(1,3)=({1},{3},{2}) : idx(1,3)=({1},{2},
{3})
10 prpos=({SBARQ}) & pos(1,3)=({WHADVP},{SQ},{.}) & idx(1,3)=({1},{2},{3}) : idx(1,3)=({2},{1},{3})
11 prpos=({NP}) & pos(1,4)=({DT},{NN},{NN},{POS}) & idx(1,4)=({2},{4},{3},{1}) : idx(1,4)=({1},{4},{3},{2})
12 prpos=({ADJP}) & pos(1,3)=({RBS},{RB},{VBN}) & idx(1,3)=({1},{2},{3}) : idx(1,3)=({3}, {2},{1})
13 prpos=({NP}) & pos(1,4)=({DT},{JJ},{NN},{POS}) & wrd(1)=({DT},{the}) & idx(1,4)=({2}, {4},{3},{1}) :
idx(1,4)=({1},{4},{3},{2})
14 prpos=({NP}) & pos(1,3)=({DT},{JJ},{NN}) & wrd(2)=({JJ},{great}) & idx(1,3)=({1},{3}, {2}) : idx(1,3)=({1},{2},{3})
15 prpos=({NP}) & pos(1,4)=({JJ},{:},{NN},{NNS}) & idx(1,4)=({1},{2},{4},{3}) : idx(1,4)=({4},{1},{3},{2})
PHỤ LỤC 3: MỘT SỐ KẾT QUẢ DỊCH THỬ NGHIỆM
STT Câu Tiếng Anh Câu dịch Tiếng Việt Đánh giá
1. Scientists finished a complicated experiment . Những nhà khoa học đã hoàn thành một cuộc thí nghiệm phức tạp . E 2. Can you see the keyboard, RAM, and mouse ? Bạn có thể thấy bàn phím , RAM , và chuột ? E 3. The bonus is sent into the worker 's salary . Tiền thưởng (bị/được) gửi vào tiền lương của người lao động . E 4. The Laser is not limited to sciences. <kỹ> không chỉ giới hạn với những khoa học . B 5. The information technology has grown extremely in the past decade . Kỹ thuật sự cung cấp tin tứcqua . lớn mạnh vô cùng trong thập kỷ M 6. The monitor, and speakers are useful output devices . Màn hình , và các loa là các thiết bị xuất có ích . E 7. Animals include the following main classes : Những động vật có những giai cấp chính sau : M 8. Most word processing features are used to format the document. Hầu hết các tính năng xử lý văn bản đều được sử dụng để định
dạng tài liệu. E
9. Fonts have names like Times Roman, Helvetica, and Palatino. Các font có các tên gọi như Times Roman, Helvetica, và
Palatino. E
10. There are no true loves. Không những lòng yêu thật có . B 11. These productivity programs are the primary working tools in many
organizations. Các chương trình nghiệp vụ này là những công cụ làm việc chủ yếu trong nhiều tổ chức. E 12. Many documents, such as business letters, require margins of a
standard width. Nhiều tài liệu, chẳng hạn như các thư thương mại, đòi hỏi các lề có một độ rộng tiêu chuẩn. E 13. The vertical dotted lines represent the left and right margins on the
page. Các đường kẻ dọc đứt quãng đại diện cho các lề trái và phải trên trang giấy. E 14. The mouse, trackball enable you to draw or point on the screen . Chuột , Trackball cho phép bạn vẽ hoặc trỏ trên màn hình . E 15. These machines are known as washing machines. Những máy móc này được gọi là đang rửa những máy móc . B 16. If so, many young people are certainly not alone . Nếu có , thì chắc chắn chẳng phải một mình đâu . những dân tộc trẻ nhiều B 17. Computers consist of the following models : Những máy điện toán gồm có những kiểu sau : M 18. The usage of an main output device is to present encoded data to the user . Cách dùng của một thiết bị xuất chính là biểu diễn dữ liệu (bị/được) ghi thành mật mã cho người sử dụng . E
19. Đơn lựa chọn . Single choice . E
20. Back Up Your Hard Disk. Sao lưu đĩa cứng của bạn. E
21. It just be a combination of hydrogen and oxygen . Nó chỉ là một sự kết hợp Hyddrô và Oxy . E 22. The main function of keyboard is to get data . Chức năng chính của bàn phím là được dữ liệu . M 23. This experiment is the Newton experiment . Cuộc thí nghiệm này là cuộc thí nghiệm NEWTON . E 24. Compare the character between lion and tiger . Hãy so tính nết giữa con sư tử và hổ . M 25. The responsibility of doctor is to help patients . Trách nhiệm của bác sĩ y khoa là giúp đỡ những người bệnh . E 26. Identify three main features of important problems . Xác định ba đặc trưng chính của những vấn đề quan trọng . E 27. You understand its important ideas and points . Bạn hiểu trọng của nó .những mũi nhọn mũi kim và những quan niệm quan M
28. A file that user can use is often called a document . Một tập tin mà người sử dụng có thể dùng thường được gọi là tài liệu . E 29. The earth is a round, big object that spins around its axis . Cái đất là một vật tròn , to xoay quanh trục của nó . M 30. Some types of hardware can act as both input and output devices . Một số loại phần cứng có thể làm việc như cả hai thiết bị nhập và xuất . E 31. Columns are effective formats for certain types of documents. Các cột là những định dạng hiệu quả đối với một số những loại
tài liệu. E
32. Their functions are different, but they work in same ways . Các chức năng của chúng thì khác , nhưng chúng làm việc theo những cách đều đều . M 33. The principal meeting has delayed tremendously in the last week . Cuộc mít tinh chính (bị/được) làm chậm trễ khủng khiếp trong tuần lễ cuối cùng . E 34. Avoid the interaction between fire and electricity . Hãy tránh sự ảnh hưởng lẫn nhau giữa lửa và điện . M 35. Can you answer the question, Nam ? Bạn có thể trả lời câu hỏi , NAM ? E 36. The processor is integrated into the robot 's brain . Máy chế biếncủa người máy . (bị/được) hợp thành một thể thống nhất vào óc M 37. You control the machine by moving it across a flat surface and pressing its buttons . Bạn điều khiển cái máy móc bằng cách di chuyển nó ngang qua một bề mặt phẳng và nhấn những nút của chúng . E 38. Security software lets you detect and destroy viruses of all types . Phần mềm cả các kiểu .sự yên ổn cho bạn dò ra và phá những virut thuộc tất M 39. Using a machine, remember each component you can identify . Khi sử dụng máy móc , nhớ cho mỗi thành phần bạn có thể xác định được . E 40. At this moment, the family can issue decisions to the son . Vào trai .chốc này , gia đình có thể ra những sự giải quyết cho con M 41. Many tables also include a special first column that describes the
contents of each row. Nhiều bảng còn kèm theo một cột đầu tiên đặc biệt vốn mô tả nội dung của mỗi hàng. E 42. Some features of Windows 2000 include the following: Một số các tính năng của Windows 2000 gồm có như sau: E 43. Test the result when you are done. Hãy thử thách kết quả này khi bạn làm xong . M 44. Practice some basic formatting: Luyện tập một số thao tác định dạng đơn giản: E 45. Using the hand, push a rock. Sử dụng tay , hãy xô một đá . M
(adsbygoogle = window.adsbygoogle || []).push({});