Nghiên cứu deconverter để dịch tự động từ UNL sang tiếng việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG LƯƠNG DUY BẢO NGHIÊN CỨU DECONVERTER ĐỂ DỊCH TỰ ĐỘNG TỪ UNL SANG TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2016 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS.TS VÕ TRUNG HÙNG Phản biện 1: TS Đặng Hoài Phương Phản biện 2: TS Trần Thiên Thành Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Kỹ thuật họp Đại học Đà Nẵng vào ngày 25 tháng năm 2016 Có thể tìm hiểu luận văn tại: Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài Trong thời đại công nghệ thông tin với phát triển nhanh đạt nhiều thành tựu to lớn lĩnh vực kinh tế, kỹ thuật, văn hoá, xã hội,… Cùng với phát triển này, nhân loại tạo lượng thông tin khổng lồ phần lớn thơng tin tìm thấy thơng qua hệ thống mạng Internet Tuy nhiên, lượng thông tin người chưa khai thác hết nhiều lý do, lý quan trọng dẫn đến việc hạn chế khai thác thơng tin trên, rào cản ngơn ngữ nhiều người biết ngôn ngữ mẹ đẻ biết số ngôn ngữ phổ biến tiếng Anh, tiếng Pháp, tiếng Tây Ban Nha, tiếng Trung Quốc Với phát triển công nghệ thông tin giải pháp nhằm phá bỏ rào cản ngôn ngữ phát triển hệ thống dịch tự động Nhiều nghiên cứu dịch tự động tạo công cụ dịch hiệu sử dụng phổ biến Google, AltaVisa,… Có hệ thống thương mại hoá Systran, Reverso, Babylon, … Những hệ thống cho phép tạo “bản dịch nghĩa” – dịch chưa hoàn chỉnh giúp hiểu ý nghĩa văn gốc cần phải chỉnh sửa nhiều để trở thành văn hoàn chỉnh Các hệ thống dịch tự động cho phép dịch nhanh chi phí thấp nhiều so với dịch người Tuy nhiên, hệ thống phải đối mặt với nhiều vấn đề đa nghĩa từ, nhập nhằng ngữ nghĩa, phụ thuộc ngữ cảnh nhiều khó khăn khác biệt nhằm giải thích khái niệm Hiện nay, nhu cầu hệ thống xử lý ngôn ngữ tự nhiên ngày tăng cần ứng dụng nhiều lĩnh vực vấn đề xử lý ngôn ngữ tự nhiên cần tài liệu song ngữ đa ngữ, phát triển hệ thống xử lý ngôn ngữ tự nhiên dựa kho ngữ liệu nghiên cứu triển khai ngày nhiều Hiện nay, dịch tự động góp phần quan trọng q trình phát triển kinh tế xã hội quốc gia xóa bỏ rào cản ngơn ngữ Trên giới có nhiều kho ngữ liệu song ngữ Anh – Pháp, Anh – Hoa,… song việc nghiên cứu phát triển ứng dụng để dịch tự động từ UNL sang tiếng Việt hạn chế Được gợi ý PGS.TS Võ Trung Hùng chọn đề tài “Nghiên cứu DeConverter để dịch tự động từ UNL sang tiếng Việt” làm đề tài tốt nghiệp luận văn cao học Mục đích nhiệm vụ đề tài Mục đích đề tài tìm hiểu trình bày tổng quan dịch tự động, phương pháp dịch sở nghiên cứu hệ thống DeConverter để dịch tự động từ UNL sang tiếng Việt phục vụ việc xử lý ngôn ngữ tự nhiên liên quan đến tiếng Việt Nhiệm vụ cụ thể nghiên cứu ngơn ngữ UNL; nghiên cứu q trình thực chuyển đổi từ ngôn ngữ UNL sang ngôn ngữ tự nhiên – Tiếng Việt thông qua hai phần mềm DeCo Eugene; sau thử nghiệm, đánh giá đề xuất giải pháp ứng dụng công cụ phát triển UNL cho tiếng Việt Kết tạo tiền đề cho việc nhanh chóng xây dựng thành cơng hệ thống dịch tự động đa nghĩa cho tiếng Việt tương lai Chúng tập trung nghiên cứu hệ thống UNL tìm hiểu dịch tự động, phương pháp dịch tự động Ngoài ra, nghiên cứu kho ngữ liệu (linguistics corpus) kho ngữ liệu đa ngữ (multilingual linguistics corpus) Nghiên cứu sâu hệ thống DeConverter UNL cơng cụ DeCo, Eugene Đề tài đề xuất giải pháp thực nghiệm công cụ dịch tự động sẵn có để dịch tự động biểu thức UNL sang tiếng Việt từ kho ngữ liệu sẵn có Đối tƣợng phạm vi nghiên cứu Trong khuân khổ luận văn thực nghiệm tập trung nghiên cứu hệ thống UNL: Ngôn ngữ UNL mô hình hoạt động hệ thống dịch UNL, kho ngữ liệu (Linguistics Corpus), mơ hình triển khai hệ thống nghiên cứu kỹ công cụ DeCoverter: Eugene, DeCo để thực nghiệm dịch biểu thức UNL sang tiếng Việt Ngồi ra, chúng tơi giới thiệu tổng qt hệ thống dịch Internet Systran, Google, Reverso,… sở số báo luận văn tốt nghiệp khóa trước Phƣơng pháp nghiên cứu Phương pháp nghiên cứu, sử dụng hai phương pháp nghiên cứu lý thuyết nghiên cứu thực nghiệm Với phương pháp nghiên cứu lý thuyết tiến hành thu thập tài liệu sở lý thuyết: Hệ thống UNL – DeConverter, dịch tự động, tài liệu mô tả số công cụ DeConverter tài liệu liên quan đến vấn đề nghiên cứu Đối với phương pháp thực nghiệm nghiên cứu sử dụng công cụ DeConverter để dịch kho ngữ liệu sẵn có sang ngơn ngữ tiếng Việt, sau thực nghiệm dịch kiểm tra số biểu thức UNL sang tiếng Việt Bố cục luận văn Bố cục của luận văn tổ chức thành chương sau: Chƣơng Tổng quan dịch tự động UNL Chƣơng UNL DeConverter công cụ Chƣơng Thử nghiệm dịch biểu thức UNL sang tiếng Việt công cụ DeConverter Kết luận hướng phát triển đề tài CHƢƠNG TỔNG QUAN VỀ DỊCH TỰ ĐỘNG VÀ UNL Trong chương này, giới thiệu lịch sử phát triển dịch tự động, sau trình bày tổng quan ngơn ngữ UNL trình bày chi tiết trình mã hóa (EnConverter) giải mã (DeCoverter) hệ thống UNL 1.1 GIỚI THIỆU VỀ DỊCH TỰ ĐỘNG 1.1.1 Khái niệm Dịch tự động hay gọi dịch máy (MT: Machine Translation) nhánh xử lý ngôn ngữ tự nhiên thuộc phân ngành trí tuệ nhân tạo, kết hợp ngôn ngữ, dịch thuật khoa học máy tính Dịch tự động thực dịch ngôn ngữ sang nhiều ngôn ngữ khác cách tự động, có khơng có trợ giúp người [15] Thuật ngữ dịch máy hay dịch tự động khơng bao gồm máy tính dựa vào từ điển phương pháp tiếp cận vào sở liệu để đọc văn tương tác với trình xử lý ngôn ngữ, chỉnh sửa văn dịch cuối cùng, trường hợp dịch tự động hồn tồn máy tính khơng có can thiệp người hiểu “bản dịch nghĩa” Dịch tự động máy tính khơng phải lĩnh vực độc lập, mà kết hợp ngành khoa học khác để phát triển hoàn thiện 1.1.2 Lịch sử phát triển Những năm 50 kỉ XX, nhóm nghiên cứu Hoa Kì Châu Âu tập trung vào lĩnh vực dịch tự động bảo trợ phủ nhà đầu tư Đã có ba hệ thống dịch tự động nhiều tổ chức khoa học quân thường xuyên sử dụng Những năm 60 kỉ XX, dịch tự động nghiên cứu thực Hoa Kì, Canada Châu Âu Đại học Brigham Young (Hoa Kì) với hệ thống METEO, nhóm GENA SUSY (Châu Âu) Cuối năm 70 kỉ XX, với phát triển kĩ thuật số, dịch tự động chuyển sang giai đoạn phát triển mới: dịch tự động nghiên cứu thực với tham gia người vào trình dịch máy Những năm 90, đánh dấu phát triển mạnh mẽ công nghệ thông tin kĩ thuật số nhiều lĩnh vực kinh tế xã hội Hiện nay, nhiều sản phẩm dịch tự động sử dụng hệ thống dịch tự động với tốc độ dịch nhanh độ xác cao Dịch tự động (dịch máy) coi mấu chốt vấn đề kinh tế xã hội quốc gia thời đại giao tiếp thông tin quốc tế 1.1.3 Vấn đề dịch tự động cho tiếng Việt Dịch tự động từ tiếng nước sang tiếng Việt bắt đầu vào năm 60 Tháng năm 1970 hệ thống dịch tự động Logos I đời với từ điển tự động hóa hỗ trợ bao gồm 1000 từ tiếng Việt Năm 70 kỉ XX, hệ thống dịch tự động từ tiếng Anh tiếng Việt tiến hành Tập đồn viễn thơng Xyzyx, California Nhờ hệ thống này, hiệu lao động người dịch chất lượng cán chuyên ngành nâng cao Việc dịch đoạn văn dài, có nhiều từ chuyên ngành phụ thuộc vào ngữ cảch độ xác chưa cao 1.2 MỘT SỐ HỆ THỐNG DỊCH 1.2.1 Systran Systran hệ thống dịch tự động tiếng có chất lượng dịch tốt sử dụng mơi trường Internet, dịch cho 52 cặp ngôn ngữ 1.2.2 Reverso Đây hệ thống dịch tự động Softissimo để dịch văn trang Web với định dạng HTML, thực dựa Internet, Intranet ứng dụng máy đơn 1.2.3 WorldLingo WorldLingo cơng cụ dịch thuật miễn phí, dịch đoạn văn hay trang web WorldLingo kiểm nghiệm có độ xác dịch thuật lên đến 75% 1.2.4 Google translate Google Translate không mạnh khả dịch chuẩn, dịch sát ý, hỗ trợ nhiều ngơn ngữ, có tiếng Việt Chức Google Translate dịch câu, đoạn văn trang web sang ngôn ngữ yêu cầu Google Translate sử dụng phần mềm dịch thuật riêng có chất lượng tốt, nhiên chưa phải cơng cụ dịch thuật hồn hảo 1.3 TỔNG QUAN VỀ NGÔN NGỮ UNL UNL từ viết tắt “Universal Networking Language” UNL ngơn ngữ máy tính cho phép máy tính truy cập thơng tin tri thức mà không bị vấn đề rào cản ngơn ngữ Nó ngơn ngữ có khả mô giới ngôn ngữ tự nhiên người giao tiếp UNL biểu diễn thông tin tri thức dạng mạng ngữ nghĩa với cấu trúc đa đồ thị Sự biểu diễn UNL không nhập nhằng Trong mạng đa ngữ nghĩa UNL, nút biểu diễn khái niệm cạnh biểu diễn mối quan hệ khái niệm UNL bao gồm thành phần ngôn ngữ tự nhiên UNL bao gồm Universal Word (UW) - từ vựng, Relation - Quan hệ, Attributes Thuộc tính UNL Knowledge Base - Cơ sở tri thức Nó tạo từ biểu diễn khái niệm gọi “Universal Word” gọi tắt UW, UW chứa từ vựng UNL Nó liên kết từ vựng khác tạo thành câu Những liên kết gọi “relation” - mối quan hệ, định vai trò từ câu Ngụ ý người nói diễn tả thơng qua “Attribute” - Thuộc tính “UNLKB” cung cấp định nghĩa ngữ nghĩa từ vựng UNLKB định nghĩa quan hệ có khái niệm, bao gồm quan hệ phân cấp kỹ thuật tham chiếu khái niệm, nghĩa biểu thức UNL không nhập nhằng [10] UNL giảm chi phí phát triển tri thức khái niệm cần thiết cho trình xử lý tri thức cách chia sẻ tri thức khái niệm Câu thông tin biểu diễn thành đa đồ thị gồm có từ vựng (Universal Word - UW) gọi nút quan hệ gọi cạnh Đa đồ thị biểu diễn tập quan hệ nhị phân có hướng, quan hệ nhị phân quan hệ hai từ vựng biểu diễn câu UNL biểu diễn thông tin phân thành chủ ngữ vị ngữ Chủ ngữ biểu diễn sử dụng từ vựng quan hệ Vị ngữ biểu diễn sử dụng thuộc tính gắn kèm với từ vựng 1.3.1 Biểu thức UNL UNL biểu diễn thông tin tri thức theo hình thái mạng ngữ nghĩa với đa đồ thị Mạng ngữ nghĩa UNL tập quan hệ nhị phân, quan hệ nhị phân bao gồm quan hệ hai từ vựng mối quan hệ Mối quan hệ nhị phân UNL biểu diễn theo dạng sau: (,) quan hệ miêu tả UNL Specifications , hai từ vựng chứa mối quan hệ Đa đồ thị: Biểu thức UNL mạng đa ngữ nghĩa Một nút bao gồm mạng ngữ nghĩa biểu thức UNL gọi “scope” Miêu tả dạng chung quan hệ nhị phân biểu thức UNL sau: : (,) Ví dụ 1: Ta có câu tiếng Anh: “Anh works from Monday to Friday” Được biểu diễn UNL sau: agt(work(icl>do).@entry.@present,Anh(iof>person )) ma(work(icl>do).@entry.@present,Monday) fmt(Monday,Friday) Được biểu diễn đa đồ thị sau: work agt Anh ma Monday fmt Friday Hình 1.7 Biểu diễn đồ thị ví dụ 1.3.2 Các quan hệ Quan hệ UNL lựa chọn dựa theo tiên đề sau: Tiên đề 1: Điều kiện cần Khi từ vựng có quan hệ với nhiều từ vựng khác, quan hệ nên gán nhãn phân biệt quan hệ 10 Từ vựng bản; Từ vựng ràng buộc; Từ vựng mở rộng; Từ vựng tạm thời Cách để trích dẫn từ vựng phức hợp Được định nghĩa lần, từ vựng phức hợp trích dẫn tham chiếu đến cách đơn giản sử dụng ID từ vựng phức hợp từ vựng 1.3.4 Thuộc tính từ vựng UNL Thuộc tính từ vựng dùng để miêu tả chủ ngữ câu Nó cho thấy quan điểm diễn đạt quan điểm người nói 1.4 HỆ THỐNG UNL Một hệ thống UNL bao gồm: UNL Language Servers, UNL Editor, UNL Viewer Khi người truy cập vào Internet, người dùng “mã hố” (EnCoverter) văn viết ngơn ngữ sang UNL Tương tự, UNL “giải mã” (DeConverter) sang ngôn ngữ tự nhiên khác Quá trình xử lý “giải mã” “mã hố” cung cấp Languager Server đặt mạng Internet “Mã hố” “giải mã” có nhiệm vụ chuyển đổi ngôn ngữ tự nhiên riêng biệt sang UNL ngược lại 1.4.1 Q trình EnConverter Q trình mã hố (EnConverter) phần mềm chuyển đổi cách tự động văn từ ngơn ngữ tự nhiên sang UNL Q trình mã hoá làm việc theo cách sau: Chuỗi đầu vào duyệt từ trái sang phải Sau chuỗi đầu vào duyệt xong, tất hình vị đánh dấu với ký tự bắt đầu tương ứng từ điển trở thành hình vị thích hợp 1.4.2 Q trình DeConverter hệ thống dịch Quá trình giải mã (DeConverter) thể hệ thống 11 dịch tự động minh họa sau: Hình 1.16 Quá trình DeConverter hệ thống UNL 1.4.3 Từ điển – Dictionary Từ điển từ lưu thơng tin ngơn ngữ, thơng tin có liên quan đến loại từ vựng, ngôn ngữ biểu diễn nơi mà từ sử dụng Từ điển từ chứa thành phần sau: UW cho định nghĩa khái niệm; Tiêu đề từ để biểu diễn khái niệm; Thông tin hoạt động cú pháp từ CHƢƠNG UNL DECONVERTER VÀ CÁC CÔNG CỤ Trong chương này, giới thiệu tổng quan DeConverter hệ thống UNL công cụ để DeConverter 2.1 KHÁI NIỆM VỀ DECONVERTER "DeConverter" thành phần quan trọng hệ thống UNL, phần mềm tự động giải mã UNL sang ngôn ngữ tự nhiên cho chất lượng dịch cao, kết xác Nó thành phần quan trọng kiến trúc "DeConverter" để xử lý tất ngôn ngữ 12 với chất lượng độ xác tiêu chuẩn Công nghệ phát triển cho ngôn ngữ áp dụng cho ngơn ngữ khác miễn kiến trúc chia sẻ DeConverter dịch ngơn ngữ tự nhiên từ UNL, đóng vai trò nòng cốt hệ thống UNL Để chuyển biểu thức UNL ngôn ngữ tự nhiên khác chương trình cần sử dụng số liệu ngôn ngữ từ điển, luật ngữ pháp từ điển đồng nghĩa Quá trình giải mã áp dụng luật tổng quát chung cho nút Node - net sinh danh sách từ ngơn ngữ đích Q trình giải mã khả phát sinh tương tự máy turing Nó có khả phát sinh tất loại câu, thích hợp loại ngôn ngữ [14] 2.2 KIẾN TRÚC CỦA DECOVERTER Hình 2.1 Kiến trúc DeConverter DeConverter hoạt động nút Node-list chèn nút từ Node-net vào Node-List thông qua cửa sổ Có hai 13 loại cửa sổ, Generation Windows Condition Windows Được viết tắt "Generation Windows" (GW), "Condition Windows" (CW) DeConverter tạo câu cách sử dụng từ điển - Word Dictionary, luật giải mã – DeConverter Rule từ điển đồng nghĩa Co-occurrence Dictionary Generation Windows (GW) sử dụng để kiểm tra hai nút liền để áp dụng luật giải mã Nếu có nguyên tắc áp dụng, DeConverter sửa đổi thuộc tính ngữ pháp hai nút chèn nút từ Node-net vào Node-list Quá trình tiếp tục tất nút Node-net chèn vào Node-list, mà nút Node-list sinh câu Mỗi mục Word Dictionary tạo thành từ ba yếu tố: từ mục - Headword, từ vựng - Universal Word (UW) thuộc tính ngữ pháp Một từ mục ký hiệu từ ngôn ngữ tự nhiên mà sử dụng việc tạo câu Một luật giải mã cho nút gồm điều kiện đặt Generation Windows Condition Windows Giải mã nút entry tất nút Node-net chèn vào Node-list thực luật giải mã Khi bắt đầu giải mã, bao gồm nút entry Node-net đưa vào Mục đích q trình giải mã để điền vào Node-List với từ thích hợp cho đầu vào Node-net Khi câu biểu thức UNL nhập làm Node-net, DeConverter truy vấn từ đến Word Dictionary cho node sử dụng UW Mỗi nút Node-net bao gồm danh sách từ mục cần thiết, thể Hình 2.2 Nút Headword or part of a sentence notation Universal Word Grammatical Attributes Hình 2.2 Cấu trúc nút từ mục 14 Từ điển đồng nghĩa – Co-occurrence Dictionary cung cấp thông tin thực tế từ ngữ ngôn ngữ địa 2.3 CHỨC NĂNG CỦA DECONVERTER DeConverter nhằm tạo câu mục tiêu ngơn ngữ có nguồn gốc từ biểu thức UNL cách áp dụng luật giải mã Nó kiểm tra định dạng luật biểu thức UNL nhập vào thông báo lỗi đầu Khi sử dụng DeConverter cách xây dựng luật dễ dàng phát triển nâng cao luật 2.3.1 Hoạt động DeConverter tìm nút Node-list thông qua Generation Window Condition Window, Khi tìm thấy luật áp dụng, hành động hoạt động thông qua theo loại luật Khi khơng tìm thấy luật áp dụng quay trở lại Cơng thức luật chèn bên phải: :{:::} ":::" Mặt khác, để chèn nút vào bên trái thực theo luật sau: :":::"{:::} 2.3.2 Word Dictionary Retrieval Các biểu thức UNL chuyển đổi thành hình thức đầu vào Node-net, mục từ điển cho tất UWs biểu thức UNL lấy từ điển ngôn ngữ mục tiêu Quá trình Dictionary Entry Retrieval thay đổi tùy theo khác UW Mục từ điển: DeConverter cố gắng để lấy tất mục từ điển cho UW từ Word Dictionary xếp theo thứ tự, theo ưu tiên độ dài từ 15 Lấy mục từ Dictionary Word có định dạng sau: [HW]{} “UW” (ATTR1, ATTR2, …) ; 2.3.3 Tham chiếu từ mục 2.3.4 Nguyên tắc áp dụng luật Các quy tắc áp dụng phụ thuộc vào Node-list mà Generation Windows đặt ưu tiên quy luật Luật với độ ưu tiên áp dụng theo thứ tự chúng xuất tập tin văn luật Khi khơng có luật áp dụng tìm thấy, quay lui Khi hệ thống cố gắng áp dụng luật để nút mà khơng có từ mục định từ từ tương ứng, hệ thống nhìn lên danh sách từ tương ứng tìm lời đáp ứng điều kiện luật Nếu từ tìm thấy, lựa chọn áp dụng luật thành cơng Nếu khơng có từ tìm thấy, việc áp dụng luật thất bại 2.3.5 Quay lui Quay lui xảy luật áp dụng khơng tìm thấy luật áp dụng bị lỗi 2.4 LUẬT GIẢI MÃ Luật giải mã mô tả điều kiện áp dụng luật: cách viết lại thuộc tính nút đáp ứng điều kiện, cách sáng tác câu ngôn ngữ địa DeConverter hoạt động nút Node-list thông qua cửa sổ điều kiện hành động luật giải mã kết hợp với cửa sổ Mỗi phần quy tắc thể điều kiện, hành động trên, nút lân cận Node-list theo thứ tự Left Condiction Windows (LCW hay PRE), Genenation Window (LGW), Middle Condition Windows (MCW MID), Generation Window Right (RGW) Right Condition Windows (RCW SUF) 16 2.4.1 Cú pháp luật Một luật giải mã có cú pháp sau: ["("")" ["*"]] "{" | """" [ ] ":" [ ] ":" [ ] ":" [ ] "}" | """" ["("")" ["*"]] "{" | """" [ ] ":" [ ] ":" [ ] ":" [ ] "}" | """" ["("")" ["*"]] "P(" ");" Biểu thức {} "" sử dụng để mô tả luật cho nút định Generation Windows Trong {} dùng để nút có Node-list "," sử dụng để mơ tả nút chèn vào 2.4.2 Mơ tả trƣờng có điều kiện |||| ::= ["^" ] { "," ["^"] } 2.4.3 Mô tả hành động trƣờng Cú pháp chung thuộc tính ngữ pháp sau: | ::= { [ "+" ] | "-" } { "," { [ "+" ] | "-" } } Các hành động "+" "-" định việc bổ sung xóa thuộc tính ngữ pháp tương ứng 2.4.4 Hƣớng quan hệ ngữ nghĩa 2.4.5 Hƣớng quan hệ đồng nghĩa 2.4.6 Mức độ ƣu tiên luật mô tả thứ tự ưu tiên luật 17 Các giá trị ưu tiên khoảng 0-255 Quy định khơng có giá trị ưu tiên Giá trị ưu tiên lớn mức ưu tiên cao ::= "0" | "1" | … | "255" 2.5 CÁC KIỂU LUẬT SINH Phần mô tả loại luật sinh chức luật Có 10 loại luật sinh, loại đại diện 1-2 ký hiệu ':' '?' '? L', 'R', 'L',,, '? R', 'C', ' CR ',' DL 'và' DR 'đó sử dụng trường quy định 2.6 CÁC LUẬT HIỆU CHỈNH Có loại luật hiệu chỉnh, 'P >>', 'P