Luận văn thạc sĩ Công nghệ thông tin Kĩ thuật Dịch Ứng dụng Hàng không Tài liệu

Luận văn thạc sĩ Công nghệ thông tin Kĩ thuật Dịch Ứng dụng Hàng không Tài liệu

TRẦN LÂM QUÂN BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGÀNH: CÔNG NGHỆ THƠNG TIN TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG TRẦN LÂM QUÂN 2004-2006 Hà Nội 2006 HÀ NỘI 2006 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: TRẦN LÂM QUÂN Người hướng dẫn khoa học: TS NGUYỄN KIM ANH HÀ NỘI 2006 -1- Trần Lâm Quân LỜI CẢM ƠN Lời đầu luận văn, em xin chân thành cảm ơn Thầy Cô khoa Công nghệ Thông tin trường Đại học Bách khoa Hà Nội tận tình bảo, truyền đạt kiến thức cho em suốt hai năm qua Xin biết ơn Cô Nguyễn Kim Anh, người trực tiếp hướng dẫn em làm luận văn Nếu khơng có hướng dẫn tận tình, truyền đạt kiến thức Cơ luận văn khó hồn thành Cũng chân thành cám ơn gia đình, bạn lớp, cộng tác viên động viên, sát cánh thời gian học tập Trường, trình thực luận văn Mặc dù cố gắng, song chắn luận văn khơng tránh khỏi thiếu sót – mà có khuyết điểm Em mong nhận thông cảm ý kiến đóng góp tận tình Thầy Cô bạn Hà Nội, ngày 01 tháng 11 năm 2006 Tác giả Trần Lâm Quân TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG -2- Trần Lâm Quân MỤC LỤC trang Lời cảm ơn Mục lục Danh mục bảng Danh mục hình vẽ Lời nói đầu Chương 1: Tổng quan dịch máy I) Định nghĩa dịch máy 11 II) Vai trò dịch máy 12 III) Lịch sử dịch máy 13 1) Giai đoạn 1930 - 1940 14 2) Giai đoạn 1940 - 1970 14 3) Giai đoạn 1970 - 1990 16 4) Giai đoạn 1990 - 17 IV) Phân loại dịch máy 18 I) Phạm vi luận văn 19 VI) Kết chương 20 Chương 2: Các phương pháp dịch máy I) Vấn đề ngôn ngữ dịch máy 21 II) Kho ngữ liệu 24 III) Dịch trực tiếp 25 IV) Dịch chuyển đổi 27 1) Dịch chuyển đổi cú pháp 27 2) Dịch chuyển đổi cú pháp + phân giải ngữ nghĩa 29 TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG -3- Trần Lâm Quân 3) Quy trình dịch chuyển đổi V) Dịch máy dựa thống kê (Statistical Machine 30 29 Translation) VI) Dịch máy dựa mẫu ví dụ (Example-Based 32 Machine Translation) VII) Dịch dựa sở tri thức 33 VIII) Dịch dựa ngữ liệu 33 IX) Dịch liên ngữ 33 1) Ưu điểm 34 2) Nhược điểm 35 3) Phân hoạch liên ngữ 36 X) Kết chương 38 Chương 3: Từ điển hàng không I) Khảo sát 1) Tập hợp từ điển Anh - Việt hàng không 39 40 (dạng sách) 2) Tập hợp từ điển Anh - Việt thông dụng 41 (dạng phần mềm) II) Biên tập để xây dựng kho ngữ liệu 1) Nhập liệu (từ, nghĩa từ, từ xem thêm) 42 2) Phân nhóm từ 42 3) Biên tập 43 III) Lựa chọn mơ hình, thiết kế giải thuật, giao diện 44 viết chương trình IV) Thiết kế viết mã 49 V) Xin ý kiến đóng góp chuyên gia người sử 60 dụng Hoàn thiện từ điển thử nghiệm dịch máy TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG -4- Trần Lâm Quân VI) Tài liệu sử dụng 62 VII) Kết chương 62 Chương 4: Cài đặt chương trình thử nghiệm đánh giá I) Cách tiếp cận 62 II) Bộ liệu thử 63 III) Các yêu cầu phần cứng, phần mềm trình thử 64 nghiệm IV) Kết thực nghiệm 65 V) So sánh 1) Với EV-Trans 3.0 73 2) Với Lạc Việt từ điển (ở chức tra từ tự động 75 - AutoLook) Chương 5: Kết luận - Hướng phát triển 76 Tài liệu tham khảo 78 Tóm tắt luận văn 82 Phụ lục TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG Trần Lâm Quân -5- DANH MỤC CÁC BẢNG Trang Bảng 2.1: Bảng so sáng khái quát tiếng Anh - tiếng Việt 24 Bảng 3.1: Cấu trúc dạng bảng kho ngữ liệu 48 Bảng 4.1: Nội dung mẫu thử nghiệm 66 Bảng 4.2: So sánh với EV-Trans 3.0 75 Bảng 4.3: So sánh với Lạc Việt từ điển 2002 76 TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG Trần Lâm Qn -6- DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1: Quá trình xử lý tài liệu dịch máy 11 Hình 2.1: Sơ đồ hệ dịch trực tiếp 25 Hình 2.2: Sơ đồ hệ dịch chuyển đổi 28 Hình 2.3: Sơ đồ hệ dịch dựa mẫu ví dụ 32 Hình 2.4: Tương quan sơ đồ dịch máy 34 Hình 2.5: Mơ hình hệ dịch liên ngữ 35 Hình 2.6: Cây phả hệ ngơn ngữ họ Austro-Asiatic 37 Hình 2.7: Cây phả hệ ngơn ngữ họ Indo-European 38 Hình 3.1: Mơ hình chức Từ điển hàng khơng + Dịch máy 53 Hình 3.2: Giao diện tra từ 54 Hình 3.3: Giao diện sửa từ 55 Hình 3.4: Giao diện thêm từ 55 Hình 3.5: Giao diện xóa từ 56 Hình 3.6: Màn hình thuật ngữ viết tắt 57 Hình 3.7: Cài đặt tùy chọn 57 Hình 3.8: Giao diện từ điển riêng 58 Hình 3.9: Cơ chế Hook 58 (phụ lục) Giao diện phần mềm Từ điển hàng không + Dịch máy 84 (phụ lục) Giao diện thử nghiệm Dịch máy + chức máy học 85 TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG Trần Lâm Quân -7- LỜI NÓI ĐẦU Chế tạo loại máy có khả dịch tự động để giúp cho người vượt qua rào cản ngôn ngữ mơ ước lồi người có từ kỷ XVII, lâu trước máy tính điện tử đời Khi khoa học công nghệ phát triển mạnh, yêu cầu nắm bắt thông tin kỹ thuật nhanh xác trở nên cần thiết Đa số tài liệu kỹ thuật viết tiếng Anh Chẳng sau máy tính điện tử đời, bên cạnh ứng dụng tính tốn lĩnh vực toán học vật lý, người nghĩ đến việc sử dụng “não máy tính” cho ứng dụng thực tiễn, có vấn đề dịch máy Lần đầu tiên, việc sử dụng máy tính điện tử để dịch văn từ ngơn ngữ sang ngôn ngữ khác đề cập đến thảo luận Andrew D Booth Warren Weaver vào năm 1946 Vượt qua nhiều trở ngại lý thuyết công nghệ, Booth cho mắt “hệ dịch dựa từ điển” hội nghị MIT vào năm 1952 [16] [17] [18] Trôi chảy với thời gian, phát triển nhanh chóng mạng máy tính cơng nghệ truyền thơng, người ngày có điều kiện tiếp xúc với nguồn tri thức phong phú nhiều dạng khác (chữ viết, hình ảnh, âm thanh, v.v.), thể nhiều ngôn ngữ khác Nhu cầu đọc hiểu trao đổi thông tin trở nên cần thiết bao giờ, nhưng, nhu cầu gặp phải rào cản - khác biệt mặt ngôn ngữ Và, ngơn ngữ, tự thân vốn phức tạp Con người tìm cách vượt qua rào cản ngôn ngữ theo nhiều cách khác nhau, từ việc xây dựng từ điển song ngữ, nghiên cứu dịch thuật liên ngữ, phương pháp học ngoại ngữ nhanh chóng, việc tạo ngơn ngữ chung cho lồi người - quốc tế ngữ Esperanto Vào thời điểm sức mạnh máy tính khẳng định, tốn sử dụng máy tính để TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG ... BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: TRẦN LÂM QUÂN Người hướng dẫn... dịch máy ứng dụng vào tài liệu hàng không? ?? cho luận văn Kết xuất luận văn thử nghiệm dịch tự động dựa việc rút trích tri thức (ngữ nghĩa) từ ấn phẩm từ điển hàng khơng có áp dụng kỹ thuật học... máy Văn đích Hiệu đính Con người Hình 1.1: Q trình xử lý tài liệu dịch máy TÌM HIỂU KỸ THUẬT DỊCH MÁY VÀ ỨNG DỤNG VÀO TÀI LIỆU HÀNG KHÔNG Trần Lâm Quân - 12 - Đầu vào hệ dịch máy thường văn viết