Tìm hiểu cấu trúc ngữ nghĩa Hán-Việt, xây dựng kho ngữ vựng dựa nghĩa Hán-Việt trong xử lý tiếng Việt

Header Page of 126 -1- BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG ĐOÀN NGỌC DIỄM MY TÌM HIỂU CẤU TRÚC NGỮ NGHĨA HÁN-VIỆT, XÂY DỰNG KHO NGỮ VỰNG DỰA NGHĨA HÁN-VIỆT TRONG XỬ LÝ TIẾNG VIỆT Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2011 Footer Page of 126 Header Page of 126 -2- Công trình ñược hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: PGS TS Phan Huy Khánh Phản biện 1: Phản biện 2: Luận văn ñược bảo vệ trước Hội ñồng chấm Luận văn tốt nghiệp thạc sĩ kỹ thuật họp Đại học Đà Nẵng vào ngày tháng năm 2011 * Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng - Trung tâm Học liệu, Đại học Đà Nẵng Footer Page of 126 Header Page of 126 -3MỞ ĐẦU Lý chọn ñề tài Ở nước ta, từ Hán Việt, hay từ Việt gốc Hán chiếm tỷ lệ lớn kho từ vựng tiếng Việt Do ñó ñã có nhiều công trình nghiên cứu xử lý từ Hán Việt văn tiếng Việt xây dựng từ ñiển Hán Việt, công cụ chuyển ñổi nhanh văn Hán Việt văn chữ Hán… Nhưng ứng dụng số hạn chế, cụ thể như: - Tất ñều chưa có kho ngữ liệu từ vựng dùng chung Mỗi ứng dụng tự xây dựng cho kho ngữ vựng riêng Thiếu tính quán kho ngữ liệu khả kết hợp ñược với - Đây kho ngữ liệu cấu trúc, tính mở tạo số khó khăn ñịnh việc khai thác, cập nhật chia nguồn ngữ liệu dùng chung Được gợi ý PGS.TS Phan Huy Khánh ñã chọn ñề tài: ”Tìm hiểu cấu trúc ngữ nghĩa Hán-Việt, xây dựng kho ngữ vựng dựa nghĩa Hán-Việt xử lý tiếng Việt” nhằm ñưa giải pháp xác ñịnh nghĩa cụm từ hay câu xây dựng kho ngữ vựng khắc phục ñược số nhược ñiểm Mục tiêu nhiệm vụ nghiên cứu Mục ñích ñề tài xây dựng kho ngữ vựng tiếng Hán Việt dựa nghĩa bao gồm từ, cụm từ, chí câu nghĩa chúng mà kho ngữ vựng chưa có Muốn làm ñược ñiều ñó, ñề tài cần ñưa phương pháp thích hợp ñể xây dựng nghĩa cho từ, cụm từ, câu kho ngữ vựng cần xây dựng Các từ, cụm từ, câu ñược ghép lại từ từ ñơn từ ghép Vì vậy, muốn xây dựng nghĩa cho từ, cụm từ Footer Page of 126 Header Page of 126 -4- câu kho ngữ vựng phải dựa vào nghĩa từ kho từ ñơn từ ghép Để ñạt ñược mục tiêu trên, ñề tài cần thực nhiệm vụ sau: - Tìm hiểu tiếng Hán Việt, cú pháp từ Hán Việt, kho ngữ vựng từ Hán Việt, ứng dụng xử lý từ Hán Việt CNTT - Tìm phương pháp xác ñịnh nghĩa cho kho ngữ vựng dựa nghĩa - Tìm hiểu mô hình, cấu trúc kho ngữ vựng từ Hán Việt có, từ ñó xác ñịnh mô hình cấu trúc kho ngữ vựng dựa nghĩa - Xây dựng kho ngữ vựng theo mô hình thuộc lĩnh vực ñịnh Đối tượng phạm vi nghiên cứu Nghiên cứu lý thuyết Đưa mô hình xử lý cập nhật liệu ñể tạo kho ngữ vựng dựa nghĩa Nghiên cứu triển khai thuật toán, ngôn ngữ lập trình thích hợp, công cụ hổ trợ ñể xây dựng ứng dụng thử nghiệm Giả thiết nghiên cứu Nghiên cứu lý thuyết Từ Hán Việt, chất ngữ pháp, ngữ nghĩa từ Hán Việt, ñặc biệt kiến thức ngữ nghĩa từ ghép Hán Việt Nghiên cứu cấu trúc kho ngữ vựng Hán Việt, giải pháp cập nhật CSDL cho kho ngữ vựng Hán Việt Phương pháp nghiên cứu - Thu thập, tìm hiểu, phân tích tài liệu thông tin có liên quan ñến luận văn - Phân tích thiết kế hệ thống chương trình Footer Page of 126 Header Page of 126 -5- - Triển khai xây dựng chương trình - Kiểm thử, ñưa nhận xét ñánh giá kết Ý nghĩa khoa học thực tiễn ñề tài Ý nghĩa khoa học : Hỗ trợ cho việc xây dựng từ ñiển ñơn, song ña ngữ hay chương trình ứng dụng khác Ý nghĩa thực tiễn : Khả ứng dụng kho ngữ vựng ñể xử lý ngôn ngữ từ Hán Việt như: tìm kiếm văn bản, phân tích văn bản, dịch thuật… Bố cục luận văn Luận văn ñược tổ chức thành chương Chương 1: Tổng quan từ Hán Việt Trong chương này, nghiên cứu vấn ñề từ Hán Việt khái niệm, ñặc ñiểm, lợi ích từ Hán Việt; cách dùng từ Hán Việt cho ñúng mối quan hệ từ Hán Việt CNTT Chương 2: Nghiên cứu công cụ, môi trường kỹ thuật xây dựng kho ngữ vựng dựa nghĩa từ Hán Việt Trong chương này, nghiên cứu vấn ñề liên quan ñể xây dựng ñược ứng dụng vấn ñề xử lý ngôn ngữ tự nhiên: công cụ, môi trường ngôn ngữ lập trình, ñề án xây dựng kho ngữ vựng từ Hán Việt ñể rút kỹ thuật xây dựng kho ngữ vựng dựa nghĩa từ Hán Việt Chương 3: Giải pháp xây dựng kho ngữ vựng dựa nghĩa xử lý từ Hán Việt Trong chương này, trình bày giai ñoạn thiết kế, xây dựng triển khai ứng dụng, mô tả hoạt ñộng ứng dụng, trình bày kết mà ứng dụng ñã ñạt ñược Footer Page of 126 Header Page of 126 -6- CHƯƠNG - TỔNG QUAN VỀ TỪ HÁN VIỆT 1.1 Chữ Hán gì? 1.2 Nguồn gốc chữ Hán Việt Vào kỉ thứ trước Công nguyên, với việc phong kiến phương Bắc xâm lược Việt Nam, ngôn ngữ văn tự Hán ñược ñưa vào Việt Nam Do du nhập văn hoá mạnh mẽ nên nước ta thời cổ trung ñại sử dụng tiếng Hán văn thức hai nước Triều Tiên Nhật Bản Chữ Hán qua Việt Nam chưa có âm Việt, nên người Việt Nam phải ñặt âm Việt cho từ ñó theo cách phát âm sai lệch Theo dòng lịch sử, nhiều chữ Hán ñã ñược người Việt Nam tiếp thu trở thành từ Hán Việt, ñược sử dụng thông dụng vốn từ tiếng Việt Chính phong phú kho từ vựng tiếng Việt nhu cầu sử lý văn Hán Việt mà việc nghiên cứu sử dụng ñúng vốn từ Hán Việt ñã ñược nhiều nhà văn hoá giáo dục quan tâm 1.3 Đặc ñiểm từ Hán Việt Từ Hán Việt phong phú số lượng ngữ nghĩa Từ Hán Việt kết hợp lại với ñể tạo thành từ Từ Hán Việt không gây mâu thuẫn cách hiểu ñó từ Việt nhiều hay gây nhiều hiểu lầm Từ Hán Việt nghe kêu vang dội Từ Hán Việt thường mang nhiều nghĩa, hàm nghĩa âm tiết Hán Việt rộng hàm nghĩa âm tiết Việt Một số chữ Hán Việt trở nên tối nghĩa vô nghĩa ñảo trật tự từ Ví dụ: tương quan, quan, thể… Một số chữ Hán Việt ñảo trật tự sinh nghĩa khác, Ví dụ: nhân, phạm tội ñảo trật tự thành nhân quả, tội phạm mang nghĩa khác hoàn toàn Footer Page of 126 Header Page of 126 -7- Chữ Hán Việt giữ nghĩa Ví dụ: Đông phương, Tây phương,… 1.4 Lợi ích từ Hán Việt - Làm giàu thêm kho từ tiếng Việt - Từ Hán Việt làm tăng giá trị cho ngôn ngữ Việt Nam - Từ Hán Việt giúp ích nhiều việc soạn thảo danh từ khoa học 1.5 Cấu trúc từ Hán Việt Với từ Hán Việt, cấu trúc danh từ Hán Việt thường nghịch với cấu trúc danh từ Việt Nếu từ Việt câu ñược cấu trúc với thành phần ñứng trước, thành phần phụ ñứng sau cấu trúc câu từ Hán Việt thường ngược lại, thành phần phụ ñứng trước, thành phần ñứng sau Đây ñiểm khác biệt rõ rệt cấu trúc câu từ Việt Hán Việt Bảng 1.1 Sự khác biệt cấu trúc từ Hán Việt Việt Từ Việt (chính + phụ) Từ Hán Việt (phụ + chính) Hoa hồng Hồng hoa Mặt trắng Bạch diện Lá rụng Lạc diệp Chữ Hán ñược cấu tạo theo sáu nguyên tắc gọi Lục thư: Tượng hình,Chỉ sự, Hình thanh, Hội ý, Chuyển chú, Giả tá Nhưng tóm lại, có cách tạo chữ, chuyên hình thức thường dùng: Tượng hình, Hội ý Hình Còn ba cách kia: Chỉ sự, Chuyển Giả Tá không thức cách tạo chữ mà thêm yếu tố âm Footer Page of 126 Header Page of 126 -8- Từ ñơn Hán Việt 1.5.1 1.5.1.1 Từ ñơn Hán Việt nhìn từ tiêu chí ngữ âm a Từ ñơn Hán Việt âm Hán Việt Những từ ñơn Hán Việt loại thường mang âm Hán Việt phổ thông theo phiên thiết, ví dụ: ñịnh (ñệ ninh thiết 弟 寧 切), (nhục dư thiết 辱 余 切), tưởng (tẩy dưỡng thiết 洗 養 切), sương (sư ương thiết 師 央 切) b Từ ñơn Hán Việt biến âm Hán Việt Đây từ ñơn Hán Việt mang âm Hán Việt phổ thông lại mô phiên thiết tiếng Hán Đó là: sinh (sư hanh thiết 師 亨 切), dung (dư long thiết 余 龍 切), hòe (hồ quai thiết), v.v 1.5.1.2 Từ ñơn Hán Việt nhìn từ tiêu chí ngữ nghĩa Thường nghĩa từ Hán Việt ña phần nghĩa vay mượn Tuy nhiên, ñây chia từ ñơn Hán Việt tùy theo ngữ nghĩa thành hai loại sau: a Từ ñơn Hán Việt nguyên nghĩa Hán Nguyên nghĩa từ ñơn Hán Việt chung nét nghĩa vốn có tiếng Hán văn ngôn b Từ ñơn Hán Việt biến nghĩa Việt Sự biến nghĩa số từ ñơn Hán Việt nói nét nghĩa ñược hình thành tiếng Việt Chúng tồn với nét nghĩa tiếng Hán bộc lộ rõ nét ngữ cảnh ñịnh Để cập nhật nghĩa từ ñơn vào kho ngữ vựng, ta chủ yếu dựa vào từ ñiển 1.5.1.3 Từ ñơn Hán Việt nhìn từ tiêu chí ngữ pháp Footer Page of 126 Header Page of 126 -9- Theo hoạt ñộng ngữ cảnh, lớp từ ñơn Hán Việt chia thành danh từ, ñộng từ tính từ a Từ ñơn Hán Việt danh từ Danh từ ñơn Hán Việt bao gồm danh từ cụ thể danh từ trừu tượng ví dụ từ: Khách 客 chí 志 幅 步 thủy 水 thuyền 船 b Từ ñơn Hán Việt ñộng từ Một số ñộng từ ñơn Hán Việt tiến, học, phong v.v hoạt ñộng chủ thể; tưởng, sầu, muộn, thương v.v cảm nghĩ, tâm tư, tình cảm chủ thể; ñộng từ trình biến ñổi, như: hóa, tàn, giải v.v… c Từ ñơn Hán Việt tính từ Một số tính từ: trọng 重 tiện 便 dư 餘 cao 高 Như khó xác ñịnh nghĩa từ ñơn Hán Việt, ñó ta cập nhật nghĩa từ ñơn Hán Việt chủ yếu dựa vào từ ñiển ñã có 1.5.2 Từ ghép Hán Việt 1.5.2.1 Từ ghép Hán Việt nhìn từ tiêu chí ngữ âm a Từ ghép Hán Việt âm Hán Việt Đây từ ghép Hán Việt mà hai yếu tố từ ñều ñọc âm Hán Việt phổ thông tương ứng phiên thiết, yếu tố ñọc âm Hán Việt phổ thông mô phiên thiết Vì vậy, nhận xét loại từ ghép qua cách phân loại sau: (1) Từ ghép âm Hán Việt phổ thông tương ứng với phiên thiết, ví dụ : bình (清 清 : thất anh thiết 室 嬰 切; 平 bình: bì nghinh thiết 皮 迎 切 (2) Từ ghép Hán Việt âm Hán Việt phổ thông Footer Page of 126 Header Page 10 of 126 - 10 - b Từ ghép Hán Việt biến âm Hán Việt Biến âm cục ñiệu từ ghép Hán Việt tượng phổ biến văn vần với mục ñích hiệp vần thơ, hay luật thơ vần 1.5.2.2 Từ ghép Hán Việt nhìn từ tiêu chí ngữ nghĩa a Từ ghép Hán Việt nguyên nghĩa Hán Đa số từ ghép Hán Việt ñều ñược dẫn dụng nét nghĩa vốn có tiếng Hán văn ngôn b Từ ghép Hán Việt biến nghĩa Việt Đây loại từ ghép ñược vay mượn từ tiếng Hán văn ngôn lại mang nét nghĩa ñược hình thành tiếng Việt thuộc phạm vi dịch phẩm Ví dụ, từ ghép hư không Trong tiếng Hán hư nghĩa khoảng không trống rỗng, gì, tiếng Việt hư nghĩa thật, trạng thái lửng lơ, hụt hẫng mong chờ 1.5.2.3 Từ ghép Hán Việt nhìn từ tiêu chí ngữ pháp a Từ ghép Hán Việt ñẳng lập Loại từ ghép ñẳng lập xếp vào từ loại, danh từ, ñộng từ, tính từ a.1 Từ ghép ñẳng lập Hán Việt danh từ Những từ ghép ñẳng lập ñây ñều hai danh từ ñơn Hán Việt, bán tự tự do, ví dụ: thời tiết 時節 xuân thu 春秋 nhan sắc 顏色 a.2 Từ ghép ñẳng lập Hán Việt ñộng từ Trong số ñộng từ ghép ñẳng lập Hán Việt ñây có tượng rút gọn nguyên cụm từ từ hóa thành ñộng từ ghép Ví dụ: tiến thảo từ hóa từ cụm từ tiến binh thảo nghịch, xuất chinh xuất sư chinh thú Riêng từ trang ñiểm từ hóa từ cụm Footer Page 10 of 126 Header Page 12 of 126 - 12 - Nghĩa = Nghĩa từ gốc sau ñó nâng cao hay giảm nhẹ mức ñộ nghĩa 1.5.4 Nghĩa câu Hán Việt -Câu ñơn bình thường: Nghĩa = Nghĩa cụm từ - chủ ngữ + Nghĩa cụm từ - vị ngữ -Câu ñặc biệt: Nghĩa = Nghĩa ngữ hay Nghĩa liên hợp -Câu ñơn tỉnh lược: Nghĩa = nghĩa cụm từ-chủ ngữ (Câu tỉnh lược vị ngữ) Hoặc Nghĩa = nghĩa cụm từ-vị ngữ (Câu tĩnh lược chủ ngữ) Hoặc Nghĩa = nghĩa phần phụ (Câu tỉnh lược nòng cốt) 1.6 Cách dùng từ Hán Việt 1.6.1 Dùng từ ñúng âm 1.6.2 Dùng từ ñúng nghĩa Footer Page 12 of 126 Header Page 13 of 126 - 13 - CHƯƠNG - CÔNG CỤ, MÔI TRƯỜNG VÀ KỸ THUẬT XÂY DỰNG KHO NGỮ VỰNG TIẾNG HÁN VIỆT DỰA NGHĨA 2.1 Cơ sở lý thuyết Vấn ñề xử lý ngôn ngữ tự nhiên 2.1.1 2.1.1.1 Khái niệm Xử lý ngôn ngữ tự nhiên nhánh lĩnh vực ứng dụng trí tuệ nhân tạo nhằm mục ñích: phân tích, nhận biết, tổng hợp ngôn ngữ tự nhiên Nó sở ñể ñi vào hướng: hiểu ngôn ngữ, dịch ngôn ngữ, xử lý tiếng nói, xử lý văn bản,… 2.1.2 Sơ lược toán tách từ tiếng Việt 2.1.2.1 Khó khăn toán tách từ tiếng Việt 2.1.2.2 Các vấn ñề toán tách từ tiếng Việt * Xử lý nhập nhằng * Nhận diện từ chưa biết 2.1.2.3 Phương pháp tách từ dùng luận văn - Phương pháp Maximum Matching (forward/backward) 2.1.3 2.1.3.1 Từ ñiển học Một số từ ñiển thông dụng - Từ ñiển giấy - Từ ñiển ñiện tử - Từ ñiển máy tính 2.1.3.2 Một vài nhận xét hình thức lưu trữ từ ñiển 2.1.3.3 Bách khoa toàn thư mở Wikipedia - Giới thiệu - Hoạt ñộng Cách thức thu thập liệu Chọn lọc liệu Footer Page 13 of 126 Header Page 14 of 126 - 14 - - Đánh giá Ưu ñiểm Nhược ñiểm 2.1.4 Kho ngữ vựng dựa nghĩa tiếng Hán Việt 2.1.4.1 Vai trò kho ngữ vựng tiếng Hán Việt dựa nghĩa Kho ngữ vựng tiếng Hán Việt dựa nghĩa dùng ñể lưu trữ tất từ vựng ( từ ñơn, từ ghép), ngữ, cụm từ, câu dài giải thích nghĩa của chúng Với kho ngữ vựng tiếng Hán Việt dựa nghĩa, xây dựng công cụ khai thác giúp ích cho việc dạy - học tiếng Hán Việt phát triển thêm ứng dụng khác như: Xây dựng từ ñiển, bắt lỗi tả xử lý văn tiếng Hán Việt, nhận dạng tiếng Hán Việt… ñặc biệt dùng ñể giải toán dịch tự ñộng - toán khó ñối với ngành CNTT 2.1.4.2 Nội dung kho ngữ vựng tiếng Hán Việt dựa nghĩa Kho ngữ vựng tiếng Hán Việt dựa nghĩa chứa số lượng từ ñáng kể Với kho ngữ vựng ñuợc xây dựng hoàn toàn mở, tất người sử dụng, khai thác từ vựng kho cách dễ dàng, thuận tiện Bên cạnh ñó, người sử dụng cập nhật thêm vốn từ vựng cho kho ngữ liệu, chép toàn kho ngữ liệu ñể triển khai nhiều ứng dụng nhằm phục vụ cho mục ñích khác 2.1.4.3 Tình trạng kho ngữ vựng tiếng Hán Việt dựa nghĩa Kho ngữ vựng ñặt trạng thái mở Dữ liệu kho ñược cập nhật thường xuyên, ngày phong phú, ña dạng, dễ tiếp cận, dễ khai thác Bên cạnh ñó, thuộc tính mở kho nên người ñều cập nhật tài nguyên kho 2.2 Môi trường, công cụ xây dựng ứng dụng 2.2.1 Ngôn ngữ sử dụng Footer Page 14 of 126 Header Page 15 of 126 - 15 - 2.2.1.1 Ngôn ngữ XML 2.2.1.2 Ngôn ngữ MySQL 2.2.1.3 Ngôn ngữ PHP 2.2.1.4 Ngôn ngữ CSHARP (C#) 2.2.2 Chuẩn bị ngữ liệu 2.2.3 Môi trường, công cụ thực Ứng dụng ñược xây dựng môi trường Windows, sử dụng ngôn ngữ lập trình C# ñể cài ñặt Môi trường cài ñặt Microsoft Visual Studio.Net 2005 truy xuất liệu từ XML Footer Page 15 of 126 Header Page 16 of 126 - 16 - CHƯƠNG - GIẢI PHÁP XÂY DỰNG KHO NGỮ VỰNG DỰA NGHĨA TỪ HÁN VIỆT 3.1 Phương pháp xây dựng kho ngữ vựng dựa nghĩa từ Hán Việt 3.1.1 Quy mô Chúng ta xác ñịnh ñề tài này, ta dừng lại việc làm ñể tạo ñược kho ngữ vựng dựa nghĩa Để thu thập liệu cho kho ngữ vựng này, thực công việc sau: - Xây dựng cấu trúc kho - Thêm từ vựng vào kho - Giải thích từ vựng Hoạt ñộng 3.1.2 Ta xây dựng kho ngữ vựng tiếng Hán Việt hoạt ñộng theo hướng mở ñối với liệu Để làm ñược ñiều này, ta xây dựng Website ñể thu thập liệu cho kho ngữ vựng, thành viên Website ñều cập nhật, sửa ñổi góp ý kiến với liệu kho ngữ vựng tiếng Việt dựa nghĩa 3.1.3 Chọn lọc liệu 3.1.3.1 Cách thức lựa chọn chuyên gia Như ñã trình bày trên, liệu kho ngữ vựng tiếng Hán Việt dựa nghĩa ñược lấy ý kiến từ thành viên ñịnh chuyên gia, chuyên gia Website thành viên có số ñóng góp ñịnh, ñược ñề xuất ñịnh chọn hay không phụ thuộc vào người quản lý Website 3.1.3.2 Chọn lọc liệu Dữ liệu Website ñược tập hợp từ hai phần Phần gốc Footer Page 16 of 126 Header Page 17 of 126 - 17 - Được tập hợp lúc triển khai ñề tài, liệu người quản lý Website nhập tay, trích xuất từ từ ñiển lấy liệu từ Internet Dữ liệu ñược sữa ñổi từ thành viên trình triển khai ñề tài Phần bổ sung Trong thời ñiểm, liệu ñược cập nhật, bổ sung thành viên tham gia Website (người dùng) Dữ liệu ñược thức cập nhật vào kho ngữ vựng tiếng Hán Việt dựa nghĩa theo quy ñịnh sau: - Người dùng nhập liệu bổ sung thay ñổi liệu có sẵn - Các liệu ñược ẩn dấu chương trình - Sau thời gian chuyên gia phải xác ñịnh ñựơc liệu cập nhật thay ñổi có hợp lệ hay không? Sau ñó ñánh dấu vào liệu - Căn vào ñánh dấu chuyên gia chương trình tự ñộng hiển thị xoá liệu 3.1.4 Mô hình Chương trình thu thập từ vựng cho kho ngữ vựng tiếng Hán Việt dựa nghĩa ñược ñề xuất ñề tài là: Thiết lập trang Web mở miễn phí Internet Người sử dụng tra cứu thông tin từ vựng tiếng Hán Việt cập nhật sữa ñổi ñược nội dung liệu từ vựng Các chức Website bao gồm: - Tra cứu từ ñiển tiếng Hán Việt Online - Cập nhật sửa ñổi nội dung từ ñiển - Quyết ñịnh chuyên gia tính ñúng ñắn liệu - Sân chơi nhằm nâng cao kiến thức tiếng Hán Việt 3.2 Phân tích thiết kế hệ thống chương trình Footer Page 17 of 126 Header Page 18 of 126 3.2.1 - 18 - Mô hình tổng quát hệ thống Dữ liệu lấy từ internet người dùng Thu thập liệu cho trò chơi CSDL thô Cập nhật liệu vào kho liệu thô Thu thập liệu từ trò chơi Người sử dụng website CSDL trung gian Cập nhật liệu vào kho trung gian Tinh lọc dựa vào kết ñánh giá người sử dụng Cập nhật vào CSDL thức Cập nhật vào CSDL thức CSDL thức Hình 3.1 Mô hình tổng quát hệ thống 3.2.2 Mô hình Use case hệ thống System Dang ky Choi tro choi Guest Tra cuu Danh gia User Quan ly ngan hang tu Administrator Quan ly dang nhap Hình 3.2 Mô hình Use case hệ thống Footer Page 18 of 126 Dang nhap Header Page 19 of 126 - 19 - 3.3 Chương trình thu thập liệu cho kho tiếng Hán Việt dựa nghĩa 3.3.1 Sơ ñồ hoạt ñộng chương trình HỆ THỐNG CHỨC NĂNG Chức hiển thị quản trị thông Chức tạo Sân Chơi Chức Thống kê quản trị tin tức chung Hiển thị Bài Thống kê người chơi quản trị người dùng Hiển thị Bài Thống kê từ Hán Việt Cập nhật vào kho DN Hiển thị Bài Đánh giá chuyên gia quản trị hình ảnh Hình Tra cứu Tìm kiếm từ Hán việt Sơ ñồ hoạt ñộng chương trình Hình 3.3 Sơ ñồ chức hệ thống 3.3.2 Giải thích sơ ñồ Khi vào website, người sử dụng làm số công việc sau: Tra cứu từ vựng -Nếu từ vựng có kho hiển thị thông tin từ vựng -Nếu từ vựng hình báo từ vựng kho Đăng nhập -Nếu người dùng chưa có tài khoản: Tạo tài khoản -Nếu người dùng ñã có tài khoản: Sau ñăng nhập thành công, người dùng sửa ñổi lại thông tin tài khoản Footer Page 19 of 126 Header Page 20 of 126 - 20 - Thêm thay ñổi thông tin từ -Người dùng phải tiến hành ñăng nhập, người thành viên Website thực mục -Sau từ ñược thêm sửa ñổi lại ñược ñưa vào CSDL tạm thời, ñược chuyên gia xử lý ñịnh ñưa vào kho ngữ vựng tiếng Việt dựa nghĩa hay không? Sân chơi -Để chơi ñược, người sử dụng phải có tài khoản Website ñăng nhập thành công -Chương trình hiển thị luật chơi số liên kết, người chơi có thể: +Xem thông tin tài khoản: Thông tin tài khoản gồm thông tin như: Họ tên, vòng chơi, ñiểm số vòng chơi, thời gian vòng chơi, cấp bậc… +Vào chơi: Mỗi vòng chơi, người chơi phải tiến hành tập Bài tập 1: -Hệ thống ñưa câu tiếng Hán Việt ( câu tiếng Hán Việt ñược lấy từ kho liệu trung gian) -Người chơi phải tách thành từ có nghĩa -Các từ ñược ñưa vào kho liệu thô Bài tập 2: -Hệ thống hiển thị lên từ ñược tách tập -Người chơi ghép từ ñó thành từ, cụm từ, câu có nghĩa tiếng Hán Việt -Các từ cụm từ ñược cập nhật vào kho liệu thô Bài tập 3: Footer Page 20 of 126 Header Page 21 of 126 - 21 - -Hệ thống ñưa tất từ, cụm từ, câu mà người chơi thu thập ñược tập tập kèm theo nghĩa chúng (nghĩa ñược lấy từ kho từ ñơn, từ ghép, kho liệu trung gian) -Người chơi lựa chọn nghĩa tự cập nhật nghĩa khác (nếu thấy nghĩa ñược hệ thống ñưa không hợp lý) cho từ vựng -Các từ vựng sau ñược kết hợp nghĩa người chơi ñược ñưa vào kho ngữ vựng tiếng Hán Việt tạm thời -Các chuyên gia kiểm duyệt ñịnh có ñưa vào kho ngữ vựng tiếng Hán Việt dựa nghĩa hay không? Nếu người chơi thực xác 70% kết chơi ñược lưu lại ñiểm số, thời gian thực vòng chơi chuyển sang vòng chơi Cấp ñộ người chơi câu dài hơn, khó 3.4 Các module chương trình 3.4.1 Người dùng 3.4.2 Tra cứu liệu chương trình 3.4.3 Lấy liệu từ internet, từ người dùng 3.4.4 Thu thập liệu 3.4.5 Hoạt ñộng chuyên gia 3.4.6 Sân chơi 3.4.7 Diễn ñàn 3.4.8 Quy trình thu thập kho liệu tiếng Hán Việt dựa nghĩa Để ñảm bảo tính xác liệu ñược cập nhật vào kho ñòi hỏi phải có quy ñịnh chặt chẽ việc thu thập liệu ñã trình bày luận văn Dữ liệu thức ñược thay ñổi có ý kiến chuyên gia, thành viên người quản lí kho Footer Page 21 of 126 Header Page 22 of 126 - 22 - Thống kê 3.4.9 3.5 Cấu trúc sở liệu 3.5.1 Mô hình tổ chức sở liệu quan hệ Hình 3.4 Mô hình tổ chức CSDL quan hệ 3.6 Chạy thử nghiệm 3.6.1 Giới thiệu Để xây dựng ñược kho ngữ vựng dựa nghĩa Hán Việt xây dựng ứng dụng Web, mục ñích thu hút nhiều người dùng có quan tâm ñến từ Hán Việt tham gia ñóng góp công sức vào việc cập nhật cho kho ngữ vựng 3.6.2 Các chức 3.6.2.1 Đăng ký tài khoản Người dùng muốn tham gia vào trò chơi phải thực việc ñăng ký thành viên Website Nếu người dùng ñã có tài khoản cần ñăng nhập vào hệ thống ñể thực số thao tác cho phép Sau ñâu giao diện ñăng ký thành viên: Footer Page 22 of 126 Header Page 23 of 126 - 23 Người dùng ñăng nhập ñã có TK Người dùng ñăng ký tài khoản Hình 3.5 Màn hình ñăng ký tài khoản 3.6.2.2 Tạo sân chơi cho người dùng cập nhật từ ghép, cụm từ, câu Hán Việt có nghĩa Giao diện trang sân chơi Người dùng nhấn vào ñây ñể Bài tập - Người dùng ghép từ Hán việt có nghĩa Khi người dùng tiến hành chơi trò chơi bắt ñầu từ tập Mục ñích tập người chơi phải ghép từ ñơn Hán Việt có nghĩa thành từ ghép Hán Việt có nghĩa Giao diện sau: Footer Page 23 of 126 Header Page 24 of 126 - 24 - Hình 3.6 Người dùng ghép từ ñơn Hán Việt có nghĩa Bài tập - Người chơi ghép cụm từ Hán Việt có nghĩa Bài tập yêu cầu người dùng phải chọn từ ghép Hán Việt có nghĩa ghép chúng lại với ñể tạo thành cụm từ Hán Việt có nghĩa Hình 3.7 Người dùng ghép cụm từ Hán Việt có nghĩa Bài tập - Ghép cụm từ Hán Việt có nghĩa thành Câu Hán Việt có nghĩa Footer Page 24 of 126 Header Page 25 of 126 - 25 - Bài tập tập khó nhất, yêu cầu người dùng phải chọn cụm từ Hán Việt ghép chúng lại với ñể tạo thành câu Hán Việt có nghĩa Hình 3.8 Người dùng ghép cụm từ Hán Việt có nghĩa thành câu Hán Việt có nghĩa 3.6.3 Thống kê ñánh giá kết Trong trình nghiên cứu xây dựng kho ngữ vựng dựa nghĩa xử lý tiếng Hán Việt, cho ñến nay, ñã ñạt ñược kết sau: - Tạo ñược ứng dụng Web tạo ñiều kiện cho người thích tìm hiểu từ Hán Việt tham gia làm thành viên ñóng góp công sức vào việc cập nhật kho ngữ vựng dựa nghĩa từ Hán Việt - Bằng phương pháp thủ công ñã bổ sung ñược thêm vào kho từ ñơn Hán Việt khoảng 50 từ, bổ sung vào kho từ ghép Hán Việt khoảng 230 từ - Xây dựng ñược kho ngữ vựng dựa nghĩa chứa khoảng 500 từ, ñược xếp theo thứ tự từ A ñến Y mã từ ñơn ñứng trước Trong thời gian ñến kho ngữ vựng dựa nghĩa tiếp tục ñược cập nhật thường xuyên Footer Page 25 of 126 Header Page 26 of 126 - 26 KẾT LUẬN Kết ñạt ñược * Về mặt lý thuyết - Nắm ñược kiến thức xử lý ngôn ngữ tự nhiên, phương pháp tách từ tiếng Việt - Tìm hiểu ñược cấu trúc ngữ nghĩa từ Hán Việt từ ñó có phương pháp xây dựng ñược kho ngữ liệu dựa nghĩa * Về mặt thực tiễn - Xây dựng ñược kho ngữ liệu dựa nghĩa từ Hán Việt mà chưa có công trình nghiên cứu - Hỗ trợ cho việc xây dựng từ ñiển ñơn, song, hay ña ngữ chương trình ứng dụng khác Hướng phát triển ñề tài − Trong ñồ án, ñã có trình bày số phương pháp tách từ tiếng Việt chọn phương pháp Maximum Matching ñể cài ñặt Hiện nay, có số phương pháp sử dụng kết hợp nhiều phương pháp cho kết tách từ tốt Do ñó, hướng phát triển ñề tài sử dụng số phương pháp kết hợp ñể toán tách từ ñược xác − Kho ngữ liệu mở rộng thêm cách liên kết với nhiều website khác Wikipedia ñể nguồn liệu ñược phong phú − Phát triển toán ñể dịch tự ñộng văn tiếng Trung Quốc, Hán Việt sang tiếng Việt ngược lại Footer Page 26 of 126 ... trình, ñề án xây dựng kho ngữ vựng từ Hán Việt ñể rút kỹ thuật xây dựng kho ngữ vựng dựa nghĩa từ Hán Việt Chương 3: Giải pháp xây dựng kho ngữ vựng dựa nghĩa xử lý từ Hán Việt Trong chương này,... Tìm hiểu tiếng Hán Việt, cú pháp từ Hán Việt, kho ngữ vựng từ Hán Việt, ứng dụng xử lý từ Hán Việt CNTT - Tìm phương pháp xác ñịnh nghĩa cho kho ngữ vựng dựa nghĩa - Tìm hiểu mô hình, cấu trúc kho. .. nhật chia nguồn ngữ liệu dùng chung Được gợi ý PGS.TS Phan Huy Khánh ñã chọn ñề tài: Tìm hiểu cấu trúc ngữ nghĩa Hán -Việt, xây dựng kho ngữ vựng dựa nghĩa Hán -Việt xử lý tiếng Việt nhằm ñưa