Đang tải... (xem toàn văn)
TRƯỜNG ĐẠI HỌC KIÊN GIANG KHOA THÔNG TIN & TRUYỀN THÔNG BÁO CÁO HỌC PHẦN TRÍ TUỆ NHÂN TẠO ĐỀ TÀI Phân tích một câu trong tiếng Việt (Nó mua một cuốn sách rấy hay) Sinh viên thực hiện Mony Rithyr[.]
TRƯỜNG ĐẠI HỌC KIÊN GIANG KHOA THÔNG TIN & TRUYỀN THÔNG - - BÁO CÁO HỌC PHẦN TRÍ TUỆ NHÂN TẠO ĐỀ TÀI: Phân tích câu tiếng Việt (Nó mua sách rấy hay) Sinh viên thực hiện: Mony Rithyrattanak (2006206112) Tom Inthaphannha(200620611) Ae Phommaxay(2006206113) GVHD: Ths Nhan Thanh Nhã THÁNG 11 NĂM 2022 i NHẬN XÉT GIẢNG VIÊN Giảng viên nhận xét (Ký rõ ghi rõ họ tên) ii Mục lục LỜI CẢM ƠN CHƯƠNG1 BIỂU DIỄN TRI THỨC SỬ DỤNG PHÂN TÍCH CÂU TRONG TIẾNG VIỆT 1.Giới thiệu về cách phân tích câu: 1.1.Lý chọn đề̀ tài 1.2.Tính 1.2.1.Tách từ 1.2.2.Gán nhãn từ loại 1.2.3.Nhân dạng tên thực thể 1.2.4.Sửa lỗi tả 1.3 Sơ lược về̀ ngôn ngữ 1.4 Xử lý ngôn ngữ 1.4.1 Ngơn ngữ hình thức – Formal Language 1.5 Các khái niệ̣m 1.6 Văn Phạm – Grammar : G = { N, Σ, P, S} 1.7 Giải thuật phân tích cú pháp Earley 1.7.1 Giải thuật: 1.7.2 Ví dụ: 1.8 Xử lý tiếng Việ̣t 1.9 Các ứng dụng xử lý ngơn ngữ để phân tích câu Lời kết 10 CHƯƠNG2.CƠ SỞ LÝ THUYẾT 11 2.1Về̀ phương pháp phân tích câu theo cấu trúc vị từ - tham thể 11 2.2Những kết luận chính: 11 2.3Về̀ phương pháp phân tích câu theo cấu trúc vị từ - tham thể 11 Đặt vấn đề̀ 11 iii 2.4Nội dung 12 2.5Tham thể bắt buộc (TTBB) tham thể mở rộng (TTMR) .13 2.6Tên gọi tham thể 13 CHƯƠNG3.NỘI DUNG THỰC HIỆN 18 CHƯƠNG4 KẾT QUẢ ĐẠT ĐƯỢC 25 CHƯƠNG HƯỚNG PHÁT TRIỂ̉N 31 6.TÀI LIỆU THAM KHẢO 32 iv LỜI CẢM ƠN Chúng em xin chân thành cảm ơn Khoa Công Nghệ̣ Thông Tin trường đại học Kiên Giang tạo điề̀u kiệ̣n thuận lợi cho chúng em học tập thực hiệ̣n đề̀ tài nhóm chúng em xin bày tỏ lòng biết ơn sâu sắc tớ́i thầy Nhan Thanh Nhã tận tình hướ́ng dẫn bảo nhóm chúng em trình thực hiệ̣n đề̀ tài Chúng em xin chân thành cảm ơn quý thầy cô khoa Cơng nghệ̣ Thơng tin tận tình giảng dạy, trang bị cho chúng em kiến thức quý báu năm vừa qua Chúng xin chân thành cảm ơn ông bà, cha mẹ động viên ủng hộ vật chất lẫn tinh thần suốt thời gian qua Nhóm chúng em xin cảm ơn quan tâm giúp đỡ ủng hộ anh, chị, bạn bè q trình thực hiệ̣n khóa đề̀ tài Mặc dù cố gắng hoàn thành báo cáo phạm vi khả cho phép chắn khơng tránh khỏi thiếu sót Nhóm chúng em mong nhận thơng cảm, góp ý tận tình bảo q thầy bạn Trân thành cảm ơn! v CHƯƠNG1 BIỂU DIỄN TRI THỨC SỬ DỤNG PHÂN TÍCH CÂU TRONG TIẾNG VIỆT 1.Giới thiêu về cách phân tích câu: 1.1.Lý chọn đề̀ tài Đối vớ́i nhiề̀i quan điểm cú pháp hiệ̣n đại, câu đối tượng trung tâm cú pháp Câu tiếng Việ̣t đơn vị cấu trúc lớ́n tổ chức ngữ pháp câu ngữ Việ̣t Ở tiếng Việ̣t từ trướ́c đến hướ́ng phân tích câu phổ biến hướ́ng phân tích ngứ pháp theo cấu trúc chủ-vị ( chủ ngữ - vị ngữ ) Hướ́ng xuất phát từ góc độ cấu trúc hình thức, vào hình thức biển hiệ̣n vai trị cú pháp phận câu để phận câu để phân biệ̣t thành phần chính, thành phần phụ Tuy nhiên, tiếng Việ̣t thứ tiếng phi hình thái, thuộc loại hình ngơn ngữ đơn lập, việ̣c nhận diệ̣n thành phần câu bên cạnh tiêu chí về̀ hình thức cịn dùng tiêu chí về̀ nghĩa Xét cách tổng quát, phương pháp phân tích câu theo cấu trúc chủ - vị lộ ưu nhược điểm định, cụ thể tính trạng nhập nhằng , khơng rõ ràng vài thành phần câu Do hướ́ng nghiên cứu ngày sâu về̀ cấu trúc chủ - vvij ( chủ ngữ - vị ngữ ) ngữ pháp truyề̀n thống bính diệ̣n lý thuyết thơng tin cịn xuất hiệ̣n về̀ phát triển hướ́ng phân tích câu theo cấu trúc nêu – báo Có thể nói ngơn ngữ phương tiệ̣n giáo tiệ̣p trọng yếu người Trong giao tiếp, người thực hiệ̣n hoạt động truyề̀n tin nhận tin Do việ̣c nắm thơng tin chính, thơng tin mớ́i giao tiếp có ý nghĩa vô cúng quan trọng Việ̣c nghiên cứu nêu – báo liên quan mật thiết đối vớ́i việ̣c nghiên cứu ngơn ngữ hoạt động giao tiếp Vì hoạt động giao tiếp, người ta ý đến việ̣c xử lý thông tin Do vậy, việ̣c nghiên cứu phương pháp phân tích câu bình diệ̣n lý thuyết thơng tin quan trọng Xuất pháp từ nhu cầu lý luận thực tiễn, chọn đề̀ tài “Phân tích câu tiếng Việt< Nó mua sách hay>” 1.2.Tính 1.2.1.Tách từ Xác định ranh giớ́i từ câu Đây bướ́c xử lý quan trọng đầu vào cho pha xử lý đối vớ́i hệ̣ thống xử lý ngôn ngữ tự nhiên Tách từ áp dụng vào hệ̣ thống khai phá liệ̣u, tìm kiếm trích chọn thơng tin 1.2.2.Gán nhãn từ loại Xác định nhãn thẻ từ loại đối vớ́i từ câu danh từ, động từ, tính từ, đại từ, định từ,… Đây bướ́c xử lý quan trọng sau tách từ, sở để hiểu ý nghĩa từ, đầu vào pha xử lý xử lý ngôn ngữ tự nhiên Gán nhãn từ loại áp dụng vào hệ̣ thống tìm kiếm trích chọn thơng tin 1.2.3.Nhân dạng tên thực thể Xác định phân loại tự động thành phần văn vào loại cho trướ́c tổ chức, tên người, tên địa điểm, thời gian, tiề̀n tệ̣,… Bài toán sử dụng nhiề̀u hệ̣ thống khai phá liệ̣u, hỏi đáp, dịch máy, tóm tắt văn bản,… 1.2.4.Sửa lỗi tả Sửa lỗi tả câu Bướ́c phát hiệ̣n từ sai người viết sửa lỗi, giúp hệ̣ thống xử lý ngôn ngữ tự nhiên có thơng tin góp phần tăng độ xác hệ̣ thống khai phá liệ̣u, tìm kiếm trích chọn thơng tin Xử lý ngơn ngữ tự nhiên (Natural Language Processing – NLP) nhánh khó trí tuệ̣ nhân tạo Bởi lẽ ngôn ngữ hệ̣ thống phức tạp để giao tiếp động vật bậc cao hay có lực tư người Nếu NLP giải thành cơng đồng nghĩa vớ́i việ̣c máy tính hiểu sử dụng ngơn ngữ tự nhiên để giao tiếp 1.3 Sơ lược về̀ ngôn ngữ Ngôn ngữ tự nhiên không giống vớ́i ngôn ngữ nhân tạo ngơn ngữ máy tính (C, PHP, …) Trên giớ́i hiệ̣n có khoảng 7000 loại ngơn ngữ Có nhiề̀u cách để phân loại, số cách phân loại ngôn ngữ phổ biến dựa vào: nguồn gốc, đặc điểm, … PHÂN LOẠI NGÔN NGỮ THEO NGUỒN GỐC Loạ Ấn – Âu Xê-mít Thổ Hán Tạng Nam Phương i (Semite) (Tạng-Miến) Ví dụ Dịng Ấn độ, Dòng Semite, Hy lạp, Thái, Ả Rập, German… cập, Kusit , DoThổ AiKỳ Nhĩ Dòng Hán, Tạng- Dòng NamMiến… Thái, Nam Á (Tiếng Việ̣t) PHÂN LOẠI NGÔN NGỮ THEO ĐẶC ĐIỂ̉M Loạ Hịa kết Chắp dính Đơn lập Tổng hợp i (Flexional) (Agglutinate) (Isolate) (Polysynthetic) V Đức, Chukchi,Aniu… Anh, Thổ Nhĩ Kỳ, Nhật Tiếng í Nga… Bản, Triề̀u Tiên… Việ̣t, d Hán… ụ Do tiếng Việ̣t xếp vào loại đơn lập – tức phi hình thái, khơng biến hình Cùng vớ́i đó, tiếng Việ̣t viết theo trật tự S – V – O (subject (S), verb (V) and object (O)) Một vài so sánh cách xếp trật tự câu Các cách xếp trật tự câu 1.4 Xử lý ngôn ngữ 1.4.1 Ngôn ngữ hình thức – Formal Language Ngơn ngữ hình thức (Formal Language) tập chuỗi (string) xây dựng dựa bảng chữ (alphabet), ràng buộc luật (rule) văn phạm (grammar) định nghĩa trướ́c Alphabet tập ký tự ngôn ngữ tự nhiên (Natural Language) tập tự định nghĩa ký tự Mơ hình ngơn ngữ tự nhiên tuân theo quy luật chuỗi Markov hình thức hóa Noam Chomsky gọi ‘Mơ hình phân cấp Chomsky’ Sau mơ hình dùng để tạo ngơn ngữ lập trình ứng dụng nghiên cứu dịch tự động Tiề̀n đề̀ việ̣c xây dựng lý thuyết Automata ngơn ngữ hình thức Mơ hình phân cấp Chomsky ... SỬ DỤNG PHÂN TÍCH CÂU TRONG TIẾNG VIỆT 1.Giới thiêu về cách phân tích câu: 1.1.Lý chọn đề? ? tài Đối vớ́i nhiề̀i quan điểm cú pháp hiệ̣n đại, câu đối tượng trung tâm cú pháp Câu tiếng Việ̣t... CHƯƠNG1 BIỂU DIỄN TRI THỨC SỬ DỤNG PHÂN TÍCH CÂU TRONG TIẾNG VIỆT 1.Giới thiệu về cách phân tích câu: 1.1.Lý chọn đề? ? tài 1.2.Tính 1.2.1.Tách... bướ́c tiến hành phân tích câu theo phương pháp ưu điểm, nhược điểm Một điểm mớ́i viết phần so sánh: phương pháp so sánh vớ́i phương pháp phân tích câu truyề̀n thống - phân tích câu theo cấu trúc