Xử lý ngôn ngữ tự nhiên (phần 1)

Hi bạn, mở đầu loạt kiến thức chủ đề Computer Science, giới thiệu Xử lý ngôn ngữ tự nhiên ( Natural Language Processing – NLP) Đây lĩnh vực Khoa học máy tính (Computer Science), Trí tuệ nhân tạo (Artificial Intelligence) Ngôn ngữ học tính toán (Computational Linguistics) liên quan tới tương tác ngôn ngữ người (natural language) với máy tính Chúng ta làm quen kỹ thuật, văn phạm sử dụng để phân tích câu (ngôn ngữ người) Bài viết có tham khảo giảng thầy Nguyễn Tuấn Đăng, kinh nghiệm có thân trình học tập trao đổi với bạn bè Khó tránh khỏi sơ sót vấn đề bạn cảm thấy chưa sáng tỏ blog, đừng ngần ngại comment cho biết nha Tham khảo đề cương môn học: – Để phân tích cú pháp dựa trên: + Văn phạm hình thức: Văn phạm phi ngữ cảnh (Context Free Grammar -CFG) + Definite Clause Grammar – DCG =>Prolog + Phương pháp phân tích cú pháp – Biểu diễn bằng: Biểu thức quy; Văn phạm quy – Bây ta thử phân tích câu tiếng Việt sau: “Nam học bài” Câu có từ, gồm loại từ (Danh từ riêng, động từ danh từ chung) Danh từ riêng (Nam) giữ chức chủ ngữ Từ “học”, động từ Tiếng Việt khác với Tiếng Anh (Các Thì: Hiện tại, khứ,…; Thể: Chủ động, bị động; Ngôi: số số ít/nhiều; ) Từ “bài” giữ chức bổ ngữ làm rõ nghĩa cho câu “học bài” ngữ động từ =>vị ngữ Tương tự bạn phân tích câu sau: “Nam học chăm chỉ” Qua ví dụ phân tích câu trên, bạn ôn lại cách phân tích câu ngôn ngữ Bây tìm hiểu sơ lược lịch sử tí: Để giải vấn đề xử lý ngôn ngữ tự nhiên máy tính, Leonard Bloomfield (1887-1949) tiến hành nghiên cứu đưa “Mô hình phân tích thành tố trực tiếp“ Học trò ông ta Zellig Harris (1909-1992) người học trò Z Harris Noam Chomsky (1928-) Chúng ta tiếp thu kiến thức từ công trình nghiên cứu kết ông Noam Chomsky phần chủ đề Năm 1957, N.Chomsky trở thành nhân vật bật lĩnh vực ngôn ngữ học thuật ngữ “Syntactic Structures – Ngữ pháp cấu trúc ngữ đoạn” Cụ thể tiếp cận với “Phrase Structure Grammar – Ngữ pháp/văn phạm cấu trúc ngữ đoạn” Khá sơ lược tìm hiểu Ở phần 1, cần nắm cách thức giải thích câu theo “Mô hình phân tích thành tố trực tiếp” “Văn phạm phi ngữ cảnh“ 1) Giải thích câu: “Nam học bài” theo “Mô hình phân tích thành tố trực tiếp” Để phân tích câu theo mô hình này, phải hiểu câu đó, ngôn ngữ sử dụng (Anh, Pháp, Hoa, Việt,…) Trong trình phân tích, không quan tâm từ phân rã giữ chức năng, từ loại Giải: Tương tự ta phân tích câu: “Nam học toán” 2) Giải thích câu: “Nam học bài” theo Phrase Structure Grammar _CFG (Context-Free Grammar – Văn phạm phi ngữ cảnh) Một số quy tắc ký hiệu (theo thầy): NNP: Danh từ riêng; NP: Danh ngữ; NN: Danh từ chung; PRP: Đại danh từ (nó,họ,…); VP: Ngữ động từ; VB: Động từ; RB: Trạng từ; IN: Giới từ; PP: Giới ngữ; CC: Liên từ(và, với); S: Câu Dựa vào cú pháp trên, Chomsky viết sau: Tương tự ta phân tích câu: “Nam học toán” (Lời giải: Trong phần ) *Note: Có lớp văn phạm gồm “Văn phạm quy“; “Context- Free Grammar(s)“; “Context- Sensitive Grammar(s)“; “Văn phạm tự do“ Tài liệu tham khảo: [1] Nguyễn Tuấn Đăng, Xử lý ngôn ngữ tự nhiên (Bài giảng), mã lớp CS221.G11, lớp Cử nhân Chính quy Khoa học máy tính, Trường Đại học Công Nghệ Thông Tin, ĐHQG-HCM [2] Nguyễn Tuấn Đăng, Ngôn ngữ học máy tính (Giáo trình), NXB Đại học quốc gia TP Hồ Chí Minh, 2015 [3] Kiến thức xử lý ngôn ngữ tự nhiên http://viet.jnlp.org/ Phần mềm tham khảo ngữ nghĩa từ: Từ điển LẠC VIỆT mtd2002 – EVA: http://dcs.lacviet.com.vn/vi/ Từ điển Lingoes v2.9.2 (2014-08-16): http://www.lingoes.net/ OK! Kết phần 1, bạn nắm ký tự quy tắc cú pháp theo CFG Ở phần tìm hiểu làm máy tính chạy quy tắc  ...Tương tự bạn phân tích câu sau: “Nam học chăm chỉ” Qua ví dụ phân tích câu trên, bạn ôn lại cách phân tích câu ngôn ngữ Bây tìm hiểu sơ lược lịch sử tí: Để giải vấn đề xử lý ngôn ngữ tự nhiên. .. Tuấn Đăng, Xử lý ngôn ngữ tự nhiên (Bài giảng), mã lớp CS221.G11, lớp Cử nhân Chính quy Khoa học máy tính, Trường Đại học Công Nghệ Thông Tin, ĐHQG-HCM [2] Nguyễn Tuấn Đăng, Ngôn ngữ học máy... nhân vật bật lĩnh vực ngôn ngữ học thuật ngữ “Syntactic Structures – Ngữ pháp cấu trúc ngữ đoạn” Cụ thể tiếp cận với “Phrase Structure Grammar – Ngữ pháp/văn phạm cấu trúc ngữ đoạn” Khá sơ lược