Đang tải... (xem toàn văn)
Bài giảng Xử lý ngôn ngữ tự nhiên - Chương 1: Mở đầu giới thiệu tới người đọc những nội dung chính của môn học, phương pháp đánh giá sinh viên, những kiến thức mở đầu của môn học này. Mời các bạn tham khảo nội dung chi tiết.
Mục đích mơn học Xử lý ngơn ngữ tự nhiên z (Natural Language Processing) z z Hiểu nguyên tắc cách tiếp cận XLNNTN Học ọc kỹ ỹ thuật uậ cô công g cụ ể dù dùng g để p phát triển ể hệ ệ thống ố g hiểu văn nói chuyện với người Thu số ý tưởng vấn đề mở XLNN Tài liệu tham khảo Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt huonglt-fit@mail fit@mail.hut.edu.vn hut edu z z z Christopher Manning and Hinrich Schütze 1999 Foundations of Statistical Natural Language Processing The MIT Press Dan Jurafsky and James Martin Martin 2000 2000 Speech and Language Processing PrenticeHall James Allen 1994 Natural Language Understanding The Benjamins/Cummings Publishing Company Inc Thông tin chung z Giữa kỳ: 30% z z z z z Điểm danh:10% Đóng góp học:10% BTL: 10% Cuối kỳ: thi viết 70% Điều kiện thi cuối kỳ: z z Âm Ý nghĩa Vắng mặt 30% số lần điểm danh Có tất loại điểm kỳ z Bài tập lớn: z Viết tiểu luận cài đặt chương trình theo nhóm ( toyz ; add z z Book+s -> books ; add s z Church+s -> churchiz ; add iz z Box+s-> boxiz ; add iz Singing → Sing+ing; Bringing → bring+ing Duckling → ?? Duckl +ing Cần phải biết duckl từ z z Ngồi nhớ, ta cần gì? Một số nhớ được: z I understand these students z These students I understand z I want these students to solve the problem z These students I want [x] to solve the problem ¾ Cần có hệ thống luật để sinh/xử lý trường hợp 31 32 CuuDuongThanCong.com https://fb.com/tailieudientucntt Phân tích câu hỏi LSAT / (former) GRE “Phân tích” = gắn bề ngồi với cách biểu diễn z z z Vì XLNNTN khó: What makes NLP hard: khơng có tương ứng 1-1 với cách biểu diễn Ta cần biết cấu trúc liệu thuật toán để thực ự hiện, ệ , mặc ặ dù xảyy bùng g nổ tổ hợp công đoạn xử lý 33 Giải đồng tham chiếu Tại XLNNTN lại khó? U: A Bug’s Life chiếu chỗ Mountain View? S: A Bug’s Life chiếu rạp Summit U: Khi chiếu đó? S: Nó chiếu lúc 2pm, 5pm, 8pm U: Tôi muốn người lớn, trẻ cho buổi chiếu Nó giá bao nhiêu? z z Sáu tượng điêu khắc – C, D, E, F, G, H – triển lãm phòng 1, 2, triển lãm z T Tượng C E có ó thể khơng khơ ttrong ù phòng hò z Tượng D G phỉa phòng z Nếu tượng E F phịng khơng có tượng khác phịng z Có íta tượng triển lãm phịng, khơng có nhiều tượng phòng Nếu tượng D triển lãm phòng tượng E, F phòng 1, phát biểu đây, phát biểu đúng: A Tượng C phòng B Tượng H phòng C Tượng G phòng D Tượng C H phòng 34 E Tượng G F phòng NNTN: NNTN z z z Nhập nhằng mức Phức tạp mờ Liên quan lập luận giới Các nguồn tri thức: z Tri thức miền (Domain knowledge) z Tri thức diễn ngôn (Discourse knowledge) z Tri thức giới (World knowledge) 35 36 CuuDuongThanCong.com https://fb.com/tailieudientucntt Nhắc lại toán XLNNTN Giải pháp z z Ta cần công cụ nào? z Tri thức ngôn ngữ z Tri thức giới z Cách kết hợp tri thức z z z z Giải pháp tiềm năng: z z Các mơ hình xác suất xây dựng từ liệu z P(“maison” → “house”) cao z P(“L’avocat general” → “the general avocado”) thấp Vào: chuỗi ký tự Ra: cặp (gốc từ, thẻ hình thái từ ) Các vấn đề: z Kết hợp thành phần cấu tạo nên từ Loại hình thái từ (từ biến tố, từ phái sinh, từ ghép) Ví dụ: quotations ~ quote/V + -ation(der.V->N) -ation(der V->N) + NNS 37 Phân tích cú pháp z z z Ngữ nghĩa Vào: chuỗi cặp (từ/từ loại) Ra: cấu trúc ngữ pháp câu với nút gán nhãn (từ, từ loại, vai trò ngữ pháp) Vấn đề: z z z 38 Quan hệ từ, từ loại, cấu trúc câu Sử dụng nhãn cú pháp (Chủ ngữ ngữ, vị ngữ ngữ, bổ ngữ ngữ, ….) Ví dụ: Tơi/ĐaT nhìn thấy/ĐgT Mai/DT Ỉ ((Tơi/ĐaT)CN ((nhìn thấy/ĐgT) (Mai/DT)OBJ)VN)C z z z Vào: cấu trúc ngữ pháp câu Ra: cấu trúc ngữ nghĩa câu Vấn đề: z Quan hệ đối tượng chủ thể (Subject), đối tượng (Object), tác nhân (Agent), ((Effect)) loại khác hậu q ((Học sinh/DT)CN ((học/ĐgT sinh học/DT)ĐgN)VN)C (Học sinh/DT)Sbj (học/ĐgT)action (sinh học/DT)Obj 39 40 10 CuuDuongThanCong.com https://fb.com/tailieudientucntt Các ứng dụng XLNNTN z z Khó: xử lý tiếng nói (speech processing), dịch máy (machine translation) translation), trích rút thơng tin (information extraction), giao diện hội thoại = NNTN (dialog interface), hỏi đáp (question answering) Ứng dụng nay: sửa lỗi tả, phân loại văn bản, … 41 11 CuuDuongThanCong.com https://fb.com/tailieudientucntt Trích rút thông tin Martin Baker, a person Genomics job Employers job posting form 46 46 Newsinessence [Radev & al 01] Trích rút thông tin October 14, 14 2002, 2002 4:00 a.m a m PT For years, Microsoft Corporation CEO Bill Gates railed against the economic philosophy of opensource software with Orwellian fervor, denouncing its communal licensing as a "cancer" that stifled technological innovation Today, Microsoft claims to "love" the open-source concept, by which software code is made public to encourage improvement and development by outside programmers Gates himself says Microsoft will gladly disclose its crown jewels the coveted code behind the Windows operating system to select customers IE NAME Bill Gates Bill Veghte Richard Stallman TITLE ORGANIZATION CEO Microsoft VP Microsoft founder Free Soft "We can be open source We love the concept of shared source," said Bill Veghte, a Microsoft VP "That's a super-important shift for us in terms of code access.“ Richard Stallman, founder of the Free Software Foundation, countered saying… 47 12 CuuDuongThanCong.com https://fb.com/tailieudientucntt Google News [02] 49 13 CuuDuongThanCong.com https://fb.com/tailieudientucntt .. .Xử lý NNTN = chuyển đổi âm thành ngữ nghĩa Xử lý NNTN gì? z z NNTN trung tâm trí tuệ người ELIZA z Mục đích: hiểu nhiều ngơn ngữ Khơng đơn giản xử lý xâu so khớp từ khoá... cú pháp (Chủ ngữ ngữ, vị ngữ ngữ, bổ ngữ ngữ, ….) Ví dụ: Tơi/ĐaT nhìn thấy/ĐgT Mai/DT Ỉ ((Tơi/ĐaT)CN ((nhìn thấy/ĐgT) (Mai/DT)OBJ)VN)C z z z Vào: cấu trúc ngữ pháp câu Ra: cấu trúc ngữ nghĩa câu... hợp lý 29 Đặc trưng ngôn ngữ z z z Nhưng nhớ tất nhiều [x]=these students 30 Số nhiều tiếng Anh: z Toy+s -> toyz ; add z z Book+s -> books ; add s z Church+s -> churchiz ; add iz z Box+s-> boxiz