PHÂN TÍCH cú PHÁP PHỤ THUỘC

Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thơng tin truyền thơng ĐỀ TÀI PHÂN TÍCH CÚ PHÁP PHỤ THUỘC GIẢNG VIÊN HƯỚNG DẪN: TS NGUYỄN THỊ THU HƯƠNG NHÓM SINH VIÊN THỰC HI ỆN: NHÓM PHẦN I TỔNG QUAN PHÂN TÍCH CÚ PHÁP NGƠN NGỮ TỰ NHIÊN 6/21/19 BIỂU DIỄN CÚ PHÁP Biểu diễn thành phần Biểu diễn phụ thuộc S N V VP N V N NP D PP N P D P NP D N N D They killed the man with a gun They killed the man with a gun 6/21/19 HAI KHÁI NIỆM PHÂN TÍCH CÚ PHÁP  GRAMMAR PARSING    Cho văn phạm xâu đầu vào Tìm số tất phân tích gán cho  Bài tốn well-defined abstract; khơng dựa thực nghiệm TEXT PARSING   Cho đoạn văn ngôn ngữ , xác định phép phân tích cho câu Bài toán xấp xỉ dựa thực nghiệm; khơng rõ tính well-defined abstract 6/21/19 CÁC TIÊU CHÍ ĐÁNH GIÁ Xét   hệ thống sử dụng để phân tích đoạn văn thuộc ngơn ngữ Robustness Với , gán phân tích cho tất câu Disambiguation Với , gán nhiều phân tích cho tất câu Accuracy Với , gán phân tích cho tất câu Efficiency Với , xử lý xâu thời gian khơng gian tuyến tính với độ dài 6/21/19 HAI PHƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP ĐOẠN 6VĂN BẢN (1)  HƯỚ   NG VĂN PHẠM  Xấp xỉ dựa vào văn phạm:  Một số vấn đề trọng tâm: Robustness, disambiguation efficiency HƯỚNG DỮ LIỆU   Xấp xỉ quy nạp:  Mơ hình hình thức định nghĩa phân tích hợp l ệ  Một đọan văn mẫu  Sơ đồ suy luận quy nạp Một số vấn đề trọng tâm: Accuracy efficiency 6/21/19 HAI PHƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP ĐOẠN 7VĂN BẢN (2) SO SÁNH HAI PHƯƠNG PHÁP Hướng văn phạm Hướng liệu Robustness Disambiguation Accuracy Eficiency 6/21/19 PHẦN II PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 6/21/19 VĂN PHẠM9 PHỤ THUỘC KHÁI NIỆM PHỤ THUỘC  Ý tưởng bản:  Cấu trúc cú pháp câu bao gồm phần tử từ vựng liên kết với thông qua mối quan hệ nhị phân bất đối xứng gọi phụ thuộc  Mỗi quan hệ phụ thuộc bao gồm thành phần trung tâm (head) thành phần phụ thuộc (dependent) PU PRED ATT PC OBJ SBJ ATT ATT ATT ROOT Economic news had little effect on financial markets Head Dependent 6/21/19 VĂN PHẠM10PHỤ THUỘC MỘT SỐ DẠNG QUAN HỆ PHỤ THUỘC  Hai dạng quan hệ phụ thuộc thường tìm thấy nhiều tài liệu head-complement headmodifier Head-modifier Head-complement PU PRED ATT PC OBJ SBJ ATT ATT ATT ROOT Economic news had little effect on financial markets 6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 14 PH  ƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP PHỤ THUỘC HƯỚNG VĂN PHẠM Mơ hình bilexcical grammar Eisner (2000)  Văn phạm bao gồm hai thành phần: Một tập kí hiệu kết thúc (từ), chứa ký hiệu đặc biệt ROOT Với từ , cặp automata hữu hạn đơn định Mỗi automata chấp nhận tập quy  Ngôn ngữ định nghĩa sau: Một phụ thuộc có gốc mà đó, node m ột t từ , nút gốc ROOT Có xét thứ tự node Cây phụ thuộc có tính văn phạm với m ọi từ , ch ấp nh ận dãy trái chấp nhận dãy phải Một xâu sinh với phân tích ph ụ thuộc có tính văn phạm liệt kê nhãn theo thứ tự trung tố tạo theo sau ROOT Ngôn ngữ tập xâu đợc sinh 6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 15 PHƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP PHỤ THUỘC HƯỚNG DỮ LIỆU Mơ hình Eisner (1996)  Đưa khái niệm Weighted Bilexical Grammar (WBG)  Đề xuất mơ hình xác suất khác để thực phân tích cú pháp phụ thuộc, hay nói cách khác, chiến lược đánh trọng số khác bên framework WBG  Nghiên cứu có hai ảnh hưởng quan trọng:  Chỉ mơ hình xác suất sinh mẫu ph ương pháp h ọc có giám sát áp dụng biểu diễn phụ thuộc để thu tính xác tương đối  Chỉ mơ hình kết hợp với kỹ thu ật phân tích cú pháp hiệu để tận dụng thu ộc tính đ ặc bi ệt c cấu trúc cú pháp 6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 16 PHƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP PHỤ THUỘC HƯỚNG DỮ LIỆU  Một số cơng trình tiêu biểu Cách tiếp cận Collins et al (1999)  Cách tiếp cận Samuelsson (2000)  Cách tiếp cận Wang & Harper (2004)  Cách tiếp cận tài liệu tương tự cách tiếp cận theo hướng định Yumada & Masumoto (2003)  6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 17  TI ỀM NĂNG CỦA PHÂN TÍCH CÚ PHÁP PHỤ THUỘC  Các liên kết phụ thuộc sát với mối quan h ệ ngữ nghĩa  Cây phụ thuộc chứa nodetừ Chỉ phải liên kết node có sẵn, khơng ph ải sinh node mới, tiếp cận trực tiếp  Phân tích cú pháp phụ thuộc thao tác, x lý từ Khơng phải đợi tồn cụm từ 6/21/19 FRAMEWORK 18  CÁC   ĐỊNH NGHĨA CƠ BẢN  Định nghĩa Một đoạn văn dãy câu  Định nghĩa Một câu dãy tokens  Định nghĩa Một token dãy ký tự  Với câu , ta định nghĩa hàm: 6/21/19 FRAMEWORK 19 Đ Ồ   THỊ PHỤ THUỘC  Định nghĩa Cho tập kiểu phụ thuộc, đồ thị phụ thuộc ứng với câu đồ thị có hướng gán nhãn , đó:  Định nghĩa Một đồ thị phụ thuộc đắn Node node gốc liên thông 6/21/19 FRAMEWORK 20  ĐỒ   THỊ PHỤ THUỘC CĨ TÍNH CHIẾU  Định nghĩa Một đồ thị phụ thuộc có tính chiếu đồ thị phụ thuộc đắn thỏa mãn điều kiện sau: Tất node có nhiều head Nghĩa là, khơng tồn node cho Đồ thị chu trình Nghĩa là, khơng có Đồ thị có tính chiếu Nghĩa là, với cho 6/21/19 FRAMEWORK 21  BÀI   TỐN PHÂN TÍCH CÚ PHÁP PHỤ THUỘC Cho đoạn văn ngơn ngữ , tìm đồ thị phụ thuộc câu 6/21/19 THUẬT TỐN PHÂN TÍCH CÚ PHÁP 22 C Ấ U HÌNH  Định nghĩa Cho tập kiểu phụ thuộc câu , m ột cấu hình phân tích cú pháp bốn đó: stack token node ( với ) dãy xếp token node () hàm từ token node đến node hàm từ token node đến kiểu phụ thuộc Đối với token node ,  Định nghĩa Một cấu hình định nghĩa đồ thị phụ thuộc 6/21/19 THUẬT TOÁN PHÂN TÍCH CÚ PHÁP 23  CẤ  U HÌNH KHỞI TẠO VÀ CẤU HÌNH DỪNG  Định nghĩa Một cấu hình cấu hình khởi tạo có dạng , đó: với với  Định nghĩa 10 Một cấu hình cấu hình dừng có dạng , tùy ý 6/21/19 THUẬT TỐN PHÂN TÍCH CÚ PHÁP 24  CÁC   PHÉP BIẾN ĐỔI  Định nghĩa 11 Một phép biến đổi hàm phận  Định nghĩa 12 Cho tập kiểu phụ thuộc , phép biến đổi sau LEFT-ARC: RIGHT-ARC: REDUCE: SHIFT: 6/21/19 THUẬT TỐN PHÂN TÍCH CÚ PHÁP 25 DÃY   CÁC PHÉP BIẾN ĐỔI  Định nghĩa 13 Một dãy phép biến đổi dãy cấu hình , đó: Cấu hình cấu hình khởi tạo () Với , tồn phép biến đổi cho  Định nghĩa 14 Một dãy phép biến đổi dừng kết thúc trạng thái dừng  Định nghĩa 15 Một dãy phép biến đổi tương ứng với xâu , hay ()  Định nghĩa 14 Một dãy phép biến đổi dừng tương ứng với xâu gán cho đồ thị phụ thuộc định nghĩa 6/21/19 THUẬT TỐN PHÂN TÍCH CÚ PHÁP 26 THU   ẬT TOÁN QUYẾT ĐỊNH  Định nghĩa 17 Một guide hàm thỏa mãn điều kiện phép biến đổi áp dụng lên (với ), cho: Nếu Nếu Nếu Nếu có stack khơng rỗng stack stack input  Định nghĩa 18 Một article guide cho, cấu hình phép bi ến đ ổi t d ẫn đ ến phép phân tích 6/21/19 THUẬT TỐN PHÂN TÍCH CÚ PHÁP 27 THUẬT TỐN QUYẾT ĐỊNH 6/21/19 TÀI LIỆU THAM KHẢO 28 [1] Joakim Nivre 2006 Inductive Dependency Parsing (Text, Speech and Language Technology) Springer-Verlag, Berlin, Heidelberg 6/21/19 ... đồng hai loại văn phạm cho phép sử dụng phương pháp phân tích cú pháp 6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 14 PH  ƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP PHỤ THUỘC HƯỚNG VĂN PHẠM Mơ hình bilexcical grammar... kiện xác định giữ 6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 13 PHƯƠNG PHÁP PHÂN TÍCH CÚ PHÁP PHỤ THUỘC HƯỚNG VĂN PHẠM Văn phạm phụ thuộc văn phạm phi ngữ cảnh  Văn phạm phụ thuộc (Gaifman) văn phạm... Masumoto (2003)  6/21/19 PHÂN TÍCH CÚ PHÁP PHỤ THUỘC 17  TI ỀM NĂNG CỦA PHÂN TÍCH CÚ PHÁP PHỤ THUỘC  Các liên kết phụ thuộc sát với mối quan h ệ ngữ nghĩa  Cây phụ thuộc chứa nodetừ Chỉ phải