Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống
1
/ 19 trang
THÔNG TIN TÀI LIỆU
Thông tin cơ bản
Định dạng
Số trang
19
Dung lượng
792,98 KB
Nội dung
Bài toán PTCP PTCP mẫu Phân tích cú pháp P Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@mail.hut.edu.vn T tính C điể điểm câu P cú pháp Văn phạm độ xác Các PTCP có độ xác cao (Eisner, Collins, Charniak, etc.) Khái niệm văn phạm z z z Văn phạm Phân tích câu “Bò vàng gặm cỏ non” Cây cú pháp: Tập luật z z z z z z z z C Æ CN VN CN Æ DN VN Æ ĐgN ĐgN Æ ĐgT DN DN Æ DT TT z z z z z Một văn phạm sản sinh hệ thống G = ( T, N, S, R ), T (terminal) – tập ký hiệu kết thúc N (non terminal) – tập ký hiệu không kết thúc S (start) – ký hiệu khởi đầu R (rule) – tập luật R = { α Æ β | α, β ∈ (T∪N) } α Æ β gọi luật sản xuất Nhắc lại văn phạm Dạng chuẩn Chomsky z z Mọi NNPNC không chứa ε sinh từ văn phạm tnđó sản xuất có dạng A Æ BC A Æ a, với A,B,C∈N a ∈T Ví dụ: Tìm dạng chuẩn Chomsky cho văn phạm G với T = {a,b}, N ={S,A,B}, R sau: z z z S Æ bA|aB A ÆbAA|aS|a B Æ aBB|bS|b z z z z Văn phạm: tập luật viết lại Ký hiệu kết thúc: ký hiệu phân rã Ký hiệu không kết thúc: ký hiệu phân rã Xét văn ă phạm h G: G S → NP VP NP → John, garbage VP → laughed, walks G sinh câu sau: John laughed John walks Garbage laughed Garbage walks Cấu trúc ngữ pháp Các ứng dụng PTCP Cây cú pháp biểu diễn cấu trúc ngữ pháp câu Bò vàng gặm cỏ non Dịch máy (Alshawi 1996, Wu 1997, ) C DT Bò CN VN DN ĐgN ĐgT gặm TT vàng tiếng Anh DN DT cỏ thao tác với tiếng Việt Nhận dạng tiếng nói sử dụng PTCP (Chelba et al 1998) Put the file in the folder Put the file and the folder TT non Văn phạm phi ngữ cảnh (Context-Free Grammar) Các ứng dụng PTCP Kiểm tra ngữ pháp Trích rút thông tin (Hobbs 1996) … gọi văn phạm cấu trúc đoạn z G = z T – tập ký hiệu kết thúc (terminals) z N - tập ký hiệu không kết thúc (non-terminals) z P – ký hiệu tiền kết thúc (preterminals), viết lại trở thành ký hiệu kết thúc, thúc P⊂ Nphạm cảm ngữ cảnh So với văn z S – ký hiệu bắt đầu R: αAγ ⇒ αβγ z R: X → γ , X ký hiệu không kết thúc; γ chuỗi ký hiệu kết thúc không kết thúc (có thể rỗng) z Văn phạm G sinh ngôn ngữ L z Bộ nhận dạng: trả yes no z Bộ PTCP: trả tập cú pháp (Microsoft) CSDL Kho văn NY Times câu truy vấn z Văn phạm ngữ cấu: z z z z r = α→β, với α ∈ V+ , β ∈ V* , ⏐α⏐≤⏐β⏐ α1Aα2→α1β’α2 với β’≠ε Văn phạm phi ngữ cảnh: z z z Văn phạm phi ngữ cảnh α→β, với α ∈ V+ , β ∈ V* Văn phạm cảm ngữ cảnh: z 10 A → θ, A ∈ N, với ới θ ∈ V*= V* ( T ∪ N )* Văn phạm qui: A → aB, A → Ba, z A → a, với A, B ∈ N, a ∈ T z z VPCQ VPPNC VPCNC VPNC 11 12 Cấu trúc đoạn đệ qui Áp dụng tập luật ngữ pháp z S → NP VP → DT NNS VBD → The children slept p z S → NP VP → DT NNS VBD NP → DT NNS VBD DT NN → The children ate the cake 13 Văn phạm cho ngôn ngữ tự nhiên có nhập nhằng S PTCP kiểu xuống John saw snow on the campus S NP John 14 z Nhập nhằng - PP gắn điểm (với VP với NP) z z VP …… z z PP on NP z VP Hướng đích Khởi đầu với danh sách ký hiệu cần triển khai (S, NP,VP,…) Viết lại đích tập đích cách: z saw NP snow NP tìm luật có vế trái trùng với đích cần triển khai triểu khai với vế phải luật, tìm cách khớp với câu đầu vào Nếu đích có nhiều cách viết lại Æ chọn luật để áp dụng (bài toán tìm kiếm) Có thể sử dụng tìm kiếm rộng (breadth-first search) tìm kiếm sâu (depth-first search) the campus 15 Khó khăn với PTCP xuống z Các luật đệ qui trái z PTCP xuống bất lợi có nhiều luật có vế trái 16 PTCP lên z S→NP X2 …… S→NP X600 VP …… z S→NP X1 S NP z S→VP Y1 z z Nhiều thao tác thừa: triển khai tất nút phân tích xuống z z PTCP xuống làm việc tốt có chiến lược điều khiển ngữ pháp phù hợp z z PTCP xuống triển khai ký hiệu tiền kết thúc thành ký hiệu kết thúc Trên thực tế, người ta thường sử dụng phương pháp lên để làm việc z Lặp lại công việc: chỗ có cấu trúc giống 17 Hướng liệu Khởi tạo với xâu cần phân tích Nếu chuỗi tập đích phù hợp với vế phải luật → thay vế trái luật luật Kết thúc tập đích = {S} Nếu vế phải luật khớp với nhiều luật tập đích, cần lựa chọn luật áp dụng (bài toán tìm kiếm) Có thể sử dụng tìm kiếm rộng (breadth-first search) tìm kiếm sâu (depth-first search) 18 Thuật toán CKY (bộ nhận dạng) Khó khăn với PTCP lên z z z Không hiệu có nhiều nhập nhằng mức từ vựng Lặp lại công việc: có cấu trúc chung Cả PTCP TD (LL) BU (LR) có độ phức tạp hàm mũ độ dài câu Vào: xâu n từ Ra: yes/no Cấu trúc ngữ g pháp: p p bảng g n x n ((chart table)) hàng đánh số đến n-1 cột đánh số đến n cell [i,j] liệt kê tất nhãn cú pháp i j 19 Thuật toán CKY (bottom-up) 20 Ví dụ for i := to n Thêm tất từ loại từ thứ i vào ô [i-1,i] for width := to n for start := to n-width end := start + width for mid := start+1 to end-1 for nhãn cú pháp X [start,mid] for nhãn cú pháp Y [mid,end] for cách kết hợp X Y (nếu có) Thêm nhãn kết vào [start,end] chưa Bò vàng gặm DT C TT VN ĐgN ĐgT DT DN TT Văn phạm phi ngữ cảnh Start→ S S → NP VP NP → Det Noun NP → Name NP → Name PP PP → Prep NP VP → V NP VP → V NP PP CN DN 21 non có nhãn cỏ 10 11 12 13 14 15 22 Luật kết hợp V → ate Name → John Name → ice-cream, snow Noun → ice-cream, pizza Noun → table, guy, campus Det → the Prep → on Ô Cell[i,j] chứa nhãn X z z z z 23 Có luật X→YZ; Cell[i,k] chứa nhãn Y ô Cell[k,j] chứa nhãn Z, với k nằm ằ i j; VD: NP → DT [0,1] NN[1,2] 24 CKY phải sử dụng luật nhị phân CKY chart “ The guy ate the ice-cream on z Chuyển VP→V NP PP thành: 8.a VP→V Arguments b Arguments → NP PP 8.b the table” DT NN VBD DT NN IN DT NN 25 26 Nhập nhằng! Áp dụng thao tác ‘dán’ 1 7 DT NP NN VBD DT NN IN DT NN 27 Thuật toán Earley (top-down) z B C + D D E A→BC.DE B C D E Tiến hành dần từ trái sang phải S VBD VP NP, Args DT NP NN IN DT PP NP NN 28 NP → Papa N → caviar N → spoon V → ate P → with Det → the Det →a A→BCD.E 29 z DT NP NN ROOT → S S → NP VP NP → Det N NP → NP PP VP → VP PP VP → V NP PP → P NP A = Ví dụ Tìm nhãn nhãn thiếu (partial constituents) từ đầu vào z A → B C D E nhãn thiếu: A NP → NN PP 8.a VP→V Arguments 8.b Arguments → NP PP 30 Papa ate the caviar with a spoon Recursive Descent (Đệ quy) ROOT S NP NP →S → NP VP → Det N → NP PP VP → VP PP VP → V NP PP → P NP NP → Papa N → caviar N → spoon ROOT→ S V → ate P → with Det → the Det → a S Root NP Papa VP VP →S → NP VP → Det N → NP PP VP → V NP VP → VP PP PP → P NP NP → Papa N → caviar N → spoon z VP → V VP → V z z NP 2 NP → 2 NP → 0S NP → NP VP z sau = nonterminal, lặp lặp lại việc tìm ký hiệu (“predict”) sau = terminal, tìm đầu vào (“scan”) sau = rỗng, đích cha hoàn chỉnh (“attach”) predict (đích tiếp theo) phân tích tiếp cuối … we hoàn thành đích NP cha Æ attach 33 attach attach z VP → V NP VP → VP PP PP → P NP NP → Papa N → caviar N → spoon V → ate VP NP → NP → NP → Papa N → caviar N → spoon V → ate P → with Det → the Det → a thực lời gọi hàm: S() gọi NP() VP(), VP triển khai cách đệ qui cần quay lại để thử luật VP khác 34 →S → NP VP → Det N → NP PP VP → V NP VP → VP PP PP → P NP NP → Papa N → caviar N → spoon V → ate P → with Det → the Det → a ROOT → S NP → Papa P S → NP VP VP → VP PP chỗ cần quay lại → V NP VP → V NP VP → VP PP PP → P NP NP → Papa S → NP VP 1 V → ate S → NP VP NP → Papa 32 Papa ate the caviar with a spoon ROOT S NP NP NP → Papa VP → V NP PP PP PP Recursive Descent V → ate P → with Det → the Det → a S → NP VP → NP VP → V NP V → ate V → ate z VP → V NP NP → NP → z VP → V NP S → NP VP VP 0 ROOT → S VP → VP PP → NP VP 0 NP → Papa p 0S z Recursive Descent →S → NP VP → Det N → NP PP →S → NP VP → Det N → NP PP NP → Papa z Papa ate the caviar with a spoon ROOT S NP NP 0S z NP → Papa → V NP VP PP PP PP ROOT → S z S → NP VP 1 V → ate 1 V → ate VP PP PP Papa ate the caviar with a spoon ROOT S NP NP NP → Papa P z PP VP→ VP PP Recursive Descent V → ate P → with Det → the Det → a S → NP VP → VP PP → VP PP 1 VP → VP PP stack overflowed VP 31 ROOT → S VP VP VP V → ate P → with Det → the Det → a VP → VP PP VP VP Recursive Descent z NP → Papa N → caviar N → spoon VP→ VP PP VP→ VP PP VP→ VP PP Papa Papa ate the caviar with a spoon ROOT S NP NP → NP VP z NP → Papa VP → VP PP VP → V NP PP → P NP 0S Goal stack →S → NP VP → Det N → NP PP ROOT S NP NP z S → NP VP Recursive Descent ROOT → S z S → NP VP z NP → Papa z NP → Papa z S → NP VP z Papa ate the caviar with a spoon phân tích tiếp cuối cùng… đoạn NP từ đến 35 VP → VP PP 1 VP → VP PP 1 VP → VP PP 1 VP → VP PP stack overflowed không giải – cần thay đổi tập luật để loại trừ đệ qui trái 36 Thuật toán Earley z z Thuật toán Earley giống thuật toán đệ qui nói trên, giải vấn đề đệ qui trái Sử dụng bảng phân tích giống thuật toán CKY, nhằm lưu lại thông tin tìm thấy Æ lập trình động “Dynamic programming.” khởi tạo ROOT S tương đương với (0, ROOT → S) Các thao tác thuật toán z Xử lý phần sau dấu theo kiểu đệ qui : z Nếu từ, quét (scan) đầu vào để xem có phù hợp không z Nếu ký hiệu không kết thúc, đoán (predict) khả để khớp (giảm số phép tiên đoán cách nhìn trước k ký hiệu từ đầu vào sử dụng luật phù hợp với k ký hiệu đó) z Nếu rỗng, ta hoàn thành thành phần ngữ pháp, gắn (attach) vào chỗ liên quan 37 0 ROOT S 38 predict luật có vế trái S ROOT S S NP VP S NP VP NP Det N predict luật có VT = NP (có luật phù hợp) NP NP PP (0, S → NP VP) NP Papa 39 40 0 ROOT S ROOT S S NP VP NP Det N S NP VP predict luật có VT = Det (2 luật) NP Det N NP NP PP NP NP PP NP Papa NP Papa 0D Dett th the 0D Dett th the Det a Det a 41 predict luật có VT = NP ta làm việc bước trước, không làm lại! Chú ý: ta phải làm lại việc với luật đệ qui trái 42 Papa ROOT S 0 NP Papa ROOT S Papa S NP VP S NP VP NP Det N NP Det N NP NP PP NP Papa NP NP PP scan: từ phù hợp từ đầu vào NP Papa NP Papa 0D Dett th the 0D Dett th the Det a Det a scan: không khô phù hù hợp hợ 43 Papa ROOT S 44 0 NP Papa ROOT S Papa NP Papa S NP VP S NP VP attach NP tạo (bắt đầu từ 0) với phần liên quan (các phần chưa NP Det N NP NP PP hoàn thành kết thúc có NP sau dấu ) NP NP PP S NP VP NP Det N NP NP PP NP Papa NP Papa 0D Dett th the 0D Dett th the scan: không phù hợp Det a Det a 45 Papa ROOT S 0 NP Papa ROOT S NP Papa S NP VP S NP VP NP Det N NP NP PP S NP VP S NP VP NP Det N NP NP PP predict NP NP PP VP V NP NP Papa 46 Papa predict NP NP PP VP V NP NP Papa VP VP PP 0D Dett th the VP VP PP 0D Dett th the PP P NP Det a Det a 47 48 Papa 0 NP Papa ROOT S S NP VP S NP VP S NP VP S NP VP NP Det N NP NP PP NP Det N NP NP PP ROOT S NP NP PP VP V NP predict Papa NP Papa NP NP PP VP V NP NP Papa VP VP PP NP Papa VP VP PP 0D Dett th the PP P NP 0D Dett th the PP P NP Det a V ate Det a V ate predict 49 Papa 50 0 NP Papa ROOT S S NP VP S NP VP S NP VP S NP VP NP Det N NP NP PP NP Det N NP NP PP ROOT S NP NP PP VP V NP NP Papa VP VP PP 0D Dett th the PP P NP Det a V ate Papa ate NP Papa V ate NP NP PP VP V NP predict NP Papa VP VP PP 0D Dett th the PP P NP Det a V ate P with scan: thành công! P with 51 Papa ate ROOT S NP Papa S NP VP NP Det N 52 V ate Papa ate ROOT S NP Papa V ate S NP VP S NP VP S NP VP VP V NP NP NP PP NP Det N NP NP PP NP NP PP VP V NP NP NP PP VP V NP NP Papa VP VP PP NP Papa 0D Dett th the PP P NP 0D Dett th the PP P NP Det a V ate Det a V ate P with attach scan: không hợp VP VP PP P with 53 54 Papa ROOT S ate 0 NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP Papa ROOT S predict NP NP PP ate NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP Papa VP VP PP NP Papa NP Papa 0D Dett th the PP P NP 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a V ate Det a P with predict (các bước sau tương tự) NP NP PP VP VP PP NP Papa P with 55 Papa ROOT S ate 56 0 NP Papa V ate ROOT S S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP predict Papa ate NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP NP Papa VP VP PP NP Papa NP Papa VP VP PP NP Papa 0D Dett th the PP P NP 2D Dett th the 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a Det a V ate Det a P with scan (lúc thất bại P Papa khô hải từ tiếp tiế theo) P with 57 Papa ROOT S ate the NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP NP Papa Det the NP NP PP PP P NP 2D Dett th the Det a V ate Det a Papa ROOT S ate P with the V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP Papa scan: thành h công! ô ! NP Papa NP NP PP VP V NP VP VP PP NP Papa 0D Dett th the 58 Det the NP NP PP VP VP PP NP Papa 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a P with 59 60 Papa ROOT S ate the 0 NP Papa V ate Det the ROOT S S NP VP S NP VP VP V NP NP Det N NP Det N NP NP PP NP Det N NP NP PP VP V NP NP NP PP Papa ate the NP Papa V ate Det the S NP VP S NP VP VP V NP NP Det N NP Det N NP NP PP NP Det N NP NP PP VP V NP NP Papa VP VP PP NP Papa NP Papa 0D Dett th the PP P NP 2D Dett th the 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a Det a V ate Det a P with N caviar NP NP PP N spoon VP VP PP NP Papa P with 61 Papa ROOT S ate the N caviar ROOT S NP Papa V ate Det the NP Det N S NP VP S NP VP VP V NP NP Det N N caviar NP Det N NP NP PP NP Det N NP Papa V ate Det the S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP caviar 62 NP NP PP N spoon Papa ate NP NP PP VP V NP caviar N caviar N caviar NP NP PP N spoon NP Papa VP VP PP NP Papa NP Papa 0D Dett th the PP P NP 2D Dett th the 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a Det a V ate Det a P with the VP VP PP NP Papa P with 63 Papa ate the caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N NP NP PP VP V NP NP Papa 64 attach N caviar NP NP PP N spoon Papa ate caviar NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP VP V NP NP NP PP N spoon VP VP PP NP Papa NP Papa 0D Dett th the PP P NP 2D Dett th the 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a Det a V ate Det a P with the ROOT S attach NP NP PP VP VP PP NP Papa P with 65 66 Papa ate the ROOT S NP Papa V ate S NP VP S NP VP VP V NP NP Det N NP NP PP NP Det N NP NP PP VP V NP caviar Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP Det N N caviar VP V NP NP NP PP N spoon attach Papa ate NP NP PP NP NP PP VP V NP the caviar NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP Det a V ate Det a Det a V ate Det a PP P NP P with P with 67 Papa ate 0 ROOT S NP Papa V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP NP PP VP V NP the caviar 68 NP NP PP N spoon NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the Det a V ate Det a P with attach Papa ate the caviar NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa S NP VP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP PP P NP Det a V ate Det a PP P NP ROOT S P with ROOT S 69 Papa ate the caviar 70 Papa ate the caviar ROOT S NP Papa V ate Det the N caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP NP PP VP V NP NP NP PP N spoon NP NP PP N spoon NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with ROOT S P with P with ROOT S P with 71 72 Papa ate the caviar ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon with P with Papa ate the caviar with NP Papa V ate Det the N caviar P with NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP VP V NP NP Det N NP NP PP NP Det N N caviar VP V NP NP NP PP NP NP PP VP V NP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with ROOT S ROOT S NP NP PP N spoon NP NP PP P with ROOT S P with P with 73 Papa ate the caviar with 74 Papa ate the caviar with ROOT S NP Papa V ate Det the N caviar P with ROOT S NP Papa V ate Det the N caviar P with S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N NP NP PP VP V NP NP NP PP N spoon NP NP PP NP NP PP NP NP PP N spoon NP NP PP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP D Dett th the Det a V ate Det a PP P NP Det a V ate Det a PP P NP P with NP Papa NP NP PP VP V NP P with ROOT S NP Papa Det a ROOT S P with P with 75 Papa ate the caviar ROOT S NP Papa V ate Det the S NP VP S NP VP VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP with Papa ate the caviar with ROOT S NP Papa V ate Det the NP Det N PP P NP S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP VP V NP NP Det N NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N P with NP NP PP NP NP PP NP NP PP VP V NP VP VP PP NP Papa S NP VP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP D Dett th the 0D Dett th the PP P NP 2D Dett th the VP VP PP D Dett th the Det a V ate Det a PP P NP Det a V ate Det a PP P NP NP Papa Det a ROOT S P with P with NP NP PP N spoon N caviar P with NP Papa P with NP NP PP N spoon N caviar 76 NP NP PP NP NP PP NP Papa Det a ROOT S P with 77 78 Papa ate the caviar with ate the V ate Det the S NP VP S NP VP VP V NP NP Det N NP Det N PP P NP P NP Det N NP NP PP NP Det N N caviar VP V NP NP Det N PP NP Det N NP NP PP N spoon P with NP Papa NP NP PP VP V NP N caviar ROOT S V ate caviar Det the VP V NP with N caviar P with NP Det N NP Det N PP P NP N caviar VP V NP NP Det N NP NP PP NP NP PP P PP NP Papa S NP VP P 2D Dett th the VP VP PP D Dett th the Det a PP P NP NP Papa VP VP PP NP Papa S NP VP 0D Dett th the PP P NP 2D Dett th the VP VP PP D Dett th the Det a V ate Det a PP P NP P with NP Papa Det a NP NP PP N spoon a Det a NP NP PP NP NP PP ROOT S ROOT S P with P with NP Papa Det a 79 ate P the V ate VP V NP PP NP Det N P caviar Det the with N caviar Det a NP Det N NP Det N NP Det N PP P NP N caviar VP V NP NP Det N NP NP PP N spoon a P with 80 ate P the V ate caviar Det the VP V NP PP NP Det N with 5 Det a NP Det N NP Det N PP P NP NP Det N N caviar VP V NP NP Det N N caviar P PP NP Papa S NP VP PP NP Papa S NP VP P 2D Dett th the VP VP PP D Dett th the P 2D Dett th the VP VP PP D Dett th the Det a PP P NP Det a PP P NP Det a P with NP NP PP NP NP PP NP Papa a N caviar NP NP PP N spoon NP NP PP NP NP PP N spoon ROOT S ROOT S P with P with NP Papa Det a 81 ate P the V ate VP V NP PP NP Det N P caviar Det the with a 82 ate the P with NP Det N NP Det N PP P NP NP Det N P N caviar VP V NP NP Det N N caviar PP NP Det N NP NP PP N spoon Det a N caviar V ate VP V NP caviar Det the with NP Det N NP Det N PP P NP NP Det N VP V NP NP Det N N caviar P S NP VP PP NP Papa S NP VP P 2D Dett th the VP VP PP D Dett th the P 2D Dett th the VP VP PP D Dett th the Det a PP P NP NP NP PP N spoon Det a PP P NP Det a N spoon NP NP PP NP NP PP N spoon ROOT S ROOT S P with P with 83 spoon N caviar NP NP PP NP NP PP N spoon Det a P with PP NP Papa NP Papa a N caviar NP Papa Det a 84 ate P the V ate VP V NP PP NP Det N P caviar Det the with a spoon ate P with Det a N spoon NP Det N NP Det N PP P NP NP Det N NP Det N P N caviar VP V NP NP Det N N caviar NP NP PP N spoon PP NP Papa P N caviar the V ate VP V NP PP NP Det N NP NP PP NP NP PP N spoon P S NP VP PP NP Papa NP Papa 2D Dett th the VP VP PP D Dett th the Det a PP P NP P Det a caviar Det the with a spoon N caviar P with Det a NP Det N NP Det N PP P NP NP Det N NP Det N N caviar VP V NP NP Det N N caviar PP P NP NP NP PP N spoon NP NP PP NP NP PP N spoon S NP VP 2D Dett th the VP VP PP D Dett th the PP P NP ROOT S P with P with NP NP PP NP Papa Det a ROOT S N spoon Det a 85 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon 86 … N spoon Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP NP NP PP NP NP PP VP V NP NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP Det a V ate Det a PP P NP PP P NP P with ROOT S NP NP PP N spoon … N spoon P with ROOT S P with P with 87 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon 88 … N spoon Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon … N spoon NP Det N NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with P with S NP VP VP VP PP 89 90 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon … N spoon Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP VP V NP NP NP PP NP NP PP NP NP PP N spoon … N spoon NP Det N NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with Papa ate the caviar NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon S NP VP S NP VP VP VP PP VP VP PP P with P with 91 92 with a spoon ROOT S P with … N spoon Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP NP NP PP NP NP PP VP V NP NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with NP NP PP N spoon … N spoon P with S NP VP S NP VP VP VP PP VP VP PP P with P with ROOT94S 93 Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP NP NP PP NP NP PP VP V NP VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with NP NP PP N spoon … N spoon NP Papa P with NP NP PP N spoon … N spoon S NP VP S NP VP VP VP PP VP VP PP P with P with ROOT95S ROOT96S Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N NP NP PP NP Det N N caviar NP NP PP VP V NP NP NP PP N spoon … N spoon Papa ate the caviar with a spoon ROOT S NP Papa V ate Det the N caviar NP Det N S NP VP S NP VP VP V NP NP Det N NP Det N NP Det N VP V NP PP P NP NP Det N NP NP PP NP Det N N caviar VP V NP PP P NP NP NP PP NP NP PP NP NP PP NP NP PP NP NP PP VP V NP NP Papa VP VP PP NP Papa S NP VP NP NP PP NP Papa VP VP PP NP Papa S NP VP NP NP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP 0D Dett th the PP P NP 2D Dett th the VP VP PP VP VP PP Det a V ate Det a PP P NP PP P NP Det a V ate Det a PP P NP PP P NP ROOT S VP V NP ROOT S VP V NP P with NP NP PP P with NP NP PP P with P with S NP VP S NP VP VP VP PP VP VP PP P with P with ROOT97S ROOT98S Vấn đề với PTCP xuống: đệ qui trái … thuật toán Earley Ok! VP VP VP VP VP VP gắn liên tục luật vào trước thấy PP PPs Æ cần đoán trước số PP cần đầu vào PP PP PP NP NP PP N spoon … N spoon VP → VP PP PP (cột 1) attach VP VP → VP PP VP PP NP V ate the caviar (cột 4) 99 … thuật toán Earley Ok! VP PP VP 100 … thuật toán Earley Ok! VP VP → VP PP dùng lại VP (cột1) PP VP → VP PP dùng lại (cột1) VP attach VP VP VP → VP PP PP VP VP PP with a spoon VP → VP PP PP in his bed VP PP with a spoon NP V ate the caviar NP V ate the caviar (cột 7) (cột 10) 101 102 Phục hồi cú pháp … thuật toán Earley Ok! VP PP VP (cột1) [s,itrong tập trạng thái j Sử dụng thuật toán dùng queue đơn giản, dựa thành phần có ích • thành phần trạng thái kết thúc có ích q r • If s=[A →α•Β,i] tập đích k & có ích γ α • then q=[A →αΒ •,k] & item r= [B →γ •,j] có ích i k j VP → VP PP dùng lại VP attach VP VP → VP PP PP VP [s,i] : thành phần với luật s & trả trỏ i PP in his bed VP PP with a spoon NP V ate the caviar (cột10) 103 Ưu điểm z Đánh dấu tất thành phần tập trạng thái Sn dạng Start → αS•, for j=n downto for i=0 to j for đánh dấu [s,i] tập trạng thái j for k=i to j if [q,i]∈Sk & [r,k] ∈Sj & s= q⊗r then 104 đánh dấu [q,i] [r,k] Nhược điểm Thuật toán Earley thực vài phép lọc top-down: thành phần (state, or triple) đưa vào tập trạng thái cần tương thích với phần sinh bên trái trái Ví * w w phần câu dụ: S⇒ i i duyệt qua S z Biểu diễn luật: Explicit representation of rules: wastes time building them z Thực phép lọc bên trái không lọc bên phải Phép lọc nhìn trước cho ký hiệu không kết thúc A: FIRST(A)= {x|A ⇒ xδ }, x= token wi v.d., FIRST(S)= who, did, the, etc 105 106 PTCP việc tìm kiếm Các phương pháp khác the guy saw ice-cream on the hill S(0, 7) z Các phương pháp khác ứng với cách khác để tìm đoạn z Đoạn X[i, j] đoạn có nhãn X phủ đầu vào từ I đến j Example: ice cream on the table John ate ice-cream PP[3,6]; S[0,6]; … Biểu diễn không gian tìm kiếm and-or z Disjuncts (or) = đường phân tích khác z Conjuncts (and) = vế phải luật, ví dụ vế phải S NP VP z NP(0, 1) VP(1, 8) NP(0, 2) VP(2, 7) Name (0, 1) V(1, 2) Det(0,1) Noun(1, 2) V(2, ( 3)) the guy NP(3,7) ( , ) NP(3, NP(3 4) saw Name(3, 4) ice-cream PP(4, 7) Prep(4, 5) on NP(5,7) Name(5,6) 107 NP(5, 7) Det(5,6) Noun(6,7) the 108 hill PTCP góc trái (Left-corner parsing) S Nhìn từ lên để tìm ký hiệu (left-corner) đoạn, sau phân tích phần NP lại theo kiểu xuống ố z Tìm cách kết hợp predict đặc trưng tốt tìm phân tích the xuống lên Noun tìm S→ NP VP z NP→ the Noun VP VP→ ate NP ate Phương pháp làm việc tốt với ngôn ngữ với thành phần quan trọng đặt đầu tiếng Anh Các tiếng Đức, 109 Hà Lan, Nhật ngôn ngữ có phần quan trọng đặt cuối [...]... Det a 1 V ate 2 Det a 4 PP P NP 0 Det a 1 V ate 2 Det a 4 PP P NP 1 P with 5 0 ROOT S 0 ROOT S 2 NP NP PP 3 N spoon 2 NP NP PP 1 P with 0 ROOT S 4 P with 4 P with 73 0 Papa 1 ate 2 the 3 caviar 4 with 5 74 0 Papa 1 ate 2 the 3 caviar 4 with 5 0 ROOT S 0 NP Papa 1 V ate 2 Det the 3 N caviar 4 P with 0 ROOT S 0 NP Papa 1 V ate 2 Det the 3 N caviar 4 P with 0 S NP VP 0 S... a 4 PP P NP 0 Det a 1 V ate 2 Det a 4 PP P NP 5 NP Papa 5 Det a 0 ROOT S 1 P with 4 P with 2 NP NP PP 3 N spoon 3 N caviar 5 4 P with 0 NP Papa 1 P with 2 NP NP PP 3 N spoon 4 3 N caviar 76 2 NP NP PP 5 NP NP PP 5 NP Papa 5 Det a 0 ROOT S 4 P with 77 78 0 Papa 1 ate 2 the 3 caviar 4 with ate the 1 V ate 2 Det the 0 S NP VP 0 S NP VP 1 VP V NP 2 NP Det N 2 NP Det N 4. .. the guy NP(3,7) ( , ) NP(3, NP(3 4) saw Name(3, 4) ice-cream PP (4, 7) Prep (4, 5) on NP(5,7) Name(5,6) 107 NP(5, 7) Det(5,6) Noun(6,7) the 108 hill PTCP góc trái (Left-corner parsing) S Nhìn từ dưới lên để tìm ký hiệu đầu tiên (left-corner) của đoạn, sau đó phân tích phần NP còn lại theo kiểu trên xuống ố 2 z Tìm cách kết hợp các predict đặc trưng tốt nhất của 1 tìm phân tích trên the xuống và dưới lên... 0 ROOT S 4 P with 4 P with 5 NP Papa 5 Det a 81 ate P 2 the 1 V ate 1 VP V NP PP 2 NP Det N P 3 caviar 2 Det the 4 with 5 a 6 82 ate the 4 P with 2 NP Det N 2 NP Det N 4 PP P NP 5 NP Det N P 3 N caviar 1 VP V NP 5 NP Det N 6 N caviar PP 2 NP Det N 2 NP NP PP 3 N spoon 5 Det a 2 3 N caviar 1 V ate 1 VP V NP 3 caviar 2 Det the 4 with 5 2 NP Det N 2 NP Det N 4 PP P NP 5... 2 Det a 4 PP P NP 2 NP NP PP 3 N spoon 2 Det a 4 PP P NP 5 Det a 7 6 N spoon 2 NP NP PP 5 NP NP PP 6 N spoon 0 ROOT S 0 ROOT S 4 P with 4 P with 83 spoon 3 N caviar 2 NP NP PP 5 NP NP PP 6 N spoon 5 Det a 6 4 P with PP 2 NP Papa 5 NP Papa a 3 N caviar 5 NP Papa 5 Det a 84 ate P 2 the 1 V ate 1 VP V NP PP 2 NP Det N P 3 caviar 2 Det the with 5 a 6 spoon 7 ate 4 P with... 2 Det a 4 PP P NP 0 Det a 1 V ate 2 Det a 4 PP P NP 1 P with 0 ROOT S 1 P with 4 P with 0 ROOT S 4 P with 71 72 0 Papa 1 ate 2 the 3 caviar 4 0 ROOT S 0 NP Papa 1 V ate 2 Det the 3 N caviar 0 S NP VP 0 S NP VP 1 VP V NP 2 NP Det N 0 NP Det N 0 NP NP PP 2 NP Det N 3 N caviar 0 NP NP PP 1 VP V NP 2 NP NP PP 3 N spoon with 5 0 4 P with Papa 1 ate 2 the 3 caviar 4 with 0 NP... Det a 2 NP Det N 2 NP Det N 4 PP P NP 5 NP Det N 5 NP Det N 3 N caviar 1 VP V NP 5 NP Det N 6 N caviar 4 PP P NP 2 NP NP PP 3 N spoon 2 NP NP PP 5 NP NP PP 6 N spoon 0 S NP VP 2D Dett th the 1 VP VP PP 5 D Dett th the 4 PP P NP 0 ROOT S 4 P with 4 P with 5 NP NP PP 5 NP Papa 2 Det a 0 ROOT S 6 N spoon 5 Det a 85 0 Papa 1 ate 2 the 3 caviar 4 with a spoon 7 0 ROOT S 0 NP... PP 1 VP VP PP 0 Det a 1 V ate 2 Det a 4 PP P NP 7 PP P NP 0 Det a 1 V ate 2 Det a 4 PP P NP 7 PP P NP 0 ROOT S 1 VP V NP 0 ROOT S 1 VP V NP 4 P with 2 NP NP PP 4 P with 2 NP NP PP 1 P with 2 NP NP PP 3 N spoon … 6 N spoon 1 P with 0 S NP VP 0 S NP VP 1 VP VP PP 1 VP VP PP 7 P with 7 P with 0 ROOT94S 93 0 Papa 1 ate 2 the 3 caviar 4 with a spoon 7 0 ROOT S 0 NP Papa 1... việc tìm kiếm Các phương pháp khác 0 the 1 guy 2 saw 3 ice-cream 4 on 5 the 6 hill 7 S(0, 7) z Các phương pháp khác ứng với các cách khác nhau để tìm các đoạn z Đoạn X[i, j] là đoạn có nhãn X phủ đầu vào từ I đến j Example: ice cream 3 on 4 the 5 table 6 0 John 1 ate 2 ice-cream PP[3,6]; S[0,6]; … Biểu diễn không gian tìm kiếm như cây and-or z Disjuncts (or) = các đường phân tích khác nhau z Conjuncts... ate 2 Det a 4 PP P NP 1 P with 5 NP Papa 5 Det a 2 NP NP PP 3 N spoon a 6 5 Det a 2 NP NP PP 5 NP NP PP 0 ROOT S 0 ROOT S 4 P with 4 P with 5 NP Papa 5 Det a 79 ate P 2 the 1 V ate 1 VP V NP PP 2 NP Det N P 3 caviar 2 Det the 4 with 3 N caviar 5 6 5 Det a 5 NP Det N 2 NP Det N 2 NP Det N 4 PP P NP 3 N caviar 1 VP V NP 5 NP Det N 2 NP NP PP 3 N spoon a 4 P with 80 ate ... (left-corner) đoạn, sau phân tích phần NP lại theo kiểu xuống ố z Tìm cách kết hợp predict đặc trưng tốt tìm phân tích the xuống lên Noun tìm S→ NP VP z NP→ the Noun VP VP→ ate NP ate Phương pháp làm việc... := to n-width end := start + width for mid := start+1 to end-1 for nhãn cú pháp X [start,mid] for nhãn cú pháp Y [mid,end] for cách kết hợp X Y (nếu có) Thêm nhãn kết vào [start,end]... 1) V(1, 2) Det(0,1) Noun(1, 2) V(2, ( 3)) the guy NP(3,7) ( , ) NP(3, NP(3 4) saw Name(3, 4) ice-cream PP (4, 7) Prep (4, 5) on NP(5,7) Name(5,6) 107 NP(5, 7) Det(5,6) Noun(6,7) the 108 hill PTCP