Bài giảng Xử lý ngôn ngữ tự nhiên: Nghĩa từ vựng và phân giải nhập nhằng từ - Lê Thanh Hương

Bài giảng Xử lý ngôn ngữ tự nhiên: Nghĩa từ vựng và phân giải nhập nhằng từ cung cấp cho người học các kiến thức: Từ đồng âm, phân loại từ đồng âm tiếng Việt, từ đa nghĩa, đồng nghĩa, nghĩa từ vựng,... Mời các bạn cùng tham khảo.

Từ đồng âm Nghĩa từ vựng phân giải nhập nhằng từ z Từ đồng âm (Homonymy): từ trùng hình thức ngữ âm khác nghĩa z Lê Thanh Hương g Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@mail.hut.edu.vn z Từ đồng âm, đồng tự (Homograph) : từ với cách viết có nghĩa khác Ví dụ: z dove d - dive di iinto water, white hi bi bird d z saw Từ đồng âm, khơng đồng tự (Homophone): từ có cách viết khác có âm Ví dụ: z see, sea; meat, meet Từ đa nghĩa, đồng nghĩa Phân loại từ đồng âm tiếng Việt z Đồng âm từ với từ, gồm: z z z z Đồng âm từ vựng: Tất từ thuộc từ loại Ví dụ: z đường1 (đắp đường) - đường2 (đường phèn) z đường kính1 (đường để ăn) - đường kính2 (…của đường tròn) z cất1 (cất vó) - cất2 (cất tiền vào tủ) - cất3 (cất hàng) - cất4 (cất rượu) Đồng âm từ vựng-ngữ pháp: Các từ nhóm đồng âm với khác từ loại Ví dụ: z chỉ1 (cuộn chỉ) - chỉ2 (chỉ tay năm ngón) - chỉ3 (chỉ có dăm đồng) z câu1 (nói vài câu) - câu2 (rau câu) - câu3 (chim câu) - câu4 (câu cá) z z Đồng âm từ với tiếng: đơn vị khác cấp độ; kích thước ngữ âm chúng khơng vượt q tiếng Ví dụ: z Từ đa nghĩa (Polysemy): từ nhiều nghĩa, biểu thị đặc điểm, thuộc tính khác đối tượng, biểu thị đối tượng khác thực Ví dụ Đồng nghĩa (Synonymy): từ tương đồng với nghĩa, khác âm Ví dụ z Con trai Văn Cốc lên dốc bắn cò, đứng lăm le cười khanh khách Con gái Bát Chàng bán hàng thịt ếch ngồi châu chẫu nói ương ương việc dịch chuyển hai chi ột người ời chết hết z cố, gắng car, automobile Ràng buộc lựa chọn: Mã hóa ngữ nghĩa văn phạm Nghĩa từ vựng z z z Ngữ nghĩa nghiên cứu ý nghĩa phát biểu dạng ngôn ngữ Nghĩa từ vựng (Lexical semantics) nghiên cứu: z z z Vị từ biểu diễn ràng buộc qua tham số z (quan hệ từ vựng) liên hệ mặt ngữ nghĩa từ (ràng buộc lựa chọn) cấu trúc liên hệ ngữ nghĩa bên từ bao gồm lý thuyết phân loại phân rã nghĩa từ, giống khác cấu trúc từ vựng – ngữ nghĩa ngôn ngữ, quan hệ nghĩa từ với cú pháp ngữ nghĩa câu z z z z read (human subject, textual object) eat (animate subject) kill (animate object) Sử dụng vị từ để phân giải nhập nhằng Ví dụ "dish": z z z đĩa để ăn ăn phương tiện liên lạc CuuDuongThanCong.com https://fb.com/tailieudientucntt Ví dụ từ “dish” z z z Ràng buộc lựa chọn Not unexpectedly, wives, whether working or nonworking, did by far the most - about 80% of the shopping, laundry and cooking, and about two-thirds of housecleaning, washing dishes, child care, and family paper p p work In her tiny kitchen at home, Ms Chen works efficiently, stir-frying several simple dishes, including braised pig's ears and chicken livers with green peppers Installation of satellite dishes, TVs and videocassette equipment will cost the company about $20,000 per school, Mr Whittle said z VPPNC đưa vào ràng buộc lựa chọn z tạo ontology (ví dụ, người, động vật) ràng buộc luật z ràng buộc dịch nghĩa z z z z vd VP → VgiếtNPđộng vật vd ăn([sinh vật sống], [thức ăn]) Nhược điểm: Cách viết không tổng quát z z không đủ thông tin không sử dụng với trường hợp không liệt kê văn phạm Khai thác quan hệ từ vựng Khai thác quan hệ từ vựng z Xác định quan hệ từ vựng từ đoạn sau yêu động ộ g vật ậ nuôi g nhà Tôi đặc ặ biệt ệ Tơi y thích mèo chúng lồi động vật độc lập Ngược lại, chó nhu cầu Ví dụ, bạn phải dắt chúng dạo hàng ngày Từ điển đồng nghĩa: z z gồm từ đồng nghĩa (Synonyms) trái nghĩa (Antonyms) Wordnet: z z z Từ đồng nghĩa trái nghĩa Từ lớp cha từ lớp … 10 Nhập nhằng ràng buộc lựa chọn z Nhập nhằng: z z z z Các vị từ khác ứng với nghĩa khác z wash the dishes (theme : washable-thing) Tham số giải nhập nhằng cho vị từ serve vegetarian dishes (theme : food-type) z z Phân tích ngữ nghĩa: nghĩa z z Vấn đề: Đôi ràng buộc lựa chọn không đủ chặt (khi từ có nhiều nghĩa) Đơi ràng buộc chặt – vị từ sử dụng phép p p ẩn dụ ụ Vd,, I’ll eat myy hat! Luật có gắn thơng tin ngữ nghĩa sử dụng với câu phân tích cú pháp “I wanna eat somewhere close to CSSE” Ngoại động từ: VỈ eat {theme:food-type} (VP > V NP) Nội động từ: VỈ eat (VP > V) Xung đột ràng buộc lựa chọn: loại trừ cú pháp 11 12 CuuDuongThanCong.com https://fb.com/tailieudientucntt WordNet: Giới thiệu WordNet: Giới thiệu CSDL từ vựng z z z CSDL từ vựng z Wordnet cho ngôn ngữ khác [www.globalwordnet.org] Lấy ý tưởng từ lý thuyết tâm lý ngôn ngữ khả nhớ từ vựng người Xâ d Xây dựng ột mạng khổ khổng lồ từ vựng quan hệ từ vựng z Wordnet tiếng Anh z z lớp: danh từ, động từ, tính từ, trạng từ Danh từ: 120,000; Động từ: 22,000; Tính từ: 30,000; Trạng từ: 6,000 z Có wordnet cho ngơn ngữ: Tây Ban Nha, Tiệp, Hà Lan, Pháp, Đức, Ý, Bồ Đào Nha, Thụy Điển, Basque, Estonian Wordnets làm cho tiếng: Bulgary, Đan mạch, Hy lạp, Hebrew, Hindi, Cannada, Latvian, Moldavy, Romany, Nga, Slovenian, Tamil, Thái lan, Thổ Nhĩ Kỳ, Ireland, Nauy, Ba tư, Iran 13 Tập từ đồng nghĩa Synonym Sets - Synsets z z Các quan hệ khác WordNet •Các từ nối theo chiều dọc biểu diễn quan hệ rộng (holonymy) hẹp (hypernymy), theo chiều ngang biểu diễn quan hệ phận meronymy (part_of) holonymy (has_part) Từ có nhập nhằng Các nút Wordnet biểu diễn tập từ đồng nghĩa “synonym sets”, synsets Ví dụ: z z z 14 •Mỗi nghĩa từ biểu diễn số synset Fool: người dễ bị lợi dụng {chump, fish, fool, gull, mark, patsy, fall guy, sucker, schlemiel, shlemiel, soft touch, mug} Synset = tập khái niệm 15 http://wordnet.princeton.edu/ 16 Phân giải nhập nhằng sử dụng quan hệ từ vựng Vitamin_Pill Supplement Publication Dietary Pill Nutriment Textual Matter Nutriment Medicine SENSE OF WORD KIND-OF (HYPONYMY) HAS-PART (HOLONYMY) PART-OF (MERONYMY) WordNet Similarity Metrics: http://marimba.d.umn.edu/cgi-bin/similarity/similarity.cgi 17 18 CuuDuongThanCong.com https://fb.com/tailieudientucntt Cặp từ gần hơn? Đo quan hệ từ vựng z Đếm số cạnh/đỉnh đồ thị: z z z khoảng cách từ tỉ lệ nghịch với quan hệ ngữ nghĩa chúng Nếu từ có nhiều đường đi, chọn đường ngắn z cá heo cá? cá cá hồi? WordNet Similarity Metrics: http://marimba.d.umn.edu/cgi-bin/similarity/similarity.cgi số cạnh = số nút = 19 20 21 22 Phân giải nhập nhằng đếm cạnh Phân giải nhập nhằng đếm cạnh z z z vertebrate whale#n#1 người lớn (về kích thước phẩm chất) mammal fish#n#3 z placental (thiên văn học) người sinh mặt trời Pisces fish aquatic animal person tall/large person aquatic vertebrate cetacean Pisces (fish) whale Giant (whale) Path length = Path Length = 23 24 CuuDuongThanCong.com https://fb.com/tailieudientucntt Nhược điểm WordNet tính quan hệ ngữ nghĩa z Cách tiếp cận dựa từ điển Độ đo quan hệ ngữ nghĩa WordNet dựa giả thiết sau: z Mọi cạnh đồ thị có độ dài z Các nhánh g đồ thị có g độ đậm đặc z Tồn tất quan hệ ngoại động từ z Các từ điển điện tử (Lesk ‘86) z z z ¾ z không đáng tin cậy Cho biết ý nghĩa từ ngữ cảnh cụ thể nội dung (vd., I’ve often caught bass while out at sea) So sánh chồng g chéo định nghĩa g nghĩa g từ (bass2: a type of fish that lives in the sea) Chọn nghĩa trùng nhiều Hạn chế: đường dẫn đến từ ngắn Ỉ mở rộng cho từ liên quan 25 26 Các đặc trưng sử dụng WSD Cách tiếp cận học máy z Học việc phân loại để gán từ với nghĩa z z z z Tích lũy tri thức từ tập ngữ liệu có khơng gán nhãn Con người can thiệp vào tập ngữ liệu gán nhãn lựa chọn tập đặc trưng sử dụng việc huấn ấ luyện z z Vào: vectơ đặc trưng z z z z z đích (từ cần phân giải nhập nhằng) nội dung (các đặc trưng dùng để tiên đoán nghĩa đúng) Các thẻ POS từ từ lân cận Các từ lân cận (có thể lấy gốc từ khơng) Dấu chấm, viết hoa, định dạng PTCP ộ phận p ậ để xác định ị vai trò ngữ g pháp p p q quan hệ chúng Các thông tin đồng xuất hiện: z z z Ra: luật phân loại cho văn Từ từ lân cận có thường đồng xuất khơng Đồng xuất từ láng giềng Ví dụ: sea có thường xun xuất với bass khơng 27 28 Các kiểu phân loại Ví dụ z Tơi ăn cơm với cá z DT ĐgT DT GT DT z (C (CN (ĐaT Tôi)) (VN (ĐgN (ĐgN (ĐgT ăn) (DT cơm)) (GN (GT với) (DT cá))))) ẹ Em bé thích ăn kẹo z DT TT TT ĐgT DT PT z (C (CN (DT Em bé)) (VN (TN (TN (TT chỉ) (TN (TT thích) (ĐgN (ĐgT ăn) (DT kẹo)))) (PT thơi)))) Nó ăn nhiều hoa hồng q z ĐaT ĐgT TT DT TT z (C (CN (ĐaT Nó)) (VN (ĐgN (ĐgN (ĐgT ăn) (TT nhiều) (DT hoa hồng)) (TT quá)))) z Tơi tên Hoa Nạve Bayes: Nghĩa tốt nghĩa có khả xảy với đầu vào cho trước z z z z ŝ= arg max s∈S p(s|V), arg max s∈S p(V |s) p(s) p(V ) s nghĩa V vector đầu vào đặc trưng Chỉ có liệu có thơng tin vector kết hợp với nghĩa Giả sử đặc trưng độc lập, p(V|s) tích xác suất đặc trưng n p(V | s) = ∏ p(v j | s) j =1 z p(V) giống với ŝ (không ảnh hưởng đến xếp hạng cuối cùng) 29 30 CuuDuongThanCong.com https://fb.com/tailieudientucntt Các kiểu phân loại WSD IR Nạve Bayes: : Nghĩa tốt nghĩa có khả xảy với đầu vào cho trước z Khi z z z z n sˆ = arg max p(s) ∏ p(v j | s) j =1 s∈S z z z z z IR (Information Retrieval) : tìm kiếm thơng tin Motivation P(s) xác suất tiền nghiệm nghĩa = xác suất nghĩa tập liệu gán nhãn P(v,s) = đếm số lần xuất bass với sea Đồng âm = Bank (ngân hàng, sông) Đa nghĩa = Bat ((câu lạc chơi cricket), (cây vợt nhỏ có tay cầm dài để chơi bóng )) Đồng nghĩa = doctor, doc, physician, MD, medico Những vấn đề ảnh hưởng đến IR nào? z z Đồng âm đa nghĩa có xu hướng giảm độ xác Đồng nghĩa: giảm độ phủ 31 32 ứng dụng WSD IR z Tìm kiếm dựa câu truy vấn (Voorhees, 1998): z z z z ứng dụng WSD IR z Sử dụng WSD để mở rộng câu truy vấn: phân giải nhập nhằng câu query bổ sung vào từ có nghĩa rộng Sử dụng WSD để đánh số khái niệm: phân giải nhập nhằng tập tài liệu xây dựng số cho tập synset thay cho tập từ gốc Mơ hình khơng gian vector: tìm độ tương đồng cosin câu truy vấn ỗ vector tài liệu Đánh số khái niệm z z Trong thí nghiệm, vector dựa nghĩa thực vector dựa từ gốc Lý do: lỗi phân giải nhập nhằng z thu thập văn bản, z câu query ngắn thiếu nội dung z Mở rộng query z Không khả quan z Nhưng, phân giải nhập nhằng mở rộng truy vấn thủ công đem lại kết tốt Ví dụ: z furniture: table, chair, board, refectory(specialisations) z “Chỉ có vài từ vựng liên quan có ích việc mở rộng câu truy vấn, đường dẫn lớp cha từ WordNet lúc đem lại mở rộng truy vấn cách hữu ích 33 Độ xác WSD IR z z z z Độ xác WSD IR Tập liệu đánh giá WSD: SensEval SemCor Cách khác để tạo liệu gán nhãn: Pseudowords z 34 z Lấy từ (ngẫu nhiên) có từ loại, thay từ nhân tạo Ví dụ, 'door' 'banana' thay tập ngữ liệu từ 'donana' donana Độ xác WSD: xác định trường hợp donana cụ thể 'door‘ hay 'banana' (Yarowsky, 1993) Tại đa nghĩa/đồng âm vấn đề lớn ta nghĩ: z z Tác động đồng xuất từ truy vấn: từ câu truy vấn tự phân giải nhập nhằng S phân Sự hâ bố ngữ ữ nghĩa: hĩ áp d dụng cho h miền iề ứng ứ dụng d cụ thể (Sanderson, 1997) công bố: thêm nhập nhằng vào query kết có ảnh hưởng đến độ xác việc tìm kiếm so với ảnh hưởng lỗi phân giải nhập nhằng tập kết z có lỗi phân giải nhập nhằng mức thấp ( < 10%) tốt phiên IR đơn giản dựa từ gốc 35 36 CuuDuongThanCong.com https://fb.com/tailieudientucntt Độ xác WSD IR z Từ đồng nghĩa có ảnh hưởng lớn hơn: z Gonzalo et al (1998; 1999): sử dụng SemCor (tập ngữ liệu Brown với thẻ nghĩa WordNet) cho thấy phân giải nhập nhằng có độ cx = 100% z z z z Đánh số nghĩa (vd synset number) có độ cx IR = 62% Đánh số nghĩa từ (vd canine1) có độ cx IR = 53.2% Đánh số từ gốc có độ cx IR = 48% Gonzalo et al cho thấy độ cx tối thiểu 90% với WSD cho IR cao Gần 60% từ giả không hoạt động giông từ có nhập nhằng thật 37 CuuDuongThanCong.com https://fb.com/tailieudientucntt ... CSDL từ vựng z z z CSDL từ vựng z Wordnet cho ngôn ngữ khác [www.globalwordnet.org] Lấy ý tưởng từ lý thuyết tâm lý ngôn ngữ khả nhớ từ vựng người Xâ d Xây dựng ột mạng khổ khổng lồ từ vựng quan... hàng ngày Từ điển đồng nghĩa: z z gồm từ đồng nghĩa (Synonyms) trái nghĩa (Antonyms) Wordnet: z z z Từ đồng nghĩa trái nghĩa Từ lớp cha từ lớp … 10 Nhập nhằng ràng buộc lựa chọn z Nhập nhằng: z... z Các vị từ khác ứng với nghĩa khác z wash the dishes (theme : washable-thing) Tham số giải nhập nhằng cho vị từ serve vegetarian dishes (theme : food-type) z z Phân tích ngữ nghĩa: nghĩa z z