Đang tải... (xem toàn văn)
Báo cáo này tổng kết một số kết quả nghiên cứu về gán nhãn tiếng Việt trong những năm gần đây. Bên cạnh đó, báo cáo còn đưa ra những so sánh, đánh giá chất lượng gán nhãn với hai phương pháp học máy thống kê là phương pháp cực đại hóa entropy (MaxEnt) và Conditional Random Fields. Những kết quả này sẽ góp phần định hướng cho việc xây dựng một hệ gán nhãn từ loại hiệu quả cho cộng đồng khai phá thông tin tiếng Việt nói chung và xử lý tiếng Việt nói riêng.
Gán nhãn từ loại tiếng Việt dựa phương pháp học máy thống kê Phan Xuân Hiếu1, Lê Minh Hồng2, Nguyễn Cẩm Tú3 (1) Trường Khoa học thơng tin, Đại học Tohoku, Nhật Bản (2) Đại học Sư Phạm Hà Nội (3) Đại học Công nghệ, Đại học Quốc gia Hà Nội Tóm tắt Trong năm gần đây, nhu cầu lớn tìm kiếm, khai phá xử lý thông tin tiếng Việt, vấn đề xử lý tiếng Việt ngày nhận nhiều quan tâm từ cộng đồng nghiên cứu nước [Socbay, Bamboo, Xalo, VLSP, Biocaster, …] Gán nhãn từ loại bước quan trọng xử lý khai phá liệu tiếng Việt Báo cáo tổng kết số kết nghiên cứu gán nhãn tiếng Việt năm gần Bên cạnh đó, báo cáo đưa so sánh, đánh giá chất lượng gán nhãn với hai phương pháp học máy thống kê phương pháp cực đại hóa entropy (MaxEnt) Conditional Random Fields Những kết góp phần định hướng cho việc xây dựng hệ gán nhãn từ loại hiệu cho cộng đồng khai phá thơng tin tiếng Việt nói chung xử lý tiếng Việt nói riêng Từ khóa: Gán nhãn từ loại, tiếng Việt, học máy, Maximum Entropy, Conditional Random Fields, POS Tagging 1) Giới thiệu Gắn nhãn từ loại việc xác định chức ngữ pháp từ câu Đây bước trước phân tích sâu văn phạm hay vấn đề xử lý ngôn ngữ phức tạp khác Thơng thường, từ có nhiều chức ngữ pháp, ví dụ: câu “con ngựa đá đá ngựa đá”, từ “đá” từ thứ thứ ba giữ chức ngữ pháp danh từ, từ thứ hai lại động từ câu Một số hướng tiếp cận gắn nhãn từ loại tiếng Anh [Đinh Điền] bao gồm: gắn nhãn dựa mơ hình Markov ẩn (HMM); mơ hình dựa nhớ (Daelemans, 1996) ; mơ hình dựa luật (Transformation Based Learning, Brill, 1995); Maximum Entropy; định (Schmid, 1994a); mạng nơ-ron(Schmid, 1994b), v.v Trong hướng tiếp cận đó, phương pháp dựa học máy đánh giá tốt Vấn đề gắn nhãn từ loại tiếng Việt có nhiều khó khăn [Nguyễn Huyền, Vũ Lương] Ngồi khó khăn đặc trưng riêng ngôn ngữ, gắn nhãn từ loại tiếng Việt thiếu kho liệu chuẩn Brown hay Penn Treebank tiếng Anh cho trình so sánh đánh giá Nghiên cứu nhóm chúng tơi hướng tới số mục đích bao gồm: (1) khảo sát cơng trình gắn nhãn từ loại tiếng Việt lien quan; (2) đánh giá khả áp dụng hướng tiếp cận gán nhãn từ loại tiếng Việt dựa phương pháp học máy thống kê (Maximum Entropy CRFs) - hướng tiếp cận đánh giá tốt tiếng Anh; (3) đánh giá mức độ ảnh hưởng phân phối nhãn kho liệu đến chất lượng gán nhãn Phần lại báo tổ chức sau: phần tổng hợp số cơng trình lien quan đến gắn nhãn từ loại tiếng Việt; phần trình bày tư tưởng phương pháp Maximum Entropy CRFs; phần số thử nghiệm phân tích kết thử nghiệm; số kết luận rút phần phần cuối báo 2) Gán nhãn từ loại tiếng Việt: cơng trình liên quan Trong nghiên cứu này, chúng tơi tập trung khảo sát hai cơng trình tách từ tiêu biểu: nhóm Đinh Điền cộng sự; hai nhóm Nguyễn Huyền, Vũ Lương cộng Nhóm thứ [Đinh Điền] xây dựng hệ thống gắn nhãn từ loại cho tiếng Việt dựa việc chuyển đổi ánh xạ từ thông tin từ loại từ tiếng Anh Cơ sở hướng tiếp cận nằm hai ý: (1) gắn nhãn từ loại tiếng Anh đạt độ xác cao (trên 97% cho độ xác mức từ) (2) thành cơng gần phương pháp gióng hàng từ (word alignment methods) cặp ngôn ngữ Cụ thể, nhóm xây dựng tập ngữ liệu song ngữ Anh – Việt lên đến triệu từ (cả Anh lẫn Việt) Sau thực gắn nhãn từ loại cho bên tiếng Anh (dựa Transformation-based Learning – TBL [Brill 1995]) thực gióng hàng hai ngơn ngữ (độ xác khoảng 87%) để chuyển chuyển thông tin nhãn từ loại từ tiếng Anh sang tiếng Việt Cuối cùng, liệu tiếng Việt với thông tin từ loại thu đuợc hiệu chỉnh tay để làm liệu huấn luyện cho gắn nhãn từ loại tiếng Việt Ưu điểm phương pháp tránh việc gắn nhãn từ loại tay nhờ tận dụng thông tin từ loại ngôn ngữ khác Tuy mức độ thành cơng phương pháp cần phải xem xét kỹ Ở đây, nêu vài nhận định chủ quan khó khăn mà phương pháp gặp phải 1) Sự khác biệt tính chất ngôn ngữ tiếng Anh tiếng Việt đáng kể: khác biệt cấu tạo từ, trật tự chức ngữ pháp từ câu làm cho việc gióng hàng trở nên khó khăn 2) Lỗi tích lũy qua hai giai đoạn: (a) gắn nhãn từ loại cho tiếng Anh (b) gióng hàng hai ngơn ngữ: lỗi tích lũy hai giai đoạn ảnh hưởng đáng kể tới độ xác cuối 3) Tập nhãn chuyển đổi trực tiếp từ tiếng Anh sang tiếng Việt thiếu linh động khó tập nhãn điển hình cho từ loại tiếng Việt: tính chất ngơn ngữ khác nhau, việc chuyển đổi nhãn từ loại tiếng Anh sang tiếng Việt có phần áp đặt khơng quán hoàn toàn với tập nhãn xây dựng dựa tính chất ngơn ngữ tiếng Việt Do tác giả công bố kết dạng ấn phẩm khoa học không chia sẻ liệu cụ thể nên chúng tơi khơng thể tìm hiểu kỹ phần nội dung thực kết đạt Đây khó khăn việc học tập, thừa kế lẫn nhau, đến thống chuẩn chung, tạo tiền đề cho xử lý tiếng Việt sau Nhóm thứ hai [Nguyen Huyen, Vu Luong] tiếp cận vấn đề dựa tảng tính chất ngơn ngữ tiếng Việt Nhóm đề xuất xây dựng tập từ loại (tagset) cho tiếng Việt dựa chuẩn mô tả tổng quát ngơn ngữ Tây Âu, MULTEXT, nhằm mơ đun hóa tập nhãn hai mức: (1) mức bản/cốt lõi (kernel layer) (2) mức tính chất riêng (private layer) Mức nhằm đặc tả chung cho ngôn ngữ mức thứ hai mở rộng chi tiết hóa cho ngơn ngữ cụ thể dựa tính chất ngơn ngữ Cụ thể, mức từ loại nhóm đề xuất bao gồm: danh từ (noun – N), động từ (verb – V), tính từ (adjective – A), đại từ (pronoun – P), mạo từ (determine – D), trạng từ (adverb – R), tiền-hậu giới từ (adposition – S), liên từ (conjunction – C), số từ (numeral – M), tình thái từ (interjection – I), từ ngoại Việt (residual – X, foreign words, ) Mức thứ hai triển khai tùy theo dạng từ loại danh từ đểm được/không đếm danh từ, giống đực/cái đại từ, v.v Với cách phân loại này, co giãn hệ phân loại từ mức chung (cơ bản) cụ thể (chi tiết hóa) tương đối dễ dàng Tuy vậy, tập nhãn mà nhóm tác giả thứ hai đưa chưa thực tối ưu cho ngôn ngữ tiếng Việt Hiện nay, hai tác giả nhóm thành viên việc xây dựng VietTreeBank khn khổ dự án VLSP Qua trao đổi với nhóm xây dựng Viet Treebank, chúng tơi biết thành viên nhóm tiếp tục trao đổi để đưa thiết kế tốt hơn, có hệ thống với tham gia nhiều nhóm liên quan Những kết thống thẻ liệu kết hợp với nghiên cứu phương pháp ngôn ngữ tảng cho xử lý khai phá liệu tiếng Việt 3) Phương pháp Cực đại hóa Entropy (Maxent) Conditional Random Fields (CRFs) a) Phương pháp Maximum Entropy Tư tưởng Maximum Entropy “ngồi việc thỏa mãn số rang buộc mơ hình đồng tốt” Để rõ vấn đề này, ta xem xét tốn phân lớp gồm có lớp Ràng buộc mà biết trung bình 40% tài liệu chứa từ “professor” nằm lớp faculty Trực quan cho thấy có tài liệu chứa từ “professor” nói có 40% khả tài liệu thuộc lớp faculty, 20% khả cho khả lại (thuộc lớp lại) Mặc dù maximum entropy dùng để ượng lượng phân phối xác suất nào, xem xét khả maximum entropy cho việc gán nhãn liệu chuỗi Nói cách khác, ta tập trung vào việc học phân phối điều kiện chuỗi nhãn tương ứng với chuỗi (xâu) đầu vào cho trước Các Ràng buộc Đặc trưng Trong maximum entropy, người ta dùng liệu huấn luyện để xác định ràng buộc phân phối điều kiện Mỗi ràng buộc thể đặc trưng liệu huấn luyện Mọi hàm thực chuỗi đầu vào chuỗi nhãn xem đặc trưng f i (o, s ) Maximum Entropy cho phép giới hạn phân phối mơ hình lý thuyết gần giống giá trị kì vọng cho đặc trưng liệu huấn luyện D Vì người ta mơ hình hóa xác suất P(o | s ) sau (ở đây, o chuỗi đầu vào s chuỗi nhãn đầu ra) ⎛ ⎞ (2.1) exp⎜⎜ ∑ λi f i (o, s )⎟⎟ P (o | s ) = Z (o ) ⎝ i ⎠ Ở f i (o, s ) đặc trưng, λi tham số cần phải ước lượng Z (o ) thừa số chuẩn hóa đơn giản nhằm đảm bảo tính đắn định nghĩa xác suất (tổng xác suất tồn khơng gian 1) Z (o ) = ∑ exp ∑ λi f i (o, s ) c c Một số phương pháp huấn luyện mơ hình từ liệu học bao gồm: IIS (improved iterative scaling), GIS, L-BFGS, and so forth b) Phương pháp Conditional Random Fields CRFs mơ hình trạng thái tuyến tính vơ hướng (máy trạng thái hữu hạn huấn luyện có điều kiên) tuân theo tính chất Markov thứ CRFs chứng minh thành cơng cho tốn gán nhãn cho chuỗi tách từ, gán nhãn cụm từ, xác định thực thể, gán nhãn cụm danh từ, etc Gọi o = (o1, o2, …, oT) chuỗi liệu quan sát cần gán nhãn Gọi S tập trạng thái, trạng thái liên kết với nhãn l∈L Đặt s = (s1, s2,…, sT) chuỗi trạng thái đó, CRFs xác định xác suất điều kiện chuỗi trạng thái biết chuỗi quan sát sau: pθ (s | o) = ⎡T ⎤ exp ⎢∑∑ λ k f k ( st −1 , s t , o, t )⎥ Z (o) ⎣ t =1 k ⎦ (1) ⎛ T ⎞ Gọi Z (o) = ∑ s ' exp⎜ ∑∑ λ k f k ( s 't −1 , s 't , o, t ) ⎟ thừa số chuẩn hóa toàn ⎝ t =1 k ⎠ chuỗi nhãn fk xác định hàm đặc trưng λ k trọng số liên kết với đặc trưng fk Mục đích việc học máy với CRFs ước lượng trọng số Ở đây, ta có hai loại đặc trưng fk : đặc trưng trạng thái (per-state) đặc trưng chuyển (transition) fk fk ( st , o, t ) = δ ( st , l ) x k (o, t ) (2) ( st −1 , st , t ) = δ ( st −1 , l )δ ( st ,l ) (3) ( per − state ) ( transition ) Ở δ Kronecker- δ Mỗi đặc trưng trạng thái (2) kết hợp nhãn l trạng thái st vị từ ngữ cảnh - hàm nhị phân xk(o,t) xác định ngữ cảnh quan trọng quan sát o vị trí t Một đặc trưng chuyển (3) biểu diễn phụ thuộc chuỗi cách kết hợp nhãn l’ trạng thái trước st-1 nhãn l trạng thái st Người ta thường huấn luyện CRFs cách làm cực đại hóa hàm likelihood theo liệu huấn luyện sử dụng kĩ thuật tối ưu L-BFGS Việc lập luận (dựa mơ hình học) tìm chuỗi nhãn tương ứng chuỗi quan sát đầu vào Đối với CRFs, người ta thường sử dụng thuật tốn qui hoạch động điển hình Viterbi để thực lập luận với liệu 4) Thử nghiệm a) Dữ liệu thử nghiệm Để xây dựng hệ thử nghiệm prototype, sử dụng tập liệu sử dụng [Nguyen Huyen, Vu Luong] Tập liêu gồm khoảng 6400 câu gắn nhãn hai mức: mức gốm 11 nhãn mức gồm tập nhãn chi tiết hóa Từ tập nhãn chi tiết mức thu gọn tập nhãn mức dễ dàng Các nhãn bao gồm: N – danh từ; A – tính từ; V – động từ; P – đại từ; Cc – liên từ; Cm – giới từ; J – phụ từ (adverb); E – cảm từ; I – tình thái từ; Nn – số từ; X – khơng phân loại Ngồi 11 nhãn cho dấu câu, ký tự đặc biệt, dấu mở đóng ngoặc gắn nhãn ký tự Tập nhãn mức cụ thể (mức 2) gồm 49 nhãn 11 nhãn cho dấu câu, ký tự đặc biệt Để thử nghiệm đánh giá, chia tập liệu thành phần (4 folds) thực huấn luyện phần kiểm thử độ xác phần lại (thuật ngữ gọi 4-fold cross validation test) b) Lựa chọn đặc trưng Để huấn luyện cho hệ thống phân loại, chúng tơi trích chọn đặc trưng từ liệu sau Để phân lớp từ loại cho từ câu, sử dụng cửa sổ trượt (sliding window) trải rộng từ từ phía trước đến từ phía sau từ Và cửa sổ đó, đặc trưng sau lựa chọn: Các từ cửa sổ từ vị trí -2, -1, (vị trí tại), +1, +2 Kết hợp hai từ phía trước từ tại: -2-1 Kết hợp hai từ phía sau từ tại: +1+2 Kết hợp từ phía trước từ tại: -10 Kết hợp từ từ phía sau: 0+1 Từ có gồm tồn chữ số hay khơng? Từ có chứa chữ số hay khơng? Từ có chứa ký tự “-“ hay khơng? Từ có viết hoa tồn hay khơng? 10 Từ có viết hoa ký tự hay khơng? 11 Từ có phải dấu câu hay ký tự đặc biệt hay không? (nghĩa ký tự ,!,?,;,/, ) Tập đặc trưng mức đơn giản chúng tơi bắt đầu q trình thử nghiệm Đặc biệt chúng tơi hồn tồn chưa sử dụng đến thông tin tra cứu nhãn từ loại từ từ điển Trong thời gian tới thử nghiệm nhiều nhằm tìm tập đặc trưng c) Các thiết lập thử nghiệm Nhóm thử nghiệm gán nhãn từ loại sử dụng hai công cụ FlexCRF Jmaxent Với phương pháp (Maxent hay CRFs), tiến hành mức thử nghiệm: (1) gán nhãn mức với nhãn từ vựng tổng quát (N, V, J, ) 10 nhãn cho loại kí hiệu; (2) gán nhãn mức với 48 nhãn từ vựng chi tiết (Nt, Vtn, ) 10 nhãn cho loại kí hiệu Các thiết lập tham số FlexCRF Jmaxent cho bảng sau: FlexCRF order = Thử nghiệm CRF bậc f_rare_threshold=1 Bỏ đặc trưng với tần xuất xuất nhỏ Cp_rare_threshold=1 Bỏ ngữ cảnh với tần xuất nhỏ init_lamda_val=0.5 Khởi tạo tham số mơ hình 0.5 Jmaxent cpRareThreshold=3 Bỏ ngữ cảnh với tần xuất xuất nhỏ fRareThreshold=2 Bỏ đặc trưng với tần xuất nhỏ d) Kết đánh giá Tổng hợp kết thực nghiệm gán nhãn từ vựng với Maxent CRF Table 4.1 Kết gán nhãn từ vựng mức tổng quát (11 nhãn từ vựng 11 dấu câu) mức cụ thể (48 nhãn từ vựng 11 dấu câu) F1-measure (tổng quát) Maxent CRFs 91.33 91.55 91.18 91.56 90.22 91.98 91.00 91.59 90.93 91.67 Fold Fold Fold Fold Trung bình F1-measure (cụ thể) Maxent CRFs 83.82 84.21 83.82 84.12 82.04 84.01 83.70 83.84 83.35 84.05 Table 4.2 So sánh thời gian Maximum Entropy Conditional Random Fields Maxent CRFs Thời gian trung bình (s) (trên mơt vòng lặp) Mức tổng quát Mức cụ thể ~3 ~8 ~48 ~353 Tối ưu vòng lặp thứ (trung bình) Mức tổng quát Mức cụ thể ~35 ~40 ~36 ~40 Table 4.3 So sánh chất lượng gán nhãn với nhãn từ loại khác trường hợp tổng quát (thử nghiệm với fold3, mức tổng quát CRFs) Nhãn Nn N P V Cc Cm A J E I X Độ xác 98.41 93.09 96.48 89.13 93.59 87.97 81.09 92.44 30.77 67.07 81 Độ hồi tưởng 97.01 94 95.48 88.74 93.2 90.01 78.15 90.22 70.59 67.07 66.94 F1-measure 97.7 93.54 95.98 88.94 93.4 88.98 79.59 91.32 42.98 67.07 73.3 Precision Recall F1-measure 120 100 80 60 40 20 Nn N P V Cc Cm A J E I X Hình So sánh chất lượng gán nhãn với nhãn từ loại khác trường hợp tổng quát (thử nghiệm với fold3, mức tổng quát CRFs) F1-measure 120 100 80 F1-measure 60 40 20 X Vt s a Vt d Vt m Vl tf to Vi Vi tc Vi Pi Nx Np l Nn p Nm Ng Jt Nc Jd Cm Aa Hình So sánh chất lượng gán nhãn với nhãn từ loại trường hợp cụ thể (thử nghiệm với fold 1, mức cụ thể với CRFs) e) Nhận xét Thực nghiệm cho thấy tính khả quan hướng tiếp cận dựa CRFs Maxent toán gán nhãn từ vựng tiếng Việt Dù CRFs nhiều thời gian cho việc huấn luyện gán nhãn đem lại cải thiện đáng kể chất lượng gán nhãn (trung bình tốt Maxent 0.7%) Ưu điểm phương pháp ta tích hợp nhiều đặc trưng phong phú, hữu ích từ liệu Dù với số đặc trưng đơn giản (chưa tích hợp từ điển từ vựng, chưa dùng đến biểu thức qui, ), kết đạt đáng ý (tốt đạt 91.98% với mức tổng quát CRFs) Thực nghiệm khẳng định nhận xét [Nguyen Huyen, Vu Luong], việc gán nhãn mức cụ thể thường không tốt gán nhãn mức tổng quát Hình 1, so sánh chất lượng gán nhãn đối vời nhãn hai mức tổng quát cụ thể Hình cho thấy việc gán với nhãn từ vựng quan trọng N, V, P, A đạt kết tốt so với nhãn phổ biến E I Chúng tin với việc xây dựng kho liệu có độ phủ lớn cân nhãn khác biệt cải thiện đáng kể 5) Kết luận Tuy chưa thể tối ưu tập đặc trưng cho việc gắn nhãn từ vựng tiếng Việt dựa học máy Chúng thực hi vọng nghiên cứu đem lại lợi ích cho cộng đồng xử lý ngôn ngữ tiếng Việt Những đóng góp chúng tơi gồm điểm chính: (1) tổng hợp lại số cơng trình điển hình gắn nhãn từ loại tiếng Việt; (2) khẳng định phương pháp CRFs đem lại chất lượng gắn nhãn tốt so với Maxent; (3) nhãn có chất lượng gắn nhãn thấp thường nhãn phổ biến tập liệu, từ rút tầm quan trọng việc xây dựng kho liệu có độ phủ tốt có phân phối khơng lệch tất nhãn từ vựng Lời cảm ơn Nghiên phần dự án “Xây dựng sản phẩm tiêu biểu thiết yếu xử lý tiếng nói văn tiếng Việt” – đề tài nghiên cứu khoa học phát triển công nghệ đầu tư Bộ Khoa học & Công nghệ, Việt Nam Chúng xin gửi lời cảm ơn tới chủ nhiệm dự án, bên liên quan, cấp quản lý hỗ trợ tạo điều kiện cho thực nghiên cứu Tài liệu tham khảo Dien Dinh and Kiem Hoang, POS-tagger for English-Vietnamese bilingual corpus HLTNAACL Workshop on Building and using parallel texts: data driven machine translation and beyond, 2003 Thi Minh Huyen Nguyen, Laurent Romary, and Xuan Luong Vu, A Case Study in POS Tagging of Vietnamese Texts The 10th annual conference TALN 2003 Thi Minh Huyen Nguyen, Laurent Romary, Mathias Rossignol, and Xuan Luong Vu, A lexicon for Vietnamese language processing Language Resources and Evaluation, 2007 Nguyễn Thị Minh Huyền, Vũ Xuân Lương, Lê Hồng Phương, “Sử dụng gán nhãn từ loại xác suất QTAG cho văn tiếng Việt”, ICT 2003 Nguyễn Quang Châu, Phan Thị Tươi, Cao Hoàng Trụ, Gán nhãn Từ loại cho tiếng Việt dựa văn phong tính tốn xác suất, Tạp chí phát triển KH&CN, Tập 9, số năm 2006 Phan, X.H, “JTextPro: A Java-based Text Processing Toolkit”, http://jtextpro.sourceforge.net/ Xuan-Hieu Phan, Le-Minh Nguyen, and Cam-Tu Nguyen, "FlexCRFs: Flexible Conditional Random Field Toolkit", http://flexcrfs.sourceforge.net, 2005 ... tin nhãn từ loại từ tiếng Anh sang tiếng Việt Cuối cùng, liệu tiếng Việt với thông tin từ loại thu đuợc hiệu chỉnh tay để làm liệu huấn luyện cho gắn nhãn từ loại tiếng Việt Ưu điểm phương pháp. .. 3) Tập nhãn chuyển đổi trực tiếp từ tiếng Anh sang tiếng Việt thiếu linh động khó tập nhãn điển hình cho từ loại tiếng Việt: tính chất ngơn ngữ khác nhau, việc chuyển đổi nhãn từ loại tiếng Anh... Xuân Lương, Lê Hồng Phương, “Sử dụng gán nhãn từ loại xác suất QTAG cho văn tiếng Việt , ICT 2003 Nguyễn Quang Châu, Phan Thị Tươi, Cao Hoàng Trụ, Gán nhãn Từ loại cho tiếng Việt dựa văn phong tính