Phương pháp thêm tiếng việt có dấu và văn bản tiếng việt không dấu

Luận văn, khóa luận, chuyên đề, tiểu luận, quản trị, khoa học, tự nhiên, kinh tế

TRNG I HC KHOA HC T NHIÊN KHOA CÔNG NGH THÔNG TIN  MÔN CÔNG NGH TRI THC PHAN QUC LÂN PHNG PHÁP THÊM DU TING VIT VÀO VN BN TING VIT KHÔNG DU KHOÁ LUN C NHÂN TIN HC TP. HCM, NM 2005 1 TRNG I HC KHOA HC T NHIÊN KHOA CÔNG NGH THÔNG TIN  MÔN CÔNG NGH TRI THC PHAN QUC LÂN – 0112267 PHNG PHÁP THÊM DU TING VIT VÀO VN BN TING VIT KHÔNG DU KHOÁ LUN C NHÂN TIN HC GIÁO VIÊN HNG DN Th.S PHM PHM TUYT TRINH NIÊN KHÓA 2001 – 2005 2 i cm n i u tiên, em xin chân thành cm n cô Phm Phm Tuyt Trinh, cô ã trc tip hng dn và to u kin cho em nghiên cu và hoàn thành lun vn này. Em cng xin chân thành cm n thy inh n, thy ã h tr, giúp  em rt nhiu trong quá trình thc hin. Và em cng xin cm n tt c các thy cô trong khoa Công ngh thông tin ã tn tình ch bo và giúp  em trong sut quá trình hc tp trong trng. Con xin chân thành cm n ba m, ông bà, anh em và ngi thân trong gia ình ã to mi u kin tt nht cho con hc tp và ng viên, khích l con trong quá trình thc hin lun vn. Và cui cùng, tôi xin gi li cm n n tt c bn bè, c bit là anh Toàn, bn Sinh, bn Khng …, nhng ngi ã h tr và giúp tôi hoàn thin lun vn này. c dù em ã c gng hoàn thành lun vn trong phm vi và kh nng cho phép nhng chc chn s không tránh khi nhng thiu sót. Em kính mong nhn c s m thông và tn tình ch bo ca quý Thy Cô và các bn. TP. H Chí Minh, tháng 7 nm 2005 Phan Quc Lân – 0112267 3 NHN XÉT CA GIÁO VIÊN HNG DN _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ Thành ph H Chí Minh, tháng 07 nm 2005 Giáo viên hng dn Th.S Phm Phm Tuyt Trinh 4 NHN XÉT CA GIÁO VIÊN PHN BIN _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ Thành ph H Chí Minh, tháng 07 nm 2005 Giáo viên phn bin TS. inh n I NÓI U Ch vit ting Vit ca chúng ta có 1 c m rt hay là có s xut hin ca các u thanh cng nh du ca các ký t. u này giúp cho ting Vit “thêm thanh, thêm u”. Tuy nhiên, cng chính vic “thêm thanh, thêm u” ó làm cho vic gõ ting Vit tr nên tn nhiu thi gian hn. 1 vn  khác, khi vic s dng Internet tr nên thông dng, 1 tin ích c mi ngi a chung là dch v Email. Nhng, cho n hin nay, hu ht các mail server vn cha h tr tt ting Vit, do ó, tình trng các lá mail trên mng hu nh không có du. Vic phát trin 1 công c giúp thêm du ting Vit vào vn bn không du là vic rt cn thit và thú v.  tài này hng n vic gii quyt bài toán thêm du ting Vit theo mt ng mi, do ó, chng trình không chú trng chuyên sâu vào lnh vc nào. Vic thêm chc nng h tr các lnh vc chuyên sâu khác không nh hng nhiu n cu trúc ca mô hình mà chng trình áp dng. Lun vn c t chc thành 5 chng vi ni dung nh sau : § Chng 1 gii thiu tng quan v bài toán Thêm du ting Vit vào vn bn không du, và các công trình ã có liên quan n  tài. § Chng 2 gii thiu các c s lý thuyt _ tin hc cn s dng. § Chng 3 nhn xét các mô hình ã có trc ây, và a ra mô hình cài t chính. § Chng 4 c th hóa mô hình cài t. § Chng 5 tng kt và  ra hng phát trin . 6 C LC Chng 1.NG QUAN 9 1.1. Gii thiu v bài toán Thêm du ting Vit vào vn bn không du .10 1.1.1. Phát biu bài toán .10 1.1.2. c m .10 1.1.3. ng gii quyt 11 1.2. Gii thiu các công trình ã có 11 1.2.1. AMPad 11 1.2.2. VietPad .12 1.2.3. www.EasyVn.com .13 1.2.4. VnMark 14 Chng 2. S LÝ THUYT TIN HC 15 2.1. Lý thuyt v ngôn ng hc .16 2.1.1. Âm tit (còn gi là “ting”) 16 2.1.1.1. nh ngha và c m âm tit ting Vit 16 2.1.1.2. Thanh là thành phn ca âm tit ting Vit .16 2.1.1.3. Ti sao li phi dùng du thanh ? 17 2.1.2.  18 2.1.2.1. Các quan nim v t .18 2.1.2.2. Tiêu chí nhn din “t” ting Vit .18 2.1.2.2.1. Các tiêu chun v hình thc .19 2.1.2.2.2. Các tiêu chun v ni dung 19 2.2. Tách t 20 2.2.1. Khp ti a (LRMM – Left Right Max Matching) .21 2.2.2. Mô hình mng WFST và mng n-ron .22 2.3. Tách câu 22 2.3.1. Tách câu bng Heristics. 23 2.3.1.1. X lý du chm. .23 2.3.1.2. X lý du chm trong ngoc .24 Chng 3.MÔ HÌNH CÀI T 25 3.1. Các mô hình thêm du ã c s dng .26 3.1.1. VietPad .26 3.1.1.1. Mô hình thêm du ting Vit 26 3.1.1.1.1. Tin x lý 26 3.1.1.1.2. Tách token .27 3.1.1.1.3. Ly ra các t không du, chuyn thành t có du .27 3.1.2. VnMark 28 7 3.1.2.1. Mô hình thêm du ting Vit 28 3.1.2.1.1. Tin x lý 30 3.1.2.1.2. Tách câu 30 3.1.2.1.3. Tìm các kh nng ánh du ca t, câu 30 3.1.2.2. Mô hình hun luyn 31 3.2. Mô hình  xut 32 3.2.1. Mô hình .32 3.2.1.1. Tách câu .33 3.2.1.2. Tách t bng phng pháp LRMM .34 3.2.1.3. Chn t thích hp .34 3.2.2. Mô hình hun luyn .36 3.2.2.1. Thng kê tn sut xut hin ca t 36 3.2.2.1.1. Xây dng kho ng liu .36 3.2.2.1.2. Thng kê tn sut xut hin ca t .37 3.2.2.1.3. To tn chuyn i 38 3.2.2.2. Trích xut các cm t thng s dng 39 3.2.3. So sánh mô hình này vi 2 mô hình trên .41 Chng 4.CÀI T TH NGHIM .43 4.1. Thng kê tn s xut hin ca t .44 4.1.1. Xây dng kho ng liu text t báo n t 44 4.1.2. Tách câu 48 4.1.3. Tách t và thng kê 50 4.2. o tp tin tn chính 52 4.3. o tp tin tn cm t .55 4.3.1. o kho d liu tinh gin mi 55 4.3.2. o tp tin tn cm t .58 4.4. Chng trình chính 58 4.4.1. Chng trình VietEditor 59 4.4.2. Chng trình thêm du qua Clipboard .60 4.5. Th nghim 62 Chng 5.T QU, HNG PHÁT TRIN .63 5.1. n ch và hng phát trin .64 5.2. t lun 64 Ph lc : Cu trúc kho ng liu 67 8 DANH MC HÌNH Hình 1.2.1-1 : Thêm du ting Vit tng bng AMPad 12 Hình 1.2.2-2 : Gõ ting Vit không du trên VietPad .12 Hình 1.2.2-3 : Vn bn sau khi thc hin chc nng thêm du ting Vit ca VietPad .13 Hình 1.2.3-4 : Gõ ting Vit không du trên EasyVn 14 Hình 1.2.3-5 : Vn bn sau khi tng thêm du trên EasyVn 14 Hình 1.2.4-6 : S kt cu âm ting Vit .17 Hình 3.1.1-7 : Lu  thc hin ca mô hình ng dng trong VietPad .26 Hình 3.1.2-8 : Lu  thc hin ca mô hình n-gram 29 Hình 3.2-9: Lu  thc hin ca mô hình  xut 33 Hình 3.2-10 : Tp tin mu sau khi thng kê tn sut t 38 Hình 3.2-11 : Trích tp tin TuDienChinh.txt 39 Hình 3.2-12 : Trích tp tin CumTu.txt 41 Hình 4.1.1-13: Giao din chng trình HTML2TXT 44 Hình 4.1.1-14: Cu hình ca chng trình HTML2TXT .45 Hình 4.1.1-15 : Mt trang báo thanh niên 47 Hình 4.1.1-16 :  liu c tách t trang báo Thanh niên .48 Hình 4.1.2-17: Giao din chng trình Tách Câu 49 Hình 4.1.2-18: T vit tt cung cp cho chng trình Tách Câu 49 Hình 4.1.2-19: Ni dung file kt xut ca chng trình Tách Câu .50 Hình 4.1.3-20: Giao din module tách t .51 Hình4.1.3-21: Ni dung tp tin th mc ngun 51 Hình 4.1.3-22: Ni dung tp tin tn .52 Hình 4.1.3-23: Ni dung tp tin kt qu .52 Hình 4.1.3-24: Giao din chng trình to tn chính .53 Hình 4.1.3-25 : Trích 1 phn TuDienChinh.txt .54 Hình 4.1.3-26 : Trích 1 phn TuDienPhanLop.txt .54 Hình 4.1.3-27: Trích 1 phn KhoCau.txt 55 Hình 4.3.1-28: Giao din chng trình to kho d liu tinh gin .56 Hình 4.3.1-29 : Trích 1 phn th mc kt xut .57 Hình 4.3.1-30 : Th mc con _a trong th mc kt xut .57 Hình 4.3.2-31: Giao din chng trình to tp tin cm t .58 Hình 4.4.1-32: Giao din chng trình chính VietEditor .59 Hình 4.4.2-33: Giao din chng trình chính thêm du Clipboard 60 Hình 4.4.2-34: Test chng trình thêm du Clipboard .61 Hình 5.2-35 : Tp tin kho ng liu mu .69 Chng 1. NG QUAN . tt nghip : Phng pháp thêm du vào vn bn ting Vit không du 10 1.1. Gii thiu v bài toán Thêm du ting Vit vào n bn không du 1.1.1. Phát. mail trên mng hu nh không có du. Vic phát trin 1 công c giúp thêm du ting Vit vào vn bn không du là vic rt cn thit và thú v.  tài này