Xử lý nhập nhằng tiếng việt và ứng dụng trong tra cứu tài liệu phục vụ giảng dạy và học tập

B GIÁO D C VÀ ÀO T O I H C À N NG - - PH M TH THÙY LINH X VÀ LÝ NH P NH NG TI NG VI T NG D NG TRONG TRA C U TÀI LI U PH C V GI NG D Y VÀ H C T P Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 TĨM T T LU N VĂN TH C SĨ K THU T N ng - Năm 2013 Cơng trình c hoàn thành t i I H C À N NG Ngư i hư ng d n khoa h c: PGS.TS PHAN HUY KHÁNH Ph n bi n 1: TS HUỲNH H U HƯNG Ph n bi n 2: TS HOÀNG TH LANG GIAO Lu n văn ã c b o v t i H i nghi p th c sĩ k thu t t i ng ch m Lu n văn t t i h c N ng vào ngày 23 tháng 02 năm 2013 Có th tìm hi u lu n văn t i: - Trung tâm Thông tin -H c li u, - Trung tâm H c li u, i h c N ng; i h c Bách Khoa M Lý ch n Trong th i U tài i hi n nay, công ngh thông tin ang tr thành nhân t quan tr ng cho s phát tri n kinh t - xã h i Vi c ng d ng công ngh thông tin ngày tr nên ph bi n r ng rãi M i lĩnh v c, m i s n ph m xã h i u mang d u n c a công ngh thông tin Hi n nay, nhu c u tra c u thơng tin h u ích r t c n thi t i v i m i ngư i, có th tra c u thơng tin sách báo, truy n thông…, nh t th i i m bùng n thông tin hi n nay: thông tin thay i t ng ngày, t ng gi , luôn c p nh p thông tin, tra c u thông tin Internet c m i ngư i quan tâm Công c tra c u ch y u Internet s d ng ngôn ng Châu Âu (ti ng Anh, ti ng Pháp…), i v i ti ng Vi t công c tra c u tìm ki m hi u qu , b i ti ng Vi t th ti ng a nghĩa, m t t thư ng có nhi u m t nghĩa, r t d hi u nh m có tính nh p nh ng cao Vi c v n d ng công ngh thông tin vào ngành Giáo D c khơng cịn xa l , h u t t c trư ng h c vào gi ng d y h c t p Trư ng Cao Ph m Thành ph u ng d ng tin h c ng Lương Th c-Th c N ng trư ng tr ng i m c a B Nông nghi p Phát tri n nông thôn Trư ng t o a d ng nhi u ngành ngh b c Cao ng, Trung c p, ó ngành t o tr ng tâm c a nhà trư ng: ngành Ch bi n th c ph m, ngành ã t o ngu n nhân l c l n cho xư ng, xí nghi p, công ty ch bi n th c ph m… Ngành Ch bi n th c ph m bao g m nh ng ki n th c b n v nguyên li u, kĩ thu t ch bi n m t s s n ph m t rau qu , th y s n, bánh k o, bia, rư u, nư c gi i khát; quy trình cơng ngh ch bi n, yêu c u công ngh thông s kĩ thu t c n thi t c a t ng trình, nh ng y u t nh hư ng n trình ch bi n m t s s n ph m t rau qu , s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát ánh giá c ch t lư ng s n ph m Ngành Ch bi n th c ph m b c cao năm, sinh viên sau t t nghi p có th ng c t o m nh n công vi c c a cán b k thu t, t trư ng s n xu t, trư ng ca dây chuy n s n xu t, ch bi n th c ph m t i c s ch bi n, b o qu n kinh doanh th c ph m, quan ki m tra ch t lư ng an toàn th c ph m, c s nghiên c u, tư v n t o lĩnh v c th c ph m Tra c u tài li u q trình tìm tịi ki n th c qua phương ti n sách, báo, Internet…nh m t k t qu ó Ki n th c ngành Ch bi n th c ph m r t a d ng, phong phú, có r t nhi u b mơn ịi h i tính th c t cao, ó ngu n sách v chuyên ngành, giáo trình ph i thư ng xuyên thay i v i ki n th c hi n t i phù h p nhu c u c a nhà s d ng lao ng có tài li u ph c v gi ng d y h c t p, giáo viên sinh viên không ng ng tra c u tài li u b ng nhi u phương th c khác sách thư vi n, thu th p t ng h p ki n th c t Internet… Tuy nhiên ki n th c tra c u sách có nh t so v i ki n th c hi n t i Do ó, v n thư vi n chưa c p s d ng công c h tr tra c u tài li u Internet r t quan tr ng, c p nh t nh ng ki n th c m i, có th b sung cho tài li u gi ng d y h c t p Trong trình tra c u tài li u Internet, giáo viên sinh viên thư ng g p khó khăn v n thu th p t ng h p ki n th c cho phù h p v i yêu c u s d ng, ki n th c sau tra c u r t nhi u, òi h i ph i t th c liên quan c trích l c nh ng ki n n n i dung c n tra c u, ki n th c không phân lo i theo ch , th lo i Và c bi t nh p n i dung tra c u Internet thư ng x y hi n tư ng nh p nh ng Nh p nh ng hi n tư ng mơ h , l p nhòe v ý tư ng làm m t ranh gi i gi a n X lý nh p nh ng nghĩa c a t m t nh ng v n c r t nhi u nhà nghiên c u lĩnh v c x lý ngôn ng t n V n nhiên quan tâm bi t l n c nêu lên m t toán riêng u tiên vào nh ng năm cu i th p k 40 c a th k 20 c coi m t nh ng v n lâu i nh t c a lĩnh v c x lý ngôn ng t nhiên Nh n c nhi u s quan tâm t s m v y x lý nh p nh ng nghĩa c a t óng vai trị quan tr ng r t nhi u toán khác c a x lý ngơn ng t nhiên Ta có th th y s xu t hi n c a h x lý nh p nh ng nghĩa c a t h th ng tìm ki m thơng tin, khai phá d li u… Và x lý nh p nh ng tra c u tài li u c quan tâm, c bi t nh ng tài li u v ngành Ch bi n th c ph m Ví d : mơn Cơng ngh ch bi n rau qu , n u nh p n i dung tra c u: “ch bi n rau qu ” Internet s x y nh p nh ng t “ch bi n”, có th phân tích “ch bi n = ch t o + bi n hóa”, có th hi u x lý, óng gói, có th hi u chu n b s d ng ngay…, nên k t qu sau tra c u t Internet r t nhi u Do ó, c n ph i gi i thích ng nghĩa c a t c n tra c u, c th t liên quan n ngành Ch bi n th c ph m c n có m t cơng c h tr tra c u tài li u ngành có th h n ch hi n tư ng nh p nh ng x y Trong lu n văn v i t a : “X lý nh p nh ng ti ng Vi t ng d ng tra c u tài li u gi ng d y h c t p” Chúng s tri n khai th c nghi m gi i pháp b ng cách xây d ng ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m Trư ng Cao ng Lương Th c- Th c Ph m Ý nghĩa khoa h c th c t - Ý nghĩa khoa h c V khoa h c, tài ã tìm hi u hi n tư ng nh p nh ng ti ng Vi t, nh p nh ng tra c u tài li u xu t gi i pháp x nh p nh ng tra c u - Ý nghĩa th c t V th c ti n, tra c u tài li u tài ã v n d ng k thu t x lý nh p nh ng t ó, xây d ng ng d ng có tính kh thi, áp d ng lý thuy t vào th c t cu c s ng M c tiêu nhi m v nghiên c u - Tìm hi u hi n tư ng nh p nh ng ti ng Vi t - Phân tích h th ng, tìm hi u ho t ng v tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m - xu t mơ hình x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m - Cài t th nghi m - ánh giá k t qu i tư ng ph m vi nghiên c u - Tìm hi u hi n tư ng nh p nh ng ti ng Vi t - Nghiên c u mô hình phương pháp x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m - Tài li u ph c v cho viên trư ng Cao i tư ng h c sinh sinh viên, giáo ng Lương Th c-Th c Ph m 5 Phương pháp nghiên c u - Phương pháp nghiên c u tài li u: • Ti n hành nghiên c u, thu th p tài li u liên quan v ng pháp ti ng Vi t • Tìm hi u hi n tư ng nh p nh ng ti ng Vi t • Nghiên c u ngơn ng l p trình JSP, SQL Server 2008 - Phương pháp th c nghi m: gi i quy t toán x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m t i trư ng Cao ng Lương Th c-Th c Ph m B c c lu n văn Chương 1: Tìm hi u hi n tư ng nh p nh ng ti ng Vi t Trình bày khái quát v X lý ngơn ng t nhiên, giai o n hình thành ti ng Vi t, c i m c a ti ng Vi t, tính nh p nh ng ti ng Vi t Chương 2: Phân tích thi t k h th ng x nh ng lý nh p ưa mơ hình x lý nh p nh ng, phân tích thi t k h th ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p t i Trư ng Cao ng Lương Th c-Th c Ph m Chương 3: ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m Cài t, ki m th chương trình x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành Ch bi n th c ph m CHƯƠNG TÌM HI U CÁC HI N TƯ NG NH P NH NG TRONG TI NG VI T Trong chương gi i thi u khái quát v X lý ngôn ng t nhiên, giai o n hình thành ti ng Vi t, tính nh p nh ng ti ng Vi t T c i m c a ti ng Vi t, ây ưa gi i quy t tính nh p nh ng ti ng Vi t tra c u tài li u 1.1 X LÝ NGƠN NG T NHIÊN VÀ CÁC BÀI TỐN NG D NG X lý ngôn ng t nhiên (natural language processing – NLP) m t lĩnh v c nghiên c u c a Trí tu nhân t o nh m xây d ng m t h th ng x lý cho máy tính, làm cho máy tính có th “hi u” c ngôn ng c a ngư i g m c ngơn ng nói vi t Nghĩa là, nói hay vi t máy tính hi u c ang nói gì, vi t Khơng ch v i m t lo i ngôn ng c a m t dân t c, c a m t qu c gia máy tính có th hi u c, máy tính có th hi u c ngôn ng c a t t c dân t c, qu c gia th gi i Nh ó, m i ngư i th gi i d a vào máy tính có th hi u, giao ti p c v i mà không c n h c, hi u ngơn ng c a Các tốn ng d ng NLP m t lĩnh v c nghiên c u nh m giúp cho h th ng máy tính hi u x lý c ngơn ng ngư i Các toán ng d ng liên quan nv n x lý ngôn ng t nhiên hi n có r t nhi u, dư i ây m t s toán ng d ng thư ng g p nh t - Nh n d ng ch vi t - Nh n d ng ti ng nói - T ng h p ti ng nói - D ch t ng (machine translate) - Tìm ki m thơng tin - Tóm t t văn b n - Khai phá d li u (data mining) phát hi n tri th c 1.2 T NG QUAN V TI NG VI T 1.2.1 Quá trình hình thành ti ng Vi t Ti ng Vi t có ngu n g c r t c xưa ã tr i qua m t trình phát tri n lâu dài a Ti ng Vi t giai o n dùng ch Nôm b Ti ng Vi t giai o n dùng ch qu c ng c T Cách M ng Tháng n Cách M ng Tháng thành công, Vi t Nam ã quy t Ti ng Vi t m i c p h c, b c h c, 1.2.2 Âm ti t a m i ngành ho t nh dùng ng c i m âm ti t ti ng Vi t nh nghĩa Âm ti t ơn v phát âm t nhiên nh nh t ngôn ng Trong ti ng Vi t, m t âm ti t bao gi c phát v i m t i u, tách r i v i âm ti t khác b ng m t kho ng tr ng M i âm ti t ti ng Vi t c ghi thành m t “ch ” Ví d : “hoa h c trò” g m ch ho c âm ti t Trong Ti ng Vi t có 29 ch cái, g m 17 ph âm 12 nguyên âm Nguyên âm: a, ă, â, e, ê, i, o, ô, ơ, u, ư, y Ph âm: b, c, d, , g, h, k, l, m, n, p, q, r, s, t, v, x Ngồi cịn có bán ngun âm ph âm ghép sau: Bán nguyên âm: oa, oe, uy Ph âm ghép sau: ch, gh, kh, ng, ngh, nh, ph, th, tr, gi qu b c i m âm ti t Ti ng Vi t - Có tính c l p cao - Có kh bi u hi n ý nghĩa - Có m t c u trúc ch t ch 1.2.3 T phân lo i t ti ng Vi t nh nghĩa a T ơn v nh nh t có nghĩa, có k t c u v ng âm b n v ng, hồn ch nh, có ch c g i tên, c v n d ng hi n t l i nói c l p, tái t o câu Ví d : nhà, ngư i, áo, cũng, s , thì, ng s t, sân bay, trư ng h c… b Phân lo i t ti ng Vi t V m t c u t o t ti ng Vi t c phân lo i theo nhi u d ng khác nhau, v i nh ng tiêu chí khác nhau, - T ơn - T ghép - T láy - Nh ng t g c thu n Vi t: - Nh ng t vay mư n g c Hán 1.3 X LÝ TI NG VI T TRÊN MÁY TÍNH H u h t máy tính cá nhân Vi t Nam u cài t nh ng ph n m m h tr ti ng Vi t ví d phơng ch 1.3.1 T ng quan b mã ti ng Vi t 1.3.2 M t s c i m c a font Unicode 1.3.3 Ti ng Vi t b mã Unicode 1.4 M T S GI I PHÁP XÁC NH T VI T 1.4.1 Gi i pháp xác nh danh t riêng 1.4.2 Gi i pháp xác nh danh t láy TRONG TI NG 10 - Nh p nh ng v vi c b d u - Nh p nh ng v ranh gi i t 1.5.3 Nh p nh ng v c ch 1.5.4 Nh p nh ng v s v n d ng 1.6 HI N TƯ NG NH P NH NG TRONG TRA C U TÀI LI U Tra c u tài li u gi i pháp nh m tìm gi i pháp giúp ngư i s d ng có th tìm th y thơng tin c n m t kh i lư ng l n d li u Qua phân tích hi n tư ng nh p nh ng ti ng Vi t ta th y r ng i u ó khơng th khơng x y tra c u tài li u, trình tra c u thư ng x y tư ng nh p nh ng trình sau: - Nh p nh ng lúc nh p yêu c u tra c u tài li u + Nh p nh ng ch n sai ch tra c u + Nh p nh ng ch n sai b ng mã + Nh p nh ng ta nh p t vi t t t - Nh p nh ng lúc tra c u tài li u - Nh p nh ng phân lo i tài li u K T LU N CHƯƠNG Chương t p trung, gi i thi u khái quát v X lý ngôn ng t nhiên, t ng quan v ti ng Vi t, giai o n hình thành ti ng Vi t, c i m c a ti ng Vi t, tính nh p nh ng ti ng Vi t T ây ưa gi i quy t tính nh p nh ng ti ng Vi t tra c u tài li u Ph n ti p theo c a lu n văn ó phân tích tốn x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m 11 CHƯƠNG PHÂN TÍCH VÀ THI T K H TH NG X LÝ NH P NH NG 2.1 PHÂN TÍCH HI N TR NG 2.1.1 Gi i thi u Ngành Ch bi n th c ph m Trư ng Cao ng Lương Th c-Th c Ph m a Gi i thi u Trư ng Cao Trư ng Cao ng Lương Th c-Th c Ph m ng Lương Th c-Th c Ph m trư ng công l p n m h th ng giáo d c i h c Vi t Nam, tr c thu c B Nông nghi p PTNT Tr i qua 35 năm xây d ng phát tri n, Trư ng m t s t o n ng c t, cung c p ngu n nhân l c cho s phát tri n c a ngành khu v c mi n Trung-Tây Nguyên c nư c, góp ph n th c hi n cơng nghi p hóa, hi n i hóa nư c Trư ng t o a d ng nhi u ngành ngh b c Cao t ng, Trung c p, ó ngành t o tr ng tâm c a nhà trư ng: ngành Ch bi n th c ph m, ngành ã t o ngu n nhân l c l n cho xư ng, xí nghi p, cơng ty ch bi n th c ph m… b Gi i thi u ngành Ch bi n th c ph m Ngành Ch bi n th c ph m bao g m nh ng ki n th c b n v nguyên li u, kĩ thu t ch bi n m t s s n ph m t rau qu , m t s s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát C th c u t o, thành ph n hóa h c c a nguyên li u nh hư ng c a nh ng thành ph n n q trình ch bi n; quy trình cơng ngh ch bi n, yêu c u công ngh thông s kĩ thu t c n thi t c a t ng trình, nh ng y u t nh hư ng n trình ch bi n m t s s n ph m t rau qu , s n ph m th y s n, bánh k o, bia, rư u, nư c gi i khát ánh giá c ch t lư ng s n ph m 12 2.1.2 Tình hình th c t S lư ng h c sinh trúng n vào ngành Ch bi n th c ph m c a trư ng nh ng năm g n ây ch t 2/3 s lư ng ch tiêu c a nhà trư ng Hình 2.1 Bi u Các sinh viên trúng n Ngành Ch bi n th c ph m i tư ng thư ng xuyên tra c u tài li u thư vi n ó là: giáo viên sinh viên - i v i giáo viên, c bi t giáo viên m i vào trư ng, kinh nghi m gi ng d y chưa nhi u (t năm), năm ph i t so n gi ng môn chuyên ngành ph c v cho trình gi ng d y, theo yêu c u c a nhà trư ng gi ng ph i c p nh t th c t , có v y m i áp ng c vi c h c c a h c sinh sinh viên n d ng c a nhà lao Theo th ng kê c a thư vi n, v n ng mư n sách chuyên ngành c a giáo viên h ng năm c a thư vi n ngày gi m, m c dù năm ph i so n giáo trình, giáo án, tài li u m i, b sung Hình 2.2 Bi u s lư ng giáo viên mư n sách ngành Ch bi n 13 c thù môn c a ngành Ch bi n th c ph m c n nhi u ki n th c th c t , mà giáo viên tr ch y u l y ngu n ki n th c t sách thư vi n chưa , cịn tìm ki m, tra c u tài li u Internet, nhiên trình tra c u tài li u không ph i lúc cho nh ng k t qu mong mu n Ví d : môn ch bi n rau qu , giáo viên tra c u b ng công c Google, gõ t khóa: ch bi n rau qu filetype:doc (nghĩa giáo viên mu n tìm tài li u có d ng file doc liên quan t i v n nói trên) K t qu nh n c r t nhi u, giáo viên c n có th i gian dài ch n l c tài li u có liên quan, lúc l i khơng tìm c tài li u c n tìm Hình 2.3 K t qu tìm ki m Google - H u h t giáo viên sinh viên u tra c u tài li u có s n m ng Internet, Google, Yahoo Khi tra c u Internet, s dĩ k t qu tìm ki m nhi u v y x y nh p nh ng 14 t khóa tìm ki m C n ph i gi i thích ng nghĩa t ti ng Vi t cho úng có th x lý hi n tư ng nh p nh ng, h n ch c nh ng k t qu tra c u không úng v i yêu c u Do ó, thu n l i cho vi c gi ng d y h c t p c a giáo viên sinh viên vi c tra c u tài li u ti ng Vi t liên quan n ngành Ch bi n ph i tìm xác nh ng t ngư i s d ng nh p vào ô tra c u, tìm úng ng ti ng Vi t lo i ti ng ph c t p 2.2 XU T MƠ HÌNH GI I PHÁP Hình 2.5 Mơ hình gi i pháp 15 2.3 TRI N KHAI THI T K H TH NG 2.3.1 Xây d ng ngu n d li u tra c u Tài li u giáo viên sinh viên c n tra c u ó tài li u thu th p t sách, báo thư vi n, Internet ki n th c, giáo trình c a giáo viên có kinh nghi m Trên s - ó, t xây d ng ngu n d li u sau: Các ngu n d li u t Internet, sách báo: s c l yt ng t Internet thông qua chương trình t xây d ng, thơng tin l y v ã c phân lo i theo m c lưu tr CSDL (thơng tin s lưu vào CSDL theo m c ã c xây d ng s n) - Ngu n d li u nh p b ng tay: ó giáo trình, giáo án, cương… c a th y có kinh nghi m trư ng trư ng khác có ngành Ch bi n th c ph m i v i ngu n d li u này, s t phân lo i s n Xây d ng ngu n d li u tra c u òi h i ph i t p trung nhi u công s c, th i gian tra c u tài li u m i u tư, ch n l c, có v y k t qu t hi u qu t t nh t 2.3.2 Xây d ng CSDL t i v i ngư i s d ng v ng lĩnh v c ch bi n th c ph m Trư c tiên tìm hi u môn chuyên ngành liên quan n ngành Ch bi n th c ph m như: công ngh s n xu t bia, công ngh s n xu t ng, công ngh s n xu t s a s n ph m t s a, công ngh s n xu t nư c gi i khát, công ngh s n xu t bánh k o, công ngh ch bi n th y s n, công ngh ch bi n rau qu , dinh dư ng an tồn th c ph m, hóa h c ph gia th c ph m, thi t b th c ph m, công ngh ch bi n th c ph m, b o qu n th c ph m, 16 công ngh b o qu n ch bi n lương th c, ki m nghi m lương th c th c ph m, qu n lý ch t lư ng th c ph m, bao bì th c ph m… Sau tìm hi u mơn này, ta s có t khóa tên mơn, d a vào ây xây d ng t ơn, t ghép theo t khóa liên quan T o b ng CSDL lưu t t c t ghép Ví d : có t ghép “ki m nghi m”, ngồi cịn có t ghép là: ki m tra, ki m t nh…ta s xây d ng s t ơn ơn ghép thành t ghép có nghĩa 2.3.3 Thi t k h th ng a Các tác nhân tham gia vào ng d ng Các tác nhân tham gia tr c ti p vào ng d ng m t ngư i hay nhóm ngư i i v i ng d ng x lý nh p nh ng tra c u tài li u gi ng d y h c t p ngành ch bi n th c ph m tác nhân tham gia vào ng d ng bao g m: Ngư i s d ng: giáo viên, h c sinh sinh viên Ngư i qu n tr : + C p quy n s d ng cho ngư i dùng, s a ch a, b o m t h th ng… + C p nh p kho t i n, kho d li u b Thi t k s d li u Xây d ng m t kho t v ng g m t ơn t ghép mà m i t ph i úng ng nghĩa c a ti ng Vi t tránh nh p nh ng v ng nghĩa ti ng Vi t; k thu t x lý nh p nh ng b t ti ng Vi t t ơn v nh nh t ký t , ti p u t vi c phân tích n t ơn, t ghép, ng cu i câu Ghép nguyên âm ph âm thành t ơn có nghĩa T t t ơn ghép thành t ghép T t ghép, ghép l i thành ng , thành câu ơn 17 T ây lưu t ã ghép úng ng nghĩa vào t p tin CSDL Xây d ng k thu t x lý nh p nh ng cho yêu c u tra c u b ng ti ng Vi t, tránh nh ng l i nh p nh ng ti ng Vi t Do ó, thi t k s g m có b ng sau: TUGOC TUGHEP B ng 2.2 TUGOC Tên trư ng Ki u d li u Mơ t Mã t g c (khóa MaTuGoc Int TuGoc nvarchar(50) chính) T g c B ng 2.3 TUGHEP Tên trư ng Ki u d li u Mô t Mã t g c (t MaTuGoc Int TuGhep nvarchar(50) ơn) (khóa ngo i) T ghép (khóa ngo i) D li u cho q trình x lý ph i có ngun âm ghép v i ph âm d u t o thành m t t ơn T nh ng t ơn ghép l i thành t ghép tránh nh p nh ng ti ng Vi t t ơn t ghép sau ghép xong ph i úng ng nghĩa c a ti ng Vi t lưu l i dư i d ng t p tin text T p tin text t t ghép i n g m t ơn 18 T t ơn t ghép ã ki m tra úng ng nghĩa, sau ó ơn theo t tách t ơn, t ghép theo t ghép ghi vào CSDL nh m ph c v cho vi c tra c u tài li u V i kho d li u 1000 t ghép t m ph c v cho vi c tra c u tài li u Ngành Ch bi n th c ph m c lưu CSDL SQL Server c Thi t k m i quan h gi a b ng Chúng ta có b ng, m i quan h c a chúng sau: Hình 2.6 Mơ hình quan h th c th 2.4 K THU T X LÝ NH P NH NG TRONG TRA C U TÀI LI U Mu n xây d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ph i áp ng nh ng yêu c u: xây d ng m t kho t i n t g m t ơn t ghép mà m i t ph i úng ng nghĩa c a ti ng Vi t tránh nh p nh ng v ng nghĩa ti ng Vi t T kho t i n xây d ng k thu t x lý nh p nh ng tra c u tài li u K thu t x lý nh p nh ng b t tích ti ng Vi t t ơn v nh nh t ký t , ti p ghép, ng cu i câu Tr i qua bư c sau: u t vi c phân n t ơn, t 19 - Li t kê nguyên âm ph âm có ti ng Vi t, Ti ng Vi t có 29 ch cái, g m 17 ph âm 12 nguyên âm (nguyên âm: a, ă, â, e, ê, i, o, ô, ơ, u, ư, y; ph âm: b, c, d, , g, h, k, l, m, n, p, q, r, s, t, v, x) - Ghép nguyên âm ph âm thành t t ơn ghép thành t ghép T t l i thành ng , thành câu T ơn có nghĩa, t ơn t ây lưu t ghép, ghép ã ghép úng ng nghĩa vào t p tin CSDL Xây d ng k thu t x lý nh p nh ng cho yêu c u tra c u b ng ti ng Vi t, tránh nh ng l i nh p nh ng ti ng Vi t Quá trình c mơ ph ng qua sơ sau: Hình 2.7 Quy trình ghép t lưu vào CSDL 2.4.1 K thu t ghép t ơn Chúng ta s d ng b ng ch ti ng Vi t, t nguyên âm ta thêm d u vào s tr thành m t t m i, m t s t ta thêm d u vào ã có nghĩa như: t m t s nguyên âm thêm d u v n chưa có nghĩa c a ti ng 20 Vi t, trư ng h p ta ghép ti p v i ph âm thành t ơn hoàn ch nh 2.4.2 K thu t ghép t ghép Ví d : T ơn “Tài” ghép v i t ơn khác thành t ghép Hình 2.11 Cách ghép t Ngồi t t c ơn ơn ghép v i có th ghép ti p có th có thêm nhi u t ghép sau: Sau có t ghép ta lưu t ghép vào m t t p tin d ng Text, t t p tin chương trình s tách t ghép ưa vào CSDL ph c v trình x lý u vào c a yêu c u tra c u K T LU N CHƯƠNG N i dung chương t p trung gi i thi u ngành Ch bi n th c ph m, tình hình tra c u tài li u c a giáo viên h c sinh viên t i trư ng; trình bày k thu t x lý nh p nh ng, ưa mơ hình gi i pháp Ph n ti p theo s xây d ng x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m t i trư ng 21 CHƯƠNG NG D NG X LÝ NH P NH NG TRONG TRA C U TÀI LI U GI NG D Y VÀ H C T P NGÀNH CH BI N TH C PH M 3.1 MÔI TRƯ NG VÀ CÔNG C 3.1.1 Gi i thi u JSP 3.1.2 Gi i thi u Microsoft SQL Server 2008 3.2 CÀI T VÀ TH NGHI M B ng 3.1 Các ch c c a ng d ng Trang Ch c Gi i thi u Gi i thi u chung v thư vi n nhà trư ng Tin t c Nh ng thông tin v thư vi n trư ng,… Thông báo Nh ng thông báo v ho t Tìm ki m ng thư vi n Tìm ki m tên sách, mã sách có thư vi n thu n l i cho trình mư n Giáo viên, h c sinh sinh viên tra c u tài Tra c u tài li u li u ngành Ch bi n th c ph m ph c v cho gi ng d y h c t p ăng ký thành viên ăng ký thành viên c a thư vi n i v i giao di n tra c u tài li u, giáo viên c n nh p thông tin: - Th lo i: giáo trình - Hình th c: doc - N i dung: ví d : q trình lên men bia 22 Hình 3.4 Giao di n tra c u tài li u Hình 3.5 K t qu tra c u tài li u Sau x lý nh p nh ng, k t qu tr v : So sánh k t qu : Chúng ã chu n b s n m t s t 100 l n t sau cho k t qu th hi n ki m nghi m, nh p b ng sau: 23 B ng 3.2 So sánh trư c sau áp d ng k thu t x lý nh p nh ng Trư c áp d ng k T khóa tra c u Sau áp d ng k thu t thu t x lý nh p nh ng x lý nh p nh ng S l n gõ S l n gõ sai S l n gõ S l n gõ sai Quá trình 100 15 100 Quá trình lên men 100 30 100 15 100 35 100 10 Quá trình lên men bia D a vào b ng so sánh trên, ta th ng kê c k t qu thu c trư c sau áp d ng k thu t x lý nh p nh ng sau: gi m 50% s sai sót t khóa tra c u tài li u 3.3 ÁNH GIÁ K T QU Vi t áp d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p c dùng cho ng d ng Thư vi n Trư ng Cao ng Lương Th c-Th c Ph m giúp cho website tr nên h u d ng nhi u Giáo viên h c sinh sinh viên i tư ng tr c ti p tham gia vào ng d ng, nên nh ng ý ki n óng góp sau s d ng r t quan tr ng, k t qu ki m th b ng 3.4 t 50% K T LU N CHƯƠNG Trên s lý thuy t chương m t, k thu t x lý nh p nh ng chương hai, chương ba tr c ti p xây d ng ng d ng x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p Các ch c c a ng d ng ã ph n h tr cho giáo viên, h c sinh sinh viên l a ch n c nh ng tài li u, ki n th c liên quan ngành Ch bi n th c ph m n chuyên 24 K T LU N c s hư ng d n t n tình c a Th y hư ng d n s óng góp ý ki n quý báu c a h c viên khác l p cao h c, ã th c hi n c lu n văn: “X lý nh p nh ng ti ng Vi t ng d ng tra c u tài li u ph c v gi ng d y h c t p” Các k t qu t c lu n văn Qua th i gian nghiên c u ã có c nh ng k t qu c th sau: - Tìm hi u ti ng Vi t nh ng v n nh p nh ng ti ng Vi t - K thu t x lý nh p nh ng ti ng Vi t -V n tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m t i Trư ng Cao ng Lương Th c-Th c ph m h n ch , nên lu n văn ã ng d ng x lý nh p nh ng tra c u tài li u nh m giúp giáo viên h c sinh sinh viên có thêm tài li u tham kh o trình so n gi ng, so n cương h c t p c t t Gi i h n c a lu n văn M c dù ã có nhi u c g ng trình nghiên c u th c hi n v i lư ng ki n th c l n v x lý ngôn ng t nhiên nh t ti ng Vi t, v y lu n văn nhi u h n ch , ng pháp ti ng Vi t có nhi u nghĩa g m nhi u t nhân hóa, n d , t lóng, t láy ba, láy b n…., gi i quy t c h t trư ng h p ng pháp c a ti ng Vi t s em l i k t qu tra c u n a Hư ng phát tri n Nghiên c u k v ng pháp ti ng Vi t xây d ng kho t i n ti ng Vi t a d ng ph c v cho tra c u tài li u t t c ngành ngh nhà trư ng ... ng tra c u tài li u xu t gi i pháp x nh p nh ng tra c u - Ý nghĩa th c t V th c ti n, tra c u tài li u tài ã v n d ng k thu t x lý nh p nh ng t ó, xây d ng ng d ng có tính kh thi, áp d ng lý. .. t tra c u tài li u Ph n ti p theo c a lu n văn ó phân tích toán x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ngành Ch bi n th c ph m 11 CHƯƠNG PHÂN TÍCH VÀ THI T K H TH NG X LÝ... chúng sau: Hình 2.6 Mơ hình quan h th c th 2.4 K THU T X LÝ NH P NH NG TRONG TRA C U TÀI LI U Mu n xây d ng k thu t x lý nh p nh ng tra c u tài li u ph c v gi ng d y h c t p ph i áp ng nh ng yêu