Các vấn đề xử lý tiếng việt để nâng cao hiệu năng của công cụ tìm kiếm

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC XÃ HỘI VÀ NHÂN VĂN - NGUYỄN THỊ MINH TÂM CÁC VẤN ĐỀ XỬ LÝ TIẾNG VIỆT ĐỂ NÂNG CAO HIỆU NĂNG CỦA CƠNG CỤ TÌM KIẾM LUẬN VĂN THẠC SĨ Chun ngành: Ngôn ngữ học Hà Nội-2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC XÃ HỘI VÀ NHÂN VĂN -* - NGUYỄN THỊ MINH TÂM CÁC VẤN ĐỀ XỬ LÝ TIẾNG VIỆT ĐỂ NÂNG CAO HIỆU NĂNG CỦA CƠNG CỤ TÌM KIẾM Luận văn Thạc sĩ chuyên ngành Ngôn ngữ học Mã số: 60 22 01 Người hướng dẫn khoa học: TS Nguyễn Ái Việt Hà Nội-2014 LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung số liệu luận văn tự nghiên cứu, khảo sát thực Luận văn trung thực chưa cơng bố cơng trình khác Học viên Nguyễn Thị Minh Tâm LỜI CẢM ƠN Tôi xin trân trọng cảm ơn quý thầy cô khoa Ngôn ngữ học, trường Đại học Khoa học Xã hội Nhân văn Hà Nội tạo sở tảng kiến thức cho tơi suốt q trình học tập Đặc biệt, xin gửi lời cảm ơn chân thành sâu sắc đến thầy hướng dẫn mình- Tiến sĩ Nguyễn Ái Việt, Viện trưởng Viện công nghệ thông tin, Đại học Quốc Gia Hà Nội, người thầy dành nhiều thời gian, tâm huyết giúp đỡ tơi hồn thành luận văn thạc sĩ Mặc dù tơi cố gắng hồn thiện luận văn tất nhiệt tình lực khơng thể tránh khỏi thiếu sót, tơi mong nhận đóng góp quý báu quý thầy cô bạn Xin chân thành cảm ơn Hà Nội, ngày…tháng…năm 2014 Học viên Nguyễn Thị Minh Tâm BẢNG THUẬT NGỮ TIẾNG ANH Thuật ngữ tiếng Anh Giải nghĩa tiếng Việt Concept-based searching Tìm kiếm theo ngữ nghĩa Crawler Bộ thu thập thông tin of high frequency Tần suất xuất cao Hyperlink Siêu liên kết Indexing Đánh mục Keyword searching Tìm kiếm theo từ khóa Natural language processing - NLP Xử lý ngôn ngữ tự nhiên Search engine- SE Cơng cụ tìm kiếm Stop words Từ lọc bỏ trình lập mục Semantical clustering Phân cụm nhóm ngữ nghĩa Text Information Retrieval System Hệ thống tìm kiếm thơng tin văn Word segmentation Phân tách từ MỤC LỤC PHẦN MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN CƠ SỞ LÝ THUYẾT 15 1.1 Từ tiếng Việt 15 1.1.1 Quan niệm từ tiếng Việt 15 1.1.2 Quan niệm từ công nghệ thông tin 22 1.1.3 Những khó khăn việc giải vấn đề tả từ tiếng Việt cơng cụ tìm kiếm 24 1.2 Từ loại tiếng Việt 26 1.2.1 Quan niệm từ loại tiếng Việt 26 1.2.2 Quan niệm từ loại xử lý ngôn ngữ tự nhiên 31 1.2.3 Bảng phân loại từ loại xử lý ngôn ngữ tự nhiên 33 1.3 Tiểu kết 37 CHƯƠNG 2: TỔNG QUAN VỀ CƠNG CỤ TÌM KIẾM VÀ ĐÁNH CHỈ MỤC VĂN BẢN 39 2.1 Tổng quan cơng cụ tìm kiếm 39 2.1.1 Khái niệm công cụ tìm kiếm 39 2.1.2 Các phương thức tìm kiếm 41 2.1.3 Các cơng cụ tìm kiếm phổ biến 42 2.2 Xây dựng cơng cụ tìm kiếm 47 2.2.1 Những phận cấu thành nên cơng cụ tìm kiếm 47 2.2.2 Nguyên lý hoạt động Cơng cụ tìm kiếm 48 2.2.3 Xử lý ngôn ngữ tự nhiên cơng cụ tìm kiếm 51 2.3 Tiểu kết 57 CHƯƠNG 3: STOP WORDS TIẾNG VIỆT 59 3.1 Tổng quan stop words .59 3.1.1 Stop words 59 3.1.2 Vị trí stop words 60 3.2 Quan niệm stop words 62 3.2.1 Định nghĩa stop words 62 3.2.2 Ý nghĩa stop words máy tìm kiếm 65 3.3 Stop words tiếng Việt 71 3.3.1 Đặt vấn đề 71 3.3.2 Bản chất ngôn ngữ stop words 77 3.3.3 Quy trình xử lý stop words 86 3.4 Tiểu kết 88 PHẦN KẾT LUẬN 89 TÀI LIỆU THAM KHẢO 91 PHỤ LỤC 100 DANH MỤC BẢNG BIỂU Bảng 1.1: Những tiêu chuẩn ngữ nghĩa 18 Bảng 1.2: Những tiêu chuẩn hình thức .19 Bảng 1.3: So sánh đặc điểm tiếng Việt tiếng Anh .23 Bảng 1.4: Bảng phân loại từ loại tác giả Nguyễn Hồng Cổn .31 Bảng 1.5: Phân loại từ loại theo VLSP .34 Bảng 1.6: Tập nhãn từ loại Viet tree bank 35 Bảng 1.7: Tập nhãn từ loại VnPOS 36 Bảng 1.8: Bảng từ loại tiếng Anh 36 Bảng 1.9: Bảng từ loại tiếng Trung 37 Bảng 2.1: Bảng hướng dẫn nhanh cách sử dụng search engine phổ biến giới .47 Bảng 3.1: Số lượng từ liệu văn 75 Bảng 3.2: Số lượng stop words ngôn ngữ 75 Bảng 3.3: Stop words từ láy .80 Bảng 3.4: Từ loại stop words .81 Bảng 3.5: Nhập nhằng từ loại việc xác định stop words 84 Bảng 3.6: Bảng dịch stop words tiếng Trung sang tiếng Việt 86 Bảng 3.7: Bảng dịch stop words tiếng Anh sang tiếng Việt .86 Bảng 3.8: Kết xử lý stop words trình lập mục .71 DANH MỤC HÌNH MINH HỌA Hình 1.1: Sơ đồ hệ thống từ loại tiếng Việt theo quan niệm tác giả Đinh Văn Đức 28 Hình 1.2: Sơ đồ hệ thống từ loại tiếng Việt theo quan điểm tác giả Diệp Quang Ban - Hoàng Văn Thung 29 Hình 1.3: Sơ đồ hệ thống từ loại tiếng Việt theo quan điểm tác giả Lê Biên 29 Hình 1.4: Sơ đồ hệ thống từ loại tiếng Việt theo quan điểm tác giả Nguyễn Tài Cẩn 30 Hình 2.1: Spider lấy nội dung trang web tạo từ khóa tìm kiếm phép người dùng trực tuyến tìm trang mong muốn 49 Hình 2.2: Googebot, Web Crawler Google 50 Hình 2.3: Kết tìm kiếm với từ khóa “tơ tranh” 58 Hình 3.1: Vị trí stop words q trình lập mục 62 Hình 3.2: Stop words, Frequency words 76 Hình 3.3: Các đại từ tiếng Việt (Nguồn: wiki) 82 PHẦN MỞ ĐẦU Lý chọn đề tài Ngôn ngữ học ứng dụng nhánh ngành ngôn ngữ học, tập trung vào việc xác định, điều tra cung cấp giải pháp cho vấn đề có liên quan đến ngơn ngữ thực tiễn sống Ngôn ngữ học ứng dụng bao gồm tất ứng dụng lý thuyết ngôn ngữ học tích hợp chun mơn liên quan đến nhiều ngành học, ngôn ngữ học, nhân học, tâm lý họcvà giáo dục học, ngôn ngữ học xã hội ngành công nghệ thông tin Ứng dụng ngôn ngữ học ngành công nghệ thơng tin mang tính thực tiễn cao khơng ngừng thay đổi Việc chuyển theo thay đổi đòi hỏi ngơn ngữ đóng vai trò nguồn liệu khổng lồ cần xử lý việc quan tâm đến ngóc ngách giúp cho việc xử lý ngôn ngữ tự nhiên máy xác hiệu Những nghiên cứu ngôn ngữ lĩnh vực công nghệ thông tin đánh dấu ngành khoa học liên ngành ngơn ngữ học khối liệu mang tính ứng dụng nhiều so với suy nghĩ hàn lâm ngôn ngữ Ngày với bùng nổ thông tin, phát triển mạnh mẽ Internet World Wide Web, việc tìm kiếm thơng tin trở nên dễ dàng người dùng internet Nhờ có xuất hàng loạt máy tìm kiếm (search engine) Google, Bing!, Yahoo, Ask, MSM… người ta tìm kiếm thơng tin ngữ cơng cụ quốc tế đáp ứng nhu cầu tìm kiếm với 200 ngơn ngữ khác Sử dụng máy tìm kiếm trở thành kỹ thiếu công việc sinh hoạt thường ngày người đại Với phát triển không ngừng công nghệ thơng tin, máy tìm kiếm ngày cải thiện hiệu tìm kiếm nhanh chóng chiếm niềm tin người dùng Internet toàn giới Bản chất máy tìm kiếm đại sử dụng thu thập (crawler) thu thập thông tin từ tất trang web giới vào kho liệu khổng lồ Khi người dùng sử dụng trình duyệt Firefox, Internet Explorer, Chrome, Opera, Cờ-rôm (Việt Nam)… đưa đoạn văn trang tìm kiếm, máy tìm kiếm phân tích đoạn văn tìm kiếm kho liệu khổng lồ nói thơng tin cần thiết xếp chúng theo thứ tự ưu tiên định (thí dụ xếp page Google với link đầu mười kết tốt- phổ biến nhất) Các máy tìm kiếm thường đánh giá theo hai tiêu chuẩn: a Chất lượng tìm kiếm: Máy tìm kiếm thơng thường đưa kết hàng trăm nghìn ghi, chí nhiều tới hàng trăm triệu ghi Do vậy, kết cần xếp theo thứ tự ưu tiên định để người dùng truy cập đến thơng tin cần tìm nhanh Để việc xếp có chất lượng cao, máy tìm kiếm cần phân tích để “hiểu” nội dung cần tìm Trong việc phân tích việc xử lý ngơn ngữ đoạn văn cần tìm đóng vai trò quan trọng Chính vậy, máy tìm kiếm địa Trung Quốc, Hàn Quốc, Nhật, Nga,… chiếm ưu so với máy tìm kiếm quốc tế Google, Yahoo, Bing… thông qua việc xử lý ngôn ngữ địa b Thời gian đáp ứng: Việc tìm kiếm phân tích kho liệu khổng lồ để đưa khối lượng kết khổng lồ, vừa phục vụ hàng chục triệu người dùng toàn giới, phải diễn thời gian ngắn (từ 3-5 giây) Bên cạnh mạng lưới máy tính lớn phương pháp tính tốn nhanh ngày hồn thiện, xử lý ngơn ngữ có vai trò vơ quan trọng việc tối ưu hố thời gian tìm kiếm cách lọc bỏ thông tin thừa Như vậy, ngôn ngữ học có vai trò quan trọng việc cải tiến máy tìm kiếm Chính thế, ngơn ngữ học cơng nghệ thơng tin ngày xích lại gần để tạo nhiều ứng dụng thực tế có ích cho đời sống Hơn q trình đặt vấn đề nghiên cứu mang tính liên ngành cho ngành Do đặc điểm khác biệt ngơn ngữ, văn hóa mang tính vùng miền mà đơi cơng cụ tìm kiếm mang tính quốc tế chưa thực hiểu mục đích tìm kiếm thơng tin người dùng kết trả chưa xác mong muốn Điển Trung Quốc nhiều nước có hệ chữ viết (chữ tượng hình chữ PHỤ LỤC DANH SÁCH STOP WORDS TIẾNG VIỆT BẢNG TỪ LOẠI Stt idPOS V A P M enPOS verb adjective pronoun numeral R vnPOS động từ tính từ đại từ số từ định từ (những, các, vài ) phụ từ E giới từ preposition C liên từ conjunction 10 I trợ từ 11 O cảm từ auxiliary word emotivity word D 12 Z 13 X determiner adverb yếu tố cấu componenttạo từ (bất, stem vô…) Không phân loại DANH SÁCH STOP WORDS Stop cho words LogProb8 Từ loại9 với -1.85894 C -1.9075 E không -1.95246 C để -2.03773 D -2.17504 M -2.22206 R có -2.23663 V,R -2.23937 N,A,E -2.26895 R,I mà Log xác suất xuất stop words trình tách khối liệu văn vào Phân loại từ loại stop words 100 -2.27878 -2.30984 -2.33442 -2.35602 -2.39241 -2.42271 -2.43053 -2.43684 -2.47822 -2.48709 -2.50125 -2.51773 -2.53825 -2.54339 V,E V,E D M,R V,E P, O, I P,V V,E R V,E E C R V,E,I đến phải năm ông từ theo nhiều lại anh có_thể bị -2.55313 -2.55782 -2.5649 -2.58749 -2.59022 -2.61364 -2.6257 -2.63287 -2.63439 -2.64069 -2.64292 -2.6448 -2.65341 -2.66083 -2.66686 -2.67978 -2.69879 -2.71546 -2.72605 -2.73797 việc nên ngày hai lên ta tới em -2.74683 -2.75252 -2.75882 -2.75958 -2.77297 -2.80128 -2.82041 -2.84246 -2.84776 -2.8579 -2.86466 -2.86514 -2.88672 -2.88673 -2.88752 -2.92792 -2.928 -2.93194 -2.94473 khác biết hay chúng_ta chưa trước sau đối_với qua cô giá muốn vừa bà khơng_có chúng_tơi cách một_số lần điều cần ba nơi E V,E,I N,E C V,A,I M E N N N,V,E V P,I A D N, R, V N N, P V, R R N, V N, V, R, C D V,C R N A V, R, I E C V, R M R,C,I A,P E V, R P,I V,I,E N P 101 -2.95373 A -2.95761 R -2.96491 V -2.97888 N -2.97966 V,I,C -2.98037 A,C -2.98415 P, R, I -2.99016 P -3.00373 R -3.00711 P, I -3.01819 A, I -3.02333 N,E -3.02585 C -3.02736 A,I -3.03558 N,E -3.03878 E -3.0421 P, R, I, O -3.0518 C -3.05835 V, R, I, E -3.05964 N, V, A -3.06673 N,A,E -3.07034 V -3.08165 A, R -3.08353 A, R -3.09895 N -3.11698 A,E,I -3.12613 P, I, O -3.12828 R -3.14218 P -3.14575 N, V -3.14597 N -3.15164 N, V -3.15348 N, V, A -3.15767 R,I -3.16121 N, E -3.16248 N, V -3.17035 N, V, A -3.18789 N,M -3.18811 N, V, P, I -3.19248 N,E thêm tất_cả xuống loại xin thật sống không_thể cho_biết sau_khi lúc như_vậy chẳng thuộc không_phải đạt ban tuy_nhiên thứ ngài ngồi lấy tính hỏi hết gần giúp so_với nhỏ chúng khiến vụ chuyện -3.20205 V -3.2119 P -3.21974 P -3.24416 V -3.24841 N, V -3.24873 N -3.25622 V -3.25821 P, I -3.26081 N, P, R -3.26157 A, R, I -3.26439 N, V, A -3.27119 R -3.27562 V -3.28521 E -3.2885 N -3.28911 R -3.29005 V, R -3.29642 R, I -3.31517 V -3.31888 R -3.32507 R -3.32803 V, A -3.33453 N, V -3.3354 C -3.33543 N, A -3.33729 P, N -3.33876 N,E -3.33924 V, R, I -3.34278 N, V -3.34287 N, V -3.34859 V, R, I -3.34935 A, V -3.35265 N, V, P, I -3.3544 V -3.35566 E -3.35637 V, A, N -3.3566 P, R -3.35747 V -3.36631 N -3.36968 N, V 102 mua tuổi mức đã_được đã_có bảo -3.36984 -3.3712 -3.37142 -3.37507 -3.38565 -3.38979 thơi ln hàng thường -3.39081 -3.39277 -3.39971 -3.39981 a long tạo đủ đưa mạnh tự đâu có_một trong_khi người_ta sang bên thế_nào trong_đó chịu gây y nhằm -3.40046 -3.40057 -3.40058 -3.40598 -3.40625 -3.40642 -3.40883 -3.41142 -3.41175 -3.41473 -3.41615 -3.42033 -3.42804 -3.43019 -3.4364 -3.4366 -3.43743 -3.44493 -3.4462 -3.4467 -3.4472 -3.44978 -3.45401 -3.45725 -3.46706 -3.47143 -3.47293 -3.47352 -3.47552 N, V N, V, R N R R V N, V, I, O R N, R, V V, A, R V, N, R, I E N,E A, R, I O N, V V A V A N, P,E V, P, R, I A N, I E N, P V, A N D D,P,I N P E N, V V N, V, A N, R N, P, A V,E thiếu nghĩ cũng_như mọi_người mang dù một_cách chung cho_rằng xảy_ra bây_giờ thu bắt_đầu chủ thái riêng định kinh phi chi khơng_được khơng_biết bao_giờ kẻ chỉ_có sau_đó cuối nguyên ảnh nhân đại gia dài quảng chí -3.47753 -3.47801 -3.48661 -3.48671 -3.48684 -3.4891 -3.49001 -3.49526 -3.5037 -3.50865 -3.51139 -3.51291 -3.52296 -3.52701 -3.52718 -3.52902 -3.52911 -3.53262 -3.53398 -3.53928 -3.55363 -3.55545 -3.55734 -3.55833 -3.56333 -3.5646 -3.5656 -3.56692 -3.5705 -3.57958 -3.58028 -3.58445 -3.58548 -3.58574 -3.58674 -3.58927 -3.59495 -3.59609 -3.59782 -3.59918 A P V E N N, V N,C N N, A, V V A, R V P N, V P V N, A V A, I V N, V, A Z N, V, P R R P N, V R P E N, A N, A, R N, P N,V,E N, A, R V A Z P, N, I N,R,E 103 hồn_tồn đưa_ra cậu nhớ hơm_nay mã khơng_còn chỗ rõ gã trở_lại vài đừng cuối_cùng la xong tử trời phạm bọn trước_khi điều_này ở_đây nằm bác vô thiên lâm làm_cho vũ -3.61141 -3.61209 -3.61455 -3.61584 -3.61663 -3.61799 -3.62009 -3.62339 -3.62446 -3.62641 -3.63146 -3.63399 -3.63844 -3.64073 -3.64425 -3.64881 -3.65379 -3.65464 -3.65616 -3.65966 -3.66149 -3.6631 -3.66753 -3.66777 -3.66792 -3.676 -3.67881 -3.67893 -3.67962 -3.68436 -3.68564 -3.69933 kỳ bước năm_nay vẫn_còn song thân -3.70051 -3.70064 -3.70473 -3.71242 -3.72088 -3.7224 -3.73012 P, I A V N V, I N N R N V, A, I N V D V, R A N, V, A V N, V N, I, O V, N N E X P A V N, V Z N, V V V N N, V, A, E I,E V, N X R N,C N, A cũng_đã bốn phú tức hữu anh_ta cũ dung có_lẽ âu mai đáng dễ bên_cạnh tại_sao mặc_dù cần_phải ông_ta cùng_với ca tân cho_thấy thậm_chí thực_sự đoạn cho_đến dành_cho trở khơng_chỉ hơm bao_nhiêu rộng làm_sao ngồi_ra tồn_bộ thể còn_lại -3.73321 -3.73333 -3.7363 -3.73665 -3.74284 -3.74407 -3.74472 -3.74675 -3.74873 -3.74914 -3.74934 -3.75017 -3.75122 -3.75248 -3.7571 -3.76133 -3.76147 -3.76307 -3.76332 -3.76988 -3.77254 -3.77255 -3.7763 -3.78251 -3.78298 -3.78348 -3.7835 -3.78375 -3.78902 -3.78964 -3.79081 -3.79533 -3.80264 -3.80511 -3.80555 -3.80718 -3.81396 -3.81588 -3.81675 -3.81814 R N N, V, A N,E N P A N R N, V, R N N, A A N, V A, V, I C A P C R P C N, V N, A V R A N E V N, V R N P A P E D N, V V 104 dầu đồ mười bao -3.81841 -3.81857 -3.82047 -3.83172 bay ma vân điều_đó ngày_càng vi kể_từ hay_khơng vì_vậy vì_thế bao_gồm hùng đến_nay hơn_nữa làm_gì kể trước_đây thường_xuyên bất_cứ lâu bất dần thủy sa hưng đầu_năm cái_gì vừa_qua hầu_hết giống_như tư cụ -3.83371 -3.83484 -3.83623 -3.8393 -3.84189 -3.84236 -3.84298 -3.84329 -3.84341 -3.84445 -3.84448 -3.85008 -3.85045 -3.85104 -3.85143 -3.85561 -3.85686 -3.85705 -3.86735 -3.86864 -3.8693 -3.87604 -3.88604 -3.88727 -3.88955 -3.90054 -3.91415 -3.91435 -3.9161 -3.9161 -3.91632 -3.91655 -3.9251 -3.92821 -3.92869 N, A,C N, V N N, V, A N, V, R, P N, A N N R N E R C C V I, O A X C V R V N A R A Z N, V, R N, R N N, V A N P R D R N, V, A N nầy hẳn như_sau đạt_được có_được do_đó đã_khơng nào_đó ra_khỏi mày tam một_chút đứa cũng_được đa không_ai từ_ngày không_cần ly lúc_này dường_như không_hề chỉ_cần kheo ngày_nay gây_ra sáu có_vẻ chu để_cho bảy nghìn tùy đà đi_vào -3.92888 -3.93238 -3.934 -3.93493 -3.93829 -3.93894 -3.95677 -3.96023 -3.9635 -3.96385 -3.96476 -3.9661 -3.9665 -3.97086 -3.97207 -3.97242 -3.97603 -3.98892 -3.98939 -3.99329 -3.99339 -3.99351 -3.99717 -4.0016 -4.0032 -4.0047 -4.00603 -4.00829 -4.00836 -4.00852 -4.01968 -4.02306 -4.02668 -4.02755 -4.02805 -4.03142 -4.03296 -4.03381 -4.03395 -4.03679 N, I P A,R, I A V V O C R A V N, P N A N R A N, I O R E R N X V R V N N V N R N, R V, A V N N V N, A V tơ bởi_vì thượng bên_ngồi lúc_nào dẫn_đến có_phải tao thật_sự lạ quanh ít_nhất thế_này co nhất_định lần_này từ_đó lúc_đó điều_gì để_có mỗi_người suốt ở_đâu thứ_nhất lẫn ngay_cả e khơng_dám chút xưa vẫn_không de bên_trong sau_này trong_lúc bất_kỳ cũng_chỉ 105 -4.03682 -4.04353 -4.0465 -4.05141 -4.05227 -4.05255 -4.05416 -4.05618 -4.05793 -4.06104 -4.06411 -4.06769 -4.06833 -4.06869 -4.07185 -4.07205 -4.07826 -4.07905 -4.07916 -4.08165 -4.08435 -4.08801 -4.09141 -4.09585 -4.09745 -4.0982 -4.10006 -4.10006 -4.1075 -4.11079 -4.1283 -4.13053 -4.1335 -4.13427 -4.13928 -4.13993 -4.14052 -4.14914 -4.14918 -4.1542 I N, V C A, V E P V,E X N, P A A,V,R N, V, A R ? N, V R, A R E E N V N I N, V, A P ? V, R, E R V R N A, N R R N E E E A, R R kể_cả lập_tức tỏ_ra tứ cách_đây khơng_làm ở_đó chẳng_hạn nỗi o nói_chung gần_như nghĩ_rằng cần_có ln_ln khơng_ít vì_sao trở_lên làm_được ra_đi đặt_ra dựa_trên ngay_từ mi tất_nhiên thuộc_về giờ_đây đáng_kể q_nhiều ra_sao nói_gì một_lúc tri ra_đời đôi_khi -4.1546 -4.15569 -4.15619 -4.15646 -4.16022 -4.16272 -4.16781 -4.16896 -4.17424 -4.17505 -4.18458 -4.18487 -4.1863 -4.1895 -4.19526 -4.1959 -4.19593 -4.19662 -4.19864 -4.20176 -4.20202 -4.20421 -4.20509 -4.20709 -4.2116 -4.21216 -4.21458 -4.22169 -4.22432 -4.22616 -4.22644 -4.22974 -4.23079 -4.23107 -4.23477 -4.2358 -4.23667 -4.24055 -4.24201 -4.24245 R R R N ? O R P R N N ? R R A, R N, O R R R P R R V V O E E N, P A V R A R P P X N V O, V E 106 phải_chăng hầu_như lãnh mới_đây trước_hết phía_sau hàng_ngày biết_được đem_lại mỗi_lần ngũ -4.24657 -4.24772 -4.24778 -4.2483 -4.24863 -4.25131 -4.25187 -4.25378 -4.25599 -4.25993 -4.26372 -4.2639 -4.26647 tịnh đi_qua đột_nhiên ko tin_rằng để_được chừng từ_khi hình_như phải_khơng tuyệt_vời mỗi_khi đỡ cho_hay dựa_vào đa_số sẵn đến_ngày không_những chúng_con bấy_giờ theo_hướng việc_này mua_vào cang đến_từ -4.26704 -4.26785 -4.26901 -4.26944 -4.26971 -4.27221 -4.27221 -4.27307 -4.27555 -4.27638 -4.27835 -4.28044 -4.28048 -4.28486 -4.28641 -4.2865 -4.28662 -4.28918 -4.29201 -4.29227 -4.29464 -4.29583 -4.29703 -4.29788 -4.29796 -4.29844 A R R V, R, I N, V X X N N R V N Z V, A, I, N V R Z E R N, R E E R A N V, R R E N A, E N E N P V N V A V không_để cho_dù vào_lúc phải_đi do_vậy từ_đầu chỉ_được phía_trước hy có_khi nhơn đến_nỗi chư cùng_nhau đến_khi dùng_để lên_đến đi_lại ở_bên vẫn_có sắp_tới từ_lâu tớ miên trơng_thấy nhu mọi_thứ những_ai từ_từ có_tiếng thể_nào thất dĩ_nhiên đến_mức thực_ra -4.30301 -4.30314 -4.30602 -4.30849 -4.31024 -4.313 -4.31475 -4.31841 -4.32098 -4.32134 -4.3291 -4.33065 -4.33147 -4.33232 -4.33336 -4.33583 -4.33738 -4.34223 -4.34312 -4.34816 -4.35019 -4.35199 -4.35263 -4.35392 -4.35429 -4.35452 -4.35736 -4.35974 -4.36019 -4.363 -4.36355 -4.36518 -4.36961 -4.37071 -4.37335 -4.37684 -4.37728 -4.3777 -4.37812 -4.38012 R C R V C E R N A, O A R A R N R V, I E V V V N N, O, V R R R A N, P Z V A N N A A I A,N V, O A R R niên làm_theo không_ngừng chưa_từng cực_kỳ lúc_ấy từng_bước làm_rõ cũng_vậy đi_ra đâu_có chỉ_vì thỉnh_thoảng lần_lượt tùy_theo tạm_thời ngãi nào_khác ty được_không bao_lâu tụi dần_dần buộc_phải không_sao hơn_cả hoạch chưa_thể điệp vẫn_phải ngay_lập_tức hay_sao thật_ra nói_riêng quả_thật ả tuy_vậy một_khi phần_nào 107 -4.38141 -4.38176 -4.38239 -4.3838 -4.3842 -4.38751 -4.39006 -4.39298 -4.42234 -4.42654 -4.43152 -4.43152 -4.43743 -4.43749 -4.43876 -4.44011 -4.44352 -4.44443 -4.45108 -4.45463 -4.45642 -4.46205 -4.46214 -4.46319 -4.46614 -4.4682 -4.47118 -4.48323 -4.48337 -4.4835 -4.48689 -4.49299 -4.50235 -4.50614 -4.50702 -4.51071 -4.51759 -4.5275 -4.53189 -4.54803 N V R R R X V V P R V V E R R V A N R N,V R P N R V R R V R V R R R R R R N C N R thêm_vào mãi_mãi một_lát trước_kia không_khỏi vừa_mới xem_ra sao_cho ngay_khi bởi_vậy kha cư chút_nào dù_sao trôi_qua phàm chưa_kể như_không như_trên trái_lại như_thể từ_lúc lẽ lúc_đầu khi_không được_cái chẳng_lẽ sở_dĩ ối đương nhìn_chung hi nhất_thiết cứ_như tóm_lại đứng_ra tịch -4.55138 -4.57084 -4.57354 -4.57552 -4.57789 -4.58818 -4.59117 -4.60144 -4.60528 -4.61205 -4.6139 -4.62017 -4.62274 -4.62403 -4.62496 -4.62542 -4.62552 -4.62603 -4.63243 -4.63281 -4.63836 -4.64104 -4.64258 -4.6448 -4.65007 -4.65749 -4.66312 -4.66397 -4.67128 -4.67252 -4.68547 -4.69728 -4.69761 -4.70002 -4.70384 -4.70819 -4.71434 -4.71463 -4.71955 -4.72986 mười_hai ai_nấy ri biết_đâu ê chưa_hề bỗng_nhiên mặc_dầu nguầy nguậy khèng khẹc loăn quăn loạch xoạch khành khạch ngun ngút bẵng lâu_nay loáy hoáy lướp tướp ngỏn nghẻn tức xớn xác nghĩa gọi khắn khít phừn phựt phệnh phạo thảng lúng túng ríu ran xèo xèo nhoen nhoét lúi cúi khoằm khoằm phừng phực xôn xao ngổn ngang bất_thành văn V R N N R R R R R C N N R C R C A,R R R R C C C O N R R R R C O R C R O R E V V V,R 108 -4.72992 -4.73004 -4.73921 -4.74345 -4.74534 -4.75248 -4.75504 -4.75648 -4.76101 -0.03317 -0.05799 -0.06695 -0.06695 -0.07525 -0.1018 -0.11965 -0.20677 -0.24304 -0.30103 -0.34679 -0.36277 -0.36796 -0.37263 -0.38614 -0.39112 -0.39794 -0.42597 -0.56733 -0.61941 -0.65321 -0.65758 -0.66453 -0.66901 -0.69099 -0.69481 -0.69875 -0.70472 -0.70933 -0.71594 -0.72951 M P N,P A R O R R C V V A A A X A P V A A V A V V A X X R,C C A A A A A A A,N A A A A huyễn trùng_trùng điệp_điệp nườm nượp ngoao ngoao miễn nước_mẹ bầm dập lồm ngồm loanh quanh đìu hiu mươn mướt hnh hoang tuềnh tồng ngoăn ngoắt mánh mung rọt rẹt nghềnh ngàng bâng khuâng rủng rỉnh thùm thùm sền sệt loắt choắt xồnh xoạch mòng mòng đồnh đồnh thật rủi ro khuỳnh khuỳnh ái_chà chà bập bập mủm mỉm quác quác rồn rột choen choét nheo nheo chơn chánh -0.73209 V -0.73945 -0.74036 -0.74036 -0.74088 -0.74507 -0.75103 -0.76436 -0.76894 -0.77208 -0.77208 -0.77812 -0.77815 -0.78087 -0.80163 -0.80428 -0.80747 -0.80918 -0.81291 -0.81766 -0.82391 -0.8293 -0.8451 -0.8451 -0.8451 -0.84587 -0.86923 -0.86994 -0.87179 -0.8738 -0.88392 -0.88578 -0.88708 -0.90309 -0.90309 -0.90309 -0.90309 -0.91485 -0.92513 A A V X N V A V A A A A R A C V A A A A A A A A A A X A A O A P A A A A A A dửng dưng vùn chíu chíu đằng trước chếnh choáng rờn rờn èè èo ọt liếu điếu nhồn nhột ngùn ngụt ồnh ồnh khòng khòng khềnh khệch gờm gờm lẩm bẩm chiếp chiếp lụp xụp thùn thụt khậm khạc khề khà bẽn lẽn phới phới loạng choạng rù rù đoàng đoàng lộp chộp gờn gợn ối_chà chà mà lẻng xẻng choác choác chới với ùm ùm 109 -0.92514 -0.92688 -0.9294 -0.93092 -0.93097 -0.93785 -0.94088 -0.94448 -0.94904 -0.95423 -0.95424 -0.96614 -0.97004 -0.97085 -0.97313 -0.97691 -0.97772 -0.99076 -1.00329 -1.01911 -1.02996 -1.03476 -1.03844 -1.04139 -1.04139 -1.04139 -1.04139 -1.05115 -1.06383 -1.07136 -1.07372 -1.07555 -1.07917 -1.07918 -1.08278 -1.08952 -1.11394 -1.11394 -1.11597 -1.13292 V,A C A A X A A A A A A A A R A X A A C V V A R A A A A A A A A A A A O C A A V A ngoằn ngoèo oặt ẹo dọ dẫm ngấp nghé khảo sát choe choét bọn ta toe toe ngoeo ngoeo ỏe họe liu riu nhuôm nhuôm mà nhẽo nhợt loay hoay im phăng_phắc loảng xoảng trâng tráo thoang thoảng sột soạt mênh mang quằn quại khập khiễng toen hoẻn nhoang nhoáng nhốn nháo mướt mát ngơ ngơ nhởn nhơ lắt léo nhễ nhại thẫn thờ bềnh bồng ráu ráu tức bấp bênh phũ phàng nhõng nhẽo bép xép -1.14613 -1.15432 -1.15564 -1.15634 -1.15792 -1.16137 -1.16391 -1.17058 -1.17337 -1.17609 -1.17609 -1.17986 -1.19033 -1.19102 -1.19141 -1.20412 -1.20709 -1.21085 -1.21307 -1.21559 -1.21748 -1.21959 -1.22011 -1.2276 -1.23045 -1.23045 -1.23045 -1.23388 -1.23441 -1.23678 -1.23992 -1.24304 -1.24904 -1.25524 -1.25527 -1.25948 -1.26716 -1.27061 -1.27107 -1.27416 A A V V V X C N A A V A A C A V A A A V A A V A A A V A A A A A A V A R A A A V liểng xiểng ngúc ngoắc nhộn nhịp ngây ngây đòm đòm phau phau cẳn_nhẳn cằn_nhằn gặc gặc queng quéc đâu mà bẽ bàng lảo đảo nhằng nhằng hoay hoáy mà nhồm nhồm chớp chớp chễm chệ hi hữu duỗi dài nhúc nhích thảnh thơi lổn nhổn bợp chợp lổn ngổn ảm đạm lom khom cuồn cuộn lộp cộp lộp bộp nhơm nhớp ca ca nhống nhồng rạo rực lênh đênh vẻn vẹn 110 -1.2759 -1.27875 -1.27875 -1.28549 -1.28745 -1.29373 -1.29922 C A V A A A A -1.30102 -1.30103 -1.30103 -1.30262 -1.30577 -1.30788 -1.30821 -1.31387 -1.32066 -1.33168 -1.34242 -1.34823 -1.35218 -1.35405 -1.35716 -1.35791 -1.36083 -1.36172 -1.36173 -1.36173 -1.36215 -1.36642 -1.37789 -1.38021 -1.38021 -1.38021 -1.3804 -1.38445 -1.38489 -1.38618 -1.38969 -1.39792 V A A X A A A A C C A V A A X V A A V A A A V A A A N A C V A A thầm nghênh nghênh ngẫm ngợi càu nhàu kin kít lí lắc tưng bừng xớ rớ kíu kíu e loẹt quẹt thỏa thuê khấm khúm núm xoai xoải dạo trước nhè nhè lẹt bẹt oang oang lâng lâng tẽn tò ngúng nguẩy ngồm ngoàm hoăng hoăng mảy may hây hây phọt phẹt rưng rưng quèo quẹo ngẩn ngơ cộc cộc lổm ngổm nhem_nhẻm nhèm_nhem tanh hiu hắt hâm hâm đàng -1.40447 -1.40952 -1.41738 -1.4205 -1.42488 -1.4258 -1.43186 -1.44149 -1.44716 -1.4523 -1.45372 -1.45691 -1.46015 -1.46099 -1.46239 -1.4624 -1.46693 -1.47979 -1.48 -1.48072 -1.48328 -1.49136 -1.49136 -1.49136 -1.49136 -1.49329 -1.49415 -1.49601 -1.49671 -1.49829 -1.50101 -1.5045 -1.50515 V,A A C A V A A A V A V A A V V V X A A A A A V A A N,X A A A A A A A -1.50515 -1.50579 -1.50616 -1.51019 -1.51047 -1.51121 A A P A A P õng ẹo chòng chành nghe rầm rộ nấn ná phềnh phềnh rột roạt khệnh khạng hớn hở òò rắc rắc mà thơi ồn ĩ ràn rụa lưa thưa lòa xòa ngào ngạt sướt mướt dằng dặc tíu tít ngòn sỗ sàng nây nây khơi khơi ọp ẹp vè vè phơ phơ lơm nhơm hệch mồm nghí ngốy phành phạch mn vạn cheo leo ngấp ngó lủa tủa choạc choạc 111 -1.51398 -1.51851 -1.52179 -1.52198 -1.52487 -1.53147 -1.53148 -1.53148 -1.53148 -1.53731 -1.53913 -1.5406 -1.54158 -1.54799 -1.5501 -1.55321 -1.55931 -1.56275 -1.56606 -1.56612 -1.56819 -1.5682 -1.57531 -1.58916 -1.59085 -1.591 -1.59842 -1.59952 -1.61278 -1.61818 -1.61978 -1.62002 -1.62316 -1.62323 -1.62325 -1.62487 -1.62958 -1.63326 -1.63346 -1.63347 V,R A A R A V A A A X A A A X X A V A V A A A R A A A A V A A A A X V A N A V A V chẳng_hề chi huỵch huỵch trọi se sắt chộn rộn rành rõ lẩy bẩy mằn mặn chà chà thay thum thủm ran ran èo èo lất phất mồn thoăn lia lủng bủng lè lè ngi ngi đủng đỉnh ồn ồn chặp tối lụ khụ dớ dẩn đàng trước biêng biếc gằn gằn se se ríu rít rền rền khò khè kêu ong ong giãy giụa nhang nhác -1.64645 -1.64754 -1.64938 -1.65009 -1.65319 -1.65709 -1.67203 -1.67882 -1.68226 -1.68229 -1.69018 -1.6902 -1.6962 -1.69723 -1.69886 -1.70128 -1.70755 -1.70757 -1.71018 -1.72016 -1.7212 -1.732 -1.73393 -1.73696 -1.73835 -1.74036 -1.74344 -1.74817 -1.75312 -1.75449 -1.75584 -1.77161 -1.77393 -1.7781 -1.77949 -1.78056 -1.78242 -1.78541 -1.79327 -1.79527 A A X A A A A A O V R A A A X A A A V A V A A R X A X R C X A V V A A A A A V A bong bong rục rịch líu lo tẻo teo thênh thênh vò vò tuốt tuồn_tuột vằng vặc khăng khăng rợn rợn câng câng bợt nơm nớp xì xì lỏa tỏa lớ rớ dàn lâu ngồ ngộ đời trước móm mém hùm hụp choai choai hênh lìm lịm thút thít nhè nhẹ chầm chậm ngong ngóng bui bui íẹ ồng ồng chem chép kể từ túc tắc đăm đăm ú òa 112 -1.79585 -1.79761 -1.79863 -1.7993 -1.79934 -1.81065 -1.81808 -1.82445 -1.82607 -1.82607 -1.82607 -1.83194 -1.83251 -1.85428 -1.8594 -1.86312 -1.86897 -1.87506 -1.87797 -1.87899 -1.88613 -1.88649 -1.88649 -1.88649 -1.88649 -1.89848 -1.9058 -1.90845 -1.90847 -1.91001 -1.91547 -1.91902 -1.91972 -1.92861 -1.93196 -1.93425 -1.9344 -1.93551 -1.9388 -1.94369 A V A A A V A A A A A A V C A A A,R A X P A X A A A R A V A R A V N A A V X R R V biết_chừng hờ hờ lợ lợ rón vung vít ví dầu mà lại áy náy chờm bơm bòng bong dạo lắc rắc lom lom cho nhiêu chi chiều chiều chớ_gì lém lém lựa lênh phênh hổn hển xun xoe biết dàu dàu nhúc nhắc khơng_thể mơn mởn nên chờn vờn khéo bao gồm chề chề hầu hết gừ gừ thoải thoải dài dài -1.94411 -1.94588 -1.9506 -1.95385 -1.95424 -1.95466 -1.95575 -1.96085 -1.96142 -1.96345 -1.96369 -1.96487 -1.96709 -1.96848 -1.97456 -1.979 -1.99134 -2.00408 -2.00662 -2.00944 -2.01228 -2.01808 -2.02366 -2.04139 -2.04567 -2.04744 -2.04921 -2.05628 -2.05802 -2.05994 -2.0647 -2.06813 -2.06844 -2.07236 -2.07471 -2.07918 -2.08445 -2.08636 -2.08706 -2.09014 ối trời_ơi tùm lum rình rình xiêu xiêu bời bời luyên thuyên rưng rức không thể_nào sù sụ tành tạch làu làu mà càn bậy canh thâu còng còng lóc xóc lúi húi láu táu ba chục day day ành ạch ngượng ngượng chùn chụt tưng tửng um tùm loáng quáng rốt đến chà khò khử khò khò xập xệ lèo tèo chi X A A C R A C C,I V A N X A A V P C N X A X A X V R V A V R A R V P X V A X V A A 113 -2.09643 -2.10037 -2.10536 -2.11818 -2.11924 -2.12708 -2.12856 -2.13353 -2.14106 -2.1461 -2.14844 -2.15986 -2.16853 -2.17377 -2.18589 -2.18896 -2.19854 -2.20757 -2.20951 -2.21218 -2.21436 -2.22024 -2.22159 -2.22292 O A V P,R A X A A R A A X C X X A A,R X X A M V A R -2.23503 -2.23636 -2.23717 -2.23741 -2.23854 -2.24796 -2.25086 -2.25458 -2.25625 -2.25757 -2.25767 -2.26715 -2.26866 -2.27719 -2.28059 A,V A X A A X R X O X X A C A X sặc sặc dường có hơm qua hằm hằm dường oi oi chốc đà hì hì ngấm ngầm chửa biết_chừng êm đềm chẳng lồi lồi đương nhiên thin thít nheo nhẻo lớ ngớ thơi leng keng thoang thống ùn ùn bữa mai số vuông vuông nhăm nhe vèo -2.28372 -2.28373 -2.28993 -2.29208 -2.29665 -2.29718 -2.29759 -2.30571 -2.30601 -2.30611 -2.31271 -2.31368 A N,A,R X X X C A X A A R C -2.32056 -2.32628 -2.32881 -2.33662 -2.34444 -2.34528 -2.34828 -2.35154 -2.35215 -2.35443 -2.35598 -2.36094 -2.36297 -2.36524 -2.36741 -2.37937 -2.38187 -2.38198 -2.38372 R A X A C A X R A X A A A X C A V,X R R 114 ... người Việt Tức cơng cụ thể văn hóa, nhận thức người Việt Trên cơng cụ tìm kiếm này, kĩ sư phải giải vấn đề xử lý tiếng Việt để kết tìm kiếm tốt Đây lý chọn đề tài Các vấn đề xử lý tiếng Việt để nâng. .. để nâng cao hiệu cơng cụ tìm kiếm Vấn đề xử lý tiếng Việt ứng dụng tìm kiếm nội dung rộng Trong luận văn này, chúng tơi tập trung tìm hiểu hai vấn đề: Việc đánh mục cho văn tiếng Việt tìm chất... THỊ MINH TÂM CÁC VẤN ĐỀ XỬ LÝ TIẾNG VIỆT ĐỂ NÂNG CAO HIỆU NĂNG CỦA CÔNG CỤ TÌM KIẾM Luận văn Thạc sĩ chun ngành Ngơn ngữ học Mã số: 60 22 01 Người hướng dẫn khoa học: TS Nguyễn Ái Việt Hà Nội-2014