Nâng cao hiệu quả truy vấn dữ liệu dựa trên chỉ mục trong hệ quản trị CSDL MongoDB

i LỜI CẢM ƠN Trước hết, xin chân thành cảm ơn thầy PGS.TS Đặng Trần Khánh - người trực tiếp hướng dẫn khoa học - tận tình bảo, giúp đỡ tạo điều kiện thuận lợi cho suốt thời gian thực đề tài Tôi xin gửi lời cảm ơn chân thành đến quý thầy, cô khoa Công nghệ Thông tin Trường Đại học Lạc Hồng giúp bổ sung thêm kiến thức vơ quan trọng, bổ ích kinh nghiệm quý báu thời gian tham gia khóa học Cuối tơi xin bày tỏ lịng biết ơn sâu sắc người thân, bạn bè, đồng nghiệp luôn chia sẻ, hỗ trợ, động viên thời gian thực đề tài Do thời gian xây dựng luận văn có hạn cịn thiếu kinh nghiệm thực tế nên dù cố gắng hết khả để hoàn thành đề tài chắn khơng tránh khỏi thiếu sót Tơi mong nhận động viên góp ý quý thầy, bạn bè, đồng nghiệp để sớm hồn thiện đề tài nhằm ứng dụng rộng rãi thực tiễn Xin chân thành cảm ơn! ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ công nghệ thông tin: “Nâng cao hiệu truy vấn liệu dựa mục hệ quản trị CSDL MongoDB” kết trình học tập, nghiên cứu khoa học độc lập, nghiêm túc Các số liệu luận văn trung thực, có nguồn gốc rõ ràng, trích dẫn có tính kế thừa, phát triển từ tài liệu, tạp chí, cơng trình nghiên cứu công bố, website, … Các phương pháp nêu luận văn rút từ sở lý luận trình nghiên cứu tìm hiểu tác giả Đồng Nai, tháng 10 năm 2016 Tác giả luận văn Đỗ Trọng Nghĩa iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vii DANH MỤC BẢNG viii DANH MỤC HÌNH ẢNH ix DANH MỤC BIỂU ĐỒ xi Chương – Giới thiệu 1.1 Tổng quan 1.1.1 Cơ sở liệu lớn NoSQL .1 1.1.2 Hệ CSDL MongoDB 1.2 Các cơng trình nghiên cứu liên quan ngồi nước 1.2.1 Tình hình nghiên cứu nước 1.2.2 Tình hình nghiên cứu giới 1.2.3 Nhận xét .3 1.3 Mục tiêu luận văn 1.4 Phạm vi, đối tượng phương pháp nghiên cứu 1.4.1 Phạm vi 1.4.2 Đối tượng .4 1.4.3 Phương pháp Chương – Chỉ mục văn tìm kiếm tồn văn MongoDB 2.1 Khái quát hệ CSDL MongoDB 2.1.1 Cơ sở liệu iv 2.1.2 Collection 2.1.3 Document 2.1.4 So sánh số khái niệm CSDL quan hệ MongoDB 2.2 Chỉ mục .8 2.3 Chỉ mục văn 2.3.1 Giới thiệu .9 2.3.2 Tạo lập mục văn 2.3.3 Xóa mục văn 10 2.3.4 Trọng số .10 2.3.5 Không phân biệt chữ hoa/thường dấu phụ 11 2.3.6 Phân tách thẻ .11 2.3.7 Phần tử mục 11 2.3.8 Các ngôn ngữ hỗ trợ stop words 11 2.4 Tìm kiếm văn .13 2.4.1 Tổng quan 13 2.4.2 Chỉ mục văn 13 2.4.3 Toán tử $text 13 2.4.4 Tìm kiếm cụm từ .15 2.4.5 Loại bỏ từ 15 2.4.5 Sắp xếp .16 2.5 Một số hạn chế mục văn tìm kiếm toàn văn MongoDB .16 Chương – Cải tiến mục văn tìm kiếm tồn văn MongoDB 18 3.1 Một số khái niệm 18 3.1.1 Stop words 18 v 3.1.2 Stemming 18 3.2 Mã nguồn, môi trường công cụ nghiên cứu .19 3.2.1 Bản quyền địa tải mã nguồn MongoDB 19 3.2.2 Cấu trúc tổng thể thư mục mã nguồn MongoDB 20 3.2.3 Môi trường công cụ nghiên cứu 21 3.3 Cơ chế xây dựng mục văn tìm kiếm tồn văn MongoDB .23 3.3.1 Cơ chế xây dựng mục 23 3.3.2 Cơ chế tìm kiếm .25 3.4 Vai trò stop words stemming trình xây dựng mục văn tìm kiếm tồn văn .27 3.4.1 Vai trò stop words .27 3.4.2 Vai trò stemming .28 3.5 Đề xuất giải pháp cải tiến 28 3.6 Hiện thực hóa giải pháp 29 3.6.1 Stop words ngôn ngữ tiếng Việt 29 3.6.2 Đăng ký ngôn ngữ tiếng Việt vào MongoDB 31 3.6.3 Loại bỏ kỹ thuật stemming 31 3.6.4 Tóm lược 32 3.7 Tái xây dựng hệ CSDL MongoDB 33 3.7.1 Chuẩn bị môi trường 33 3.7.2 Thực 33 3.7.3 Kiểm tra kết nối 34 Chương – Thực nghiệm 36 4.1 Chuẩn bị môi trường thực nghiệm 36 4.2 Các tình thực nghiệm 37 vi 4.2.1 Hỗ trợ ngôn ngữ tiếng Việt 37 4.2.2 Tạo mục .39 4.2.3 Tìm kiếm 42 4.3 Kết luận thực nghiệm .52 Chương – Chương trình Demo 53 5.1 Giới thiệu chương trình demo 53 5.1.1 Mục đích 53 5.1.2 Ý nghĩa thực tiễn chương trình demo 53 5.2 Nội dung chương trình demo 54 Chương – Tổng kết 62 6.1 Ý nghĩa đóng góp luận văn 62 6.2 Thuận lợi khó khăn q trình xây dựng luận văn .62 6.2.1 Thuận lợi 62 6.2.2 Khó khăn 62 6.3 Một số hạn chế hướng phát triển luận văn 62 6.3.1 Hạn chế 62 6.3.2 Hướng phát triển luận văn 62 6.4 Kết luận 63 Tài liệu tham khảo Phụ lục vii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Ký hiệu/chữ viết tắt Ý nghĩa Collection Bộ sưu tập/tập hợp sở liệu MongoDB CSDL Viết tắt cụm từ “cơ sở liệu” Database Cơ sở liệu Document Văn có cấu trúc tựa JSON sở liệu MongoDB MongoDB Hệ sở liệu MongoDB Stemming Kỹ thuật tìm kiếm từ gốc từ ngôn ngữ Stop words Danh sách từ phổ biến ngôn ngữ viii DANH MỤC BẢNG Bảng 2.1: So sánh tương quan số đối tượng CSDL quan hệ MongoDB Bảng 2.2: Các ngơn ngữ hỗ trợ q trình tạo mục tìm kiếm văn MongoDB 12 Bảng 2.3: Các tham số toán tử $text 14 Bảng 3.1: Stop words ngôn ngữ tiếng Việt .29 Bảng 3.2: Tóm tắt sửa đổi cải tiến thực mã nguồn MongoDB .32 Bảng 4.1: Kết thử nghiệm tạo mục văn MongoDB .39 Bảng 4.2: Stop words ngôn ngữ tiếng Anh sử dụng MongoDB 43 Bảng 4.3: Kết thử nghiệm tìm kiếm tồn văn MongoDB trường hợp mục tạo với ngôn ngữ tiếng Anh .45 Bảng 4.4: Kết thử nghiệm tìm kiếm tồn văn MongoDB trường hợp mục tạo với ngôn ngữ tiếng Việt .48 Bảng 5.1: Ý nghĩa vùng làm việc chức chương trình demo 55 ix DANH MỤC HÌNH ẢNH Hình 2.1: Mơ hình sở liệu MongoDB .7 Hình 3.1: Tổng thể thư mục mã nguồn MongoDB 20 Hình 3.2: Mã nguồn MongoDB mở MS Visual Studio 2015 21 Hình 3.3: Công cụ Mongo Shell 21 Hình 3.4: Phần mềm RoboMongo 22 Hình 3.5: Phần mềm MongoBooster 22 Hình 3.6: Cơ chế tạo mục MongoDB 24 Hình 3.7: Mơ q trình tạo mục 25 Hình 3.8: Cơ chế tìm kiếm MongoDB 26 Hình 3.9: Mơ q trình tìm kiếm .27 Hình 3.10: Tái xây dựng thành công MongoDB 34 Hình 3.11: Kết nối thành cơng tới MongoDB 35 Hình 3.12: Kết nối không thành công tới MongoDB 35 Hình 4.1: Tạo mục văn thành cơng với ngôn ngữ tiếng Việt phiên cải tiến 37 Hình 4.2: Phiên gốc không hỗ trợ tạo mục với ngôn ngữ tiếng Việt .38 Hình 4.3: Tìm kiếm văn với ngơn ngữ tiếng Việt phiên cải tiến.38 Hình 4.4: Tìm kiếm khơng thành cơng với ngơn ngữ tiếng Việt phiên gốc .39 Hình 5.1: Giao diện chương trình demo 54 Hình 5.2: Chưa khơng nhập nội dung tìm kiếm .56 Hình 5.3: Tìm kiếm với ngơn ngữ tiếng Việt .57 Hình 5.4: Tìm kiếm với ngôn ngữ tiếng Anh .58 Hình 5.5: Tìm kiếm với tùy chọn 59 x Hình 5.6: Stop words ngơn ngữ tiếng Việt 59 Hình 5.7: Stop words ngôn ngữ tiếng Anh 60 Hình 5.8: Xem nội dung tập tin video 60 Hình 5.9: Xem nội dung tập tin hình ảnh 61 52 Trong hai trường hợp, nhìn vào kết thử nghiệm thấy rằng, thời gian tìm kiếm ngơn ngữ tiếng Anh trường hợp tốt so với trường hợp Sở dĩ trình tạo mục ngơn ngữ tiếng Việt, stop word bị lược bỏ nên tập mục thu nhỏ lại kết thực nghiệm phần 4.2.2 Hiển nhiên, việc tìm kiếm tập mục nhỏ cho thời gian thực thi tốt 4.3 Kết luận thực nghiệm Phiên MongoDB cải tiến với ngôn ngữ tiếng Việt bổ sung mà khơng làm phiên MongoDB gốc có Việc tạo mục văn hay tìm kiếm tồn văn ngơn ngữ phải dựa vào nội dung văn mục đích sử dụng Tuy nhiên, từ sở lý thuyết trình bày chương kết thử nghiệm trình bày chương thấy, lựa chọn ngơn ngữ có ảnh hưởng lớn đến hiệu suất thực thi kết trả hai trình tạo mục tìm kiếm Tất thử nghiệm có kết mong muốn, phù hợp với lý thuyết trình bày chương trước đảm bảo độ tin cậy giải pháp đạt mục tiêu mà luận văn nêu 53 Chương – Chương trình Demo 5.1 Giới thiệu chương trình demo Trong hệ CSDL nói chung hệ CSDL MongoDB nói riêng, tìm kiếm tồn văn luôn gắn liền với tạo mục văn Nói cách khác, để tìm kiếm tồn văn việc phải làm trước hết tạo mục văn Đối với trình tạo mục văn bản, luận văn đề cập chi tiết phần thực nghiệm chương thực tế trình thường thực lần tạo collection Vì vậy, chương 5, chương trình demo nhấn mạnh vào q trình tìm kiếm tồn văn 5.1.1 Mục đích Chương trình demo luận văn nhằm mục đích củng cố vấn đề lý thuyết trình bày chương 2, chương đồng thời làm rõ thêm kết thực nghiệm tìm kiếm chương Bên cạnh đó, chương trình demo xây dựng nhằm thể việc ứng dụng kết luận văn thực tiễn 5.1.2 Ý nghĩa thực tiễn chương trình demo Chương trình demo rút từ phần mơ-đun “Tìm kiếm tồn văn nội dung văn bản” dự án văn phòng điện tử IOFFICE mà tác giả tham gia xây dựng đơn vị làm việc Mơ-đun “Tìm kiếm tồn văn nội dung văn bản” bao gồm khối xử lý là: - Nhận diện văn tiếng Việt tập tin scan (tập tin pdf) Tập hợp nội dung dạng văn tập tin scan (đã nhận diện) tập tin phổ biến khác - Lập mục văn hỗ trợ tìm kiếm tồn văn văn tạo mục Lý hệ CSDL MongoDB chọn để thực mô-đun ưu điểm vượt trội so với hệ CSDL quan hệ hiệu suất thực thi cao, khả mở rộng tốt đặc biệt khả hỗ trợ lưu trữ nhiều loại liệu khác văn bản, hình ảnh, âm thanh, video,… 54 Trong chương trình demo, phần liệu nội dung văn thực tế tác giả khơng phép cơng bố lý bảo mật, thay vào tác giả sử dụng phần liệu tóm tắt nội dung (trích yếu văn bản) Các đính kèm đa phương tiện hình ảnh, âm thanh, video,… liệu demo mang tính chất minh họa Chương trình demo sử dụng hệ CSDL MongoDB cải tiến với mục văn tạo trường “TrichYeu” với ngôn ngữ tiếng Việt 5.2 Nội dung chương trình demo Chương trình demo có hình tìm kiếm bao gồm vùng làm việc chính: - Vùng nhập liệu tìm kiếm tùy chọn - Vùng kết tìm kiếm Hình 5.1 thể giao diện chương trình Hình 5.1: Giao diện chương trình demo 55 Ý nghĩa vùng làm việc chức chi tiết mô tả bảng 5.1 Bảng 5.1: Ý nghĩa vùng làm việc chức chương trình demo Vùng làm việc/Chức Mơ tả Nội dung tìm kiếm Ơ nhập nội dung văn cần tìm Ngơn ngữ tìm kiếm Tùy chọn ngơn ngữ tìm kiếm tiếng Việt tiếng Anh (ngơn ngữ có ảnh hưởng đến kết tìm kiếm trình bày chương 2, 4) Mặc định tìm kiếm ngơn ngữ tiếng Việt Các tùy chọn Tùy chọn có hay khơng việc phân biệt chữ hoa/thường phân biệt dấu tìm kiếm Mặc định không phân biệt chữ hoa/thường không phân biệt dấu tìm kiếm Thực tìm kiếm Thực chức tìm kiếm tồn văn Hiển thị bảng stop words Hiển thị bảng stop words tiếng Việt tiếng Anh (giải thích rõ kết tìm kiếm cho mục đích demo) Kết tìm kiếm Hiển thị kết trả phù hợp với yêu cầu tìm kiếm tồn văn Xem nội dung đính kèm Hiển thị nội dung đính kèm (hình ảnh, âm thanh, video,…) Các chức minh họa rõ hình từ 5.2 đến 5.9 56 Hình 5.2 minh họa giao diện chương trình demo chưa nhập từ khóa tìm kiếm Lúc vùng kết khơng hiển thị Hình 5.2: Chưa khơng nhập nội dung tìm kiếm Khi nhập từ khóa (ví dụ: “Nghị định Chính phủ”), chọn ngơn ngữ tiếng Việt thực tìm kiếm, kết hiển thị vùng kết tìm kiếm hình 5.3 với tổng số kết tìm 272.971 Kết phù hợp với kết thực nghiệm đề cập trường hợp mục 4.2.3.2 57 Hình 5.3: Tìm kiếm với ngơn ngữ tiếng Việt Cùng từ khóa tìm kiếm (“Nghị định Chính phủ”), tìm kiếm với ngôn ngữ tiếng Anh, kết trả hình 5.4 với tổng số kết tìm 313.235 Kết phù hợp với thực nghiệm đề cập trường hợp mục 4.2.3.2 58 Hình 5.4: Tìm kiếm với ngơn ngữ tiếng Anh Ngồi ra, chương trình demo hỗ trợ thêm tùy chọn khác phân biệt chữ hoa/thường, phân biệt dấu tìm kiếm (hình 5.5), thể khả mạnh mẽ tìm kiếm tồn văn MongoDB Bên cạnh đó, chương trình demo thiết kế hai bảng stop words tiếng Anh tiếng Việt để tiện cho việc đối sánh tìm kiếm với hai ngơn ngữ (hình 5.6 hình 5.7) 59 Hình 5.5: Tìm kiếm với tùy chọn Hình 5.6: Stop words ngơn ngữ tiếng Việt 60 Hình 5.7: Stop words ngơn ngữ tiếng Anh Hình 5.8 hình 5.9 thể khả lưu trữ thao tác với liệu đa phương tiện hình ảnh, video Hình 5.8: Xem nội dung tập tin video 61 Hình 5.9: Xem nội dung tập tin hình ảnh 62 Chương – Tổng kết 6.1 Ý nghĩa đóng góp luận văn - Đề giải pháp cho ngôn ngữ (không tiếng Việt) nhằm khắc phục hạn chế MongoDB vấn đề hỗ trợ ngôn ngữ tạo lập mục văn tìm kiếm tồn văn - Cải thiện hiệu suất thực thi mức độ phù hợp tạo mục văn tìm kiếm tồn văn, góp phần nâng cao hiệu việc sử dụng MongoDB tình hình bùng nổ liệu 6.2 Thuận lợi khó khăn q trình xây dựng luận văn 6.2.1 Thuận lợi Trong trình xây dựng luận văn, tác giả nhận hướng dẫn, bảo tận tình thầy, cơ; hỗ trợ, động viên từ bạn bè, đồng nghiệp với chia sẻ từ cộng đồng lập trình nói chung cộng đồng MongoDB nói riêng 6.2.2 Khó khăn Mã nguồn MongoDB tải miễn phí tài liệu kiến trúc mã nguồn khơng cơng bố Các tài liệu liên quan đến vấn đề hỗ trợ ngôn ngữ MongoDB chủ yếu đề cập đến cách thức sử dụng ngôn ngữ hỗ trợ cú pháp mà không đề cập đến việc cài đặt ngôn ngữ 6.3 Một số hạn chế hướng phát triển luận văn 6.3.1 Hạn chế - Chưa đề xuất phương án tối ưu cho việc xây dựng stop words nhằm cải thiện tốt hiệu suất thực thi mức độ phù hợp tìm kiếm - Chưa xử lý vấn đề từ ghép, từ đồng nghĩa tiếng Việt 6.3.2 Hướng phát triển luận văn - Nghiên cứu giải pháp xây dựng stop words cho ngơn ngữ tiếng Việt cách có hệ thống đầy đủ 63 - Nghiên cứu xử lý ngơn ngữ tiếng Việt nhằm tìm giải pháp khắc phục vấn đề từ ghép, từ đồng nghĩa - Nghiên cứu xử lý vấn đề tách từ với đặc trưng ngơn ngữ tiếng Việt - Tìm kiếm, nghiên cứu giải pháp khác nhằm cải thiện hiệu suất tạo mục văn mức độ phù hợp kết tìm kiếm [10][11] 6.4 Kết luận Hệ CSDL MongoDB với ưu điểm không ràng buộc, phân tán, nguồn mở, hiệu suất cao, khả mở rộng tốt,… ngày sử dụng rộng rãi nước giới Trong kỷ nguyên liệu bùng nổ nhu cầu ứng dụng MongoDB lưu trữ xử lý liệu lớn cần thiết thực tế Với việc giải toán hỗ trợ ngôn ngữ tiếng Việt MongoDB, cải thiện hiệu lập mục tìm kiếm tồn văn, luận văn góp phần làm cho việc ứng dụng MongoDB trở nên thiết thực nữa, hiệu đặc biệt CSDL sử dụng ngôn ngữ tiếng Việt Tài liệu tham khảo Cam-Tu Nguyen, Xuan-Hieu Phan and Thu-Trang Nguyen (2010), JVnTextPro: A Java-based Vietnamese Text Processing Tool, truy cập ngày 21 tháng năm 2016, http://jvntextpro.sourceforge.net/ Christopher D Manning, Prabhakar Raghavan, Hinrich Schütze (2008), An Introduction to Information Retrieval ISBN 978-0-521-86571-5, Cambridge University Press Craig Macdonald Iadh Ounis, Vassilis Plachouras Ian Ruthven, RyenW White (Eds.) (2008), Advances in Information Retrieval In Proceedings of the 30th European Conference on IR Research (ECIR 2008 Glasgow), LNCS 4956, ISBN 978-3-540-78645-0, Springer Berlin, Heidelberg, NewYork, 2008, pp 222-233 MongoDB Inc (2016), Build Mongodb From Source, MongoDB Inc, truy cập ngày 20 tháng năm 2016, https://github.com/mongodb/mongo/wiki/Build-MongodbFrom-Source MongoDB Inc (2016), MongoDB Download Center, MongoDB Inc, truy cập ngày 20 tháng năm 2016, https://www.mongodb.com/download-center MongoDB Inc (2016), MongoDB Source Code (Master Branch), MongoDB Inc, truy cập ngày 20 tháng năm 2016, https://github.com/mongodb/mongo MongoDB Inc (2016), The MongoDB 3.2 Manual, MongoDB Inc, truy cập ngày 16 tháng năm 2016, https://docs.mongodb.com/manual/ Nguyễn Thị Minh Tâm (2014), Các vấn đề xử lý tiếng Việt để nâng cao hiệu công cụ tìm kiếm, luận văn thạc sĩ ngành ngơn ngữ học, Trường Đại học Khoa học Xã hội Nhân văn, Đại học Quốc gia Hà Nội SolidIT Company (2016), DB-Engines Ranking, SolidIT Company, truy cập ngày 06 tháng năm 2016, http://db-engines.com/en/ranking 10 Trong Nhan PHAN, Josef Küng, Tran Khanh DANG (2014), An Adaptive Similarity Search in Massive Datasets Transactions on Large-Scale Data - and Knowledge-Centered Systems XXIII - Selected Papers from FDSE 2014 Lecture Notes in Computer Science 9840, ISBN 978-3-662-49174-4, Springer Verlag 2016, tr 45-74 11 Trong Nhan Phan, Markus Jaeger, Stefan Nadschlaeger, Josef Küng, DANG Tran Khanh: An Efficient Document Indexing-based Similarity Search in Large Datasets In Proceedings of the 2nd International Conference on Future Data and Security Engineering (FDSE 2015), LNCS 9446, ISBN 978-3-319-26134-8, Springer Verlag, Ho Chi Minh City, Vietnam, November 23-25, 2015, tr 16-31 Phụ lục Tập tin cấu hình config.txt Sử dụng tập tin config.txt để cấu hình thư mục lưu trữ liệu nhật ký hoạt động MongoDB Nội dung tập tin sau: dbpath= [Thư_mục_tùy_chọn]\data logpath= [Thư_mục_tùy_chọn]\log\mongo.log Chú ý: Người dùng phải có đủ quyền truy cập thư mục [Thư_mục_tùy_chọn] để thực thi thành công MongoDB Các ngôn ngữ hỗ trợ MongoDB Tính đến phiên 3.2.9, MongoDB hỗ trợ 15 ngơn ngữ lập mục tìm kiếm toàn văn bao gồm: tiếng Anh, tiếng Pháp, tiếng Đức, tiếng Tây Ban Nha, tiếng Bồ Đào Nha, tiếng Nga, tiếng Ý, tiếng Phần Lan, tiếng Thụy Điển, tiếng Thổ Nhĩ Kỳ, tiếng Hà Lan, tiếng Hungary, tiếng Na Uy, tiếng Đan Mạch, tiếng Roman ... 2.4 Tìm kiếm văn 2.4.1 Tổng quan MongoDB hỗ trợ toán tử truy vấn để thực tìm kiếm văn nội dung liệu kiểu chuỗi Kỹ thuật tìm kiếm tồn văn sử dụng mục văn toán tử $text 2.4.2 Chỉ mục văn Chỉ mục văn. .. xây dựng mục văn tìm kiếm toàn văn Để giải vấn đề đồng thời nâng cao hiệu tìm kiếm MongoDB ngôn ngữ tiếng Việt, luận văn hướng đến mục tiêu sau đây: - Tìm hiểu chế lập mục văn tìm kiếm MongoDB... 2.3 Chỉ mục văn 2.3.1 Giới thiệu MongoDB cung cấp mục văn để hỗ trợ cho tìm kiếm tồn văn nội dung văn lưu trữ Chỉ mục văn bao gồm trường liệu kiểu chuỗi mảng chuỗi 2.3.2 Tạo lập mục văn Trong