Ứng dụng kỹ thuật lọc cộng tác để xây dựng hệ thống khuyến nghị sách tại trung tâm học liệu trường đại học quảng bình

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN NGỌC THÀNH ỨNG DỤNG KỸ THUẬT LỌC CỘNG TÁC ĐỂ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SÁCH TẠI TRUNG TÂM HỌC LIỆU TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KỸ THUẬT Người hướng dẫn khoa học: TS PHẠM XUÂN HẬU Đà Nẵng, Năm 2018 LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu hồn tồn tơi Các nội dung luận văn, điều trình bày luận văn cá nhân tổng hợp từ nhiều nguồn tài liệu tham khảo Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin chịu hồn tồn trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Tác giả luận văn ký ghi rõ họ tên TRANG TÓM TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT LỌC CỘNG TÁC ĐỂ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SÁCH TẠI TRUNG TÂM HỌC LIỆU TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Học viên: Nguyễn Ngọc Thành Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 Khóa: K34 Trường Đại học Bách khoa - ĐHĐN Tóm tắt - Hệ thống khuyến nghị ứng dụng thành cơng dự đốn sở thích, thói quen người dùng dựa vào sở thích, thói quen họ khứ Hệ thống khuyến nghị ứng dụng nhiều lĩnh vực khác thương mại điện tử (hỗ trợ bán hàng trực tuyến), giải trí (khuyến nghị phim ảnh, hát, ), giáo dục đào tạo (khuyến nghị nguồn tài nguyên học tập, nghiên cứu, ) Chính khả ứng dụng rộng rãi nó, Hệ thống khuyến nghị mở nhiều tiềm nghiên cứu xây dựng hệ thống thực tế Trong viết này, giới thiệu sơ lược hệ thống khuyến nghị vấn đề liên quan, nhóm kỹ thuật ứng dụng hệ thống khuyến nghị Từ khóa – hệ thống khuyến nghị; lọc cộng tác; k-láng giềng gần nhất; đánh giá; dự đoán USING COLABORATIVE FITTERING TO BUILD A BOOK RECOMMENDATION SYSTEM APPLY FOR QB UNIVERSITY LIBRARY RESOURCE CENTER Abstract - Recommender Systems (RS) are successfully applied in predicting user preferences For instance, RS has been used in many areas such as in ecommerce (for onlin shopping), in entertainments (music/movie/video clip recommendation), and in education learning resource recommendation) Because of its usefulness and popularity, RS becomes an interesting and potential research topic It is widely used for building intelligent systems In this work, we introduce about the RS and the current techniques which are commonly used in RS Key words - Recommender systems; collaborative filtering; K-nearest neighbor; rating; gues MỤC LỤC TRANG BÌA LỜI CAM ĐOAN TRANG TĨM TẮT LUẬN VĂN MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU 1 Lý chọn đề tài: Mục đích nghiên cứu: Đối tượng phạm vi nghiên cứu: Phương pháp nghiên cứu: Ý nghĩa khoa học thực tiễn đề tài: Cấu trúc luận văn: CHƯƠNG GIỚI THIỆU TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Lọc thông tin 1.2 Hệ thống khuyến nghị 1.3 Ứng dụng hệ thống khuyến nghị 1.4 Phát biểu toán khuyến nghị: 1.5 Các phương pháp lọc cho hệ thống khuyến nghị 10 1.5.1 Phương pháp khuyến nghị dựa vào lọc nội dung: 10 1.5.2 Phương pháp khuyến nghị dựa vào lọc cộng tác: 14 1.5.3 Phương pháp khuyến nghị dựa vào lọc kết hợp: 15 CHƯƠNG PHƯƠNG PHÁP LỌC CỘNG TÁC 19 2.1 Kỹ thuật lọc cộng tác 19 2.1.1 Lọc cộng tác 19 2.1.2 Bài toán lọc cộng tác 20 2.2 Các kỹ thuật lọc cộng tác 22 2.2.1 Kỹ thuật dựa lọc cộng tác dựa nhớ 22 2.2.2 Kỹ thuật lọc cộng tác dựa mơ hình 29 2.3 Tính tốn dự đốn khuyến nghi 31 2.3.1 Cơng thức dự dốn dựa trung bình đánh giá sản phẩm lân cận 31 2.3.2 Cơng thức dự đốn dựa tổng trọng số (Weighted Sum) 32 2.3.3 Công thức dự đoán dựa tổng trọng số với đánh giá trung bình người dùng 33 2.3.4 Công thức dự đoán dựa tổng trọng số với trung bình đánh giá lên sản phẩm 35 CHƯƠNG XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SÁCH TẠI TRUNG TÂM HỌC LIỆU TRƯỜNG ĐẠI HỌC QUẢNG BÌNH 37 3.1 Giới thiệu toán 37 3.2 Áp dụng kỹ thuật lọc cộng tác cho toán khuyến nghị sách: 38 3.3 Xây dựng hệ thống 41 3.3.1 Giới thiệu hệ thống 41 3.3.2 Môi trường cài đặt hệ thống 41 3.3.3 Các chức hệ thống 41 3.3.4 Sơ đồ Use case 43 3.3.5 Lược đồ Cơ sở liệu quan hệ 44 3.3.6 Giải thuật xử lý hệ thống 45 3.3.7 Một số hình ảnh hệ thống 47 KẾT LUẬN VÀ KIẾN NGHỊ 51 DANH MỤC TÀI LIỆU THAM KHẢO 52 QU ẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) BẢN SAO KẾT LUẬN CỦA HỘI ĐỒNG, BẢN SAO NHẬN XÉT CỦA CÁC PHẢN BIỆN DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CBF Lọc theo nội dung CF Lọc cộng tác HF Lọc kết hợp IF Thông tin KNN K-láng giềng gần MBF Lọc dựa vào nhớ MDBF Lọc dựa vào mơ hình Hệ thống khuyến nghị RS DANH MỤC CÁC BẢNG Bảng 2.1 Bảng đánh giá người dùng với sản phẩm 21 Bảng 2.2 Bảng tính độ tương tự theo công thức cosine 26 Bảng 2.3 Bảng tính độ tương tự theo cơng thức Pearson 27 Bảng 2.4 Bảng dự đốn KN theo phương pháp tính trung bình dự đốn 32 Bảng 2.5 Bảng dự đoán khuyến nghị theo phương pháp Weigth Sum 33 Bảng 2.6 Bảng dự đoán khuyến nghị theo phương pháp tổng trọng số với đánh giá trung bình người dùng sử dụng độ tương tự Cosine 34 Bảng 2.7 Bảng dự đoán khuyến nghị theo phương pháp tổng trọng số với đánh giá trung bình sản phẩm sử dụng độ tương tự Cosine 36 DANH MỤC CÁC HÌNH Hình 1.1 Minh họa hệ thống khuyến nghị sách cho người đọc Hình 1.2 Ví dụ minh họa cho hệ thống khuyến nghị bán hàng Amazon Hình 1.3 Ví dụ minh họa cho hệ thống khuyến nghị video Youtube Hình 1.4 Ví dụ minh họa cho hệ thống khuyến nghị hát Hình 1.5 Ví dụ minh họa cho hệ thống khuyến nghị du lịch Hình 1.6 Ví dụ minh họa cho hệ thống khuyến nghị môn học cho sinh viên Hình 1.7 Mơ hình tổng qt phương pháp khuyến nghị dựa vào lọc nội dung 11 Hình 1.8 Mơ hình tổng qt phương pháp khuyến nghị dựa vào lọc cộng tác 15 Hình 3.1 Use case người dùng 43 Hình 3.2 Use case xem đầu sách khuyến nghị 43 Hình 3.3 Use case hệ thống trung tâm 44 Hình 3.4 Lược đồ sở liệu quan hệ 44 Hình 3.5 Giao diện website hệ thống khuyến nghị sách 47 Hình 3.6 Giao diện người dùng mơ tả chi tiết sách 48 Hình 3.7 Giao diện đăng ký người dùng hệ thống 48 Hình 3.8 Giao diện thông báo người dùng chưa đủ CSDL 49 Hình 3.9 Giao diện thơng báo người dùng đánh giá đủ CSDL 49 Hình 3.10 Giao diện hệ thống khuyến nghị sách cho người dùng 50 MỞ ĐẦU Lý chọn đề tài: Hiện nay, với phát triển công nghệ thông tin, nhu cầu tìm kiếm, lựa chọn thơng tin Internet ngày trở nên phổ biến lượng thông tin đưa lên Internet ngày tăng theo cấp số nhân Vì thách thức đặt người sử dụng phải đối mặt với kho thơng tin khổng lồ việc họ khơng có đủ thời gian để xem xét lựa chọn tất sách, tất cá phim, tạp chí hay hát,… Họ khơng biết nên tìm xem phim gì, đọc sách phù hợp với sở thích, nhu cầu thân Cụ thể Trung tâm Học liệu Trường Đại học Quảng Bình, liệu Sách tham khảo nhiều, sinh viên đến Trung tâm Học liệu tìm tài liệu chủ yếu vào tìm kiếm, lần tìm kiếm kết tương đối nhiều gây cho nhiễu thơng tin sinh viên đó, mặt khác sinh viên muốn truy cập tìm nguồi liệu sách tham khảo với sở thích tốn nhiều thời gian Để giải vấn đề hệ thống khuyến nghị (Recommendation Systems RS) đề xuất, từ nhiều kết nghiên cứu hệ thống khuyến nghị áp dụng lĩnh vực khác nhau, đối tượng thông tin khác triển khai Các kết nghiên cứu nhằm hỗ trợ người dùng sản phẩm phù hợp với nhu cầu sở thích họ Hệ khuyến nghị chế tự động nhằm giúp người dùng nhận thơng tin sản phẩm mà có khả người dùng thích Hệ khuyến nghị trở nên phổ biến năm gần sử dụng ứng dụng khác Hệ thống dựa vào thông tin người dùng cung cấp thơng qua q trình tương tác để khuyến nghị Những kết khuyến nghị cập nhật dựa vào ngữ cảnh thông tin người dùng mà hệ thống có Chính chọn đề tài luận văn “Ứng dụng kỹ thuật lọc cộng tác để xây dựng hệ thống khuyến nghị Sách Trung tâm Học liệu Trường đại học Quảng Bình” Trong luận văn này, tơi trình bày kiến thức, phương pháp thuật toán áp dụng cho hệ khuyến nghị Trọng tâm luận văn tập trung tìm hiểu, nghiên cứu kỹ thuật lọc cộng tác với thuật tốn cho q trình khuyến nghị sách tại Trung tâm Học liệu Trường Đại học Quảng Bình Mục đích nghiên cứu: Mục đích luận văn tìm hiểu hệ khuyến nghị ứng dụng kỹ thuật lọc cộng tác để xây dựng hệ thống khuyến nghị sách Trung tâm Học liệu Trường đại học Quảng Bình Đối tượng phạm vi nghiên cứu: Đối tượng nghiên cứu hệ thống khuyến nghị kỹ thuật lọc cộng tác hệ thống khuyến nghị Phạm vi đề tài tập trung nghiên cứu vào: kỹ thuật lọc cộng tác để xây dựng ứng dụng hệ khuyến nghị sách Trường Đại học Quảng Bình Phương pháp nghiên cứu: Dựa việc thu thập, nghiên cứu tìm hiểu hệ thống khuyến nghị từ tài liệu nghiên cứu công bố tạp chí, sách ngồi nước, đặc biệt trọng đến nghiên cứu chuyên sâu kỹ thuật lọc cộng tác áp dụng kỹ thuật lọc cộng tác vào ứng dụng thực tế Ý nghĩa khoa học thực tiễn đề tài: Ý nghĩa khoa học đề tài hiểu hệ thống khuyến nghị áp dụng kỹ thuật lọc cộng tác để xây dựng hệ thống khuyến nghị Ý nghĩa thực tiễn đề tài xây dựng hệ thống khuyến nghị sách cho Trung tâm học liệu, Trường Đại học Quảng Bình 48 Hình 3.6 Giao diện người dùng mơ tả chi tiết sách Hình 3.7 Giao diện đăng ký người dùng hệ thống 49 Hình 3.8 Giao diện thơng báo người dùng chưa đủ CSDL Hình 3.9 Giao diện thơng báo người dùng đánh giá đủ CSDL 50 Hình 3.10 Giao diện hệ thống khuyến nghị sách cho người dùng 51 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn trình bày tìm hiểu hệ thống khuyến nghị ứng dụng phương pháp lọc cộng tác hệ thống khuyến nghị Mục tiêu biết cách xây dựng hệ thống áp dụng kỹ thuật lọc cộng tác vào thực tiễn Luận văn tìm hiểu phương pháp hệ thống khuyến nghị, cụ thể sâu thuật toán, kỹ thuật phương pháp lọc cộng tác hệ thống khuyến nghị triển khai xây dựng hệ thống khuyến nghị sách cho người dùng Luận văn xây dựng ứng dụng khuyến nghị sách Trung tâm Học liệu Trường Đại học Quảng Bình Tuy nhiên, luận văn cịn nhiều điểm hạn chế, luận văn mức độ nghiên cứu, tìm hiểu, mơ thử nghiệm, chưa cài đặt ứng dụng hệ thống thực tế Trường Đại học Quảng Bình Những hạn chế đưa số hướng mở cho đề tài tiếp tục phát triển sau: Tiếp tục tìm hiểu phương pháp lọc nội dung phương pháp lọc kết hợp hệ thống khuyến nghị số thuật toán liên quan đến hệ thống khuyến nghị Tiếp tục nghiên cứu số kỹ thuật dự đốn khuyến nghị từ đưa kỹ thuật tối ưu để áp dụng cho hệ thống khuyến nghị Hoàn thiện chức hệ thống áp dụng ứng dựng vào hệ thống Trung tâm Học liệu – Trường Đại học Quảng Bình 52 DANH MỤC TÀI LIỆU THAM KHẢO [1] Gediminas Adomavicius, (2005), “Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions”, IEEE [2] Huifeng Sun, Yong Peng, Junliang Chen, Chuanchang Liu, Yuzhuo Sun (2011), “A New Similarity Measure Based on Adjusted Euclidean Distance for Memory- based Collaborative Filtering” [3] Ron zacharski (2005), “A programmer’s Guide to Data Mining, The Ancient Art of the Numerati [4] X Su, T M Khoshgoftaar (2009), “A Survey of Collaborative Filtering Techniques” Advances in Artificial Intelligence, vol 2009 [5] Zheng Wen (2008), “Recommendation System Based on Collaborative Filtering,” [6] Nguyến Duy Phương, 2011, Phát triển số phương pháp lọc thông tin cho hệ khuyến nghị, Luận văn tiến sỹ, Đại học Công Nghệ, Hà Nội [7] Nguyễn Thái Nghe Nguyễn Tấn Phong, 2014 Xây dựng hệ thống hát dựa phản hồi tiềm ẩn Tạp chí Khoa học Trường Đại học Cần Thơ, Số 34, 81-91 [8] Nguyễn Thái Nghe Lưu Chân Thiện 2015 Một tiếp cận xây dựng hệ thống gợi ý theo ngữ cảnh Kỷ yếu Hội nghị quốc gia lần thứ VIII "Nghiên cứu ứng dụng Công nghệ thông tin" (FAIR 2015) [9] Huỳnh Lý Thanh Nhàn, Nguyễn Thái Nghe 2013 Hệ thống dự đoán kết học tập gợi ý lựa chọn môn học Kỷ yếu hội thảo quốc gia lần thứ XVI, Một số vấn đề chọc lọc CNTT&TT, trang 110-118 ... dụng kỹ thuật, thuật toán phương pháp lọc cộng tác vào hệ thống khuyến nghị sách Trung tâm Học liệu – Trường Đại học Quảng Bình 37 Chương – XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SÁCH TẠI TRUNG TÂM HỌC... lọc cộng tác để xây dựng hệ thống khuyến nghị sách Trung tâm Học liệu Trường đại học Quảng Bình Đối tượng phạm vi nghiên cứu: Đối tượng nghiên cứu hệ thống khuyến nghị kỹ thuật lọc cộng tác hệ. .. TẮT LUẬN VĂN ỨNG DỤNG KỸ THUẬT LỌC CỘNG TÁC ĐỂ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ SÁCH TẠI TRUNG TÂM HỌC LIỆU TRƯỜNG ĐẠI HỌC QUẢNG BÌNH Học viên: Nguyễn Ngọc Thành Chuyên ngành: Khoa học máy tính