MỤC LỤC MỤC LỤC 1 LỜI MỞ ĐẦU 3 TỔNG QUAN ĐỀ TÀI 4 1. Lý do chọn đề tài 4 2. Mục tiêu nghiên cứu 4 3. Nội dung nghiên cứu 4 4. Đối tượng, phạm vi, phương pháp nghiên cứu 5 5. Dự kiến kết quả đạt được của đề tài và khả năng ứng dụng 5 NỘI DUNG ĐỀ TÀI 5 I. GIỚI THIỆU VỀ CƠ SỞ THỰC TẬP 6 1. Chức năng, nhiệm vụ của trung tâm 6 2. Cơ sở vật chất và nguồn vốn tài liệu 7 CHƯƠNG 1: TỔNG QUAN VỀ HỆ TƯ VẤN 9 1.1. Phương pháp lọc tin 9 1.1.1. Lọc thông tin là gì? 9 1.2. Hệ tư vấn 11 1.2.1. Hệ tư vấn (Recommender System) 11 CHƯƠNG 2: GIỚI THIỆU VỀ HỆ TƯ VẤN DỰA TRÊN PHƯƠNG PHÁP LỌC CỘNG TÁC. 19 2.1. Giới thiệu về lọc cộng tác dựa trên sản phẩm 19 2.2. Lọc cộng tác dựa trên mô hình đồ thị 22 2.3. Lọc cộng tác dựa vào lọc đồng huấn luyện 27 2.3 Vấn đề thưa thớt dữ liệu và người dùng mới 29 CHƯƠNG 3: WEBSITE TƯ VẤN TÀI LIỆU HỌC TẬP CHO SINH VIÊN 31 3.1. Phát biểu bài toán 31 3.2. Phân tích yêu cầu 31 3.5. Kết luận 36 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 37 1. Kết luận 37 2. Hướng phát triển 37 TÀI LIỆU THAM KHẢO 38 LỜI MỞ ĐẦU Ngày nay, internet đã trở thành công cụ thiết yếu để kết nối mọi người trên thế giới, mọi thông tin thời sự, chính luận, các sự kiện diễn ra hằng ngày đều có thể đưa lên hoặc tìm thấy ở trên Internet. Chính điều đó đã tạo ra một cuộc bùng nổ thông tin số. Một số công cụ tìm kiếm với từ khóa, điển hình như google, yahoo… giúp chúng ta rất nhiều trong tìm kiếm những thông tin cần thiết. Nhưng với lượng thông tin tăng lên nhanh chóng, các công cụ tìm kiếm theo từ khóa cũng đang dần tỏ ra không hoàn toàn đáp ứng được nhu cầu của con người. Thêm nữa, đôi khi người dùng cũng không hiểu hết nhu cầu của mình, không biết được từ khóa chính xác mình muốn tìm kiếm, do đó rất khó để tìm được thông tin mình cần. Để đạt được những kết quả tốt, những mục tiêu mà bản thân đã đặt ra cho bài luận văn tốt nghiệp quan trọng này, em xin chân thành cảm ơn sự chỉ đạo tận tình của TS. Phạm Xuân Hậu - Giảng viên khoa Kỹ thuật - Công nghệ thông tin - Trường ĐH Quảng Bình. Đồng thời, em cũng xin gửi lời cảm ơn chân thành tới Ban giám hiệu Trường Đại học Quảng Bình, các giảng viên khoa Kỹ thuật - Công nghệ thông tin đã tạo mọi điều kiện thuận lợi giúp chúng em được thực hiện khóa luận tốt nghiệp này. Mặc dù đã hết sức cố gắng hết sức, song lượng kiến thức còn có hạn, cũng như kiến thức thực tế còn ít chưa đủ để phục vụ cho công việc, vì vậy em mong nhận được sự thông cảm, bỏ qua và đóng góp những ý kiến để báo cáo thực tập của em được hoàn thiện hơn. Cuối cùng, em xin chân thành cảm ơn gia đình và bạn bè, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên em trong suốt quá trình học tập và hoàn thành khoá luận tốt nghiệp. Em xin chân thành cảm ơn! TỔNG QUAN ĐỀ TÀI 1. Lý do chọn đề tài Ngày nay, internet đã trở thành công cụ thiết yếu để kết nối mọi người trên thế giới, mọi thông tin thời sự, chính luận, các sự kiện diễn ra hằng ngày đều có thể đưa lên hoặc tìm thấy ở trên Internet. Chính điều đó đã tạo ra một cuộc bùng nổ thông tin số, số lượng thông tin trao đổi trên internet đang tăng theo cấp số nhân. Càng ngày bạn càng mất nhiều thời gian trong việc tìm xem sản phẩm hay thông tin nào phù hợp với mình. Một số công cụ tìm kiếm với từ khóa, điển hình như google, yahoo… giúp chúng ta rất nhiều trong tìm kiếm những thông tin cần thiết. Nhưng với lượng thông tin tăng lên nhanh chóng, các công cụ tìm kiếm theo từ khóa cũng đang dần tỏ ra không hoàn toàn đáp ứng được nhu cầu của con người. Hàng ngày bạn phải bỏ ra quá nhiều thời gian để lọc những thông tin tìm kiếm được trên google. Thêm nữa, đôi khi người dùng cũng không hiểu hết nhu cầu của mình, không biết được từ khóa chính xác mình muốn tìm kiếm, do đó rất khó để tìm được thông tin mình cần. Nhìn gần hơn nữa, ngay tại trường Đại học Quảng Bình, Trung tâm học liệu có đến hàng ngàn đầu sách chia thành từng chuyên ngành để sinh viên lựa chọn. Tuy nhiên, không phải sinh viên nào cũng có thể chọn cho mình những cuốn sách đúng với chuyên ngành của mình, hoặc sách không phù hợp với trình độ hiện tại đang theo học. Nhu cầu đặt ra là cần có một hệ tư vấn. Các hệ thống tư vấn này sẽ tính toán và dự đoán khả năng người dùng sẽ thích sản phẩm dựa trên thông tin như: chuyên ngành, năm học, môn học, sách mà các sinh viên năm trước đã sử dụng… Từ đó đưa ra những gợi ý về sản phẩm hay thông tin có thể phù hợp với người dùng nhất. Trên đây là những lý do để tôi thực hiện đề tài “Tìm hiểu hệ tư vấn cho hệ thống tư vấn tài liệu học tập cho sinh viên trường Đại học Quảng Bình”. 2. Mục tiêu nghiên cứu - Hiểu được hệ tư vấn là gì - Nắm rõ phương pháp lọc cộng tác trong hệ tư vấn. 3. Nội dung nghiên cứu - Chương 1: Tổng quan về hệ tư vấn. - Chương 2: Giới thiệu về hệ tư vấn dựa trên phương pháp lọc cộng tác. - Chương 3: Website tư vấn tài liệu học tập cho sinh viên 4. Đối tượng, phạm vi, phương pháp nghiên cứu - Đối tượng nghiên cứu: Các phương pháp lọc cộng tác. - Phạm vi nghiên cứu: Phương pháp lọc cộng tác và thư viện sách trường Đại học Quảng Bình. - Phương pháp nghiên cứu: Nghiên cứu lý thuyết ứng dụng. 5. Dự kiến kết quả đạt được của đề tài và khả năng ứng dụng - Một tài liệu tham khảo cho sinh viên ngành công nghệ thông tin, công nghệ phần mềm - Demo ứng dụng cơ bản.
Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng MỤC LỤC MỤC LỤC LỜI MỞ ĐẦU TỔNG QUAN ĐỀ TÀI Lý chọn đề tài Mục tiêu nghiên cứu Nội dung nghiên cứu Đối tượng, phạm vi, phương pháp nghiên cứu Dự kiến kết đạt đề tài khả ứng dụng NỘI DUNG ĐỀ TÀI I GIỚI THIỆU VỀ CƠ SỞ THỰC TẬP Chức năng, nhiệm vụ trung tâm Cơ sở vật chất nguồn vốn tài liệu CHƯƠNG 1: TỔNG QUAN VỀ HỆ TƯ VẤN 1.1.Phương pháp lọc tin 1.1.1 Lọc thông tin gì? 1.2 Hệ tư vấn 1.2.1 Hệ tư vấn (Recommender System) CHƯƠNG 2: GIỚI THIỆU VỀ HỆ TƯ VẤN DỰA TRÊN PHƯƠNG PHÁP LỌC CỘNG TÁC 2.1 Giới thiệu lọc cộng tác dựa sản phẩm 2.2 Lọc cộng tác dựa mơ hình đồ thị 2.3 Lọc cộng tác dựa vào lọc đồng huấn luyện 2.3 Vấn đề thưa thớt liệu người dùng CHƯƠNG 3: WEBSITE TƯ VẤN TÀI LIỆU HỌC TẬP CHO SINH VIÊN 3.1 Phát biểu toán 3.2 Phân tich yêu câu SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng 3.5 Kết luận KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Hướng phát triển TÀI LIỆU THAM KHẢO SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng LỜI MỞ ĐẦU Ngày nay, internet trở thành công cụ thiết yếu để kết nối người giới, thông tin thời sự, chinh luận, s ự ki ện di ễn ngày đưa lên tìm thấy Internet Chinh ều tạo bùng nổ thông tin số Một số công cụ tìm kiếm với từ khóa, điển google, yahoo… giúp nhiều tìm kiếm thông tin cân thiết Nhưng với lượng thông tin tăng lên nhanh chóng, cơng cụ tìm kiếm theo từ khóa dân tỏ khơng hồn tồn đáp ứng nhu câu người Thêm nữa, ng ười dùng không hiểu hết nhu câu mình, khơng biết đ ược t khóa chinh xác muốn tìm kiếm, khó để tìm thơng tin cân Để đạt kết tốt, mục tiêu mà thân đ ặt cho luận văn tốt nghiệp quan trọng này, em xin chân thành c ảm ơn đạo tận tình TS Phạm Xuân Hậu - Giảng viên khoa Kỹ thu ật Công nghệ thông tin - Trường ĐH Quảng Bình Đ ồng th ời, em xin g ửi lời cảm ơn chân thành tới Ban giám hiệu Trường Đại học Quảng Bình, giảng viên khoa Kỹ thuật - Công nghệ thông tin tạo m ọi điều kiện thu ận lợi giúp chúng em thực khóa luận tốt nghiệp Mặc dù cố gắng hết sức, song lượng kiến th ức có h ạn, kiến thức thực tế it chưa đủ để phục vụ cho cơng việc, v ậy em mong nhận thơng cảm, bỏ qua đóng góp nh ững ý kiến đ ể báo cáo thực tập em hoàn thiện Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, ln t ạo điều kiện, quan tâm, giúp đỡ, động viên em suốt q trình học tập hồn thành khố luận tốt nghiệp Em xin chân thành cảm ơn! SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng TỔNG QUAN ĐỀ TÀI Lý chọn đề tài Ngày nay, internet trở thành công cụ thiết yếu để kết nối người giới, thông tin thời sự, chinh luận, s ự ki ện di ễn ngày đưa lên tìm thấy Internet Chinh ều tạo bùng nổ thơng tin số, số lượng thông tin trao đổi internet tăng theo cấp số nhân Càng ngày bạn nhiều thời gian việc tìm xem sản phẩm hay thơng tin phù h ợp v ới Một số cơng cụ tìm kiếm với từ khóa, điển hình nh google, yahoo… giúp nhiều tìm kiếm thơng tin c ân thiết Nh ưng với lượng thơng tin tăng lên nhanh chóng, cơng cụ tìm ki ếm theo t khóa dân tỏ khơng hồn tồn đáp ứng đ ược nhu câu c người Hàng ngày bạn phải bỏ nhiều th ời gian để lọc nh ững thơng tin tìm kiếm google Thêm nữa, người dùng không hiểu hết nhu câu mình, khơng biết từ khóa chinh xác mu ốn tìm kiếm, khó để tìm thơng tin cân Nhìn gân nữa, trường Đại học Quảng Bình, Trung tâm học liệu có đến hàng ngàn đâu sách chia thành chuyên ngành đ ể sinh viên lựa chọn Tuy nhiên, sinh viên có th ể ch ọn cho sách với chuyên ngành mình, sách khơng phù hợp với trình độ theo học Nhu câu đặt cân có hệ tư vấn Các hệ thống tư v ấn tinh toán dự đoán khả người dùng thich sản ph ẩm d ựa thông tin như: chuyên ngành, năm học, môn học, sách mà sinh viên năm trước sử dụng… Từ đưa gợi ý sản phẩm hay thơng tin phù hợp với người dùng Trên lý để thực đề tài “Tìm hiểu hệ tư vấn cho hệ thống tư vấn tài liệu học tập cho sinh viên trường Đ ại h ọc Quảng Bình” Mục tiêu nghiên cứu - Hiểu hệ tư vấn - Nắm rõ phương pháp lọc cộng tác hệ tư vấn Nội dung nghiên cứu - Chương 1: Tổng quan hệ tư vấn SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng - Chương 2: Giới thiệu hệ tư vấn dựa phương pháp lọc cộng tác - Chương 3: Website tư vấn tài liệu học tập cho sinh viên Đối tượng, phạm vi, phương pháp nghiên cứu - Đối tượng nghiên cứu: Các phương pháp lọc cộng tác - Phạm vi nghiên cứu: Phương pháp lọc cộng tác th viện sách trường Đại học Quảng Bình - Phương pháp nghiên cứu: Nghiên cứu lý thuyết ứng dụng Dự kiến kết đạt đề tài khả ứng dụng - Một tài liệu tham khảo cho sinh viên ngành công nghệ thông tin, công nghệ phân mềm - Demo ứng dụng SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng NỘI DUNG ĐỀ TÀI I GIỚI THIỆU VỀ CƠ SỞ THỰC TẬP Tên đơn vị: Trung tâm Học liệu - Trường Đại học Quảng Bình Địa chỉ: 312 Lý Thường Kiệt - Bắc lý - Đồng Hới - Quảng Bình Điện thoại: 052 3819779; 0232.838777 Email: trungtamhoclieuqbu@gmail.com; LRC@qbu.edu.vn Trung tâm Học liệu Trường Đại học Quảng Bình thành lập ngày 27/3/2013 sở Thư viện Trường ĐHQB Trung tâm hoạt động lĩnh vực thơng tin thư viện, có nhiệm vụ phục vụ hoạt động giảng dạy, học tập, đào tạo, nghiên cứu khoa học; triển khai ứng dụng tiến khoa học công nghệ quản lý; tổ chức thực chương trình đào tạo đại học, đại học, liên kết đào tạo ngành khoa học Thông tin Thư viện, tổ chức hoạt động nghiên cứu khoa học ngành Thông tin Thư viện… góp phần quan trọng để nâng cao chất lượng đào tạo nguồn nhân lực; đồng thời địa điểm tổ chức Hội thảo, Hội nghị nước quốc tế Trường Đại học Quảng Bình Trung tâm có Phòng đọc với 12.000 đầu sách, phòng tự nghiên tiện nghi thống mát; phòng đọc điện tử với 150 máy tính tốc độ cao; phòng Lab, phòng nghe nhìn có hệ thống máy tính cấu hình mạnh, liệu băng đĩa, đồ vẽ sử dụng thuận tiện Trung tâm có phòng để phục vụ hội thảo, hội nghị với phương tiện đại; ứng dụng chụp, scan dịch vụ khác đảm bảo điều kiện tốt cho giảng dạy, học tập nghiên cứu Chức năng, nhiệm vụ trung tâm Chức Trung tâm: - Là đơn vị nghiệp hoạt động lĩnh vực Thông tin Thư viện; Phục vụ hoạt động giảng dạy, học tập, đào tạo, nghiên cứu khoa học triển khai ứng dụng tiến khoa học công nghệ thông qua việc sử dụng, khai thác loại tài liệu có thư viện - Là sở đào tạo, tổ chức thực chương trình đào tạo đại học, đại học, liên kết đào tạo ngành khoa học Thông tin Thư viện, tổ chức hoạt động nghiên cứu khoa học ngành Thông tin Thư viện Nhiệm vụ Trung tâm: SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng - Tổ chức hoạt động phát triển nghiệp thông tin, thư viện Nhà trường - Tổ chức hoạt động đào tạo, bồi dưỡng nghiên cứu khoa học ngành Thông tin-Thư viện - Tổ chức xếp, quản lý nhân sự, công tác nghiệp vụ, chuyên môn Trung tâm; quản lý, kiểm kê định kỳ vốn tài liệu, sở vật chất kỹ thuật tài sản khác; tiến hành lý tài liệu, thiết bị lạc hậu, cũ nát theo quy định Nhà nước quy định Trường Đại học Quảng Bình - Tổ chức hoạt động tuyên truyền, quảng bá hình ảnh, sản phẩm, dịch vụ thông tin thư viện Trung tâm - Tổ chức thực dịch vụ có thu theo quy định Nhà nước nhằm đảm bảo phần kinh phí đơn vị - Thực nhiệm vụ khác Hiệu trưởng trường Đại học Quảng Bình giao Cơ sở vật chất nguồn vốn tài liệu Sơ đồ: Các phòng phục vụ gồm: - Phòng đọc mượn tài liệu: 05 - Phòng Lab, phòng máy tính: 02 - Phòng Hội thảo, chuyên đề: 03 - Phòng nghiên cứu GV; SV: 02 * Các phòng tự học, tự nghiên cứu, học nhóm, đa phương tiện, Phòng Truyền thống dịch vụ khác… SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Nguồn tài nguyên: - Tổng số lượng sách: 98.497 (bản), 12.550 (đầu sách) Trong : Sách Tiếng Việt: 94.092 bản; Sách ngoại văn: 4.405 bản; Khóa luận, luận văn tốt nghiệp: 600 cuốn; Đĩa CD/CD-ROM: 115 đĩa PHỊNG ĐỌC Phòng đọc Phòng đọc Phòng đọc Phòng đọc Phòng đọc LOẠI TÀI LIỆU SỐ LƯỢNG BẢN Tài liệu đọc chỗ gồm: Báo, tạp chí; Luận văn, luận án, đồ án, khóa luận, tiểu luận KHPL: 000-400 Bao gồm tài liệu: Tin học thông tin tác phẩm tổng quát; Triết học; Tôn giáo; Khoa học xã hội; Ngôn ngữ (Tiếng Việt) KHPL: 500-600 Bao gồm tài liệu: Khoa học tự nhiên toán học; Cơng nghệ (Khoa học ứng dụng) Phòng đọc ngoại văn Bao gồm tài liệu: Tiếng Anh; Tiếng Pháp; Tiếng Trung; Tiếng Nhật; Đĩa CD KHPL: 700-900 Bao gồm tài liệu: Nghệ thuật; Mĩ thuật; Giải trí; Văn học; Lịch sử; Địa lý Tổng: 740 36.155 32.240 4.914 24.448 98.497 - Nguồn tài liệu số: Tài liệu nội sinh (DSPACE): 1000 file Nguồn sở liệu khác: Thư viện số: Tài liệu.VN; Proqest: Cục Thông tin Khoa học Cơng nghệ Quốc gia SVTH: Hồng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng CHƯƠNG 1: TỔNG QUAN VỀ HỆ TƯ VẤN 1.1 Phương pháp lọc tin 1.1.1 Lọc thơng tin gì? Lọc thơng tin (Information Filtering) lĩnh vực nghiên cứu trình cung cấp thông tin thich hợp, ngăn ngừa gỡ bỏ thông tin không thich hợp cho người dùng Thơng tin cung c ấp (còn đ ược g ọi sản phẩm) văn bản, trang web, phim, ảnh, d ịch v ụ b ất kỳ dạng thông tin sản sinh từ ph ương ti ện truy ền thông Phạm vi ứng dụng lọc thông tin trải rộng nhiều ứng dụng th ực tế khác khoa học máy tinh Ứng dụng tiêu biểu nh ất c l ọc thông tin kể đến lọc kết tìm kiếm máy tìm kiếm (Search Engine), lọc e-mail dựa nội dung thư hồ sơ người dùng, lọc thông tin văn máy chủ để cung cấp thông tin cho tập th ể cá nhân thich hợp, loại bỏ trang thông tin có ảnh h ưởng khơng t ốt người dùng Đặc biệt, lọc thơng tin có vai trò quan tr ọng cho hệ thống tư vấn (RS) ứng dụng thương mại điện tử Các hệ thống lọc thơng tin khác ngun lý, ph ương pháp, kỹ thuật, phạm vi ứng dụng th ực mục tiêu cung c ấp cho người dùng thông tin cân thiết nhất, loại bỏ nh ững thơng tin khơng có giá trị khơng thich hợp đối v ới ng ười dùng Nguyên lý ph ổ biến dùng lọc thông tin nguyên lý dựa vào d ữ liệu (DataBased) nguyên lý dựa vào tri thức (Knowledge-Based) Các phương pháp lọc thực dựa vào nội dung thơng tin sản ph ẩm ho ặc l ọc dựa thói quen sở thich người dùng Các kỹ thuật l ọc đ ược phát tri ển dựa tảng từ lĩnh vực truy vấn thông tin (Information Retrieval), tách thông tin (Information Extraction), phân loại thông tin (Information Classificarion) Phạm vi ứng dụng hệ thống lọc áp dụng cho tất mơ hình thương mại điện tử thực tế: Khách hàng - Khách hàng (Customer to Customer), Nhà cung cấp - Khách hàng (Business to Customer), Nhà cung cấp - Nhà cung cấp (Business to Business) 1.1.2 Kiến trúc tổng quát hệ thống lọc thông tin Một hệ thống lọc thông tin tổng quát bao gồm bốn thành phân c : - Thành phân phân tich liệu (Data Analyser Component) SVTH: Hoàng Trọng Hải Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng - Thành phân mơ hình người dùng (User Model Component) - Thành phân học (Learning Component) - Thành phân lọc (Filtering Component) Hình 1.1 Kiến trúc tổng quát hệ thống lọc thông tin - Thành phân phân tich liệu (DAC) có nhiệm vụ thu th ập d ữ liệu sản phẩm từ nhà cung cấp thông tin (vi dụ tài liệu, th ện t ử, sách, báo, tạp chi, phim, ảnh ) Dữ liệu sản phẩm phân tich bi ểu diễn theo khn dạng thich hợp, sau chuy ển đến phận l ọc nh Hình 1.1 - Thành phân mơ hình người dùng (UMC) có th ể “hi ện” ho ặc “ ẩn” dùng để lấy thông tin người dùng, giới tinh, tuổi, n sinh s ống thông tin người dùng truy vấn trước để tạo nên h s ng ười dùng Hồ sơ người dùng sau tạo chuyển đến thành phân h ọc đ ể th ực nhiệm vụ huấn luyện - Thành phân học (LC) thực huấn luyện tập hồ sơ ph ản hồi người dùng theo thuật toán học máy cụ th ể Thuật toán h ọc lấy liệu từ thành phân mô tả người dùng, lấy liệu sản phẩm biểu diễn từ thành phân lọc kết hợp với thông tin phản h ồi ng ười dùng để thực nhiệm vụ huấn luyện Kết trình học đ ược chuyển lại cho phận lọc để thực nhiệm vụ - Thành phân lọc (FC) thành phân quan trọng hệ th ống, có nhiệm vụ xem xét phù hợp hồ sơ người dùng biểu diễn d ữ liệu sản phẩm để đưa định phân bổ sản phẩm Nếu liệu sản ph ẩm phù hợp với hồ sơ người dùng, sản phẩm cung cấp cho ng ười SVTH: Hoàng Trọng Hải 10 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng theo công thức (2.5) Ký hiệu X- = (x-ij ) ma trận c ấp N×M đ ược xác đ ịnh theo công thức (2.6) (2.5) (2.6) Đồ thị G+ = (V, E+) biểu diễn theo ma trận X+ có tập đỉnh tập đỉnh G, có tập cạnh E+ bao gồm cạnh có tr ọng số d ương G (2.7) Đồ thị G- = (V, E-) biểu diễn theo ma trận X có t ập đ ỉnh tập đỉnh G, có tập cạnh E bao gồm cạnh có trọng số âm G (2.8) 2.2.2.2 Phương pháp dự đốn đồ thị có trọng số dương G+ Trọng số đường từ đỉnh người dùng u i đến đỉnh sản phẩm pj theo cạnh có trọng số dương ghi nhận số dương ph ản ánh m ức độ “thich” sản phẩm người dùng Nh ững đ ường có đ ộ dài lớn đánh trọng số thấp, đường có độ dài nh ỏ đ ược đánh trọng số cao Những sản phẩm có trọng số cao dùng để t vấn cho người dùng thời Phương pháp dự đoán đồ thị G+ đề xuất d ựa vi ệc tinh toán trọng số đường từ đỉnh người dùng đến đỉnh sản ph ẩm Nh ững sản phẩm có trọng số cao dùng để t v ấn cho ng ười dùng thời Để ý rằng, đồ thị G, G+, G- đồ th ị hai phia, m ột phia đỉnh người dùng, phia lại đỉnh sản phẩm Do v ậy, đ ường từ đỉnh người dùng đến đỉnh sản phẩm ln có độ dài l ẻ Đối với đồ thị hai phia, số đường độ dài L xuất phát t m ột đỉnh thuộc phia người dùng đến đỉnh thuộc phia s ản ph ẩm xác định theo cơng thức 2.9, X ma tr ận bi ểu di ễn đ th ị hai phia, XT ma trận chuyển vị X, L đ ộ dài đ ường (2.9) Để ghi nhận trọng số đường từ đỉnh sản ph ẩm đến đ ỉnh người dùng đồ thị G+ cho đường dài có tr ọng s ố th ấp, đường ngắn có trọng số cao, ta sử dụng h ằng kh nhi ễu α (0< α ≤ 1) theo công thức (2.10), X+ ma trận biểu diễn đồ th ị G+, SVTH: Hoàng Trọng Hải 25 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng (X+)T ma trận chuyển vị X+, L độ dài đ ường Thu ật toán d ự đoán đồ thị G+ thể trong: (2.10) Thuật toán dự đoán đồ thị G+ - Đầu vào: + Ma trận X+ biểu diễn đồ thị G+; - Đầu ra: + K sản phẩm có trọng số cao ch ưa đ ược ng ười dùng đánh giá Các bước thực hiện: Bước Tìm trọng số đường độ dài lẻ L đồ th ị G+ cho đường độ có dài nhỏ đánh trọng số cao, đường có độ dài lớn đánh trọng số thấp Bước Sắp xếp sản phẩm theo thứ tự giảm dân trọng số Bước Chọn K sản phẩm có trọng số cao nh ất ch ưa đ ược đánh giá để tư vấn cho người dùng thời - Độ phức tạp thuật toán dự đoán đồ thị G+ O(L.N2 6) Trong đó, L độ dài đường từ đỉnh người dùng đến đỉnh sản phẩm, N s ố l ượng 2.2.2.3 người dùng Phương pháp dự đốn đồ thị có trọng số âm GTrọng số đường từ đỉnh người dùng u i đến đỉnh sản phẩm theo cạnh có trọng số âm ghi nhận số âm phản ánh m ức độ “không thich” người dùng sản phẩm Những đ ường có đ ộ dài l ớn đánh trọng số cao, đường có độ dài nh ỏ đ ược đánh trọng số thấp Những sản phẩm có trọng số thấp loại bỏ kh ỏi danh sách sản phẩm cân tư vấn cho người dùng hiện th ời Đ ể xem xét ảnh hưởng đánh giá “khơng thich” vào q trình d ự đốn, ta ước lượng mức độ đóng góp đánh giá đ th ị G b ằng cách phủ định lại phương pháp dự đoán đồ thị G+ Cụ thể phương pháp thay việc dự đoán đồ thị G+ đồ thị GThay việc ước lượng trọng số đường từ đỉnh người dùng đ ến đ ỉnh sản phẩm dài có trọng số thấp, đường ngắn có trọng s ố cao b ằng việc ước lượng trọng số đường dài có trọng số cao, đ ường ng ắn SVTH: Hoàng Trọng Hải 26 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng có trọng số thấp Thay việc sử dụng số khử nhiễu +α h ằng s ố khử nhiễu -α để trọng số đường âm tăng d ân theo đ ộ dài đường Thay việc xếp sản ph ẩm theo th ứ t ự gi ảm d ân c tr ọng số việc xếp sản phẩm theo thứ tự tăng dân tr ọng số.Thay trình phân bổ sản phẩm có trọng số cao cho ng ười dùng thời việc loại bỏ sản phẩm có trọng số thấp Thuật tốn dự đoán đồ thị G- - Đầu vào: + Ma trận X- biểu diễn đồ thị G-; - Đầu ra: + K sản phẩm có trọng số nhỏ chưa người dùng đánh giá Các bước thực hiện: Bước Tìm trọng số đường độ dài lẻ L đồ th ị G- cho đường độ có dài nhỏ đánh trọng số th ấp, đ ường có đ ộ dài lớn đánh trọng số cao Bước Sắp xếp sản phẩm theo thứ tự tăng dân trọng số Bước Loại bỏ K sản phẩm có trọng số thấp chưa đánh giá để tư vấn cho người dùng thời Độ phức tạp thuật toán dự đoán đồ thị G O(L.N 2.376) Trong đó, L độ dài đường từ đỉnh người dùng đến đỉnh sản phẩm, N s ố l ượng người dùng 2.2.2.4 Phương pháp dự đoán theo tất đánh giá Một sản phẩm người dùng “thich” xuất danh sách sản phẩm loại bỏ khỏi trình tư vấn, sản phẩm ng ười dùng “khơng thich” xuất danh sách s ản ph ẩm cân tư vấn Để ngăn ngừa tình trạng này, luận văn đề xu ất ph ương pháp dự đoán tất đánh giá Phương pháp dự đoán đ th ị G+ thực đánh giá “thich” người dùng đối v ới sản phẩm, phương pháp dự đoán đồ thị G - th ực nh ững đánh giá “không thich” người dùng đối v ới sản ph ẩm Vi ệc b ỏ qua đánh giá “không thich” người dùng đối v ới s ản ph ẩm có nh ững ảnh hưởng khơng nhỏ đến chất lượng dự đốn, đánh giá “thich” hay “khơng thich” phản ánh thói quen sở thich sử d ụng s ản ph ẩm c người dùng SVTH: Hoàng Trọng Hải 27 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Các bước cụ thể phương pháp tiến hành - Đầu vào: + Ma trận X+, X - biểu diễn đồ th ịG+, G- - Đầu ra: + K sản phẩm có trọng số cao chưa người dùng đánh giá Các bước thực hiện: Bước Tinh toán ma trận trọng số đường độ dài lẻ L ma trận X+ cho đường có độ dài nhỏ đánh trọng số cao, đường có độ dài lớn đánh trọng số thấp Bước Tinh toán ma trận trọng số đường độ dài lẻ L ma trận X- cho đường có độ dài nh ỏ đ ược đánh tr ọng s ố th ấp, đường có độ dài lớn đánh trọng số cao Bước Kết hợp ma trận trọng số Bước Sắp xếp sản phẩm theo thứ tự tăng dân trọng số Bước Chọn K sản phẩm có trọng số cao ch ưa đ ược đánh giá để tư vấn cho người dùng thời - Độ phức tạp thuật toán dự đoán tất đánh giá O(L.N 2.376 ) Trong đó, L độ dài đường từ đỉnh người dùng đến đ ỉnh s ản ph ẩm, N s ố 2.3 lượng người dùng Lọc cộng tác dựa vào lọc đồng huấn luyện Học nửa giám sát thu hút nhiều ý từ nhà nghiên c ứu b ởi số lượng lớn vi dụ khơng có nhãn có th ể làm tăng hi ệu su ất cho thuật toán học có số vi dụ nhỏ có nhãn Blum Mitchell [3] người đâu tiên xem xét việc thiết định toán mà tập đ ặc trưng vi dụ chia thành khung nhìn khác bi ệt Xem xét toán lọc cộng tác theo cách tiếp cận đồng huấn luy ện, khung nhìn xác định khung nhìn theo người dùng khung nhìn theo sản phẩm Tập nhãn xác định giá trị rõ ràng SVTH: Hoàng Trọng Hải 28 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Và cặp người dùng - sản phẩm mà người dùng ch ưa đánh giá s ản ph ẩm mẫu huấn luyện cân xác định nhãn 2.3.1 Mô tả thuật toán đồng huấn luyện Thuật toán đồng huấn luyện áp dụng tập liệu có phân chia đặc trưng tự nhiên Quá trình đồng huấn luy ện mơ tả hình th ức nh sau: Q trình đồng huấn luyện th ực nh sau Cho không gian mẫu X = X1 x X2 đó: X1, X2 tương ứng khung nhìn khác c mẫu Mỗi mẫu x cho cặp (x1, x2) Giả s r ằng khung nhìn đủ để phân loại Cho D phân ph ối X, cho C1, C2 lân lượt lớp khái niệm định nghĩa t ương ứng X1, X2 Giả sử tất nhãn mẫu có xác suất khác d ưới D phù hợp với hàm mục đich f1 C1 phù h ợp v ới hàm m ục đich f2C2 Hay nói cách khác, f biểu thị cho khái niệm mục đich kết h ợp tồn mẫu, với mẫu x = (x1, x2) quan sát v ới nhãn ℓ, có f(x) = f(x1) = f(x2) = ℓ Trong th ực tế, ều có nghĩa D gán xác suất cho mẫu mà f(x1) f(x2) 2.3.2 Thuật toán lọc cộng tác phương pháp đồng huấn luyện theo người dùng Phương pháp lọc cộng tác đồng huấn luyện theo người dùng thực thơng qua vòng lặp t T ại b ước kh ởi t ạo t=0, ma tr ận dự đoán R(0) = (r(0)ij) lấy chinh ma trận đánh giá ban đâu R=(rij) Các bước cụ thể phương pháp tiến hành Đâu vào: Khởi tạo ma trận đánh giá R(0) = (r(0)ij) = (rij) Đâu ra: Ma trận dự đoán R(t) = (r(t)ij) Thuật toán: - Bước 1: Khởi tạo số bước lặp ban đâu: t0; Bước 2: Lặp + Huấn luyện theo người dùng [4]: a) Tìm tập người dùng đánh giá cho sản phẩm S (t)i (2.11) : Hằng số người dùng đánh giá sản phẩm Sử dụng công thức độ tương tự tương quan để tinh tập tất người dùng đánh giá sản phẩm i j ( uij ) SVTH: Hoàng Trọng Hải 29 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng (2.12) b) Tìm Ki người dùng đánh giá sản phẩm cao nh ất (2.13) c) Dự đoán người dùng x với sản phẩm i (2.14) : đánh giá trung bình cộng cho sản phẩm i + Huấn luyện theo sản phẩm [4]: a) Tìm tập sản phẩm người dùng đánh giá (2.15) Sử dụng công thức Cosin điều chỉnh để tinh độ tương tự gi ữa hai sản phẩm (2.16) b) Tìm Ki sản phẩm mà người dùng đánh giá cao (2.17) c) Dự đoán người dùng x với sản phẩm i (2.18) : đánh giá trung bình cộng cho sản phẩm i + Tăng bước lặp: t = t+1; Kết thúc khơng có nhãn phân loại đ ược bổ sung vào ma tr ận dự đoán 2.3 Vấn đề thưa thớt liệu người dùng Thông thường hệ thống Website sử dụng phương pháp lọc cộng tác cân phải có sở liệu lớn gồm người dùng, đánh giá c người dùng với sản phẩm Để từ hệ thống so sánh độ t ương t ự v ề s thich người dùng A với người dùng có s thich t ương t ự nh A, r ồi đưa kết tư vấn Tuy nhiên, vấn đề liệu thưa làm cho việc giải toán đánh giá ban đâu gặp nhiều khó khăn Khi hệ thống có thêm người dùng mới, người dùng cân có số đánh giá ban đ âu cho m ột vài s ản phẩm hệ thống dự đốn cho họ sản phẩm Tương tự sản phẩm chưa người dùng SVTH: Hoàng Trọng Hải 30 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng đánh giá, sản phẩm tư vấn đến người dùng có m ột vài người dùng đánh giá Để giải vấn đề trên, hệ thống cân có thêm chức tư vấn dựa vào hồ sơ người dùng Nghĩa cân phải xây dựng m ột Form đăng ký cho khách hàng với trường liệu để người dùng đăng nh ập vào Website hệ thống dựa vào hồ sơ người dùng đưa nh ững t vấn sản phẩm có liên quan đến người dùng 2.3 Kết luận Chương trình bày phương pháp lọc cộng tác d ựa s ản ph ẩm với thuật toán tinh độ tương tự dự đoán, phương pháp lọc cộng tác dựa mơ hình đồ thị với thuật tốn dựa mơ hình người dùng - s ản phẩm đề xuất phương pháp dự đoán tất đánh giá thuật toán đồng huấn luyện dựa người dùng sản phẩm SVTH: Hoàng Trọng Hải 31 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng CHƯƠNG 3: WEBSITE TƯ VẤN TÀI LIỆU HỌC TẬP CHO SINH VIÊN 3.1 Phát biểu toán Hiện nay, Trung tâm học liệu trường Đại học Quảng Bình có đến hàng ngàn đâu sách chia thành chuyên ngành đ ể sinh viên l ựa ch ọn Tuy nhiên, sinh viên có th ể chọn cho nh ững sách với chun ngành mình, sách khơng phù h ợp v ới trình độ theo học Đặc biệt với nh ững sinh viên năm nh ất vừa bước vào trường, nhiều th ời gian cho việc l ựa ch ọn sách mơn học có nhiều tài liệu tham khảo… Nhu câu đặt cân có hệ tư vấn Các hệ thống tư v ấn dựa vào hồ sơ người dùng như: lớp, khoa, năm học từ ch ọn lọc sở liệu sách phù hợp với chuyên ngành, với năm học hay mà sinh viên năm trước học đưa nh ững gợi ý sản phẩm hay thơng tin phù hợp với người dùng 3.2 Phân tích yêu cầu - Admin: Đóng vai trò người quản trị h ệ th ống có chức phân quyền, lưu phục hồi sở liệu, chịu trách nhiệm quản lý thông số chung hệ thống biên tập Là người đóng vai trò qu ản lý (thêm, sửa, xóa) viết (Blog) hay sản phẩm sách - Khách đăng nhập: người đăng ký đăng nhập vào website, xem hồ sơ, giao diện, xem danh m ục, chi ti ết n ội dung sách đặc biệt xem sản ph ẩm sách mà h ệ th ống t vấn dựa vào hồ sơ người dùng, - Khách vãng lai: người dùng truy cập vào website chưa có tài khoản đăng nhập thấy giao diện website v ới chức tương tự với “Khách đăng nhập”, nhiên khơng có ch ức hiển thị nội dung mà hệ thống tư vấn sách theo hồ sơ người dùng 3.3 Giao diện ứng dụng Website Hệ thống thiết kế thực Hệ điều hành Windows 10 Pro, sử dụng công cụ thiết kế Sublime Text2 v ới ngơn ng ữ l ập trình HTML5, CSS3, thư viện Jquery, PHP CMS Wordpress để quản lý n ội dung Toàn Website thiết kế với chức chinh sau: Giao diện Website người dùng chưa đăng nhập vào: SVTH: Hoàng Trọng Hải 32 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp - GVHD: Th.S Lê Minh Th ắng Menu, banner, Footer Danh mục sản phẩm sách Chưa có chức tư vấn người dùng chưa đăng ký đăng nh ập vào website Hình 3.1 Giao diện website chưa đăng nhập Giao diện trang đăng ký: SVTH: Hoàng Trọng Hải 33 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Hình 3.2 Giao diện chức đăng ký Gồm trường bắt buộc : Tên đăng nhập, Lớp, Khóa học, Email, Password Sau đăng ký, thông tin người dùng lưu vào c sở d ữ liệu đ ể hệ thống thực lọc sản phẩm hiển thị tư vấn cho sản phẩm Giao diện trang đăng nhập: Hình 3.3 Giao diện chức đăng nhập Tại người dùng có tài khoản đăng nhập vào Website v ới trương: Tên đăng nhập địa mail, Mật Giao diện trang hồ sơ người dùng: SVTH: Hoàng Trọng Hải 34 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Hình 3.4 Giao diện trang hồ sơ người dùng Tại đây, người dùng xem hồ sơ cá nhân đồng th ời chỉnh sửa thông tin cá nhân thân Giao diện trang người dùng đăng nhập: Giao diện trang chủ Website tương tự người dùng chưa đăng nhập, nhiên lúc hệ thống lọc c s d ữ li ệu sách với chuyên ngành người dùng hi ển th ị giao diện Thì hệ thống tư vấn hiển thị sản phẩm ngành Điện – Điện tử đồng thời sách dành cho năm Đại học mà tất sinh viên phải học như: Mac-Lenin, Đường lối Đảng, Pháp luật đ ại c ương … SVTH: Hoàng Trọng Hải 35 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Hình 3.5 Giao diện chức tư vấn sách SVTH: Hoàng Trọng Hải 36 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng Hình 3.6 Giao diện website người dùng đăng nhập vào hệ thống 3.5 Kết luận Hiện Website trình phát triển, chưa thu thập đủ sở liệu, hồ sơ đánh giá người dùng cần thiết cho việc thực tối ưu thuật toán lọc cộng tác Tuy nhiên, Website phần bật lên đặc trưng hệ tư vấn, thông qua việc hiển thị sách cần thiết dựa vào hồ sơ người dùng Và tương lai, Website thêm đầy đủ sở liệu, tính cần thiết như: đặt sách, giỏ sách, tìm kiếm sách theo nội dung, phân quyền quản trị Và đặc biệt hồn thiện tính tư vấn dựa vào phương pháp lọc cộng tác SVTH: Hoàng Trọng Hải 37 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Do thời gian kinh nghiệm nghiên cứu thiếu, kiến th ức hạn chế, nỗ lực cố gắng, nhiên luận văn khơng tránh kh ỏi nh ững thiếu sót Rất mong nhận bảo thây cô, đóng góp bạn để hồn thành cơng trình nghiên cứu tốt h ơn Luận văn tiến hành nghiên cứu số phương pháp lọc cộng tác đạt yêu câu sau: - Hệ tư vấn hệ thống gợi ý, đóng vai trò nh m ột người trung gian hỗ trợ khách hàng đưa định mua hàng đắn Bằng cách xác định mục đich, sở thich nhu câu khách hàng, h ệ th ống đưa tập gợi ý giúp cho người mua dễ dàng chọn lựa sản - phẩm yêu thich Nghiên cứu lọc cộng tác dựa sản phẩm với thuật toán tinh độ tương - tự Cosine Nghiên cứu lọc cộng tác dựa mơ hình đồ thị với thuật tốn d ựa - mơ hình đồ thị người dùng - sản phẩm Nghiên cứu lọc cộng tác phương pháp đồng huấn luy ện theo ng ười dùng theo sản phẩm - Xây dựng thành công Website tư vấn sách cho sinh viên Hướng phát triển - Nghiên cứu sâu kỹ thuật lọc tin h ệ t v ấn, tìm hi ểu - hướng ứng dụng hệ tư vấn dựa vào phương pháp lọc tin Giải vấn đề nảy sinh lọc cộng tác Hoàn thiện Website với đủ tinh ứng dụng sâu n ữa ph ương pháp lọc cộng tác vào tư vấn sản phẩm cho người dùng SVTH: Hoàng Trọng Hải 38 Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng TÀI LIỆU THAM KHẢO Tiếng Việt: Uông Huy Long (2010), giải pháp mở rộng thông tin ngữ cảnh phiên duyệt web người dùng nhằm nâng cao chất lượng t vấn h ệ th ống tư vấn tin tức Marlin Lê Thanh Huyền (2015), phương pháp lọc cộng tác ứng dụng hệ thông tin tư vấn Phạm Thị Hiên (2012), Lọc cộng tác phương pháp Đồng huấn luyện (Luận văn thạc sĩ kỹ thuật) Tiếng Anh: G.Adomavicius, A.Tuzhilin (2005), Towards the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions, IEEE Transactions on Knowledge and Data Engineering Ansari, S Essegaier and R Kohli (2000), Internet recommendations systems Journal of Marketing Research, pages 363-375 Basu, H Hirsh and W Cohen (1998), Recommendation as classification: Using social and content-based information in recommendation In Recommender Systems Papers from 1998 Workshop Technical Report WS-9808 AAAI Press SVTH: Hoàng Trọng Hải 39 Lớp: Đại học CNTT K57 ... học, môn học, sách mà sinh viên năm trước sử dụng… Từ đưa gợi ý sản phẩm hay thơng tin phù hợp với người dùng Trên lý để thực đề tài Tìm hiểu hệ tư vấn cho hệ thống tư vấn tài liệu học tập cho. .. học tập cho sinh viên trường Đ ại h ọc Quảng Bình Mục tiêu nghiên cứu - Hiểu hệ tư vấn - Nắm rõ phương pháp lọc cộng tác hệ tư vấn Nội dung nghiên cứu - Chương 1: Tổng quan hệ tư vấn SVTH: Hoàng... Lớp: Đại học CNTT K57 Báo cáo thực tập tốt nghiệp GVHD: Th.S Lê Minh Th ắng - Chương 2: Giới thiệu hệ tư vấn dựa phương pháp lọc cộng tác - Chương 3: Website tư vấn tài liệu học tập cho sinh viên