MỤC LỤC PHẦN MỞ ĐẦU 3 Chương 1 5 TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 5 1 1 Hệ thống khuyến nghị 5 1 2 Cách thức hoạt động của hệ thống khuyến nghị 6 1 3 Các chức năng của hệ thống khuyến nghị 9 1 4 Các[.]
MỤC LỤC PHẦN MỞ ĐẦU Chương TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Hệ thống khuyến nghị 1.2 Cách thức hoạt động hệ thống khuyến nghị 1.3 Các chức hệ thống khuyến nghị 1.4 Các phương pháp khai thác liệu sử dụng .9 1.4.1 Khuyến nghị dựa nội dung (Content - Based Recommendation System) 10 1.4.2 Khuyến nghị lọc cộng tác để đánh giá tương quan (Collaborative Filtering Recomnendation System) 10 1.4.3 Kết hợp phương pháp (Hybrid): .12 1.5 Đánh giá phương pháp .13 CHƯƠNG 15 PHƯƠNG PHÁP LỌC CỘNG TÁC 15 2.1 Lọc cộng tác dựa sản phẩm (Item-based Collaborative Filtering) .15 2.2 Các thuật tốn tính độ tương tự 17 2.2.1 Độ tương tự Cosine (Cosine-based Similarity) .18 2.2.2 Độ tương tự dựa theo khoảng cách Euclidean điều chỉnh (Adjusted Euclidean Distance similarity) 19 2.2.3 Độ tương tự tương quan (correlation-based similarity) 21 2.2.4 Độ tương tự cosine điều chỉnh (Adjusted Cosine similarity) 22 2.3 Tính tốn dự đốn gợi ý 24 2.3.1 Cơng thức dự dốn dựa trung bình đánh giá sản phẩm lân cận 24 skkn 2.3.2 Công thức dự đoán dựa tổng trọng số (Weighted Sum) 25 2.3.3 Cơng thức dự đốn dựa tổng trọng số với đánh giá trung bình người dùng .26 2.3.4 Cơng thức dự đốn dựa tổng trọng số với trung bình đánh giá lên sản phẩm 27 2.4 Đánh giá yếu tố ảnh hưởng đến độ xác kết gợi ý 28 2.4.1 Đánh giá chất lượng hệ thống gợi ý 28 2.4.2 Các yếu tố ảnh hưởng đến độ xác gợi ý 29 CHƯƠNG 31 HỆ THỐNG GỢI Ý BỘ PHIM LIÊN QUAN 31 3.1 Dữ liệu thử nghiệm phương pháp đánh giá 31 3.1.1 Mô tả liệu 31 3.1.2 Phương pháp đánh giá chất lượng hệ thống gợi ý 31 3.2 Cài đặt thuật toán 32 3.2.1 Cài đặt thuật tốn tính độ tương tự 32 3.2.2 Cài đặt thuật toán dự đoán gợi ý 35 3.3 Kết thử nghiệm 39 3.3.1 Thử nghiệm gợi ý với số lượng lân cận khác nhau: 39 3.3.2 Thử nghiệm gợi ý với độ tương tự khác 40 3.3.3 Thử nghiệm gợi ý với cơng thức dự đốn: 41 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 Những kết đạt mặt hạn chế 43 Hướng phát triển đề tài 43 TÀI LIỆU THAM KHẢO 44 skkn PHẦN MỞ ĐẦU Lý chọn đề tài Người dùng hệ thống thông tin, trang thương mại điện tử, thường gặp khó khăn việc tìm kiếm thông tin cần thiết phù hợp, việc chọn mua sản phẩm phù hợp, việc lên kế hoạch cho chuyến du lịch; người sử dụng có nhiều lựa chọn, khơng có đủ thời gian kiến thức để tự đánh giá lựa chọn đưa định hợp lý Bạn chọn nghe hát hàng ngàn hát cung cấp trang web nghe nhạc, hay xem video số hàng trăm triệu video tải lên Youtube Bạn tìm trợ giúp với cơng cụ tìm kiếm với từ khóa cụ thể Nhưng với trường hợp, bạn rõ ưu tiên mình, cơng cụ tìm kiếm khó phát huy tác dụng, lúc bạn cần đến giúp đỡ hệ thống khuyến nghị Các hệ thống khuyến nghị (Recommender System) công cụ hỗ trợ định, nhằm mục đích cung cấp cho người sử dụng gợi ý thông tin, sản phẩm, dịch vụ phù hợp với yêu cầu sở thích riêng người tình yêu cầu cụ thể Với trợ giúp hệ thống khuyến nghị, cịn tìm hiểu sở thích chia sẻ cho cộng đồng Hoạt động hệ thống khuyến nghị hiểu đơn giản trình tìm kiếm hoạt động người dùng tương tự nghe nhạc, đánh giá phim, hay đọc tin tức Những đề xuất hệ thống khuyến nghị đưa giúp người dùng lựa chọn nội dung đáng quan tâm tiếp theo, kết đề xuất gây bất ngờ ngồi mong đợi người dùng Vai trị quan trọng hệ thống khuyến nghị ngày thể rõ, trở thành công cụ hữu hiệu đối phó với vấn đề q tải thơng tin Tơi chọn “Nghiên cứu về hệ thống khuyến nghị ứng dụng toán gợi ý phim liên quan” làm đề tài Sáng kiến kinh nghiệm skkn 2 Mục đích nghiên cứu Mục tiêu đặt luận văn đề tài là: Tìm hiểu tổng quan hệ thống khuyến nghị, phương pháp sử dụng hệ thống khuyến nghị ứng dụng toán gợi ý phim liên quan Mục tiêu cụ thể tìm hiểu phương pháp lọc cộng tác dựa sản phẩm, tìm hiểu thuật tốn tính độ tương tự dự đốn, đánh giá so sánh chất lượng khuyến nghị thuật toán Đối tượng phạm vi nghiên cứu Nghiên cứu phương pháp tính độ tương tự, dự đoán hệ thống khuyến nghị lọc cộng tác dựa sản phẩm (item) với tập liệu phim hệ thống Group Lens Phương pháp nghiên cứu Nghiên cứu lý thuyết, phân tích q trình thực hiện, mơ phỏng, cài đặt thuật tốn, so sánh đánh giá rút kết luận từ kết thu skkn Chương TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Hệ thống khuyến nghị Hệ thống khuyến nghị (Recommender Systems – RS) ứng dụng thành cơng dự đốn sở thích/thói quen người dùng dựa vào sở thích/thói quen họ q khứ RS ứng dụng nhiều lĩnh vực khác thương mại điện tử (hỗ trợ bán hàng trực tuyến), giải trí (khuyến nghị phim ảnh, hát, ), giáo dục đào tạo (khuyến nghị nguồn tài ngun học tập, nghiên cứu, ) Chính khả ứng dụng rộng rãi nó, RS mở nhiều tiềm nghiên cứu xây dựng hệ thống thực tế, đặc biệt hệ hỗ trợ người dùng định Trong RS, thông thường người ta quan tâm đến ba thơng tin người dùng (user), mục tin (item, item sản phẩm, phim, hát, báo, tùy hệ thống), phản hồi (feedback) người dùng mục tin (thường xếp hạng/đánh giá – rating biểu diễn mức độ thích/quan tâm họ) Các thông tin biểu diễn thông qua ma trận Hình 1.1 Ở đó, dịng user, cột item, ô giá trị phản hồi (ví dụ, xếp hạng) biểu diễn “mức độ thích” user item tương ứng Các có giá trị item mà user xếp hạng khứ Những ô trống item chưa xếp hạng (điều đáng lưu ý user xếp hạng cho vài item khứ, có nhiều ô trống ma trận – gọi ma trận thưa – sparse matrix) [7] Hình 1.1 Ma trận biểu diễn liệu RS (user-item-rating matrix) Nhiệm vụ RS dựa vào có giá trị ma trận (dữ liệu thu skkn từ q khứ), thơng qua mơ hình xây dựng, RS dự đốn cịn trống (của user hành), sau xếp kết dự đốn (ví dụ, từ cao xuống thấp) chọn Top-N items theo thứ tự, từ gợi ý chúng cho người dùng Theo Adomavicius Tuzhilin [2], hầu hết trường hợp, toán khuyến nghị coi toán ước lượng đánh giá (rating) sản phẩm (phim, cd, sách, nhà hàng,…) chưa người dùng xem xét Việc ước lượng thường dựa đánh giá có người dùng người dùng khác Những sản phẩm có hạng cao dùng để khuyến nghị Một cách hình thức: - Gọi U tập hợp n người dùng (user), |U| = n, u người dùng cụ thể (u U) - Gọi I tập hợp m mục thông tin (item), |I| = m, i mục thơng tin cụ thể (i I) - Gọi R tập hợp giá trị phản hồi người dùng (các phản hồi thường ‘sở thích’ (preference) người dùng) rui R (R ) xếp hạng người dùng u mục thông tin i - Gọi Dtrain U × I × R tập liệu huấn luyện - Gọi Dtest U × I × R tập liệu kiểm thử - Gọi r: U × I R (u, i) ↦ rui Mục tiêu RS tìm hàm rˆ : U × I Sao cho hàm (r, rˆ ) thỏa mãn điều kiện Ví dụ, hàm ước lượng độ xác cần phải tối đa hóa, cịn hàm để đo độ lỗi Root Mean Squared Error RMSE= √ test ¿ D ∨¿ ∑ u , i ,r ∈ D (r ui −r^ (u , i))2 ¿ (1.1) cần phải tối tiểu 1.2 Cách thức hoạt động hệ thống khuyến nghị Nếu thấy trình khuyến nghị hộp đen, thể hình 1.2, xác định hai nguồn thông tin cần thiết: user profile – thông tin người dùng, item data – thông tin sản phẩm đầu vào cho trình khuyến nghị Các thơng tin skkn lưu trữ theo liệu có cấu trúc, rút từ nguồn liệu phi cấu trúc: website liên quan, hành vi mua sắm… Thông tin sản phẩm, dịch vụ nhiều dạng khác nhau: siêu liệu (metadata), thơng tin đặc tính sản phẩm, sản phẩm với trường hợp liệu điện tử Trong trường hợp sản phẩm âm (audio), video, thông tin mà hệ khuyến nghị cần lưu trữ thực có kích thước lớn, với nhiều chiều Kết đầu hệ khuyến nghị thể hình đây, tập khuyến nghị cho người sử dụng Các đề xuất phụ thuộc vào phương pháp hệ khuyến nghị, cụ thể tập danh sách sản phẩm, thông tin vắn tắt, hình chụp… Hình 1.2: Thơng tin người dùng sản phẩm đầu vào Quá trình hoạt động thể chi tiết hình 1.3, bao gồm bước sau: tập hợp thông tin, lựa chọn, chuyển đổi, cấu trúc hóa thơng tin, biểu diễn thơng tin Tất bước trình bày hình 1.3 mơ tả cụ thể bước: - Tập hợp thông tin (Information Recollection): thông tin lưu trữ không thực hệ khuyến nghị, đóng vai trị quang trọng Nó bao gồm thông tin cá nhân người sử dụng, lịch sử giao dịch, thông tin ưu tiên người dùng (user preference), thông tin sản phẩm metadata, đặc tính sản phẩm Bước đóng vai trị quan trọng, sở cho tồn q trình hệ gợi ý thực dự đoán đưa gợi ý cho người dùng Nếu thông tin thu thập không đầy đủ, hay mâu thuẫn; hệ thống khuyến nghị thực chức dự đốn, đưa đề xuất Vì lí này, cần đặc biệt lưu ý q trình thu thập thơng tin phản ánh sở thích người dùng, thông tin sản phẩm, dịch vụ skkn - Lựa chọn thông tin (Selection): Bước lựa chọn bao gồm việc xác định thông tin liên quan trực tiếp đến q trình xử lí, dự đốn Cách lựa chọn tập thông tin phu thuộc chặt chẽ phương pháp tiếp cận hệ thống Từ tập thông tin lựa chọn, giúp xác định độ tương quan hai sản phẩm bất kì, hai người dùng - Chuyển đổi thơng tin (Transformation): mục tiêu bước chuyển đổi thực biến đổi thơng tin, xây dựng mơ hình, hàm từ liệu xử lí hai bước đầu, biểu diễn thông tin dạng quy định hệ khuyến nghị, thực dự đoán - Cấu trúc thơng tin (Structuring): Cấu trúc thơng tin có liên quan đến việc cấu trúc, tổ chức thông tin mà người dùng duyệt qua thông tin đề xuất đưa Bước bao gồm hoạt động nhóm sản phẩm, xếp hạng sản phẩm, phân loại, liên kết sản phẩm có quan hệ với nhau… - Trình bày thơng tin (Presentation): Bước cuối q trình khuyến nghị đưa thơng tin khuyến nghị cho người dùng theo tiêu chuẩn: bố trí, định dạng tài liệu, màu sắc, phông chữ…Đây bước cuối q trình khuyến nghị, đưa thơng tin đầu cho người dùng cụ thể - Thông tin phản hồi: Thu nhận thông tin phản hồi bước thêm vào, tùy theo hệ thống khuyến nghị Mặc dù bước tùy chọn, giúp ích nhiều việc cải thiện hoạt động, nâng cao kết hệ khuyến nghị Phản hồi người dùng hệ thống ghi nhận với hai dạng tiềm ẩn(implicit), rõ ràng (explicit) Với phản hồi rõ ràng (explicit feedback), người sử dụng cung cấp thông tin thể mức độ ưu tiên với sản phẩm liên quan Các phản hồi tiềm ẩn (implicit feedback) có cách thu thập, phân tích hành vi người dùng: lịch sử duyệt sản phẩm, số lần viếng thăm, thời gian lưu lại Hình 1.3: Đánh giá người dùng số phim xem skkn 1.3 Các chức hệ thống khuyến nghị Hệ thống khuyến nghị công cụ phần mềm với đề xuất cho người dùng sản phầm, dịch vụ mà họ muốn sử dụng Dưới số chức hệ thống: Tăng số lượng mặt hàng bán cho hệ thống thương mại điện tử: Đây có lẽ chức quan trọng hệ thống khuyến nghị Thay người dùng mua sản phẩm mà họ cần, họ khuyến nghị mua sản phẩm ‘có thể họ quan tâm’ mà thân họ khơng nhận Hệ thống khuyến nghị tìm ‘mối quan tâm ẩn’ Bằng cách đó, hệ thống khuyến nghị làm gia tăng nhu cầu người dùng gia tăng số lượng mặt hàng bán Tương tự hệ thống phi thương mại (như trang báo), hệ thống khuyến nghị giúp người dùng tiếp cận với nhiều đối tượng Bán mặt hàng đa dạng hệ thống thương mại điện tử: Đây chức quan trọng thứ hai hệ thống khuyến nghị Hầu hết hệ thống thương mại có mặt hàng đa dạng Khi nắm bắt nhu cầu người dùng, hệ thống khuyến nghị dễ dàng mang đến đa dạng lụa chọn hàng hóa Tăng hài lòng người dùng: Vai trò chủ đạo hệ thống khuyến nghị hiểu nhu cầu người dùng, khuyến nghị cho họ thứ họ cần Chính hệ thống khuyến nghị tăng hài lịng người dùng hệ thống Tăng độ tin cậy, độ trung thực người dùng: Một hệ thống khuyến nghị cho người dùng lựa chọn họ hài lịng vể khuyến nghị lịng tin họ hệ thống (nơi mà giúp họ tìm thứ họ thực quan tâm) nâng lên cách đáng kể Đây thật điều thích thú thu hút người dùng Có điểm quan trọng hệ thống khuyến nghị hoạt động dựa xếp hạng thật từ thân người dùng khứ Do đó, người dùng tin cậy vào hệ thống, đưa đánh giá trung thực cho sản phẩm, hệ thống mang lại cho người dùng nhiều khuyến nghị xác hơn, phù hợp với nhu cầu, sở thích họ [7] 1.4 Các phương pháp khai thác liệu sử dụng Có nhiều cách để dự đốn, ước lượng hạng/điểm cho sản phẩm sử dụng học máy, lí thuyết xấp sỉ, thuật tốn dựa kinh nghiệm … Theo [2], hệ thống khuyến nghị thường phân thành ba loại: skkn 1.4.1 Khuyến nghị dựa nội dung (Content - Based Recommendation System) Khuyến nghị dựa nội dung dựa sẵn có mơ tả đối tượng Phương pháp gợi ý dựa nội dung, dựa độ phù hợp r (u, i) sản phẩm i với người dùng u đánh giá dựa độ phù hợp r (u, i’), i’ ϵ I tương tự i Ví dụ, để gợi ý phim cho người dùng u, hệ thống gợi ý tìm đặc điểm phim u đánh giá cao (như diễn viên, đạo diễn…); sau phim tương đồng với sở thích u giới thiệu Hướng tiếp cận dựa nội dung bắt nguồn từ nghiên cứu thu thập thông tin (IR-information retrieval) lọc thông tin (IF - information filtering) Do đó, nhiều hệ thống dựa nội dung tập trung vào gợi ý đối tượng chứa liệu text văn bản, tin tức, website… Những tiến so với hướng tiếp cận cũ IR việc sử dụng hồ sơ người dùng (chứa thông tin sở thích, nhu cầu…) Hồ sơ xây dựng dựa thông tin người dùng cung cấp trực tiếp (khi trả lời khảo sát) gián tiếp (do khai phá thông tin từ giao dịch người dùng) Khuyến nghị dựa nội dung có ưu điểm: Đầu tiên, khơng u cầu số lượng người sử dụng lớn để đạt độ xác đề nghị hợp lý Ngoài ra, mặt hàng khuyến nghị dựa thuộc tính có sẵn Tuy nhiên, nhược điểm khuyến nghị dựa nội dung thông tin mô tả đối tượng có chất lượng bị lỗi Trong số trường hợp, mô tả nội dung khó để so sánh rút khuyến nghị, chẳng hạn so sánh nội dung file video, audio Việc phân tích nội dung đối tượng sản phẩm để đưa sản phẩm tương tự nhau, từ đưa khuyến nghị cho người dùng chưa phản ánh sở thích người dùng với sản phẩm 1.4.2 Khuyến nghị lọc cộng tác để đánh giá tương quan (Collaborative Filtering Recomnendation System) Ý tưởng hệ thống dựa vào đánh giá người dùng khứ lên sản phẩm, dịch vụ để dự đoán đánh giá họ lên sản phẩm, dịch vụ mà họ chưa đánh giá skkn ... ? ?Nghiên cứu về hệ thống khuyến nghị ứng dụng toán gợi ý phim liên quan? ?? làm đề tài Sáng kiến kinh nghiệm skkn 2 Mục đích nghiên cứu Mục tiêu đặt luận văn đề tài là: Tìm hiểu tổng quan hệ thống. .. từ đến sao, với ý nghĩa đánh giá cao người dùng thích phim Cơng việc hệ thống khuyến nghị là: người dùng đăng nhập vào hệ thống, hệ thống cần gợi ý phim cho người dùng phim gợi ý dự đốn người... đến độ xác kết gợi ý 28 2.4.1 Đánh giá chất lượng hệ thống gợi ý 28 2.4.2 Các yếu tố ảnh hưởng đến độ xác gợi ý 29 CHƯƠNG 31 HỆ THỐNG GỢI Ý BỘ PHIM LIÊN QUAN