Nghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự độngNghiên cứu, xây dựng hệ thống khuyến nghị phim tự động
HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - BÙI VĂN MINH NGHIÊN CỨU, XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ PHIM TỰ ĐỘNG LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2018 HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THƠNG - BÙI VĂN MINH NGHIÊN CỨU, XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ PHIM TỰ ĐỘNG CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN VĂN THỦY HÀ NỘI - 2018 i LỜI CAM ĐOAN Luận văn thành trình học tập nghiên cứu tơi giúp đỡ, khuyến khích quý thầy cô sau năm theo học chương trình đào tạo Thạc sĩ, chuyên ngành Khoa học máy tính trường Học viện Cơng nghệ Bưu Viễn thơng Tơi cam đoan cơng trình nghiên cứu riêng Nội dung luận văn có tham khảo sử dụng số thông tin, tài liệu từ nguồn sách, tạp chí liệt kê danh mục tài liệu tham khảo trích dẫn hợp pháp Tác giả (Ký ghi rõ họ tên) Bùi Văn Minh ii LỜI CÁM ƠN Thực tế cho thấy, thành công gắn liền với hỗ trợ, giúp đỡ người xung quanh giúp đỡ hay nhiều, trực tiếp hay gián tiếp Trong suốt thời gian từ bắt đầu làm luận văn đến nay, em nhận quan tâm, bảo, giúp đỡ thầy cơ, gia đình bạn bè xung quanh Với lòng biết ơn vơ sâu sắc, em xin gửi lời cảm ơn chân thành từ đáy long đến quý Thầy Cô học viện dùng tri thức tâm huyết để truyền đạt cho chúng em vốn kiến thức quý báu suốt thời gian học tập trường Đặc biệt, em xin chân thành cảm ơn TS Nguyễn Văn Thủy tận tâm bảo hướng dẫn em qua buổi nói chuyện, thảo luận đề tài nghiên cứu Nhờ có lời hướng dẫn, dạy bảo đó, luận văn em hồn thành cách suất sắc Một lần nữa, em xin gửi lời cảm ơn chân thành đến thầy Do vốn kiến thức hạn chế, khơng tránh khỏi thiếu sót, em mong nhận ý kiến đóng góp q Thầy Cơ để luận hồn thiện Hà Nội, ngày 10 tháng 11 năm 2017 Học viên Bùi Văn Minh iii MỤC LỤC LỜI CAM ĐOAN i LỜI CÁM ƠN ii MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1.1 Giới thiệu hệ thống khuyến nghị 1.2 Khái quát phương pháp khuyến nghị 1.2.1 Bài toán khuyến nghị 1.2.2 Phương pháp sử dụng liệu khuyến nghị 1.3 Một số ứng dụng thực tế hệ thống khuyến nghị 1.3.1 Dịch vụ Netflix 1.3.2 Dịch vụ YouTube 11 1.3.3 Website thương mại Amazon 14 CHƢƠNG 2: PHƢƠNG PHÁP KHUYẾN NGHỊ 18 2.1 Khuyến nghị dựa nội dung 18 2.1.1 Phương pháp dự đoán 19 2.1.2 Ưu điểm 19 2.1.3 Nhược điểm 20 2.2 Lọc cộng tác 20 2.2.1 Cách tiếp cận dựa nhớ 21 2.2.2 Cách tiếp cận dựa mơ hình 23 2.2.3 Một số hạn chế lọc cộng tác 24 2.3 PMF (Probabilistic Matrix Factorization) 25 2.4 BPMF (Bayesian Probabilistic Matrix Factorization) 27 2.4.1 Mơ hình 27 2.4.2 Dự đoán 28 iv 2.4.3 Kết luận 29 2.5 ALS (Alternating Least Squares) 31 2.5.1 Phân loại ma trận cho vấn đề khuyến nghị 31 2.5.2 Alternating Least Squares 32 2.5.3 Xu hướng người dùng xu hướng sản phẩm 34 2.5.4 Kết luận 37 CHƢƠNG 3: THỰC NGHIỆM, ĐÁNH GIÁ VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ PHIM TỰ ĐỘNG 38 3.1 Thực nghiệm mơ hình, thuật toán 38 3.1.1 Giới thiệu tập liệu thử nghiệm MovieLens 38 3.1.2 PMF 40 3.1.3 BPMF 40 3.1.4 ALS 40 3.2 Kết thực nghiệm 41 3.2.1 PMF BPMF 41 3.2.2 ALS 41 3.3 Đánh giá kết 42 3.4 Áp dụng xây dựng hệ thống 43 3.4.1 Thiết kế hệ thống 43 3.4.2 Xây dựng hệ thống khuyến nghị phim 43 KẾT LUẬN 49 TÀI LIỆU THAM KHẢO 50 v DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt Sai số toàn phương RMSE Root mean squared error ALS Alternating Least Squares Thuật toán ALS PMF Probabilistic Matrix Factorization Thuật toán PMF BPMF MCMC Markov Chain Monte Carlo INTS Interactions Sự tương tác IMTS Impressions Số lần hiển thị HMF Hybrid matrix factorization Ma trận nhân tử lai Bayesian Probabilistic Matrix Factorization trung bình Thuật toán BPMF Chuỗi thuật toán Markov Monte Carlo vi DANH MỤC CÁC BẢNG BIỂU Bảng 3.1 Kết thực nghiệm RMSE PMF BPMF 41 Bảng 3.2 Kết thực nghiệm ALS 42 Bảng 3.3 So sánh sở liệu hướng cột sở liệu hướng dòng 44 vii DANH MỤC CÁC HÌNH VẼ Hình 1.1 Bài tốn dự đốn đánh giá Hình 1.2 Ma trận biểu diễn liệu hệ khuyến nghị Hình 1.3 Dự đoán đánh giá dựa liệu rõ ràng Hình 1.4 Dự đoán dựa liệu ẩn Hình 1.5 Giao diện Netflix 10 Hình 1.6 Giao diện YouTube 12 Hình 1.7 Giao diện khuyến nghị trang chủ, chiếm tỉ lệ click cao 14 Hình 1.7 Giao diện khuyến nghị Amazon xem bàn phím 15 Hình 1.8 Khuyến nghị trang chủ Amazon sau xem số mặt hàng 16 Hình 2.1 Khuyến nghị dựa độ tương tự sản phẩm 18 Hình 2.2 Khuyến nghị dựa người dùng 21 Hình 2.3 Mơ hình đồ họa cho Probabilistic Matrix Factorization 25 Hình 2.4 Mơ hình đồ họa biểu diễn BPMF 27 Hình 3.1 Định dạng file users 38 Hình 3.2 Định dạng file ratings 39 Hình 3.3 Định dạng file movies 39 Hình 3.4 Sơ đồ hệ thống khuyến nghị 43 Hình 3.5 Quan hệ bảng sở liệu 46 MỞ ĐẦU Cùng với phát triển bùng nổ internet, kênh tìm hiểu thơng tin, giải trí, thương mại điện tử… phát triển nhanh chóng mạnh mẽ Giờ đây, gần tìm kiếm thứ internet, từ tài liệu, sách, truyện, phim, video đến mặt hàng, sản phẩm… Mỗi người, có nhu cầu mua bán giải trí, có cách để thực Thứ nhất, người đến địa điểm bán hàng vui chơi, nơi có nhân viên khuyến nghị vấn đề khách hàng khách hàng thỏa thích xem qua sản phẩm kệ hàng Thứ 2, người có nhu cầu sử dụng internet để tìm kiếm Người thích đọc sách, trang web đọc sách online, mua bán sách địa truy cập thường xuyên Người dùng tìm kiếm sách muốn đọc có thể, có sách hay, phù hợp mà họ khơng biết đến Người thích mua sắm tìm kiếm cần mua trang bán hàng, có vật dụng khác mà thời chưa nghĩ chưa biết đến phù hợp với họ Tương tự vậy, người thích xem phim tìm kiếm phim ưa thích trang xem phim trực tuyến, có phim khác phù hợp với thể loại, sở thích người dùng mà họ khơng biết đến Điểm yếu so với cách thứ cách thứ – sử dụng internet trang web truyền thống thiếu nhân viên tư vấn cho khách hàng truy cập vào trang web Có nhiều giải pháp đưa lập kênh trò chuyện trực tuyến nhân viên bán hàng người dùng, gọi điện thoại tư vấn Như vậy, với trang web có lượng truy cập lớn, số nhân viên trực phải cần nhiều Điều đòi hỏi chi phí cao Vì vậy, hệ thống khuyến nghị tự động đời, giải vấn đề Việc lựa chọn đề tài với mục đích sau: - Nghiên cứu tổng quan hệ thống khuyến nghị phương pháp học máy 37 (I ma trận dạng ( ) ), ̃ ̃ ma trận mà có ( cột vector ̃ ̃ thường lệ) Bây giờ, với người dùng u, xác định ba vectơ mới: , ̃ ( ), Và ̃ ( ) Xu hướng người dùng vector tính tốn sau: ̃ ( ) (̃ ̃ ) ̃ Lặp lại hội tụ 2.5.4 Kết luận Như vậy, thuật toán sử dụng yếu tổ ẩn xu hướng người dùng sản phẩm Với ALS, tác giả đưa cách giải toán khuyến nghị không phức tạp lại cho kết dự đốn với độ xác cao 38 CHƢƠNG 3: THỰC NGHIỆM, ĐÁNH GIÁ VÀ XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ PHIM TỰ ĐỘNG 3.1 Thực nghiệm mơ hình, thuật tốn Thực nghiệm thực liệu MovieLens với triệu đánh giá từ 6040 người dùng 3952 phim, người dùng có tối thiểu 20 đánh giá Do phương pháp khuyến nghị dựa nội dung lọc cộng tác phương pháp khuyến nghị ban đầu, chúng có độ xác thấp phương pháp lại PMF, BPMF ALS nhiều nên luận văn tiến hành thực nghiệm phương pháp PMF, BPMF ALS 3.1.1 Giới thiệu tập liệu thử nghiệm MovieLens GroupLens Research thu thập tạo liệu đánh giá sẵn có từ trang web MovieLens (http://movielens.org) Tập liệu thu thập qua nhiều thời kỳ, tùy thuộc vào kích thước Tuy nhiên, hầu hết liệu bao gồm thành phần file: users, ratings, movies a Users File users chứa thông tin người dùng, thường có định dạng: ID người dùng::Giới tính::Tuổi::Nghề nghiệp::Mã bưu Hình 3.1 Định dạng file users 39 Tất thông tin nhân học cung cấp tự nguyện người sử dụng không kiểm tra tính xác Chỉ người dùng cung cấp số thông tin nhân học thống kê tập liệu b Ratings File ratings chứa thơng tin đánh giá người dùng, thường có định dạng: ID người dùng::ID phim::Đánh giá::Mốc thời gian Hình 3.2 Định dạng file ratings Trong đó, đánh giá có giá trị khoảng từ đến 5; Mốc thời gian thời gian tính theo mili giây, tính từ năm 1970 c Movies File movies chứa thông tin phim, thường có định dạng: ID phim::Tiêu đề::Thể loại Hình 3.3 Định dạng file movies 40 Trong đó, tiêu đề giống với tiêu đề cung cấp IMDB (kể năm phát hành) 3.1.2 PMF Thực nghiệm với mơ hình PMF [11], [21] Để so sánh, cần huấn luyện loạt mơ hình PMF tuyến tính sử dụng MAP (maximum a posteriori probability tối đa xác suất hậu nghiệm), chọn tham số định chuẩn chúng cách sử dụng xác nhận Ngoài mơ hình PMF tuyến tính, cần huấn luyện mơ hình PMF logistic, truyền tích vơ hướng vectơ đặc trưng người dùng phim thông qua hàm logistic ( ) ( ( )) tới biên phạm vi dự đoán Các đánh giá từ đến ánh xạ tới khoảng [0,1] hàm ( ) ) ( , cho phạm vi giá trị đánh giá hợp lệ phù hợp với dãy dự đốn mơ hình 3.1.3 BPMF Thực nghiệm với mơ hình BPMF [11], [21] Khởi tạo lấy mẫu Gibbs cách thiết lập tham số mơ hình U V với ước tính MAP họ cách huấn luyện mơ hình PMF tuyến tính Thiết lập , cho ma trận đơn vị, cho tiên nghiệm người dùng phim Độ xác nhiễu quan sát đặt Phân bố dự đoán tính cách sử dụng cơng thức số 10, cách chạy lấy mẫu Gibbs với mẫu { ( ) ( ) } thu thập sau bước Gibbs đầy đủ 3.1.4 ALS Thực nghiệm thuật tốn ALS với tham số: - Vòng lặp: 10 - Tham số quy: 0.1 - Hạng ma trận nhân tử rank = [ 6, 8, 10, 12, 14] Mặc dù với số vòng lặp lớn, hội tụ tốt Tuy nhiên, điều phải trả giá thời gian thực thi thuật tốn Tương tự, với tham số quy 41 nhỏ, đưa kết xác với bước nhảy đến hội tụ nhỏ Tuy nhiên, điều đồng nghĩa với việc thời gian thuật tốn đến điểm hội tụ lâu Vì luận văn đề xuất sử dụng 10 vòng lặp, tham số quy 0.1 để có kết dự đoán tốt đảm bảo thời gian thực huấn luyện không lâu 3.2 Kết thực nghiệm Như đề cập chương 1, để đánh giá độ xác việc dự đốn, luận văn sử dựng độ đo RMSE: √| Trong đó, | ∑ ( tập liệu kiểm thử, ̂ ) (1.1) đánh giá người dùng u đến sản phẩm i, ̂ đánh giá dự đoán người dùng u đến sản phẩm i Với dự đốn xác thuật toán, RMSE nhỏ 3.2.1 PMF BPMF Bảng 3.1 Kết thực nghiệm RMSE PMF BPMF Số chiều D PMF BPMF 30 0.92142 0.90482 40 0.92016 0.89955 60 0.91685 0.89668 100 0.92056 0.89409 150 0.92201 0.89347 Có thể quan sát thấy, BPMF có cải thiện độ xác nhiều so với PMF 42 3.2.2 ALS Bảng 3.2 Kết thực nghiệm ALS rank RMSE Thời gian (giây) 0.87974 14.00735 0.87816 16.29091 10 0.87399 18.96353 12 0.87248 20.47909 14 0.87577 21.63209 Thời gian thực nghiệm thuật toán tính máy tính có: - Hệ điều hành: Linux Mint 64-bit - Vi xử lý: Intel Core i5-2520M 2.5GHz - RAM: 8GB 3.3 Đánh giá kết Dựa số RMSE, dễ dàng nhận thấy, thuật toán ALS cho độ xác tốt so với PMF BPMF Cụ thể, kết tốt ALS RMSE = 0.87248, PMF RMSE = 0.92201 BPMF RMSE = 0.89347 Để có kết đó, ALS kết hợp sử dụng có hiệu liệu rõ ràng liệu ẩn Luận văn xin đề xuất sử dụng thuật toán ALS với hạng ma trận nhân tử (vì đảm bảo kết tốt thời gian huấn luyện vừa phải) 43 3.4 Áp dụng xây dựng hệ thống 3.4.1 Thiết kế hệ thống Hình 3.4 Sơ đồ hệ thống khuyến nghị Trong đó: - Client: bao gồm trang web, ứng dụng gửi liệu người dùng phim phía server để tính tốn - Event Server: Nhận liệu từ phía Client lưu trữ liệu - Engine: Xây dựng mơ hình dự đoán với thuật toán ALS, sử dụng liệu từ Event Server để huấn luyện Sau triển khai thành web service dạng REST Api, lắng nghe truy vấn từ Client trả kết dự đoán 3.4.2 Xây dựng hệ thống khuyến nghị phim a Tập liệu huấn luyện: Hệ thống sử dụng liệu MovieLens triệu đánh giá làm liệu huấn luyện cho hệ thống (dữ liệu mô tả phần 2.1) 44 b Event Server Ngơn ngữ lập trình: Python Phƣơng thức giao tiếp với Client: REST Api Cơ sở liệu sử dụng: HBase HBase DB (database - sở liệu) phân tán, phát triển Apache Software foundation, xây dựng dựa Google Big Table HBase chủ yếu viết Java, lưu trữ lượng liệu cực lớn từ terabytes tới petabytes Region đơn vị lưu trữ HBase, việc phân chia bảng thành region đảm bảo khả phân tán cân bảng tải HBase Mỗi region chứa dải dòng xếp liền chúng tự động chia làm liệu trở lên lớn Mỗi region nằm RegionServer nhất, RegionServer lại chứa lúc nhiều region khác Hbase sở liệu hướng cột (column – oriented database) liệu lưu bảng: - Mỗi bảng gồm nhiều dòng, dòng có RowID xếp theo thứ tự từ điển - Mỗi dòng bao gồm nhiều column family, column family gồm nhiều cột Khi đó, cột xác định dạng “family:qualifier” Các giá trị rỗng không lưu trữ HBase Bảng 3.3 So sánh sở liệu hƣớng cột sở liệu hƣớng dòng Cơ sở liệu hướng cột Khi tình cần xử lý phân tích xử lý phân tích trực tuyến ứng dụng Cơ sở liệu hướng dòng Xử lý giao dịch trực tuyến lĩnh vực tài chính, ngân hàng 45 Có thể lưu trữ lượng liệu vơ lớn, Được thiết kế cho số lượng dòng cột đến nhiều petabyte nhỏ Kiến trúc Hbase gồm phần bản: - HMaster: thành phần trung tâm kiến trúc Hbase Nó giám sát Region Server thuộc cluster, thay đổi liên quan đến metadata phải qua HMaster - Hregionserver: chịu trách nhiệm quản lý region Sau Regionserver nhận yêu cầu đọc/ghi từ client, định cho region riêng biệt chứa column family - HRegions: thành phần kiến trúc Hbase cluster Bao gồm thành phần Memstore Hfile Đây nơi lưu trữ liệu bảng - Zookeeper: trung tâm giám sát, giữ thơng tin cấu hình cung cấp đồng phân tán Đồng phân tán cho phép truy cập vào ứng dụng phân tán chạy toàn cluster với trách nhiệm cung cấp dịch vụ điều phối node Nếu client muốn liên lạc với region, client phải thông qua Zookeeper 46 Các bảng sở liệu: Hình 3.5 Quan hệ bảng sở liệu Trong đó: - Users: Bảng chứa thông tin người dùng Với thông tin: rowId (rowId dòng DB); userId (id người dùng); gender (giới tính người dùng); age (tuổi người dùng); occupation (nghề nghiệp) - Movies: Bảng chứa thông tin phim Với thơng tin: rowId (rowId dòng DB); movieId (id phim); title (tiêu đề phim); genres (thể loại) - Ratings: Bảng chứa liệu đánh giá phim Với thơng tin: rowId (rowid dòng DB); userId (id người dùng đánh giá phim); movieId (id phim đánh giá); rating (đánh giá phim người dùng, giá trị từ đến 5); timestamp (thời điểm đánh giá) Api giao tiếp Client Event Server - Gửi thông tin đánh giá người dùng từ Client đến Event Server: Ví dụ: đánh giá người dùng có ID = với phim có ID = 6789 { "event" : "rate", "user" : "1", "item" : "6789", "properties" : { 47 "rating" : } } - Kết gửi Client: { "errorcode" : “success” "event" : "rate", "user" : "1", "item" : "6789", "properties" : { "rating" : } } c Engine Phƣơng thức giao tiếp với Client: REST Api Thuật toán sử dụng: ALS Giao tiếp Engine với Client: - Yêu cầu kết dự đoán từ Client: Ví dụ: Dự đốn phim có đánh giá cao người dùng có ID = { "user" : "1", "number" : "4 } - Kết gửi Client: { "itemScores":[ { "item":"86898", "rating":4.6 }, { "item":"99149", "rating":4.5 }, { "item":"69529", "rating":4.1 }, 48 { "item":"59018", "rating":3.6 } ] } 49 KẾT LUẬN Những đóng góp luận văn Luận văn trình bày tổng quan tốn khuyến nghị vai trò toán xã hội Tiếp theo, luận văn trình bày thực nghiệm ba số nhiều thuật toán sử dụng vấn đề khuyến nghị Kết thu sau thực nghiệm với liệu MovieLens với độ xác dự đoán tốt Đặc biệt thuật toán ALS Dựa vào đó, luận văn xây dựng hệ thống khuyến nghị phim tự động Hệ thống giao tiếp với Client thông qua REST Api, sử dụng sở liệu HBase, thuật toán huấn luyện ALS Hƣớng phát triển luận văn Trong tương lai, luận văn cần cải thiện tốc độ huấn luyện thuật toán giải pháp xung quanh việc xây dựng hệ thống để đảm bảo tốc độ đáp ứng hệ thống theo thời gian thực đảm bảo tính bảo mật hệ thống 50 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Anh [1] D Goldberg, D Nichols, B M Oki, D Terry, Using Collaborative Filtering to Weave an Information Tapestry, Comm ACM 35 [2] Graves, A and Schmidhuber, J (2009) Offline handwriting recognition with multi dimensional recurrent neural networks In Advances in neural information processings ystems, pages 545–552 [3] John S Breese, David Heckerman, and Carl Kadie, Empirical Analysis of Predictive Algorithms for Collaborative Filtering, 1998 Archived 19 October 2013 at the Wayback Machine [4] Koren, Y (2008) Factorization meets the neighborhood: a multifaceted collaborative filtering model In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pages 426–434 ACM [5] Koren, Y., Bell, R., Volinsky, C., et al (2009) Matrix factorization techniques for recommender systems Computer, 42(8):30–37 [6] Kuan Liu, Xing Shi, Anoop Kumar, Linhong Zhu, Prem Natarajan "Temporal Learning and Sequence Modeling for a Job Recommender System" [7] Luong, M.-T., Sutskever, I., Le, Q V., Vinyals, O., and Zaremba, W (2014) Addressing the rare word problem in neural machine translation arXiv preprint arXiv:1410.8206 [8] Recommender Systems - The Textbook | Charu C Aggarwal | Springer [9] Rendle, S., Freudenthaler, C., Gantner, Z., and Schmidt-Thieme, L (2009) Bpr: Bayesian personalized ranking from implicit feedback In Proceedings of the twenty-fifth conference on uncertainty in artificial intelligence, pages 452–461 AUAI Press [10] Robert Bell; Yehuda Koren; Chris Volinsky (2008-12-10) "The BellKor 2008 Solution to the Netflix Prize" 51 [11] Ruslan Salakhutdinov, Andriy Mnih ""Bayesian Probabilistic Matrix Factorization using Markov Chain Monte Carlo [12] Sarwar, B., Karypis, G., Konstan, J., and Riedl, J (2001) Item-based collaborative filtering recommendation algorithms In Proceedings of the 10th international conference on World Wide Web, pages 285–295 ACM [13] Sutskever,I.,Vinyals,O.,andLe,Q.V.(2014) Sequence to sequence learning with neural networks In Advances in neural information processing systems, pages 3104–3112 [14] Terveen, Loren; Hill, Will (2001) "Beyond Recommender Systems: Helping People Help Each Other" (PDF) Addison-Wesley p Retrieved 16 January 2012 [15] Usunier, N., Buffoni, D., and Gallinari, P (2009) Ranking with ordered weighted pairwise classification In Proceedings of the 26th annual international conference on machine learning, pages 1057–1064 ACM [16] Weimer, M., Karatzoglou, A., Le, Q V., and Smola, A (2007) Maximum margin matrix factorization for collaborative ranking Advances in neural information processing systems, pages 1–8 [17] Weston, J.Bengio, and Usunier, N.(2010) Large scale image annotation: learning to rank with joint word-image embeddings Machine learning, 81(1):21–35 [18] Xiaoyuan Su, Taghi M Khoshgoftaar, A survey of collaborative filtering techniques, Advances in Artificial Intelligence archive, 2009 [19] Y Koren, “Factorization Meets the Neighborhood: a Multifaceted Collaborative Filtering Model”, Proc 14th ACM Int Conference on Knowledge Discovery and Data Mining (KDD'08), ACM press, 2008 [20] J Davidson, Benjamin Liebald, Junning Liu, Palash Nandy, Taylor Van Vleet, The YouTube Video Recommendation System Trang web [21] https://www.cs.toronto.edu/~rsalakhu/BPMF.html [22]http://www.businessinsider.com/how-the-netflix-recommendation-algorithmworks-2016-2 ... dụng xây dựng hệ thống khuyến nghị phim tự động với tập liệu MovieLens Luận văn trình bày chương với nội dung sau: Chƣơng Tổng quan hệ thống khuyến nghị Chương giới thiệu hệ thống khuyến nghị. .. xây dựng hệ thống khuyến nghị phim tự động Chương trình bày phương pháp thử nghiệm thuật toán hệ thống khuyến nghị, từ đó, áp dụng vào thử nghiệm, đánh giá thuật tốn Sau q trình xây dựng hệ thống. .. VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - BÙI VĂN MINH NGHIÊN CỨU, XÂY DỰNG HỆ THỐNG KHUYẾN NGHỊ PHIM TỰ ĐỘNG CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ