Nghiên cứu giải thuật RBMs trong Deep Learning cho hệ lọc cộng tác và viết chương trình mô phỏng

Lọc cộng tác (Collaborative Filtering) là một trong những kỹ thuật lọc thông tin trong hệ tư vấn. Nó khai thác những khía cạnh liên quan đến thói quen sử dụng sản phẩm của cộng đồng người dùng có cùng sở thích để tạo nên tư vấn. Với sự có mặt ngày càng nhiều khách hàng và sản phẩm, hệ thống tư vấn đang phải đối mặt với việc tư vấn mỗi giây cho hàng triệu khách hàng và sản phẩm. Đồng thời, chất lượng của các đề xuất phải đủ cao, đủ tin tưởng để giúp người dùng tìm thấy bất kỳ điều gì giống như mong muốn của họ. Hầu hết các thuật toán cho hệ tư vấn đã không được xây dựng để phù hợp với dữ liệu lớn, người dùng mới, sản phẩm mới, thưa thớt dữ liệu đánh giá của người dùng khi đó có thể gián tiếp ảnh hưởng đến chất lượng tư vấn. Đề tài: “Nghiên cứu giải thuật RBMs trong Deep Learning cho hệ lọc cộng tác và viết chương trình mô phỏng” sẽ góp phần nào đó trong việc giải quyết những vấn đề còn tồn tại của lọc thông tin cho các hệ tư vấn. Đồ án được chia làm ba chương, trong đó: Chương 1. Giới thiệu kỹ thuật lọc công tác trong hệ tư vấn Giới thiệu về hệ tư vấn, bài toán trong hệ tư vấn, phân loại hệ tư vấn, cụ thể là tư vấn dựa trên nội dung và lọc cộng tác. Mô tả các vấn đề còn tồn tại trong lọc cộng tác. Chương 2. Máy hạn chế Botlzmann (RBMs) trong lọc công tác Mô hình, huấn luyện, và dự đoán về giải thuật máy Botlzmann (Botlzmann Machine), máy hạn chế Botlzmann (Restricted Boltzmann Machine), máy hạn chế Botlzmann (RBM’s) trong lọc cộng tác, cách giải thuật giải quyết trong bài toán lọc cộng tác. Chương 3. Cài đặt bài toán

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN I  ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: NGHIÊN CỨU THUẬT TOÁN RBM TRONG DEEP LEARNING CHO HỆ LỌC CỘNG TÁC VÀ VIẾT CHƯƠNG TRÌNH MƠ PHỎNG Giảng viên hướng dẫn: ThS TRỊNH THỊ VÂN ANH Sinh viên thực hiện: NGUYỄN ĐĂNG KHIÊM Lớp: D11CNPM4 Khóa: 2011 - 2016 Hệ: CHÍNH QUY ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Hà Nội, tháng 11 năm 2015 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC LỜI CẢM ƠN Sau thời gian dài học tập, thực tập trường em hoàn thành đồ án tốt nghiệp cuối khóa Lời cho em phép gửi tới cô giáo ThS Trịnh Thị Vân Anh – giảng viên Khoa Công nghệ Thông tin I Học viện Cơng nghệ Bưu Viễn thơng lời cảm ơn sâu sắc chân thành nhất, cảm ơn bảo, đơn đốc để em hồn thành đồ án tốt nghiệp Một giáo em vơ nhiệt tình, cá tính, động Em xin gửi lời cảm ơn tới tồn thể thầy, khoa hết lịng dạy dỗ em q trình học tập trường Mỗi thầy, mỗi cô có những nét đă ̣c biê ̣t Đằng sau nghiêm khắc mặc định “luật” “lệnh” tâm huyết thầy, kỹ năng, kiến thức chuyên nghiệp hệ trẻ tương lai Ai từng là sinh viên của thầy cô có cảm nhận riêng, em Thầy cô tuyệt vời ạ! Thầy cô giúp em trang bị khối kiến thức kinh nghiệm quý báu chuyên môn, sống để làm hành trang bước vào đời Con xin gửi lời cảm ơn chân thành đến bố mẹ, ba anh trai chị gái, đại gia đình người ln quan tâm, chăm sóc cho vật chất lẫn tinh thần, tạo điều kiện tốt cho để chuyên tâm học tập, nghiên cứu Nơi nguồn động viên, tìm bến đỗ mệt mỏi chỗ dựa vững cho Cuối cùng, xin cảm ơn tất bạn bè đặc biệt người đồng hành với suốt chặng đường vừa qua, người giúp đỡ, khích lệ phê bình góp ý giúp tơi hồn thành khóa luận thuận lợi Các bạn cho tơi tình cảm quý giá thiêng liêng nhất, không quên Xin chân thành cảm ơn! Hà Nội, tháng 11 năm 2015 Nguyễn Đăng Khiêm ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NHẬN XÉT (Của giảng viên phản biện) ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ………………………………………………………………………………… Điểm: …………………Bằng chữ:……………………………………… ……… , ngày….tháng ….năm 2015 CÁN BỘ- GIẢNG VIÊN PHẢN BIỆN (Ký, ghi rõ họ tên) ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của người hướng dẫn) ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ………………………………………………………………………………… Điểm: …………………Bằng chữ:……………………………………… Đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt nghiệp ……… , ngày….tháng ….năm 2015 CÁN BỘ- GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC MỤC LỤC MỤC LỤC i DANH MỤC CÁC HÌNH iii DANH MỤC CÁC BẢNG iv DANH MỤC CÁC CHỮ VIẾT TẮT v PHẦN MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU KỸ THUẬT LỌC CỘNG TÁC TRONG HỆ TƯ VẤN 1.1 Hệ thống tư vấn 1.1.1 Giới thiệu chung .1 1.1.2 Ứng dụng hệ tư vấn 1.2 Bài toán tư vấn .2 1.3 Phân loại hệ thống tư vấn .4 1.3.1 Phương pháp tư vấn dựa nội dung .4 1.3.2 Phương pháp tư vấn dự kỹ thuật lọc cộng tác 10 1.3.3 Tư vấn dựa cách tiếp cận kết hợp 16 1.4 Kết luận 18 CHƯƠNG MÁY HẠN CHẾ BOTLZMANN (RBMs) TRONG LỌC CỘNG TÁC 19 2.1 Máy Botlzmann (Botlzmann Machine) 19 2.1.1 Mơ hình máy Bolzmann .19 2.1.2 Huấn luyện cho máy Botlzmann 21 2.2 Máy hạn chế Botlzmann (Restrist Botlzmann Machine) .23 2.3.1 Mơ hình máy hạn chế Botlzmann 23 2.3.2 Huấn luyện cho máy hạn chế Botlzmann (RBM) 24 2.3 Máy hạn chế Botlzmann (RBMs) lọc cộng tác 26 2.3.1 Mơ hình máy hạn chế Botlzmann lọc cộng tác 26 2.3.2 Huấn luyện máy hạn chế Botlzmann (RBMs) lọc cộng tác 29 2.3.3 Dự đoán 29 2.4 Kết luận 30 CHƯƠNG CÀI ĐẶT BÀI TOÁN 31 3.1 Xây dựng toán 31 3.2 Hệ thống máy hạn chế Boltzmann (RBMs) lọc cộng tác 32 3.3 Mô tả liệu Dataset Netflix 34 i ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC 3.4 Cài đặt toán 37 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann 37 3.4.2 Yêu cầu hệ thống thư viện sử dụng 39 3.4.3 Kết thực nghiệm đánh giá 39 3.5 Kết luận 46 KẾT LUẬN .48 TÀI LIỆU THAM KHẢO .50 ii ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC DANH MỤC CÁC HÌNH Hình 1: Minh họa hệ thống tư vấn sách cho người đọc .2 Hình 2: Minh họa phương pháp tư vấn dựa lọc nội dung .5 Hình 3: Minh họa phương pháp tư vấn dựa lọc cộng tác 10 Hình 4: Quy trình hệ thơng tư vấn dựa lọc cộng tác .11 Hình 1: Mạng nơ-ron hồi quy lớp 19 Hình 2: Một Boltzmann Machine Các nút nối với theo cách 20 Hình 3: Một Restricted Boltzmann Machine có liên kết nút nút ẩn 24 Hình 4: Huấn luyện CD Nút nút ẩn cập nhật qua T bước lặp 26 Hình 5: So sánh RBMs nhị phân RBMs lọc cộng tác[8] 27 Hình 6: Restricted Boltzmann Machine cho lọc cộng tác Nút nhị phân thay với softmax units Mỗi người dùng có RBMs bao gồm softmax units cho phim đánh giá người dùng 28 Hình 1: Xây dựng toán lọc cộng tác 31 Hình 2: Sơ đồ khối hệ thống sử dụng giải thuật RBMs lọc cộng tác 32 Hình 3: Biểu diễn sai số dự đoán .34 Hình 4: Định dạng đánh giá người dùng phim .35 Hình 5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix 37 Hình 6: Thư viện Numpy tính tốn tốn học ngơn ngữ Python 39 Hình 7: File cấu hình lần cho huấn luyện RBMs lần 40 Hình 8: Kết số RMSE thu lần 41 Hình 9: Đồ thị số đánh giá RMSE lần 41 Hình 10: File cấu hình lần cho huấn luyện RBMs lần hai 42 Hình 11: Kết liệu kiểm tra (validation set) RMSE thu lần hai 43 Hình 12: Đồ thị số đánh giá RMSE lần hai 43 Hình 13: File cấu hình lần cho huấn luyện RBMs lần ba 44 Hình 14: Kết liệu kiểm tra (validation set) RMSE thu lần ba 45 iii ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Hình 15: Đồ thị số đánh giá RMSE lần ba 46 DANH MỤC CÁC BẢNG Bảng 1: Minh họa đánh giá người dùng số phim xem Bảng 1: Bảng giải thuật Positive phase 22 Bảng 2: Bảng giải thuật Negative phase 23 Bảng 3: Bảng giải thuật huấn luyện phân kỳ tương phản CD 25 Bảng 4: Những người dùng đánh giá cho phim 28 Bảng 5: Một người dùng (U2 bảng 1) đánh giá cho phim 28 Bảng 6: Dự đoán giải thuật RBMs lọc cộng tác 30 Bảng 1: Tập liệu Test cho ví dụ RMSE 33 Bảng 2: Tập giá trị dự đốn sai số ví dụ RMSE 34 Bảng 3: Thông số liệu mà Netflix cung cấp 36 Bảng 4: Bảng yêu cầu hệ thống thư viện sử dụng 39 iv ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC DANH MỤC CÁC CHỮ VIẾT TẮT STT Ký hiệu Tiếng Anh Tiếng Việt BM Botlzmann Machine Máy Botlzmann RBM Restrict Botlzmann Machine Máy hạn chế Botlzmann CF Collarborative Filter Lọc cộng tác v visible unit Nút h hidden unit Nút ẩn RMSE Root Mean Squared Error Căn bậc hai trung bình bình phương sai số CD Contrastive Divergence Phân kỳ tương phản E Energy function Hàm lượng u user Người dùng 10 DL Deep Learning Học sâu 11 ML Machine Learning Học máy v ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix Netflix cung cấp số điểm RMSE hệ thống riêng huấn luyện tập liệu, 0.9514 3.4 Cài đặt toán 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann a Tốc độ học (Learning rate) Tốc độ học [6] thông số mà điều chỉnh việc làm để mạng RBM học nhanh làm để việc huấn luyện hiệu Hãy xem xét RBM mà trải qua trình học tập Giả định trọng số số liên kết mạng phần tạo 0,3 Khi mạng giới thiệu huấn luyện mới, thuật toán huấn luyện yêu cầu liên kết thay đổi trọng số đến 0,7 để học mẫu phù hợp Nếu cập nhật trọng số lập tức, mạng RBM chắn học mẫu mới, có xu hướng quên tất mẫu học trước Điều trọng số (0,3) kết tất việc học mà trải qua Vì vậy, trực tiếp thay đổi trọng số tới 0,7 Thay vào tăng phần nhỏ (chọn 25%) thay đổi cần thiết Vì vậy, trọng số liên kết thay đổi thành 0,4 chuyển sang mẫu đào tạo Yếu tố (0,25 trường hợp này) gọi learning rate Căn theo cách này, tất mẫu huấn luyện huấn luyện số thứ tự ngẫu nhiên Khi chu trình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 37 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN trình đào tạo lặp lặp lại nhiều lần, cuối mạng RBM học tất mẫu có hiệu Learning rate giá trị khoảng từ đến Chọn giá trị gần đòi hỏi số lượng lớn chu trình huấn luyện Điều làm cho trình huấn luyện chậm Mặt khác, learning rate lớn, trọng số khác độ lệch hàm mục tiêu dao động lớn mạng đạt đến trạng thái mà việc huấn luyện diễn vơ ích b Weight - decay Weight-decay [6] tham số điều kiện thêm vào quy tắc cập nhật trọng số Làm tăng tốc độ huấn luyện c Nhóm mẫu nhỏ (Mini-batch) Mini- batch [6] mạng huấn luyện theo nhóm Các nhóm gom lại theo thứ tự tăng dần Ví dụ: huấn luyện có 100 mẫu, với số điểm liệu nhóm 10 mạng huấn luyện với 10 điểm liệu trước, sau huấn luyện với 10 điểm liệu hết liệu thơi d Hằng số qn tính (Momentum) Tốc độ học giải thuật RBMs chậm learning rate nhỏ, tốc độ học lớn lại gây dao động lớn trình tìm giá trị cực tiểu theo phương pháp giảm gradient Để giải vấn đề người ta thường thêm thành phần quán tính [6] vào phương trình hiệu chỉnh trọng số Nhờ thành phần này, q trình học vượt qua điểm cực tiểu địa phương để tìm đến cực tiểu tồn cục, đồng thời thành phần quán tính ngăn cản thay đổi đột ngột trọng số theo hướng khác với hướng mà lời giải chuyển đến e Epoch Trong trình huấn luyện mạng, thuật ngữ “epoch” dùng để mơ tả q trình tất mẫu liệu đầu vào training set đưa để huấn luyện mạng Nói khác epoch hoàn thành tất liệu training set đưa vào huấn luyện mạng Vì vậy, số lượng “epoch” xác định số lần mạng huấn luyện (hay số lần đưa tất liệu training set vào mạng) 3.4.2 Yêu cầu hệ thống thư viện sử dụng SVTH: Nguyễn Đăng Khiêm _D11CNPM4 38 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TOÁN Bảng 4: Bảng yêu cầu hệ thống thư viện sử dụng Hệ thống Chip intel core i3, 2.1GHz, Ram 4GB, Windows 64bit Ngôn ngữ cài đặt Python version 34 Thư viện NumPy version 1.10.1 Thư viện NumPy hình 3.6 [13] gói chương trình phục vụ cho tính tốn tốn học phức tạp ngơn ngữ lập trình Python Hình 6: Thư viện Numpy tính tốn tốn học ngôn ngữ Python 3.4.3 Kết thực nghiệm đánh giá Đồ án thực huấn luyện ba lần với cấu hình tham số khác nhau, tham số cần kiểm nghiệm thực tế để đạt số đánh giá RMSE mong muốn a Lần Theo [9] khuyến nghị, nút ẩn (Hidden) cố định ba lần khởi tạo với giá trị F = 100, phim M (movie) = 17765, K (số lượng rating (1->5)) = Riêng giá trị sau thay đổi: Tốc độ học (learning rate) learningRate = 0.01, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch = 20 Hình 3.7 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 39 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 7: File cấu hình lần cho huấn luyện RBMs lần Hình 8: Kết số RMSE thu lần SVTH: Nguyễn Đăng Khiêm _D11CNPM4 40 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Chuyển đổi giá trị từ hình 3.8 sang đồ thị để có đánh giá bao quát hình 3.9 Hình 9: Đồ thị số đánh giá RMSE lần Hình 3.8 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, từ epoch đến epoch RMSE có xu hướng giảm từ 1.372 giảm đến 0.899 Tuy nhiên, từ epoch đến hết epoch 20 số RMSE lại tăng từ 0.900 đến 0.944 (hình 3.9) chứng tỏ giải thuật dự đốn chưa xác với tham số lần truyền vào b Lần hai Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch= 20 Hình 3.10 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 41 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TOÁN Hình 10: File cấu hình lần cho huấn luyện RBMs lần hai Hình 11: Kết liệu kiểm tra (validation set) RMSE thu lần hai Chuyển đổi giá trị từ hình 3.11 sang đồ thị để có đánh giá bao qt hình 3.12 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 42 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 12: Đồ thị số đánh giá RMSE lần hai Hình 3.11 kết đánh giá sai số RMSE biểu diễn đồ thị giải thuật RBM Ta thấy, từ epoch đến epoch 20 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.905 (hình 3.12) chứng tỏ giải thuật dự đốn xác với tham số lần truyền vào c Lần ba Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.002, số lượng epoch numberOfEpoch = 50 Hình 3.13 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 43 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 13: File cấu hình lần cho huấn luyện RBMs lần ba SVTH: Nguyễn Đăng Khiêm _D11CNPM4 44 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 14: Kết liệu kiểm tra (validation set) RMSE thu lần ba Chuyển đổi giá trị từ hình 3.14 sang đồ thị để có đánh giá bao quát hình 3.15 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 45 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TOÁN Hình 15: Đồ thị số đánh giá RMSE lần ba Hình 3.14 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, đồ án tăng số lượng epoch từ 20 lên 50 thay đổi tham số từ epoch đến epoch 50 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.893 (hình 3.15) chứng tỏ giải thuật dự đốn tương đối xác 3.5 Kết luận Chương cài đặt thực nghiệm toán với liệu dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với tham số truyền vào khác Với 20 epoch đồ án thay đổi giá trị tham số với SVTH: Nguyễn Đăng Khiêm _D11CNPM4 46 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Cụ thể, lần lần hai tham số hoàn toàn giống nhau, khác giá trị learning rate lần 0.01 lần hai 0.001 Chỉ số đánh giá RMSE thu cho thấy với lần kết RMSE không ổn định, lúc giảm lúc tăng Với lần hai kết RMSE ổn định, việc dự đốn giải thuật xác Với 50 epoch huấn luyện lần ba giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 47 Đồ án tốt nghiệp Đại học KẾT LUẬN KẾT LUẬN Trên sở tìm hiểu, nghiên cứu giải thuật Restrited Boltzmann Machines Deep Learning cho hệ lọc cộng tác Đồ án đạt số kết sau:  Giới thiệu kỹ thuật lọc cộng tác hệ tư vấn: đồ án trình bày số kiến thức sở hệ thống tư vấn, toán tư vấn, phương pháp tư vấn bao gồm tư vấn dựa nội dung tư vấn dựa kỹ thuật lọc cộng tác Những vấn đề tồn để tư vấn có độ xác cao, độ phức tạp thấp, với liệu lớn, liệu bị thưa vấn đề lớn nhà nghiên cứu quan tâm Đồ án đề xuất giải thuật máy hạn chế Botlzmann (Restricted Botlzmann Machine) [9] để thực giải số vấn đề tồn lọc cộng tác  Mơ hình máy hạn chế Boltzmann (RBMs) lọc cộng tác: giới thiệu giải thuật BM, RBM RBMs lọc cộng tác Phương pháp huấn luyện, cập nhật giá trị tham số dự đoán giải thuật RBMs đề cập  Sử dụng mơ hình giải thuật RBMs cài đặt cho toán đề xuất: cài đặt thực nghiệm toán với liệu lớn dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với tham số truyền vào khác Với 20 epoch đồ án thay đổi giá trị tham số với lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Với 50 epoch huấn luyện lần giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 Những hạn chế cịn tồn tại:  Thuật tốn chạy lâu huấn luyện  Chưa xử lý vấn đề tồn người dùng mới, sản phẩm SVTH: Nguyễn Đăng Khiêm _D11CNPM4 48 Đồ án tốt nghiệp Đại học KẾT LUẬN Hướng phát triển tương lai:  Đồ án sử dụng tập liệu dataset Netflix đưa vào sử dụng cho thực tế cần thu tập liệu thực từ trang web xem phim, đưa dự đoán cụ thể hệ thống website, ứng dụng  Phát triển tiếp hệ thống để từ kỹ thuật lọc cộng tác tư vấn  Tìm hiểu, nghiên cứu việc kết hợp RBMs với giải thuật khác lọc cộng tác để làm tăng thời gian huấn luyện, dự đoán Xử lý toán với người dùng mới, sản phẩm SVTH: Nguyễn Đăng Khiêm _D11CNPM4 49 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Nguyễn Duy Phương, Phát triển số phương pháp lọc thông tin cho hệ tư vấn, ĐHQGHN, 2011 Tài liệu Tiếng Anh [2] ACKLEY, D H., HINTON, G E., AND SEJNOWSKI, T J A learning algorithm for Boltzmann machines, Kaufmann, Los Altos, CA, pages 522– 533,1987 [3] Geoffrey E Hinton 2002 Training products of experts by minimizing contrastive divergence.Neural Comput. 14, (August 2002), 1771-1800 DOI=http://dx.doi.org/10.1162/089976602760128018 [4] Geoffrey E Hinton 2005 What kind of a graphical model is the brain? In Proceedings of the 19th international joint conference on Artificial intelligence (IJCAI'05) Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1765-1775 [5] HINTON, G E Boltzmann machine Scholarpedia 2, (2007), 1668 [6] Hinton, G E (2012) A Practical Guide to Training Restricted Boltzmann Machines In G Montavon, G B Orr & K.-R Müller (ed.), Neural Networks: Tricks of the Trade (2nd ed.) , Vol 7700 (pp 599-619) Springer ISBN: 9783-642-35288-1 [7] Linden, G., Smith, B & York, J (2003) Amazon.com Recommendations: Item-to-Item Collaborative Filtering IEEE Internet Computing, 7, 76 80 doi: 10.1109/MIC.2003.1167344 [8] Lu, K (2013) The Application of Deep Learning in Collaborative Filtering School of Engineering University of California Santa Cruz [9] Salakhutdinov, R.; Mnih, A.; and Hinton, G E Restricted Boltzmann machines for collaborative filtering In Machine Learning, Proceedings of the Twenty-Fourth International Conference (ICML 2007), Corvalis, Oregon, USA, June 20-24, 2007, pages 791-798, 2007 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 50 [10] THOMPSON, C If you liked this, you’re sure to love that The New York Times Magazine (November 2008) Danh mục website [11] OpenCV, http://archive.ics.uci.edu/ml/datasets/Netflix+Prize, ngày truy cập 02/09/2015 JavaCV, https://github.com/bytedeco/javacv, ngày truy cập 02/09/2015 [12] Thư viện numpy, http://www.numpy.org/, ngày truy cập 11/10/2015 https://github.com/bytedeco/javacv SVTH: Nguyễn Đăng Khiêm _D11CNPM4 51 ... Botlzmann (RBMs) lọc cộng tác 26 2. 3.1 Mơ hình máy hạn chế Botlzmann lọc cộng tác 26 2. 3 .2 Huấn luyện máy hạn chế Botlzmann (RBMs) lọc cộng tác 29 2. 3.3 Dự đoán 29 2. 4 Kết... giải thuật RBMs Deep Learning cho hệ lọc cộng tác viết chương trình mơ phỏng? ?? góp phần việc giải vấn đề tồn lọc thông tin cho hệ tư vấn Đồ án chia làm ba chương, đó: Chương Giới thiệu kỹ thuật lọc. .. công tác hệ tư vấn Giới thiệu hệ tư vấn, toán hệ tư vấn, phân loại hệ tư vấn, cụ thể tư vấn dựa nội dung lọc cộng tác Mô tả vấn đề tồn lọc cộng tác Chương Máy hạn chế Botlzmann (RBMs) lọc cơng tác