ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌCĐề tài NGHIÊN CỨU THUẬT TOÁN RBM TRONGDEEP LEARNING CHO HỆ LỌC CỘNG TÁC VÀVIẾT CHƯƠNG TRÌNH MÔ PHỎNG

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN I  ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: NGHIÊN CỨU THUẬT TOÁN RBM TRONG DEEP LEARNING CHO HỆ LỌC CỘNG TÁC VÀ VIẾT CHƯƠNG TRÌNH MƠ PHỎNG Giảng viên hướng dẫn: ThS TRỊNH THỊ VÂN ANH Sinh viên thực hiện: NGUYỄN ĐĂNG KHIÊM Lớp: D11CNPM4 Khóa: 2011 - 2016 Hệ: CHÍNH QUY Hà Nội, tháng 11 năm 2015 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC LỜI CẢM ƠN Sau thời gian dài học tập, thực tập trường em hồn thành đồ án tốt nghiệp cuối khóa Lời cho em phép gửi tới cô giáo ThS Trịnh Thị Vân Anh – giảng viên Khoa Công nghệ Thông tin I Học viện Công nghệ Bưu Viễn thơng lời cảm ơn sâu sắc chân thành nhất, cảm ơn cô bảo, đôn đốc để em hồn thành đồ án tốt nghiệp Một giáo em vơ nhiệt tình, cá tính, động Em xin gửi lời cảm ơn tới toàn thể thầy, khoa hết lịng dạy dỗ em trình học tập trường Mỗi thầy, có những nét đặc biệt Đằng sau nghiêm khắc mặc định “luật” những “lệnh” tâm huyết thầy, kỹ năng, kiến thức chuyên nghiệp hệ trẻ tương lai Ai từng sinh viên thầy cô có những cảm nhận riêng, em Thầy cô tuyệt vời ạ! Thầy cô giúp em trang bị khối kiến thức kinh nghiệm quý báu chuyên môn, sống để làm hành trang bước vào đời Con xin gửi lời cảm ơn chân thành đến bố mẹ, ba anh trai chị gái, đại gia đình những người ln quan tâm, chăm sóc cho vật chất lẫn tinh thần, tạo điều kiện tốt cho để chuyên tâm học tập, nghiên cứu Nơi nguồn động viên, tìm bến đỗ mệt mỏi chỗ dựa vững cho Cuối cùng, xin cảm ơn tất bạn bè đặc biệt những người đồng hành với suốt chặng đường vừa qua, những người giúp đỡ, khích lệ phê bình góp ý giúp tơi hồn thành khóa luận thuận lợi Các bạn cho những tình cảm q giá thiêng liêng nhất, tơi không quên Xin chân thành cảm ơn! Hà Nội, tháng 11 năm 2015 Nguyễn Đăng Khiêm ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NHẬN XÉT (Của giảng viên phản biện) ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ………………………………………………………………………………… Điểm: …………………Bằng chữ:……………………………………… ……… , ngày….tháng ….năm 2015 CÁN BỘ- GIẢNG VIÊN PHẢN BIỆN (Ký, ghi rõ họ tên) ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM (Của người hướng dẫn) ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… … ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ……………………………………………………………………………………… ………………………………………………………………………………… Điểm: …………………Bằng chữ:……………………………………… Đồng ý cho sinh viên bảo vệ trước hội đồng chấm đồ án tốt nghiệp ……… , ngày….tháng ….năm 2015 CÁN BỘ- GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC MỤC LỤC MỤC LỤC i DANH MỤC CÁC HÌNH .ii DANH MỤC CÁC BẢNG ii PHẦN MỞ ĐẦU .1 CHƯƠNG 1: GIỚI THIỆU KỸ THUẬT LỌC CỘNG TÁC TRONG HỆ TƯ VẤN 1.3 Phân loại hệ thống tư vấn 1.3.1 Phương pháp tư vấn dựa nội dung 1.3.2 Phương pháp tư vấn dự kỹ thuật lọc cộng tác 10 1.3.3 Tư vấn dựa cách tiếp cận kết hợp 16 1.4 Kết luận 18 CHƯƠNG MÁY HẠN CHẾ BOTLZMANN (RBMs) TRONG LỌC CỘNG TÁC 19 CHƯƠNG CÀI ĐẶT BÀI TOÁN 31 i ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC DANH MỤC CÁC HÌNH DANH MỤC CÁC BẢNG ii ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC DANH MỤC CÁC CHỮ VIẾT TẮT STT Ký hiệu Tiếng Anh Tiếng Việt BM Botlzmann Machine Máy Botlzmann RBM Restrict Botlzmann Machine Máy hạn chế Botlzmann CF Collarborative Filter Lọc cộng tác v visible unit Nút h hidden unit Nút ẩn RMSE Root Mean Squared Error Căn bậc hai trung bình bình phương sai số CD Contrastive Divergence Phân kỳ tương phản E Energy function Hàm lượng u user Người dùng 10 DL Deep Learning Học sâu 11 ML Machine Learning Học máy iii ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC PHẦN MỞ ĐẦU Sự phát triển Internet mở cho người nhiều hội thách thức Thương mại điện tự đời phát triển mạnh mẽ Tất sản phẩm, mặt hàng trao đổi, mua bán mạng Với từ khóa tìm kiếm, khách hàng có lượng lớn danh sách sản phẩm phù hợp Danh sách lên tới hàng trăm, hàng nghìn sản phẩm có liên quan đến tìm kiếm Vấn đề cần lượng sản phẩm vừa phải số những sản phẩm đó, khơng muốn bỏ thêm những chi phí tìm kiếm khác để có những sản phẩm mong muốn Chính mà hệ thống tư vấn đời nhằm mang đến những lựa chọn phù hợp nhất, gần với mong muốn người dùng Ngày nay, hệ thống tư vấn nghiên cứu áp dụng nhiều lĩnh vực tư vấn phim, tư vấn âm nhạc, tư vấn sách… Ví dụ hệ thống tư vấn Amazon, sản phẩm gợi ý cho người dùng hầu hết xuất phát từ việc sử dụng thuật toán tư vấn [7], khách hàng mua mặt hàng A giới thiệu mặt hàng B Hay hệ giới thiệu phim (ở Netfix (Netflix[12] tiếng với hệ thống giới thiệu phim Cinematch dịch vụ truyền hình qua Internet với nội dung chủ yếu phim show truyền hình thu hút tỷ xem lớn vượt xa hãng truyền hình cable truyền thống), MovieLens), giới thiệu âm nhạc (tại Last.fm) Như vậy, hệ tư vấn lĩnh vực trọng nghiên cứu ngành giới học thuật Một số cơng ty có mơ hình kinh doanh hầu hết dựa vào hệ tư vấn mà họ sử dụng Cho thuê DVD công ty Netlfix những ví dụ bật [10] Là CEO Netlfix, Reed Hastings nói: ”Người dân có thời gian để nhận thức họ muốn chọn phim ” Năm 2000, Netflix giới thiệu Cinematch, hệ thống giới thiệu riêng Phiên làm việc cải thiện theo thời gian lập trình viên thử những ý tưởng tinh chỉnh thuật toán họ Điều thú vị hệ thống không đơn giản đề xuất phim bom mà ngược lại, phim nhỏ hoặc độc lập thường đề xuất cho người dùng Hệ thống tư vấn giúp người dùng tìm thấy những mị họ SVTH: Nguyễn Đăng Khiêm _D11CNPM4 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC muốn đồng nghĩa công ty tiêu thụ nhiều sản phẩm Điều mà Netlfix coi trọng trình kinh doanh họ Lọc cộng tác (Collaborative Filtering) những kỹ thuật lọc thông tin hệ tư vấn Nó khai thác những khía cạnh liên quan đến thói quen sử dụng sản phẩm cộng đồng người dùng có sở thích để tạo nên tư vấn Với có mặt ngày nhiều khách hàng sản phẩm, hệ thống tư vấn phải đối mặt với việc tư vấn giây cho hàng triệu khách hàng sản phẩm Đồng thời, chất lượng đề xuất phải đủ cao, đủ tin tưởng để giúp người dùng tìm thấy điều giống mong muốn họ Hầu hết thuật tốn cho hệ tư vấn khơng xây dựng để phù hợp với dữ liệu lớn, người dùng mới, sản phẩm mới, thưa thớt dữ liệu đánh giá người dùng gián tiếp ảnh hưởng đến chất lượng tư vấn Đề tài: “Nghiên cứu giải thuật RBMs Deep Learning cho hệ lọc cộng tác viết chương trình mơ phỏng” góp phần việc giải những vấn đề cịn tồn lọc thông tin cho hệ tư vấn Đồ án chia làm ba chương, đó: Chương Giới thiệu kỹ thuật lọc công tác hệ tư vấn Giới thiệu hệ tư vấn, toán hệ tư vấn, phân loại hệ tư vấn, cụ thể tư vấn dựa nội dung lọc cộng tác Mơ tả vấn đề cịn tồn lọc cộng tác Chương Máy hạn chế Botlzmann (RBMs) lọc cơng tác Mơ hình, huấn luyện, dự đoán giải thuật máy Botlzmann (Botlzmann Machine), máy hạn chế Botlzmann (Restricted Boltzmann Machine), máy hạn chế Botlzmann (RBM’s) lọc cộng tác, cách giải thuật giải toán lọc cộng tác Chương Cài đặt toán Xác định toán, xây dựng hệ thống mà giải thuật sử dụng toán, mô tả dữ liệu trước đồ án sử dụng để cài đặt thực nghiệm, môi trường cài đặt, kết đánh giá độ xác thuật tốn Cuối kết luận tài liệu tham khảo SVTH: Nguyễn Đăng Khiêm _D11CNPM4 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 1: GIỚI THIỆU CHƯƠNG 1: GIỚI THIỆU KỸ THUẬT LỌC CỘNG TÁC TRONG HỆ TƯ VẤN 1.1 Hệ thống tư vấn 1.1.1 Giới thiệu chung Hệ thống tư vấn (Recommender Systems -RSs) những công cụ hay kỹ thuật phần mềm cung cấp gợi ý sản phẩm cho người dùng Các gợi ý liên quan đến trình định loại sản phẩm cần mua, loại âm nhạc cần nghe, hoặc tin tức cần đọc, Vào giữa thập niên 1990, hệ thống tư vấn xem lĩnh vực nghiên cứu độc lập bắt đầu tập trung vào những vấn đề liên quan đến tư vấn mà phụ thuộc rõ ràng những cấu trúc trọng số Trong hầu hết trường hợp, tư vấn đưa việc đánh giá trọng số cho những sản phẩm mà người dùng chưa chọn lựa (sử dụng) Trong hình thức đơn giản nhất, tư vấn mang tính cá nhân hóa cung cấp danh sách sản phẩm xếp hạng Để thực việc xếp hạng này, hệ thống tư vấn cố gắng dự đoán sản phẩm hoặc dịch vụ phù hợp dựa sở thích người dùng Để hồn thành cơng việc thế, hệ thống tư vấn thu thập sở thích người dùng, cách dựa xếp hạng họ sản phẩm hoặc suy diễn từ hành động người dùng Ví dụ, hệ thống tư vấn xem xét việc người dùng xem thông tin website trang sản phẩm dấu hiệu ngầm định sở thích người sản phẩm trang Ví dụ minh họa hoạt động hệ thống tư vấn: Một người dùng đăng nhập vào hệ thống website đọc sách, người cần xem sách văn học nên xem sách nào, hệ thống website cần tư vấn cho người xem hoặc vài sách mà dự đốn người thích sách mà hệ thống tư vấn Để tư vấn cho người dùng, hệ thống cần thu thập thông tin người dùng người dùng khác, thu thập thơng tin sách Có vài cách tư vấn truyền thống đơn giản như, chọn những sách nhiều người ưa thích nhất, hoặc chọn những để tư vấn Tuy nhiên để nâng cao chất lượng tư vấn cho người dùng, hệ thống tư vấn SVTH: Nguyễn Đăng Khiêm _D11CNPM4 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix Netflix cung cấp số điểm RMSE hệ thống riêng huấn luyện tập dữ liệu, 0.9514 3.4 Cài đặt tốn 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann a Tốc độ học (Learning rate) Tốc độ học [6] những thông số mà điều chỉnh việc làm để mạng RBM học nhanh làm để việc huấn luyện hiệu Hãy xem xét RBM mà trải qua trình học tập Giả định trọng số số liên kết mạng phần tạo 0,3 Khi mạng giới thiệu huấn luyện mới, thuật toán huấn luyện yêu cầu liên kết thay đổi trọng số đến 0,7 để học mẫu phù hợp Nếu cập nhật trọng số lập tức, mạng RBM chắn học mẫu mới, có xu hướng quên tất mẫu học trước Điều trọng số (0,3) kết tất việc học mà trải qua Vì vậy, khơng thể trực tiếp thay đổi trọng số tới 0,7 Thay vào tăng phần nhỏ (chọn 25%) thay đổi cần thiết Vì vậy, trọng số liên kết thay đổi thành 0,4 chuyển sang mẫu đào tạo Yếu tố (0,25 trường hợp này) gọi learning rate Căn theo cách này, tất mẫu huấn luyện huấn luyện số thứ tự ngẫu nhiên Khi chu trình trình đào tạo lặp lặp lại nhiều lần, cuối mạng RBM học tất mẫu có hiệu SVTH: Nguyễn Đăng Khiêm _D11CNPM4 37 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TOÁN Learning rate giá trị khoảng từ đến Chọn giá trị gần đòi hỏi số lượng lớn chu trình huấn luyện Điều làm cho trình huấn luyện chậm Mặt khác, learning rate lớn, trọng số khác độ lệch hàm mục tiêu dao động lớn mạng đạt đến trạng thái mà việc huấn luyện diễn vơ ích b Weight - decay Weight-decay [6] tham số điều kiện thêm vào quy tắc cập nhật trọng số Làm tăng tốc độ huấn luyện c Nhóm mẫu nhỏ (Mini-batch) Mini- batch [6] mạng huấn luyện theo từng nhóm Các nhóm gom lại theo thứ tự tăng dần Ví dụ: huấn luyện có 100 mẫu, với số điểm dữ liệu nhóm 10 mạng huấn luyện với 10 điểm dữ liệu trước, sau huấn luyện với 10 điểm dữ liệu hết dữ liệu thơi d Hằng số qn tính (Momentum) Tốc độ học giải thuật RBMs chậm learning rate nhỏ, tốc độ học lớn lại gây dao động lớn trình tìm giá trị cực tiểu theo phương pháp giảm gradient Để giải vấn đề người ta thường thêm thành phần quán tính [6] vào phương trình hiệu chỉnh trọng số Nhờ thành phần này, q trình học vượt qua điểm cực tiểu địa phương để tìm đến cực tiểu tồn cục, đồng thời thành phần quán tính ngăn cản thay đổi đột ngột trọng số theo hướng khác với hướng mà lời giải chuyển đến e Epoch Trong trình huấn luyện mạng, thuật ngữ “epoch” dùng để mơ tả q trình tất mẫu dữ liệu đầu vào training set đưa để huấn luyện mạng Nói khác epoch hoàn thành tất dữ liệu training set đưa vào huấn luyện mạng Vì vậy, số lượng “epoch” xác định số lần mạng huấn luyện (hay số lần đưa tất dữ liệu training set vào mạng) 3.4.2 Yêu cầu hệ thống thư viện sử dụng Bảng 4: Bảng yêu cầu hệ thống thư viện sử dụng Hệ thống Chip intel core i3, 2.1GHz, Ram 4GB, Windows 64bit Ngôn ngữ cài đặt SVTH: Nguyễn Đăng Khiêm _D11CNPM4 Python version 34 38 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Thư viện CHƯƠNG 3: CÀI ĐẶT BÀI TOÁN NumPy version 1.10.1 Thư viện NumPy hình 3.6 [13] gói chương trình phục vụ cho tính tốn tốn học phức tạp ngơn ngữ lập trình Python Hình 6: Thư viện Numpy tính tốn tốn học ngơn ngữ Python 3.4.3 Kết thực nghiệm đánh giá Đồ án thực huấn luyện ba lần với cấu hình tham số khác nhau, tham số cần kiểm nghiệm thực tế để đạt số đánh giá RMSE mong muốn a Lần Theo [9] khuyến nghị, nút ẩn (Hidden) cố định ba lần khởi tạo với giá trị F = 100, phim M (movie) = 17765, K (số lượng rating (1->5)) = Riêng giá trị sau thay đổi: Tốc độ học (learning rate) learningRate = 0.01, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch = 20 Hình 3.7 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 39 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 7: File cấu hình lần cho huấn luyện RBMs lần Hình 8: Kết số RMSE thu lần SVTH: Nguyễn Đăng Khiêm _D11CNPM4 40 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Chuyển đổi giá trị từ hình 3.8 sang đồ thị để có đánh giá bao qt hình 3.9 Hình 9: Đồ thị số đánh giá RMSE lần Hình 3.8 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, từ epoch đến epoch RMSE có xu hướng giảm từ 1.372 giảm đến 0.899 Tuy nhiên, từ epoch đến hết epoch 20 số RMSE lại tăng từ 0.900 đến 0.944 (hình 3.9) chứng tỏ giải thuật dự đốn chưa xác với tham số lần truyền vào b Lần hai Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.00002, số lượng epoch numberOfEpoch= 20 Hình 3.10 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 41 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 10: File cấu hình lần cho huấn luyện RBMs lần hai Hình 11: Kết liệu kiểm tra (validation set) RMSE thu lần hai Chuyển đổi giá trị từ hình 3.11 sang đồ thị để có đánh giá bao quát hình 3.12 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 42 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 12: Đồ thị số đánh giá RMSE lần hai Hình 3.11 kết đánh giá sai số RMSE biểu diễn đồ thị giải thuật RBM Ta thấy, từ epoch đến epoch 20 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.905 (hình 3.12) chứng tỏ giải thuật dự đốn xác với tham số lần truyền vào c Lần ba Tốc độ học (learning rate) learningRate = 0.001, momentum = 0.5, wDecay (weight decay) = 0.002, số lượng epoch numberOfEpoch = 50 Hình 3.13 nội dung file cấu hình SVTH: Nguyễn Đăng Khiêm _D11CNPM4 43 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 13: File cấu hình lần cho huấn luyện RBMs lần ba SVTH: Nguyễn Đăng Khiêm _D11CNPM4 44 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 14: Kết liệu kiểm tra (validation set) RMSE thu lần ba Chuyển đổi giá trị từ hình 3.14 sang đồ thị để có đánh giá bao qt hình 3.15 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 45 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN Hình 15: Đồ thị số đánh giá RMSE lần ba Hình 3.14 kết đánh giá sai số RMSE giải thuật RBM Ta thấy, đồ án tăng số lượng epoch từ 20 lên 50 thay đổi tham số từ epoch đến epoch 50 số RMSE có xu hướng giảm ổn định từ 1.372 đến 0.893 (hình 3.15) chứng tỏ giải thuật dự đốn tương đối xác 3.5 Kết luận Chương cài đặt thực nghiệm toán với dữ liệu dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với tham số truyền vào khác Với 20 epoch đồ án thay đổi giá trị tham số với SVTH: Nguyễn Đăng Khiêm _D11CNPM4 46 ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC CHƯƠNG 3: CÀI ĐẶT BÀI TỐN lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Cụ thể, lần lần hai tham số hoàn toàn giống nhau, khác giá trị learning rate lần 0.01 lần hai 0.001 Chỉ số đánh giá RMSE thu cho thấy với lần kết RMSE không ổn định, lúc giảm lúc tăng Với lần hai kết RMSE ổn định, việc dự đốn giải thuật xác Với 50 epoch huấn luyện lần ba giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 SVTH: Nguyễn Đăng Khiêm _D11CNPM4 47 Đồ án tốt nghiệp Đại học KẾT LUẬN KẾT LUẬN Trên sở tìm hiểu, nghiên cứu giải thuật Restrited Boltzmann Machines Deep Learning cho hệ lọc cộng tác Đồ án đạt số kết sau: • Giới thiệu kỹ thuật lọc cộng tác hệ tư vấn: đồ án trình bày số kiến thức sở hệ thống tư vấn, toán tư vấn, phương pháp tư vấn bao gồm tư vấn dựa nội dung tư vấn dựa kỹ thuật lọc cộng tác Những vấn đề cịn tồn để tư vấn có độ xác cao, độ phức tạp thấp, với dữ liệu lớn, dữ liệu bị thưa vấn đề lớn nhà nghiên cứu quan tâm Đồ án đề xuất giải thuật máy hạn chế Botlzmann (Restricted Botlzmann Machine) [9] để thực giải số vấn đề tồn lọc cộng tác • Mơ hình máy hạn chế Boltzmann (RBMs) lọc cộng tác: giới thiệu giải thuật BM, RBM RBMs lọc cộng tác Phương pháp huấn luyện, cập nhật giá trị tham số dự đoán giải thuật RBMs đề cập • Sử dụng mơ hình giải thuật RBMs cài đặt cho toán đề xuất: cài đặt thực nghiệm toán với dữ liệu lớn dataset Netflix, đưa số RMSE đánh giá độ hiệu thuật toán Sau ba lần huấn luyện với tham số truyền vào khác Với 20 epoch đồ án thay đổi giá trị tham số với lượng nhỏ (ví dụ learning rate thay đổi từ 0.01 sang 0.001) kết số đánh giá RMSE khác nhiều Với 50 epoch huấn luyện lần giá trị số đánh giải thuật thực nghiệm thu cuối 0.89399 tốt so với hệ thống riêng Netflix đưa 0.9514 Những hạn chế tồn tại: • Thuật tốn chạy lâu huấn luyện • Chưa xử lý vấn đề tồn người dùng mới, sản phẩm Hướng phát triển tương lai: • Đồ án sử dụng tập dữ liệu dataset Netflix đưa vào sử dụng cho thực tế cần thu tập dữ liệu thực từ trang web xem phim, đưa dự đoán cụ thể hệ thống website, ứng dụng • Phát triển tiếp hệ thống để từ kỹ thuật lọc cộng tác tư vấn SVTH: Nguyễn Đăng Khiêm _D11CNPM4 48 Đồ án tốt nghiệp Đại học • KẾT LUẬN Tìm hiểu, nghiên cứu việc kết hợp RBMs với giải thuật khác lọc cộng tác để làm tăng thời gian huấn luyện, dự đoán Xử lý toán với người dùng mới, sản phẩm SVTH: Nguyễn Đăng Khiêm _D11CNPM4 49 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Nguyễn Duy Phương, Phát triển số phương pháp lọc thông tin cho hệ tư vấn, ĐHQGHN, 2011 Tài liệu Tiếng Anh [2] ACKLEY, D H., HINTON, G E., AND SEJNOWSKI, T J A learning algorithm for Boltzmann machines, Kaufmann, Los Altos, CA, pages 522– 533,1987 [3] Geoffrey E Hinton 2002 Training products of experts by minimizing contrastive divergence.Neural Comput 14, (August 2002), 1771-1800 DOI=http://dx.doi.org/10.1162/089976602760128018 [4] Geoffrey E Hinton 2005 What kind of a graphical model is the brain? In Proceedings of the 19th international joint conference on Artificial intelligence (IJCAI'05) Morgan Kaufmann Publishers Inc., San Francisco, CA, [5] [6] USA, 1765-1775 HINTON, G E Boltzmann machine Scholarpedia 2, (2007), 1668 Hinton, G E (2012) A Practical Guide to Training Restricted Boltzmann Machines In G Montavon, G B Orr & K.-R Müller (ed.), Neural Networks: Tricks of the Trade (2nd ed.) , Vol 7700 (pp 599-619) Springer ISBN: 978-3- 642-35288-1 [7] Linden, G., Smith, B & York, J (2003) Amazon.com Recommendations: Item-to-Item Collaborative Filtering IEEE Internet Computing, 7, 76 80 doi: 10.1109/MIC.2003.1167344 [8] Lu, K (2013) The Application of Deep Learning in Collaborative Filtering School of Engineering University of California Santa Cruz [9] Salakhutdinov, R.; Mnih, A.; and Hinton, G E Restricted Boltzmann machines for collaborative filtering In Machine Learning, Proceedings of the Twenty-Fourth International Conference (ICML 2007), Corvalis, Oregon, USA, June 20-24, 2007, pages 791-798, 2007 [10] THOMPSON, C If you liked this, you’re sure to love that The New York Times Magazine (November 2008) Danh mục website SVTH: Nguyễn Đăng Khiêm _D11CNPM4 50 [11] OpenCV, http://archive.ics.uci.edu/ml/datasets/Netflix+Prize, ngày truy cập 02/09/2015 JavaCV, https://github.com/bytedeco/javacv, ngày truy cập 02/09/2015 [12] Thư viện numpy, http://www.numpy.org/, ngày truy cập 11/10/2015 https://github.com/bytedeco/javacv SVTH: Nguyễn Đăng Khiêm _D11CNPM4 51