(Luận văn) nghiên cứu phương pháp học sâu cho lọc cộng tác

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRƯƠNG THỊ HẬU NGHIÊN CỨU PHƯƠNG PHÁP HỌC SÂU CHO LỌC CỘNG TÁC CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 (Khoa học máy tính) LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN DUY PHƯƠNG HÀ NỘI – 2016 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác TÁC GIẢ LUẬN VĂN TRƯƠNG THỊ HẬU LỜI CẢM ƠN Trong suốt trình học tập thực luận văn, nhận nhiều quan tâm giúp đỡ, hưỡng dẫn tận tình thầy với lời động viên khuyến khích từ phía gia đình, bạn Tôi xin bày tỏ lời cảm ơn chân thành đến tất người Tơi xin tỏ lịng biết ơn sâu sắc đến thầy Nguyễn Duy Phương tận tình hướng dẫn, định hướng cho tơi q trình thực đề tài Thầy cho lời khuyên, dẫn, truyền đạt cho kiến thức, kinh nghiệm việc thực luận văn Tôi xin cảm ơn thầy cô khoa Quốc tế đào tạo sau đại học, học viện Cơng nghệ Bưu Viễn thơng tận tình dạy dỗ cho tơi kiến thức bổ ích suốt q trình hai năm học tập, giúp nâng cao chuyên môn, làm tảng để tơi hồn thành khóa luận, tự tin phát triển công việc sau Cuối cùng, muốn gửi lời cảm ơn tới gia đình bạn bè, người thân ln bên, cảm thơng, hỗ trợ, giúp đỡ tơi khó khăn công việc, sống trình học tập Hà Nội, tháng 11 năm 2016 Trương Thị Hậu i MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT iii DANH MỤC HÌNH VẼ VÀ SƠ ĐỒ iv DANH MỤC BẢNG BIỂU v MỞ ĐẦU CHƯƠNG GIỚI THIỆU VỀ DEEP LEARNING 1.1 Tổng quan Deep Learning 1.1.1 Định nghĩa 1.1.2 Lịch sử 1.1.3 Ứng dụng 1.2 Phân loại phương pháp học sâu 1.2.1 Mạng học sâu có giám sát 1.2.2 Phương pháp học sâu không giám sát 11 1.2.3 Mạng học sâu kết hợp 11 1.3 Kết luận chương 12 CHƯƠNG DEEP LEARNING CHO LỌC CỘNG TÁC 14 2.1 Giới thiệu phương pháp tư vấn dựa kỹ thuật lọc cộng tác 14 2.1.1 Giới thiệu hệ thống tư vấn 14 2.1.2 Tư vấn dựa lọc cộng tác 15 2.2 Giới thiệu máy Bolzmman ((Botlzmann Machine)) 21 2.2.1 Mơ hình máy Bolzman 22 2.2.2 Huấn luyên cho máy Bolzmann 24 2.3 Máy hạn chế Botlzmann (Restrist Botlzmann Machine) 27 2.3.1 Mơ hình máy hạn chế Botlzmann 27 2.3.2 Huấn luyện cho máy hạn chế Botlzmann (RBM) 28 2.4 Máy hạn chế Botlzmann (RBMs) lọc cộng tác 30 2.4.1 Mơ hình máy hạn chế Botlzmann (RBMs) lọc cộng tác 30 2.4.2 Huấn luyện máy hạn chế Botlzmann (RBMs) lọc cộng tác 33 2.4.3 2.5 Dự đoán 35 Kết luận 36 CHƯƠNG III XÂY DỰNG HỆ THỐNG VÀ THỬ NGHIỆM 37 3.1 Xây dựng toán 37 ii 3.2 Hệ thống máy hạn chế Boltzmann (RBMs) lọc cộng tác 37 3.3 Mô tả liệu Dataset Netflix 40 3.4 Cài đặt toán 43 3.4.1 Ý nghĩa tham số máy hạn chế Boltzmann 43 3.4.2 Yêu cầu hệ thống thư viện sử dụng .45 3.4.3 Kết thực nghiệm đánh giá .45 3.5 Kết luận 52 KẾT LUẬN .54 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 56 iii DANH MỤC CÁC CHỮ VIẾT TẮT STT Ký hiệu BM RBM CF v h RMSE Tiếng Anh Botlzmann Machine Restrict Botlzmann Machine Collarborative Filter visible unit hidden unit Root Mean Squared Error 10 11 CD E u DL ML Contrastive Divergence Energy function user Deep Learning Machine Learning Tiếng Việt Máy Botlzmann Máy hạn chế Botlzmann Lọc cộng tác Nút Nút ẩn Căn bậc hai trung bình bình phương sai số Phân kỳ tương phản Hàm lượng Người dùng Học sâu Học máy iv DANH MỤC HÌNH VẼ VÀ SƠ ĐỒ Hình 1-1: Nhận diện hai khuôn mặt tương tự .7 Hình 1-2: Hệ thống tư vấn cho người dùng Hình 2-1: Minh họa hệ thống tư vấn sách cho người đọc 14 Hình 2-2: Minh họa phương pháp tư vấn dựa lọc cộng tác 15 Hình 2-3: Quy trình hệ thơng tư vấn dựa lọc cộng tác 16 Hình 2-4: Mạng nơ-ron hồi quy lớp 22 Hình 2-5: Một Boltzmann Machine, nút nối với theo cách 23 Hình 2-6: Một Restricted Boltzmann Machine có liên kết nút nút ẩn 28 Hình 2-7: Huấn luyện CD, nút nút ẩn cập nhật qua T bước lặp 30 Hình 2-8: So sánh RBMs nhị phân RBMs lọc cộng tác 31 Hình 2-9: Restricted Boltzmann Machine cho lọc cộng tác 32 Hình 3-1: Xây dựng tốn lọc cộng tác 37 Hình 3-2: Sơ đồ khối hệ thống sử dụng giải thuật RBMs lọc cộng tác 38 Hình 3-3: Biểu diễn sai số dự đoán 40 Hình 3-4: Định dạng đánh giá người dùng phim 41 Hình 3-5: Thủ tục sử dụng phương pháp walk-forward chia tập liệu Netflix .43 Hình 3-6: Thư viện Numpy tính tốn tốn học ngơn ngữ Python 45 Hình 3-7: File cấu hình lần cho huấn luyện RBMs lần 46 Hình 3-8: Kết số RMSE thu lần 47 Hình 3-9: Đồ thị số đánh giá RMSE lần .47 Hình 3-10: File cấu hình lần cho huấn luyện RBMs lần hai 48 Hình 3-11: Kết liệu kiểm tra (validation set) RMSE thu lần hai 49 Hình 3-12: Đồ thị số đánh giá RMSE lần hai 49 Hình 3-13: File cấu hình lần cho huấn luyện RBMs lần ba 50 Hình 3-14: Kết liệu kiểm tra (validation set) RMSE thu lần ba 51 Hình 3-15: Đồ thị số đánh giá RMSE lần ba 52 v DANH MỤC BẢNG BIỂU Bảng 2-1: Bảng giải thuật Positive phase 26 Bảng 2-2: Bảng giải thuật Negative phase 26 Bảng 2-3: Bảng giải thuật huấn luyện phân kỳ tương phản CD Bảng 2-4: Những người dùng đánh giá cho phim Bảng 2-5: Một người dùng (U2 bảng 1) đánh giá cho phim Bảng 2-6: Dự đoán giải thuật RBMs lọc cộng tác 36 Bảng 3-1: Tập liệu Test cho ví dụ RMSE 39 Bảng 3-2: Tập giá trị dự đoán sai số ví dụ RMSE Bảng 3-3: Thơng số liệu mà Netflix cung cấp 42 Bảng 3-4: Bảng yêu cầu hệ thống thư viện sử dụng 29 32 33 40 45 MỞ ĐẦU Thế giới chứng kiến phát triển vượt bậc lĩnh vực trí tuệ nhân tạo (Artificial Intelligence - AI) năm gần Bên máy tìm kiếm Google, hóng hớt bn chuyện Facebook, trị chuyện với người thân qua Skype, sai vặt Siri iPhone sản phẩm trí tuệ nhân tạo Google, Microsoft Facebook thành lập nhóm nghiên cứu thực thi thành công số dự án không tưởng Một vài số dự án trú trọng đến việc khai thác phong phú, đa dạng liệu tạo người sử dụng mạng xã hội Rất nhiều số tập trung vào phân tích, nâng cao hiệu tính tốn Chìa khóa để dẫn đến thành cơng hỗ trợ phần không nhỏ xu hướng AI, gọi “Deep Learning” Deep Learning thuật toán dựa số ý tưởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Nói cách khác, deep learning lĩnh vực machine learning nhằm cải thiện ứng dụng thị giác máy tính (computer vision), xử lý ngôn ngữ tự nhiên (natural language processing) để giải đáp thách thức liệu phi cấu trúc Điểm đặc biệt Deep Learning tính xác dựa vào lượng liệu, lượng liệu có kích thước khổng lồ mà khơng bị hạn chế Deep Learning hiểu hệ thống dựa phân tích liệu lớn đa tầng để máy tự học, tự rút kinh nghiệm tự hồn thiện Hiện nhiều hãng cơng nghệ lớn sử dụng mạng thần kinh (hệ thống phần cứng phần mềm mô não người hệ thần kinh) phân tích lượng khổng lồ hình ảnh kỹ thuật số từ học cách nhận diện vật thể, từ ngữ, khuôn mặt người Sự đột phá công nghệ Deep Learning ứng dụng ngày nhiều doanh nghiệp để tạo mơ hình kinh doanh xây dựng ứng dụng mẻ để giải toán thực tế Một số ứng dụng tiếng thơng dụng deep learning trợ lý kích hoạt giọng nói (một tính tìm thấy hầu hết smartphones), ứng dụng hệ thống khuyến nghị, nhận diện ảnh(Image Recognition), dịch tiếng nói (speech translation), chuyển tiếng nói thành văn (speech transcription), phân loại văn (text classification), phát nội dung (content discovery), thương hiệu thông minh (brand intelligence), theo dõi (monitoring) social media Chính em chọn đề tài “Nghiên cứu phương pháp học sâu cho lọc cộng tác” để thực khuôn khổ luận văn tốt nghiệp thạc sỹ ngành khoa học máy tính Nội dung luận văn cấu trúc thành chương sau Chương 1: Giới thiệu Deep Learning Trong chương này, luận văn giới thiêu tổng quan phương pháp học sâu: định nghĩa loại phương pháp học sâu Chương 2: Deep Learning cho lọc cộng tác Trình bày phương pháp học Deep Learningg cho lọc cộng tác Dựa vào nghiên cứu bản, sâu tìm hiểu vào kỹ thuật học sâu cho lọc cộng tác máy hạn chế Bolzmman Chương 3: Xây dựng hệ thống thực nghiệm Chương trình bày phương pháp thử nghiệm đánh giá Kết luận hướng phát triển Trình bày tóm tắt kết đạt chưa đạt Từ đề xuất mục tiêu hướng nghiên cứu, phát triển