(Luận văn thạc sĩ) nghiên cứu phương pháp phân tích ma trận SVD và một số ứng dụng trong học máy

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PINTHIP Anon Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUN - 2019 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG PINTHIP Anon Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Đàm Thanh Phương THÁI NGUYÊN - 2019 Số hóa Trung tâm Học liệu Công nghệ thông tin – ĐHTN http://lrc.tnu.edu.vn LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn thạc sỹ chuyên ngành Khoa học máy tính, tên đề tài “Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy” cơng trình nghiên cứu, tìm hiểu trình bày tơi thực hướng dẫn khoa học TS Đàm Thanh Phương, Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên Kết tìm hiểu, nghiên cứu luận văn hồn tồn trung thực, khơng vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, tơi hoàn toàn chịu trách nhiệm trước pháp luật Tất tài liệu, báo, khóa luận, cơng cụ phần mềm tác giả khác sử dụng lại luận văn dẫn tường minh tác giả có danh mục tài liệu tham khảo Thái Nguyên, ngày 18 tháng năm 2019 Tác giả luận văn Pinthip Anon i LỜI CẢM ƠN Tác giả xin chân thành cảm ơn TS Đàm Thanh Phương, trường Đại học Công nghệ thông tin truyền thông - Đại học Thái Nguyên, giáo viên hướng dẫn khoa học hướng dẫn tác giả hoàn thành luận văn này, xin cảm ơn thầy, cô giáo trường Đại học công nghệ thông tin truyền thơng nơi tác giả theo học hồn thành chương trình cao học nhiệt tình giảng dạy giúp đỡ Xin cảm ơn nơi tác giả công tác tạo điều kiện thuận lợi để tác giả hồn thành chương trình học tập Và cuối xin cảm ơn gia đình, bạn bè, đồng nghiệp động viên, giúp đỡ tác giả suốt thời gian học tập, nghiên cứu hoàn thành luận văn Xin chân thành cảm ơn Thái Nguyên, ngày 18 tháng năm 2019 Tác giả luận văn Pinthip Anon ii DANH SÁCH HÌNH VẼ 2.1 Minh họa phân tích SVD 25 2.2 Biểu diễn SVD dạng thu gọn 28 3.1 Ví dụ SVD cho nén ảnh 38 3.2 Ví dụ utility matrix với hệ thống Gợi ý hát Các hát người dùng đánh giá theo mức độ từ đến Các dấu ’ ?’ màu xám ứng với việc liệu chưa tồn sở liệu Recommendation Systems cần phải tự điền giá trị 41 3.3 Giả sử feature vector cho item cho cột cuối Với user, cần tìm mơ hình θi tương ứng cho mơ hình thu tốt 43 3.4 Ví dụ utility matrix dựa số user rate cho item Một cách trực quan, hành vi u0 giống với u1 u2 , u3 , u4 , u5 , u6 Từ dự đốn u0 quan tâm đến i2 u1 quan tâm đến item 47 3.5 Ví dụ mơ tả User-user Collaborative Filtering a) Utility Matrix ban đầu b) Utility Matrix chuẩn hoá c) User similarity matrix d) Dự đốn (normalized) ratings cịn thiếu e) Ví dụ cách dự đoán normalized rating u1 cho i1 f) Dự đốn (denormalized) ratings cịn thiếu 49 3.6 Matrix Factorization Utility matrix Y phân tích thành tích hai ma trận low-rank X W 53 iii DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT R Tập hợp số thực Z Tập hợp số nguyên C Tập hợp số phức Rn Không gian Euclide n chiều ||.|| Chuẩn Euclide SV D Singular Value Decomposition rank(A) Hạng ma trận A det(A) Định thức ma trận A AT Chuyển vị ma trận A AH Hermitian ma trận A A F Frobenius norm ma trận A diag(A) Đường chéo ma trận A trace(A) trace ma trận A sng(x) Hàm xác định dấu ∂f ∂x ∇x f Đạo hàm hàm số f theo biến số x∈R Gradient (đạo hàm ) hàm số f theo véc tơ x iv MỤC LỤC Lời cam đoan i Lời cảm ơn ii Danh sách hình vẽ ii Danh mục ký hiệu, từ viết tắt iv Mở đầu Chương MỘT SỐ KIẾN THỨC CHUẨN BỊ 1.1 Một số kiến thức đại số tuyến tính 1.2 Giới thiệu học máy 18 Chương PHƯƠNG PHÁP PHÂN TÍCH MA TRẬN SVD 23 2.1 Phân tích ma trận SVD 23 2.2 Một số biến thể SVD 27 Chương MỘT SỐ ỨNG DỤNG CỦA SVD TRONG HỌC MÁY 37 3.1 Phân tích SVD ứng dụng nén ảnh 37 3.2 Ứng dụng SVD hệ gợi ý 39 Kết luận chung 63 Tài liệu tham khảo 63 v MỞ ĐẦU Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), cụ thể Machine Learning (Học Máy Máy Học) lên chứng cách mạng công nghiệp lần thứ tư (1 - động nước, lượng điện, - cơng nghệ thơng tin) Trí Tuệ Nhân Tạo len lỏi vào lĩnh vực đời sống mà khơng nhận Xe tự hành Google Tesla, hệ thống tự tag khuôn mặt ảnh Facebook, trợ lý ảo Siri Apple, hệ thống gợi ý sản phẩm Amazon, hệ thống gợi ý phim Netflix, máy chơi cờ vây AlphaGo Google DeepMind, , vài ứng dụng AI/Machine Learning [1] Machine Learning tập AI Theo định nghĩa Wikipedia, Machine learning is the subfield of computer science that “gives computers the ability to learn without being explicitly programmed” Nói đơn giản, Machine Learning lĩnh vực nhỏ Khoa Học Máy Tính, có khả tự học hỏi dựa liệu đưa vào mà không cần phải lập trình cụ thể Chính vậy, việc nghiên cứu phát triển thuật toán Học máy xây dựng ứng dụng đòi hỏi thiết người làm Khoa học máy tính Nền tảng tốn học Machine Learning địi hỏi phải có kiến thức Đại số tuyến tính, tối ưu, xác suất thống kê Việc phân tích ma trận thành tích nhiều ma trận đặc biệt khác (Matrix Factorization Matrix Decomposition) mang lại nhiều ích lợi quan trọng Đặc biệt thuật toán Học máy giảm số chiều liệu, nén liệu, tìm hiểu đặc tính liệu, giải hệ phương trình tuyến tính, clustering, nhiều ứng dụng khác Recommendation System nhiều ứng dụng Matrix Factorization SVD (singular value decomposition) dạng khai triển ma trận có nhiều ứng dụng vấn đề liên quan đến nghịch đảo số hóa liệu Hiện phân tích SVD ma trận xuất nhiều ứng dụng thực tế tín hiệu số, tính giá trị xấp xỉ kĩ thuật, công nghệ thông tin, học máy ứng dụng cơng cụ tìm kiếm websites Tuy nhiên, nghiên cứu lý thuyết liên quan đến SVD học viên cao học vấn đề mới, chưa gần gũi chưa dễ hiểu cho học viên cần nghiên cứu mảng đề tài thú vị Do em lựa chọn đề tài “Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy” thực làm luận văn cao học nhằm mục đích đưa đến cho người đọc thân kiến thức khai triển SVD tạo nhìn tổng quan cách khai triển số tính chất, hệ quan trọng liên quan đến dạng khai triển này.[2], [8], [11] Đề tài luận văn nghiên cứu phương pháp Matrix Factorization đẹp Đại số tuyến tính Phương pháp có tên Singular Value Decomposition (SVD) Ta thấy, ma trận, khơng thiết vng, phân tích thành tích ba ma trận đặc biệt Sau ứng dụng cụ thể SVD nén ảnh hệ thống gợi ý nghiên cứu áp dụng Nội dung luận văn gồm chương: Chương Các kiến thức sở Chương trình bày kiến thức chuẩn bị cho việc nghiên cứu Đó kiến thức giới thiệu học máy; Các kiến thức sở Image Compresstion Recommendation System kiến thức sở Đại số tuyến tính giải tích ma trận 1.1 Giới thiệu học máy 1.2 Các kiến thức sở Image Compresstion Recommendation System 1.3 Các kiến thức sở Đại số tuyến tính Chương Phương pháp phân tích ma trận SVD Nội dung chương tập trung vào vấn đề phân tích ma trận SVD kiến thức mở rộng SVD Cụ thể sau: 2.1 Phát biểu SVD 2.2 Các kiến thức mở rộng SVD Chương Ứng dụng SVD Sau nắm rõ nội dung chương 2, chương trình bày kết ứng dụng SVD số toán học máy Cụ thể có nội dung sau: 3.1 Image Compresstion 3.2 Recommendation System 3.3 Một số ứng dụng khác Phần kết luận: Tóm tắt kết đạt thảo luận hướng phát triển đề tài ... Luận văn thạc sỹ chuyên ngành Khoa học máy tính, tên đề tài ? ?Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy? ?? cơng trình nghiên cứu, tìm hiểu trình bày tơi thực hướng dẫn khoa học. .. SVD học viên cao học vấn đề mới, chưa gần gũi chưa dễ hiểu cho học viên cần nghiên cứu mảng đề tài thú vị Do em lựa chọn đề tài ? ?Nghiên cứu phương pháp phân tích ma trận SVD số ứng dụng học máy? ??... MA TRẬN SVD 23 2.1 Phân tích ma trận SVD 23 2.2 Một số biến thể SVD 27 Chương MỘT SỐ ỨNG DỤNG CỦA SVD TRONG HỌC MÁY 37 3.1 Phân