BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.

BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN.

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CƠNG NGHỆ Nguyễn Khánh Huyền BÀI TỐN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN LUẬN VĂN THẠC SĨ: TOÁN HỌC Hà Nội - 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Nguyễn Khánh Huyền BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ CỦA MA TRẬN Chuyên ngành: Toán ứng dụng Mã số: 8460112 LUẬN VĂN THẠC SĨ : TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Lê Hải Yến Hà Nội - 2022 i LỜI CAM ĐOAN Tôi xin cam đoan viết luận văn trình tìm hiểu, học hỏi, trau dồi kiến thức thân hướng dẫn tận tình TS Lê Hải Yến Mọi kết nghiên cứu ý tưởng tác giả khác, có trích dẫn cụ thể luận văn Đề tài luận văn chưa bảo vệ hội đồng bảo vệ luận văn thạc sĩ Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, tháng 10 năm 2022 Học viên Nguyễn Khánh Huyền ii LỜI CẢM ƠN Đầu tiên, xin bày tỏ lịng biết ơn sâu sắc tới TS Lê Hải Yến, người trực tiếp hướng dẫn giúp đỡ xác định đề tài Luận văn chất lượng, cho tơi định hình hướng nghiên cứu tương lai Luận văn hoàn thành hướng dẫn tận tình, tâm huyết Cô quan tâm, giúp đỡ, động viên nhiều suốt trình học tập nghiên cứu để tơi hồn thành Luận văn Tơi xin gửi lời cảm ơn đến thầy cô, người trực tiếp giảng dạy cho kiến thức trình học tập nghiên cứu Tôi xin cảm ơn tới Trung tâm Quốc tế Đào tạo Nghiên cứu Toán học, Viện Toán học sở đào tạo Học viện Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện thuận lợi cho mơi trường học tập q trình thực Luận văn Tôi xin chân thành cảm ơn Quỹ VINIF hỗ trợ tài cho tơi năm Cao học, giúp tơi có điều kiện tốt động lực đường nghiên cứu khoa học Tôi xin gửi lời cảm ơn TS Đỗ Đức Hạnh, trưởng phịng nghiên cứu AI Tốn học Smartlog, cựu nghiên cứu viên Viện Toán học, nhiệt tình bảo tơi kiến thức thực tế góc nhìn tiềm ứng dụng thực tiễn tốn Luận văn Tơi xin cảm ơn anh Võ Duy Trung, TS Vũ Minh Tâm đồng nghiệp cơng ty Smartlog hết lịng giúp đỡ tơi q trình làm Luận văn Tơi xin cảm ơn anh Kurt Bình - Tổng giám đốc công ty Smartlog tạo môi trường nghiên cứu toán học tuyệt vời doanh nghiệp, cung cấp điều kiện cho nghiên cứu, áp dụng toán lý thuyết ứng dụng thực tiễn doanh nghiệp, giúp kéo gần lại khoảng cách toán học hàn lâm xã hội Bên cạnh đó, trình học tập, nghiên cứu thực Luận văn, tơi cịn nhận nhiều quan tâm, hỗ trợ từ quý thầy cô, bạn iii bè Viện Toán học, đặc biệt anh Nguyễn Xuân Quý bạn lớp cao học K2020B, Toán ứng dụng Cuối cùng, tơi xin bày tỏ lịng biết ơn tới gia đình tơi, người ln u thương khích lệ tơi suốt q trình học tập, nghiên cứu iv Danh sách hình vẽ 2.1 Biểu diễn toán Netflix dạng ma trận 17 2.2 Quan hệ người dùng, đặc điểm phim 18 3.1 Kết chạy thử nghiệm với kích thước ma trận cỡ 30 × 30, số lượng quan sát chiếm từ 20% đến 80% 39 3.2 Kết chạy thử nghiệm với kích thước ma trận cỡ 30 × 30, số lượng quan sát lớn chiếm từ 68% đến 80% 39 3.3 Kết chạy thử nghiệm với kích thước ma trận cỡ 50 × 50, số lượng quan sát chiếm từ 20% đến 80% 40 3.4 Kết sai số thời gian hai thuật toán điểm thuật toán FISTA 41 3.5 Logo MIT 42 3.6 Ví dụ cho việc phục hồi ảnh với tỉ lệ số điểm ảnh biết chiếm 5% 42 3.7 Ví dụ cho việc phục hồi ảnh với tỉ lệ số điểm ảnh biết chiếm 10% 43 3.8 Ví dụ cho việc phục hồi ảnh với tỉ lệ số điểm ảnh biết chiếm 20% 43 3.9 Dữ liệu đầu vào toán Netflix 45 3.10 Đọc kết liệu Neflix với người dùng có ID "1" 45 v Mục lục Lời cam đoan i Lời cảm ơn ii Danh mục hình vẽ iv Mục lục v Mở đầu 1 KIẾN THỨC CHUẨN BỊ 1.1 Khai triển SVD 1.2 Một số chuẩn ma trận 1.3 Hàm liên hợp 12 BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ 16 2.1 Mơ hình thực tế tốn cực tiểu hàm hạng ma trận 16 2.2 Bao lồi hàm hạng ma trận 20 2.3 Điều kiện RIP 24 THUẬT TOÁN TỐI ƯU CHO BÀI TOÁN CỰC TIỂU CHUẨN NGUYÊN TỬ 29 3.1 Đưa toán cực tiểu chuẩn nguyên tử dạng quy hoạch nửa xác định dương 30 3.2 Thuật toán proximal gradient 33 3.2.1 Toán tử Proximal 33 3.2.2 Thuật toán Proximal 34 3.3 Thử nghiệm số 37 3.3.1 Thử nghiệm với ma trận kích thước bé 38 3.3.2 Xử lý ảnh với thuật toán FISTA 41 vi 3.3.3 Bài toán Netflix 43 Kết luận kiến nghị 48 Tài liệu tham khảo 57 Mở đầu Chúng ta biết nhiều khái niệm toán học thực tế độ phức tạp toán hay số chiều ma trận biểu diễn thơng qua hạng ma trận Thơng thường, ma trận có hạng thấp so với số chiều liệu Do đó, tốn cực tiểu hàm hạng tập lồi toán tối ưu quan trọng xuất nhiều việc lựa chọn mơ hình thực tế, ví dụ toán phục hồi ma trận (matrix completion), toán nén ảnh, toán hệ gợi ý, Trong số trường hợp đặc biệt, tốn cực tiểu hàm hạng giải cách sử dụng phân tích giá trị kì dị Tuy nhiên, trường hợp tổng quát, toán tối ưu khơng lồi u cầu thời gian tính toán mũ Một phương pháp hiệu để giải tốn cực tiểu hàm hạng thơng qua việc giải toán cực tiểu chuẩn nguyên tử Chuẩn nguyên tử ma trận chữ nhật định nghĩa tổng giá trị kì dị ma trận Chuẩn nguyên tử chứng minh bao lồi hàm hạng hình cầu đơn vị theo chuẩn phổ cực tiểu hóa cách sử dụng thuật tốn tối ưu Phương pháp đưa Fazel [1] phương pháp heuristic hiệu để tìm nghiệm tốn cực tiểu hàm hạng Đối với ma trận đường chéo, chuẩn nguyên tử tổng trị tuyệt đối (chuẩn l1 ) giá trị đường chéo Cực tiểu hóa chuẩn l1 phương pháp heuristic tiếng sử dụng từ năm 1970 nhà địa lí nghiên cứu hoạt động địa chấn Kể từ đến nay, phương pháp sử dụng nhiều lĩnh vực khử nhiễu hình ảnh [2], lựa chọn mơ hình thống kê [3], xấp xỉ thưa tối ưu hóa danh mục đầu tư [4], Trong luận văn này, nghiên cứu toán cực tiểu chuẩn nguyên tử điều kiện giới hạn isometry (RIP) để phương pháp cho ta nghiệm toán cực tiểu hàm hạng tương ứng Đồng thời, quan tâm đến thuật toán tối ưu: phương pháp điểm trong, phương pháp proximal gradient phiên tăng tốc để giải tốn cực tiểu chuẩn ngun tử Cụ thể: • Chương 1: chúng tơi trình bày kiến thức chuẩn bị phân tích giá trị kì dị ma trận, tính chất quan trọng ma trận chuẩn ma trận, kiến thức hàm liên hợp để phục vụ cho phát biểu định lý • Chương 2: chúng tơi trình bày tốn cực tiểu hàm hạng dựa mơ hình thực tế, từ đưa tốn cực tiểu hàm hạng toán cực tiểu chuẩn nguyên tử, trình bày định lý chuẩn nguyên tử bao lồi hàm hạng hình cầu đơn vị theo chuẩn phổ điều kiện RIP đảm bảo mối liên hệ toán cực tiểu chuẩn nguyên tử toán cực tiểu hàm hạng tương ứng • Chương 3: chúng tơi trình bày hai phương pháp giải toán cực tiểu chuẩn nguyên tử thử nghiệm số để so sánh hai phương pháp ứng dụng toán chuẩn nguyên tử toán thực tế: xử lý ảnh toán Netflix Chúng tơi nói khía cạnh phát triển luận văn, phương hướng để áp dụng lý thuyết vào giải tốn thực tế doanh nghiệp 43 Hình 3.7: Ví dụ cho việc phục hồi ảnh với tỉ lệ số điểm ảnh biết chiếm 10% Hình 3.8: Ví dụ cho việc phục hồi ảnh với tỉ lệ số điểm ảnh biết chiếm 20% 3.3.3 Bài toán Netflix Chúng sử dụng sở liệu MovieLens 100k GroupLens (https://grouplens.org/datasets/movielens/) Trong này, người ta cung cấp liệu có kích thước từ nhỏ đến lớn: 100.000, 1.000.000, 10.000.000, 25.0000.000 lượt đánh giá Trong luận văn này, nhàm mục đích để minh họa cho thuật tốn, chúng tơi sử dụng liệu nhỏ với 100.000 lượt đánh giá công bố vào tháng 4/1998 Trong liệu 100.000 lượt đánh giá có tệp tin sau: • u.data: tệp chứa 100.000 lượt đánh giá cho 1682 phim từ 943 người dùng Nhà cung cấp cho biết thêm, có 20 phim đánh giá từ người dùng Các lượt đánh giá nhận giá trị từ đến • ua.base, ua.test, ub.base, ub.test: Ở để thuận lợi cho việc 44 áp dụng thuật toán, chia liệu thành hai tập để tập huấn luyện tập để đánh giá kết Trong phạm vi luận văn này, dùng ua.base ua.test • u.user: tệp tin chứa thông tin người dùng, bao gồm: id, tuổi, giới tính, nghề nghiệp, vùng miền người ta tin thơng tin ảnh hưởng tới sở thích người dùng Tuy nhiên, thuật tốn sử dụng, coi người dùng bình đẳng nhau, nên chúng tơi khơng sử dụng thơng tin • u.genre: tệp tin chứa tên 19 thể loại phim Các thể loại bao gồm: unknown, Action,Comedy, Crime, Adventure, Animation, Children’s, Documentary, Drama, War, Fantasy, Sci-Fi, Thriller,FilmNoir, Horror, Musical, Mystery, Romance, Western Tương tự phần người dùng, coi phim bình đẳng nhau, khơng có mối liên hệ hay đặc tính chung phim với nhau, nên thông tin chũng không sử dụng Vì tốn phục hồi ma trận, chúng tơi coi người dùng phim độc lập nhau, khơng có tương quan hai người dùng hay hai phim với nhau, nên đây, quan tâm đến lượt đánh giá người dùng đến phim, không quan tâm đến thông tin người dùng tính chất phim Như nói trên, dùng ua.base để huấn luyện, ua.test dùng để kiếm tra đánh giá độ xác thuật tốn Bộ ua.base ua.test chia từ liệu gốc với tỉ lệ 9:1 Dữ liệu đầu vào tập huấn luyện có 943 người dùng, 1682 phim với 90570 lượt đánh giá Có nghĩa đây, số phần tử biết trước chiếm 5.7% Dữ liệu đầu vào có dạng sau: 45 Hình 3.9: Dữ liệu đầu vào toán Netflix Trong bảng liệu này, người ta xếp theo thứ tự ID người dùng, người dùng thể lượt đánh giá họ tương ứng với ID phim theo thứ tự Ta thấy, người dùng thứ xem phim đánh giá sao, người dùng thứ xem phim hai đánh giá sao, người dùng thứ 943 xem phim thứ 1228 đánh giá sao, Người dùng thứ 943 không xem phim không đánh giá phim có ID 1229, nên khơng lượt đánh giá ma trận liệu đầu vào Tương tự với người dùng phim cịn lại Ví dụ, người dùng có ID 1, ta thấy người dùng có ID "1" đánh giá phim nào: Hình 3.10: Đọc kết liệu Neflix với người dùng có ID "1" Vì để phục hồi ma trận liệu đầu vào, hay nói cách khác dự đoán lượt đánh giá người dùng phim, với phục hồi 46 ma trận, ta cần hàng cột có tối thiểu phần tử Đơn giản ta khơng có tí thơng tin người dùng hay phim ta khơng có sở để dự đốn người dùng đánh giá cao phim nào, hay phim phù hợp với người Nó giống kiểu để dự đốn kì thi bất kì, bạn A điểm, ta khơng có thơng tin bạn A ta khơng thể dự đốn bạn A đạt điểm Vậy nên, trước áp dụng thuật tốn, chúng tơi có bước xử lý liệu với ma trận đầu vào Vì liệu chắn người dùng đánh giá 20 phim nên cần kiểm tra xem có phim khơng có lượt đánh giá khơng Với phim chưa có lượt đánh giá, thường có hai cách bỏ phim khỏi liệu, điền ngẫu nhiên lượt đánh giá phim tương ứng với người dùng Sau xử lý liệu xong, chúng tơi dùng thuật tốn FISTA để xử lý thuật toán, với toán chuẩn nguyên tử sau: minimize thỏa mãn rank(X) Xij = Mij (i, j) ∈ Ω (3.17) với Mij ma trận liệu đầu vào không đầy đủ, Ω tập số ID người dùng i đánh giá phim có ID j Vì số phần tử ma trận M khơng có thơng tin, nên ta khơng thể tính tốn sai số cách tính phần thí nghiệm làm với ma trận tạo ngẫu nhiên phần 3.3.1 Trong thi Netflix, người ta đánh giá sai số theo công thức RMSE, tức bậc hai trung bình cộng bình phương lỗi RMSE bé cho ta thấy kết dự đốn tốt RMSE tính sau: v u X (Mij − Xij )2 u RM SE = t |T | (i,j)∈T với Xij ma trận sau ta tính tốn cáclượt đánh giá người dùng i phim j tương ứng; T tập số mà có lượt đánh giá 47 tập kiểm tra Sau chạy với thuật toán FISTA, ta có kết sai số RMSE là: 0.9077 Như vậy, sai số vào khoảng 0.9 Kết đánh nào? Theo tìm hiểu chúng tơi, sử dụng mơ hình hồi quy tuyến tính đơn giản RMSE = 1.0540 Bài toán phục hồi ma trận trường hợp toán Netflix tương ứng với toán hệ gợi ý, mà mục tiêu toán hệ gợi ý cần danh sách phim đánh giá cao tương ứng với người dùng, top phim, hay 10 phim, Và bên ban tổ chức thi nghiên cứu tuyên bố cải thiện nhỏ giúp RMSE giảm 1% dẫn đến khác biệt đáng kể việc lấy 10 phim đánh giá cao tương ứng với người dùng Vậy nên, thuật tốn FISTA giúp cải thiện giảm RMSE 13.8%, cho kết tốt 48 KẾT LUẬN VÀ KIẾN NGHỊ Bài toán cực tiểu chuẩn nguyên tử có ứng dụng đa dạng xử lý ảnh, hệ thống gợi ý, tài thống kê, xử lý tín hiệu địa chấn, Trong luận văn chúng tơi tìm hiểu nghiên cứu được: • Bài tốn cực tiểu hàm hạng thơng qua mơ hình thực tế tốn điền phần tử thiếu ma trận (matrix completion), cụ thể toán Netflix ứng dụng Hệ thống gợi ý, từ đưa tốn cực tiểu hàm hạng toán cực tiểu chuẩn nguyên tử, dựa vào tính lồi tốn cực tiểu chuẩn nguyên tử • Các điều kiện RIP đảm bảo mối liên hệ toán cực tiểu chuẩn nguyên tử tốn cực tiểu hàm hạng tương ứng • Hai phương pháp giải toán cực tiểu chuẩn nguyên tử phương pháp điểm cho toán quy hoạch nửa xác định dương phương pháp tăng tốc proximal gradient(FISTA) Chúng thử nghiệm số để so sánh hai phương pháp trên, ứng dụng để giải toán xử lý ảnh toán Netflix Hướng nghiên cứu Chúng mong muốn xây dựng thuật tốn sử dụng hệ gợi ý, với số lượng người dùng có kích thước lớn từ vài triệu đến vài tỷ Chúng nhận thấy số vấn đề trình nghiên cứu làm luận văn sau: Khi có người đánh giá phim/ mặt hàng đó, câu hỏi nên đặt đánh giá có phù hợp hay khơng? Ví dụ, người rừng rậm, chưa tiếp xúc với giới văn minh đánh giá chất lượng xe điện Tesla, đánh 49 giá khơng nên có ý nghĩa, hệ thống gợi ý đủ tốt cần phải loại trừ trường hợp Chúng ta giả sử rằng, tất người dùng, phim/hàng hóa, bình đẳng với thơng qua việc loại bỏ tất thông tin liên quan khác, ngoại trừ việc đánh giá Trong đó, thơng tin quan trọng khác quan hệ người đánh giá với nhau, tương đồng mặt hàng/ phim nên đóng vai trị lớn Thực tiễn chứng minh, hầu hết tất bạn bè người thích mặt hàng đó, xác xuất cao người thích Điều tương tự lý thuyết mạng xã hội, hai người có lớp bạn bè với xác xuất cao bạn bè quen biết với nhau, hệ thống gợi ý kết bạn nên gợi ý bạn bè chung Đối với tốn thực tế có kích thước lớn (bigdata), với số người dùng lên đến triệu, tỷ người dùng thuật toán FISTA giải tốt với ma trận có số chiều khoảng 105 [24], nên việc tính tốn với tốn bigdata gặp nhiều khó khăn Câu hỏi không tầm thường đặt ra, làm cách để xây dựng lý thuyết gợi ý mà hoạt động cho số lượng cực lớn người dùng? Một cách hiển nhiên, hệ thống cần phải thiết kế để chạy song song nhiều nhân vi xử lý, thiết kế để chạy nhiều máy tính hệ thống tính tốn phân tán Do đó, liệu phân cụm cách độc lập, vấn đề coi giải Vậy cách phân cụm nên diễn nào? 50 Phụ lục Ở chúng tơi xin trình bày ý tưởng nghiên cứu định hướng phát triển nêu phía Cần phải có cách để đưa thơng tin quan hệ người dùng với nhau, phim/mặt hàng với vào hàm tối ưu Được khích lệ lý thuyết mạng xã hội phân tích liệu topo, chúng tơi nghĩ đến sử dụng lý thuyết toán tử Laplace đồ thị Chúng ta nhắc lại rằng, cho đồ thị G = (V, E) có n đỉnh, ma trận ∆ = (δi,j ) thể quan hệ đối tượng i j Cho f : V → Rn hàm định nghĩa G, γ : E → R hàm trọng số Khi đó, tốn tử Laplace định nghĩa ∆f (i) = X (f (i) − f (j)).γi,j j∈V với i ∈ V Ý nghĩa thực tế tốn tử này, đo đạc mức độ vượt trội người so với bạn bè thân thiết họ Chúng ta trang bị cho không gian người dùng cấu trúc đồ thị với tác động toán tử Laplace rời rạc Cụ thể hơn, giả sử Pi phép chiếu tắc từ Rm×n xuống Rn , đưa X trở thành hàng thứ i X, Pi (X) trở thành ma trận hàng Liên hệ 51 hai người dùng i j, trở thành liên hệ hai vector Pi (X) Pj (X) Ta mong muốn, hai người i j có hàm liên hệ γi,j , để γi,j lớn, hệ gợi ý nên gợi ý hai người dùng gần nhau, cộng P thêm (i,j)∈Γ ||Pi (X) − Pj (X)||22 γi,j vào hàm mục tiêu Ở đây, V tập người dùng, Γ ⊂ V × V tập gồm cặp người dùng có quan hệ với Đối với (i, j) ∈ Γ, ta cho tương ứng số thực không âm γi,j thể quan hệ hai người dùng γi,j hai người dùng i j khơng có quan hệ với nhau, nhận giá trị lớn i j có quan hệ mật thiết Câu chuyện xảy hoàn tồn tương tự, ta thêm yếu tố liên hệ vào phim/mặt hàng , Q phép chiếu lên trục phim/mặt hàng ma trận X, I tập phim/mặt hàng , Λ ⊂ I × I tập gồm cặp phim/mặt hàng có quan hệ với Khi đó, hàm mục tiêu viết dạng X f = ||AX − b||22 + µ.||X||∗ + ||Pi (X) − Pj (X)||22 γi,j (i,j)∈Γ + X ||Qk (X) − Ql (X)||22 λk,l (k,l)∈Λ Hiển nhiên, tham số γi,j λk,l suy biến, ta quay trở lại tốn gốc thơng thường Chúng ta tính ma trận C ∈ Rm×n , d ∈ Rk cho f = ∥CX − d∥22 + µ∥X∥∗ với C cho C T C = AT A+ X γij (Pi −Pj )T (Pi −Pj )+ (i,j)∈E X (βk,l Qk −Ql )T (Qk −Ql ) (k,l)∈I.I d cho d = (C T )−1 AT b Tuy nhiên, quan trọng hơn, áp dụng định lý để đưa toán gợi ý cho mạng xã hội toán chương 52 cách đơn giản mà gần thay đổi chương trình/ thuật tốn Sau viết xong luận văn, thấy báo viết Kim-Chuan Toh Sangwoon Yun, 2009 ([24]), có thảo luận vấn đề gần tương tự Cụ thể hơn, hai tác giả mong muốn có quan hệ người dùng i mặt hàng thứ k xấp xỉ với số θik cho trước Và đó, hạng tử bậc hai khác cộng thểm vào cost function Với ký hiệu chúng tôi, hạng tử có dạng 2 |Pi (Qk (X)) − θi,k | Chúng ta biết rằng, mặt thực tế, giải tốn hệ gợi ý khía cạnh địa phương hạn chế khả tính tốn máy tính Hơn nữa, nên gom người dùng có thuộc tính gần với nhau, độ xác thuật tốn cao Do đó, cần thiết để phân cụm người dùng thành cụm, sau áp dụng thuật toán gợi ý cho cụm Và đó, điều dễ dàng thực với mạng máy tính phân tán Chú ý rằng, ta hạn chế thuật toán hệ gợi ý xuống tập O đồ thị, vấn đề phát sinh có cột ứng với số lượng item khơng có đầy đủ thông tin Chúng ta khắc phục điều thông qua việc loại bỏ tạm thời phim/mặt hàng mà khơng có đánh giá tập O Một điều ta nhận xét thấy rằng, địa phương hoá hệ gợi ý tập đủ nhỏ O ⊂ G tập người dùng, hạng ma trận xây dựng nói chung nhỏ hạng ma trận xây dựng toàn đồ thị người dùng Ý nghĩa thực tế điều này, tập người dùng có số tiêu chí riêng loại phim/mặt hàng, phép toán gợi ý đầy đủ tập tất người dùng nên có đầy đủ tiêu chí tất người dùng Vậy, vấn đề đặt ra, hạng địa phương ghép nối chung với nhau, trở thành hạng tồn cục? Có trở ngại ngăn cản điều này? Và ma trận đầy đủ này, ghép nối 53 với có vênh phần giao tập mở hay không? Vấn đề đặt ngược trở lại: Nếu từ tập mở U, ta liên tục thác triển giải tích tốn tử làm đầy ma trận lên tồn tập người dùng, sau vịng quay trở lại tập mở U, hạng toán tử gợi ý ma trận điền vào có thay đổi hay không? Nếu từ tập mở U, ta liên tục thác triển giải tích tốn tử làm đầy ma trận lên toàn tập người dùng, sau vịng quay trở lại tập mở U, hạng ma trận điền vào có thay đổi hay không? Một mặt định nghĩa tập mở U đủ nhỏ nghiên cứu cách ghép nối lại để tạo đồ thị lớn, nghiên cứu hố, lỗ đồ thị lớn này, nghiên cứu quan hệ topological data analysis với toán hệ gợi ý hoạt động sao? Mặt khác hay khơng từ phát triển mơ hình nói cách ma trận có hạng r mở rộng từ tập mở sang toàn cục đồ thị người dùng? Mặt khác, toán cung cấp điều kiện để ghép nối liệu học hệ thống gợi ý phân tán, để đưa nghiệm tồn cục để có tể ứng dụng thực tế Và cách thức triển khai tương ứng? Chúng tin rằng, tốn có ý nghĩa, từ lý thuyết toán phục hồi ma trận hạng thấp, giải tốn ánh xạ đồ thị vào khơng gian vector có số chiều thấp thông qua kết Candes-Terence Tao Và vấn đề tương tự quan hệ địa phương toàn cục xuất giải toán mức độ Large Scale công nghiệp Và đồ thị, người ta quan tâm tới tốn tối ưu rời rạc (ví dụ tối ưu vận tải VRP, hệ gợi ý, phân cụm ) nên thông qua luận văn này, người ta hi vọng đưa tốn tối ưu khơng gian Euclide (chứ khơng có đồ phi Euclide), 54 từ áp dụng thêm cơng cụ giải tích đại vào toán tối ưu rời rạc 55 Tài liệu tham khảo [1] M Fazel, H Hindi, and S.P Boyd A rank minimization heuristic with application to minimum order system approximation Proceedings of the American Control Conference, 6:4734–4739, 2001 [2] L I Rudin, S Osher, and E Fatemi Nonlinear total variation based noise removal algorithms Physica D: Nonlinear Phenomena, 60:259– 268, 1992 [3] R Tibshirani Regression shrinkage and selection via the lasso Journal of the Royal Statistical Society Series B, 73:273–282, 2011 [4] M S Lobo, M Fazel, and S Boyd Portfolio optimization with linear and fixed transaction Annals of Operations Research, 152:341–365, 2007 [5] L.N Trefethen and D Bau III Numerical Linear Algebra Society for Industrial and Applied Mathematics, 1997 [6] Ricardo Correa da Silva Lecture notes on noncommutative lp-spaces https://arxiv.org/abs/1803.02390, 2018 [7] A Connes Noncommutative Geometry Academic Press, San Diego, 1994 [8] E.J Candes and T Tao Decoding by linear programming IEEE Transactions on Information Theory, 51:4203–4215, 2005 [9] E.J Candes and M B Wakin An introduction to compressive sampling IEEE Signal Processing Magazine, 25(2):21–30, 2008 56 [10] B Recht, M Fazel, and P.A Parrilo Guaranteed minimum-rank solutions of linear matrix equations via nuclear norm minimization SIAM Review, 52:471–501, 2010 [11] R A Horn and C R Johnson Matrix Analysis Cambridge University Press, USA, edition, 2013 [12] A Beck First-Order Methods in Optimization, volume 25 Society for Industrial and Applied Mathematics, Philadelphia, USA, 2017 [13] T Stromberg A study of the operation of infimal convolution Doctoral thesis, Sweden, 1994 [14] Hoang Tuy Convex Analysis and Global Optimization Volume 22 Springer International Publishing AG, Cham, Switzerland, 2016 [15] E.J Candès and B Recht Exact matrix completion via convex optimization Foundations of Computational Mathematics, 9:717–772, 2009 [16] P Chen and D Suter Recovering the missing components in a large noisy low-rank matrix: application to sfm IEEE Transactions on Pattern Analysis and Machine Intelligence, 26:1051–1063, 2004 [17] C Tomasi and T Kanade Shape and motion from image streams under orthography: a factorization method International Journal of Computer Vision, 9:137–154, 1992 [18] M.P Chytil and V Koubek Mathematical Foundations of Computer Science Springer Berlin, Heidelberg, 1984 [19] E.J Candes and T Tao The power of convex relaxation: Nearoptimal matrix completion IEEE Transactions on Information Theory, 56:2053–2080, 2010 [20] J.F Sturm Using sedumi 1.02, a matlab toolbox for optimization over symmetric cones Optimization Methods and Software, 11:625– 653, 1999 57 [21] K.C Toh, R.H Tutuncu, and M.J Todd On the implementation of sdpt3 (version 3.1) - a matlab software package for semidefinitequadratic-linear programming IEEE International Conference on Robotics and Automation, pages 290–296, Taiwan,2004 [22] S Ma, D Goldfarb, and L Chen Fixed point and bregman iterative methods for matrix rank minimization Mathematical Programming, 128:321–353, 2009 [23] J Cai, E.J Candès, and Z Shen A singular value thresholding algorithm for matrix completion SIAM Journal on Optimization, 20:1956–1982, 2010 [24] K Toh and S Yun An accelerated proximal gradient algorithm for nuclear norm regularized least squares problems Pacific Journal of Optimization, 6:615–640, 2010 [25] A Beck and M Teboulle A fast iterative shrinkage-thresholding algorithm for linear inverse problems SIAM Journal on Imaging Sciences, 2:183–202, 2009 [26] Z Liu and L Vandenberghe Interior-point method for nuclear norm approximation with application to system identification SIAM Journal on Matrix Analysis and Applications, 31:1235–1256, 2010