BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC HUẾ TRƯỜNG ĐẠI HỌC SƯ PHẠM LÊ QUANG THÙY MỘT SỐ GIẢI THUẬT CHO CÁC BÀI TOÁN TỐI ƯU LỒI VÀ ỨNG DỤNG Demo Version Select.Pdf Chun -ngành: TỐN SDK GIẢI TÍCH Mã số: 60 46 01 02 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN MẬU NAM Huế, năm 2014 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi, số liệu kết nghiên cứu nêu luận văn trung thực, đồng tác giả cho phép sử dụng chưa công bố cơng trình khác Lê Quang Thùy Demo Version - Select.Pdf SDK ii LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn tận tình, chu đáo thầy giáo TS Nguyễn Mậu Nam Trong khoảng thời gian gần năm thực luận văn, việc tiếp thu nhiều kiến thức, tơi học thầy tác phong làm việc nghiêm túc, phương pháp nghiên cứu khoa học thực thụ Thầy người dẫn dắt đến với đường nghiên cứu truyền cho niềm đam mê tốn học Tơi xin bày tỏ lòng biết ơn sâu sắc mong muốn có hội tiếp tục học tập nghiên cứu hướng dẫn Thầy Xin đặc biệt cảm ơn thầy giáo PGS.TS Nguyễn Hoàng thầy giáo PGS.TS Huỳnh Thế Phùng người truyền thụ cho nhiều kiến thức Giải tích hàm, Giải tích lồi, Lý thuyết toán cực trị, Đây sở, tảng quan trọng cho suốt trình làm luận văn Xin bày tỏ lòng biết ơn đến q thầy giáo khoa Toán trường Đại học Sư phạm Huế thầy giáo PGS.TS Phan Nhật Tĩnh người tận tình giảng dạy ln động viên để tơi hồn thành luận văn Demo Version - Select.Pdf SDK Xin cảm ơn Huyện ủy, UBND huyện Quảng Ninh, lãnh đạo Phòng Giáo dục Đào tạo huyện Quảng Ninh toàn thể đồng chí đơn vị tạo điều kiện thuận lợi giúp đỡ để tơi hồn thành khóa học Cuối xin gửi lời cảm ơn sâu sắc đến người thân, anh chị bạn học viên cao học khóa XXI ln quan tâm giúp đỡ suốt thời gian học tập Lê Quang Thùy iii MỤC LỤC Trang TRANG PHỤ BÌA i LỜI CAM ĐOAN ii LỜI CẢM ƠN iii MỤC LỤC MỞ ĐẦU CHƯƠNG I KIẾN THỨC CHUẨN BỊ 1.1 Hàm khả vi 1.2 Hàm lồi 1.3 Hàm khoảng cách 10 Demo Version - Select.Pdf SDK 1.4 Dưới vi phân 14 1.5 Bài toán tối ưu 17 CHƯƠNG II CÁC THUẬT TOÁN 20 2.1 Phương pháp vi phân 20 2.1.1 Thuật toán vi phân 20 2.1.2 Sự hội tụ thuật toán vi phân 20 2.1.3 Phương pháp vi phân cho toán có ràng buộc 25 2.2 Kỹ thuật làm trơn phương pháp vi phân cải tiến Nesterov 26 2.2.1 Kỹ thuật làm trơn Nesterov 26 2.2.2 Thuật toán vi phân cải tiến Nesterov 29 2.2.3 Sự hội tụ thuật toán vi phân cải tiến Nesterov 33 2.3 Phương pháp Majorization-minimization (MM) 34 2.3.1 Thuật toán MM 34 2.3.2 Sự hội tụ thuật toán MM 35 2.4 Phương pháp vi phân proximal 39 2.4.1 Ánh xạ proximal 39 2.4.2 Thuật toán vi phân proximal 40 2.4.3 Sự hội tụ thuật toán vi phân proximal 40 2.4.4 Thuật toán vi phân proximal cải tiến 43 CHƯƠNG III ỨNG DỤNG 46 3.1 Ứng dụng vào toán Điểm chung 46 3.1.1 Bài toán Điểm chung 46 3.1.2 Giải toán Điểm chung thuật toán vi phân 46 3.1.3 Giải toán Điểm chung thuật toán MM 48 3.1.4 Ví dụ minh họa 51 3.2 Ứng dụng vào tốn Phân loại tuyến tính 52 3.2.1 Bài tốn Phân loại tuyến tính (PLTT) 52 3.2.2 Giải toán PLTT thuật toán vi phân cải tiến Nesterov 54 3.2.3 Giải toán PLTT thuật toán MM 55 3.2.4 Ví dụ minh họa 58 Version Select.Pdf SDK 3.3 ỨngDemo dụng vào tốn- Đầy đủ hóa ma trận 58 3.3.1 Chuẩn hạt nhân 58 3.3.2 Bài tốn Đầy đủ hóa ma trận 62 3.3.3 Giải tốn Đầy đủ hóa ma trận phương pháp vi phân proximal 62 3.3.4 Ví dụ minh họa 65 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 MỞ ĐẦU Phương pháp vi phân Naum Z Shor số tác giả khác giới thiệu nghiên cứu vào năm 1960 để giải toán tối ưu lồi không trơn Với Ω ⊂ Rn tập lồi f : Rn → R hàm lồi Ω, phương pháp vi phân để giải tốn tối ưu có ràng buộc minimize f (x), x ∈ Ω sau: Cho trước dãy số dương (αk ) x1 ∈ Rn , thành lập dãy (xk ) theo công thức xk+1 := Π(xk − αk vk ; Ω), với vk ∈ ∂f (xk ) Π(u; Ω) phép chiếu từ điểm u đến tập Ω; xem [10], [17] Phương pháp vi phân có nhiều ưu điểm yêu cầu nhớ thấp, tốc độ hội tụ không phụ thuộc nhiều vào số chiều khơng gian, áp dụng vào nhiều tốn tối ưu khơng trơn khác hạn chế phương pháp tốc độ hội tụ chậm Một câu hỏi đặt làm để cải thiện tốc độ hội tụ Demo Version - Select.Pdf SDK phương pháp vi phân Trong năm gần đây, nhiều báo đề cập đến việc cải tiến tốc độ hội tụ phương pháp này; xem [2], [5], [18] Một ý tưởng khác để giải tốn tối ưu khơng trơn sử dụng kỹ thuật làm trơn để xấp xỉ tốn khơng trơn tốn trơn Sau áp dụng phương pháp tối ưu trơn khác để tìm nghiệm xấp xỉ cho tốn không trơn ban đầu Nesterov người có nhiều đóng góp quan trọng lĩnh vực này, ông đưa phương pháp vi phân cải tiến để áp dụng cho toán tối ưu trơn với hàm mục tiêu có đạo hàm Lipschitz So với tốc độ hội tụ O(1/k) áp dụng phương pháp vi phân cổ điển cho tốn nói trên, phương pháp vi phân cải tiến ơng có tốc độ hội tụ O(1/k ) Nesterov đưa phương pháp làm trơn để xấp xỉ hàm mục tiêu khơng trơn với hàm trơn có đạo hàm Lipschitz Sau áp dụng phương pháp vi phân cải tiến Nesterov để giải gần toán ban đầu Phương pháp vi phân cải tiến kỹ thuật làm trơn Nesterov áp dụng thành cơng cho nhiều tốn tối ưu khác nhau; xem [3], [6], [19] Đối với toán tối ưu trơn, việc sử dụng phiên khác phương pháp vi phân cải tiến, người ta dùng phương pháp MM Ý tưởng phương pháp MM xấp xỉ hàm mục tiêu với hàm khác có nhiều tính chất tốt Sau đó, thơng qua hàm để tìm nghiệm xấp xỉ toán ban đầu; xem [11] Đây phương pháp áp dụng nhiều kỹ thuật lĩnh vực Machine learning Ngoài ra, hàm mục tiêu tổng hàm lồi có đạo hàm Lischitz với hàm lồi không trơn, người ta đưa phương pháp vi phân proximal; xem [16] Sau cải tiến, phương pháp có tốc độ hội tụ O(1/k ), áp dụng rộng rãi cho tốn tối ưu khơng trơn, đặc biệt tốn Đầy đủ hóa ma trận tốn Phục hồi hình ảnh Dựa cơng cụ Giải tích lồi Lý thuyết tối ưu với việc sử dụng phần mềm Matlab, luận văn đề xuất nghiên cứu: "Một số giải thuật cho tốn tối ưu lồi ứng dụng" Tồn nội dung luận văn trình bày thành ba chương Chương I trình bày kiến thức Giải tích lồi Lý thuyết tối ưu để làm sở cho chứng minh chương II Một số kết Demo Version - Select.Pdf SDK nêu mà không chứng minh cụ thể Chương II tập trung nghiên cứu phương pháp vi phân, kỹ thuật làm trơn phương pháp vi phân cải tiến Nesterov, phương pháp MM phương pháp vi phân proximal Các phương pháp trình bày có hệ thống chứng minh cách chi tiết Bên cạnh đó, chúng tơi đưa số hình ảnh minh họa nhằm làm rõ vấn đề tiếp cận Chương III phần áp dụng thuật toán nêu chương II Nội dung chương ứng dụng thuật toán vi phân thuật toán MM để giải toán Điểm chung; thuật toán vi phân cải tiến Nesterov thuật toán MM để giải tốn Phân loại tuyến tính; thuật tốn vi phân proximal để giải tốn Đầy đủ hóa ma trận Trong chương này, việc nghiên cứu để đưa thuật toán cụ thể cho toán nêu trên, tốc độ hội tụ cho thuật toán để thấy rõ hiệu áp dụng Tất thuật toán kiểm chứng minh họa phần mềm Matlab ... chương ứng dụng thuật toán vi phân thuật toán MM để giải toán Điểm chung; thuật toán vi phân cải tiến Nesterov thuật toán MM để giải toán Phân loại tuyến tính; thuật tốn vi phân proximal để giải. .. nghiên cứu: "Một số giải thuật cho toán tối ưu lồi ứng dụng" Toàn nội dung luận văn trình bày thành ba chương Chương I trình bày kiến thức Giải tích lồi Lý thuyết tối ưu để làm sở cho chứng minh... 3.1 Ứng dụng vào toán Điểm chung 46 3.1.1 Bài toán Điểm chung 46 3.1.2 Giải toán Điểm chung thuật toán vi phân 46 3.1.3 Giải toán Điểm chung thuật toán