HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ Đoàn Thị Như Xuân PHÂN TÍCH KHÔNG ÂM CỦA MA TRẬN LUẬN VĂN THẠC SỸ TOÁN HỌC Hà Nội 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM luan an HỌC VIỆ[.]
BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đồn Thị Như Xn PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN LUẬN VĂN THẠC SỸ TOÁN HỌC Hà Nội - 2019 luan an BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đoàn Thị Như Xn PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN Chun ngành: Toán ứng dụng Mã số: 8460112 LUẬN VĂN THẠC SỸ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ HẢI YẾN Hà Nội – 2019 luan an Lời cam đoan Tơi xin cam đoan viết luận văn tìm tịi, nghiên cứu thân hướng dẫn tận tình giáo TS Lê Hải Yến Mọi kết nghiên cứu ý tưởng tác giả khác, có trích dẫn cụ thể Đề tài luận văn chưa bảo vệ hội đồng bảo vệ luận văn thạc sỹ chưa công bố phương tiện Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày 28 tháng 06 năm 2019 Người cam đoan Đoàn Thị Như Xuân luan an Lời cảm ơn Trước trình bày nội dung luận văn, tơi xin bày tỏ lịng biết ơn sâu sắc tới cô giáo TS Lê Hải Yến, người dành nhiều thời gian, công sức để hướng dẫn tận tình bảo tơi suốt q trình thực luận văn Nhân tơi xin gửi lời cảm ơn đến ban lãnh đạo thầy cô giáo, cán Học viện Khoa học cơng nghệ nói chung Viện Tốn nói riêng tạo điều kiện thuận lợi nhất, giúp đỡ thời gian học tập nghiên cứu viện Tơi xin cảm ơn bạn chun ngành Tốn ứng dụng động viên có ý kiến trao đổi quý báu thời gian qua Cuối tơi xin bày tỏ lịng biết ơn gia đình, người thân bạn đồng nghiệp thông cảm, chia sẻ tạo điều kiện tốt cho tơi để tơi học tập, nghiên cứu hồn thành cơng việc Hà Nội, ngày 28 tháng 06 năm 2019 Học viên Đoàn Thị Như Xuân luan an Mục lục Danh mục ký hiệu MỞ ĐẦU MỘT SỐ KIẾN THỨC CƠ SỞ 1.1 ĐẠI SỐ TUYẾN TÍNH 1.1.1 Một số ma trận bản, tích tích Hadamard 1.1.2 Chuẩn 1.1.3 Ma trận không âm 1.2 LÝ THUYẾT TỐI ƯU 10 1.2.1 Tập lồi hàm lồi 10 1.2.2 Điều kiện tối ưu 11 1.2.3 Điều kiện Kuhn-Tucker 13 PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN 15 2.1 PHÁT BIỂU BÀI TOÁN 15 2.2 ỨNG DỤNG TRONG PHÂN TÍCH DỮ LIỆU 17 2.3 2.2.1 Xử lý ảnh - Trích xuất đặc điểm khuôn mặt 18 2.2.2 Khai thác văn - Khôi phục chủ đề tài liệu 19 ĐIỀU KIỆN CẦN TỐI ƯU 20 2.3.1 Hàm Lagrange 20 2.3.2 Điều kiện cần tối ưu 21 2.3.3 Đặc trưng cực tiểu địa phương 23 luan an THUẬT TOÁN VÀ THỬ NGHIỆM SỐ 25 3.1 THUẬT TOÁN BÌNH PHƯƠNG TỐI THIỂU LUÂN PHIÊN 25 3.2 THUẬT TOÁN LEE VÀ SEUNG 26 3.3 3.2.1 Thuật toán 26 3.2.2 Định lí hội tụ 27 THỬ NGHIỆM SỐ VỚI BÀI TỐN NHẬN DIỆN KHN MẶT 30 KẾT LUẬN 40 luan an Danh mục ký hiệu R tập hợp số thực Rn tập hợp vector n chiều Rm×n tập hợp ma trận cỡ m × n Rm×n + tập hợp ma trận khơng âm cỡ m × n Ai: dịng thứ i ma trận A A:j cột thứ j ma trận A AT ma trận chuyển vị ma trận A In ma trận đơn vị cấp n trace(A) vết ma trận vuông A span(V ) không gian vector sinh V rank(A) hạng ma trận A kxk chuẩn Euclide vector x kAkF chuẩn Frobenius ma trận A hA, Bi tích hai ma trận cỡ A B A◦B tích Hadamard hai ma trận cỡ A B ∇f gradient hàm f arg f (x) tập nghiệm toán f (x) x ∈X x ∈X luan an MỞ ĐẦU Trong thời đại nay, liệu chiếm vai trị vơ quan trọng Cứ giây trôi qua, người sử dụng internet tạo chia sẻ hàng tỉ thông tin khác nhau: hình ảnh, video, kinh nghiệm du lịch, mua sắm, Việc khai thác sử dụng thông tin hay liệu trở thành vấn đề thu hút quan tâm nhiều người Một phương pháp khai thác liệu giảm độ phức tạp liệu giữ yếu tố cần thiết Bên cạnh đó, để nghiên cứu loại liệu khác nhau, người ta cần mơ hình khác để thu thông tin riêng liệu Luận văn nghiên cứu tốn phân tích ma trận khơng âm cho trước thành tích hai ma trận khơng âm khác: Cho ma trận không âm A cỡ m × n (tức aij ≥ 0) số nguyên dương r (r ≤ min(m, n)) Tìm hai ma m×r T trận không âm U ∈ R+ V ∈ Rn×r + cho U V xấp xỉ ma trận A Người ta dùng nhiều cách để đo khác ma trận liệu A ma trận mơ hình U V T Nhưng phương pháp dùng nhiều chuẩn Frobenius Khi đó, tốn phân tích ma trận khơng âm (viết tắt NMF) phát biểu lại sau: Cho ma trận khơng âm A cỡ m × n số nguyên dương r < min(m, n), giải toán A − U V T F n×r V ∈R+ m×r U ∈R+ Bài tốn phân tích ma trận khơng âm phát biểu nghiên cứu lần vào năm 1994 Pateero Tapper [5] Từ đến nay, nhà tốn học đưa nhiều thuật tốn tìm phân tích khơng âm ma trận Trong đó, phải kể đến thuật tốn bình phương tối thiểu ln phiên [4] thuật toán Lee Seung [6] Bài toán có ứng dụng nhiều lĩnh vực nhận diện khuôn mặt, khai thác liệu văn bản, phân loại ung thư, Trong nhận diện khuôn mặt, cột ma trận liệu A thường cho tương ứng với ảnh khuôn mặt (A(i, j) cường độ điểm ảnh thứ i ảnh khuôn mặt thứ j ) Khai triển NMF sinh hai ma trận (U, V ) cột U tương ứng với đặc điểm khuôn mặt mắt, mũi, miệng luan an phần tử V thể tầm quan trọng đặc điểm ảnh Trong khai thác văn bản, cột ma trận không âm A tương ứng với tài liệu hàng ứng với từ Phần tử (i, j) ma trận A số lần xuất từ thứ i tài liệu thứ j Khai triển NMF giúp ta cho ta biết chủ đề xuất toàn liệu đồng thời phân loại tài liệu theo chủ đề Cấu trúc luận văn gồm có ba chương: Chương Một số kiến thức sở: Nội dung chương bao gồm số kiến thức đại số tuyến tính lý thuyết tối ưu nhằm phục vụ cho chương sau Chương Phân tích khơng âm ma trận: Trong chương này, chúng tơi trình bày nội dung tốn phân tích khơng âm ma trận, ứng dụng phân tích liệu Chúng phát biểu điều kiện cần tối ưu cho toán Chương Thuật toán thử nghiệm số: Hai thuật tốn trình bày chương thuật tốn bình phương tối thiểu ln phiên quy tắc nhân Lee Seung Chúng nghiên cứu tốn nhận diện khn mặt ứng dụng kĩ thuật phân tích khơng âm ma trận vào toán cụ thể luan an CHƯƠNG MỘT SỐ KIẾN THỨC CƠ SỞ Chương trình bày lại số khái niệm đại số tuyến tính tích trong, tích Hadamard, chuẩn vector, chuẩn ma trận, ma trận khơng âm Bên cạnh đó, chúng tơi trình bày số khái niệm kết Lý thuyết tối ưu để phục vụ chương sau tập lồi hàm lồi, điều kiện tối ưu, điều kiện Kuhn-Tucker Nội dung chương tham khảo chủ yếu từ tài liệu [1],[2],[4] 1.1 ĐẠI SỐ TUYẾN TÍNH 1.1.1 Một số ma trận bản, tích tích Hadamard Cho A ma trận cỡ m × n với phần tử hàng thứ i cột thứ j aij Khi đó, ta viết: A = (aij )m×n , đó: i = 1, 2, , m; j = 1, 2, , n Ta kí hiệu dịng thứ i ma trận A Ai: cột thứ j ma trận A A:j Ma trận chuyển vị ma trận vng A kí hiệu AT ; A gọi đối xứng A = AT Ma trận vuông A cấp n gọi ma trận trực giao AT A = In D ma trận đường chéo D ma trận vng có aij = với i 6= j Với x = (x1 , x2 , , xn ) ∈ Rn , Dx ma trận đường chéo với phần tử đường chéo x1 , x2 , , xn Ma trận A vuông cấp n gọi nửa xác định dương xT Ax ≥ ∀x ∈ Rn A gọi xác định dương xT Ax > với x ∈ Rn , x 6= Nếu A đối xứng nửa xác định dương tất giá trị riêng A không âm luan an ... tốn phân tích ma trận khơng âm cho trước thành tích hai ma trận không âm khác: Cho ma trận khơng âm A cỡ m × n (tức aij ≥ 0) số nguyên dương r (r ≤ min(m, n)) Tìm hai ma m×r T trận khơng âm U... + 3; + + 2; + + 5) = max(9; 6; 6) = 1.1.3 Ma trận không âm Định nghĩa 1.1.3 Ma trận A có tất phần tử không âm gọi ma trận không âm Kí hiệu: A ≥ Rm×n tập hợp ma trận khơng âm cỡ + m × n Chúng ta... tập hợp ma trận không âm cỡ m × n Ai: dòng thứ i ma trận A A:j cột thứ j ma trận A AT ma trận chuyển vị ma trận A In ma trận đơn vị cấp n trace(A) vết ma trận vuông A span(V ) không gian vector