Phân tích không âm của ma trận

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đồn Thị Như Xn PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN LUẬN VĂN THẠC SỸ TOÁN HỌC Hà Nội - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đoàn Thị Như Xuân PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN Chun ngành: Tốn ứng dụng Mã số: 8460112 LUẬN VĂN THẠC SỸ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ HẢI YẾN Hà Nội – 2019 Lời cam đoan Tôi xin cam đoan viết luận văn tìm tòi, nghiên cứu thân hướng dẫn tận tình giáo TS Lê Hải Yến Mọi kết nghiên cứu ý tưởng tác giả khác, có trích dẫn cụ thể Đề tài luận văn chưa bảo vệ hội đồng bảo vệ luận văn thạc sỹ chưa công bố phương tiện Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày 28 tháng 06 năm 2019 Người cam đoan Đoàn Thị Như Xuân Lời cảm ơn Trước trình bày nội dung luận văn, tơi xin bày tỏ lòng biết ơn sâu sắc tới giáo TS Lê Hải Yến, người dành nhiều thời gian, cơng sức để hướng dẫn tận tình bảo tơi suốt q trình thực luận văn Nhân xin gửi lời cảm ơn đến ban lãnh đạo thầy cô giáo, cán Học viện Khoa học cơng nghệ nói chung Viện Tốn nói riêng tạo điều kiện thuận lợi nhất, giúp đỡ thời gian học tập nghiên cứu viện Tôi xin cảm ơn bạn chuyên ngành Toán ứng dụng động viên có ý kiến trao đổi quý báu thời gian qua Cuối tơi xin bày tỏ lòng biết ơn gia đình, người thân bạn đồng nghiệp thông cảm, chia sẻ tạo điều kiện tốt cho tơi để tơi học tập, nghiên cứu hồn thành cơng việc Hà Nội, ngày 28 tháng 06 năm 2019 Học viên Đoàn Thị Như Xuân Mục lục Danh mục ký hiệu MỞ ĐẦU MỘT SỐ KIẾN THỨC CƠ SỞ 1.1 ĐẠI SỐ TUYẾN TÍNH 1.1.1 Một số ma trận bản, tích tích Hadamard 1.1.2 Chuẩn 1.1.3 Ma trận không âm 1.2 LÝ THUYẾT TỐI ƯU 10 1.2.1 Tập lồi hàm lồi 10 1.2.2 Điều kiện tối ưu 11 1.2.3 Điều kiện Kuhn-Tucker 13 PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN 15 2.1 PHÁT BIỂU BÀI TOÁN 15 2.2 ỨNG DỤNG TRONG PHÂN TÍCH DỮ LIỆU 17 2.3 2.2.1 Xử lý ảnh - Trích xuất đặc điểm khn mặt 18 2.2.2 Khai thác văn - Khôi phục chủ đề tài liệu 19 ĐIỀU KIỆN CẦN TỐI ƯU 20 2.3.1 Hàm Lagrange 20 2.3.2 Điều kiện cần tối ưu 21 2.3.3 Đặc trưng cực tiểu địa phương 23 THUẬT TOÁN VÀ THỬ NGHIỆM SỐ 25 3.1 THUẬT TOÁN BÌNH PHƯƠNG TỐI THIỂU LUÂN PHIÊN 25 3.2 THUẬT TOÁN LEE VÀ SEUNG 26 3.3 3.2.1 Thuật toán 26 3.2.2 Định lí hội tụ 27 THỬ NGHIỆM SỐ VỚI BÀI TỐN NHẬN DIỆN KHN MẶT 30 KẾT LUẬN 40 Danh mục ký hiệu R tập hợp số thực Rn tập hợp vector n chiều Rm×n tập hợp ma trận cỡ m × n Rm×n + tập hợp ma trận không âm cỡ m × n Ai: dòng thứ i ma trận A A:j cột thứ j ma trận A AT ma trận chuyển vị ma trận A In ma trận đơn vị cấp n trace(A) vết ma trận vuông A span(V ) không gian vector sinh V rank(A) hạng ma trận A x A chuẩn Euclide vector x F A, B chuẩn Frobenius ma trận A tích hai ma trận cỡ A B A◦B tích Hadamard hai ma trận cỡ A B ∇f gradient hàm f arg f (x) tập nghiệm toán f (x) x ∈X x ∈X MỞ ĐẦU Trong thời đại nay, liệu chiếm vai trò vơ quan trọng Cứ giây trơi qua, người sử dụng internet tạo chia sẻ hàng tỉ thơng tin khác nhau: hình ảnh, video, kinh nghiệm du lịch, mua sắm, Việc khai thác sử dụng thông tin hay liệu trở thành vấn đề thu hút quan tâm nhiều người Một phương pháp khai thác liệu giảm độ phức tạp liệu giữ yếu tố cần thiết Bên cạnh đó, để nghiên cứu loại liệu khác nhau, người ta cần mơ hình khác để thu thơng tin riêng liệu Luận văn nghiên cứu toán phân tích ma trận khơng âm cho trước thành tích hai ma trận khơng âm khác: Cho ma trận khơng âm A cỡ m × n (tức aij ≥ 0) số nguyên dương r (r ≤ min(m, n)) Tìm hai ma m×r T trận khơng âm U ∈ R+ V ∈ Rn×r + cho U V xấp xỉ ma trận A Người ta dùng nhiều cách để đo khác ma trận liệu A ma trận mô hình U V T Nhưng phương pháp dùng nhiều chuẩn Frobenius Khi đó, tốn phân tích ma trận khơng âm (viết tắt NMF) phát biểu lại sau: Cho ma trận không âm A cỡ m × n số nguyên dương r < min(m, n), giải toán A − UV T n×r V ∈R+ m×r U ∈R+ F Bài tốn phân tích ma trận không âm phát biểu nghiên cứu lần vào năm 1994 Pateero Tapper [5] Từ đến nay, nhà tốn học đưa nhiều thuật tốn tìm phân tích khơng âm ma trận Trong đó, phải kể đến thuật tốn bình phương tối thiểu luân phiên [4] thuật toán Lee Seung [6] Bài tốn có ứng dụng nhiều lĩnh vực nhận diện khuôn mặt, khai thác liệu văn bản, phân loại ung thư, Trong nhận diện khuôn mặt, cột ma trận liệu A thường cho tương ứng với ảnh khuôn mặt (A(i, j) cường độ điểm ảnh thứ i ảnh khuôn mặt thứ j ) Khai triển NMF sinh hai ma trận (U, V ) cột U tương ứng với đặc điểm khn mặt mắt, mũi, miệng phần tử V thể tầm quan trọng đặc điểm ảnh Trong khai thác văn bản, cột ma trận không âm A tương ứng với tài liệu hàng ứng với từ Phần tử (i, j) ma trận A số lần xuất từ thứ i tài liệu thứ j Khai triển NMF giúp ta cho ta biết chủ đề xuất toàn liệu đồng thời phân loại tài liệu theo chủ đề Cấu trúc luận văn gồm có ba chương: Chương Một số kiến thức sở: Nội dung chương bao gồm số kiến thức đại số tuyến tính lý thuyết tối ưu nhằm phục vụ cho chương sau Chương Phân tích khơng âm ma trận: Trong chương này, chúng tơi trình bày nội dung tốn phân tích không âm ma trận, ứng dụng phân tích liệu Chúng tơi phát biểu điều kiện cần tối ưu cho toán Chương Thuật toán thử nghiệm số: Hai thuật tốn trình bày chương thuật tốn bình phương tối thiểu luân phiên quy tắc nhân Lee Seung Chúng tơi nghiên cứu tốn nhận diện khn mặt ứng dụng kĩ thuật phân tích khơng âm ma trận vào toán cụ thể CHƯƠNG MỘT SỐ KIẾN THỨC CƠ SỞ Chương trình bày lại số khái niệm đại số tuyến tính tích trong, tích Hadamard, chuẩn vector, chuẩn ma trận, ma trận không âm Bên cạnh đó, chúng tơi trình bày số khái niệm kết Lý thuyết tối ưu để phục vụ chương sau tập lồi hàm lồi, điều kiện tối ưu, điều kiện Kuhn-Tucker Nội dung chương tham khảo chủ yếu từ tài liệu [1],[2],[4] 1.1 ĐẠI SỐ TUYẾN TÍNH 1.1.1 Một số ma trận bản, tích tích Hadamard Cho A ma trận cỡ m × n với phần tử hàng thứ i cột thứ j aij Khi đó, ta viết: A = (aij )m×n , đó: i = 1, 2, , m; j = 1, 2, , n Ta kí hiệu dòng thứ i ma trận A Ai: cột thứ j ma trận A A:j Ma trận chuyển vị ma trận vuông A kí hiệu AT ; A gọi đối xứng A = AT Ma trận vuông A cấp n gọi ma trận trực giao AT A = In D ma trận đường chéo D ma trận vng có aij = với i = j Với x = (x1 , x2 , , xn ) ∈ Rn , Dx ma trận đường chéo với phần tử đường chéo x1 , x2 , , xn Ma trận A vuông cấp n gọi nửa xác định dương xT Ax ≥ ∀x ∈ Rn A gọi xác định dương xT Ax > với x ∈ Rn , x = Nếu A đối xứng nửa xác định dương tất giá trị riêng A không âm ... tập hợp ma trận cỡ m × n Rm×n + tập hợp ma trận không âm cỡ m × n Ai: dòng thứ i ma trận A A:j cột thứ j ma trận A AT ma trận chuyển vị ma trận A In ma trận đơn vị cấp n trace(A) vết ma trận vuông... tốn phân tích ma trận khơng âm cho trước thành tích hai ma trận không âm khác: Cho ma trận không âm A cỡ m × n (tức aij ≥ 0) số nguyên dương r (r ≤ min(m, n)) Tìm hai ma m×r T trận khơng âm U... Ai: cột thứ j ma trận A A:j Ma trận chuyển vị ma trận vng A kí hiệu AT ; A gọi đối xứng A = AT Ma trận vuông A cấp n gọi ma trận trực giao AT A = In D ma trận đường chéo D ma trận vng có aij