Phân tích không âm của ma trận

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đoàn Thị Như Xuân PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN LUẬN VĂN THẠC SỸ TOÁN HỌC Hà Nội - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ - Đoàn Thị Như Xn PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN Chuyên ngành: Toán ứng dụng Mã số: 8460112 LUẬN VĂN THẠC SỸ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ HẢI YẾN Hà Nội – 2019 Lời cam đoan Tơi xin cam đoan viết luận văn tìm tòi, nghiên cứu thân hướng dẫn tận tình giáo TS Lê Hải Yến Mọi kết nghiên cứu ý tưởng tác giả khác, có trích dẫn cụ thể Đề tài luận văn chưa bảo vệ hội đồng bảo vệ luận văn thạc sỹ chưa công bố phương tiện Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày 28 tháng 06 năm 2019 Người cam đoan Đoàn Thị Như Xuân Lời cảm ơn Trước trình bày nội dung luận văn, tơi xin bày tỏ lòng biết ơn sâu sắc tới cô giáo TS Lê Hải Yến, người dành nhiều thời gian, công sức để hướng dẫn tận tình bảo tơi suốt q trình thực luận văn Nhân xin gửi lời cảm ơn đến ban lãnh đạo thầy cô giáo, cán Học viện Khoa học công nghệ nói chung Viện Tốn nói riêng tạo điều kiện thuận lợi nhất, giúp đỡ thời gian học tập nghiên cứu viện Tôi xin cảm ơn bạn chuyên ngành Toán ứng dụng động viên có ý kiến trao đổi quý báu thời gian qua Cuối xin bày tỏ lòng biết ơn gia đình, người thân bạn đồng nghiệp thông cảm, chia sẻ tạo điều kiện tốt cho để tơi học tập, nghiên cứu hồn thành cơng việc Hà Nội, ngày 28 tháng 06 năm 2019 Học viên Đoàn Thị Như Xuân Mục lục Danh mục ký hiệu MỞ ĐẦU MỘT SỐ KIẾN THỨC CƠ SỞ 1.1 ĐẠISỐTUYẾNTÍNH 1.1.1 1.1.2 1.1.3 1.2 LÝTHUYẾTTỐIƯU 1.2.1 1.2.2 1.2.3 PHÂN TÍCH KHƠNG ÂM CỦA MA TRẬN 2.1 PHÁTBIỂUBÀITOÁN 2.2 ỨNG DỤNG TRONG PH 2.2.1 2.2.2 2.3 ĐIỀUKIỆNCẦNTỐIƯU 2.3.1 2.3.2 2.3.3 THUẬT TOÁN VÀ THỬ NGHIỆM SỐ 3.1 THUẬT TỐN BÌNH PH 3.2 THUẬTTỐNLEEVÀSE 3.2.1 3.2.2 3.3 THỬ NGHIỆM SỐ VỚI MẶT KẾT LUẬN R Rn Rm n m n R+ A A i: :j AT In trace(A) span(V ) rank(A) kxk kAkF hA; Bi A B rf arg f(x) tập nghiệm toán f(x) x 2X MỞ ĐẦU Trong thời đại nay, liệu chiếm vai trò vơ quan trọng Cứ giây trôi qua, người sử dụng internet tạo chia sẻ hàng tỉ thông tin khác nhau: hình ảnh, video, kinh nghiệm du lịch, mua sắm, Việc khai thác sử dụng thông tin hay liệu trở thành vấn đề thu hút quan tâm nhiều người Một phương pháp khai thác liệu giảm độ phức tạp liệu giữ yếu tố cần thiết Bên cạnh đó, để nghiên cứu loại liệu khác nhau, người ta cần mơ hình khác để thu thông tin riêng liệu Luận văn nghiên cứu tốn phân tích ma trận khơng âm cho trước thành tích hai ma trận khơng âm khác: Cho ma trận không âm A cỡ m n (tức aij 0) số nguyên dương r (r min(m; n)) Tìm hai ma trận khơng m r n r T âm U R + V R + cho U V xấp xỉ ma trận A Người ta dùng nhiều cách để đo khác ma trận liệu A ma trận mơ hình U V T Nhưng phương pháp dùng nhiều chuẩn Frobenius Khi đó, tốn phân tích ma trận khơng âm (viết tắt NMF) phát biểu lại sau: Cho ma trận không âm A cỡ m n số nguyên dương r < min(m; n), giải toán U2 R +m r V 2R+n r Bài tốn phân tích ma trận khơng âm phát biểu nghiên cứu lần vào năm 1994 Pateero Tapper [5] Từ đến nay, nhà tốn học đưa nhiều thuật tốn tìm phân tích khơng âm ma trận Trong đó, phải kể đến thuật tốn bình phương tối thiểu ln phiên [4] thuật toán Lee Seung [6] Bài tốn có ứng dụng nhiều lĩnh vực nhận diện khuôn mặt, khai thác liệu văn bản, phân loại ung thư, Trong nhận diện khuôn mặt, cột ma trận liệu A thường cho tương ứng với ảnh khuôn mặt (A(i; j) cường độ điểm ảnh thứ i ảnh khuôn mặt thứ j) Khai triển NMF sinh hai ma trận (U; V ) cột U tương ứng với đặc điểm khn mặt mắt, mũi, miệng phần tử V thể tầm quan trọng đặc điểm ảnh Trong khai thác văn bản, cột ma trận không âm A tương ứng với tài liệu hàng ứng với từ Phần tử (i; j) ma trận A số lần xuất từ thứ i tài liệu thứ j Khai triển NMF giúp ta cho ta biết chủ đề xuất toàn liệu đồng thời phân loại tài liệu theo chủ đề Cấu trúc luận văn gồm có ba chương: Chương Một số kiến thức sở: Nội dung chương bao gồm số kiến thức đại số tuyến tính lý thuyết tối ưu nhằm phục vụ cho chương sau Chương Phân tích khơng âm ma trận: Trong chương này, chúng tơi trình bày nội dung tốn phân tích khơng âm ma trận, ứng dụng phân tích liệu Chúng tơi phát biểu điều kiện cần tối ưu cho toán Chương Thuật toán thử nghiệm số: Hai thuật tốn trình bày chương thuật tốn bình phương tối thiểu luân phiên quy tắc nhân Lee Seung Chúng tơi nghiên cứu tốn nhận diện khuôn mặt ứng dụng kĩ thuật phân tích khơng âm ma trận vào tốn cụ thể CHƯƠNG MỘT SỐ KIẾN THỨC CƠ SỞ Chương trình bày lại số khái niệm đại số tuyến tính tích trong, tích Hadamard, chuẩn vector, chuẩn ma trận, ma trận khơng âm Bên cạnh đó, chúng tơi trình bày số khái niệm kết Lý thuyết tối ưu để phục vụ chương sau tập lồi hàm lồi, điều kiện tối ưu, điều kiện Kuhn-Tucker Nội dung chương tham khảo chủ yếu từ tài liệu [1],[2],[4] 1.1 ĐẠI SỐ TUYẾN TÍNH 1.1.1 Một số ma trận bản, tích tích Hadamard Cho A ma trận cỡ m n với phần tử hàng thứ i cột thứ j aij Khi đó, ta viết: A = (aij)m n , đó: i = 1; 2; :::; m; j = 1; 2; :::; n Ta kí hiệu dòng thứ i ma trận A A i: cột thứ j ma trận A A :j Ma T trận chuyển vị ma trận vng A kí hiệu A ; A gọi T đối xứng A = A T Ma trận vuông A cấp n gọi ma trận trực giao A A = In D ma trận đường chéo D ma trận vng có aij = với i n 6= j Với x = (x1; x2; :::; xn) R , Dx ma trận đường chéo với phần tử đường chéo x1; x2; :::; xn T Ma trận A vuông cấp n gọi nửa xác định dương x Ax n T n 8x R A gọi xác định dương x Ax > với x R ; x 6= Nếu A đối xứng nửa xác định dương tất giá trị riêng A không âm 28 Hệ 3.2.1 Nếu G hàm phụ F C F khơng tăng theo quy tắc t với h C Chứng minh F (h t+1 ) G(h t+1 t t t t ; h ) G(h ; h ) = F (h ) t t Mệnh đề 3.2.1 Với h > 0, ta xét K(h ) ma trận đường chéo với jk = ( t t G(h; h ) = F (h ) + (h hàm phụ tập fh > 0g t Chứng minh G(h; h)=F (h) hiển nhiên, cần G(h; h ) F (h) Chúng ta khai triển Taylor hàm nhiều biến F (h) được: t t T t F (h) = F (h ) + (h h ) rF (h ) + t t So sánh với phương trình (3.4), ta thấy G(h; h ) F (h) với h > tương đương với (h ht)T (K(ht) UT U)(h ht) 8ht > 0: Để chứng minh bất phương trình (3.7), ta chứng minh ma trận nửa xác định dương Xét vector x Rr ta có: K(ht) (3.7) UT U 29 T t x (K(h ) 20 6B T =x 6B 6B 6B 6B 6B 6B 6B 6B 4@ (U U h )1 B T =x B B B B B B B B = x1 (U @T Uh ht T t (U U h )i r = iP r r (Ui =1 P = j r Pr i=1 i=1 j=1 =1 T = (U U)ij PP P = i=1;2;:::;r j=1;2;:::;r = P i=1;2;:::;r j=1;2;:::;r t ! hj T 2(U U)ij t t h i với h > 2(UT U)ij s T t T t T Vậy ta có x (K(h ) U U)x nên ma trận K(h ) U U nửa xác định t dương với h > Bây chứng minh Định lý 3.2.1: 30 Chứng minh (Định lý 3.2.1) Từ phương trình (3.2) ta có: h t+1 t = arg G(h; h ) ) rhG(h t+1 h>0 t ;h)=0 Mặt khác, từ phương trình (3.5) cho kết quả: rhG(h t+1 t ;h)=0 t t , rF (h ) + K(h )(h t t t+1 , F (h ) = K(h )(h t+1 t ,h t+1 ,h h = =h t t+1 t t (K(h )) rF (h ) t t (K(h )) rF (h ) Từ phương trình (3.6) ta tính được: Ta thay phương trình (3.4) (3.8) vào phương trình h được: t+1 t =h t+1 Bằng cách đổi vai trò U V Hệ 3.2.1 Mệnh đề 3.2.1, tương tự F không tăng theo quy tắc cập nhật cho U 3.3 THỬ NGHIỆM SỐ VỚI BÀI TỐN NHẬN DIỆN KHN MẶT Trong phần này, chúng tơi ứng dụng phân tích khơng âm ma trận để nhận diện khuôn mặt dựa sở liệu fetch lwf people (https://scikitlearn.org/stable/modules/generated/sklearn.datasets.fetch lwf people.html) Cơ sở liệu gồm 1288 ảnh (đen trắng, cỡ) khn mặt trị gia: Colin Powell ( ngoại trưởng Hoa Kỳ), Donald Rumsfeld (bộ trưởng Bộ Quốc phòng Hoa Kỳ), George W Bush (tổng thống Hoa Kỳ), Gerhard 31 Schroeder (thủ tướng Đức), Tony Blair (thủ tướng Liên hiệp Vương quốc Anh Bắc Ireland) Mỗi trị gia có 100 ảnh sở liệu Mỗi liệu có dạng (xi; yi) với xi vector cột (cỡ 5828 1) tương ứng với ảnh yi nhãn ảnh cho ta biết người ảnh Các liệu lưu dạng ma trận X (cỡ 5828 1288) y (cỡ 1288) Để đánh giá khả nhận diện khn mặt, ta lập trình cho máy chia tập liệu thành phần: tập huấn luyên (Xtrain; ytrain) tập kiểm tra (Xtest; ytest) với tỷ lệ tương ứng 70% 30% Ta sử dụng khai triển không âm ma trận (Xtrain ứng với hạng r cho trước (r = 10; 20; :::) để thu ma trận xấp xỉ Xtrain nmf = U V T với U cỡ 5828 r V cỡ 1288 r Như vậy, nhờ có khai triển NMF, ta làm giảm độ phức tạp liệu đầu vào Tiếp theo, ta sử dụng mạng neuron nhân tạo có sẵn thư viện sklearn (python) để huấn luyện máy học cách nhận dạng khuôn mặt dựa liệu huấn luyện (Xtrain nmf ; ytrain) Cuối cùng, ta sử dụng tập liệu kiểm tra để đánh giá kết nhận diện máy so với nhãn mà ta có Để thực bước trên, ta sử dụng đoạn code sau python (có tham khảo từ https://scikitlearn.org/stable/auto examples/applications/plot face recognition.html #sphx-glrauto-examples-applications-plot-face-recognition-py) 32 33 34 Một vài ảnh xấp xỉ (Xtrain nmf ) ảnh ban đầu thu từ NMF với r = 20 minh họa hình 3.1) Hình 3.1: Ảnh xấp xỉ với r = 20 35 Dựa vào mạng neuron nhân tạo, kết nhận dạng mà máy đưa kết thực tế số ảnh tập kiểm tra với r = 20 minh họa Hình 3.2 Hình 3.2: Kết nhận dạng với r = 20 36 Với r = 30, kết nhận dạng mà máy đưa kết thực tế số ảnh tập kiểm tra minh họa Hình 3.3 Hình 3.3: Kết nhận dạng với r = 30 37 Với r = 50, kết nhận dạng mà máy đưa kết thực tế số ảnh tập kiểm tra minh họa Hình 3.4 Hình 3.4: Kết nhận dạng với r = 50 38 Để đánh giá kết toàn tập kiểm tra ta sử dụng số precision, recall, f1 score Trong đó, số precision tính sau: TP precision = T P + F P với T P số lượng liệu với kết dương tính thật (true positive), F P số lượng liệu với kết dương tính giả (false positive) Chỉ số recall tính sau: recall = với F N số lượng liệu với kết âm tính giả (false negative) Chỉ số f1 score tính sau: f1 score = Các số thường dùng để đánh giá kết thuật toán học máy (machine learning) Các số precision, recall, f1 score thu với r = 20 sau: 39 Các số precision, recall, f1 score thu với r = 30 sau: Các số precision, recall, f1 score thu với r = 50 sau: So sánh r = 20; 30; 50, ta nhận thấy số f1 score trung bình thu tăng lên r tăng Điều cho ta thấy ta tăng r, ảnh xấp xỉ Xtrain nmf gần so với ảnh ban đầu hệ thống nhận diện khuôn mặt thường cho kết xác 40 CHƯƠNG KẾT LUẬN Luận văn đạt kết sau: Hệ thống số kiến thức sở đại số tuyến tính lý thuyết tối ưu Phát biểu tốn phân tích khơng âm ma trận, nêu ứng dụng phân tích liệu, điều kiện cần tối ưu Trình bày thuật tốn bình phương tối thiểu ln phiên, thuật tốn Lee Seung để giải tốn phân tích khơng âm ma trận thử nghiệm số với toán nhận diện khuôn mặt 41 Tài liệu tham khảo [1] Nguyễn Hữu Việt Hưng, 2001, Đại số tuyến tính, NXB Đại học Quốc gia Hà Nội, Hà Nội [2] Hồng Tụy, 2006, Lý thuyết Tối ưu , Giáo trình cao học Viện Toán học [3] N Gillis, 2014, The Why and How of Nonnegative Matrix Factorization, in: "Regularization, Optimization, Kernels, and Support Vector Machines", Machine Learning and Pattern Recognition Series, 257 - 291 [4] N D Ho, 2008, Non negative matrix factorization algorithms and applica-tions Phd thesis, Université Catholique de Louvain [5] P Paatero and U Tapper, 1994, Positive matrix factorization: a non nega-tive factor model with optimal utilization of error estimates of data values, Environmetrics 5(2) , 111–126 [6] D Lee and H Seung, 1999, Learning the parts of objects by non negative matrix factorization, Nature 401, 788 – 791 ... cứu tốn phân tích ma trận khơng âm cho trước thành tích hai ma trận không âm khác: Cho ma trận không âm A cỡ m n (tức aij 0) số nguyên dương r (r min(m; n)) Tìm hai ma trận không m r n r T âm U... 3; + + 2; + + 5) = max(9; 6; 6) = 1.1.3 Ma trận không âm Định nghĩa 1.1.3 Ma trận A có tất phần tử không âm gọi ma m n trận khơng âm Kí hiệu: A R + m tập hợp ma trận không âm cỡ n Chúng ta viết:... i: cột thứ j ma trận A A :j Ma T trận chuyển vị ma trận vng A kí hiệu A ; A gọi T đối xứng A = A T Ma trận vuông A cấp n gọi ma trận trực giao A A = In D ma trận đường chéo D ma trận vng có aij