Một số phương pháp phân tích ma trận và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN —————————————— NGUYỄN NHẬT NAM MỘT SỐ PHƯƠNG PHÁP PHÂN TÍCH MA TRẬN VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC Ngành: Toán ứng dụng Chuyên ngành: Khoa học liệu Người hướng dẫn: TS.Lâm Thị Thanh Tâm Bình Định, 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN —————————————— MỘT SỐ PHƯƠNG PHÁP PHÂN TÍCH MA TRẬN VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Ngành: Toán ứng dụng Chuyên ngành: Khoa học liệu Sinh viên thực : Mã số sinh viên : Lớp, Khóa : Người hướng dẫn : Bình Định, 2023 NGUYỄN NHẬT NAM 4251140002 Toán ứng dụng K42 TS.Lâm Thị Thanh Tâm Lời cảm ơn Trước hết, muốn bày tỏ lòng biết ơn sâu sắc Trường Đại học Quy Nhơn, nơi cung cấp cho môi trường học thuật tuyệt vời, đồng thời hỗ trợ suốt quãng thời gian học tập nghiên cứu Tôi xin gửi lời cảm ơn chân thành đến TS.Lâm Thị Thanh Tâm, người dẫn dắt hỗ trợ tơi suốt q trình thực khóa luận Bằng kiên nhẫn, tận tâm trí tuệ mình, TS.Lâm Thị Thanh Tâm hướng dẫn đến hiểu biết giúp phát triển kỹ nghiên cứu quan trọng Tôi muốn cảm ơn Khoa Toán - Thống Kê tạo hội học thuật nghiên cứu tốt cho tơi Sự hỗ trợ khuyến khích q thầy giúp tơi hồn thành khóa luận Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình bạn bè tơi Sự ủng hộ khích lệ khơng ngừng nghỉ họ giúp tơi vượt qua thách thức hồn thành cơng việc Trong q trình viết khóa luận chỉnh sửa nhiều lần khơng thể tránh khỏi việc thiếu sót Tơi xin chân thành cảm ơn nhận góp ý từ quý thầy cô, anh chị bạn bè để chỉnh sửa luận văn tốt Quy Nhơn, ngày tháng năm 2023 Sinh viên thực Nguyễn Nhật Nam i Mục lục Lời cảm ơn i Lời mở đầu iv Một số ký hiệu vi Một số kiến thức chuẩn bị 1.1 Ma trận 1.2 Vector riêng- Giá trị riêng 1.3 Định lí phổ ma trận đối xứng 1.4 Xác xuất thống kê 1.4.1 Kỳ vọng 1.4.2 Phương sai 1.4.3 Ma trận hiêp phương sai PHÂN TÍCH GIÁ TRỊ KÌ DỊ 11 2.1 Giới thiệu 11 2.2 Phân tích giá trị kì dị 11 2.3 Thuật tốn tìm SVD ma trận 14 2.4 Một số tính chất ma trận liên quan đến SVD 18 Phân tích thành phần 21 3.1 Giới thiệu 21 3.2 Ý tưởng 22 3.3 Phân tích thành phần 23 3.4 Tìm thành phần tốn PCA thông qua SVD 24 ii 3.5 Tính nghiệm PCA 26 3.6 Thuật tốn tìm PCA ma trận 27 Một số ứng dụng SVD PCA 30 4.1 Ứng dụng SVD toán xấp xỉ hạng thấp tốt ma trận 30 4.2 Phân tích SVD xử lí ảnh 35 4.3 Eigenface ứng dụng PCA nhận dạng khuôn mặt 39 4.4 Nghiên cứu ứng dụng SVD kiến trúc Transformer 46 Kết luận 48 Tài liệu tham khảo 48 iii Lời mở đầu Trong thời đại cơng nghệ thơng tin nói chung liệu nói riêng ngày phát triển mạnh mẽ, việc thu thập xử lý liệu ngày trở nên quan trọng cần thiết Các phương pháp phân tích liệu phân rã giá trị kì dị (SVD) phân tích thành phần (PCA) đóng vai trò quan trọng việc giải vấn đề liên quan đến liệu lớn đa chiều Những phương pháp khơng giúp giảm kích thước liệu mà cịn giúp khai thác thơng tin hữu ích từ liệu gốc SVD PCA ứng dụng rộng rãi nhiều lĩnh vực khoa học kỹ thuật, chẳng hạn xử lý hình ảnh, phân tích liệu, nhận dạng mẫu, thống kê, Trong khóa luận này, chúng tơi tập trung nghiên cứu phương pháp phân tích liệu phân rã giá trị kì dị (SVD) phân tích thành phần (PCA), số ứng dụng chúng toán thực tế Mục tiêu khóa luận tìm hiểu tính chất ứng dụng SVD PCA việc giải vấn đề liên quan đến liệu ˆ Đối tượng nghiên cứu khóa luận phương pháp phân rã giá trị kì dị (SVD) phân tích thành phần (PCA) Ngồi lời cảm ơn, mục lục, lời mở đầu văn chia làm bốn chương chính: số ký hiệu, luận Chương 1: Kiến thức Trong chương này, chúng tơi trình bày số kiến thức sở đại số tuyến tính, giải tích thống kê, nhằm chuẩn bị cho việc ˆ tìm hiểu SVD PCA Chương 2: Phân rã giá trị kì dị (SVD) Trong chương này, giới thiệu ˆ SVD tính chất ma trận liên quan đến SVD Chương 3: Phân tích thành phần (PCA) Trong chương này, chúng tơi giới thiệu PCA, cách tính PCA mối quan hệ PCA SVD iv ˆ Chương 4: Ứng dụng SVD PCA tốn thực tế Chương trình bày số ví dụ cụ thể việc áp dụng SVD PCA toán thực tế xử lý hình ảnh, nhận dạng khn mặt, phân tích liệu thống kê v Một số ký hiệu R : Tập hợp số thực n : Tập hợp véc tơ thực n chiều Rn×m : Tập hợp ma trận thực cấp n × m ∥A∥F : Chuẩn Frobenius ma trận A ∥A∥2 : Chuẩn ma trận A AT : Ma trận chuyển vị A A−1 : Ma trận nghịch đảo A : Ma trận giả nghịch đảo A R A + vi Chương Một số kiến thức chuẩn bị 1.1 Ma trận Định nghĩa 1.1.1 [2] Ma trận cỡ m × n bảng gồm mn số thực xếp thành m dòng n cột Ma trận thường kí hiệu sau a11 A= a12 a13 · · · a a a a 21 m1 23 ··· 22 ··· ··· ··· ··· 1n a ··· ··· ··· ··· ··· ··· ··· ··· ··· ··· a m2 a , a 2n a 13 mn a11 A= a12 a13 · · · a a a a 21 m1 22 m2 23 ··· a 1n a ··· ··· ··· ··· ··· ··· a 13 a 2n a mn A = (aij)m×n, aij phần tử ma trận nằm dòng i, cột j, với i = 1, 2, , m j = 1, 2, , n , Khi m = n, ta gọi ma trận cỡ m × m ma trận vuông cấp m Các phần tử a 11, a22, , amm nằm đường thẳng gọi đường chéo ma trận