Một số phương pháp phân tích ma trận và ứng dụng luận văn tốt nghiệp đại học

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN —————————————— NGUYỄN NHẬT NAM Một số phương pháp phân tích ma trận ứng dụng LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC Ngành: Toán ứng dụng Chuyên ngành: Khoa học liệu Người hướng dẫn: TS Lâm Thị Thanh Tâm Bình Định, 2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN —————————————— Một số phương pháp phân tích ma trận ứng dụng LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC Ngành: Toán ứng dụng Chuyên ngành: Khoa học liệu Sinh viên thực hiện: NGUYỄN NHẬT NAM Mã số SV: 4251140002 Lớp, Khóa: Tốn ứng dụng K42 Người hướng dẫn: TS Lâm Thị Thanh Tâm Bình Định, 2023 Lời cảm ơn Trước vào nội dung luận văn, em xin bày tỏ lòng biết ơn chân thành tới toàn thể giáo viên Trường Đại học Quy Nhơn nói chung Khoa Tốn-Thống kê nói riêng tận tâm dạy bảo em suốt trình em theo học trường, đặc biệt định hướng dẫn dắt TS Lâm Thị Thanh Tâm đề tài khóa luận Nhân dịp em xin gửi lời cảm ơn đến người bạn, đặc biệt người thân gia đình ln giúp đỡ em hết mình, ln động viên, cổ vũ tinh thần tạo điều kiện thuận lợi giúp em hồn thành khố luận tốt nghiệp Trong q trình viết báo cáo chỉnh sửa nhiều lần khơng thể tránh khỏi việc thiếu sót gây cho người đọc cảm giác khó hiểu Em xin chân thành cảm ơn nhận góp ý từ quý thầy cô, anh chị bạn bè để chỉnh sửa luận văn tốt Quy Nhơn, ngày tháng năm 2023 Sinh viên thực Nguyễn Nhật Nam i Mục lục Lời cảm ơn i Lời mở đầu iv Một số ký hiệu vi Một số kiến thức chuẩn bị 1.1 Ma trận 1.2 Vector riêng- Giá trị riêng 1.3 Định lí phổ ma trận đối xứng PHÂN TÍCH GIÁ TRỊ KÌ DỊ 2.1 Giới thiệu 2.2 Phân tích giá trị kì dị 2.3 Thuật tốn tìm SVD ma trận 10 2.4 Một số tính chất ma trận liên quan đến SVD 12 Phân tích Thành phần Chính 16 3.1 Giới thiệu 16 3.2 Ý tưởng 17 3.3 Phân tích thành phần 18 3.4 Tính nghiệm PCA 20 3.5 Thuật tốn tìm PCA ma trận 21 MỘT SỐ ỨNG DỤNG CỦA SVD PCA 4.1 22 Ứng dụng SVD toán xấp xỉ hạnh thấp tốt ma trận 22 ii 4.2 Phân tích SVD xử lí ảnh iii 27 Lời mở đầu Trong thời đại công nghệ thông tin phát triển mạnh mẽ ngày nay, việc thu thập xử lý liệu ngày trở nên quan trọng cần thiết Các phương pháp phân tích liệu phân rã giá trị suy biến (SVD) phân tích thành phần (PCA) đóng vai trị quan trọng việc giải vấn đề liên quan đến liệu lớn đa chiều Những phương pháp không giúp giảm kích thước liệu mà cịn giúp khai thác thơng tin hữu ích từ liệu gốc SVD PCA ứng dụng rộng rãi nhiều lĩnh vực khoa học kỹ thuật, chẳng hạn xử lý hình ảnh, phân tích liệu, nhận dạng mẫu, thống kê, v.v Trong luận văn này, tập trung nghiên cứu phương pháp phân tích liệu phân rã giá trị suy biến (SVD) phân tích thành phần (PCA), số ứng dụng chúng tốn thực tế Mục tiêu luận văn tìm hiểu tính chất bản, cách tính ứng dụng SVD PCA việc giải vấn đề liên quan đến liệu Đối tượng nghiên cứu luận văn phương pháp phân rã giá trị suy biến (SVD) phân tích thành phần (PCA) Ngồi lời cảm ơn, mục lục, lời mở đầu số ký hiệu, luận văn chia làm bốn chương chính: Chương 1: Kiến thức Trong chương này, chúng tơi trình bày số kiến thức sở đại số tuyến tính, giải tích thống kê, nhằm chuẩn bị cho việc tìm hiểu SVD PCA Chương 2: Phân rã giá trị suy biến (SVD) Trong chương này, giới thiệu SVD, cách tính SVD mối quan hệ SVD giá trị riêng ma trận Ngồi ra, chúng tơi trình bày số ứng dụng SVD việc giải toán thực tế Chương 3: Phân tích thành phần (PCA) Trong chương này, giới iv thiệu PCA, cách tính PCA mối quan hệ PCA SVD Chúng tơi trình bày số ứng dụng PCA việc giảm kích thước liệu, phân tích liệu tốn khác Chương 4: Ứng dụng SVD PCA tốn thực tế Chương trình bày số ví dụ cụ thể việc áp dụng SVD PCA toán thực tế xử lý hình ảnh, nhận dạng mẫu, phân tích liệu thống kê Luận văn tốt nghiệp hoàn thành hướng dẫn TS lâm Thị Thanh Tâm Nhân dịp này, tơi xin bày tỏ lịng biết ơn sâu sắc đến thầy/cô hướng dẫn, không hỗ trợ tơi việc nghiên cứu khoa học mà cịn tận tình giúp đỡ tạo điều kiện thuận lợi cho tơi suốt q trình làm đề tài Tôi xin chân thành cảm ơn tập thể lớp Toán Ứng Dụng K42, khoa Toán THống kê Trường Đại học Quy Nhơn giúp đỡ tạo điều kiện thuận lợi cho tơi hồn thành khóa học với luận văn Cuối cùng, xin chân thành cảm ơn gia đình, bạn bè, người thân yêu quan tâm, giúp đỡ ủng hộ tơi suốt q trình học tập thực luận văn Dù cố gắng hết sức, thời gian lực có hạn, luận văn khơng tránh khỏi thiếu sót hạn chế Rất mong nhận góp ý bảo quý thầy cô, quý bạn đồng nghiệp để luận văn tốt nghiệp hồn thiện Tơi xin chân thành cảm ơn v Một số ký hiệu N tập số tự nhiên Z tập số nguyên Q tập số hữu tỷ R tập số thực C tập số phức R tập số thực mở rộng Rn không gian vectơ thực n-chiều K tập R C P(X) tập tất tập X sign hàm dấu A△B Fn i=1 Ai hiệu đối xứng hai tập A B fn ↑ dãy fn đơn điệu tăng fn ↓ dãy fn đơn điệu giảm fn ↗ f dãy fn đơn điệu tăng hội tụ đến f fn ⇒ f dãy fn hội tụ đến f L σ-đại số Lebesgue tập R m độ đo Lebesgue ♯ độ đo đếm hợp rời tập A1 , , An vi Chương Một số kiến thức chuẩn bị 1.1 Ma trận Định nghĩa 1.1.1 Ma trận cỡ m × n bảng gồm mn số thực xếp thành m dòng n cột Ma trận thường kí hiệu sau  a11 a12 a13 · · · ··· ··· a1n    a21 a22 a23 · · · · · · · · · a2n A=   ··· ··· ···  am1 am2 a13 · · · · · · · · · amn     ,     a a12 a13  11   a21 a22 a23 A=    am1 am2 a13 ··· ··· ··· a1n ··· ··· ··· ··· ··· ··· a2n ··· · · · · · · amn     ,    A = (aij )m×n , aij phần tử ma trận nằm dòng i, cột j, với i = 1, 2, , m, j = 1, 2, , n Khi m = n, ta gọi ma trận cỡ m × m ma trận vng cấp m Các phần tử a11 , a22 , , amm nằm đường thẳng gọi đường chéo ma trận Định nghĩa 1.1.2 Ma trận đơn vị cấp n ma trận vuông cấp n có phần tử nằm đường chéo 1, phần tử khác Ta ký hiệu ma trận đơn vị cấp n In có dạng sau     In =     ··· ··· 0         Trong trường hợp không cần ý đến cấp ma trận, ta ký hiệu ma trận đơn vị I Định nghĩa 1.1.3 Ma trận đường chéo ma trận vng có phần tử nằm đường chéo khác 0, phần tử nằm ngồi đường chéo Ma trận đường chéo có dạng sau     D=    a11 0 a22 · · · 0 amm         Ma trận có dịng gọi vector dịng Ma trận có cột gọi vector cột Định nghĩa 1.1.4 Ma trận vuông A cấp n gọi ma trận khả nghịch tồn ma trận A′ vuông cấp n thỏa mãn AA′ = A′ A = In Ma trận A gọi ma trận nghịch đảo ma trận A, ký hiệu A−1 Định nghĩa 1.1.5 Cho ma trận A = (aij )m×n Ma trận chuyển vị A, ký hiệu AT , có dạng AT = (aji )n×m Ma trận vuông A gọi ma trận đối xứng AT = A, gọi ma trận phản đối xứng AT = −A Định nghĩa 1.1.6 Ma trận vuông A gọi ma trận trực giao AT A = AAT = I Nhận xét: (i) Ma trận A = [aij ]n×n ma trận trực giao δij , với δij kí hiệu Kronecker Pn k=1 aik ajk = an1 an2 a2n ann − λ a1n gọi đa thức đặc trưng ma trận A Các nghiệm đa thức PA (λ) gọi giá trị riêng ma trận A Vector u ∈ Rn gọi vector riêng ứng với giá trị riêng λ ma trận A thỏa Au = λu Nhận xét: (i) Nếu λ giá trị riêng A det(A − λI) = Khi hệ phương trình   x     (A − λI)   =   xn có vơ số nghiệm (ii) Mỗi giá trị riêng có nhiều vector riêng (iii) Mỗi vector riêng ứng với giá trị riêng (iv) Nếu λ = giá trị riêng ma trận A A khơng khả nghịch Ngược lại, giá trị riêng A khác ma trận A khả nghịch 1.3 Định lí phổ ma trận đối xứng Định nghĩa 1.3.1 Cho A ma trận đối xứng cấp n Khi i) Với giá trị riêng thực λ A, tồn vector riêng tương ứng u ∈ Rn cho Au = λu ii) Tồn ma trận dường chéo D cấp n ma trận trực giao U cấp n cho A = UDUT , phần tử nằm đường chéo D giá trị