Một số phương pháp phân tích dữ liệu và ứng dụng khóa luận tốt nghiệp đại học ngành toán ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN NHẬT NAM MỘT SỐ PHƯƠNG PHÁP PHÂN TÍCH DỮ LIỆU VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Ngành: TOÁN ỨNG DỤNG Người hướng dẫn TS.LÂM THỊ THANH TÂM Bình Định, 2023 MỞ ĐẦU Nội dung khóa luận trình bày chương: Chương Một số kiến thức chuẩn bị Chương Phân tích giá trị kì dị (SVD) Chương Phân tích thành phần (PCA) Chương Một số ứng dụng SVD PCA Chương Một số kiến thức chuẩn bị Định lí phổ ma trận đối xứng Cho A ma trận đối xứng cấp n Khi đó: (i) Với giá trị riêng thực λ A, tồn vector riêng n tương ứng u ∈ R cho Au = λu, (ii) Tồn ma trận dường chéo D cấp n ma trận trực giao T U cấp n cho A = UDU , phần tử nằm đường chéo D giá trị riêng A, vector cột U vetor riêng A tương ứng với giá trị riêng Tức là, D = diag (λ1, λ2, , λn) U= u (1) (2) | u u (n) Au (i) (i) = λi · u , i = 1, 2, , n Chương Phân tích giá trị kì dị (SVD) Định lí tồn SVD Thuật tốn SVD Chương Phân tích giá trị kì dị (SVD) Định lý Cho A ma trận có cấp m × n Khi đó, giá trị riêng T ma trận A A không âm Chương Phân tích giá trị kì dị (SVD) Định lý Mọi ma trận A cỡ m × n có phân tích SVD có dạng T A = UDV Chương Phân tích giá trị kì dị (SVD) Định lý Cho A ma trận cỡ m × n Khi T T T T A = UDV = σ1u1v1 + σ2u2v2 + · · · + σrurvr σi giá trị kì dị dương ma trận A, u i vector kì dị trái vi vector kì dị phải ma trận A Chương Phân tích giá trị kì dị (SVD) Thuật tốn SVD T Bước 1: Tính ma trận A A giải phương trình T det A A − λI = từ suy giá trị kì dị A √ σi = λi, i = 1, n D = diag (σ1, σ2, , σn) Bước 2: Với giá trị riêng λi, tìm vector riêng vi Từ tìm ma trận trực giao V cấp n chứa vector kì dị phải A Bước 3: Tìm ma trận trực giao U với u = i σi Av i CHƯƠNG PHÂN TÍCH THÀNH PHẦN CHÍNH 3.1 Ý Tưởng 3.2 Phân tích thành phần 3.3 Tính nghiệm PCA 3.4 Thuật tốn PCA 3.3 Tính nghiệm PCA Định lí Nếu (A, B) nghiệm mơ hình PCA (AQ, BQ) nghiệm mơ hình PCA, với Q ma trận trực giao cấp r Lúc này, Q gọi phép quay trực giao 3.4 Thuật tốn PCA Bước 1: Chuẩn hóa liệu Bước 2: Tìm SVD “chặt cụt” ma trận X, ta T X = UrDr (Vr) với r ≤ n Bước 3: Tìm ma trận A B Bước 4: Nếu nghiệm (A, B) chưa tốt chọn phép quay Q, với Q ma trận trực giao cấp r CHƯƠNG MỘT SỐ ỨNG DỤNG CỦA SVD VÀ PCA 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận 4.2 Phân tích SVD xử lí ảnh 4.3 Ứng dụng PCA nhận dạng khuôn mặt 4.4 Nghiên cứu ứng dụng SVD kiến trúc Transformer 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận Định lí Eckart- Young, 1936 Với ma trận B cỡ m × n rank(B) ∥A − B∥F ∥A − Ak∥F k, ta có 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận Định lí Giả sử A ma trận cỡ m × n bất kì, với rank(A) = r A có khai triển kì dị SVD r T A= σiuiVi i=1 Khi đó, với ma trận B có cỡ m × n rank(B) k, ta có ∥A − B∥2 Dấu “=” xảy B = Ak = σk+1 k i=1 T σiuiVi 4.2 Phân tích SVD xử lí ảnh Figure: Tính quan trọng thành phần ma trận ảnh mức độ giữ lại thông tin ta giảm số lượng thành phần 4.2 Phân tích SVD xử lí ảnh