Một số phương pháp phân tích dữ liệu và ứng dụng khóa luận tốt nghiệp đại học ngành toán ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN NHẬT NAM MỘT SỐ PHƯƠNG PHÁP PHÂN TÍCH DỮ LIỆU VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC Ngành: TOÁN ỨNG DỤNG Người hướng dẫn TS.LÂM THỊ THANH TÂM Bình Định, 2023 MỞ ĐẦU Nội dung khóa luận trình bày chương: Chương Một số kiến thức chuẩn bị Chương Phân tích giá trị kì dị (SVD) Chương Phân tích thành phần (PCA) Chương Một số ứng dụng SVD PCA Chương Một số kiến thức chuẩn bị Định lí phổ ma trận đối xứng Cho A ma trận đối xứng cấp n Khi đó: (i) Với giá trị riêng thực λ A, tồn vector riêng tương ứng u ∈ Rn cho Au = λu, (ii) Tồn ma trận dường chéo D cấp n ma trận trực giao U cấp n cho A = UDUT , phần tử nằm đường chéo D giá trị riêng A, vector cột U vetor riêng A tương ứng với giá trị riêng Tức là, D = diag (λ1 , λ2 , , λn ) U= h u(1) | u(2) u(n) Au(i) = λ · u(i) , i = 1, 2, , n i Chương Phân tích giá trị kì dị (SVD) Định lí tồn SVD Thuật tốn SVD Chương Phân tích giá trị kì dị (SVD) Định lý Cho A ma trận có cấp m × n Khi đó, giá trị riêng ma trận AT A không âm Chương Phân tích giá trị kì dị (SVD) Định lý Mọi ma trận A cỡ m × n có phân tích SVD có dạng A = UDVT Chương Phân tích giá trị kì dị (SVD) Định lý Cho A ma trận cỡ m × n Khi A = UDVT = σ1 u1 v1T + σ2 u2 v2T + · · · + σr ur vrT σi giá trị kì dị dương ma trận A, ui vector kì dị trái vi vector kì dị phải ma trận A Chương Phân tích giá trị kì dị (SVD) Thuật tốn SVD T Bước  1: Tính ma  trận A A giải phương trình det AT A − λI = từ suy giá trị kì dị A √ σi = λi , i = 1, n D = diag (σ1 , σ2 , , σn ) Bước 2: Với giá trị riêng λi , tìm vector riêng vi Từ tìm ma trận trực giao V cấp n chứa vector kì dị phải A Bước 3: Tìm ma trận trực giao U với ui = Avi σi CHƯƠNG PHÂN TÍCH THÀNH PHẦN CHÍNH 3.1 Ý Tưởng 3.2 Phân tích thành phần 3.3 Tính nghiệm PCA 3.4 Thuật tốn PCA 3.1 Ý Tưởng Tìm phép xoay trục toạ độ để hệ trục toạ độ cho hệ này, thông tin liệu chủ yếu tập trung vài thành phần Phần cịn lại chứa thơng tin lược bỏ 3.2 Phân tích thành phần Figure: Ảnh minh họa PCA 3.3 Tính nghiệm PCA Định lí Nếu (A, B) nghiệm mơ hình PCA (AQ, BQ) nghiệm mơ hình PCA, với Q ma trận trực giao cấp r Lúc này, Q gọi phép quay trực giao 3.4 Thuật toán PCA Bước 1: Chuẩn hóa liệu Bước 2: Tìm SVD “chặt cụt” ma trận X, ta X = Ur Dr (Vr )T với r ≤ n Bước 3: Tìm ma trận A B Bước 4: Nếu nghiệm (A, B) chưa tốt chọn phép quay Q, với Q ma trận trực giao cấp r CHƯƠNG MỘT SỐ ỨNG DỤNG CỦA SVD VÀ PCA 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận 4.2 Phân tích SVD xử lí ảnh 4.3 Ứng dụng PCA nhận dạng khuôn mặt 4.4 Nghiên cứu ứng dụng SVD kiến trúc Transformer 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận Định lí Eckart- Young, 1936 Với ma trận B cỡ m × n rank(B) ⩽ k, ta có ∥A − B∥F ⩾ ∥A − Ak ∥F 4.1 Ứng dụng SVD xấp xỉ hạng thấp tốt ma trận Định lí Giả sử A ma trận cỡ m × n bất kì, với rank(A) = r A có khai triển kì dị SVD A= r X σi ui ViT i=1 Khi đó, với ma trận B có cỡ m × n rank(B) ⩽ k, ta có ∥A − B∥2 ⩾ σk+1 P Dấu “=” xảy B = Ak = ki=1 σi ui ViT 4.2 Phân tích SVD xử lí ảnh Figure: Tính quan trọng thành phần ma trận ảnh mức độ giữ lại thông tin ta giảm số lượng thành phần 4.2 Phân tích SVD xử lí ảnh 4.2 Phân tích SVD xử lí ảnh Figure: Ứng với k ta quan sát mức độ tối ưu việc lưu trữ thông tin lượng thông tin giữ lại 4.3 Ứng dụng PCA nhận dạng khuôn mặt 4.3 Ứng dụng PCA nhận dạng khuôn mặt Figure: Báo cáo phân loại sau huận luyện phân loại SVM 4.3 Ứng dụng PCA nhận dạng khuôn mặt Figure: Ma trận lỗi(confusion matrix) 4.3 Ứng dụng PCA nhận dạng khuôn mặt Figure: kết suy luận phân loại tập kiểm thử 4.4 Nghiên cứu ứng dụng SVD kiến trúc Transformer Kiến trúc mơ hình Recurrent Transformer Sparse Tansformer Reformer Linformer Độ phức tạp thời gian Số phép toán O(n)
O(n) O n2 O(1) √ O(1) O(n n) O(n log(n)) O(log(n)) O(n) O(1) KẾT THÚC BÁO CÁO TRÂN TRỌNG CẢM ƠN!