Cơ sở lý thuyết của phân tích svd và ứng dụng svd để khử nhiễu hình ảnh

lOMoARcPSD|18034504 ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC ỨNG DỤNG MƠN ĐẠI SỐ TUYẾN TÍNH -* - Đề tài số 10: CƠ SỞ LÝ THUYẾT CỦA PHÂN TÍCH SVD VÀ ỨNG DỤNG SVD ĐỂ KHỬ NHIỄU HÌNH ẢNH GV dạy lý thuyết: Đặng Văn Vinh GV dạy tập: Bùi Thị Khuyên Lớp : L10 Nhóm : 08 STT Họ tên MSSV Nguyễn Hoàng Anh 2112778 Tạ Nguyễn Tiến Dũng 2110965 Võ Nguyên Giáp 2110142 Nguyễn Sỹ Lâm 2113883 Vũ Nhật Minh 2114089 Đoàn Minh Nhân 2114259 Vũ Tuấn Kha 2113649 Tp HCM, tháng 04 năm 2022 MỤC LỤC lOMoARcPSD|18034504 Lời nói đầu………………………………………………………….2 Cơ sở lí thuyết phân tích SVD…………………………………3 2.1 Trị riêng, vector riêng ma trận……………………… 2.2 Chéo hóa ma trận……………………………………………….4 2.3 Chéo hóa ma trận trực giao…………………………………… 2.4 Phân tích SVD………………………………………………….7 Ứng dụng phân tích SVD để khử nhiễu hình ảnh………………9 3.1 Các bước để khử nhiễu hình ảnh……………………………… 3.2 Một số ứng dụng phân tích SVD………………………… 10 Kết luận…………………………………………………………… LỜI NÓI ĐẦU Lời đầu tiên, em xin trân trọng bày tỏ lòng biết ơn chân thành tới thầy mà chúng em có dịp học tập trường Đại học Bách Khoa truyền đạt kiến thức cho chúng em, đặc biệt thầy Đặng Văn Vinh truyền dạt kiến thức cho chúng em Do sinh viên năm nên chúng em tránh khỏi sai sót kiến thức cịn hạn chế nên chúng em mong nhận góp ý đánh giá từ bạn để tập lớn chúng em hoàn thiện Phương pháp phân tích Singular Value Decompositions (SVD) phương pháp thuộc nhóm matrix factorization (phân tích nhân tử ma trận) phát triển lần đầu nhà hình học vi phân Phương pháp ứng dụng rộng rãi lĩnh vực hình học vi phân, xử lý hình ảnh, thuật tốn giảm chiều liệu, hiệu toán Để hiểu rõ phương pháp này, ta tìm hiểu sở lý thuyết, ứng dụng ví dụ trình bày cụ thể Ban đầu nhà hình học vi phân muốn xác định xem liệu dạng song tuyến thực tạo dạng khác thông qua phép biến đổi trực giao độc lập hai khơng gian mà tác động hay khơng Họ bắt đầu nghiên cứu phát phương pháp phân tích Singular Value Decompositions (SVD), đó, nhà tốn học lOMoARcPSD|18034504 Beltrami (Ý) Jordan (Pháp) người khởi xướng cho phương pháp (1873) Đây công trình năm tác giả nhà tốn học: Euginio Beltrami (Ý), Camille Jordan (Pháp), James Sylvester (Anh), Erhard Schmidt Herman Weyl (Đức) Phương pháp phân tích Singular Value Decompositions (SVD) phương pháp thuộc nhóm matrix factorization (phân tích nhân tử ma trận) phát triển lần đầu nhà hình học vi phân Phương pháp ứng dụng rộng rãi lĩnh vực hình học vi phân, xử lý hình ảnh, thuật tốn giảm chiều liệu, hiệu toán Để hiểu rõ phương pháp này, ta tìm hiểu sở lý thuyết, ứng dụng ví dụ trình bày cụ thể Ban đầu nhà hình học vi phân muốn xác định xem liệu dạng song tuyến thực tạo dạng khác thông qua phép biến đổi trực giao độc lập hai không gian mà tác động hay khơng Họ bắt đầu nghiên cứu phát phương pháp phân tích Singular Value Decompositions (SVD), đó, nhà tốn học Beltrami (Ý) Jordan (Pháp) người khởi xướng cho phương pháp (1873) Đây cơng trình năm tác giả nhà toán học: Euginio Beltrami (Ý), Camille Jordan (Pháp), James Sylvester (Anh), Erhard Schmidt Herman Weyl (Đức) Cuối cùng, chúng em xin kính chúc thầy, thật nhiều sức khỏe, hạnh phúc bên gia đình, bình an sống thành công đường dạy học Chúng em xin chân thành cảm ơn CƠ SỞ LÝ THUYẾT CỦA PHÂN TÍCH SVD 2.1 Trị riêng, vector riêng ma trận Định nghĩa : Cho A ∈ Mn(K) Số λ0 ∈ K gọi giá trị riêng ma trận A, tồn vector X0 cho AX0 = λ0X0 - Khi vector X0 gọi vector riêng (VTR) ma trận A ứng với giá trị riêng λ0 - Tập hợp tất giá trị riêng A gọi phổ ma trận A kí hiệu δ(A) Tính chất: Mỗi vector riêng có giá trị riêng lOMoARcPSD|18034504 Nếu x vector riêng ứng với giá trị riêng λ ma trận vng A kx vector riêng ứng với λ : Ax = λx ⇔ A(kx) = λ(kx) Số λ0 trị riêng A λ0 nghiệm phương trình đặc trưng det(A − λI) = Vector X0 vector riêng A ứng với trị riêng λ0 X0 nghiệm khác hệ phương trình (A − λ0I)X = Các bước tìm giá trị riêng vector riêng ma trận A: Bước : Tìm giá trị riêng - Lập phương trình đặc trưng det (A – λI) = - Tính định thức, giải phương trình Bước : Tìm vector riêng - Tương ứng với trị riêng Giải hệ phương trình (A - 1I) = - Tất nghiệm khác hệ tất vector riêng A ứng với trị riêng - Tương tự tìm vector riêng A ứng với trị riêng lại Tính chất trị riêng, vector riêng Tổng tất trị riêng A với vết ma trận A, tức với tổng phần tử đường chéo A Tích tất trị riêng A với det(A) Tổng tất bội đại số trị riêng với cấp A Tổng tất bội hình học trị riêng với số vector độc lập tuyến tính cực đại Nếu λ trị riêng A, λm trị riêng ma trận Am, m ∈ N 2.2 Chéo hóa ma trận Định nghĩa : Ma trận vuông A gọi chéo hóa tồn ma -1 trận vuông P khả nghịch ma trận chéo D thỏa mãn A = P DP lOMoARcPSD|18034504 Các bước chéo hóa ma trận A Bước 1: Tìm giá trị riêng - Lập phương trình đặc trưng det (A – λI) = - Nghiệm phương trình dặc trưng trị riêng A - Với λk ∈ tìm bội đại số BĐS( λk) Bước 2: Tìm sở khơng gian riêng - Với λk ∈ Giải hệ phương trình (A – λkI)X = - Tìm nghiệm tổng quát, suy sở không gian riêng EλK - Xác định bội hình học λk : BHH(λk)= dim (EλK) Bước 3: Kết luận Nếu tồn trị riêng mà bội hình học nhỏ bội đại sơ ma trận A khơng chéo hóa Nếu với trị riêng, bội hình học bội đại số nó, ma trận A chéo hóa Tức A = PDP-1, ma trận P có cột sở khơng gian riêng tìm bước ma trận D có phần tử đường chéo giá trị riêng A Ví dụ: Chéo hóa ma trận C = Bước 1: Tìm trị riêng: - det(A-λI) = ⇔ ⇔ (4 – λ )( - – λ ) – (- ) = ⇔ λ1 = 3, λ2 = -2 Bước 2: Tìm sở không gian riêng : - Xét λ1 = 3, xét hệ (A – λ1I)X = ⇒ ⇔ x1 = 2x2 ⇔ X = (2α; α) ⇒ Cơ sở không gian Eλ1 = (2, 1) - Xét λ2 = -2 , xét hệ (A – λ1I)X = ⇒ ⇔ 3x1 = x2 ⇔ X = (α; 3α) ⇒ Cơ sở không gian Eλ2 = (1, 3) Bước 3: Ta kết luận ma trận A chéo hóa ⇒ A = P DP-1 với P = D= 2.3 Chéo hóa ma trận trực giao Định nghĩa 1: Cho A ∈ Mn(K) gọi ma trận đối xứng thực AT = A Định nghĩa 2: Cho A ∈ Mn[R] gọi ma trận trực giao A-1 = AT lOMoARcPSD|18034504 Ví dụ: Trong R3, chọn sở E = (1; 1; 1), (1; 2; 1), (1; 1; 2) Ta dùng q trình trực giao hóa Gram-Smidth, ta họ trực giao : F = (1; 1; 1), (1; -2; , 1), (-1; 0; 1) Chia vecto cho độ dài nó, ta họ trực chuẩn: Q= Lập ma trận trực giao có họ vecto cột Q: A = Định nghĩa 3: Ma trận vuông A gọi chéo hóa A = P DP-1 = P DPT, với D ma trận chéo P ma trận trực giao Các bước để chéo hóa ma trận đối xứng A : Bước 1: Tìm trị riêng A Bước 2: Tìm sở trực chuẩn không gian riêng - Chọn sở Ek tùy ý - Dùng trình trực giao hóa Gram - Smidth để tìm sở trực giao Fk - Chia vector Fk cho độ dài ta có sở trực chuẩn Qk Bước 3: Kết luận ma trận A ln chéo hóa trực giao Tức A = PDP T, ma trận chéo D có phần tử đương chéo trị riêng A, họ vector cột ma trận trực giao P từ vector riêng sở trực chuẩn bước Ví dụ: Chéo hóa trực giao ma trận đối xứng, thực sau: A = Bước 1: Phương trình đặc trưng A (λ - 7) 2(λ + 2) = Vậy A có trị riêng λ1 = 7, λ2 = - Bước 2: Tìm sở trực chuẩn không gian riêng - Ứng với λ1 = 7, giải hệ (A – λ 1I)X = ⇔ X = α(-1, 2, 0) T + β(0, 2, 1)T ⇒ Cơ sở Eλ1 e1 = (-1, 2, 0)T , e2 = (0, 2, 1)T - Dùng q trình trực giao hóa Gram - Smidth, ta sở trực giao: = (−1, 2, 0)T , (4, 2, 5)T - Ứng với λ2 = -2, giải hệ (A – λ2I)X = ⇔ X = α(2, 1, -2)T ⇒ Cơ sở trực giao Eλ2 (2, 1, -2)T sở trực chuẩn Bước 3: Kết luận ma trận A chéo hóa trực giao Tức A = PDPT, đó: Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 D= ,P= 2.4 Phân tích SVD ( Singular Value Decomposition) Cho A ma trận kích cỡ m×n Ta chứng minh tập hợp trị riêng khác không trùng Thật vậy, giả sử trị riêng khác vector riêng tương ứng Khi đó: = Suy = Điều tương đương với ) =, khác nên khác Suy trị riêng Ma trận hai ma trận đối xứng, nên chúng chéo hóa trực giao Phân tích SVD ma trận A: Cho ma trận A ∈ , r(A)=r Ma trận A phân tích thành dạng A =, Q P hai ma trận có họ vector cột họ trực chuẩn, Ʃ= ma trận cỡ m×n, D ma trận chéo, có phần tử đường chéo 1;2;…;r số thực dương gọi sigular values A Khi đó: Suy cột Q vector riêng ;;…; trị riêng khác Các cột P vector riêng ;;…; trị riêng khác Trong D, ta xếp sigular values A theo thứ tự giảm dần 12r Gọi , Ma trận A ghi dạng: +…+, với ma trận có hạng Như ma trận A phụ thuộc vào r cột P, Q r phần tử khác không đường chéo Ʃ Ta có phân tích gọn A gọi compact SVD: , với , ma trận tạo nên từ cột vủa Q P tương ứng Trong lưu trữ hình ảnh, thơng thường vài có giá trị cao cịn lại có giá trị xấp xỉ nên bỏ qua Khi ta có xấp xỉ: Và sai số xấp xỉ xác định công thức sau: Ví dụ: Tìm phân tích SVD ma trận Ta có Chéo hóa trực giao: , với Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Ta có Chéo hóa trực giao : , với Và Vậy phân tích SVD A A = Với Q, P Trong thời đại kỹ thuật số nay, phân tích SVD có số ứng dụng làm việc với liệu lớn: - Khử nhiễu âm thanh; - Nén ảnh; - Giảm số chiều liệu; - Ứng dụng phân tích thành phần (PCA: principle component analysis);… ỨNG DỤNG PHÂN TÍCH SVD ĐỂ KHỬ NHIỄU HÌNH ẢNH Phân tích SVD tìm lớp ma trận xấp xỉ tốt với ma trận cho trước Những điểm liệu khơng gian giữ 100% thông tin ban đầu giữ phần lớn so với thông tin liệu ban đầu thông qua phép “Truncate SVD“ Bằng cách xếp trị riêng theo thứ tự giảm dần đường chéo chính, thuật tốn SVD thu ma trận xấp xỉ tốt mà đảm bảo hạng ma trận sau biến dổi kích thước ma trận nhân tử giới hạn cho phép Do tiết kiệm thời gian chi phí tính tốn, đồng thời tìm giá trị dự báo cho ma trận gốc với mức độ xác cao Phương pháp “Truncate SVD“ giữ lại k sigular values lớn nhất, lược bỏ sigular values lại ( gần 0) 3.1 Các bước khử nhiễu hình ảnh: - Bước 1: Thu thập liệu, file cần xử nhiễu Đưa liệu từ dạng vector cột dạng ma trận M có kích cỡ m×n, có hạng r Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 - Bước 2: Tìm phân tích SVD ma trận M Giữ lại k sigular values M, chọn k gần với r tốt, cho độ nhiễu hình ảnh bị giảm đáng kể chi tiết ảnh gần nguyên vẹn, ta thu ma trận Mk - Bước 3:Đưa ma trận Mk vừa thu vector cột, lưu hình ảnh khử nhiễu Hình 1: Hình ảnh trước sau khử nhiễu 3.2 Một số ứng dụng phân tích SVD để khử nhiễu hình ảnh thực tế: - Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 KẾT LUẬN Ngoài ứng dụng để khử nhiễu hình ảnh ứng dụng với liệu lớn, SVD cịn có nhiều ứng dụng khác tối ưu cực trị rời rạc, lát cắt cực đại, Kmeans Clustering, Graph Partitioning, …Qua ta thấy SVD có tầm ảnh hưởng quan trọng ngành kĩ thuật, đặc biệt thời đại khoa học kĩ thuật công nghệ phát mạnh mẽ ***TÀI LIỆU THAM KHẢO: [1] Giáo trình đại số tuyến tính 2020 - Đặng Văn Vinh [2] https://machinelearningcoban.com [3] https://viblo.asia/p/handbook-singular-values-decompocition-va-mot-so-ungdung-yMnKOoml7P [4] https://www.kaggle.com/code/phamdinhkhanh/singular-valuedecomposition/notebook [5] https://www.researchgate.net/publication/333199772_Singular_ Value_Decomposition_in_image_noise_filtering [6] https://scholarworks.gsu.edu [7] https://text.123docz.net/document/3470646-khai-trien-svd-va-ung-dung-trongphan-tich-anh.html 10 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 11 Downloaded by vu ga (vuchinhhp2@gmail.com)