Báo cáo bài tập lớn Đại số tuyến tính Đề tài số 10 phân tích svd

Phương pháp phân tích suy biến singular value decomposition được viết tắc là SVD là một trong những phương pháp thuộc nhóm Matrix factorization Ma trận thừa số hóa được phát triển lần đầ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA TP.HCM

DH QUOC GIA TP HO CHi MINH

28S

BAO CAO BAI TAP LON DAI SO TUYEN TINH

DE TÀI SỐ 10 PHAN TICH SVD

Giảng viên hướng dẫn: ThS Nguyễn Xuân Mỹ

Nhóm: 10 Lớp: L10

TP Hồ Chí Minh, tháng 5 năm 2023

DANH SÁCH THÀNH VIÊN

Neuyén Nam Phuong 2212698

Nguyễn Phạm Hoàng Quân 2212506

Lê Xuân Quang 2212736 Nguyễn itu Quang 2212744

Lé Thi Ngọc Quyên 2212547

W uyên Ngọc Quyền 2212858

MỤC LỤC

1 Sơ lược, tông quan về phương pháp phân tích SVD .-.s-ss5sss5sssscsse 7 Mục tiêu của phân tích suy biến SVD 0Q 0n HH TH HH He HH HH He re se 8

a _ Ma trận, Định thức H1 cv 1S 1n 111kg 1116k 6111116115111 11 6g 8

b Trjriêng va vector rIỆNg nhu ưng 8

c Khai niém về Họ trực giao và trực chuẩn Trực giao hóa Gram-SchmidL 9 d._ Chéo hóa ma trận, chéo hóa trực giao và những tính chất của chúng 9

e _ Singular value và singulaf V€CfOTS cọ 11H SH HH1 01111110111 11H Hà 9

Phương pháp tìm các ma trận S,U,V ác L1 121 1 H11 HH HH H1 111 tk, 10

I ỨNG DỤNG CỦA PHÂN TÍCH SVD TRONG KHỬ NHIÊU ẢNH 12

HI CHƯƠNG TRÌNH MATLAB KHỨ NHIÊU ANH SỬ DUNG PHÂN TÍCH SVD.16

PHU LUC: CAC CÂU LỆNH ĐƯỢC SỬ DỤNG TRONG CHƯƠNG TRÌNH

DANH MỤC HÌNH ẢNH Hình 2.1 - VÍ dụ về khử nhiễu ảnh nhe rrae 12

Hình 2.2 - Khử nhiễu ảnh scan PET bằng SVD S5 2222222222222 ee 14

Hình 2 3 - Khử nhiễu ảnh scan XRAY bằng SVD - S5 2212222222222 ee 14

Hình 2.4 - Khử nhiễu ảnh nhận điện Barack Obama sử dụng SWD cà eeieeeeeieire T5

Hinh 2.5 - Khử nhiễu hình ảnh biển số xe HHY àà ìà HH 22k 15

B882 g 70070 .088086e 16

Hình 3.2 — Kết quả sau khi chạy chương trÌnh à s22 22a 17

LỜI CẢM ƠN

Trong suốt quá trình học bộ môn Đại số tuyến tính, nhóm chứng em đã nhân được rất nhiễu sự

quan tâm giúp đỡ, và kiến thức từ thẩy/cô, anh/chị khóa trên và các bạn cùng khóa

Ngoài ra nhóm em xin gửi lời cảm ơn chân thành nhất đến cô Nguyễn Xuân Mỹ là giảng viên giảng dạy bộ môn Đại số tuyến tính và cũng là người hướng dẫn nhóm em thực hiện đề tài này Nhờ có sự hướng dân tận tình và giải đáp các thắc mắc, khó khăn vô cùng kịp thời của cô nhóm

đã hoàn thành đề tài đúng tiễn độ

Lời cuối, xin một lần nữa gửi lời cảm ơn sâu sắc đến các cả nhân, các thay/cé đã dành thời gian chỉ dân cho nhóm Đây chính là niềm tin, nguồn động lực to lớn đề nhóm có thể đạt được

kết quả này Nhóm chúng em xin chân thành cảm ơn!

LỜI MỞ ĐẦU

Đại số tuyển tính nói chung có rất nhiều ứng dụng trong các lĩnh vục: khoa học, kinh tế, môi trường, công nghệ máy tính, xử lý tín hiệu, đồ họa, Một phần nhỏ phải nhắc đến trong số đó

là phương pháp phân tích SVD trong nhiễu bài toán khác nhau

Phương pháp phân tích suy biến (singular value decomposition) được viết tắc là SVD là một trong những phương pháp thuộc nhóm Matrix factorization (Ma trận thừa số hóa) được phát triển lần đầu bởi các nhà hình học vi phân Ban đâu mục đích của phương pháp này là tìm ra một phép xoay không gian sao cho tích vô hướng của các vector không thay đổi Từ mỗi liên

hệ này khải niệm VỀ ma trận trực giao đã hình thành để tạo nên các phép xoay đặc biệt

Phương pháp SVD đã được phát triển dựa trên những tỉnh chất của ma trận trực giao và Ina trận đường chéo đề tìm ra một ma trận xấp xỉ với ma trận gốc Phương pháp này sau đó đã được ứng dụng rộng rãi trong các lĩnh vực như hình học vi phân, hồi quy tuyến tính, xử lí hình

ảnh, chuaxstering, các thuật toản nén và giảm chiều dữ liệu, khử nhiêu âm thanh, khử nhiễu hình ảnh,

Trong đề tài này, nhóm chúng em tập trung nghiên cứu về cơ sở lý thuyết của phép phân tích SVD cũng như ứng dụng của phân tích này trong việc xử lý nhiễu ảnh

I CO SO LY THUYET CUA PHAN TICH SVD

1 So luge, tong quan về phương pháp phân tích SVD

Phương pháp phân tích suy biến (singular value decomposition) được viết tắt là SVD là một trong những phương pháp thuộc nhóm matrix factorization duoc phat triển lần đầu bởi những nhà hình học vi phân Ban đầu mục đích của phương pháp này là tìm ra một phép xoay không gian sao cho tích vô hướng của các vector không thay đổi Từ mối liên hệ này khái niệm

về ma trận trực giao đã hình thành để tạo ra các phép xoay đặc biệt Phương pháp SVD đã được

phát triển dựa trên những tính chất của ma trận trực giao và ma trận đường chéo đề tìm ra một

ma tran xap xỉ với ma trận gốc

Phân tích SVD (Singular Value Decomposition) có rất nhiều ứng dụng quan trọng trong

các lĩnh vực khác nhau như:

> Giải phương trình tuyến tính: Phân tích SVD có thê được sử dụng để giải các phương

trình tuyến tính, đặc biệt là cho các hệ thống có nhiều ấn không xác định

> Nén dữ liệu: Phân tích SVD được sử dụng nhiều để nén đữ liệu và giảm số chiều của đữ liệu Bằng cách loại bỏ những giá trị nhỏ nhất trong phân tích SVD, có thể cắt giám số

chiều dữ liệu mà không mắt mát nhiều thông tin

> Khử nhiễu: Từ các giá trị lớn nhất trong phân tích SVD, có thể xây dựng lại ảnh gốc mà

không bị ảnh hưởng bởi nhiễu hoặc ôn

> Xử lý âm thanh và ngôn ngữ Phân tích SVD cũng có thê được sử dụng để phân tích và

xử lý tín hiệu âm thanh và hệ thống ngôn ngữ

> Phân tích dữ liệu: Phân tích SVD là công cụ quan trọng để phân tích các bộ đữ liệu lớn

và phức tạp Nó giúp phát hiện mẫu và cấu trúc ân trong các bộ dữ liệu

> Xử lý únh: Phân tích ŠVD cũng có sự ứng dụng trong lĩnh vực xử lý ảnh như mở rộng hình ảnh, tăng cường ảnh, giảm nhiễu ảnh

> Học máy: Phân tích SVD được sử dụng trong việc giảm chiều và trích xuất đặc trưng cho

dữ liệu trong lĩnh vực học máy

Với nhiều ứng dụng đa dạng, phân tích SVD là một công cụ quan trọng và phố biến trong

lĩnh vực khoa học đữ liệu và toán học

Mục tiêu của phân tích suy biến SVD

Phương pháp SVD sẽ tìm ra một lớp các ma trận xấp xi tốt nhất với một ma trận cho trước

dựa trên khoảng cách norm Frobenius giữa 2 ma trận Người ta đã chứng minh được rằng ma

trận xấp xi tết nhất được biểu diễn dưới dạng tích của 3 ma trận rất đặc biệt bao gồm 2 ma trận trye giao va 1 ma tran đường chéo

Quả trình nhân ma trận thực chất là quá trình biến đổi các điểm dữ liệu của ma trận gốc

thông qua những phép xoay trục và phép thay đổi độ lớn và từ đó tạo ra những điểm dữ liệu mới trong không gian mới Điều đặc biệt của ma trận đường chéo đó là các phần tử của nó chính

là những giá trị riêng của ma trận gốc Những điểm dữ liệu trong không gian mới có thể giữ được 100% thông tin ban đầu hoặc chỉ giữ một phần lớn thông tin của đữ liệu ban đầu thông qua các phép truncated SVD Bằng cách sắp xếp các trị riêng theo thứ tự giảm dẫn trên đường

chéo chính thuật toán SVD có thể thu được ma trận xấp xi tốt nhất mà vẫn đảm bảo giảm được

hạng của ma trận sau biến đổi và kích thước các ma trận nhân tử nằm trong giới hạn cho phép

Do đó nó tiết kiệm được thời gian và chỉ phí tính toán và đồng thời cũng tìm ra được một

giá trị dự báo cho ma trận gốc với mức độ chính xác cao

2 Cơ sở lý thuyết của phân tích SVD

Để tiếp cận được thuật toán phân tích SVD, cần phải nam những kiến thức cơ bản về cơ

sở tạo nên nó, Đề năm rõ hơn thông tin có thể tham khảo thêm những khái niệm, tính chất định

lí liên quan đến những vấn đề đưới đây qua quyền: “Đặng Văn Vinh, Giáo trình Đại số tuyến tính, NXE ĐHQG 2020”

Trước hết muốn tìm hiểu SVD, phải nam được các kiến thức cơ bản sau đây:

a Ma trận, Định thức

> Ma trận cỡ mxn là bảng số (thực hoặc phức) hình chữ nhật có m hàng và n cột

> Dinh thie:

Với A(a,) là ma trận vuông cấp n? thì định thức của 44 là một số Kí hiệu bởi det(A)=|a, =|A

b Tri riéng va vector riéng

> dd latri riéng cua AA nếu tồn tai vector XX khac 0 sao cho AAXX = AAXX

> Vector XX duoc goi la vector riéng cua ma tran vuông Á tương ứng với trị riéng AA

> Hai vector được gọi là trực giao khi tích vô hướng của chúng bằng 0 Một họ vector mà trong đó các vector đôi một trực giao với nhau được gọi là họ trực ø1ao

> Nếu tất cả các vector trong họ đều có độ dài băng 1 thi họ đó gọi là họ trực chuẩn Trực giao hóa được tiễn thành theo công thức như sau:

W¡=Vi

= 2; WỊ W¿ =V;y T— Ww, WwW,

= V3-W1 V;.W¿

W3 — V3 — i WwW, W¿.W¿

d Chéo hóa ma trận, chéo hóa trực giao và những tính chất của chúng

> Chéo hóa ma trận A là tìm ra ma trận khả nghịch P và ma trận đường chéo D sao cho

P*AP=D

Ma trận vuông A chéo hóa được © 3n vector riêng độc lập tuyến tính

Nếu ma trận vuông A cấp n có đúng n trị riêng phân biệt thì A chéo hóa được

Ma trận vuông Á cấp n chéo hóa được © BHH của mọi Trị riêng = BĐS của chúng

Ma trận vuông A được gọi là chéo hóa trực giao nếu tổn tại ma trận trực giao P và ma trận

chéo D thỏa: A4 = PPPPPP~! = PPPPPPTT

Ma trận P có các cột là cơ sở trực chuẩn của những không gian con riêng

> Các phần tử trên đường chéo chính D là các trị riêng

e Singular value va singular vectors

Néu ola singular value khac 0 va u,v lần lượt là cặp singular vectors khdac B ctia ma tran A,

ta co:

AAAA = ơøơøơøơ

AAHfg g = ơơAA

Voi AA" là ma trận chuyển vị liên hợp

Khi A là ma trận số thực: AAT H = AATT

> Từ định nghĩa > (AATTAA)A A = ơơ?AA

Do dé: co” la tri riêng của AATTAA

AA là vector riêng của AAT AA

> Cho A4¡,A4;, , A4„„ lần lượt là mm trị riêng của AATTAA sao cho ||A4;;|| = 1

Khi đó: |I4444,:l| la mét singular value cua A

3 Nguyên ly cua phan tich SVD

Phân tích một ma trận AA thyc mm x nn bat ky cho truéc thanh 3 ma trin UU,SS,VV sao cho:

A=USV"(1)

Trong đó ỦU và VV là các ma trận trực giao và S:Š là ma trận đường chéo Ma trận UU la matran gồm cac vector riéng trai cua A TA, ma tran V la ma tran gồm các vector riêng phải của A TA và ma

trận S là ma trận đường chéo, mỗi phần tử đường chéo là một singular value của A Các singular

values được sắp trên đường chéo chính theo thứ tự sau:

S>S>.>5,>§¡=«=S =0

Với 77 là hạng của ma trận AA va p p = mmmmnn{mm, nn}

Phương pháp fìm các ma trận S,U,V

Bước 1: Tìm ma trận V, Nhân T A vào hai về của (1), có:

AT,A=(USVT}USVT

=V.S".UT.U.S.VT

=V.S'S.V"

=V.S°.V"

Do UUTT.U U = II Như vậy, để tìm ma trận S và V, chỉ cần tìm các trị riêng và các vector

riêng của AATT AA vì từ (1) cho thấy các trị riêng của AATT AA chính là bình phương các phần tử của

§ còn các vector riêng của 44T, AA chính là các cột của V

10

Bước 2: Tìm ma trận U Nhân hai về của (1) với AATT và sử dụng VVTTV ÿ = 1

—>AAAATT= UU.SS?.UUTT

Vậy các cột của U chính là các vector riêng của ATA Cuối cùng, phân tích ma trận A dưới dạng như sau:

A và S là các ma trận kích thước ?n ?n X n, U là ma trận ?t X 1m và V là ma trận 1! : X Tn

11

I ỨNG DỤNG CỦA PHÂN TÍCH SVD TRONG KHỬ NHIÊU ANH

1 Đặt vấn đề:

Sự phát triển của khoa học kĩ thuật cũng kéo theo chất lượng cuộc sống của con người

ngày càng được nâng cao, cùng với sự xuất hiện của các thiết bị hiện đại như máy ảnh,

smartphone thì việc ghi lại những khoảnh khắc đang trở nên vô cùng phô biến trong đời sống của chúng ta và đã trở thành sở thích của rất nhiều người cùng với nhiều khoánh khắc vô cùng

đặc biệt, chăng hạn như: ảnh selfie, ảnh gia đình, hay những tam hinh duoc chụp vô cùng nghệ

thuật của các nhiếp ánh gia Hình ảnh có thể nói là một trong những phát minh vô cùng sáng

tạo và tuyệt vời của nhân loại, chúng shi lại những khoảnh khắc bất chợt nào đó khiến ta dễ dàng hình dung ra những sự vật sự việc trong thời điểm sự việc đã xảy ra TÔI, chúng ta có thể

chiêm ngưỡng một khung cảnh đẹp từng một khoảng cách vô cùng xa, bắt cứ lúc nào, Thế nhưng việc ghi lại những khoảnh khắc đó bằng các thiết bị quay chụp trong nhiễu trường hợp

ảnh sẽ bị nhòe đi, bị nhiễu khiến cho chất lượng của tắm ảnh bị giảm sút Đó là hiện tượng

“noise” ảnh hay còn được gòi là nhiễu ảnh thường có thể thấy được bằng mắt thường, nó khá giống với hiện tượng hạt nhiễu trong ánh film Hiện tượng nhiễu ảnh là hiện tượng các đốm lắm tắm nhỏ xuất hiện trên những hình ảnh chụp trong vùng tối, nơi có điều kiện ánh sáng thấp

do trong quá trình quay chụp có những tác động khiến cho ảnh không còn giữ được độ chân

thực của nó

Tình 2.1 - Ví dụ về khử nhiễu ảnh

Như vậy vấn đề cần đặt ra là làm thế nào để có thể khử nhiễu được những tập tin hình ảnh mà chúng ta mong muốn?

=› Về mặt ý nghĩa: Việc xử lý tốt các tập tin hình ảnh về các tiêu chí như chính xác, hiệu

quả, chất lượng thì có thê mang lại cho chúng ta rất nhiều lợi ích trên nhiều lĩnh vực Trong nghiên cứu về hình ảnh, sẽ giúp ta tiết kiệm thời gian hơn Còn trong doanh nghiệp chuyên về

12

chi phí trong việc thiết kế một phần mềm nào đó, hay chỉ đơn giản là tăng chất lượng hình ảnh trong quá trình thiết kế poster, trang trí, thiết kế hình ảnh quảng cáo chuyên nghiệp Từ đó nó

sẽ hướng đến nhiều đối tượng khách hàng hơn với một trải nghiệm về chất lượng hình ánh tuyệt

vời, chân thật và đặt biệt không còn bi nhiễu, bị nhòc nữa

=› Các tập đoàn vẻ công nghệ lớn đang ngày càng đâu tư vào lĩnh vực hình ảnh, có thê thấy rõ nét nhất trong mảng điện thoại thông minh khi các thiết bị di động của chúng ta sử dụng hằng ngày không còn là chỉ nghe, gọi, nhắn tin mà những camera gắn lên chúng ngày càng được nâng cấp cả vẻ số lượng lẫn chất lượng xử lí để chụp những bức ảnh kỉ niệm, selñe những

bức ảnh đẹp, sắc nét đó là xu thế của tương lai và năm bắt được xu thế chính là nằm bắt được

thành công

Ứng dụng của phân tích SVD có thê sử dụng đề khử nhiễu hình ảnh Tuy nhiên, như các phương pháp xử lý ánh khác, phương pháp SVD cũng có những ưu điểm và nhược điểm chính sau:

Ưu điểm:

> Phương pháp SVD có khả năng giải quyết được vấn đề của hình ảnh nhiễu trong không gian tần số theo cách hiệu qua

> Do không có giới hạn đối với thời gian tính toán như các thuật toán nhiễu khác, giải

pháp SVD có thê hiệu quả hơn đối với các hình ảnh lớn

Nhược điểm:

> Phương pháp SVD có yêu câu bộ nhớ lớn vì nó tạo ra các ma trận khá lớn Điều này có

thể gây khó khăn cho việc tính toán trên các hệ thống máy tính yếu

> Nếu ảnh có độ phân giải rất cao thì phương pháp SVD có thê tốn thời gian xử lý

X Không giải quyết được vấn đề liên quan đến nhiễu trong không gian màu của hình ảnh

> Kết quả phụ thuộc vào việc lựa chọn kích thước phân rã của ma trận cũng như các tham

số khác

Tóm lại, phương pháp SVD là một giải pháp hữu ích dé khử nhiễu hình ảnh, nhưng cần phải

được sử dụng đúng cách để đạt được kết quả tốt nhất

13