Chúng ta sử dụng cả thuật toán OMP và LARS để tìm vectorbxđại diện cho vector
chúng tơi minh họa sự thay đổi tương đối đối với vector y được thực hiện bởi OMP và LARS tại mỗi vòng lặp. Lưu ý rằng sự thay đổi tương đối được tính bằng cách nhân ma trậnAvới vector4xt để cập nhật nghiệm hiện tại.
OMP bắt đầu bằng cách chọn một cột từ ma trậnAcó độ tương quan tuyệt đối tối đa với số dư ban đầu (nghĩa là vectory). Trong ví dụ này, cộta1 được chọn ở vịng lặp đầu tiện bởi vì nó tương quan cao với số dư ban đầu và được thêm vào tập hỗ trợ. Sau đó, OMP sử dụng bước đi lớn nhất có thể theo hướng cộta1 bằng cách chiếu vectory vào cộta1 . Điều này để lại một số sai số có thể thấy được qua vector dưr trực giao với a1. Tại lần
lặp lại thứ hai, cộta2 sẽ ít tương quan với vector dư hơn vì nó có tương quan cao với cột
a1. Trong trường hợp này, cộta3 có độ tương quan tuyệt đối lớn nhất với số dư hiện tại. Vì vậy, cộta3 được chọn và thêm vào tập hỗ trợ. Sau đó, OMP sử dụng bước lớn nhất có thể trong khơng gian được kéo dài bởi các cột (a1, a3) về phía vectory. Sau khi cập nhật
vector nghiệm, số dư sẽ bằng không và OMP kết thúc. Lưu ý rằng cộta2 không bao giờ được chọn ngay cả khi rất cần khôi phục vector ban đầux.
Mặt khác, tương tự như OMP, LARS bắt đầu bằng cách thêm cộta1vào tập hỗ trợ tại vòng lặp đầu tiên. Tuy nhiên, LARS di chuyển theo hướng cộta1 cho đến khi cộta2
có mối tương quan tuyệt đối với số dư hiện tại nhiều nhưa1. Ở vòng lặp thứ hai, LARS
thêm cộta2vào tập hỗ trợ, và di chuyển theo hướng đẳng giác với cả haia1vàa2về phía vectory. Số dư sẽ bằng 0 sau khi cập nhật vector nghiệm. Do đó, LARS chấm dứt ở vịng
lặp thứ hai. Lưu ý rằng LARS chọn cột a2, đây là điều cần thiết để xây dựng lại vector
ban đầux, trong khi điều này là khơng cần thiết ở OMP.
Hình trên cho thấy các hệ số của vector nghiệm x qua các lần lặp của OMP và LARS. Như có thể thấy trong hình, LARS có chuẩn sai số rất nhỏ (gần bằng khơng), trong khi OMP có chuẩn sai số cao. Lưu ý rằng sai số được tính bằng phương trình sau:
error =x−bx (3.4.1)
Trong đóxlà vector thưa ban đầu, vàbxđược xây dựng lại bằng các thuật tốn Do đó, điều này chỉ ra rằng LARS có thể tái tạo lại vector thưa thớtxkhi hai cột hoặc nhiều hơn của ma trận A có mối tương quan cao, trong khi OMP không thể làm được điều này. Tuy nhiên, LARS chậm hơn OMP.
Hình 12: Các bước lựa chọn và cập nhật ở vòng lặp đầu tiên của OMP và LARS. Sự thay đổi tương đối thu được bằng cách nhân ma trận A với vector cập nhật nghiệm hiện tại
Hình 13: Các bước lựa chọn và cập nhật ở vòng lặp thứ hai (cuối cùng) của OMP và LARS. Sự thay đổi tương đối thu được bằng cách nhân ma trận A với vector cập nhật nghiệm hiện tại
Hình 14: Hệ số nghiệm của vector được xây dựng lại trên các vòng lặp của OMP và LARS, và chuẩn sai số của Euclide giữa vectorxvà vector xây dựng lại sau khi các thuật toán chấm dứt
3.5 Mối liên hệ giữa kích thước ma trận độ đo và độ thưa dựa trêntrung bình bình phương sai số trung bình bình phương sai số
Chúng ta đánh giá hiệu suất của cả hai thuật toán OMP và LARS cải biên về trung bình bình phương sai số (MSE) theo kích thước đon. Ta xét hệ phương trình tuyến
tính dưới xác định có kích thước độ đon và độ thưak. Giá trị n cố định là 256. Ta tạo ngẫu nhiên ma trận Avới kích thước n×256, các cột của Ađược chuẩn hóa theo chuẩn
`2. Chúng ta tạo vectorx∈R256cók phần tử khác 0 ở các vị trí ngẫu nhiên, các phần tử khác 0 của vectorxđược tạo sử dụng phân bố Gausian, tất cả các phần tử khác được đặt bằng 0, các vectorxcũng được chuẩn hóa. Ta nhân ma trậnA với vecorxđể tính vector
y:
y=A×x (3.5.1) Sau đó chúng ta sử dụng hai thuật tốn OMP và LARS để tái tạo nghiệm thưa ban đầu của phương trình (3.1). Ta tính tốn MSE giữa vector thưa ban đầu và vector tái tạo như sau: M SE = 1 m m X j=1 (x(j)−bx(j))2 (3.5.2)
Vớibxlà vector thưa tái tạo lại theo thuật toán Kết quả được mơ tả bởi hình sau:
Giá trị trung bình của MSE sau 100 lần thử nghiệm được minh họa dưới dạng một hàm của n với các giá trị khác nhau của k(k = 30,50,70). Với mỗi giá trị của k, chúng
ta quan sát cả hai thuật toán OMP và LARS cải biên, cả hai ta đều thấy MSE trung bình giảm khi giá trị củantăng lên, cho đến khi đạt tới một giá trị rất nhỏ với giá trị cụ thển,
với giá trị trung bình MSE nhỏ như vậy thì thuật tốn tái tạo lại thành cơng vector thưa ban đầu.
Hình 15: So sánh mối liên hệ độ đo và độ thưa giá trị trung bình MSE
KẾT LUẬN A.Các kết quả đạt được của luận văn:
Sau quá trình nghiên cứu "Phương pháp giải bài tốn biểu diễn thưa", tơi đã thu hoạch được kết quả sau:
- Giới thiệu tổng quan và những tính chất cơ bản về bài tốn biểu diễn thưa đối với ma trận đặc biệt và ma trận tổng quát.
- Một số thuật toán áp dụng để giải bài toán biểu diễn thưa, các thuật toán này hỗ trợ rất lớn trong việc khơi phục hình ảnh và giải nén dữ liệu
1. Thuật tốn MP và OMP
Nghiên cứu và trình bày chi tiết những kiến thức cơ bản nhất về 2 thuật toán tham lam MP và OMP để giải bài toán biểu diễn thưa đối với cả trường hợp ma trận A được chuẩn hóa và tùy ý.
Trong phần thuật toán OMP, việc xác định hướng bằng cách giải bài tốn bình phương tối thiểu, đã vận dụng 2 phương pháp giải khác nhau và qua đó đánh giá độ phức tạp của từng phương pháp:
∇ Giải bài tốn dựa trên phân tích QR
Đặc biệt, luận văn cịn trình bày điều kiện đảm bảo thuật tốn OMP tìm kiếm thành cơng nghiệm biểu diễn thưa đối với ma trận đặc biệt và ma trận tổng quát.
Ngồi ra, luận văn trình bày một số kết quả thực nghiệm áp dụng thuật tốn OMP trong bài tốn khơi phục tín hiệu, nén dữ liệu.
2. Thuật toán LARS cơ bản và thuật toán LARS cải biên
Tìm hiểu và trình bày chi tiết về hai thuật tốn LARS và LARS cải biên.
Tìm hiểu một số ứng dụng thực tế của bài toán biểu diễn thưa và áp dụng hai thuật toán để giải quyếtcác ứng dụng thực tế trên.
Cũng như OMP, luận văn trình bày điều kiện đảm bảo thuật tốn LARS cải biên tìm kiếm thành cơng nghiệm.
Luận văn đã đưa ra được kết quả thực nghiệm áp dụng thuật toán LARS cải biên trong việc khơi phục tín hiệu.
3. So sánh hai thuật toán OMP và LARS
Luận văn đã nghiên cứu và so sánh các bước thuật tốn
Tìm hiểu và nghiên cứu xây dựng lại các bước cập nhật tập hỗ trợ và bước cập nhật vector nghiệm
Luận văn đã phân tích hiệu suất, so sánh thời gian hội tụ và độ chính xác của thuật tốn OMP và LARS cải biên
Ngồi ra luận văn cịn so sánh được mối liên hệ giữa kích thước ma trận độ đo và độ thưa dựa trên trung bình bình phương sai số
B. Hướng nghiên cứu tiếp theo:
Tiếp tục tìm hiểu và phát triển một số phương pháp giải bài toán biểu diễn thưa khác để có thể khơi phục được hình ảnh rõ nét hơn và có thể áp dụng vào trong lĩnh vực y tế. Tuy nhiên do thời gian thực hiện luận văn không nhiều và kiến thức cịn hạn chế nên cịn có những sai sót, em rất mong nhận được sự góp ý của q thầy cơ và bạn đọc.
Tài liệu tham khảo
[1] Bob L. Sturm and Mads Græsbøll Christensen (2012), comparison of orthogonal matching pursuit implementations, Dept of Architecture, Design and Media Technology,
Aalborg University, Denmark.
[2] B. K. Natarajan (1995), Sparse approximate solutions to linear systems, SIAM J.
Comput, ISSN 0097-5397.
[3]David L. Donoho and Yaakov Tsaig (2006),Fast Solution of`1−normMinimization Problems When the Solution May be Sparse, Institute for Computational and Mathemat-
ical Engineering, Stanford University, Stanford CA, 9403,30-40.
[4]David L. Donoho (April 2006),Compressed Sensing, IEEE Transactions on Informa-
tion Theory,1289 – 1306.
[5] Emmanuel J. Candes and Terence Tao (2005), Decoding by Linear Programming,
IEEE Transactions on Information Theory, 4203-4215.
[6] Mazin Abdulrasool Hameed (2012), comparative analysis of orthogonal matching pursuit and least angle regression,Published.
[7]MD. L. Donoho and X. Huo (2001),Uncertainty principles and ideal atomic decom- position, IEEE Transactions on Information Theory.
[8]Michael Elad (2010), Five Lectures on Sparse and Redundant Representations Mod- elling of Images, The Technion – Israel Institute of Technology Haifa, Israel, 165-186.
[9]Nguyễn Văn Hiền, Lê Dũng Mưu (2003),Nhập mơn Giải tích lồi và ứng dụng, Viện
Toán học, Hà Nội.
[10] S.G. Mallat and Zhifeng Zhang (December 1993), Matching pursuits with time- frequency dictionaries, Trans. Sig. Proc.
[11] S. S. Chen, D. L Donoho, and M. A. Saunders (1998), Atomic decomposition by basis pursuit, SIAM Journal on Scientific Computing.