Phương pháp giải bài toán biểu diễn thưa

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA Chuyên ngành: Cơ sở toán cho tin học Mã số : 60460110 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ TIẾN DŨNG Hà Nội - 2017 LỜI CẢM ƠN Được phân công khoa Toán - Cơ - Tin học, Trường Đại học Khoa Học Tự Nhiên, Đại Học Quốc Gia Hà Nội, đồng ý Thầy giáo hướng dẫn TS Vũ Tiến Dũng, thực đề tài "PHƯƠNG PHÁP GIẢI BÀI TỐN BIỂU DIỄN THƯA" Để hồn thành luận văn này, tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Vũ Tiến Dũng - người Thầy trực tiếp hướng dẫn bảo giúp tơi hồn thành luận văn thạc sĩ Tôi xin chân thành cảm ơn Thầy, Cơ giáo tận tình hướng dẫn, giảng dạy suốt q trình tơi học tập rèn luyện trường Qua đây, xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp người bên cạnh cổ vũ, động viên, giúp đỡ tơi suốt q trình học tập thực luận văn Mặc dù vô cố gắng thực luận văn khơng thể tránh khỏi thiếu sót định Tơi mong góp ý q Thầy, Cơ giáo bạn Tôi xin chân thành cảm ơn! Hà Nội, ngày tháng Học viên Trần Thị Huyền BẢNG KÍ HIỆU, CHỮ VIẾT TẮT STT 10 11 12 13 14 15 Danh sách hình vẽ Ví dụ minh họa thuật tốn OMP 27 Tái tạo lại vá hình ảnh từ mẫu nén cách sử dụng OMP 34 Hình ảnh thu sau khơi phục miếng vá 35 Khơi phục tín hiệu dựa phân tích QR với giá trị phần tử khác sinh theo phân bố chuẩn 37 Khơi phục tín hiệu dựa phân tích Cholesky với giá trị phần tử khác sinh theo phân bố chuẩn 38 Các phần tử khác sinh theo phân phối chuẩn 39 Các phần tử khác sinh theo phân phối 39 Các phần tử khác sinh theo hàm dấu 40 Quá trình thực thuật toán LARS 42 10 Kết thực sau sửa lỗi kênh truyền liệu nhiễu thưa 56 11 Các Cột ma trận A vector đo lường y 67 12 Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 13 Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 14 Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 15 So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE 73 Danh sách bảng Thuật toán Matching Pursuit (MP) 23 Thuật toán ORTHOGONAL MATCHING PURSUIT (OMP) 25 Thuật toán OMP dựa phân tích QR 29 Thuật toán OMP dựa phân tích Cholesky 31 Đánh giá độ phức tạp OMP dựa phân tích QR Cholesky 33 Thuật toán LARS Thuật toán LARS cải biên So sánh bước hai thuật toán OMP VÀ LARS 59 Bước cập nhật tập hỗ trợ thuật toán OMP LARS dạng cải tiến dạng chưa cải tiến 61 10 So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật 64 Mục lục Chương Tổng quan toán biểu diễn thưa 1.1 Sơ lược toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] 1.3 Kiến thức trang bị [11] 1.3.1 1.3.2 1.3.3 1.3.4 1.3.5 1.3.6 1.4 Tính chất khơng chắn tính du 1.4.1 1.4.2 1.5 Phân tích tính nghiệm 1.5.1 1.5.2 Chương Một số thuật toán giải toán biểu diễn thưa ứng dụng 2.1 Thuật toán Orthogonal Matching P 2.1.1 2.1.2 2.1.3 2.1.4 2.2 Thuật toán Least Angle Regression 2.2.1 2.2.2 2.2.3 2.2.4 Chương Phân tích so sánh hai thuật toán OMP LARS 3.1 Các bước thuật toán 3.2 Xây dựng lại bước cập nhật tập hỗ 3.3 Xây dựng lại bước cập nhật vector 3.4 Phân tích Hiệu suất 3.4.1 3.4.2 3.5 Mối liên hệ kích thước ma trận độ bình phương sai số Lời mở đầu Bài toán biểu diễn thưa xuất nhiều toán thực tế thuộc nhiều lĩnh vực khác đời sống, đặc biệt lĩnh vực xử lý tín hiệu, xử lý hình ảnh, học máy thị giác máy tính, ví dụ tốn: khử nhiễu ảnh, xử lý ảnh mờ, inpainting, khôi phục ảnh, phân lớp ảnh phân vùng ảnh Những kết nghiên cứu toán biểu diễn thưa xuất báo Stephane Mallat Zhifeng Zang vào năm 1993, tác giả giới thiệu khái niệm từ điển thay cho phép biến đổi dựa sở truyền thống (cơ sở Fourierr, sở Wavelet, vv ) Trong cơng trình này, tác giả nhận định với từ điển cho trước, tốn biểu diễn thưa hay việc tìm biểu diễn hay xấp xỉ thưa tín hiệu dựa từ điển linh hoạt khó trường hợp tìm biểu diễn thưa dựa sở truyền thống, tương ứng Nghiên cứu B K Natarajan năm 1995 toán biểu diễn thưa thuộc lớp toán NP-hard Cũng báo Stephane Mallat Zhifeng Zang năm 1993, tác giả đề xuất ý tưởng giải toán biểu diễn thưa (thuật toán matching persuit) mà ý tưởng cốt lõi thuật toán trở thành sở tảng phát triển nhiều thuật toán đề xuất sau Ngày nay, kỹ thuật xem kỹ thuật để giải toán biểu diễn thưa thường gọi kỹ thuật tìm kiếm tham (greedy pursuit technique) Vào năm 1998, Scott Shaobing Chen, David Donoho Michael Saunders (Chen cộng sự) giới thiệu kỹ thuật tìm kiếm khác sử dụng kỹ thuật nới lỏng cách thay toán biểu diễn thưa với tiêu chuẩn chọn nghiệm dựa chuẩn ‘0 toán nới lỏng toán tối ưu lồi với tiêu chuẩn chọn nghiệm dựa chuẩn ‘1 Trong số trường hợp, tác giả nghiệm toán biểu diễn thưa nghiệm toán nới lỏng trùng Khi đó, nhiều phương pháp tối ưu lồi biết sử dụng để giải toán biểu diễn thưa Năm 2001, Donoho Huo đề xuất giải phần toán mà sau trở thành câu hỏi chìa khóa nghiên cứu lý thuyết tốn biểu diễn thưa, với điều kiện đặt nghiệm tốn biểu diễn thưa tìm thấy kỹ thuật tìm kiếm Những phân tích Donoho Huo báo cung cấp sở lý thuyết cần thiết cho nghiên cứu, đề xuất thuật toán giải toán biểu diễn thưa nhiều nhà khoa học nước sau dựa kỹ thuật tìm kiếm Do đó, bước cập nhật vector nghiệm thể phương trình (3.1.1) thuật toán OMP thành hai bước nhỏ: Bước 1- Tính tốn tập hỗ trợ vector 4x cơng thức (3.1.11), đặt phần tử cịn lại không Bước - Cập nhật vector nghiệm x phương trình (3.1.12) Ở thuật tốn LARS, vector 4x tính cách sử dụng phương trình (2.11) sau: 4xt = tdt Bước cập nhật vector nguyên bước tin chỉnh liệt kê cho OMP LARS Bảng 10: Sử dụng công thức cập nhật trên, ta viết lại bước thuật tốn OMP LARS Bảng 11 sau: 63 Cập nhật nghiệm (nguyên thủy) cập nhật nghiệm (Sau chỉnh lại) Bảng 10: So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật Từ Bảng 11, thấy bước thuật tốn OMP LARS khơng khác biệt; khác biệt cách chúng cập nhật tập hỗ trợ tính tốn vector cập nhật nghiệm (vector 4x) Để cập nhật tập hỗ trợ, OMP thêm cột vào tập hỗ trợ vịng lặp cột sau giữ nguyên Mặt khác, thuật toán LARS, cột thêm vào xoá khỏi tập hỗ trợ vịng lặp Để tính vector 4x, OMP LARS giải tốn bình phương tối thiểu đưa phương trình (3.3.7) (3.3.6) Tuy nhiên, thuật toán dựa vào tham số khác để thực điều OMP sử dụng phần tử hoạt động vector tương quan c, LARS sử dụng dấu phần tử Trong OMP, vector 4x tính trực tiếp cách giải tốn bình phương nhỏ nêu phương trình 64 Khởi tạo Tính tốn vector tương quan Tính tốn vector nghiệm cập nhật Cập nhật nghiệm Tính tốn số dư Điều kiện dừng Tăng biến đếm (3.3.7) Ngược lại, LARS, vector 4x tính bước sau: Xác định hướng cập nhật d theo cách giải tốn bình phương tối thiểu (3.3.6) 65 Tính tốn kích thước bước phương trình (3.3.5) Nhân với d để lấy vector 4x thể phương trình (3.3.9) 3.4 Phân tích Hiệu suất Để phân tích hiệu suất OMP LARS, so sánh hai thuật toán yếu tố thời gian hội tụ độ xác nghiệm cuối 3.4.1 Thời gian hội tụ OMP có thời gian hội tụ đến nghiệm nhanh LARS vì: Nhìn chung, OMP cần số vịng lặp LARS để hội tụ đến nghiệm Điều OMP thêm cột vào tập hỗ trợ, LARS thêm vào bớt cột từ tập hỗ trợ Ở vòng lặp, OMP tính tốn vector 4x bước cách giải tốn bình phương tối thiểu (3.3.7) Trong thuật tốn LARS, việc tính tốn vector 4x địi hỏi nhiều bước Các bước đòi hỏi khối lượng tính tốn nhiều so với giải tốn bình phương tối thiểu 3.4.2 Độ xác Về nghiệm thưa phục hồi, OMP xem xác LARS số cột ma trận A có độ tương quan lớn OMP sử dụng bước lớn theo hướng bình phương tối thiểu cột hỗ trợ cách giải toán bình phương tối thiểu để cập nhật vector nghiệm x Kết là, vector dư trực giao với tất cột hỗ trợ vòng lặp Nói cách khác, vector dư khơng tương quan với tất cột hỗ trợ Do đó, cột có độ tương quan cao với cột hỗ trợ có độ tương quan nhỏ với số dư Ở vịng lặp, OMP chọn cột có độ tương quan tuyệt đối lớn với số dư Vì vậy, OMP khơng chọn cột chúng quan trọng để phục hồi nghiệm thưa Mặt khác, LARS không gặp phải vấn đề sử dụng bước nhỏ so với OMP, làm tăng hệ số vector nghiệm có liên quan tới tập hỗ trợ mức nhiều Vì lý này, LARS chọn cột quan trọng để phục hồi nghiệm thưa chúng có tương quan cao với cột có 66 tập hỗ trợ Để chứng minh điều này, xét ví dụ sau: Ví dụ 4.1: Giả sử ma trận A chứa ba cột (a1; a2; a3), cột a1 a2 có giá trị tương quan với y lớn Ta tạo vector x R với giá trị thứ hai khác 0, giá trị thứ ba không: 0:9613 x = 60:27577 Chúng ta có vector đo lường y cách nhân ma trận A với vector x (ví dụ: y = Ax) Kết là, vector y kết hợp tuyến tính cột a1 a2 Hình 11: Các Cột ma trận A vector đo lường y Chúng ta sử dụng thuật tốn OMP LARS để tìm vector xb đại diện cho vector y kết hợp tuyến tính cột ma trận A Trong Hình Hình 9, 67 chúng tơi minh họa thay đổi tương đối vector y thực OMP LARS vòng lặp Lưu ý thay đổi tương đối tính cách nhân ma trận A với vector 4xt để cập nhật nghiệm OMP bắt đầu cách chọn cột từ ma trận A có độ tương quan tuyệt đối tối đa với số dư ban đầu (nghĩa vector y) Trong ví dụ này, cột a1 chọn vịng lặp đầu tiện tương quan cao với số dư ban đầu thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn theo hướng cột a1 cách chiếu vector y vào cột a1 Điều để lại số sai số thấy qua vector dư r trực giao với a1 Tại lần lặp lại thứ hai, cột a2 tương quan với vector dư có tương quan cao với cột a1 Trong trường hợp này, cột a3 có độ tương quan tuyệt đối lớn với số dư Vì vậy, cột a3 chọn thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn khơng gian kéo dài cột ( a1; a3) phía vector y Sau cập nhật vector nghiệm, số dư không OMP kết thúc Lưu ý cột a2 không chọn cần khôi phục vector ban đầu x Mặt khác, tương tự OMP, LARS bắt đầu cách thêm cột a1 vào tập hỗ trợ vòng lặp Tuy nhiên, LARS di chuyển theo hướng cột a1 cột a2 có mối tương quan tuyệt số dư nhiều a1 Ở vòng lặp thứ hai, LARS thêm cột a2 vào tập hỗ trợ, di chuyển theo hướng đẳng giác với hai a1 a2 phía vector y Số dư sau cập nhật vector nghiệm Do đó, LARS chấm dứt vòng lặp thứ hai Lưu ý LARS chọn cột a2, điều cần thiết để xây dựng lại vector ban đầu x, điều khơng cần thiết OMP Hình cho thấy hệ số vector nghiệm x qua lần lặp OMP LARS Như thấy hình, LARS có chuẩn sai số nhỏ (gần khơng), OMP có chuẩn sai số cao Lưu ý sai số tính phương trình sau: error = x xb Trong x vector thưa ban đầu, xb xây dựng lại thuật tốn Do đó, điều LARS tái tạo lại vector thưa thớt x hai cột nhiều ma trận A có mối tương quan cao, OMP khơng thể làm điều Tuy nhiên, LARS chậm OMP 68 Hình 12: Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 Hình 13: Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 Hình 14: Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 3.5 Mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số Chúng ta đánh giá hiệu suất hai thuật toán OMP LARS cải biên trung bình bình phương sai số (MSE) theo kích thước đo n Ta xét hệ phương trình tuyến tính xác định có kích thước độ đo n độ thưa k Giá trị n cố định 256 Ta tạo ngẫu nhiên ma trận A với kích thước n 256, cột A chuẩn hóa theo chuẩn ‘2 256 Chúng ta tạo vector x R có k phần tử khác vị trí ngẫu nhiên, phần tử khác vector x tạo sử dụng phân bố Gausian, tất phần tử khác đặt 0, vector x chuẩn hóa Ta nhân ma trận A với vecor x để tính vector y: y=A x Sau sử dụng hai thuật tốn OMP LARS để tái tạo nghiệm thưa ban đầu phương trình (3.1) Ta tính tốn MSE vector thưa ban đầu vector tái tạo sau: MSE = m X j=1 b Với xb vector thưa tái tạo lại theo thuật tốn Kết mơ tả hình sau: Giá trị trung bình MSE sau 100 lần thử nghiệm minh họa dạng hàm n với giá trị khác k(k = 30; 50; 70) Với giá trị k, quan sát hai thuật toán OMP LARS cải biên, hai ta thấy MSE trung bình giảm giá trị n tăng lên, đạt tới giá trị nhỏ với giá trị cụ thể n, với giá trị trung bình MSE nhỏ thuật tốn tái tạo lại thành cơng vector thưa ban đầu 72 Hình 15: So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE KẾT LUẬN A.Các kết đạt luận văn: Sau trình nghiên cứu "Phương pháp giải tốn biểu diễn thưa", tơi thu hoạch kết sau: - Giới thiệu tổng quan tính chất tốn biểu diễn thưa ma trận đặc biệt ma trận tổng quát - Một số thuật toán áp dụng để giải toán biểu diễn thưa, thuật toán hỗ trợ lớn việc khơi phục hình ảnh giải nén liệu Thuật toán MP OMP Nghiên cứu trình bày chi tiết kiến thức thuật toán tham lam MP OMP để giải toán biểu diễn thưa trường hợp ma trận A chuẩn hóa tùy ý Trong phần thuật tốn OMP, việc xác định hướng cách giải tốn bình phương tối thiểu, vận dụng phương pháp giải khác qua đánh giá độ phức tạp phương pháp: r Giải toán dựa phân tích QR r Giải tốn dựa vào phân tích nhân tố Cholesky 73 Đặc biệt, luận văn cịn trình bày điều kiện đảm bảo thuật tốn OMP tìm kiếm thành công nghiệm biểu diễn thưa ma trận đặc biệt ma trận tổng quát Ngoài ra, luận văn trình bày số kết thực nghiệm áp dụng thuật tốn OMP tốn khơi phục tín hiệu, nén liệu Thuật tốn LARS thuật tốn LARS cải biên Tìm hiểu trình bày chi tiết hai thuật tốn LARS LARS cải biên Tìm hiểu số ứng dụng thực tế toán biểu diễn thưa áp dụng hai thuật toán để giải quyếtcác ứng dụng thực tế Cũng OMP, luận văn trình bày điều kiện đảm bảo thuật tốn LARS cải biên tìm kiếm thành công nghiệm Luận văn đưa kết thực nghiệm áp dụng thuật toán LARS cải biên việc khơi phục tín hiệu So sánh hai thuật toán OMP LARS Luận văn nghiên cứu so sánh bước thuật tốn Tìm hiểu nghiên cứu xây dựng lại bước cập nhật tập hỗ trợ bước cập nhật vector nghiệm Luận văn phân tích hiệu suất, so sánh thời gian hội tụ độ xác thuật tốn OMP LARS cải biên Ngồi luận văn cịn so sánh mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số B Hướng nghiên cứu tiếp theo: Tiếp tục tìm hiểu phát triển số phương pháp giải tốn biểu diễn thưa khác để khơi phục hình ảnh rõ nét áp dụng vào lĩnh vực y tế Tuy nhiên thời gian thực luận văn không nhiều kiến thức cịn hạn chế nên cịn có sai sót, em mong nhận góp ý quý thầy cô bạn đọc 74 Tài liệu tham khảo [1] Bob L Sturm and Mads Græsbøll Christensen (2012), comparison of orthogonal matching pursuit implementations, Dept of Architecture, Design and Media Technology, Aalborg University, Denmark [2] B K Natarajan (1995), Sparse approximate solutions to linear systems, SIAM J Comput, ISSN 0097-5397 [3] David L Donoho and Yaakov Tsaig (2006), Fast Solution of ‘1 norm Minimization Problems When the Solution May be Sparse, Institute for Computational and Mathemat-ical Engineering, Stanford University, Stanford CA, 9403,30-40 [4] David L Donoho (April 2006), Compressed Sensing, IEEE Transactions on Informa-tion Theory,1289 – 1306 [5] Emmanuel J Candes and Terence Tao (2005), Decoding by Linear Programming, IEEE Transactions on Information Theory, 4203-4215 [6] Mazin Abdulrasool Hameed (2012), comparative analysis of orthogonal matching pursuit and least angle regression ,Published [7] MD L Donoho and X Huo (2001), Uncertainty principles and ideal atomic decom-position, IEEE Transactions on Information Theory [8] Michael Elad (2010), Five Lectures on Sparse and Redundant Representations Mod- elling of Images, The Technion – Israel Institute of Technology Haifa, Israel, 165-186 [9] Nguyễn Văn Hiền, Lê Dũng Mưu (2003), Nhập mơn Giải tích lồi ứng dụng, Viện Toán học, Hà Nội [10] S.G Mallat and Zhifeng Zhang (December 1993), Matching pursuits with time-frequency dictionaries, Trans Sig Proc [11] S S Chen, D L Donoho, and M A Saunders (1998), Atomic decomposition by basis pursuit, SIAM Journal on Scientific Computing 75 ... giải tốn biểu diễn thưa Và tơi định chọn đề tài " PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA" với mục đích, đối tượng nội dung nghiên cứu sau: Mục đích: Tìm hiểu số phương pháp giải toán biểu diễn. .. thưa số kỹ thuật phổ biến thường dùng để giải toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] Để xét toán biểu diễn thưa, bắt đầu với tốn giải hệ phương trình đại số tuyến tính xác định:... toán biểu diễn thưa kiến thức chuẩn bị Chương 2: Một số thuật toán giải toán biểu diễn thưa ứng dụng Chương 3: So sánh hai thuật toán OMP thuật toán Lars cải biên Chương Tổng quan toán biểu diễn