(LUẬN văn THẠC sĩ) phương pháp giải bài toán biểu diễn thưa

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2017 TIEU LUAN MOI download : skknchat@gmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA Chuyên ngành: Cơ sở toán cho tin học Mã số : 60460110 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ TIẾN DŨNG Hà Nội - 2017 TIEU LUAN MOI download : skknchat@gmail.com LỜI CẢM ƠN Được phân công khoa Toán - Cơ - Tin học, Trường Đại học Khoa Học Tự Nhiên, Đại Học Quốc Gia Hà Nội, đồng ý Thầy giáo hướng dẫn TS Vũ Tiến Dũng, thực đề tài "PHƯƠNG PHÁP GIẢI BÀI TỐN BIỂU DIỄN THƯA" Để hồn thành luận văn này, tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Vũ Tiến Dũng - người Thầy trực tiếp hướng dẫn bảo giúp tơi hồn thành luận văn thạc sĩ Tơi xin chân thành cảm ơn Thầy, Cô giáo tận tình hướng dẫn, giảng dạy suốt q trình tơi học tập rèn luyện trường Qua đây, xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp - người bên cạnh cổ vũ, động viên, giúp đỡ tơi suốt q trình học tập thực luận văn Mặc dù vô cố gắng thực luận văn khơng thể tránh khỏi thiếu sót định Tơi mong góp ý quý Thầy, Cô giáo bạn Tôi xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2017 Học viên Trần Thị Huyền TIEU LUAN MOI download : skknchat@gmail.com BẢNG KÍ HIỆU, CHỮ VIẾT TẮT STT VIẾT TẮT An×m c ∞ d epsilon I M SE MP OM P r 10 x pp Ψ, φ 11 µ(A) 12 λt 13 γ 14 ε 15 x 22 Ý NGHĨA Ma trận A kích thước m x n Giá trị tuyệt đối tối đa vector tương quan c Hướng cập nhật Sai số Tập hỗ trợ chứa số cột hỗ trợ A Trung bình bình phương sai số Matching Pursuit Orthogonal Matching Pursuit Vector dư Lũy thừa P chuẩn P Ma trận đơn nguyên Sự liên kết lẫn ma trận A Là số vơ hướng bước thứ t Kích cỡ bước Giá trị ngưỡng Bình phương chuẩn vector x TIEU LUAN MOI download : skknchat@gmail.com Danh sách hình vẽ Ví dụ minh họa thuật toán OMP 27 Tái tạo lại vá hình ảnh từ mẫu nén cách sử dụng OMP 34 Hình ảnh thu sau khơi phục miếng vá 35 Khơi phục tín hiệu dựa phân tích QR với giá trị phần tử khác sinh theo phân bố chuẩn 37 Khôi phục tín hiệu dựa phân tích Cholesky với giá trị phần tử khác sinh theo phân bố chuẩn 38 Các phần tử khác sinh theo phân phối chuẩn 39 Các phần tử khác sinh theo phân phối 39 Các phần tử khác sinh theo hàm dấu 40 Quá trình thực thuật toán LARS 42 10 Kết thực sau sửa lỗi kênh truyền liệu nhiễu thưa 56 11 Các Cột ma trận A vector đo lường y 67 12 Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE 73 13 14 15 TIEU LUAN MOI download : skknchat@gmail.com Danh sách bảng Thuật toán Matching Pursuit (MP) 23 Thuật toán ORTHOGONAL MATCHING PURSUIT (OMP) 25 Thuật toán OMP dựa phân tích QR 29 Thuật toán OMP dựa phân tích Cholesky 31 Đánh giá độ phức tạp OMP dựa phân tích QR Cholesky 33 Thuật toán LARS 47 Thuật toán LARS cải biên 53 So sánh bước hai thuật toán OMP VÀ LARS 59 Bước cập nhật tập hỗ trợ thuật toán OMP LARS dạng cải tiến dạng chưa cải tiến 61 So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật 64 10 TIEU LUAN MOI download : skknchat@gmail.com Mục lục Chương Tổng quan toán biểu diễn thưa 1.1 Sơ lược toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] 10 1.3 Kiến thức trang bị [11] 11 1.3.1 Một số định nghĩa 11 1.3.2 Phân phối đều, phân phối chuẩn Gauss 12 1.3.3 Tích vơ hướng, định nghĩa tính chất khơng gian Hilbert 13 1.3.4 Độ dài góc 14 1.3.5 Hệ trực giao, hệ trực chuẩn, sở trực giao, sở trực chuẩn 15 1.3.6 Phép biến đổi trực giao 15 Tính chất khơng chắn tính nghiệm toán 16 1.4.1 Trường hợp hai ma trận trực giao 16 1.4.2 Mối liên hệ tính chất khơng chắn với tính nghiệm 18 Phân tích tính nghiệm trường hợp tổng quát 18 1.5.1 Tính nghiệm thơng qua Spark 18 1.5.2 Tính nghiệm thông qua mối liên kết lẫn (Uniqueness via the Mutual - Coherence) 18 1.4 1.5 Chương Một số thuật toán giải toán biểu diễn thưa ứng dụng 2.1 Thuật toán Orthogonal Matching Pursuit (OMP) 21 2.1.1 Thuật toán MP với ma trận từ điển A tùy ý [1] 21 2.1.2 Thuật toán Orthogonal Matching Pursuit (OMP)[2] 24 2.1.3 Các phương pháp giải phương trình đại số tuyến tính thuật tốn OMP 28 Một số kết thực nghiệm 33 Thuật toán Least Angle Regression (LARS) [1] 40 2.1.4 2.2 21 TIEU LUAN MOI download : skknchat@gmail.com 2.2.1 Thuật toán LARS 40 2.2.2 Thuật toán LARS cải biên để giải toán LASSO 48 2.2.3 Định lý hội tụ thuật toán trường hợp tổng quát 54 2.2.4 Một số kết thực nghiệm[1] 54 Chương Phân tích so sánh hai thuật toán OMP LARS 57 3.1 Các bước thuật toán 57 3.2 Xây dựng lại bước cập nhật tập hỗ trợ 60 3.3 Xây dựng lại bước cập nhật vector nghiệm 61 3.4 Phân tích Hiệu suất 66 3.4.1 Thời gian hội tụ 66 3.4.2 Độ xác 66 Mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số 72 3.5 TIEU LUAN MOI download : skknchat@gmail.com Lời mở đầu Bài toán biểu diễn thưa xuất nhiều toán thực tế thuộc nhiều lĩnh vực khác đời sống, đặc biệt lĩnh vực xử lý tín hiệu, xử lý hình ảnh, học máy thị giác máy tính, ví dụ tốn: khử nhiễu ảnh, xử lý ảnh mờ, inpainting, khôi phục ảnh, phân lớp ảnh phân vùng ảnh Những kết nghiên cứu toán biểu diễn thưa xuất báo Stephane Mallat Zhifeng Zang vào năm 1993, tác giả giới thiệu khái niệm từ điển thay cho phép biến đổi dựa sở truyền thống (cơ sở Fourierr, sở Wavelet, vv ) Trong cơng trình này, tác giả nhận định với từ điển cho trước, toán biểu diễn thưa hay việc tìm biểu diễn hay xấp xỉ thưa tín hiệu dựa từ điển linh hoạt khó trường hợp tìm biểu diễn thưa dựa sở truyền thống, tương ứng Nghiên cứu B K Natarajan năm 1995 toán biểu diễn thưa thuộc lớp toán NP-hard Cũng báo Stephane Mallat Zhifeng Zang năm 1993, tác giả đề xuất ý tưởng giải toán biểu diễn thưa (thuật toán matching persuit) mà ý tưởng cốt lõi thuật toán trở thành sở tảng phát triển nhiều thuật toán đề xuất sau Ngày nay, kỹ thuật xem kỹ thuật để giải tốn biểu diễn thưa thường gọi kỹ thuật tìm kiếm tham (greedy pursuit technique) Vào năm 1998, Scott Shaobing Chen, David Donoho Michael Saunders (Chen cộng sự) giới thiệu kỹ thuật tìm kiếm khác sử dụng kỹ thuật nới lỏng cách thay toán biểu diễn thưa với tiêu chuẩn chọn nghiệm dựa chuẩn toán nới lỏng toán tối ưu lồi với tiêu chuẩn chọn nghiệm dựa chuẩn Trong số trường hợp, tác giả nghiệm toán biểu diễn thưa nghiệm toán nới lỏng trùng Khi đó, nhiều phương pháp tối ưu lồi biết sử dụng để giải tốn biểu diễn thưa Năm 2001, Donoho Huo đề xuất giải phần toán mà sau trở thành câu hỏi chìa khóa nghiên cứu lý thuyết toán biểu diễn thưa, với điều kiện đặt nghiệm tốn biểu diễn thưa tìm thấy kỹ thuật tìm kiếm Những phân tích Donoho Huo báo cung cấp sở lý thuyết cần thiết cho nghiên cứu, đề xuất thuật toán giải toán biểu diễn thưa nhiều nhà khoa học nước sau dựa kỹ thuật tìm kiếm TIEU LUAN MOI download : skknchat@gmail.com Nhận thấy tầm quan trọng toán biểu diễn thưa ứng dụng thực tế việc giải toán quan tâm nghiên cứu nhiều nhà khoa học nước Trong luận văn này, tơi tập trung tìm hiểu số thuật toán giải toán biểu diễn thưa Và định chọn đề tài " PHƯƠNG PHÁP GIẢI BÀI TỐN BIỂU DIỄN THƯA" với mục đích, đối tượng nội dung nghiên cứu sau: Mục đích: Tìm hiểu số phương pháp giải tốn biểu diễn thưa Đối tượng nghiên cứu: Bài toán biểu diễn thưa, thuật tốn MP, OMP, phân tích OMP dựa QR Cholesky, thuật toán LARS bản, thuật toán LARS cải biên Nội dung nghiên cứu luận văn: Nghiên cứu tổng quan toán biểu diễn thưa, tập trung tìm hiểu thuật tốn OMP thuật toán LARS cải biên , so sánh đánh giá hiệu hai thuật toán áp dụng giải tốn biểu diễn thưa Dựa vào mục đích đối tượng nội dung nghiên cứu, bố cục luận văn gồm chương với phần mở đầu phần kết luận Chương 1: Tổng quan toán biểu diễn thưa kiến thức chuẩn bị Chương 2: Một số thuật toán giải toán biểu diễn thưa ứng dụng Chương 3: So sánh hai thuật toán OMP thuật toán Lars cải biên TIEU LUAN MOI download : skknchat@gmail.com OMP i = arg maxc | ct (j) | LARS λt = ct i∈I ∞ + if (γt−1 ) = γt−1 ort = // thêm cột i = {j ∈ I c :| ct (j) |= λt } I = I ∪ {i} − if (γt−1 = γt−1 // loại bỏ cột i = {j ∈ I : xt−1 (j) = 0} I = I − {i} λt = ct ∞ λt = ct ∞ + or t = 1) // loại bỏ cột thêm cột if (γt−1 = γt−1 i = {j ∈ I c :| ct (j) |= λt } i = {j ∈ I c :| ct (j) |= λt } I =I ∪i I =I ∪i − ) // loại bỏ cột if (γt−1 = γt−1 i = {j ∈ I : xt−1 (j) = 0} I = I − {i} I = I ∪ {i} Cập nhật tập hỗ trợ Cập nhật tập hợp hỗ trợ (Sau chỉnh lại) Bảng 9: Bước cập nhật tập hỗ trợ thuật toán OMP LARS dạng cải tiến dạng chưa cải tiến 3.3 Xây dựng lại bước cập nhật vector nghiệm Một khác biệt OMP LARS bước cập nhật vector nghiệm Để so sánh chúng cách rõ ràng, ta xây dựng bước cập nhật vector nghiệm OMP để so sánh với bước tương ứng thuật tốn LASR Điều giải thích sau: Gọi I tập hỗ trợ vòng lặp t, I tập hỗ trợ vòng lặp t − Giả sử OMP vòng lặp t Các phần tử hỗ trợ vector nghiệm x tính tốn việc giải phương trình (3.1.1) ATI AI xt (I) = ATI y (3.3.1) Chúng ta có vector dư vịng lặp t − bằng: rt−1 = y − Axt−1 (3.3.2) 61 TIEU LUAN MOI download : skknchat@gmail.com Bởi phần tử hỗ trợ xt−1 khác 0, nên viết lại (3.1.6) sau: rt−1 = y − AI xt−1 (I) y = AI xt−1 (I) + rt−1 (3.3.3) Thế y (3.1.7) vào phương trình (3.1.5), có: ATI AI xt (I) = ATI (AI xt−1 (I) + rt−1 ) Rút gọn phương trình có: ATI (AI xt (I) − AI xt−1 (I)) = ATI rt−1 Sử dụng phương trình (3.1.2) để tính phần tử hỗ trợ vector tương quan ct (I) = ATI rt−1 Ta có: (3.3.4) ATI (AI xt (I) − AI xt−1 (I)) = ct (I) Tại vịng lặp OMP, có cột thêm vào tập hỗ trợ Do đó, tập hỗ trợ I vịng lặp t có cột khơng nằm trong tập hỗ trợ I vịng lặp (t − 1) trước Hệ số xt−1 tương ứng với cột khơng Do đó, ta có: AI xt−1 (I) = AI xt−1 (3.3.5) Thay (3.1.9) vào (3.1.8), ta có phương trình: ATI (AI xt (I) − AI xt−1 (I)) = ct (I) Hay: ATI AI (xt (I) − xt−1 (I)) = ct (I) (3.3.6) Đến đây, xác định vector xt ∈ Rn xt (I) = xt (I) − xt−1 (I) xt (I c ) = Do đó, phương trình (3.1.10) viết sau: ATI AI xt (I) = ct (I) (3.3.7) Có thể tìm phần tử hỗ trợ vector xt cách giải phương trình (3.1.11), phần tử cịn lại vector (tức xt (I) = 0) Công thức để cập nhật vector nghiệm x diễn đạt dạng vector x sau: xt = xt−1 + xt (3.3.8) 62 TIEU LUAN MOI download : skknchat@gmail.com Do đó, bước cập nhật vector nghiệm thể phương trình (3.1.1) thuật tốn OMP thành hai bước nhỏ: Bước 1- Tính tốn tập hỗ trợ vector x công thức (3.1.11), đặt phần tử cịn lại khơng Bước - Cập nhật vector nghiệm x phương trình (3.1.12) Ở thuật tốn LARS, vector x tính cách sử dụng phương trình (2.11) sau: xt = γt dt (3.3.9) Bước cập nhật vector nguyên bước tin chỉnh liệt kê cho OMP LARS Bảng 10: Sử dụng công thức cập nhật trên, ta viết lại bước thuật toán OMP LARS Bảng 11 sau: 63 TIEU LUAN MOI download : skknchat@gmail.com OMP ATI AI xt (I) = ATI y xt (I c ) = Cập nhật nghiệm (nguyên thủy) cập nhật nghiệm (Sau chỉnh lại) LARS ATI AI dt (I) = sign(ct (I) dt (I c ) = vt = AI dt (I) λt − ct (i) λt + ct (i) γt+ = minc , i∈I − aTi vt + aTi vt xt−1 (i) γt− = dt (i) i∈I + − γt = min{γt , γt } xt = xt−1 + γt dt ATI AI xt (I) = ct (I) ATI AI dt (I) = sign(ct (I)) xt (I c ) = dt (I c ) = vt = AI dt (I) λt − ct (i) λt + ct (i) γt+ = , i∈I − aTi vt + aTi vt xt−1 (i) γt− = − dt (i) i∈I xt = xt−1 + xt xt = xt−1 + xt Bảng 10: So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật Từ Bảng 11, thấy bước thuật tốn OMP LARS khơng khác biệt; khác biệt cách chúng cập nhật tập hỗ trợ tính tốn vector cập nhật nghiệm (vector x) Để cập nhật tập hỗ trợ, OMP thêm cột vào tập hỗ trợ vịng lặp cột sau giữ nguyên Mặt khác, thuật toán LARS, cột thêm vào xoá khỏi tập hỗ trợ vịng lặp Để tính vector x, OMP LARS giải tốn bình phương tối thiểu đưa phương trình (3.3.7) (3.3.6) Tuy nhiên, thuật toán dựa vào tham số khác để thực điều OMP sử dụng phần tử hoạt động vector tương quan c, LARS sử dụng dấu phần tử Trong OMP, vector x tính trực tiếp cách giải tốn bình phương nhỏ nêu phương trình 64 TIEU LUAN MOI download : skknchat@gmail.com Khởi tạo Tính tốn vector tương quan OMP x0 = 0, r0 = y, t = 1, I=∅ LARS x0 = 0, r0 = y, t = 1, I=∅ ct = AT rt−1 ct = AT rt−1 λt = ct ∞ thêm cột Tính tốn vector nghiệm cập nhật Cập nhật nghiệm Tính tốn số dư Điều kiện dừng Tăng biến đếm λt = ct ∞ + if (γt−1 = γt−1 or t = 1) //thêm cột i = {j ∈ I c :| ct (j) |= λt } i = {j ∈ I c :| ct (j) |= λt } I = I ∪ {i} I = I ∪ {i} − if γt−1 = γt−1 // loại bỏ cột i = {j ∈ I : xt−1 (j) = 0} I = I − {i} ATI AI xt (I) = ct (I) ATI AI xt (I) = sign(ct (I)) xt (I c ) = xt = xt−1 + xt rt = y − Axt rt < t=t+1 (3.3.7) Ngược lại, LARS, vector dt (I c ) = vt = At dt (I) xt−1 (i) γt+ = − dt (i) i∈I γt = min{γt+ , γt− } xt = γt dt xt = xt−1 + xt rt = y − Axt rt < t=t+1 x tính bước sau: Xác định hướng cập nhật d theo cách giải toán bình phương tối thiểu (3.3.6) 65 TIEU LUAN MOI download : skknchat@gmail.com Tính tốn kích thước bước γ phương trình (3.3.5) Nhân γ với d để lấy vector 3.4 x thể phương trình (3.3.9) Phân tích Hiệu suất Để phân tích hiệu suất OMP LARS, so sánh hai thuật toán yếu tố thời gian hội tụ độ xác nghiệm cuối 3.4.1 Thời gian hội tụ OMP có thời gian hội tụ đến nghiệm nhanh LARS vì: Nhìn chung, OMP cần số vịng lặp LARS để hội tụ đến nghiệm Điều OMP thêm cột vào tập hỗ trợ, LARS thêm vào bớt cột từ tập hỗ trợ Ở vòng lặp, OMP tính tốn vector x bước cách giải tốn bình phương tối thiểu (3.3.7) Trong thuật tốn LARS, việc tính tốn vector x địi hỏi nhiều bước Các bước đòi hỏi khối lượng tính tốn nhiều so với giải tốn bình phương tối thiểu 3.4.2 Độ xác Về nghiệm thưa phục hồi, OMP xem xác LARS số cột ma trận A có độ tương quan lớn OMP sử dụng bước lớn theo hướng bình phương tối thiểu cột hỗ trợ cách giải tốn bình phương tối thiểu để cập nhật vector nghiệm x Kết là, vector dư trực giao với tất cột hỗ trợ vòng lặp Nói cách khác, vector dư khơng tương quan với tất cột hỗ trợ Do đó, cột có độ tương quan cao với cột hỗ trợ có độ tương quan nhỏ với số dư Ở vòng lặp, OMP chọn cột có độ tương quan tuyệt đối lớn với số dư Vì vậy, OMP khơng chọn cột chúng quan trọng để phục hồi nghiệm thưa Mặt khác, LARS không gặp phải vấn đề sử dụng bước nhỏ so với OMP, làm tăng hệ số vector nghiệm có liên quan tới tập hỗ trợ mức nhiều Vì lý này, LARS chọn cột quan trọng để phục hồi nghiệm thưa chúng có tương quan cao với cột có 66 TIEU LUAN MOI download : skknchat@gmail.com tập hỗ trợ Để chứng minh điều này, xét ví dụ sau: Ví dụ 4.1: Giả sử ma trận A chứa ba cột (a1 , a2 , a3 ), cột a1 a2 có giá trị tương quan với y lớn Ta tạo vector x ∈ R3 với giá trị thứ hai khác 0, giá trị thứ ba không:   0.9613 x = 0.2757   Chúng ta có vector đo lường y cách nhân ma trận A với vector x (ví dụ: y = Ax) Kết là, vector y kết hợp tuyến tính cột a1 a2 Hình 11: Các Cột ma trận A vector đo lường y Chúng ta sử dụng thuật tốn OMP LARS để tìm vector x đại diện cho vector y kết hợp tuyến tính cột ma trận A Trong Hình Hình 9, 67 TIEU LUAN MOI download : skknchat@gmail.com minh họa thay đổi tương đối vector y thực OMP LARS vòng lặp Lưu ý thay đổi tương đối tính cách nhân ma trận A với vector xt để cập nhật nghiệm OMP bắt đầu cách chọn cột từ ma trận A có độ tương quan tuyệt đối tối đa với số dư ban đầu (nghĩa vector y ) Trong ví dụ này, cột a1 chọn vịng lặp đầu tiện tương quan cao với số dư ban đầu thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn theo hướng cột a1 cách chiếu vector y vào cột a1 Điều để lại số sai số thấy qua vector dư r trực giao với a1 Tại lần lặp lại thứ hai, cột a2 tương quan với vector dư có tương quan cao với cột a1 Trong trường hợp này, cột a3 có độ tương quan tuyệt đối lớn với số dư Vì vậy, cột a3 chọn thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn khơng gian kéo dài cột (a1 , a3 ) phía vector y Sau cập nhật vector nghiệm, số dư không OMP kết thúc Lưu ý cột a2 không chọn cần khôi phục vector ban đầu x Mặt khác, tương tự OMP, LARS bắt đầu cách thêm cột a1 vào tập hỗ trợ vòng lặp Tuy nhiên, LARS di chuyển theo hướng cột a1 cột a2 có mối tương quan tuyệt số dư nhiều a1 Ở vòng lặp thứ hai, LARS thêm cột a2 vào tập hỗ trợ, di chuyển theo hướng đẳng giác với hai a1 a2 phía vector y Số dư sau cập nhật vector nghiệm Do đó, LARS chấm dứt vịng lặp thứ hai Lưu ý LARS chọn cột a2 , điều cần thiết để xây dựng lại vector ban đầu x, điều không cần thiết OMP Hình cho thấy hệ số vector nghiệm x qua lần lặp OMP LARS Như thấy hình, LARS có chuẩn sai số nhỏ (gần không), OMP có chuẩn sai số cao Lưu ý sai số tính phương trình sau: error = x − x (3.4.1) Trong x vector thưa ban đầu, x xây dựng lại thuật tốn Do đó, điều LARS tái tạo lại vector thưa thớt x hai cột nhiều ma trận A có mối tương quan cao, OMP làm điều Tuy nhiên, LARS chậm OMP 68 TIEU LUAN MOI download : skknchat@gmail.com Hình 12: Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 TIEU LUAN MOI download : skknchat@gmail.com Hình 13: Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 TIEU LUAN MOI download : skknchat@gmail.com Hình 14: Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 TIEU LUAN MOI download : skknchat@gmail.com 3.5 Mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số Chúng ta đánh giá hiệu suất hai thuật toán OMP LARS cải biên trung bình bình phương sai số (MSE) theo kích thước đo n Ta xét hệ phương trình tuyến tính xác định có kích thước độ đo n độ thưa k Giá trị n cố định 256 Ta tạo ngẫu nhiên ma trận A với kích thước n × 256, cột A chuẩn hóa theo chuẩn 256 có k phần tử khác vị trí ngẫu nhiên, phần tử Chúng ta tạo vector x ∈ R khác vector x tạo sử dụng phân bố Gausian, tất phần tử khác đặt 0, vector x chuẩn hóa Ta nhân ma trận A với vecor x để tính vector y: y =x (3.5.1) Sau sử dụng hai thuật toán OMP LARS để tái tạo nghiệm thưa ban đầu phương trình (3.1) Ta tính tốn MSE vector thưa ban đầu vector tái tạo sau: m M SE = m (x(j) − x(j))2 (3.5.2) j=1 Với x vector thưa tái tạo lại theo thuật tốn Kết mơ tả hình sau: Giá trị trung bình MSE sau 100 lần thử nghiệm minh họa dạng hàm n với giá trị khác k(k = 30, 50, 70) Với giá trị k , quan sát hai thuật toán OMP LARS cải biên, hai ta thấy MSE trung bình giảm giá trị n tăng lên, đạt tới giá trị nhỏ với giá trị cụ thể n, với giá trị trung bình MSE nhỏ thuật tốn tái tạo lại thành công vector thưa ban đầu 72 TIEU LUAN MOI download : skknchat@gmail.com Hình 15: So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE KẾT LUẬN A.Các kết đạt luận văn: Sau trình nghiên cứu "Phương pháp giải tốn biểu diễn thưa", tơi thu hoạch kết sau: - Giới thiệu tổng quan tính chất toán biểu diễn thưa ma trận đặc biệt ma trận tổng quát - Một số thuật toán áp dụng để giải toán biểu diễn thưa, thuật toán hỗ trợ lớn việc khơi phục hình ảnh giải nén liệu Thuật toán MP OMP Nghiên cứu trình bày chi tiết kiến thức thuật toán tham lam MP OMP để giải toán biểu diễn thưa trường hợp ma trận A chuẩn hóa tùy ý Trong phần thuật toán OMP, việc xác định hướng cách giải tốn bình phương tối thiểu, vận dụng phương pháp giải khác qua đánh giá độ phức tạp phương pháp: ∇ Giải tốn dựa phân tích QR ∇ Giải tốn dựa vào phân tích nhân tố Cholesky 73 TIEU LUAN MOI download : skknchat@gmail.com Đặc biệt, luận văn cịn trình bày điều kiện đảm bảo thuật tốn OMP tìm kiếm thành cơng nghiệm biểu diễn thưa ma trận đặc biệt ma trận tổng qt Ngồi ra, luận văn trình bày số kết thực nghiệm áp dụng thuật toán OMP tốn khơi phục tín hiệu, nén liệu Thuật toán LARS thuật toán LARS cải biên Tìm hiểu trình bày chi tiết hai thuật tốn LARS LARS cải biên Tìm hiểu số ứng dụng thực tế toán biểu diễn thưa áp dụng hai thuật toán để giải quyếtcác ứng dụng thực tế Cũng OMP, luận văn trình bày điều kiện đảm bảo thuật toán LARS cải biên tìm kiếm thành cơng nghiệm Luận văn đưa kết thực nghiệm áp dụng thuật toán LARS cải biên việc khơi phục tín hiệu So sánh hai thuật toán OMP LARS Luận văn nghiên cứu so sánh bước thuật tốn Tìm hiểu nghiên cứu xây dựng lại bước cập nhật tập hỗ trợ bước cập nhật vector nghiệm Luận văn phân tích hiệu suất, so sánh thời gian hội tụ độ xác thuật tốn OMP LARS cải biên Ngồi luận văn cịn so sánh mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số B Hướng nghiên cứu tiếp theo: Tiếp tục tìm hiểu phát triển số phương pháp giải tốn biểu diễn thưa khác để khơi phục hình ảnh rõ nét áp dụng vào lĩnh vực y tế Tuy nhiên thời gian thực luận văn không nhiều kiến thức cịn hạn chế nên cịn có sai sót, em mong nhận góp ý quý thầy cô bạn đọc 74 TIEU LUAN MOI download : skknchat@gmail.com Tài liệu tham khảo [1] Bob L Sturm and Mads Græsbøll Christensen (2012), comparison of orthogonal matching pursuit implementations, Dept of Architecture, Design and Media Technology, Aalborg University, Denmark [2] B K Natarajan (1995), Sparse approximate solutions to linear systems, SIAM J Comput, ISSN 0097-5397 [3] David L Donoho and Yaakov Tsaig (2006), Fast Solution of − norm Minimization Problems When the Solution May be Sparse, Institute for Computational and Mathematical Engineering, Stanford University, Stanford CA, 9403,30-40 [4] David L Donoho (April 2006), Compressed Sensing, IEEE Transactions on Information Theory,1289 – 1306 [5] Emmanuel J Candes and Terence Tao (2005), Decoding by Linear Programming, IEEE Transactions on Information Theory, 4203-4215 [6] Mazin Abdulrasool Hameed (2012), comparative analysis of orthogonal matching pursuit and least angle regression ,Published [7] MD L Donoho and X Huo (2001), Uncertainty principles and ideal atomic decomposition, IEEE Transactions on Information Theory [8] Michael Elad (2010), Five Lectures on Sparse and Redundant Representations Modelling of Images, The Technion – Israel Institute of Technology Haifa, Israel, 165-186 [9] Nguyễn Văn Hiền, Lê Dũng Mưu (2003), Nhập mơn Giải tích lồi ứng dụng, Viện Toán học, Hà Nội [10] S.G Mallat and Zhifeng Zhang (December 1993), Matching pursuits with timefrequency dictionaries, Trans Sig Proc [11] S S Chen, D L Donoho, and M A Saunders (1998), Atomic decomposition by basis pursuit, SIAM Journal on Scientific Computing 75 TIEU LUAN MOI download : skknchat@gmail.com ... " PHƯƠNG PHÁP GIẢI BÀI TỐN BIỂU DIỄN THƯA" với mục đích, đối tượng nội dung nghiên cứu sau: Mục đích: Tìm hiểu số phương pháp giải tốn biểu diễn thưa Đối tượng nghiên cứu: Bài toán biểu diễn thưa, ... biến thường dùng để giải toán biểu diễn thưa TIEU LUAN MOI download : skknchat@gmail.com 1.2 Bài toán biểu diễn thưa [2] Để xét toán biểu diễn thưa, bắt đầu với tốn giải hệ phương trình đại số... download : skknchat@gmail.com Mục lục Chương Tổng quan toán biểu diễn thưa 1.1 Sơ lược toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] 10 1.3 Kiến