Phương pháp giải bài toán biểu diễn thưa Phương pháp giải bài toán biểu diễn thưa Phương pháp giải bài toán biểu diễn thưa luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp luận văn tốt nghiệp,luận văn thạc sĩ, luận văn cao học, luận văn đại học, luận án tiến sĩ, đồ án tốt nghiệp
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ————————— TRẦN THỊ HUYỀN PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA Chuyên ngành: Cơ sở toán cho tin học Mã số : 60460110 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ TIẾN DŨNG Hà Nội - 2017 LỜI CẢM ƠN Được phân công khoa Toán - Cơ - Tin học, Trường Đại học Khoa Học Tự Nhiên, Đại Học Quốc Gia Hà Nội, đồng ý Thầy giáo hướng dẫn TS Vũ Tiến Dũng, thực đề tài "PHƯƠNG PHÁP GIẢI BÀI TỐN BIỂU DIỄN THƯA" Để hồn thành luận văn này, tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Vũ Tiến Dũng - người Thầy trực tiếp hướng dẫn bảo giúp tơi hồn thành luận văn thạc sĩ Tôi xin chân thành cảm ơn Thầy, Cơ giáo tận tình hướng dẫn, giảng dạy suốt q trình tơi học tập rèn luyện trường Qua đây, xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp - người bên cạnh cổ vũ, động viên, giúp đỡ tơi suốt q trình học tập thực luận văn Mặc dù vô cố gắng thực luận văn khơng thể tránh khỏi thiếu sót định Tơi mong góp ý q Thầy, Cô giáo bạn Tôi xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2017 Học viên Trần Thị Huyền BẢNG KÍ HIỆU, CHỮ VIẾT TẮT STT VIẾT TẮT An×m c ∞ d epsilon I M SE MP OM P r 10 x pp Ψ, φ 11 µ(A) 12 λt 13 γ 14 ε 15 x 22 Ý NGHĨA Ma trận A kích thước m x n Giá trị tuyệt đối tối đa vector tương quan c Hướng cập nhật Sai số Tập hỗ trợ chứa số cột hỗ trợ A Trung bình bình phương sai số Matching Pursuit Orthogonal Matching Pursuit Vector dư Lũy thừa P chuẩn P Ma trận đơn nguyên Sự liên kết lẫn ma trận A Là số vô hướng bước thứ t Kích cỡ bước Giá trị ngưỡng Bình phương chuẩn vector x Danh sách hình vẽ Ví dụ minh họa thuật tốn OMP 27 Tái tạo lại vá hình ảnh từ mẫu nén cách sử dụng OMP 34 Hình ảnh thu sau khôi phục miếng vá 35 Khơi phục tín hiệu dựa phân tích QR với giá trị phần tử khác sinh theo phân bố chuẩn 37 Khơi phục tín hiệu dựa phân tích Cholesky với giá trị phần tử khác sinh theo phân bố chuẩn 38 Các phần tử khác sinh theo phân phối chuẩn 39 Các phần tử khác sinh theo phân phối 39 Các phần tử khác sinh theo hàm dấu 40 Quá trình thực thuật toán LARS 42 10 Kết thực sau sửa lỗi kênh truyền liệu nhiễu thưa 56 11 Các Cột ma trận A vector đo lường y 67 12 Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE 73 13 14 15 Danh sách bảng Thuật toán Matching Pursuit (MP) 23 Thuật toán ORTHOGONAL MATCHING PURSUIT (OMP) 25 Thuật toán OMP dựa phân tích QR 29 Thuật toán OMP dựa phân tích Cholesky 31 Đánh giá độ phức tạp OMP dựa phân tích QR Cholesky 33 Thuật toán LARS 47 Thuật toán LARS cải biên 53 So sánh bước hai thuật toán OMP VÀ LARS 59 Bước cập nhật tập hỗ trợ thuật toán OMP LARS dạng cải tiến dạng chưa cải tiến 61 So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật 64 10 Mục lục Chương Tổng quan toán biểu diễn thưa 1.1 Sơ lược toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] 10 1.3 Kiến thức trang bị [11] 11 1.3.1 Một số định nghĩa 11 1.3.2 Phân phối đều, phân phối chuẩn Gauss 12 1.3.3 Tích vơ hướng, định nghĩa tính chất khơng gian Hilbert 13 1.3.4 Độ dài góc 14 1.3.5 Hệ trực giao, hệ trực chuẩn, sở trực giao, sở trực chuẩn 15 1.3.6 Phép biến đổi trực giao 15 Tính chất khơng chắn tính nghiệm toán 16 1.4.1 Trường hợp hai ma trận trực giao 16 1.4.2 Mối liên hệ tính chất khơng chắn với tính nghiệm 18 Phân tích tính nghiệm trường hợp tổng quát 18 1.5.1 Tính nghiệm thông qua Spark 18 1.5.2 Tính nghiệm thơng qua mối liên kết lẫn (Uniqueness via the Mutual - Coherence) 18 1.4 1.5 Chương Một số thuật toán giải toán biểu diễn thưa ứng dụng 2.1 Thuật toán Orthogonal Matching Pursuit (OMP) 21 2.1.1 Thuật toán MP với ma trận từ điển A tùy ý [1] 21 2.1.2 Thuật toán Orthogonal Matching Pursuit (OMP)[2] 24 2.1.3 Các phương pháp giải phương trình đại số tuyến tính thuật toán OMP 28 Một số kết thực nghiệm 33 Thuật toán Least Angle Regression (LARS) [1] 40 2.1.4 2.2 21 2.2.1 Thuật toán LARS 40 2.2.2 Thuật toán LARS cải biên để giải toán LASSO 48 2.2.3 Định lý hội tụ thuật toán trường hợp tổng quát 54 2.2.4 Một số kết thực nghiệm[1] 54 Chương Phân tích so sánh hai thuật toán OMP LARS 57 3.1 Các bước thuật toán 57 3.2 Xây dựng lại bước cập nhật tập hỗ trợ 60 3.3 Xây dựng lại bước cập nhật vector nghiệm 61 3.4 Phân tích Hiệu suất 66 3.4.1 Thời gian hội tụ 66 3.4.2 Độ xác 66 Mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số 72 3.5 Lời mở đầu Bài toán biểu diễn thưa xuất nhiều toán thực tế thuộc nhiều lĩnh vực khác đời sống, đặc biệt lĩnh vực xử lý tín hiệu, xử lý hình ảnh, học máy thị giác máy tính, ví dụ toán: khử nhiễu ảnh, xử lý ảnh mờ, inpainting, khôi phục ảnh, phân lớp ảnh phân vùng ảnh Những kết nghiên cứu toán biểu diễn thưa xuất báo Stephane Mallat Zhifeng Zang vào năm 1993, tác giả giới thiệu khái niệm từ điển thay cho phép biến đổi dựa sở truyền thống (cơ sở Fourierr, sở Wavelet, vv ) Trong cơng trình này, tác giả nhận định với từ điển cho trước, toán biểu diễn thưa hay việc tìm biểu diễn hay xấp xỉ thưa tín hiệu dựa từ điển linh hoạt khó trường hợp tìm biểu diễn thưa dựa sở truyền thống, tương ứng Nghiên cứu B K Natarajan năm 1995 toán biểu diễn thưa thuộc lớp toán NP-hard Cũng báo Stephane Mallat Zhifeng Zang năm 1993, tác giả đề xuất ý tưởng giải toán biểu diễn thưa (thuật toán matching persuit) mà ý tưởng cốt lõi thuật toán trở thành sở tảng phát triển nhiều thuật toán đề xuất sau Ngày nay, kỹ thuật xem kỹ thuật để giải tốn biểu diễn thưa thường gọi kỹ thuật tìm kiếm tham (greedy pursuit technique) Vào năm 1998, Scott Shaobing Chen, David Donoho Michael Saunders (Chen cộng sự) giới thiệu kỹ thuật tìm kiếm khác sử dụng kỹ thuật nới lỏng cách thay toán biểu diễn thưa với tiêu chuẩn chọn nghiệm dựa chuẩn toán nới lỏng toán tối ưu lồi với tiêu chuẩn chọn nghiệm dựa chuẩn Trong số trường hợp, tác giả nghiệm toán biểu diễn thưa nghiệm toán nới lỏng trùng Khi đó, nhiều phương pháp tối ưu lồi biết sử dụng để giải toán biểu diễn thưa Năm 2001, Donoho Huo đề xuất giải phần toán mà sau trở thành câu hỏi chìa khóa nghiên cứu lý thuyết toán biểu diễn thưa, với điều kiện đặt nghiệm tốn biểu diễn thưa tìm thấy kỹ thuật tìm kiếm Những phân tích Donoho Huo báo cung cấp sở lý thuyết cần thiết cho nghiên cứu, đề xuất thuật toán giải toán biểu diễn thưa nhiều nhà khoa học nước sau dựa kỹ thuật tìm kiếm Nhận thấy tầm quan trọng toán biểu diễn thưa ứng dụng thực tế việc giải toán quan tâm nghiên cứu nhiều nhà khoa học nước Trong luận văn này, tơi tập trung tìm hiểu số thuật tốn giải tốn biểu diễn thưa Và tơi định chọn đề tài " PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA" với mục đích, đối tượng nội dung nghiên cứu sau: Mục đích: Tìm hiểu số phương pháp giải toán biểu diễn thưa Đối tượng nghiên cứu: Bài toán biểu diễn thưa, thuật toán MP, OMP, phân tích OMP dựa QR Cholesky, thuật toán LARS bản, thuật toán LARS cải biên Nội dung nghiên cứu luận văn: Nghiên cứu tổng quan tốn biểu diễn thưa, tập trung tìm hiểu thuật toán OMP thuật toán LARS cải biên , so sánh đánh giá hiệu hai thuật toán áp dụng giải toán biểu diễn thưa Dựa vào mục đích đối tượng nội dung nghiên cứu, bố cục luận văn gồm chương với phần mở đầu phần kết luận Chương 1: Tổng quan toán biểu diễn thưa kiến thức chuẩn bị Chương 2: Một số thuật toán giải toán biểu diễn thưa ứng dụng Chương 3: So sánh hai thuật toán OMP thuật toán Lars cải biên OMP i = arg maxc | ct (j) | LARS λt = ct i∈I ∞ + if (γt−1 ) = γt−1 ort = // thêm cột i = {j ∈ I c :| ct (j) |= λt } I = I ∪ {i} − if (γt−1 = γt−1 // loại bỏ cột i = {j ∈ I : xt−1 (j) = 0} I = I − {i} λt = ct ∞ λt = ct ∞ + or t = 1) // loại bỏ cột thêm cột if (γt−1 = γt−1 i = {j ∈ I c :| ct (j) |= λt } i = {j ∈ I c :| ct (j) |= λt } I =I ∪i I =I ∪i − ) // loại bỏ cột if (γt−1 = γt−1 i = {j ∈ I : xt−1 (j) = 0} I = I − {i} I = I ∪ {i} Cập nhật tập hỗ trợ Cập nhật tập hợp hỗ trợ (Sau chỉnh lại) Bảng 9: Bước cập nhật tập hỗ trợ thuật toán OMP LARS dạng cải tiến dạng chưa cải tiến 3.3 Xây dựng lại bước cập nhật vector nghiệm Một khác biệt OMP LARS bước cập nhật vector nghiệm Để so sánh chúng cách rõ ràng, ta xây dựng bước cập nhật vector nghiệm OMP để so sánh với bước tương ứng thuật tốn LASR Điều giải thích sau: Gọi I tập hỗ trợ vòng lặp t, I tập hỗ trợ vòng lặp t − Giả sử OMP vòng lặp t Các phần tử hỗ trợ vector nghiệm x tính tốn việc giải phương trình (3.1.1) ATI AI xt (I) = ATI y (3.3.1) Chúng ta có vector dư vịng lặp t − bằng: rt−1 = y − Axt−1 61 (3.3.2) Bởi phần tử hỗ trợ xt−1 khác 0, nên viết lại (3.1.6) sau: rt−1 = y − AI xt−1 (I) y = AI xt−1 (I) + rt−1 (3.3.3) Thế y (3.1.7) vào phương trình (3.1.5), có: ATI AI xt (I) = ATI (AI xt−1 (I) + rt−1 ) Rút gọn phương trình có: ATI (AI xt (I) − AI xt−1 (I)) = ATI rt−1 Sử dụng phương trình (3.1.2) để tính phần tử hỗ trợ vector tương quan ct (I) = ATI rt−1 Ta có: (3.3.4) ATI (AI xt (I) − AI xt−1 (I)) = ct (I) Tại vòng lặp OMP, có cột thêm vào tập hỗ trợ Do đó, tập hỗ trợ I vịng lặp t có cột khơng nằm trong tập hỗ trợ I vịng lặp (t − 1) trước Hệ số xt−1 tương ứng với cột khơng Do đó, ta có: AI xt−1 (I) = AI xt−1 (3.3.5) Thay (3.1.9) vào (3.1.8), ta có phương trình: ATI (AI xt (I) − AI xt−1 (I)) = ct (I) Hay: ATI AI (xt (I) − xt−1 (I)) = ct (I) (3.3.6) Đến đây, xác định vector xt ∈ Rn xt (I) = xt (I) − xt−1 (I) xt (I c ) = Do đó, phương trình (3.1.10) viết sau: ATI AI xt (I) = ct (I) (3.3.7) Có thể tìm phần tử hỗ trợ vector xt cách giải phương trình (3.1.11), phần tử lại vector (tức xt (I) = 0) Công thức để cập nhật vector nghiệm x diễn đạt dạng vector x sau: xt = xt−1 + 62 xt (3.3.8) Do đó, bước cập nhật vector nghiệm thể phương trình (3.1.1) thuật tốn OMP thành hai bước nhỏ: Bước 1- Tính tốn tập hỗ trợ vector x công thức (3.1.11), đặt phần tử cịn lại khơng Bước - Cập nhật vector nghiệm x phương trình (3.1.12) Ở thuật tốn LARS, vector x tính cách sử dụng phương trình (2.11) sau: xt = γt dt (3.3.9) Bước cập nhật vector nguyên bước tin chỉnh liệt kê cho OMP LARS Bảng 10: Sử dụng công thức cập nhật trên, ta viết lại bước thuật toán OMP LARS Bảng 11 sau: 63 OMP ATI AI xt (I) = ATI y xt (I c ) = Cập nhật nghiệm (nguyên thủy) cập nhật nghiệm (Sau chỉnh lại) LARS ATI AI dt (I) = sign(ct (I) dt (I c ) = vt = AI dt (I) λt − ct (i) λt + ct (i) γt+ = minc , i∈I − aTi vt + aTi vt xt−1 (i) γt− = dt (i) i∈I + − γt = min{γt , γt } xt = xt−1 + γt dt ATI AI xt (I) = ct (I) ATI AI dt (I) = sign(ct (I)) xt (I c ) = dt (I c ) = vt = AI dt (I) λt − ct (i) λt + ct (i) γt+ = , i∈I − aTi vt + aTi vt xt−1 (i) γt− = − dt (i) i∈I xt = xt−1 + xt xt = xt−1 + xt Bảng 10: So sánh bước cập nhật vector nghiệm OMP LARS trước sau chỉnh lại cập nhật Từ Bảng 11, thấy bước thuật tốn OMP LARS khơng khác biệt; khác biệt cách chúng cập nhật tập hỗ trợ tính tốn vector cập nhật nghiệm (vector x) Để cập nhật tập hỗ trợ, OMP thêm cột vào tập hỗ trợ vịng lặp cột sau giữ nguyên Mặt khác, thuật toán LARS, cột thêm vào xoá khỏi tập hỗ trợ vịng lặp Để tính vector x, OMP LARS giải tốn bình phương tối thiểu đưa phương trình (3.3.7) (3.3.6) Tuy nhiên, thuật toán dựa vào tham số khác để thực điều OMP sử dụng phần tử hoạt động vector tương quan c, LARS sử dụng dấu phần tử Trong OMP, vector x tính trực tiếp cách giải tốn bình phương nhỏ nêu phương trình 64 Khởi tạo Tính toán vector tương quan OMP x0 = 0, r0 = y, t = 1, I=∅ LARS x0 = 0, r0 = y, t = 1, I=∅ ct = AT rt−1 ct = AT rt−1 λt = ct ∞ thêm cột Tính tốn vector nghiệm cập nhật Cập nhật nghiệm Tính tốn số dư Điều kiện dừng Tăng biến đếm λt = ct ∞ + if (γt−1 = γt−1 or t = 1) //thêm cột i = {j ∈ I c :| ct (j) |= λt } i = {j ∈ I c :| ct (j) |= λt } I = I ∪ {i} I = I ∪ {i} − if γt−1 = γt−1 // loại bỏ cột i = {j ∈ I : xt−1 (j) = 0} I = I − {i} ATI AI xt (I) = ct (I) ATI AI xt (I) = sign(ct (I)) xt (I c ) = xt = xt−1 + xt rt = y − Axt rt < t=t+1 (3.3.7) Ngược lại, LARS, vector dt (I c ) = vt = At dt (I) xt−1 (i) γt+ = − dt (i) i∈I γt = min{γt+ , γt− } xt = γt dt xt = xt−1 + xt rt = y − Axt rt < t=t+1 x tính bước sau: Xác định hướng cập nhật d theo cách giải tốn bình phương tối thiểu (3.3.6) 65 Tính tốn kích thước bước γ phương trình (3.3.5) Nhân γ với d để lấy vector 3.4 x thể phương trình (3.3.9) Phân tích Hiệu suất Để phân tích hiệu suất OMP LARS, so sánh hai thuật toán yếu tố thời gian hội tụ độ xác nghiệm cuối 3.4.1 Thời gian hội tụ OMP có thời gian hội tụ đến nghiệm nhanh LARS vì: Nhìn chung, OMP cần số vịng lặp LARS để hội tụ đến nghiệm Điều OMP thêm cột vào tập hỗ trợ, LARS thêm vào bớt cột từ tập hỗ trợ Ở vòng lặp, OMP tính tốn vector x bước cách giải tốn bình phương tối thiểu (3.3.7) Trong thuật tốn LARS, việc tính tốn vector x địi hỏi nhiều bước Các bước đòi hỏi khối lượng tính tốn nhiều so với giải tốn bình phương tối thiểu 3.4.2 Độ xác Về nghiệm thưa phục hồi, OMP xem xác LARS số cột ma trận A có độ tương quan lớn OMP sử dụng bước lớn theo hướng bình phương tối thiểu cột hỗ trợ cách giải tốn bình phương tối thiểu để cập nhật vector nghiệm x Kết là, vector dư trực giao với tất cột hỗ trợ vòng lặp Nói cách khác, vector dư khơng tương quan với tất cột hỗ trợ Do đó, cột có độ tương quan cao với cột hỗ trợ có độ tương quan nhỏ với số dư Ở vòng lặp, OMP chọn cột có độ tương quan tuyệt đối lớn với số dư Vì vậy, OMP khơng chọn cột chúng quan trọng để phục hồi nghiệm thưa Mặt khác, LARS không gặp phải vấn đề sử dụng bước nhỏ so với OMP, làm tăng hệ số vector nghiệm có liên quan tới tập hỗ trợ mức nhiều Vì lý này, LARS chọn cột quan trọng để phục hồi nghiệm thưa chúng có tương quan cao với cột có 66 tập hỗ trợ Để chứng minh điều này, xét ví dụ sau: Ví dụ 4.1: Giả sử ma trận A chứa ba cột (a1 , a2 , a3 ), cột a1 a2 có giá trị tương quan với y lớn Ta tạo vector x ∈ R3 với giá trị thứ hai khác 0, giá trị thứ ba không: 0.9613 x = 0.2757 Chúng ta có vector đo lường y cách nhân ma trận A với vector x (ví dụ: y = Ax) Kết là, vector y kết hợp tuyến tính cột a1 a2 Hình 11: Các Cột ma trận A vector đo lường y Chúng ta sử dụng thuật toán OMP LARS để tìm vector x đại diện cho vector y kết hợp tuyến tính cột ma trận A Trong Hình Hình 9, 67 minh họa thay đổi tương đối vector y thực OMP LARS vòng lặp Lưu ý thay đổi tương đối tính cách nhân ma trận A với vector xt để cập nhật nghiệm OMP bắt đầu cách chọn cột từ ma trận A có độ tương quan tuyệt đối tối đa với số dư ban đầu (nghĩa vector y ) Trong ví dụ này, cột a1 chọn vịng lặp đầu tiện tương quan cao với số dư ban đầu thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn theo hướng cột a1 cách chiếu vector y vào cột a1 Điều để lại số sai số thấy qua vector dư r trực giao với a1 Tại lần lặp lại thứ hai, cột a2 tương quan với vector dư có tương quan cao với cột a1 Trong trường hợp này, cột a3 có độ tương quan tuyệt đối lớn với số dư Vì vậy, cột a3 chọn thêm vào tập hỗ trợ Sau đó, OMP sử dụng bước lớn khơng gian kéo dài cột (a1 , a3 ) phía vector y Sau cập nhật vector nghiệm, số dư không OMP kết thúc Lưu ý cột a2 không chọn cần khôi phục vector ban đầu x Mặt khác, tương tự OMP, LARS bắt đầu cách thêm cột a1 vào tập hỗ trợ vòng lặp Tuy nhiên, LARS di chuyển theo hướng cột a1 cột a2 có mối tương quan tuyệt số dư nhiều a1 Ở vòng lặp thứ hai, LARS thêm cột a2 vào tập hỗ trợ, di chuyển theo hướng đẳng giác với hai a1 a2 phía vector y Số dư sau cập nhật vector nghiệm Do đó, LARS chấm dứt vịng lặp thứ hai Lưu ý LARS chọn cột a2 , điều cần thiết để xây dựng lại vector ban đầu x, điều không cần thiết OMP Hình cho thấy hệ số vector nghiệm x qua lần lặp OMP LARS Như thấy hình, LARS có chuẩn sai số nhỏ (gần khơng), OMP có chuẩn sai số cao Lưu ý sai số tính phương trình sau: error = x − x (3.4.1) Trong x vector thưa ban đầu, x xây dựng lại thuật toán Do đó, điều LARS tái tạo lại vector thưa thớt x hai cột nhiều ma trận A có mối tương quan cao, OMP làm điều Tuy nhiên, LARS chậm OMP 68 Hình 12: Các bước lựa chọn cập nhật vòng lặp OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 69 Hình 13: Các bước lựa chọn cập nhật vòng lặp thứ hai (cuối cùng) OMP LARS Sự thay đổi tương đối thu cách nhân ma trận A với vector cập nhật nghiệm 70 Hình 14: Hệ số nghiệm vector xây dựng lại vòng lặp OMP LARS, chuẩn sai số Euclide vector x vector xây dựng lại sau thuật toán chấm dứt 71 3.5 Mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số Chúng ta đánh giá hiệu suất hai thuật tốn OMP LARS cải biên trung bình bình phương sai số (MSE) theo kích thước đo n Ta xét hệ phương trình tuyến tính xác định có kích thước độ đo n độ thưa k Giá trị n cố định 256 Ta tạo ngẫu nhiên ma trận A với kích thước n × 256, cột A chuẩn hóa theo chuẩn 256 có k phần tử khác vị trí ngẫu nhiên, phần tử Chúng ta tạo vector x ∈ R khác vector x tạo sử dụng phân bố Gausian, tất phần tử khác đặt 0, vector x chuẩn hóa Ta nhân ma trận A với vecor x để tính vector y: y =x (3.5.1) Sau sử dụng hai thuật toán OMP LARS để tái tạo nghiệm thưa ban đầu phương trình (3.1) Ta tính tốn MSE vector thưa ban đầu vector tái tạo sau: m M SE = m (x(j) − x(j))2 (3.5.2) j=1 Với x vector thưa tái tạo lại theo thuật toán Kết mơ tả hình sau: Giá trị trung bình MSE sau 100 lần thử nghiệm minh họa dạng hàm n với giá trị khác k(k = 30, 50, 70) Với giá trị k , quan sát hai thuật toán OMP LARS cải biên, hai ta thấy MSE trung bình giảm giá trị n tăng lên, đạt tới giá trị nhỏ với giá trị cụ thể n, với giá trị trung bình MSE nhỏ thuật tốn tái tạo lại thành cơng vector thưa ban đầu 72 Hình 15: So sánh mối liên hệ độ đo độ thưa giá trị trung bình MSE KẾT LUẬN A.Các kết đạt luận văn: Sau q trình nghiên cứu "Phương pháp giải tốn biểu diễn thưa", thu hoạch kết sau: - Giới thiệu tổng quan tính chất toán biểu diễn thưa ma trận đặc biệt ma trận tổng quát - Một số thuật toán áp dụng để giải toán biểu diễn thưa, thuật toán hỗ trợ lớn việc khơi phục hình ảnh giải nén liệu Thuật toán MP OMP Nghiên cứu trình bày chi tiết kiến thức thuật toán tham lam MP OMP để giải toán biểu diễn thưa trường hợp ma trận A chuẩn hóa tùy ý Trong phần thuật toán OMP, việc xác định hướng cách giải tốn bình phương tối thiểu, vận dụng phương pháp giải khác qua đánh giá độ phức tạp phương pháp: ∇ Giải tốn dựa phân tích QR ∇ Giải tốn dựa vào phân tích nhân tố Cholesky 73 Đặc biệt, luận văn cịn trình bày điều kiện đảm bảo thuật tốn OMP tìm kiếm thành cơng nghiệm biểu diễn thưa ma trận đặc biệt ma trận tổng qt Ngồi ra, luận văn trình bày số kết thực nghiệm áp dụng thuật toán OMP tốn khơi phục tín hiệu, nén liệu Thuật toán LARS thuật toán LARS cải biên Tìm hiểu trình bày chi tiết hai thuật tốn LARS LARS cải biên Tìm hiểu số ứng dụng thực tế toán biểu diễn thưa áp dụng hai thuật toán để giải quyếtcác ứng dụng thực tế Cũng OMP, luận văn trình bày điều kiện đảm bảo thuật tốn LARS cải biên tìm kiếm thành cơng nghiệm Luận văn đưa kết thực nghiệm áp dụng thuật tốn LARS cải biên việc khơi phục tín hiệu So sánh hai thuật toán OMP LARS Luận văn nghiên cứu so sánh bước thuật tốn Tìm hiểu nghiên cứu xây dựng lại bước cập nhật tập hỗ trợ bước cập nhật vector nghiệm Luận văn phân tích hiệu suất, so sánh thời gian hội tụ độ xác thuật tốn OMP LARS cải biên Ngồi luận văn cịn so sánh mối liên hệ kích thước ma trận độ đo độ thưa dựa trung bình bình phương sai số B Hướng nghiên cứu tiếp theo: Tiếp tục tìm hiểu phát triển số phương pháp giải toán biểu diễn thưa khác để khơi phục hình ảnh rõ nét áp dụng vào lĩnh vực y tế Tuy nhiên thời gian thực luận văn khơng nhiều kiến thức cịn hạn chế nên cịn có sai sót, em mong nhận góp ý q thầy bạn đọc 74 Tài liệu tham khảo [1] Bob L Sturm and Mads Græsbøll Christensen (2012), comparison of orthogonal matching pursuit implementations, Dept of Architecture, Design and Media Technology, Aalborg University, Denmark [2] B K Natarajan (1995), Sparse approximate solutions to linear systems, SIAM J Comput, ISSN 0097-5397 [3] David L Donoho and Yaakov Tsaig (2006), Fast Solution of − norm Minimization Problems When the Solution May be Sparse, Institute for Computational and Mathematical Engineering, Stanford University, Stanford CA, 9403,30-40 [4] David L Donoho (April 2006), Compressed Sensing, IEEE Transactions on Information Theory,1289 – 1306 [5] Emmanuel J Candes and Terence Tao (2005), Decoding by Linear Programming, IEEE Transactions on Information Theory, 4203-4215 [6] Mazin Abdulrasool Hameed (2012), comparative analysis of orthogonal matching pursuit and least angle regression ,Published [7] MD L Donoho and X Huo (2001), Uncertainty principles and ideal atomic decomposition, IEEE Transactions on Information Theory [8] Michael Elad (2010), Five Lectures on Sparse and Redundant Representations Modelling of Images, The Technion – Israel Institute of Technology Haifa, Israel, 165-186 [9] Nguyễn Văn Hiền, Lê Dũng Mưu (2003), Nhập mơn Giải tích lồi ứng dụng, Viện Tốn học, Hà Nội [10] S.G Mallat and Zhifeng Zhang (December 1993), Matching pursuits with timefrequency dictionaries, Trans Sig Proc [11] S S Chen, D L Donoho, and M A Saunders (1998), Atomic decomposition by basis pursuit, SIAM Journal on Scientific Computing 75 ... " PHƯƠNG PHÁP GIẢI BÀI TOÁN BIỂU DIỄN THƯA" với mục đích, đối tượng nội dung nghiên cứu sau: Mục đích: Tìm hiểu số phương pháp giải toán biểu diễn thưa Đối tượng nghiên cứu: Bài toán biểu diễn. .. quan toán biểu diễn thưa kiến thức chuẩn bị Chương 2: Một số thuật toán giải toán biểu diễn thưa ứng dụng Chương 3: So sánh hai thuật toán OMP thuật toán Lars cải biên Chương 1.1 Tổng quan toán biểu. .. 64 10 Mục lục Chương Tổng quan toán biểu diễn thưa 1.1 Sơ lược toán biểu diễn thưa 1.2 Bài toán biểu diễn thưa [2] 10 1.3 Kiến