Khôi phục ảnh thang xám nén dùng giải thuật matching pursuit

Khôi Phục ảnh Xám Từ Phương Pháp Lấy Mẫu Nén Dùng Giải Thuật Matching Pursuit Nguyễn Mai Hoàng Long GVHD: Th.s Hồ Trung Mỹ Khoa Điện-Điên tử Trường Đại Học Bách Khoa Thành Phố Hồ Chí Minh Luận Văn Cao Học Thạc sỹ(Ths) Ngày 10 tháng năm 2011 ii Người Phản Biện : Người Phản Biện: Ngày bảo vệ: Xác nhận hội đồng xét duyệt thạc sỹ : iii Tóm tắt Compressed Sensing (tiếng Việt tạm dịch lấy mẫu nén) hướng nghiên cứu xử lý tín hiệu thời gian gần hứa hẹn mang lại cách mạng lĩnh vực thu thập xử lý thông tin Một cách cụ thể người ta quan tâm làm cách thu thập đặc trưng quan trọng tín hiệu cách đơn giản mà khơng cần thực nhiều phép biến đổi tính tốn phức tạp tốn nhiều thời gian, lượng không gian lưu trữ bù lại công việc khôi phục địi hỏi thuật tốn phức tạp thơng minh Trong luận văn này, chúng tơi thực việc tìm hiểu điểm hướng nghiên cứu thuật tốn liên quan để khơi phục lớp liệu hai chiều, cụ thể ảnh thang xám Với mục đích hướng tới xây dựng thuật tốn khơi phục nạp phần cứng lõi nhúng ARM, DSP FPGA, tập trung nghiên cứu lớp ma trận thưa có cấu trúc ngẫu nhiên dựa đồ thị mở rộng (Expander Graph) thuật tốn tương thích tương ứng Sau đó, chúng tơi tiến hành thực mơ lại giải thuật MATLABS so sánh hiệu giải thuật, cụ thể giải thuật LP, GPSR, SMP SSMP Trên sở nẵm rõ chất giải thuật, đề xuất giải thuật gọi tên OpSSMP với cải tiến so với giải thuật loại bỏ tham số thành phần thưa tín hiệu K giải thuật Việc làm có lợi ích đặc biệt giải thuật thực phần cứng thực tế ta khơng biết liệu có hệ số bào nhiêu Việc loại bỏ cho phép ta khôi phục liệu ta giả định bước thu liệu lấy đủ thông tin quan trọng Do việc thực phần cứng địi hỏi thời gian đầu tư cơng nghệ, nên luận văn dừng lại việc mô phỏng, việc thực phần cứng giành lại cho thời gian tới bậc cao Mục lục Danh sách hình vẽ iv Danh sách bảng v Danh sách từ viết tắt vi Tổng quan lấy mẫu nén nội dung nghiên cứu 1.1 Tổng quan 1.2 Nội dung 1.2.1 Phạm vi nghiên cứu 1.2.2 Camera pixel Các phương pháp tiếp cận ứng dụng 2.1 2.2 Các hướng tiếp cận Compressed Sensing 2.1.1 Khái niệm từ điển phương pháp tìm kiếm theo từ điển 2.1.2 Bài tốn tìm kiếm theo quy hoạch ell-1(Basis Pursuit) 2.1.3 Bài tốn tìm kiếm theo quy hoạch ell-0(Matching Pursuit) 11 2.1.4 Các phương pháp kết hợp 12 Các giải thuật CS ứng dụng xử lý ảnh 14 2.2.1 Giảm nhòe ảnh dùng giải thuật Iterative-Shrinkage 14 2.2.2 Xử lý triệt nhiễu từ ảnh 15 2.2.3 Tách ảnh sửa ảnh bị khuyết 16 2.2.4 Học từ điển 17 Các giải thuật Matching Pursuit 3.1 20 Gói giải thuật SMP 21 3.1.1 21 Chương trình Benchmark ii MỤC LỤC 3.2 3.1.2 Chương trình thí nghiệm tín hiệu thưa chiều 22 3.1.3 Chương trình thí nghiệm ảnh 23 Nhóm giải thuật dùng ma trận RIP-1 24 3.2.1 Giải thuật EMP 26 3.2.2 Giải thuật SMP 27 3.2.2.1 Các bổ đề 30 3.2.2.2 Chứng minh bổ đề 31 Giải thuật SSMP 35 3.2.3.1 37 3.2.4 Giải thuật OpSSMP 40 3.2.5 Thí nghiệm với nhóm giải thuật OpSSMP 46 3.2.5.1 Thí nghiệm tín hiệu thưa 46 3.2.5.2 Thí nghiệm ảnh 46 3.2.3 Chứng minh Bổ đề Kết luận 50 Tài liệu tham khảo 52 iii Danh sách hình vẽ 1.1 Mơ hình máy ảnh lấy mẫu nén 2.1 Sơ đồ thực học từ điển 18 3.1 Mơ hình tổng qt 20 3.2 Benchmark 22 3.3 Thí nghiệm với tín hiệu thưa 23 3.4 Thí nghiệm ảnh Pepper với điểm liệu chọn 24 3.5 Comparison of recovery time for sparse signal We setup k = 0.002n, m = 0.1n and d = OpSSMP uses T = 3.6 47 Tương quan số phép đo mức độ thưa tín hiểu, theo thứ tự xuốn, trái qua phải,OpSSMP, SSMP and SMP N cố định 20000, M = [200-2400] với bước 200,K = [10-100] với bước 5; ma trận đo d = 48 3.7 Thí nghiệm ảnh giải thuật LP,OpSSMP, OpSSMP-nonK SMP(100,1,0.5) cho ảnh ’boat’ (hàng trên) ảnh ’peppers’ (hàng dưới) với ma trận đo d =8, (cột trái)sử dụng chuẩn l1 miền wavelet (cột phải) so sánh tương quan SNR với số phép đo iv 49 Danh sách bảng 3.1 Bảng so sánh hiệu số giải thuật v 45 thành thể thống nhất, page vi Danh sách từ viết tắt Roman Symbols CS Compressed Sensing Compressive Sampling; Kỹ thuật lấy mẫu nén kết hợp mã hóa nén vi RIP Restricted Isometric Property; Tính chất đối xứng hình học, điều kiện đủ để tín hiệu khơi phục lại với số phép đo tối ưu O(Klog(N/K)., page vi SMP Sparse Matching Pursuit; Giải thuật khôi phục dựa cực tiểu lượng cách chọn 2K thành phần tín hiệu lúc thực số vịng lặp xác định., page vi SSMP Sequence Sparse Matching Pursuit; Tương tự SMP lựa chọn 1-2K thành phần tín hiệu thực 2K vịng lặp., page vi Tổng quan lấy mẫu nén nội dung nghiên cứu 1.1 Tổng quan Xử lý tín hiệu ảnh nén lấy mẫu hướng nghiên cứu mới, hấp dẫn thu hút ý nhiều nhà khoa học nhiều lĩnh vực lý thuyết ứng dụng vài năm trở lại Xuất phát từ nhu cầu xử lý tín thơng tin truyền thu nhận qua mạng, người sử dụng mong muốn để thơng tin chiếm băng thơng, chiếm khơng gian lưu trữ, thời gian truyền rút ngắn, thơng tin có khả khơi phục tác động nhiễu Địi hỏi dẫn đến xu tất yếu thông tin cần phải mã hóa(encoding) nén(compressing) Trên khía cạnh khác, thơng tin thu thập từ tự nhiên, cụ thể tín hiệu âm hay hình ảnh, vấn đề đặt làm để ta lấy mẫu tối thiểu mà đảm bảo độ xác tín hiệu thực Câu trả Shanon trả lời 50 năm trước tốc độ lấy mẫu phải gấp đôi tốc độ biến điệu thông tin Tuy nhiên số trường hợp đặc biệt, số thí nghiệm việc lấy mẫu không cần thiết Điều khiến số nhà khoa học, cụ thể Emanue Candes đặt câu hỏi, ta lấy mẫu giới hạn Shanon Thêm vào đó, với việc thu thập tồn thơng tin địi hỏi lượng lớn cảm biến, sau thực mã hóa địi hỏi số lượng lớn phép tính tốn để đến bước nén tín hiệu, ta loại bỏ hầu hết giữ lại vài hệ số quan trọng Q trình cho thấy lãng phí vơ lớn, câu hỏi đặt liệu có hay khơng ta có 3.2 Nhóm giải thuật dùng ma trận RIP-1 p ≤ ≤ d n |∆i |.|Ni− | ≤ |∆i | − sp |∆p | + i=1 i=p+1 p ≤ d |∆i | − sn |∆n | ≤ d ||∆||1 (3.32) i=1 Bây ta xử lý phần chứng minh Định nghĩa gaini = ||A∆ − µ||1 − ||A(∆ − ei ∆i ) − µ||1 Quan sát thấy, tương đương ta có gaini = ||(A∆ − µ)Ni ||1 − ||(A(∆ − ei ∆i ) − µ)Ni ||1 Do gaini = ||(A∆ − µ)Ni ||1 − ||(A(∆ − ei ∆i ) − µ)Ni ||1 = ||(A∆ − µ)N + ||1 − ||(A(∆ − ei ∆i ) − µ)N + ||1 + i i + ||(A∆ − µ)N − ||1 − ||(A(∆ − ei ∆i ) − µ)N − ||1 i i ≥ ||(A∆ − µ)N + ||1 − ||(A(∆ − ei ∆i ) − µ)N + ||1 − ||(Aei ∆i )N − ||1 i i i ≥ ||(A∆)N + ||1 − ||(A(∆ − ei ∆i ))N + ||1 − 2||µN + ||1 − ||(Aei ∆i )N − ||1 i i i i ≥ ||(Aei ∆)N + ||1 − 2||(A(∆ − ei ∆i ))N + ||1 − 2||µN + ||1 − ||(Aei ∆i )N − ||1 i i i i cp )||(A∆)N + ||1 − ||(A(∆ − ei ∆i ))N + ||1 − 2||µN + ||1 (3.33) ≥ (1 − i i i − cp Từ Phát biểu 5, nhận xét tập Ni+ tập khơng giao nhau, ta có gaini ≥ d(1 − i∈T + cp )(1 − 1/cp )(1 − cp )||∆||1 − 2d ||∆||1 − 2||µ||1 − cp cp )(1 − 1/cp )(1 − cp ) − − 2/((1 − )(cl − 1)) ||∆1 ||1 − cp = dC||∆||1 (3.34) = d (1 − C số dương chừng đủ nhỏ; Liên hệ giá trị ||∆||1 ||µ||1 có từ phương trình 3.26 Điều dẫn đến tồn chiều i ∈ T + để gaini ≥ dC dC ||∆||1 ≥ ||∆||1 + |T | (c + 1)k (3.35) đồng thời d||∆||1 ≥ ||A(x −x)||1 ≥ ||Ax −Ax−µ||1 −||µ||1 ≥ ||Ax −b||1 − 39 d||∆||1 (3.36) (1 − )(cl − 1) 3.2 Nhóm giải thuật dùng ma trận RIP-1 Do gaini ≥ C ||Ax − b||1 (1 + ) (c + 1)k (1 − )(cl − 1) (3.37) ta có điều cần chứng minh Trong phần tơi trình bày giải thuật SSMP chứng tỏ khơi phục tín hiệu thưa Trong thí nghiệm mơ phỏng, SSMP chứng tỏ khả khơi phục tốt SMP bù lại thời gian khôi phục tăng lên 3.2.4 Giải thuật OpSSMP Trong phần tơi trình bày số cải tiến thực dựa việc phát triển ý tưởng giải thuật SSMP, gọi giải thuật Optimally Sequence Sparse Matching Pursuit Sự cải tiến thể hai mặt, trước hêt giải thuật thực cải thiện số phép đo so với SSMP lựa chọn thành phần tín hiệu cách cẩn thận thứ hai giải thuật loại bỏ cần thiết phải thiết lập hệ số K − sparse mà giải thuật trước cần sử dụng, thay đổi giúp ích cho việc tiếp cận lên phần cứng cho ứng dụng thực tế xử lý ảnh Trước hết, ta tóm tắt số ý tưởng EMP, SMP SSMP Như giới thiệu phần trước, giải thuật dựa lựa chọn trung vị(median) tương tự hình thức bỏ phiếu bầu Cụ thể, EMP túy dùng đồ thị để tìm nút kế cận ánh xạ tự nút bên tập trái, hay nói cách khác nút trái khơng chia xẻ nút kế cận Cơng việc tìm kiếm tương đối phức tạp đòi hỏi phải thiết kế đồ thị mở rộng hoàn hảo để xác suất chia sẻ kế cận đủ nhỏ Điều đồng nghĩa với số phép đo m phải lớn kích thước tập |S| hay tương ứng với số sparse K thay cho vòng lặp F or Để sử dụng bước làm thưa hóa, giải thuật tìm số K − sparse thơng qua số thành phần x∗ khác zero Hai hệ số p, q lựa chọn nhỏ để làm mịn thành phần chiều chọn Tỏng trường hợp sử dụng vòng lặp, T = 1, bước làm thưa bỏ qua B Một số bổ đề cần quan tâm cho giải thuật OpSSMP Phần nhắc lại số bổ đề chứng minh mục trước Bổ đề cho phép giải thuật hoạt động Bổ đề : Nếu ||Ax − b||1 ≥ cl ||µ||1 , tồn tịa số i để ||A(x − ei xi + ei xi ) − b||1 ≥ (1 − cu /k)||Ax − b||1 Dựa tính chất RIP, bổ đề đưa đến hệ sau (1 − )||x − x||1 ≤ ||Ax − b||1 + ||µ||1 ≤ ||x − x||1 + 2||µ||1 Do đó, ta thu Bổ đề 6; bổ đề đảm bảo lỗi phần dư giảm sau vòng lặp Bổ đề : Tồn số c C để, sau vòng lặp nội thứ j − th, ta có ||x − xj ||1 ≤ ||x − xj−1 ||1 /4 + Cη 43 (3.38) 3.2 Nhóm giải thuật dùng ma trận RIP-1 Algorithm 7: OpSSMP Algorithm with non-K Data: b = Ax + µ, Neighbors Matrix M Result: Approximation x∗ begin x∗ ←− ∅,c ←− b,D ←− ∅, u ←− ∅ for j = : T for i = → n find an increment z that Di = minimizes ||c − A(zei )||1 ui = zei ; M in− ←− ||c||1 Find sparse components of x: while (max(D) − min(D)) > • find indexes of D are minimum i.e idx = f ind(D == min(D)) for i = : size(idx) • update x∗ [i] = x∗ [i] + u[i] c[M i ] ← c[M i ] − u[M i ] • M in ←− Di • Recompute optimal value [u, D] = optimuml1(M in, M in− , u, D, M, c) • M in− ←− M in if j ≤ pT then Sparsify x: k = q × sparse(x∗ ) xj = Hk [xj ] 44 3.2 Nhóm giải thuật dùng ma trận RIP-1 Paper R/D Sketching length Encoding time Sparsity/ Update time Decoding time Approximation error [41, 42] R R k logd n k log n n logd n n log n logd n log n k logd n n log n l2 ≤ Cl2 l2 ≤ Cl2 [43] R R k logd n k log n n logd n n log n logd n log n k logd n n log n l1 ≤ Cl1 l1 ≤ Cl1 [44, 45] D D k log nk k logd n nk log nk n log n k log nk k logd n LP LP [46] D k logd n n logd n logd n k logd n d l1 ≤ C log nl1 Y Y Y D k log n n log n log n [48] (k large) [29] D k(log n)d log log log n kn1−α n1−α LP l2 ≤ C l k1/2 D k log nk nk log nk k log nk nk log nk log R l2 ≤ C l k1/2 Y [30] D D k log nk k logd nk log nk n log n k log nk k logd n nk log nk log R n log n log R l2 ≤ l2 ≤ C l k1/2 C l k1/2 Y Y [12] D k log nk n log nk log nk n log nk l1 ≤ (1 + )l1 Y [10] D k log nk n log nk log nk LP l1 ≤ Cl1 Y [40] D k log n k n k n k n k l1 ≤ Cl1 Y [14] D k log nk l1 ≤ Cl1 Y n log n log nk d C l k1/2 C l k1/2 k logd n [47] d l2 ≤ l2 ≤ Noise log log nk n log log R n log nk log n log R l2 ≤ l k1/2 Bảng 3.1: Bảng so sánh hiệu số giải thuật 45 3.2 Nhóm giải thuật dùng ma trận RIP-1 3.2.5 Thí nghiệm với nhóm giải thuật OpSSMP Phần tơi trình bày kết thực với giải thuật OpSSMP Để quán với nội dung [49], có hai phần thí nghiệm thực thí nghiệm với tín hiệu thưa thí nghiệm ảnh Các thí nghiệm MATLABs dựa gói SMP [33] Indyk cộng Về mặt phương pháp tạo ma trận Đối với tín hiệu thưa, tơi thực hiên sinh ngẫu nhiên ma trận cột một, chọn ngẫu nhiên k vị trí từ tập {1 m} Nếu cột có d gía trị mà chứa giá trị trùng lặp, cột tạo lại.Các thí nghiệm phân làm hai loại, khơi phục xác khơi phục xấp xỉ tín hiệu khơng thưa 3.2.5.1 Thí nghiệm tín hiệu thưa Đối với tín hiệu xấp xỉ, dùng liệu tổng hợp; thí nghiệm mơ tả dùng tín hiệu sinh ngẫu nhiên k ví trí thiết lập vị trí với giá trị ngẫu nhiên −1 +1 Các thí nghiệm thử với giá trị đỉnh thay đổi, cụ thể thay đổi theo phân bố gausse, cho kết tương tự Để đánh giá thời gian khôi phục, giải thuật sử dụng để so sánh với SMP GPRS với N thay đổi theo thang log 10 điểm khoảng từ (103 −106 ), K = 0.002N M = 0.1N Kếtquả cho hình 3.5 Tương tự, để so snahs với SMP SSMP theo mối tương quan K, M N, cố định N = 20000 tín hiệu thưa Hình 3.6 cho kết kkỳ vọng, số phép đo giảm đáng kể so với phương pháp lại 3.2.5.2 Thí nghiệm ảnh Chúng tơi thực đánh giá khả giải thuật OpSSMP OpSSMP với SMP có tham số T = 100, độ hội tụ 0.5 Thí nghiệm thực với ảnh ’boat’ ’peper’ có kích thước 256 × 256 dùng wavelét db2 level để biến đổi sang miền thưa Chất lượng khơi phục tính tốn theo PSNR thang log hai miền: miền ảnh gốc miền thưa Hình 3.7 kết thu với SMP(100,1,0.5) OpSSMP, OpSSMP-nonK có tham số T = 1, T = 10, ma trận đo sử dụng d = Hiệu 46 3.2 Nhóm giải thuật dùng ma trận RIP-1 Hình 3.5: Comparison of recovery time for sparse signal We setup k = 0.002n, m = 0.1n and d = OpSSMP uses T = OpSSMP,OpSSMP-nonK vượt qua SMP LP Chú ý là,với giải thuật LP, SMP OpSSMP, K thiết lập tỉ lệ với M , cụ thể K = 0.1M OpSSMP-nonK không cần để tăng hiệu cần thiết lập hệ số p, q p = 3/5 q = 0.8 Giá trị tối ưu hai hệ số chưa xác định, chúng nên gần giá trị không giải thuật chậm đáng kể mức độ cải thiện ảnh không tăng nhiều Thêm nữa, chất lượng khôi phục giải thuật OpSSMP so với SSMP Lý do p,q ngưỡng vịng lặp W hile khơng tối ưu 47 3.2 Nhóm giải thuật dùng ma trận RIP-1 Hình 3.6: Tương quan số phép đo mức độ thưa tín hiểu, theo thứ tự xuốn, trái qua phải,OpSSMP, SSMP and SMP N cố định 20000, M = [200-2400] với bước 200,K = [10-100] với bước 5; ma trận đo d = 48 3.2 Nhóm giải thuật dùng ma trận RIP-1 Hình 3.7: Thí nghiệm ảnh giải thuật LP,OpSSMP, OpSSMP-nonK SMP(100,1,0.5) cho ảnh ’boat’ (hàng trên) ảnh ’peppers’ (hàng dưới) với ma trận đo d =8, (cột trái)sử dụng chuẩn l1 miền wavelet (cột phải) so sánh tương quan SNR với số phép đo 49 Kết luận Trong luận văn tơi thực tìm hiểu lĩnh vực nghiên cứu xử lý tín hiệu Compressed Sensing sâu vào tìm hiểu nhóm giải thuật khôi phục dựa Expander Graph Thông qua nghiên cứu này, tơi có hội để tìm hiểu cách thức nguyên lý hoạt động lấy mẫu nén, cụ thể lý mà người ta khơi phục tín hiệu ngữ cảnh ta thu số lượng lấy mẫu yêu cầu tối thiểu mà đảm bảo ta khôi phục lại Câu trả lời nằm chỗ tín hiệu giả định thưa, nghĩa khơng gian N chiều tín hiệu có K