Khôi phục ảnh và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC —————o0o————— NGUYỄN THỊ PHƯỢNG KHÔI PHỤC ẢNH VÀ ỨNG DỤNG Chuyên ngành: Toán ứng dụng Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS NGUYỄN THỊ BÍCH THỦY Thái Nguyên - 2017 Mục lục Danh sách hình vẽ Danh sách bảng MỞ ĐẦU Giới thiệu phát biểu tốn khơi phục ảnh 1.1 Các khái niệm xử lý ảnh số (Xem [1, [2], 1.1.1 Ảnh số 1.1.2 Tổng quan giai đoạn xử lý ảnh số 1.1.3 Các loại ảnh matlab 1.2 Biểu diễn ảnh tác nhân làm biến dạng ảnh 1.2.1 Biểu diễn miền không gian 1.2.2 Biểu diễn ảnh miền tần số 1.2.3 Các tác nhân làm biến đổi ảnh 1.3 Bài tốn khơi phục ảnh số Các kĩ thuật khôi phục ảnh 2.1 Các lọc miền không gian 2.1.1 Bộ lọc trung bình số học 2.1.2 Bộ lọc trung bình hình học 2.1.3 Bộ lọc trị số trung bình 2.1.4 Bộ lọc Min Max 2.1.5 Bộ lọc trung bình điều hịa (Hamonic 2.1.6 Bộ lọc điểm 2.2 Các lọc miền tần số [7]) mean filter) 9 9 10 15 15 16 16 19 21 21 21 21 22 22 22 22 23 2.3 2.2.1 Bộ lọc chắn dải 2.2.2 Bộ lọc thông dải 2.2.3 Bộ lọc Notch 2.2.4 Bộ lọc ngược 2.2.5 Bộ lọc Wiener Sử dụng biểu diễn thưa khử mờ, nhiễu 23 23 24 24 25 26 Thực nghiệm 29 3.1 Kịch test 29 3.2 Kết 30 3.3 Nhận xét 38 KẾT LUẬN 39 TÀI LIỆU THAM KHẢO 40 Danh sách hình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 1.10 Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 1.1 Các giai đoạn xử lý ảnh 1.2 Ảnh Index đen trắng 1.3 Ảnh Index màu 1.4 Ảnh grayscale 1.5 Ảnh nhị phân 1.6 Ảnh RGB biểu diễn điểm ảnh 1.7 Ảnh RGB màu 1.8 Ảnh miền không gian 1.9 Lọc tuyến tính 1.10 Sơ đồ khôi phục ảnh 10 11 11 12 12 13 14 15 17 20 Danh sách bảng 3.1 3.2 Bảng kết khử nhiễu PSNR (dB) 37 Bảng đo kết thời gian chạy thuật toán(đơn vị tính giây) 37 MỞ ĐẦU Xử lý ảnh đóng vai trị quan trọng nhiều ứng dụng thực tế khoa học kĩ thuật sống thường ngày như: sản xuất kiểm tra chất lượng, di chuyển Robot, phương tiện lại tự trị, công cụ hướng dẫn cho người mù, an ninh giám sát, nhận dạng đối tượng, nhận dạng mặt, ứng dụng y học, sản xuất, hiệu chỉnh video, Có thể nói,thơng tin hình ảnh phần khơng thể thiếu xã hội Chính vậy, việc nâng cao hình ảnh kỹ thuật số cần thiết nhiều lĩnh vực ứng dụng hình ảnh Nó làm cho người dễ dàng quan sát máy móc thực thi tốt nhiệm vụ, biên dịch thực tốn xử lý thơng tin khác hình ảnh Trên thực tế, nhiều tài liệu hình ảnh chụp từ điện thoại, máy ảnh, camera để phục vụ cho nhiệm vụ lưu trữ có chất lượng khơng tốt nhiều ngun nhân khác như: kỹ người chụp ảnh, giới hạn thiết bị chụp ảnh, ánh sáng .làm cho ảnh bị nhiễu,mờ Xuất phát từ thực tế này, có nhiều cơng trình cơng bố tập trung vào phát triển thuật toán xử lý ảnh số mà đặc biệt nâng cao chất lượng ảnh Và luận văn sâu nghiên cứu tổng quan phương pháp khôi phục ảnh đánh giá số phương pháp tiêu biểu nâng cao chất lượng ảnh số Sử dụng công cụ Matlab cài đặt thử nghiệm mơ số thuật tốn nâng cao chất lượng ảnh số Đánh giá khả ứng dụng thuật toán thực tế Chính vậy, đối tượng luận văn là: Các phương pháp khôi phục ảnh, bao gồm khử nhiễu khử mờ ảnh Luận văn khảo sát đánh giá số phương pháp thường dùng nâng cao chất lượng ảnh số, lựa chọn phương pháp cho phù hợp việc nâng cao chất lượng ảnh Tập trung vào cài đặt thử nghiệm số phương pháp nhằm chứng minh tính đắn khả ứng dụng thực tế thuật tốn Luận văn gồm chương: Chương I: Trình bày tổng quan khái niệm xử lý ảnh trình xử lý ảnh Chương II: Trình bày biện pháp khơi phục ảnh khử nhiễu, khử mờ Chương III: Trình bày thực nghiệm số phương pháp khử nhiễu khử mờ Và cuối kết luận, đưa đánh giá cho phương pháp Để hoàn thành luận văn em xin bày tỏ lòng biết ơn sâu sắc tới TS Nguyễn Thị Bích Thủy tận tình hướng dẫn giúp đỡ em suốt tình học tập nghiên cứu để em hồn thiện luận văn Em xin bày tỏ lòng biết ơn chân thành tới Giáo sư, Phó giáo sư, Tiến sĩ, quý thầy cô giáo giảng dạy Đại học Khoa học, Đại học Thái Nguyên Viện Tốn học, Viện Hàn lâm Khoa học Cơng nghệ Việt Nam mang đến cho em nhiều kiến thức bổ ích nghiên cứu khoa học Đồng thời, tơi xin gửi lời cảm ơn tới gia đình bạn đồng môn giúp đỡ động viên thời gian học tập Đại học Khoa học, Đại học Thái Ngun q trình hồn thành luận văn Luận văn hoàn thành trường Đại học Khoa học, Đại học Thái Nguyên hướng dẫn trực tiếp TS Nguyễn Thị Bích Thủy Mặc dù, em cố gắng vấn đề thời gian có hạn kinh nghiệm nghiên cứu cịn hạn chế nên khó tránh khỏi thiếu sót Em mong nhận góp ý quý thầy cô bạn Thái Nguyên, tháng 05 năm 2017 Tác giả Nguyễn Thị Phượng Chương Giới thiệu phát biểu tốn khơi phục ảnh 1.1 1.1.1 Các khái niệm xử lý ảnh số (Xem [1, [2], [7]) Ảnh số Ảnh trắng đen thực chất hàm hai chiều cường độ sáng f (x, y), x y toạ độ không gian giá trị hàm f điểm (x, y) tỷ lệ với cường độ sáng ảnh điểm Một ảnh số ảnh mà hàm f (x, y) rời rạc hố theo toạ độ không gian (hay gọi điểm ảnh) cường độ sáng Giá trị cường độ sáng số hoá gọi giá trị mức xám Số điểm ảnh xác định độ phân giải ảnh Ảnh có độ phân giải cao thể rõ nét đăc điểm hình làm cho ảnh trở lên thực sắc nét 1.1.2 Tổng quan giai đoạn xử lý ảnh số Xử lý ảnh trình biến đổi từ ảnh ban đầu sang ảnh với đặc tính tuân theo ý muốn người sử dụng Xử lý ảnh gồm q trình phân tích, phân lớp đối tượng, làm tăng chất lượng, phân đoạn tách cạnh, gán nhãn cho vùng hay q trình biên dịch thơng tin hình ảnh ảnh Xử lý ảnh số lĩnh vực tin học ứng dụng Xử lý liệu đồ hoạ đề cập đến ảnh nhân tạo, ảnh xem xét cấu trúc liệu tạo chương trình Xử lý ảnh số bao gồm phương pháp kĩ thuật để biến đổi, để truyền tải mã 10 hố ảnh tự nhiên Mục đích xử lý ảnh gồm: - Biến đổi ảnh, làm tăng chất lượng ảnh - Tự động nhận dạng, đoán nhận, đánh giá nội dung ảnh Các bước cần thiết xử lý ảnh mô tả chi tiết Hình 1.1 bao gồm bước sau: Hình 1.1: Các giai đoạn xử lý ảnh Trong luận văn trình bày thuật tốn khơi phục ảnh môi trường Matlab nên xét số loại ảnh sau Matlab 1.1.3 Các loại ảnh matlab * Ảnh Index: Ảnh biểu diễn hai ma trận, ma trận liệu ảnh X ma trận màu (còn gọi đồ màu) map Ma trận liệu thuộc kiểu uint8, uint16 double Ma trận màu ma trận kich thước m × gồm thành phần thuộc kiểu double có giá trị khoảng [0, 1] Mỗi hàng ma trận xác định thành phần red, green, blue màu tổng số m màu sử dụng ảnh Giá trị phần tử ma trận liệu ảnh cho biết màu điểm ảnh nằm hàng ma trận màu 26 Weiner X(i, j) ≈ |F (i, j)|2 Y (i, j) F (i, j) |F (i, j)|2 + K Trong K số K dùng để xấp xỉ nhiễu Nếu phương sai nhiễu biết trước K = 2σ 2.3 Sử dụng biểu diễn thưa khử mờ, nhiễu Biểu diễn thưa (sparse representation) ảnh hướng nghiên cứu năm gần Phương pháp đề xuất lần năm 1997 báo số [3] áp dụng thành công nhiều ứng dụng xử lý ảnh thu nhận ảnh, khử nhiễu, trích chọn thông tin ảnh, nhận dạng, Ý tưởng phương pháp sử dụng hệ vec-tơ sở dư thừa (overcomplete basis) để biểu diễn lại tín hiệu/ảnh cho số thành phần khác khơng (dạng biểu diễn thưa) Thơng qua cách biểu diễn này, thơng tin quan trọng ảnh/tín hiệu giữ lại, thơng tin quan trọng lược bỏ khôi phục lại cần thiết Với tính chất biểu diễn thưa, ta thấy nhiễu thông tin không quan trọng ảnh loại bỏ dễ dàng trình xử lý Hệ vector sở dùng để biểu diễn ảnh gọi “từ điển” (dictionary) Các từ điển tính tốn trước thơng qua hàm tốn học sử dụng wavelete, phép biến đổi Cosin rời rạc (DCT), Fourier (FFT), Tuy nhiên, từ điển định nghĩa trước không phù hợp với loại ảnh khác mục đích sử dụng khác Ý tưởng phương pháp học từ điển (dictionary learning) thơng qua phần ảnh cần xử lý đề xuất vào khoảng năm 2000 số báo [4], [6] áp dụng vào toán khử nhiễu ảnh năm 2006 báo [5] Trong phần chúng tơi trình bày lại ý tưởng phương pháp học từ điển tìm biểu diễn thưa ảnh để đưa vào khử nhiễu thơng qua thuật tốn KSVD đề xuất báo [5] Bài tốn tìm √ √ biểu diễn thưa tập mẫu ảnh x có kích thước n × n có dạng: α = arg α α cho Dα ≈ x (2.1) 27 ||α||0 số thành phần khác khơng α, D từ điển dùng để biểu diễn x dạng thưa α Bài toán khử nhiễu dùng biểu diễn thưa phát biểu dạng: α = arg α α cho Dα − y 2 ≤T α = arg Dα − y α 2 +µ α Bài tốn tìm biểu diễn thưa tốn khó với độ phức tạp thời gian đa thức (NP hard) Một số nghiên cứu đề xuất lời giải gần toán này, sử dụng phổ biến thuật toán OMP Trong báo [5], tác giả đề xuất thuật giải K-SVD cho toán khử nhiễu ảnh sử dung biểu diễn thưa sau: Thuật toán khử nhiễu ảnh từ ảnh thu nhận Y với nhiễu Gauss trắng có độ lệch chuẩn σ Input: n: kích thước mẫu ảnh, k: kích thước từ điển, J: số vịng lặp cho việc học từ điển, λ: nhân tử Lagrange, C: mức nhiễu thu λ Y − X + µij αij + Dαij − Rij X (2.2) X,D,A ij ij Khởi tạo: Gán X = Y , D = từ điển dư thừa DCT Lặp J lần: ❼ Tìm biểu diễn thưa: Sử dụng thuật tốn OMP thuật tốn tương đương để tìm biểu diễn thưa αi j cho mẫu ảnh Rij X việc tìm nghiệm tốn tối ưu: ∀ij αij αij cho RijX − Dαij 2 ≤ (Cσ)2 (2.3) ❼ Cập nhật từ điển: Các cột l = 1, 2, , k ma trận D, cập nhật sau: - Tìm kiếm tập wl = {(i, j)|αij (l) = 0} 28 - Với (i, j) ∈ wl , tính sai số biểu diễn: elij = Rij Xij − dm αij (m) m=l - Xác định ma trận El với cột {elij }(i,j)∈wl - Áp dụng phân rã SVD El = U ∆V T Thay cột U cột từ điển cập nhật d¯l Cập nhật hệ số {αij (l)}(i,j)∈wl tích V ∆(1, 1) Tính: T Rij Rij )−1 (λY + X = (λI + ij T Rij Dαij ) ij 29 Chương Thực nghiệm Phần thực nghiệm tiến hành chạy thử nghiệm ba đại diện ba nhóm thuật tốn trình bày chương trước Trên miền không gian, chọn đại diện phương pháp lọc trung vị (Median), miền tần số sử dụng phương pháp Wiene, nhóm sử dụng biểu diễn thưa, chúng tơi chọn phương pháp học từ điển K-SVD Các thuật toán chạy thử nghiệm số ảnh thuộc loại khác ảnh chụp thông thường, ảnh y tế, ảnh vệ tinh 3.1 Kịch test Để tiến hành chạy thử nghiệm, chúng tơi cài đặt thuật tốn ngơn ngữ lập trình Matlab R2009a, chạy máy laptop cấu hình chip Core i3, Ram 2GB hệ điều hành Windows XP Từ ảnh gốc ban đầu, đưa thêm tác nhân gây biến đổi ảnh tác nhân làm nhiễu vào ảnh thực khơi phục ảnh qua thuật tốn thử nghiệm thuật tốn Median miền khơng gian thuật tốn Wiener miền tần số thuật toán K-SVD biểu diễn thưa ảnh Giá trị nhiễu đưa vào loại nhiễu Gauss, có phân bố chuẩn (0, σ ), σ nhận giá trị 10, 20, 30 Khi σ lớn ảnh nhiều nhiễu Hệ số mờ thử nghiệm ma trận   1 1 1 1 1   H=  1 1 1 16 1 1 30 Để đánh giá độ tốt ảnh khôi phục, sử dụng số tỉ số tín hiệu cực đại nhiễu PSNR (peak signal-to-noise ratio) Chỉ số tính theo công thức: P SN R = 10 log10 = 20 log10 M AXi2 M SE M AXi √ M SE Trong M SE = mn m−1 n−1 [I(i, j) − K(i, j)]2 i=0 j=0 Với I ma trận ảnh gốc, K ảnh khôi phục, m, n kích thước ma trận ảnh, M AXI giá trị tối đa pixel ảnh Ảnh khôi phục đánh giá tốt số PSNR cao Khi PSNR xấp xỉ 30 dB ảnh khôi phục coi tương đương ảnh gốc 3.2 Kết Dưới kết hình ảnh chạy thử nghiệm phương pháp 31 32 33 34 35 36 37 Bảng 3.1: Bảng kết khử nhiễu PSNR (dB) (sigma,H) sigma=10 sigma=20 sigma=30 Thuật toán Median Wiener K-SVD Median Wiener K-SVD Median Wiener K-SVD Ảnh 24,92 30,21 34,55 23,85 25,47 30,87 22,61 22,78 28,61 Ảnh 29,41 30,59 33,65 26,93 26,00 30,40 24,69 23,21 28,39 Ảnh 31,46 31,5 36,09 27,94 26,62 33,26 25,25 23,74 31,34 Bảng 3.2: Bảng đo kết thời gian chạy thuật tốn(đơn vị tính giây) sigma=10 sigma=20 sigma=30 Median Wiener K-SVD Median Wiener K-SVD Median Wiener K-SVD 0,209 0,093 53,16 0,054 0,085 25,01 0,054 0,086 18,88 0,058 0,087 46,46 0,056 0,097 22,34 0,055 0,092 17,38 0,018 0,021 26,24 0,019 0,021 16,25 0,016 0,021 13,14 38 3.3 Nhận xét Từ kết thử nghiệm ta thấy: Phương pháp K-SVD cho kết khử nhiễu tốt hết sau đến phương pháp Wiener cuối Median, ta nhìn thấy rõ ảnh thứ Nhưng ngược lại thời gian tính tốn thuật toán K-SVD chậm so với thuật tốn cịn lại, với thời gian chậm ta chấp nhận đuợc Và tuỳ theo mục đính người sử dụng ta chọn phương pháp cho phù hợp 39 Kết luận Trong luận văn này, chúng tơi trình bày phương pháp khôi phục ảnh khử nhiễu, khử mờ Các thuật toán giới thiệu thử nghiệm ứng dụng số loại ảnh khác ảnh chụp thông thường, ảnh y tế, ảnh vệ tinh Kết thực nghiệm cho thấy độ tốt phương pháp tăng dần từ phương pháp miền không gian, miền tần số đến biểu diễn thưa Điều hoàn toàn phù hợp với phân tích mặt lý thuyết phân tích ưu nhược điểm thuật toán Trên ảnh khác ta thấy tác nhân làm biến đổi ảnh có ảnh hưởng tới kết khơi phục thuật tốn Median, Wiener, K-SVD Từ chúng tơi đưa số đề xuất việc sử dụng phương pháp tình cụ thể Chẳng hạn cần kết tính tốn xác ta nên sử dụng phương pháp K-SVD, cần làm việc thời gian thực ta sử dụng phương pháp Wiener Median 40 Tài liệu tham khảo Tiếng Việt [1] Lương Mạnh Bá, Nguyễn Thanh Thuỷ (2008), Nhập môn xử lý ảnh số, Đại học Bách Khoa Hà Nội [2] Đỗ Năng Tồn, Phạm Việt Bình (2008), Giáo trình xử lý ảnh, NXB Khoa học Kỹ thuật Tiếng Anh [3] A Olshausen and D J Field (1997), “Sparse coding with an overcomplete basis set: A strategy employed by v1?”, Vision Research, 37 [4] K Kreutz-Delgado and B D Rao (2000), “Focuss-based dictionary learning algorithm”, presented at the Wavelet Applications in Signal and Image Processing VIII [5] M Elad and M Aharon (2006), “Image denoising via sparse and redundant representations over learned dictionaries”, IEEE Trans IP, 54(12) [6] M S Lewicki and T J Sejnowski (2000), “Learning overcomplete representations”, Neur Comput, vol 12, pp 337–365 [7] Oge Marques (2011), Practical image and video processing using matlab, wiley-IEEE press ... tương ứng miền tần số ta có: G(i, j) = F (i, j).H(i, j) + N (i, j) Trong đó: G/g ảnh cần khơi phục N/n nhiễu ảnh H/n tác nhân gây mờ ảnh F/f ảnh khôi phục Khôi phục ảnh F/f từ ảnh cần khôi phục. .. ma trận ảnh gốc, K ảnh khôi phục, m, n kích thước ma trận ảnh, M AXI giá trị tối đa pixel ảnh Ảnh khôi phục đánh giá tốt số PSNR cao Khi PSNR xấp xỉ 30 dB ảnh khơi phục coi tương đương ảnh gốc... chúng tơi trình bày phương pháp khôi phục ảnh khử nhiễu, khử mờ Các thuật toán giới thiệu thử nghiệm ứng dụng số loại ảnh khác ảnh chụp thông thường, ảnh y tế, ảnh vệ tinh Kết thực nghiệm cho