Nâng cao chất lượng ảnh dựa vào các quá trình khuếch tán

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ NHIỄU NÂNG CAO CHẤT LƢỢNG ẢNH DỰA VÀO CÁC QUÁ TRÌNH KHUẾCH TÁN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ NHIỄU NÂNG CAO CHẤT LƢỢNG ẢNH DỰA VÀO CÁC QUÁ TRÌNH KHUẾCH TÁN Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS PHẠM ĐỨC LONG Thái Nguyên - 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ i MỤC LỤC MỤC LỤC i LỜI CAM ĐOAN iii LỜI CẢM ƠN iv DANH MỤC CHỮ VIẾT TẮT v DANH MỤC CÁC HÌNH vi MỞ ĐẦU NỘI DUNG Chƣơng TỔNG QUAN VỀ NÂNG CAO CHẤT LƢỢNG ẢNH 1.1 Ảnh số chất lƣợng ảnh 1.1.1 Hệ thống xử lý ảnh 1.1.2 Các vấn đề xử lý ảnh 1.2 Một số loại nhiễu 11 1.3 Sử dụng lọc 12 1.3.1 Cải thiện ảnh dùng toán tử không gian 13 1.3.2 Sử dụng lọc tuyến tính (Linear Filter) 13 1.3.3 Kỹ thuật làm trơn nhiễu lọc phi tuyến 15 1.3.3.1 Lọc trung vị 16 1.3.3.2 Lọc giả trung vị 20 1.3.3.3 Lọc (Outlier Filter) 22 1.4 Bảo toàn thông tin ảnh trình tìm biên 22 1.4.1 Phƣơng pháp phát biên 22 1.4.2 Một số đặc trƣng dựa biên ảnh 23 1.5 Một số tiêu đánh giá xử lý ảnh thƣờng dùng 24 1.5.1 MSE (Mean Squared Error) 24 1.5.2 SNR (Signal to Noise Ratio) 25 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii 1.5.3 PSNR (Peak Signal to Noise Ratio) 25 1.5.4 MAE (Mean Absolute Error) 26 Chƣơng MỘT SỐ KỸ THUẬT PHÁT HIỆN BIÊN VÀ NÂNG CAO CHẤT LƢỢNG ẢNH DỰA VÀO CÁC QUÁ TRÌNH KHUẾCH TÁN 28 2.1 Một số kỹ thuật phát biên tiêu biểu 28 2.1.1 Kỹ thuật phát biên Gradient 28 2.1.2 Kỹ thuật Laplace 31 2.1.3 Kỹ thuật đạo hàm tích chập – Phƣơng pháp Canny 32 2.2 Một số kỹ thuật nâng cao chất lƣợng ảnh dựa vào trình khuếch tán 38 2.2.1 Khuếch tán đẳng hƣớng - khuếch tán tuyến tính [3] 39 2.2.2 Khuếch tán không đẳng hƣớng [3] 40 2.2.3 Khuếch tán phức kết hợp giảm nhiễu tìm biên 46 Chƣơng KẾT QUẢ CÀI ĐẶT THỬ NGHIỆM 52 3.1 Các kết cài đặt 52 3.1.1 Thực lọc ảnh "Lena" phƣơng pháp khác nhau: 52 3.1.2 Thực lọc ảnh "nhà C5" phƣơng pháp khuếch tán: 53 3.1.3 Thực lọc ảnh "đền Kiếp Bạc" phƣơng pháp khuếch tán phức: 53 3.2 Đánh giá việc thực lọc: 57 3.3 Nhận xét, đánh giá 57 KẾT LUẬN 60 TÀI LIỆU THAM KHẢO 61 PHỤ LỤC 63 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iii LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu luận vắn công trình nghiên cứu dƣới hƣớng dẫn TS Phạm Đức Long Các kết trình bày luận văn hoàn toàn trung thực, chƣa đƣợc công bố công trình khoa học khác Tôi xin chịu trách nhiệm lời cam đoan Thái Nguyên, ngày 10 tháng năm 2015 Tác giả Nguyễn Thị Nhiễu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv LỜI CẢM ƠN Luận văn “Nâng cao chất lƣợng ảnh dựa vào trình khuếch tán” đƣợc thực hoàn thành Trƣờng Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên Trƣớc hết, muốn gửi lời cảm ơn đến thầy cô giáo Viện Công nghệ thông tin - Viện Hàn lâm khoa học Việt Nam thầy cô giáo Trƣờng Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên quan tâm tổ chức đạo trực tiếp giảng dạy khóa cao học Kết nghiên cứu đạt đƣợc luận văn nhờ định hƣớng dẫn tận tình TS Phạm Đức Long Phƣơng pháp tƣ khoa học mà thầy truyền thụ giúp tác giả có đƣợc phƣơng pháp nghiên cứu lý thuyết ứng dụng suốt trình thực luận văn Tác giả xin gửi lời tri ân tới thầy quan tâm, giúp đỡ quý báu Cũng qua đây, tác giả xin bày tỏ lòng biết ơn tới PGS.TS Phạm Việt Bình, PGS.TS Đỗ Năng Toàn góp ý, nhận xét chuyên môn giúp cho luận văn đƣợc cải tiến nhiều nội dung Chân thành cảm ơn khích lệ, động viên hỗ trợ bạn đồng nghiệp thời gian tác giả nghiên cứu Cuối cùng, xin cảm ơn gia đình, ngƣời ủng hộ động viên để yên tâm nghiên cứu hoàn thành luận văn Thái Nguyên, ngày 10 tháng năm 2015 Tác giả Nguyễn Thị Nhiễu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v DANH MỤC CHỮ VIẾT TẮT CCD Bộ cảm biến (Charge Coupled Device) MSE Sai số bình phƣơng trung bình (Mean squared error) SNR Tỷ số tín hiệu/nhiễu (Signal-to-Noise Ratio) PSNR Tỷ số tín hiệu/nhiễu đỉnh (Peak Signal-to-Noise Ratio) PDE Phƣơng trình đạo hàm riêng (Partial Differential Equations) Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC HÌNH (Hình vẽ, ảnh chụp…) Hình 1.1 Các giai đoạn xử lý ảnh Hình 1.2 Các thành phần hệ thống xử lý ảnh Hình 1.3 Ảnh biến dạng nhiễu 18 Hình 1.5 Ảnh thu đƣợc qua lọc trung vị 19 Hình 1.6 Đƣờng biên ảnh 24 Hình 2.1 Gradient ảnh theo hƣớng 29 Hình 2.2 Đạo hàm hàm Gauss theo hai hƣớng x y 34 Hình 2.3 Hình mô tả điểm biên lân cận 35 Hình 2.4 Lọc khuếch tán phục hồi thuộc tính ảnh (a) trái: ảnh nhiễu (b) ảnh khuếch tán tuyến tính (c) khuếch tán phi tuyến đẳng hƣớng (d) khuếch tán phi tuyến không đẳng hƣớng 39 Hình 2.5 Khuếch tán ảnh y học: ảnh gốc Cột ảnh trái: Từ xuống dƣới: khuếch tán tuyến tính Cột ảnh giữa: Khuếch tán phi tuyến đẳng hƣớng Cột ảnh phải: khuếch tán phi tuyến không đẳng hƣớng 39 Hình 2.6 Làm trơn ảnh nhiễu có bảo toàn biên dùng khuếch tán không đẳng hƣớng sau 10, 20, 30, 40 50 lần lặp 39 Hình 2.7 Phƣơng pháp khuếch tán Perona-Malik [3] 44 Hình 2.8 Thực khuếch tán phức tuyến tính ảnh kích thƣớc 256x216 thành phần thực làm mờ ảnh, thành phần ảo thực tìm biên a): Ảnh gốc, b) Quá trình với thành phần thực làm mờ ảnh, c) Quá trình với thành phần phức tìm biên ảnh 48 Hình 2.9 a) biên kiểu dốc b) biên kiểu bƣớc 49 Hình 2.10 Quan hệ biên dốc biên bƣớc đạo hàm 49 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii Hình 2.11 Khuếch tán phức ảnh ngƣời chụp ảnh với nhỏ ( = /30) Phía giá trị thực Phía dƣới giá trị ảo Từ trái qua phải ảnh nguyên ảnh biến đổi sau 0.25, 2.5 25 giây 50 Hình 2.12 Khuếch tán phức ảnh cameraman với lớn ( = 14 /30) Phía giá trị thực, phía dƣới giá trị ảo Mỗi frame ảnh từ trái qua phải ảnh nguyên các ảnh sau khoảng thời gian: 0.25, 2.5, 25 51 Hình 3.1 Các kết phục hồi ảnh số lọc khác nhau: (a) Ảnh "Lena" có nhiễu; (b) Lọc lọc median; (c) lọc song phƣơng (bilateral filter); (d) Bộ lọc khuếch tán phi tuyến đẳng hƣớng Perona-Malik; (e) Dùng khuếch tán phi tuyến không đẳng hƣớng; (f) khuếch tán phức 52 Hình 3.3 Ảnh gốc Đền Kiếp Bạc 53 Hình 3.4 Ảnh gốc Đền Kiếp Bạc có nhiễu 54 Hình 3.5 Ảnh đền Kiếp Bạc đƣợc khử nhiễu 54 Hình 3.6 Ảnh gốc màu 55 Hình 3.7 Ảnh gốc (gray) có nhiễu 55 Hình 3.8 Ảnh đƣợc khử nhiễu khuếch tán 56 Hình 3.9 Ảnh kết thực tìm biên ảnh đƣợc khuếch tán 56 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Lọc nhiễu nâng cao chất lƣợng ảnh vấn đề đƣợc nghiên cứu phổ biến quan trọng xử lý ảnh Đã có nhiều phƣơng pháp làm giảm nhiễu ảnh nhƣng lại đồng thời làm mờ biên ảnh Việc nghiên cứu xử lý ảnh hƣớng tới phƣơng pháp thực tìm biên ảnh với chất lƣợng tốt phƣơng pháp tìm biên thông dụng cho giảm nhiễu nhƣng không làm mờ biên Khuếch tán phi tuyến phƣơng pháp sử dụng có hiệu năm gần Khuếch tán phi tuyến (thực phức) cho phép thực tìm biên ảnh với chất lƣợng tốt phƣơng pháp tìm biên thông dụng nhƣ Canny, Sobel chi tiết mỏng mảnh biên đƣợc bảo toàn trình tìm biên lọc nhiễu đƣợc kết hợp đồng thời Mục tiêu nghiên cứu nâng cao chất lƣợng ảnh dựa vào trình khuếch tán Thực việc tìm hiểu xử lý ảnh [1], [2], khuếch tán tuyến tính, phi tuyến đẳng hƣớng, không đẳng hƣớng phức xử lý ảnh Qua đƣa hƣớng xây dựng ứng dụng giảm nhiễu kết hợp tìm biên ảnh [3], [6], [7] thực tiễn dạng ảnh có tỷ số nhiễu tín hiệu cao Áp dụng khuếch tán đặc biệt khuếch tán phức xử lý ảnh với điều kiện khởi tạo ảnh cần xử lý (ảnh rada, ảnh y học dạng có tỷ số nhiễu tín hiệu cao) thu đƣợc kết là: Quá trình với thành phần thực làm giảm nhiễu trình với thành phần ảo để tìm biên Luận văn nghiên cứu số phƣơng trình PDE khuếch tán ảnh Thực thực nghiệm xử lý ảnh hai trƣờng hợp khuếch tán tuyến tính khuếch tán phi tuyến (thực phức) để giảm nhiễu tìm biên ảnh Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 55 b) Khuếch tán phức thực tìm biên ảnh Hình 3.6 Ảnh gốc màu Hình 3.7 Ảnh gốc (gray) có nhiễu Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 56 Hình 3.8 Ảnh khử nhiễu khuếch tán Hình 3.9 Ảnh kết thực tìm biên ảnh khuếch tán Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 57 3.2 Đánh giá việc thực lọc: Để đánh giá hiệu việc xử lý sử dụng số PSNR (Peak Signal-to-Noise Ratio) Chỉ số phản ảnh thay đổi tỷ lệ tỉ số tín hiệu nhiễu ảnh qua xử lý So với lọc Median, lọc khuếch tán tuyến tính khuếch tán phi tuyến có số PSNR lớn nghĩa chất lƣợng ảnh tốt Các kết PSNR khuếch tán phi tuyến đạt gần đến giá trị 40 Về mặt lý thuyết (xem mục 1.5.3) giá trị đạt đến 40 có nghĩa khôi phục ảnh nhiễu đạt đến tƣơng đƣơng ảnh gốc chƣa có nhiễu Bảng 3.1 So sánh hiệu lọc số phương pháp Ảnh Lọc Median Khuếch tán tuyến tính Khuếch tán phi tuyến PSNR 30.40 32.39 35.93 35.28 35.67 37.21 36.69 39.36 39.87 3.3 Nhận xét, đánh giá Kết thực nghiệm làm trơn nhiễu biên ảnh số mô hình Các mô hình khuếch tán thực nghiệm khử nhiễu, tăng cƣờng biên ảnh có thuộc tính chung dòng khuếch tán mức xám điểm ảnh suy giảm nhanh tạo tăng cƣờng biên làm trơn vùng ảnh cục Biên ảnh đƣợc trì ổn định khoảng thời gian dài, sau trình Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 58 tăng cƣờng độ tƣơng phản, tốc độ khuếch tán suy giảm chậm triệt tiêu khuếch tán ngƣợc Khi đó, ảnh hội tụ cách nhanh chóng cho kết ảnh không đổi Kết lọc median: Lọc median thực cho kết tốt lọc ảnh với nhiễu xuất làm cho pixel ảnh có cƣờng độ thay đổi mạnh nằm giá trị pixel khác Trong lọc median pixel đơn tính chất đặc trƣng không ảnh hƣởng đến mức giá trị tín hiệu Giá trị xác giá trị pixels lân cận, lọc median không tạo pixel có giá trị không chân thật lọc tăng mức độ lọc Vì lý mà lọc median tốt việc đảm bảo mức sắc nét hình ảnh Một vấn đề chủ yếu với lọc median chi phí thiết kế đắt tiền tính toán phức tạp Để thực thi lọc phƣơng pháp median cần phải xắp xếp tất giá trị ảnh lân cận thành trật tự số học nhƣ việc xử lý chậm Kết sử dụng PDE xử lý ảnh Đây phƣơng pháp đƣợc phát triển phƣơng pháp xử lý ảnh có nhiều ƣu điểm Ngƣời ta thay đổi hệ số khuếch tán phƣơng trình PDE khuếch tán để thu đƣợc hiệu xử lý mong muốn Khi hệ số khuếch tán số theo hƣớng có trình khuếch tán đẳng hƣớng tuyến tính Khi giá trị hệ số khuếch tán thay đổi theo đặc tính ảnh hƣớng nhƣ có trình khuếch tán phi tuyến đẳng hƣớng (isotropic) Khi giá trị hệ số khuếch tán thay đổi theo đặc tính ảnh hƣớng nhƣ có trình khuếch tán phi tuyến không đẳng hƣớng (anisotropic) Khi hệ số khuếch tán số phức có trình khuếch tán phức Khi khuếch tán phức tồn trình ổn định phạm vi rộng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 59 định hƣớng góc hệ số khuếch tán phức Khuếch tán phức phƣơng pháp hiệu cho việc tăng cƣờng ảnh có nhiều nhiễu Khuếch tán phức cho phép vừa giảm nhiễu vừa tìm biên Các chi tiết mỏng mảnh biên đƣợc bảo toàn trình giảm nhiễu tìm biên đƣợc kết hợp đồng thời Đánh giá chất lƣợng ảnh Thông qua so sánh tiêu đo lƣờng chất lƣợng PSNR đánh giá đƣợc hiệu lọc số phƣơng pháp khác thực thực nghiệm Nhƣ nói kết theo bảng 3.1 lọc khuếch tán cho kết tốt phƣơng pháp truyền thống Luận văn tập trung tìm hiểu kiến thức lý thuyết liên quan tới phƣơng trình khuếch tán phi tuyến, ứng dụng phƣơng trình khuếch tán lọc nhiễu ảnh đƣa hƣớng xây dựng ứng dụng giảm nhiễu kết hợp tìm biên ảnh thực tiễn nhƣ xử lý ảnh rada, ảnh y học dạng có tỷ số nhiễu tín hiệu cao Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 60 KẾT LUẬN Trong trình nghiên cứu tài liệu tham khảo thực dƣới định hƣớng thầy hƣớng dẫn luận văn đạt đƣợc số kết nhƣ sau: - Tìm hiểu đƣợc cách tổng quan vấn để xử lý ảnh, hệ thống hoá đƣợc trình khuếch tán: Từ phƣơng pháp khuếch tán tuyến tính, phi tuyến đẳng hƣớng, phi tuyến không đẳng hƣớng đến khuếch tán phức xử lý ảnh ứng dụng chúng ứng dụng xử lý ảnh - Bên cạnh việc nghiên cứu lý thuyết để đƣợc hiểu chất phƣơng pháp, tác giả cài đặt phƣơng pháp giảm nhiễu tìm biên MATLAB, thực thực nghiệm xử lý số file ảnh số trƣờng hợp lọc median khuếch tán (tuyến tính, phi tuyến thực phức) Việc so sánh hiệu phƣơng pháp với thông qua tiêu đo lƣờng chất lƣợng PSNR Qua trình nghiên cứu tự tích lũy thêm cho kiến thức toán học, kỹ thuật lập trình, quan trọng rèn luyện kỹ để thực nghiên cứu khoa học Tuy bƣớc đầu, nhƣng kết giúp ích cho nghiên cứu sau để thu đƣợc kết tốt Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 61 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Lƣơng Mạnh Bá, Nguyễn Thanh Thủy, Nhập môn xử lý ảnh số, NXB Khoa học kỹ thuật, 2002 [2] Nguyễn Kim Sách, Xử lý ảnh video số, NXB Khoa học kỹ thuật, Hà Nội, 1997 Tiếng Anh: [3] P.Perona and J.Malik, “Scale-Space and Edge Detection Using Anisotropic Diffusion”, IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol 12, No 7, July 1990 [4] J Weickert, “Theoretical foundations of anisotropic diffusion in image processing”, Computing, Suppl 11, pg 231-236, 1996 [5] Joachim Weickert, “Anisotropic Diffusion in Image Processing”, B.G Teubner Stuttgart, 1998 [6] Guy Gilboa, Nir Sochen, Yehoshua Y Zeevi (2001), "Complex Diffusion Processes for Image Filtering," Scale-Space 2001, LNCS 2106, SpringerVerlag, pp 299-307 [7] Guy Gilboa, Nir Sochen, and Yehoshua Y Zeevi (2004), ”Image Enhancement and Denoising by Complex Diffusion Processes", IEEE Transactions on Pattern Analysis and Machine Inlelligence, Vol 26, No 8, pp 1020-1036 [8] Selim Esedoglu–An Analysis the Perona-Malik Scheme, “Communications on Pure NAD Applied Mathematics”, John Wiley & Son, Inc., Vol LIV, 0001-0046 (2001) [9] V Musoko and A Proch´azka “Non-Linear Median Filtering of Biomedical Images”, 10th Scientific Conference MATLAB2002, Humusoft, 2002 [10] MacQueen, J B., "Some Methods for classification and Analysis of Multivariate Observations", Proceedings of 5th Berkeley Symposium on Math Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 62 [11] Xue Wei, Yuan Pei-xin, Han Qing-da, Chen Chang-hai, Research on an Automatic Counting Method for Steel Bars' Image, Electrical and Control Engineering (ICECE), 2010 International Conference on, pg 1644 – 1647, 2012 [12] W K Pratt, Digital Image Processing, 2nd ed New York:Wiley, 1991 [13] M A Schulze and J A Pearce, "Some properties of the twodimensional pseudomedian filter," in Nonlinear Image Processing III., Proc SPIE, vol 1451, E R Dougherty, J.Astola, and C G Boncelet, Jr., Eds., pp 48-57, 1991 [14] M A Schulze, Mathematical Properties of thePseudomedian Filter, M.S thesis, University of Texas at Austin, 1990 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 63 PHỤ LỤC MỘT SỐ MÃ NGUỒN CHƢƠNG TRÌNH Thực làm trơn ảnh: % Chuyển ảnh màu sang ảnh xám: clear all close all clc % Read the RGB image and convert to Grayscale %img=rgb2gray(imread('Pantheon.png')); %img=rgb2gray(imread('den_kiep_bac.jpg')); img=rgb2gray(imread('D:\Google Driver\Luan van Nhieu\Image\den_kiep_bac.jpg')); % Perform Anisotropic Diffusion to smoothen the image such that % unnecessary details are suppressed and the edges are preserved diffusedImg=uint8(anisodiff2D(img,30,1/5,30,1)); % Display the images subplot(1,2,1),imshow(img); subplot(1,2,2),imshow(diffusedImg); % Perform Canny edge detection on diffused image edges=edge(diffusedImg,'canny',0.1); % Display the edge map figure, imshow(edges); % Thực khuếch tán không đẳng hƣớng function diff_im = anisodiff2D(im, num_iter, delta_t, kappa, option) %ANISODIFF2D Conventional anisotropic diffusion % DIFF_IM = ANISODIFF2D(IM, NUM_ITER, DELTA_T, KAPPA, OPTION) perfoms % conventional anisotropic diffusion (Perona & Malik) upon a gray scale % image A 2D network structure of neighboring nodes is considered for % diffusion conduction % % ARGUMENT DESCRIPTION: % IM - gray scale image (MxN) % NUM_ITER - number of iterations % DELTA_T - integration constant (0