Cải thiện chất lượng ảnh dựa trên các bộ lọc không gian

LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu riêng Các kết đưa trung thực chưa công bố tài liệu khác Tôi xin cam đoan tất thơng tin trích dẫn luận văn ghi rõ nguồn gốc Hải Phòng, ngày 07 tháng năm 2015 LỜI CẢM ƠN Để hoàn thành luận văn tốt nghiệp này, tơi xin gửi lời cảm ơn đến tồn thể thầy cô thuộc khoa Công nghệ thông tin tận tình giảng dạy suốt thời gian vừa qua đặc biệt thầy TS Nguyễn Duy Trường Giangngười ln nhiệt tình nghiêm khắc q trình dạy hướng dẫn để tơi hồn thành luận văn Một lần nữa, xin chân thành cảm ơn! MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN .ii DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU .1 Tính cấp thiết đề tài .1 Mục tiêu đề tài .2 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Dự kiến kết đạt CHƯƠNG I: GIỚI THIỆU CHUNG VỀ XLA VÀ NHỮNG .3 ỨNG DỤNG CỦA NÓ 1.1 Giới thiệu chung .3 1.2 Ứng dụng XLA 1.3 Các vấn đề XLA 1.3.1 PEL ảnh số 1.3.2 Độ phân giải ảnh 1.3.4 Mức xám ảnh .9 1.3.5 Tăng cường ảnh 1.3.6 Khôi phục ảnh 10 1.3.7 Phân tích ảnh 11 1.3.8 Nén ảnh 12 CHƯƠNG II: CÁC BỘ LỌC KHÔNG GIAN 13 2.1 Lọc song phương 13 2.1.1 Giới thiệu 14 2.1.2 Ý tưởng 16 2.1.3 Trường hợp Gaussian .18 2.1.4 Lọc song phương so với phạm vi 19 2.1.5 Lọc song phương với ảnh đen trắng .21 2.1.6 Lọc song phương với ảnh màu .24 2.2 Bộ lọc NLM 26 2.2.1 Giới thiệu 26 2.2.2 Phương pháp nhiễu 28 2.2.3 Bộ lọc Gaussian 28 2.2.4 Lọc lân cận .28 2.2.5 Thuật toán NLM .29 2.3 So sánh hiệu lọc 32 2.4 Bộ lọc làm sắc nét tuyến tính (Linear sharpen) 35 2.4.1 Mục đích ý nghĩa .35 2.4.2 Bộ lọc làm sắc nét tuyến tính 35 2.5 Kỹ thuật cân màu 38 2.5.1 Giới thiệu 38 2.5.2 Giả thiết Gray World 38 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM VỚI CÁC BỘ LỌC KHÔNG GIAN VÀ KỸ THUẬT CÂN BẰNG MÀU .40 3.1 Mục đích .40 3.2 Xây dựng chương trình thử nghiệm 40 3.2.1 Giới thiệu OpenCV 40 3.2.2 Các bước tiến hành 41 3.3 Kết thực nghiệm .46 3.3.1 Một số hình ảnh cho lọc không gian kỹ thuật cân màu với ảnh đen trắng chương trình thực nghiệm .46 3.3.2 Một số hình ảnh cho lọc không gian kỹ thuật cân màu với ảnh màu chương trình thực nghiệm .48 KẾT LUẬN .51 TÀI LIỆU THAM KHẢO 52 DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Diễn giải NLM Bộ lọc Non local-mean PEL Điểm ảnh (Picture Element) CNTT Công nghệ thông tin XLA Xử lý ảnh DANH MỤC CÁC BẢNG Số bảng 2.1 Tên bảng Báo cáo lỗi trung bình Trang 35 DANH MỤC CÁC HÌNH Số hình Tên hình Số trang 1.1 Quá trình xử lý ảnh 1.2 Nhận dạng biển số xe 1.3 Hình ảnh mạch trước sau làm 1.4 Ứng dụng XLA công nghiệp 1.5 Ảnh giấu tin 1.6 Sự phân bố PEL 1.7 Độ tương phản ảnh 10 1.8 Khôi phục ảnh 11 1.9 Kết phép dò biên 12 2.1 Ví dụ hoạt động lọc không gian 13 2.2 Lọc song phương 18 2.3 Biểu đồ cường độ ảnh 20 2.4 Lọc song phương với sigma khác 22 2.5 Ví dụ lọc song phương 23 2.6 Lọc song phương với ảnh đen trắng 23 2.7 Lọc song phương với ảnh màu 25 2.8 Lọc song phương với ảnh màu 26 2.9 Sơ đồ NLM 30 2.10 Sự phân bố trọng số NLM 31 2.11 Thực nghiệm lọc nhiễu kết cấu tự nhiên 33 2.12 Thực nghiệm lọc nhiễu kết cấu tự nhiên 33 2.13 Thực nghiệm lọc nhiễu kết cấu tự nhiên 35 2.14 Bộ lọc linear sharpen 36 2.15 Ví dụ cho ứng dụng OpenCV 37 2.16 Cân màu Gray-world 39 3.1 Ứng dụng OpenCV dò cạnh 40 3.2 Thực nghiệm với ảnh đen trắng 46 3.3 Cân màu với ảnh đen trắng 47 3.4 Thực nghiệm với ảnh màu 49 3.5 Cân màu với ảnh màu 50 MỞ ĐẦU Tính cấp thiết đề tài Công nghệ thông tin (CNTT) giữ vai trò quan trọng khơng ngành cơng nghiệp, quân sự, nghiên cứu, giải trí…mà đời sống nhu cầu người Có nhiều chuyên ngành khác công nghệ cơng tin số XLA chun ngành quan trọng có từ lâu đời Xử lý ảnh (XLA) lĩnh vực mang tínhcơng nghệvà khoa học Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, thu hút trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chun dụng dành riêng cho nó.XLA ứng dụng để đáp ứng nhu cầu thiết yếu người xã hội Các ứng dụng bật XLA nhận dạng vân tay, phục chế ảnh, giám sát thực thể, nhận dạng khuôn mặtdựng ảnh 3D…đã đem lại nhiều lợi ích nhiều lĩnh vực Con người thu nhận thơng tin thị giác, mong muốn thu nhận hình ảnh có chất lượng tốt Để có hình ảnh vậy, ảnh ban đầu phải trải qua nhiều công đoạn nhiều kỹ thuật sử dụng để thay đổi giúp có chất lượng tốt làm trơn, làm sắc nét, lọc nhiễu, cân màu… Tiêu biểu quan trọng số sử dụng lọc khơng gian Hình ảnh thu từ thiết bị thu nhận số camera, camcoder thường bị ảnh hưởng nhiễu điều kiện sáng nên bị mờ, tối sáng không nhấn mạnh đối tượng chụp Điều gây khó khăn nhiều cho công tác học tập, nghiên cứu ứng dụng thực tiễn, khiến cho hiệu cơng việc giảm độ xác khơng cao đặc biệt lĩnh vực đòi hỏi tỉ mỉ xác Để khắc phục điều này, lọc không gian lọc song phương, lọc Nonlocal-mean (NLM) Linear sharpen kỹ thuật cân màu sắc giải pháp tốt Xuất phát từ thực tế đó, lựa chọn đề tài: “Cải thiện chất lượng ảnh dựa lọc không gian” Đây vấn đề quan tâm hứa hẹn tiếp tục phát triển tương lai phù hợp với thực tiễn sống, đặc biệt giai đoạn đất nước bước phát triển lên, CNTT thực bùng nổ ngày Mục tiêu đề tài Mục tiêu đề tài sử dụngcác lọc không gian, kỹ thuật cân màu để nâng cao chất lượng hình ảnh từ ảnh tĩnh video Từ ảnh đầu vào với chất lượng hình ảnh bị nhiễu, mờ, không sắc nét, màu sắc xa với thực tế, sau sử dụng lọc không gian kỹ thuật cân màu đưa kết tốt hơn: sắc nét, mượt,đảm bảo đường nét ban đầu không màu sắc gần với thực tế Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu đề tài:  Các lọc không gian: Lọc song phương, NLM, Linear sharpen tập trung chủ yếu vào thuật toán sử dụng lọc cách thức hoạt động chúng  Kỹ thuật cân màu sắc Phạm vi nghiên cứu:  Dựa lý thuyết chung XLA để giải thích đưa phương pháp cụ thể  Lý thuyết lọc không gian khái niệm liên quan  Chương trình thử nghiệm Phương pháp nghiên cứu Trước tiên, nghiên cứu đưa lý thuyết XLA lọc không gian, kỹ thuật cân màu đề cập đến.Dựa tảng lý thuyết để xây dựng chương trình thử nghiệmvới ảnh tĩnh video Dự kiến kết đạt Đưa kết nghiên cứu mặt lý thuyết: Ý nghĩa ứng dụng XLA nói chung lọc khơng gian, kỹ thuật cân màu nói riêng khoa học cơng nghệ đời sống.Đưa kết việc áp dụng lý thuyết vào hình ảnh thực tế thơng qua chương trình thử nghiệm CHƯƠNG I: GIỚI THIỆU CHUNG VỀ XLA VÀ NHỮNG ỨNG DỤNG CỦA NÓ 1.1 Giới thiệu chung Khoảng mười năm trở lại đây, XLA đưa vào giảng dạy chương trình đại học nước ta Nó mơn học có liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên xử lý tín hiệu số, mơn học cho xử lý tín hiệu chung, khái niệm lọc hữu hạn,tích chập, biến đổi Fourier, Laplace, … Thứ hai, cơng cụ tốn đại số tuyến tính, sác xuất thống kê Bên cạnh số kiến thức cần thiết trí tuệ nhân tao, mạng nơ ron nhân tạo nhắc đến q trình phân tích nhận dạng ảnh Tiền đề phương pháp XLA ứng dụng: nâng cao chất lượng ảnh phân tích ảnh Ứng dụng đầu biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ London đến NewYork từ năm 1920 Nâng cao chất lượng ảnh có liên quan đến việc phân bố mức sáng độ phân giải ảnh Nâng cao chất lượng ảnh phát triển vào khoảng năm 1955 Điều sau chiến tranh giới thứ hai, máy tính phát triển nhanh tạo điều kiện thuận lợi cho q trình XLA số phát triển Năm 1964, máy tính có khả xử lý, nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ cụ thể là: làm đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện nâng cao xử lý nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo thuật toán xử lý cải tiến,mạng nơ ron nhân tạo, công cụ nén ảnh ngày áp dụng rộng rãi gặt hái nhiều kết khả quan Trước ảnh thu qua Camera ảnh tương tự (loại Camera ống CCIR) Gần đây, với phát triển công nghệ, ảnh lấy từ camera ảnh đen trắng màu, sau chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý (Ví dụ điển 2.5.Kỹ thuật cân màu 2.5.1 Giới thiệu Cân màu sắc chế phát màu sắc độc lập nguồn sáng Nguồn sáng đưa nhiều sắc thái màu ảnh kỹ thuật số chụp lại Để giải vấn đề cân màu, phương pháp tiêu chuẩn ước lượng màu sắc ánh sáng hành bước loại bỏ Sau màu sắc ánh sáng kênh thu được, PEL màu chuẩn hóa hệ số tỉ lệ Hai số kỹ thuật đơn giản thường sử dụng để ước lượng màu sắc ánh sánglà Gray-World thuật toán Max-RGB Hai phương pháp làm việc tốt thực tế màu sắc hình ảnh trung bình xám tối đa trắng 2.5.2 Giả thiết Gray World Cân trắng Cân trắng trình thay đổi màu sắc ảnh cho màu sắc với thực tế nhất, nói cách khác chỉnh sửa màu trắng hình xác màu trắng mà mắt người cảm nhận - tên Các nguồn ánh sáng khác tương ứng với màu sắc khác Giả thiết Gray World phương pháp cân trắng, cho màu hình ảnh trung bình bạn màu xám trung hòa Giả thiết Gray World giữ màu sắc phân phối tốt hình ảnh Giả sử có màu sắc hình ảnh phân phối tốt, màu tương phản trung bình giả định màu sắc ánh sáng Do đó, ước tính độ rọi sắc thái màu cách nhìn vào màu sắc trung bình so sánh với màu xám Thuật tốn Gray world đưa ước tính độ rọi cách tính trung bình kênh hình ảnh Một phương pháp chuẩn hóa trung bình ba thành phần sử dụng dự tốn độ rọi hình ảnh Để chuẩn hóa hình ảnh kênh 38 i, giá trị PEL thu nhỏ lại , đó, kênh trung bình ước lượng độ rọi Một phương pháp chuẩn hóa khác chuẩn hóa kênh tối đa cách mở rộng quy mô (3.2) Một phương pháp chuẩn hóa khác chuẩn hóa kênh tối đa cách mở rộng quy mô tiêu chuẩn (3.4) a Gray-world-RGB b Gray-world-Edge Hình 2.16: Cân màu 39 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM VỚI CÁC BỘ LỌC KHÔNG GIAN VÀ KỸ THUẬT CÂN BẰNG MÀU 3.1 Mục đích Nền tảng lý thuyết phần cho thấy hiệu lọc không gian kỹ thuật cân màu việc cải thiện chất lượng ảnh tĩnh video Tuy nhiên, để hiểu có ý tưởng tích cực phát triển tương lai lĩnh vực XLAthì chương trình thử nghiệm thuật tốn cần thiết Chương trình thử nghiệm trình bày kết trực quan lọc từ đầu vào ảnh tĩnh video 3.2 Xây dựng chương trình thử nghiệm 3.2.1 Giới thiệu OpenCV OpenCV thư viện thị giác máy tính nguồn mở phát triển với Intel Intel đưa phiên OpenCV lần năm 1999 Ban đầu yêu cầu phải có thư viện XLA Intel Sau lệ thuộc mà họ phải gỡ bỏ sử dụng thư viện hồn tồn độc lập Nó miễn phí cho thương mại nghiên cứu Nó có nhiều ứng dụng : nhận dạng mặt, dò tìm mặt, phát mặt… thể đa dạng trí tuệ nhân tạo (AI) Bên cạnh cải thiện nhiều thuật toán cở thị giác máy hàm API cấp thấp Hình 3.1:Một ví dụ ứng dụng OpenCV dò cạnh 40 Cấu trúc OpenCV gồm nhiều module CXCORE bao gồm kiểu liệu rõ ràng Ví dụ cấu trúc dự liệu điểm,ảnh, hình chữ nhật xác định file cxtypes.h CXCORE chứa phép toán đại số tuyến tính thống kê, hàm lưu trữ lâu dài lỗi thao tác Một điều lạ hàm đồ họa cho việc vẽ ảnh lưu trữ đây.CV chứa đựng trình XLA phương pháp đánh giá sơ kích thước ảnh Những hàm tính tốn hình học lưu trữ Hiện tại, thư viện hỗ trợ hạng mục sau:  Chụp thời gian thực  Nhập tập tin video  Xử lý hình ảnh (độ sáng, độ tương phản, ngưỡng, )  Phát đối tượng (khuôn mặt, thể, )  Phát đốm 3.2.2 Các bước tiến hành 3.2.2.1 Làm việc với file ảnh Đọc file ảnh Dữ liệu chương trình XLA với ảnh thu nhận từ thiết bị ghi hay lưu dạng file ảnh video với format khác OpenCV hỗ trợ đọc hầu hết format phổ biến (.jpg,.png,.bmp, …), video hệ thống có ngơn ngữnào, OpenCV đọc format đó, nhiên phổ biến file avi Với chương trình C++ hàm đọc file ảnh dùng lớp Mat, cụ thể sau: Ví dụ: Mat src = imread("Cameraman.bmp",1); Trong đó:  Filename: Tên ảnh đầu vào  Flags: Xác định kiểu màu ảnh tải 41 o CV_LOAD_IMAGE_ANYDEPTH: Trả ảnh 16-bit/32-bit ảnh đầu vào có depth phù hợp, khơng chuyển đổi 8-bit o CV_LOAD_IMAGE_COLOR: Ln chuyển đổi ảnh màu o CV_LOAD_IMAGE_GRAYSCALE: Luôn chuyển đổi ảnh màu xám o Flag>0: Trả ảnh kênh màu o Flag=0: Trả ảnhmột màu xám o Flag