Lý thuyết về các bộ lọc không gian và các khái niệm liên quan_2

Header Page of 95 LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu riêng tôi.Các kết đƣa trung thực chƣa đƣợc công bố tài liệu khác Tôi xin cam đoan tất thơng tin đƣợc trích dẫn luận văn đƣợc ghi rõ nguồn gốc Hải Phòng, ngày 07 tháng năm 2015 Footer Page - Footer Page - Footer Page -Footer Page1i of 95 Header Page of 95 LỜI CẢM ƠN Để hoàn thành luận văn tốt nghiệp này, xin đƣợc gửi lời cảm ơn đến tồn thể thầy thuộc khoa Cơng nghệ thơng tin tận tình giảng dạy suốt thời gian vừa qua đặc biệt thầy TS Nguyễn Duy Trƣờng Giangngƣời ln nhiệt tình nghiêm khắc q trình dạy hƣớng dẫn để tơi hồn thành luận văn Một lần nữa, xin chân thành cảm ơn! Footer Page - Footer Page - Footer Page -Footer Page2 ii of 95 Header Page of 95 MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài Đối tƣợng phạm vi nghiên cứu Phƣơng pháp nghiên cứu Dự kiến kết đạt đƣợc CHƢƠNG I: GIỚI THIỆU CHUNG VỀ XLA VÀ NHỮNG ỨNG DỤNG CỦA NÓ 1.1 Giới thiệu chung 1.2 Ứng dụng XLA 1.3 Các vấn đề XLA 1.3.1 PEL ảnh số 1.3.2 Độ phân giải ảnh 1.3.4 Mức xám ảnh 1.3.5 Tăng cƣờng ảnh 1.3.6 Khôi phục ảnh 10 1.3.7 Phân tích ảnh 11 1.3.8 Nén ảnh 12 CHƢƠNG II: CÁC BỘ LỌC KHÔNG GIAN 13 2.1 Lọc song phƣơng 13 2.1.1 Giới thiệu 14 2.1.2 Ý tƣởng 16 2.1.3 Trƣờng hợp Gaussian 18 2.1.4 Lọc song phƣơng so với phạm vi 19 2.1.5 Lọc song phƣơng với ảnh đen trắng 21 Footer Page - Footer Page - Footer Page -Footer Page3 iii of 95 Header Page of 95 2.1.6 Lọc song phƣơng với ảnh màu 24 2.2 Bộ lọc NLM 26 2.2.1 Giới thiệu 26 2.2.2 Phƣơng pháp nhiễu 28 2.2.3 Bộ lọc Gaussian 28 2.2.4 Lọc lân cận 28 2.2.5 Thuật toán NLM 29 2.3 So sánh hiệu lọc 32 2.4 Bộ lọc làm sắc nét tuyến tính (Linear sharpen) 35 2.4.1 Mục đích ý nghĩa 35 2.4.2 Bộ lọc làm sắc nét tuyến tính 35 2.5 Kỹ thuật cân màu 38 2.5.1 Giới thiệu 38 2.5.2 Giả thiết Gray World 38 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM VỚI CÁC BỘ LỌC KHƠNG GIAN VÀ KỸ THUẬT CÂN BẰNG MÀU 40 3.1 Mục đích 40 3.2 Xây dựng chƣơng trình thử nghiệm 40 3.2.1 Giới thiệu OpenCV 40 3.2.2 Các bƣớc tiến hành 41 3.3 Kết thực nghiệm 46 3.3.1 Một số hình ảnh cho lọc không gian kỹ thuật cân màu với ảnh đen trắng chƣơng trình thực nghiệm 46 3.3.2 Một số hình ảnh cho lọc không gian kỹ thuật cân màu với ảnh màu chƣơng trình thực nghiệm 48 KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 52 Footer Page - Footer Page - Footer Page -Footer Page4 iv of 95 Header Page of 95 DANH MỤC TỪ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt Diễn giải NLM Bộ lọc Non local-mean PEL Điểm ảnh (Picture Element) CNTT Công nghệ thông tin XLA Xử lý ảnh Footer Page - Footer Page - Footer Page -Footer Page5 v of 95 Header Page of 95 DANH MỤC CÁC BẢNG Số bảng 2.1 Tên bảng Báo cáo lỗi trung bình Footer Page - Footer Page - Footer Page -Footer Page6 vi of 95 Trang 35 Header Page of 95 DANH MỤC CÁC HÌNH Số hình Tên hình Số trang 1.1 Quá trình xử lý ảnh 1.2 Nhận dạng biển số xe 1.3 Hình ảnh mạch trƣớc sau đƣợc làm 1.4 Ứng dụng XLA công nghiệp 1.5 Ảnh giấu tin 1.6 Sự phân bố PEL 1.7 Độ tƣơng phản ảnh 10 1.8 Khôi phục ảnh 11 1.9 Kết phép dò biên 12 2.1 Ví dụ hoạt động lọc khơng gian 13 2.2 Lọc song phƣơng 18 2.3 Biểu đồ cƣờng độ ảnh 20 2.4 Lọc song phƣơng với sigma khác 22 2.5 Ví dụ lọc song phƣơng 23 2.6 Lọc song phƣơng với ảnh đen trắng 23 2.7 Lọc song phƣơng với ảnh màu 25 2.8 Lọc song phƣơng với ảnh màu 26 2.9 Sơ đồ NLM 30 2.10 Sự phân bố trọng số NLM 31 2.11 Thực nghiệm lọc nhiễu kết cấu tự nhiên 33 2.12 Thực nghiệm lọc nhiễu kết cấu tự nhiên 33 2.13 Thực nghiệm lọc nhiễu kết cấu tự nhiên 35 2.14 Bộ lọc linear sharpen 36 2.15 Ví dụ cho ứng dụng OpenCV 37 2.16 Cân màu Gray-world 39 3.1 Ứng dụng OpenCV dò cạnh 40 3.2 Thực nghiệm với ảnh đen trắng 46 3.3 Cân màu với ảnh đen trắng 47 3.4 Thực nghiệm với ảnh màu 49 3.5 Cân màu với ảnh màu 50 Footer Page - Footer Page - Footer Page -Footer Page7 vii of 95 Header Page of 95 MỞ ĐẦU Tính cấp thiết đề tài Cơng nghệ thơng tin (CNTT) giữ vai trò quan trọng khơng ngành công nghiệp, quân sự, nghiên cứu, giải trí…mà đời sống nhu cầu ngƣời.Có nhiều chuyên ngành khác công nghệ công tin số XLA chuyên ngành quan trọng có từ lâu đời Xử lý ảnh (XLA) lĩnh vực mang tínhcơng nghệvà khoa học Nó ngành khoa học mẻ so với nhiều ngành khoa học khác nhƣng tốc độ phát triển nhanh, thu hút trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chuyên dụng dành riêng cho nó.XLA đƣợc ứng dụng để đáp ứng nhu cầu thiết yếu ngƣời xã hội Các ứng dụng bật XLA nhƣ nhận dạng vân tay, phục chế ảnh, giám sát thực thể, nhận dạng khuôn mặtdựng ảnh 3D…đã đem lại nhiều lợi ích nhiều lĩnh vực Con ngƣời thu nhận thông tin thị giác, mong muốn thu nhận đƣợc hình ảnh có chất lƣợng tốt Để có đƣợc hình ảnh nhƣ vậy, ảnh ban đầu phải trải qua nhiều công đoạn nhiều kỹ thuật đƣợc sử dụng để thay đổi giúp có chất lƣợng tốt nhƣ làm trơn, làm sắc nét, lọc nhiễu, cân màu… Tiêu biểu quan trọng số sử dụng lọc khơng gian Hình ảnh thu đƣợc từ thiết bị thu nhận số nhƣ camera, camcoder thƣờng bị ảnh hƣởng nhiễu điều kiện sáng nên bị mờ, tối sáng khơng nhấn mạnh đƣợc đối tƣợng chụp Điều gây khó khăn nhiều cho cơng tác học tập, nghiên cứu ứng dụng thực tiễn, khiến cho hiệu cơng việc giảm độ xác khơng cao đặc biệt lĩnh vực đòi hỏi tỉ mỉ xác Để khắc phục điều này, lọc không gian nhƣ lọc song phƣơng, lọc Nonlocal-mean (NLM) Linear sharpen kỹ thuật cân màu sắc giải pháp tốt Xuất phát từ thực tế đó, tơi lựa chọn đề tài: “Cải thiện chất lƣợng ảnh dựa lọc không gian” Đây vấn đề đƣợc quan tâm hứa Footer Page - Footer Page - Footer Page -Footer Page8 of 95 Header Page of 95 hẹn đƣợc tiếp tục phát triển tƣơng lai phù hợp với thực tiễn sống, đặc biệt giai đoạn đất nƣớc bƣớc phát triển lên, CNTT thực bùng nổ nhƣ ngày Mục tiêu đề tài Mục tiêu đề tài sử dụngcác lọc không gian, kỹ thuật cân màu để nâng cao chất lƣợng hình ảnh từ ảnh tĩnh video Từ ảnh đầu vào với chất lƣợng hình ảnh nhƣ bị nhiễu, mờ, không sắc nét, màu sắc xa với thực tế, sau sử dụng lọc không gian kỹ thuật cân màu đƣa kết tốt hơn: sắc nét, mƣợt,đảm bảo đƣợc đƣờng nét ban đầu không màu sắc gần với thực tế Đối tƣợng phạm vi nghiên cứu Đối tượng nghiên cứu đề tài:  Các lọc không gian: Lọc song phƣơng, NLM, Linear sharpen tập trung chủ yếu vào thuật toán đƣợc sử dụng lọc cách thức hoạt động chúng  Kỹ thuật cân màu sắc Phạm vi nghiên cứu:  Dựa lý thuyết chung XLA để giải thích đƣa phƣơng pháp cụ thể  Lý thuyết lọc không gian khái niệm liên quan  Chƣơng trình thử nghiệm Phƣơng pháp nghiên cứu Trƣớc tiên, nghiên cứu đƣa lý thuyết XLA lọc không gian, kỹ thuật cân màu đƣợc đề cập đến.Dựa tảng lý thuyết để xây dựng chƣơng trình thử nghiệmvới ảnh tĩnh video Dự kiến kết đạt đƣợc Đƣa đƣợc kết nghiên cứu mặt lý thuyết: Ý nghĩa ứng dụng XLA nói chung lọc khơng gian, kỹ thuật cân màu nói riêng khoa học công nghệ đời sống.Đƣa đƣợc kết việc áp dụng lý thuyết vào hình ảnh thực tế thơng qua chƣơng trình thử nghiệm Footer Page - Footer Page - Footer Page -Footer Page9 of 95 Header Page 10 of 95 CHƢƠNG I: GIỚI THIỆU CHUNG VỀ XLA VÀ NHỮNG ỨNG DỤNG CỦA NÓ 1.1 Giới thiệu chung Khoảng mƣời năm trở lại đây, XLA đƣợc đƣa vào giảng dạy chƣơng trình đại học nƣớc ta.Nó mơn học có liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên xử lý tín hiệu số, môn học cho xử lý tín hiệu chung, khái niệm lọc hữu hạn,tích chập, biến đổi Fourier, Laplace, … Thứ hai, cơng cụ tốn nhƣ đại số tuyến tính, sác xuất thống kê Bên cạnh số kiến thức cần thiết nhƣ trí tuệ nhân tao, mạng nơ ron nhân tạo đƣợc nhắc đến q trình phân tích nhận dạng ảnh Tiền đề phƣơng pháp XLA ứng dụng: nâng cao chất lƣợng ảnh phân tích ảnh Ứng dụng đầu đƣợc biết đến nâng cao chất lƣợng ảnh báo truyền qua cáp từ London đến NewYork từ năm 1920 Nâng cao chất lƣợng ảnh có liên quan đến việc phân bố mức sáng độ phân giải ảnh Nâng cao chất lƣợng ảnh phát triển vào khoảng năm 1955.Điều sau chiến tranh giới thứ hai, máy tính phát triển nhanh tạo điều kiện thuận lợi cho trình XLA số phát triển Năm 1964, máy tính có khả xử lý, nâng cao chất lƣợng ảnh từ mặt trăng vệ tinh Ranger Mỹ cụ thể là: làm đƣờng biên, lƣu ảnh Từ năm 1964 đến nay, phƣơng tiện nâng cao xử lý nâng cao chất lƣợng, nhận dạng ảnh phát triển không ngừng Các phƣơng pháp tri thức nhân tạo nhƣ thuật toán xử lý cải tiến,mạng nơ ron nhân tạo, công cụ nén ảnh ngày đƣợc áp dụng rộng rãi gặt hái đƣợc nhiều kết khả quan Trƣớc ảnh thu qua Camera ảnh tƣơng tự (loại Camera ống CCIR) Gần đây, với phát triển công nghệ, ảnh đƣợc lấy từ camera ảnh đen trắng màu, sau đƣợc chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý (Ví dụ điển hình máy ảnh số).Mặt khác, ảnh tiếp nhận qua vệ tinh, đƣợc quét từ ảnh chụp máy quét ảnh Footer Page - Footer Page - Footer Page -Footer Page10 of 95 Header Page 45 of 95 2.5.Kỹ thuật cân màu 2.5.1 Giới thiệu Cân màu sắc chế phát màu sắc độc lập nguồn sáng Nguồn sáng đƣa nhiều sắc thái màu ảnh kỹ thuật số đƣợc chụp lại Để giải vấn đề cân màu, phƣơng pháp tiêu chuẩn ƣớc lƣợng màu sắc ánh sáng hành bƣớc loại bỏ Sau màu sắc ánh sáng kênh thu đƣợc, PEL màu đƣợc chuẩn hóa hệ số tỉ lệ Hai số kỹ thuật đơn giản thƣờng đƣợc sử dụng để ƣớc lƣợng màu sắc ánh sánglà Gray-World thuật toán Max-RGB Hai phƣơng pháp làm việc tốt thực tế màu sắc hình ảnh trung bình xám tối đa trắng 2.5.2 Giả thiết Gray World Cân trắng Cân trắng trình thay đổi màu sắc ảnh cho màu sắc với thực tế nhất, nói cách khác chỉnh sửa màu trắng hình xác màu trắng mà mắt ngƣời cảm nhận - nhƣ tên Các nguồn ánh sáng khác tƣơng ứng với màu sắc khác Giả thiết Gray World phƣơng pháp cân trắng, cho màu hình ảnh trung bình bạn màu xám trung hòa Giả thiết Gray World giữ màu sắc đƣợc phân phối tốt hình ảnh Giả sử có màu sắc hình ảnh đƣợc phân phối tốt, màu tƣơng phản trung bình đƣợc giả định màu sắc ánh sáng Do đó, ƣớc tính độ rọi sắc thái màu cách nhìn vào màu sắc trung bình so sánh với màu xám Thuật tốn Gray world đƣa ƣớc tính độ rọi cách tính trung bình kênh hình ảnh Một phƣơng pháp chuẩn hóa trung bình ba thành phần đƣợc sử dụng nhƣ dự tốn độ rọi hình ảnh Để chuẩn hóa hình ảnh kênh i, giá trị PEL đƣợc thu nhỏ lại 𝑠1 = 𝑎𝑣𝑔 𝑎𝑣𝑔 𝑖 bình 𝑎𝑣𝑔$ ƣớc lƣợng độ rọi Footer Page - Footer Page - Footer Page -Footer Page45 of 95 38 , đó, 𝑎𝑣𝑔𝑖 kênh trung Header Page 46 of 95 Một phƣơng pháp chuẩn hóa khác chuẩn hóa kênh tối đa cách mở rộng quy mô $𝑠_𝑖$ 𝑟𝑖 = max ⁡ (𝑎𝑣𝑔 𝑅 ,𝑎𝑣𝑔 𝐺 ,𝑎𝑣𝑔 𝐵 ) (3.2) 𝑎𝑣𝑔 𝑖 Một phƣơng pháp chuẩn hóa khác chuẩn hóa kênh tối đa cách mở rộng quy mô tiêu chuẩn $𝑚_𝑖$ 𝑚𝑖 = (𝑎𝑣𝑔𝑖 ∗ 𝑎𝑣𝑔𝑟 + 𝑎𝑣𝑔𝑔 ∗ 𝑎𝑣𝑔𝑔 + 𝑎𝑣𝑔𝑏 ∗ 𝑎𝑣𝑔𝑏 ) 𝑟𝑖 = max ⁡ (𝑚 𝑅 ,𝑚 𝐺 ,𝑚 𝐵 ) 𝑚𝑖 a Gray-world-RGB (3.3) (3.4) b Gray-world-Edge Hình 2.16: Cân màu Footer Page - Footer Page - Footer Page -Footer Page46 of 95 39 Header Page 47 of 95 CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM VỚI CÁC BỘ LỌC KHÔNG GIAN VÀ KỸ THUẬT CÂN BẰNG MÀU 3.1 Mục đích Nền tảng lý thuyết phần cho thấy hiệu lọc không gian kỹ thuật cân màu việc cải thiện chất lƣợng ảnh tĩnh video Tuy nhiên, để hiểu có ý tƣởng tích cực phát triển tƣơng lai lĩnh vực XLAthì chƣơng trình thử nghiệm thuật tốn cần thiết Chƣơng trình thử nghiệm trình bày kết trực quan lọc từ đầu vào ảnh tĩnh video 3.2 Xây dựng chƣơng trình thử nghiệm 3.2.1 Giới thiệu OpenCV OpenCV thƣ viện thị giác máy tính nguồn mở đƣợc phát triển với Intel Intel đƣa phiên OpenCV lần năm 1999 Ban đầu yêu cầu phải có thƣ viện XLA Intel Sau lệ thuộc mà họ phải gỡ bỏ sử dụng thƣ viện hồn tồn độc lập Nó miễn phí cho thƣơng mại nghiên cứu.Nó có nhiều ứng dụng nhƣ : nhận dạng mặt, dò tìm mặt, phát mặt… thể đa dạng trí tuệ nhân tạo (AI) Bên cạnh cải thiện nhiều thuật toán cở thị giác máy nhƣ hàm API cấp thấp Hình 3.1:Một ví dụ ứng dụng OpenCV dò cạnh Cấu trúc OpenCV gồm nhiều module CXCORE bao gồm kiểu liệu rõ ràng Ví dụ cấu trúc dự liệu điểm,ảnh, hình chữ nhật đƣợc Footer Page - Footer Page - Footer Page -Footer Page47 of 95 40 Header Page 48 of 95 xác định file cxtypes.h CXCORE chứa phép toán đại số tuyến tính thống kê, hàm lƣu trữ lâu dài lỗi thao tác.Một điều lạ hàm đồ họa đƣợc cho việc vẽ ảnh đƣợc lƣu trữ đây.CV chứa đựng trình XLA phƣơng pháp đánh giá sơ kích thƣớc ảnh.Những hàm tính tốn hình học đƣợc lƣu trữ Hiện tại, thƣ viện hỗ trợ hạng mục sau:  Chụp thời gian thực  Nhập tập tin video  Xử lý hình ảnh (độ sáng, độ tƣơng phản, ngƣỡng, )  Phát đối tƣợng (khuôn mặt, thể, )  Phát đốm 3.2.2 Các bƣớc tiến hành 3.2.2.1 Làm việc với file ảnh Đọc file ảnh Dữ liệu chƣơng trình XLA với ảnh thu nhận từ thiết bị ghi hay đƣợc lƣu dƣới dạng file ảnh video với format khác OpenCV hỗ trợ đọc hầu hết format phổ biến (.jpg,.png,.bmp, …), video hệ thống có ngơn ngữnào, OpenCV đọc đƣợc format đó, nhiên phổ biến file avi Với chƣơng trình C++ hàm đọc file ảnh dùng lớp Mat, cụ thể nhƣ sau: Ví dụ: Mat src = imread("Cameraman.bmp",1); Trong đó:  Filename: Tên ảnh đầu vào  Flags: Xác định kiểu màu ảnh đƣợc tải o CV_LOAD_IMAGE_ANYDEPTH: Trả ảnh 16-bit/32-bit ảnh đầu vào có depth phù hợp, khơng chuyển đổi 8-bit Footer Page - Footer Page - Footer Page -Footer Page48 of 95 41 Header Page 49 of 95 o CV_LOAD_IMAGE_COLOR: Luôn chuyển đổi ảnh màu o CV_LOAD_IMAGE_GRAYSCALE: Luôn chuyển đổi ảnh màu xám o Flag>0: Trả ảnh kênh màu o Flag=0: Trả ảnhmột màu xám o Flag