Khôi phục phần dữ liệu bị mất trong chuỗi ảnh

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA SAU ĐẠI HỌC NGÀNH KỸ THUẬT ĐIỆN TỬ - VIỄN THÔNG - Y O Z NGUYỄN ĐĂNG QUANG LUẬN VĂN THẠC SĨ KHÔI PHỤC PHẦN DỮ LIỆU BỊ MẤT TRONG CHUỖI ẢNH (Restoring Missing Data In Image Sequences) GVHD HVTH LỚP NGÀNH :PGS.TSKH NGUYỄN KIM SÁCH :NGUYỄN ĐĂNG QUANG :Cao học khố 11 :Kỹ thuật Vơ tuyến Điện tử TP HCM Tháng 05 - 2003 LỜI CẢM ƠN Xin chân thành cảm ơn PGS.TSKH NGUYỄN KIM SÁCH, người Thầy tận tình hướng dẫn tơi suốt thời gian thực lụân văn Xin chân thành cảm ơn q Thầy giáo, Cơ giáo khoa Sau Đại Học ngành Điện tử Viễn thông , trường Đại học Bách khoa TP Hồ Chí Minh tận tình cung cấp kiến thức quí báu suốt thời gian học Xin chân thành cảm ơn đồng nghiệp động viên, giúp đỡ, tạo điều kiện thuận lợi để tơi hồn thành luận văn Xin chân thành cảm ơn gia đình tơi, đặc biệt cha mẹ tơi với cơng ơn sinh thành giáo dưỡng để tơi có ngày hôm Xin cảm ơn người bạn đời hết lịng tơi gia đình, ln ln động viên giúp đỡ suốt thời gian thực luận văn NGUYỄN ĐĂNG QUANG LỜI NÓI ĐẦU Cùng với phát triển nhân loại, máy chiếu phim xuất cách khoảng 100 năm Ngày sinh máy chiếu phim ngày 28 tháng 12 năm 1895 Auguste Louis Lumiere trình chiếu phim họ Paris Máy chiếu phim họ thiết kế dựa phát minh Faraday từ năm 1831 Nhờ có phim ảnh, kiện lịch sử ghi chép lại cách sống động, với vật phẩm văn hoá khác, phim tư liệu cũ vật phẩm văn hố vơ người cần phải bảo tồn Các tư liệu lịch sử, nghệ thuật văn hoá nhân loại lĩnh vực kỷ 20 lưu trữ với khối lượng đồ sộ dạng film nhựa, băng video dĩa Nhiều loại có ý nghĩa lịch sử lớn tình trạng suy giảm chất lượng cần bảo quản khôi phục Cùng với phát triển nhanh chóng kỹ thuật số, người ta chuyển dần phim tư liệu cũ từ phim nhựa sang thiết bị lưu trữ ký thuật số Trong trình số hố phim nhựa, bước khơng thể thiếu xử lý tăng cường chất lượng phim chí phục hồi lại cảnh bị liệu đoạn phim Trong xu chung đó, mục đích luận văn xem xét, tìm hiểu, nghiên cứu khơi phục phần liệu bị ảnh động cách sử dụng số giải thuật khôi phục liệu bị dựa thơng tin ảnh (image inpainting) Đề tài trình bày chương , phụ lục dĩa CD Chương giới thiệu tổng quan lĩnh vực phục hồi ảnh động, tình hình biện pháp giải tốn khơi phục liệu bị ảnh động nay, từ đặt vấn đề cần giải luận văn Một số nguyên lý biểu diễn ảnh hình học vi phân, khái niệm đường mức khôi phục ảnh dựa đường mức, giải thuật làm trơn ảnh diffusion trình bày tóm lược chương Nội dung đề tài giải tóm tắt chương chương Chương trình bày sở lý thuyết giải thuật toán phục hồi ảnh Bertalmio Oliveira Trong chương trình bày giải thuật ước lượng dò vùng liệu chuỗi ảnh Thực nghiệm, đánh giá giải thuật phục hồi liệu bị Bertalmio, Oliveira, đề xuất cải tiến đề xuất áp dụng giải thuật cho việc phục hồi dạng bị liệu scratch blotch chuỗi ảnh trình bày chương chương Nội dung dĩa CD kèm theo luận văn bao gồm chương trình IRES.EXE, văn hướng dẫn sử dụng GUIDE.PDF, tất ảnh gốc sử dụng cho thực nghiệm luận văn, thư mục IRES chứa tồn mã nguồn chương trình IRES Do nội dung đề tài mẻ, nguồn tài liệu tham khảo chủ yếu từ báo Internet, trình độ hạn chế tác giả, luận văn khơng thể tránh khỏi thiếu sót định Tác giả mong đón nhận ý kiến phê bình, góp ý xây dựng cho đề tài hướng phát triển sau đề tài Một lần xin chân thành cảm ơn quý thầy cô nhiệt tình giảng dạy, cung cấp tài liệu, hướng dẫn góp ý, tạo điều kiện thuận lợi giúp đỡ mặt để tác giả hoàn thành luận văn tốt nghiệp NGUYỄN ĐĂNG QUANG Cao học Điện tử - Viễn thơng khố 11 ĐH BÁCH KHOA TP HCM Tháng 05 năm 2003 MỤC LỤC MỤC LỤC LỜI CẢM ƠN LỜI NÓI ĐẦU 1 MỞ ĐẦU 1.1 TỔNG QUAN VỀ ẢNH ĐỘNG VÀ XỬ LÝ ẢNH ĐỘNG 1.1.1 Ảnh động 1.1.2 Các toán xử lý ảnh động 1.1.3 Các nguyên nhân làm giảm chất lượng ảnh động 1.1.4 Đánh giá chất lượng khôi phục ảnh 1.2 TÌNH HÌNH GIẢI QUYẾT BÀI TỐN KHƠI PHỤC DỮ LIỆU BỊ MẤT TRONG ẢNH ĐỘNG 1.2.1 Các biện pháp giải tốn khơi phục liệu bị 1.2.2 Tình hình giải tốn khơi phục liệu bị 10 1.3 ĐẶT VẤN ĐỀ VÀ GIỚI HẠN PHẠM VI ĐỀ TÀI 11 CÁC KHÁI NIỆM VÀ LỌC ẢNH 12 2.1 MỘT SỐ KHÁI NIỆM CƠ BẢN 12 2.1.1 Gradient 12 2.1.2 Đường mức (Level line, Isophote) 13 2.1.3 Độ cong trung bình (Mean Curvature) 14 2.2 CÁC BỘ LỌC LÀM TRƠN ẢNH (IMAGE DIFFUSION) 15 2.2.1 Bộ lọc làm trơn đẳng hướng (Isotropic Diffusion) 15 2.2.2 Bộ lọc làm trơn bất đẳng hướng (Anisotropic Diffusion) 16 CÁC GIẢI THUẬT KHÔI PHỤC ẢNH 21 3.1 GIẢI THUẬT BERTALMIO KHÔI PHỤC VÙNG DỮ LIỆU BỊ MẤT 20 3.1.1 Giới thiệu 20 3.1.2 Nguyên tắc thực 21 3.1.3 Mơ hình tốn học 22 3.1.4 Giải thuật 23 3.1.5 Lưu đồ 25 3.2 GIẢI THUẬT OLIVEIRA KHÔI PHỤC VÙNG DỮ LIỆU BỊ MẤT 28 3.2.1 Giải thuật 28 3.2.2 Lưu đồ 28 3.3 GIẢI THUẬT BERTALMIO VÀ OLIVEIRA ĐA PHÂN GIẢI 31 3.3.1 Giải thuật 31 3.3.2 Lưu đồ 32 XÁC ĐỊNH VÙNG DỮ LIỆU BỊ MẤT 33 4.1 ƯỚC LƯỢNG CHUYỂN ĐỘNG 33 4.1.1 Block Matching 33 4.1.2 Tiêu chuẩn phù hợp 33 4.1.3 Tìm kiếm Full search 34 4.1.4 Tìm kiếm ba bước 35 4.1.5 Tìm kiếm chữ thập 37 4.1.6 Uớc lượng chuyển động phân cấp 38 4.2 XÁC ĐỊNH VÙNG DỮ LIỆU BỊ MẤT TRONG CHUỖI ẢNH 42 4.2.1 Bộ dò SDIa 42 4.2.2 Bộ dò SDIp 45 4.2.3 Bộ dò SDI 47 4.2.4 Bộ dò ROD 49 4.2.5 Bộ dò SROD 51 4.2.6 Sử dụng dò cho vết trầy xước 53 4.3 DÒ VẾT TRẦY SƯỚT DỌC, NGANG 57 GIẢI THUẬT ĐỀ XUẤT 64 5.1 THỰC NGHIỆM VÀ ĐÁNH GIÁ 64 5.1.1 Thực nghiệm 64 5.1.2 Nhận xét đánh giá kết 69 5.2 ĐỀ XUẤT CHO VIỆC KHÔI PHỤC ẢNH ĐỘNG 72 5.2.1 Đề xuất khôi phục vùng liệu bị dạng blotch scratch 72 5.2.2 Đề xuất liệu bị dạng trầy sướt dọc, ngang 73 5.2.3 Đề xuất khôi phục tổng quát 73 5.2.4 Đề xuất xoá logo, quảng cáo 74 THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 76 6.1 KHÔI PHỤC DỮ LIỆU BỊ MẤT DẠNG BLOTCH VÀ SCRATCH 76 6.1.1 Thực nghiệm 76 6.1.2 Nhận xét đánh giá kết 77 6.1.3 Thực nghiệm 81 6.1.4 Nhận xét đánh giá kết 83 6.2 KHỬ VẾT TRẦY XƯỚC DỌC, NGANG, BẤT KỲ 88 6.2.1 Khử vết trầy xước dọc tối 88 6.2.2 Khử vết trầy xước ngang tối 88 6.2.3 Khử vết trầy xước dọc sáng 88 6.2.4 Khử vết trầy xước ngang sáng 88 6.3 XOÁ LOGO, QUẢNG CÁO 89 KẾT LUẬN 91 Phụ lục A: MỘT SỐ CƠNG THỨC TÍNH SAI PHÂN THƯỜNG DÙNG 94 Phụ lục B: GIẢI PHƯƠNG TRÌNH PERONA-MALIK ANISOTROPIC DIFFUSION BẰNG PHƯƠNG PHÁP SỐ 95 Phụ lục C: THỰC NGHIỆM SO SÁNH CÁC PHƯƠNG PHÁP ƯỚC LƯỢNG CHUYỂN ĐỘNG 97 Phụ lục D: GIỚI THIỆU CHƯƠNG TRÌNH KHƠI PHỤC ẢNH TĨNH VÀ ẢNH VIDEO IRES 100 Phụ lục E: MỘT SỐ KẾT QUẢ THỰC NGHIỆM 108 TÀI LIỆU THAM KHẢO 119 MỞ ĐẦU 1.1 TỔNG QUAN VỀ ẢNH ĐỘNG VÀ XỬ LÝ ẢNH ĐỘNG 1.1.1 Ảnh động Hình ảnh cách tốt để người nhận thức giới xung quanh Con người tồn giới biến đối phát triển, lưu trữ thơng tin hình ảnh tĩnh thơi chưa đủ mà người cịn có nhu cầu lưu trữ lại tồn chuỗi hình ảnh (ảnh động) Phim ảnh đời từ Chương trình truyền hình thực vào năm 1936 đài BBC từ Alexandra Palace Truyền hình màu xuất vào năm 1953 Thiết bị ghi Video xuất vào thập niên 50 Các thiết bị video ban đầu ký thuật tương tự, chuyển dần sang kỹ thuật số Trong kỹ thuật số, hình ảnh lưu trữ dạng ma trận điểm ảnh (pixel), điểm ảnh biểu diễn 1, 2, 4, 8, 16, 24 32 bits Mỗi pixel đặc trưng giá trị độ sáng (mức xám) điểm ảnh Bằng cách biến đổi ma trận này, người ta làm thay đổi tính chất cúa ảnh Kỹ thuật xử lý ảnh số đời từ Xử lý ảnh số ngày trở nên có ý nghĩa Đó nhờ vào phát triền khơng ngừng cơng nghệ chế tạo máy tính số, đặc biệt máy tính cá nhân PC ngày mạnh với giá ngày rẻ Các giải thuật xử lý ảnh số đạt thành tựu tuyệt vời tiến xa Ảnh động (Video) xem chuỗi ảnh tĩnh ghép lại theo đơn vị thòi gian Mỗi ảnh tĩnh video gọi khung hình (frame), hồn tồn xử lý ảnh động dựa việc xử lý loạt hình ảnh tĩnh Cần lưu ý khung ảnh tĩnh chuỗi ảnh có tương quan với theo thời gian – nghĩa thơng tin khung lặp lại khung kế cận; ta dựa vào yếu tố để xử lý ảnh động có hiệu 1.1.2 Các toán xử lý ảnh động Các toán xử lý ảnh động phạm vi áp dụng đa dạng phân loại theo lĩnh vực chủ yếu sau: a Nén video số (compression) Nhằm giảm thiểu lượng thông tin cần thiết mô tả đoạn phim nhằm giảm thiểu thời gian truyền tăng cường khả lưu trữ phim ảnh thiết bị lưu trữ số Các chuẩn nén MPEG-2, MPEG-3 MPEG-4 thành lĩnh vực nghiên cứu b Làm đặc trưng (enhancement) Làm bật số đặc tính chuỗi ảnh nhằm phục vụ cho việc hiển thị phục vụ cho trình phân tích chuỗi ảnh Bài tốn gồm vấn đề làm chi tiết ảnh, khử tượng nhấp nháy (flicker) đoạn phim video cũ Bài toán áp dụng cho việc tăng cường chất lượng hình ảnh thu thập từ vệ tinh nhằm phục vụ cách đắc lực cho tốn xử lý khác c Khơi phục (restoration) Đây toán phát loại bỏ dạng hư hỏng phim ảnh cũ vết hoen ố (blotch), trầy sướt (scratch), kết ma sát phim với thiết bị chiếu, mảng phim bị hoen ố hoá chất chế tạo phim nhựa bị biến chất, lưu trữ lâu ngày – Các vùng hư hỏng mơ tả hiểu vùng bị liệu Hiện có lượng lớn phim tư liệu cũ cần khôi phục số hoá d Nhận dạng đối tượng (Object recognition) Đây toán ứng dụng phổ biến quân sự, an ninh, y học, thiên văn học… nhằm nhận dạng đối tượng ảnh để đưa biện pháp xử lý phù hợp 1.1.3 Các nguyên nhân làm giảm chất lượng ảnh động a Nhiễu Nhiễu có mặt khắp nơi: hệ thống tạo ảnh có thời gian phơi (exposure) sáng hữu hạn nên chịu ảnh hưởng nhiễu thống kê từ photon Nhiễu gây hệ thống quang học khơng hồn hảo (ví dụ nhiễu nhiệt CCD) hoạt động mạch điện tử (ví dụ nhiễu kênh màu đỏ) khuếch đại sử dụng máy ảnh kỹ thuật số Nhiễu gây việc chồng chập tín hiệu lấy mẫu sai số lượng tử q trình số hố Nhiễu tác động từ mơi trường bên ngồi truyền dẫn tín hiệu Có nhiều loại nhiễu khác nhau, loại biểu diễn mơ hình tốn học (phân bố nhiễu) Hình 1.1: Các nguồn làm giảm chất lượng ảnh động ... BÀI TỐN KHƠI PHỤC DỮ LIỆU BỊ MẤT TRONG ẢNH ĐỘNG 1.2.1 Các biện pháp giải tốn khơi phục liệu bị Như trình bày phần trên, liệu bị ảnh động quan tâm luận văn gồm hai dạng : (1) Mất liệu dạng vết... phim chí phục hồi lại cảnh bị liệu đoạn phim Trong xu chung đó, mục đích luận văn xem xét, tìm hiểu, nghiên cứu khôi phục phần liệu bị ảnh động cách sử dụng số giải thuật khôi phục liệu bị dựa... HÌNH GIẢI QUYẾT BÀI TỐN KHƠI PHỤC DỮ LIỆU BỊ MẤT TRONG ẢNH ĐỘNG 1.2.1 Các biện pháp giải tốn khơi phục liệu bị 1.2.2 Tình hình giải tốn khơi phục liệu bị 10 1.3 ĐẶT VẤN ĐỀ VÀ GIỚI