Bài toán về xử lý ảnh và nén ảnh JPEG2000

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH : ĐIỆN TỬ VIỄN THÔNG BÀI TOÁN VỀ XỬ LÝ ẢNH VÀ NÉN ẢNH JPEG2000 PHAN VIỆT CƯỜNG HÀ NỘI 2006 MỤC LỤC CHƯƠNG : CƠ SỞ BIỂU DIỄN ẢNH 1.1 Một số khái niệm ảnh ……………………………………… 1.2 Các định dạng xử lý ảnh ………………………… 1.2.1 Định dạng ảnh IMG …………………………………………… 1.2.2 Định dạng ảnh PCX …………………………………………… 1.2.3 Định dạng ảnh TIFF …………………………………………… 1.2.4 Định dạng ảnh GIF …………………………………………… Thay đổi nhịp lấy mẫu ………………………………………… 10 1.3.1 Bộ phân chia …………………………………………………… 10 1.3.2 Bộ lọc nội suy ………………………………………………… 11 Điều kiện để khôi phục hoàn hảo ……………………………… 13 1.3 1.4 CHƯƠNG 2: TỔNG QUAN CÁC BÀI TOÁN VỀ XỬ LÝ ẢNH 2.1 Mở đầu …………………………………………………………… 19 2.2 Bài toán nâng cao chất lượng ảnh ………………………………… 19 2.2.1 Tăng cường ảnh ………………………………………………… 19 2.2.1.1 Cải thiện ảnh dùng toán tử điểm ……………………………… 20 2.2.1.2 Cải thiện ảnh dùng tốn tử khơng gian ……………………… 22 2.2.2 Khôi phục ảnh ………………………………………………… 23 2.3 Phát đường biên …………………………………………… 26 2.3.1 Phương pháp Gradient ………………………………………… 27 2.3.2 Phương pháp Laplace …………………………………………… 29 2.4 Bài toán phân vùng ảnh …………………………………………… 30 2.5 Bài toán nhận dạng ảnh …………………………………………… 32 2.6 Bài toán nén ảnh ………………………………………………… 33 2.6.1 Biến đổi ảnh …………………………………………………… 34 2.6.2 Lượng tử hoá …………………………………………………… 34 2.6.3 Mã hoá Entropy ………………………………………………… 35 2.7 Kết luận …………………………………………………………… 45 CHƯƠNG : HỆ THỐNG NÉN ẢNH TĨNH JPEG2000 3.1 Giới thiệu ………………………………………………………… 46 3.2 Đặc điểm – yêu cầu - ứng dụng ………………………………… 47 3.3 Kiến trúc tiêu chuẩn ………………………………… 51 3.3.1 Tiling …………………………………………………………… 53 3.3.2 Dịch chiều biến đổi thành phần ảnh …………………… 55 3.3.3 Biến đổi wavelet ……………………………………………… 58 3.3.3.1 Định nghĩa biến đổi wavelet ………………………………… 58 3.3.3.2 Biến đổi wavelet ảnh JPEG2000 ……………………… 61 3.3.3.3 Các phương pháp thực biến đổi wavelet ………………… 63 3.3.4 Lượng tử hoá …………………………………………………… 66 3.3.5 Mã hoá Entropy ………………………………………………… 67 3.3.5.1 Mã hoá Code-Blocks ………………………………………… 67 3.3.5.2 Mã hoá theo ngữ cảnh ……………………………………… 69 3.3.5.3 Mã hoá MQ: Mã hoá Entropy phụ thuộc ngữ cảnh …………… 78 3.3.6 Gói lớp ……………………………………………………… 83 3.3.3.6.1 Cách chia gói lớp ………………………………………… 83 3.3.3.6.2 Ước lượng đường cong tỉ lệ méo …………………………… 84 3.4 Ví dụ nén ảnh JPEG2000 ………………………………………… 87 CHƯƠNG 4: KẾT QUẢ SO SÁNH VÀ MÔ PHỎNG 4.1 Kết so sánh ………………………………………………… 93 4.2 Mô ………………………………………………………… 97 KẾT LUẬN VÀ KIẾN NGHỊ 99 TÀI LIỆU THAM KHẢO CÁC TỪ VIẾT TẮT AGP Alphabet and Group Partitioning APSG Alphabet Partitioning and Sample Grouping CCD Charge Coupled Device CU Clean-Up DCT Discrete Cosine Transform DWT Discrete Wavelet Transform EBCOT Embedded Block Coding with Optimal Truncation EZBC Embedded ZeroBlock Coding and context modelling GIF Graphics Interchanger Format ICT Irrversible Component Transformation JPEG Joint Photographic Experts Group RCT Reversible Component Transformation RLE Run Length Encoded LSB Least Significant Bit MSB Most Significant Bit MSE Mean Square Error MR Magnitude Refinement PCM Pulse Code Modulation PSF Point Spread Function PSNR Peak Signal to Noise Ratio R-D Rate - Distortion RWT Reversible Wavelet Transform ROI Region of Interest SNR Signal to Noise Ratio SP Significance Propagation bpp bits per pixel bps bits per second ppi pixels per inch MỞ ĐẦU Từ có ảnh đen trắng, máy ảnh màu đến máy ảnh số đặc biệt có đời truyền hình đen trắng, truyền hình màu, tiếp đến truyền hình số cơng nghệ xử lý ảnh coi trọng nhằm nâng cao chất lượng ảnh, hỗ trợ nghiên cứu ứng dụng lĩnh vực sống như: y tế, bảo mật, nhận dạng, quân … Cùng với phát triển thiết bị thu ảnh công nghệ xử lý ảnh phát triển mạnh mẽ để đáp ứng nhu cầu ngày cao người Ngày nay, thiết bị điện tử, quang điện tử số hố mạnh mẽ cơng nghệ xử lý ảnh truyền thống trước thay công nghệ xử lý ảnh số Đề tài xuất phát từ yêu cầu thực tế với kiến thức học nghiên cứu trường quan làm việc tơi chọn đề tài “BÀI TỐN VỀ XỬ LÝ ẢNH VÀ NÉN ẢNH JPEG2000” Đề tài tiến hành với mục đích nghiên cứu sở lý thuyết, kỹ thuật xử lý ảnh số, đặc biệt đề tài sâu vào kỹ thuật nén ảnh JPEG2000 IEEE ITU nghiên cứu bước đầu thử nghiệm ứng dụng số lĩnh vực hệ điều hành Windows Vista Trên sở lý thuyết, đề tài cịn phần mơ cho thấy hiệu nén ảnh JPEG2000 với định dạng nén ảnh khác JPEG, GIF Nội dung đề tài chia thành chương sau: Chương 1: Cơ sở biểu diễn ảnh: đưa số định dạng file ảnh phương pháp lọc số nhiều nhịp ứng dụng wavelet mã hố băng điều kiện để khơi phục hồn hảo bên phân tích bên tổng hợp băng Chương 2: Tổng quan toán xử lý ảnh: đưa số toán tác động lên ảnh nhằm đạt mục đích mong muốn như: nâng cao chất lượng ảnh, khôi phục ảnh, phát đường biên ảnh, phân vùng ảnh, nhận dạng ảnh, nén ảnh Chương 3: Hệ thống nén ảnh tĩnh JPEG2000: sâu vào kỹ thuật nén ảnh từ ảnh ban đầu đến dịng bít liệu đầu Phương pháp nén ảnh JPEG2000 dựa kỹ thuật biến đổi wavelet mã hoá số học Arithmetic với mã hoá khối nhúng cắt cụt tối ưu EBCOT Chương 4: Kết so sánh mô phỏng: đưa số kết luận so sánh chủ quan khách quan nén ảnh JPEG2000 JPEG phương pháp nén ảnh tổn hao không tổn hao Mô nén JPEG2000 đánh giá kết luận thân JPEG2000 Trong khuôn khổ đề tài với quỹ thời gian không cho phép số khó khăn việc cập nhật tài liệu hạn chế thân nên chắn đề tài khơng tránh khỏi thiếu sót, kính mong thầy đồng nghiệp đóng góp bảo, phê bình để đề tài ngày hồn thiện Em xin chân thành cảm ơn thầy giáo TS Nguyễn Văn Khang tận tình hướng dẫn bảo em thời gian thực đề tài ! Em xin chân thành cảm ơn ! Hà Nội, 4/11/2006 Tác giả Phan Việt Cường Chương 1: Cơ sở biểu diễn ảnh CHƯƠNG 1: CƠ SỞ BIỂU DIỄN ẢNH 1.1 Một số khái niệm ảnh Hình 1.1 : Ảnh số  Pixel (Picture Element) phần tử ảnh: Ảnh thực tế ảnh liên tục không gian giá trị độ sáng Để xử lý ảnh máy tính cần thiết phải tiến hành số hố ảnh Trong q trình số hố, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thơng qua q trình lấy mẫu (rời rạc hóa khơng gian) lượng hoá thành phần giá trị mà nguyên tắc mắt thường không phân biệt hai điểm kề Trong trình này, người ta sử dụng khái niệm Picture element mà ta quen gọi hay viết Pixel - phần tử ảnh Như ảnh tập hợp Pixel tạo thành ma trận ảnh x(i,j) với i j số theo chiều dọc ngang ma trận liệu ảnh, giá trị x kết màu thời điểm xét  Ảnh xám: ảnh mà pixel biểu thị giá trị mức xám  Ảnh màu : ảnh mã pixel vector màu (R, G, B) với R, G, B biểu diễn giá trị màu Red, Green, Blue 1.2 Các định dạng ảnh xử lý ảnh Trang - - Chương 1: Cơ sở biểu diễn ảnh Ảnh thu sau q trình số hố có nhiều loại khác nhau, phụ thuộc vào kỹ thuật số hố ảnh Như nói phần trên, ta chia làm loại: ảnh đen trắng ảnh màu ảnh thu nhận lưu trữ tệp để phục vụ cho bước xử lý Dưới trình bày số định dạng ảnh thơng dụng hay dùng trình xử lý ảnh 1.2.1 Định dạng ảnh IMG Ảnh IMG ảnh đen trắng Phần đầu ảnh IMG có 16 bytes chứa thông tin cần thiết : - byte đầu: dùng để đánh dấu định dạng nh IMG Giá trị byte viết dạng Hexa 0x0001 0x0008 0x0001 - byte tiếp theo: chứa độ dài mẫu tin Đó độ dài dãy byte kề liền mà dãy lặp lại số lần Số lần lặp lưu byte đếm Nhiều dãy giống lưu byte - byte tiếp: mô tả kích cỡ pixel - byte tiếp : số pixel dòng ảnh - byte cuối: số dòng ảnh ảnh Ảnh IMG nén theo dòng Mỗi dịng bao gồm gói (pack) Các dịng giống nén thành gói Có loại gói sau: - Loại 1: Gói dịng giống nhau: Quy cách gói tin sau: 0x00 0x00 0xFF Count Ba byte đầu cho biết số dãy giống nhau; byte cuối cho biết số dòng giống - Loại 2: Gói dãy giống Quy cách gói tin sau: 0x00 Count Byte thứ hai cho biết số dãy giống nén gói Độ dài dãy ghi đầu tệp Trang - - Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 n Di i − Dik Si = max k > ni R k − R ni i i Gọi S i đường cong tỷ lệ méo khối mã hoá i Khối mã hoá với đường R R cong tỷ lệ méo đốc lựa chọn điểm cắt cụt cập nhật là:  D ni − D k  i new ni = arg  i = Si   k  n k > ni  Ri − Ri i  ninew n Một tổng bit Ri − Ri i gửi dòng bit đầu ra, dẫn đến giảm tỷ lệ ni ninew méo Di − Di Có thể dễ dàng chứng minh giảm méo lớn thu ninew n từ bit Ri − Ri i nhận Bước lặp lặp lại tỷ lệ mã hố địi hỏi B tìm 1.4 Ví dụ nén ảnh JPEG2000 Để hiểu rõ vế cách nén JPEG2000, tơi trình bày chi tiết trình nén ảnh Tile sau biến đổi thành phần dịch chiều sau: Level Wavelet Image Original Image Wavelet Image Quantizatio 120 128 130 105 78 23 150 10 218 89 12 45 98 104 38 204 239 89 78 198 19 178 192 37 109 45 23 106 76 12 … … 28 120 238 129 109 37 … … 129 110 98 123 67 … 203 Pixel Representation DW 9283 8785 456 148 103 10 5721 3061 -440 621 70 -986 49 40 19 2083 29 -38 61 108 23 37 31 51 29 -36 45 22 20 12 -19 …… …… -3 -7 11 … … -3 … … -2 … … -16 10 3 0 -2 18 0 1 0 12 0 …… …… 0 -0 -0 Wavelet Coefficients Hình 3.32: Mơ tả q trình nén ảnh từ ảnh gốc -> lượng tử hoá Trang - 87 - … … … … … -0 -0 0 … Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 Sau lượng tử hoá hệ số nhị phân hoá sở mã hoá Pass, phân bit thành loại mã Significance, refinement, clean-up Example : 10 = +1010 = +0001 = +0011 -7 = -0111 bit plane1 bit plane2 bit plane3 bit plane4 1 0 0 0 1 1 Hình 3.33: Cách chia hệ số mặt phẳng bit thành qua mặt phẳng qua mã this pass Sau đó, xác định bit thuộc mã pass nào, thực quét thành mặt phẳng bit có trọng số giảm dần từ MSB đến LSB Ví dụ sau xin trình bày việc mã hố mặt phẳng bit Hình 3.34 : Hai mặt phẳng bit trọng số cao ảnh Trang - 88 - Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 Bước xác định bit thuộc mã pass nào, ta thực việc mã hoá dựa sở mã pass ngữ cảnh bit Tại mặt phẳng có trọng sơ cao nhất, tất bit không trọng số nên mã hoá theo mã Clean-up Tiếp theo, mặt bit có trọng số cao thứ hai Mã hố significance Trang - 89 - Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 Các bit lại mã hoá pass Refinement clean-up Trang - 90 - Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 Các bit sau mã hoá xong tập hợp lại thành gói bit Packet lớp Layer Trang - 91 - Chương 3: Hệ thống nén ảnh tĩnh JPEG2000 Hình 3.35: Cấu trúc dịng bit mã hố Hình 3.36: Kết giải mã Trang - 92 - Chương 4: Kết so sánh mô CHƯƠNG : KẾT QUẢ SO SÁNH V À MÔ PHỎNG 4.1 Kết so sánh  Hiệu thuật toán nén ảnh tổn hao Trên hình 4.1 đưa quan hệ tỷ lệ méo thu nhờ thay đổi phương pháp nén tăng cường ảnh Phương pháp nén tổn hao tốt phương pháp nén JPEG xấp xỉ khoảng 2dB tỉ lệ bit Hiệu phương pháp không tổn hao thấp phương pháp nén tổn hao sử dung lọc biến đổi wavelet thuận nghịch Hình 4.1: Kết PSNR thu nhờ phương pháp nén khác (J2k-R phương pháp nén không tổn hao, J2K-NR phương pháp nén tổn hao va JPEG) Hiệu phương pháp nén JPEG2000 đánh giá chủ quan sở quan sát ảnh cô gái (ảnh chân dung) sau giải nén tốc độ bit khác tốc độ bit theo hai tiêu chuẩn nén JPEG JPEG2000, hình 4.2 kết khơi phục ảnh tốc độ 0.125bpp hình 4.3 kết khơi phục tốc độ 0.25bpp, Trang - 93 - Chương 4: Kết so sánh mơ Hình 4.2: Khơi phục ảnh nén tốc độ 0.125bpp theo phương pháp a JPEG b JPEG2000 Hình 4.3: Khơi phục ảnh nén tốc độ 0.25bpp theo phương pháp nén a JPEG b.JPEG2000 Kết khôi phục ảnh phong cảnh theo hai phương pháp JPEG JPEG2000 tốc độ bit 0.5bpp Trang - 94 - Chương 4: Kết so sánh mơ Hình 4.4: khơi phục ảnh nén tốc độ 0.5 theo phương pháp nén a JPEG b JPEG2000 Nhận xét, cở sở thông kê người ta ước lượng tiêu chuẩn JPEG2000 có hệ số nén tốt tiêu chuẩn JPEG xấp xỉ 10% đến 20% Quan sát kích dung lượng file ảnh nén theo tiêu chuẩn JPEG (dựa sở DCT mã hoá Huffman) ảnh JPEG2000 ta có : kích thước file ảnh JPEG2000 trnng bình nhỏ 11% so với tiêu chuẩn JPEG tốc độ bit 1bpp; nhỏ 18% tốc độ bit 0.75bpp; 36% tốc độ bit 0.5bpp 53% tốc độ bit 0.25bpp  Kết nhận lọc khác HÌnh 4.5: So sánh hiệu nén với lọc khác Trang - 95 - Chương 4: Kết so sánh mô Kết PSNR thu với lọc khác thực chuẩn nén JPEG2000 ảnh thể hình 4.5, ý hình 4.5 bao gồm lọc nguyên 13/7 5/3 Rõ ràng kết nhận gần Do vấn đề phức tạp tính tốn nên tiêu lọc 9/7 sử dụng tiêu chuẩn nén ảnh JPEG2000 tổn hao So sánh lọc khác cho mã hố khơng tổn hao lọc ngun 2/10, 13/7, 5/3 thể hình 4.6 Kết cho thấy kích thước file khơng khác mấy, nguời ta chọn lọc 5/3 cho tiêu chuẩn nén ảnh JPEG2000 khơng tổn hao Hình 4.6: Hiệu mã hố không tổn hao lọc nguyên  Chú ý Thuật toán biến đổi dựa sở DCT thể làm số chức JPEG2000 mã hố vùng quan tâm ROI, dịng bit nhúng Tuy nhiên mã hố dựa sở DCT khơng thể thực tốt tốc độ bit thấp trừ ảnh sau giải mã hậu xử lý (tăng cường ảnh, khôi phục ảnh) Để thực mục đích thay mã hố DCT wavelet thuật toán đưa phức tạp nhiều mã hiệu nén không tốt tiêu chuẩn JPEG2000 Tiêu chuẩn JPEG2000 sử dụng mã hoá băng loại bỏ tượng Blocking tốc độ bit trung bình, cở sở có chiều dài cỏ thể biến đổi Các Trang - 96 - Chương 4: Kết so sánh mô hàm cở sở biểu thị ảnh (tần số thấp) hàm cở sở ngắn biểu diễn vùng kết cấu texture Với tần số thấp, mã hoá wavelet chịu ảnh hưởng tượng vòng (ringing) tần số cao (vùng kết cấu bị xoá) Các tượng ringing xuất đáng kể xung quanh cạnh với cường độ cao 4.2 Phần mô Trên sở lý thuyết xin mô chất lượng nén ảnh JPEG2000 theo phương pháp chủ quan ngơn ngữ lập trình VC++ sau:  Ảnh chân dung: Ảnh gốc có kích thước 52K (file : JPEG) Thực nén ảnh thành hai FILE ảnh : JPEG JPEG2000 với kích thước 4K Trên hình ta ta thấy ảnh JPEG xuất tượng Block ảnh bị méo Còn ảnh JPEG2000 mức chấp nhận Hình 4.7 : mơ nén ảnh chân dung  Ảnh phong cảnh: (lấy ảnh chụp thư viện điện tử - trường đại học Bách Khoa, Hà Nội) với kích thước ảnh gốc 170K, thực tương tự giảm Trang - 97 - Chương 4: Kết so sánh mơ kích thước ảnh xuống 6.5K ta thấy ảnh JPEG tượng Block cịn có tượng sai màu, ảnh JPEG2000 bắt đầu xuất tượng vòng “ringing” mức chấp nhận Hình 4.8: mơ nén ảnh phong cảnh Trang - 98 - KẾT LUẬN VÀ KIẾN NGHỊ JPEG2000 tiêu chuẩn cho nén ảnh tĩnh, sử dụng năm tới Tiêu chuẩn nén ảnh JPEG2000 đưa kỹ thuật nén dựa sở wavelet mã hoá số học Arithmetic Ở JPEG2000 sử dụng mặt phẳng trọng số với mặt phẳng bit có trọng số giảm dần mặt phẳng bit trọng số lớn cuối mặt phẳng bit có trọng số thấp dựa cở sở mặt phẳng trọng số bit này, JPEG2000 cho phép nén ảnh với chất lượng khác khả nén cao so với tiêu chuẩn nén Ngồi JPEG2000 cịn có số tính so với tiêu chuẩn nén như: vùng quan tâm ROI tức cho phép nén ảnh với chất lượng vùng quan tâm cao so với vùng khác ảnh, khả tăng cường ảnh chất lượng ảnh độ không gian ảnh, tạo ảnh linh hoạt chất lượng không gian Truyền môi trường lỗi cao so với tiêu chuẩn nén Trên sở đó, tiêu chuẩn JPEG2000 góp phần khơng nhỏ ngành Viễn Thơng tương lai, cho phép truyền hình ảnh có kích thước nhỏ với khả lỗi thấp cho mạng di động WI-FI, hệ thống internet, khả lưu trữ … Trong phần đồ án này, sâu vào kỹ thuật nén ảnh tĩnh thuộc phần ảnh JPEG2000 sở để phát triển tiếp nguyên cứu ứng dụng nén ảnh lĩnh vực nén bảo mật, truyền dẫn, xin đề xuất số hướng phát triển đề tài sau: - Nghiên cứu hệ thống nén ảnh động thay JPEG JPEG2000 MPEG - Hệ thống bảo mật watermarking bảo vệ quyền - Nghiên cứu truyền ảnh mơi trường có lỗi cao TÀI LIỆU THAM KHẢO [1] Nguyễn Quốc Trung - Xử lý tín hiệu lọc số tập 1và tập Nhà xuất khoa học kỹ thuật, Hà Nội - 2002 [2] Ths Lương Mạnh Bá, PTS Nguyễn Thanh Thuỷ - Nhập môn xử lý ảnh số Nhà xuất khoa học kỹ thuật, Hà Nội – 1999 [3] C Christopoulos, A Skodras, and T Ebrahimi, “The JPEG2000 still image coding system:an overview”, IEEE Transactions on Consumer Electronics, vol 46, no.4,pp 1103-1127,2000 [4] D Taubman, “High performance scalable image compression with EBCOT”, IEEE Trans On Image Processing, Vol 9, No 7, pp 11581170, Jul 2000 [5] M.D Adams, “The JPEG-2000 Still Image Compression Standard”, ISO/IEC JTC1/SC29/WG1 (ITU-T SG8), 2001 [6] MIT OpenCourseWare | Mathematics | 18.327 Wavelets, Filter Banks and Applications, Spring 2003 | Lecture Notes (http://ocw.mit.edu/OcwWeb/Mathematics/18-327Wavelets Filter-Banksand-ApplicationsSpring2003/LectureNotes/index.htm) [7] Jin Li, “Image Compression - the Mechanics of the JPEG 2000”, Microsoft Research, Signal Processing [8] Jaideva C.Goswami, Andrew K.Chan, “Fundamentals of Wavelets”, A Wiley-Interscience Publication [9] S.Y Choo, G Chew, “JPEG 2000 and Wavelet Compression”, http://www-ise.stanford.edu/class/psych221/00/shuoyen/ U 19T T U ... Tổng quan toán xử lý ảnh CHƯƠNG 2: TỔNG QUAN CÁC BÀI TOÁN VỀ XỬ LÝ ẢNH 2.1 Mở đầu Xử lý ảnh trình tác động vào ảnh để mang lại kết mong muốn Một trình ảnh thông thường sau Thu nhận ảnh A/D DSP... Ảnh nén Hình 2.11: Sơ đồ tổng quát trình nén ảnh Phương pháp nén ảnh:  Nén khơng tổn hao: phương pháp nén mà sau giải nén ta thu xác liệu gốc Trang - 33 - Chương : Tổng quan toán xử lý ảnh Nén. .. Tổng quan toán xử lý ảnh: đưa số toán tác động lên ảnh nhằm đạt mục đích mong muốn như: nâng cao chất lượng ảnh, khôi phục ảnh, phát đường biên ảnh, phân vùng ảnh, nhận dạng ảnh, nén ảnh Chương