Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)

Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video (Luận án tiến sĩ)

MỤC LỤC LỜI MỞ ĐẦU DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ 10 CHƯƠNG - TỔNG QUAN 12 1.1 Một số phương pháp nén video phổ biến 12 1.1.1 Nén dư thừa không gian 12 1.1.2 Nén dư thừa thời gian 13 1.2 Một số chuẩn lấy mẫu tín hiệu video 13 1.3 Các tiêu chuẩn nén video với bitrate thấp 14 1.3.1 Chuẩn H.263 14 1.3.2 Chuẩn H.265/HEVC 15 1.3.3 Chuẩn H.264/AVC 15 1.4 Hình học Fractal 19 1.4.1 Giới thiệu hình học Fractal 19 1.4.2 Các ứng dụng hình học Fractal 21 1.5 Các cơng trình nghiên cứu liên quan đến Fractal 23 1.5.1 Các cơng trình nghiên cứu ứng dụng Fractal cho nén hình ảnh 23 1.5.2 Các cơng trình nghiên cứu ứng dụng Fractal cho nén video 24 1.6 Kết luận chương 25 CHƯƠNG - NÉN HÌNH ẢNH SỬ DỤNG FRACTAL 26 2.1 Nén hình ảnh sử dụng Fractal Coding 26 2.1.1 Cơ sở lý thuyết nén ảnh sử dụng Fractal Coding 26 2.1.2 Nén ảnh xám sử dụng Fractal Coding 39 2.1.3 Nén ảnh màu sử dụng Fractal 44 2.1.4 Kết nén ảnh xám ảnh màu sử dụng Fractal Coding 47 2.1.5 Nhận xét 60 2.2 Cải tiến chất lượng nén cho Fractal Coding 62 2.2.1 Cải tiến tỷ số nén cho Fractal Coding đề xuất 63 2.2.2 Kết cải tiến tỷ số nén cho Fractal Coding 67 2.2.3 Cải tiến thời gian mã hóa cho Fractal Coding đề xuất 76 2.2.4 Kết cải tiến thời gian mã hóa Fractal Coding 85 2.3 Kết luận chương 89 CHƯƠNG - TÍCH HỢP FRACTAL CODING TRONG QUÁ TRÌNH NÉN INTRA-FRAME CỦA CHUẨN H.264 92 3.1 Tích hợp Fractal Coding intra-frame tiêu chuẩn H.264 92 3.1.1 Phương pháp tích hợp Fractal Coding vào intra-frame H.264 đề xuất 93 3.1.2 Phương pháp cải thiện tỉ lệ nén đề xuất 96 3.1.3 Đề xuất tăng cường mã hóa Fractal với biến đổi wavelet 97 3.1.4 Kết thực nghiệm 99 3.2 Xây dựng mơ hình truyền liệu thời gian thực sử dụng tiêu chuẩn H.264 tích hợp Fractal Coding 105 3.2.1 Phương pháp thực nhúng H.264F vào VLC Player đề xuất 105 3.2.2 Kết nhúng H.264F vào VLC Player 110 3.3 Kết luận chương 112 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 114 TÀI LIỆU THAM KHẢO 116 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 122 LỜI MỞ ĐẦU Nén liệu (data compression) phương pháp mã hóa kỹ thuật số nhằm giảm dung lượng liệu Tùy theo lượng liệu trước sau giải nén, người ta chia nén thành hai dạng: nén không liệu (lossless) nén bị liệu (lossy) [23] Các thuật tốn nén khơng liệu thường dựa giả thuyết dư thừa liệu, từ thể liệu cách xác mà khơng thơng tin Điển hình cho nén khơng liệu kể đến mã hóa RLE (Run-length Encoding), thay loạt liệu liền lặp lại thành liệu đại diện khác Nén liệu làm giảm số lượng bit cách xác định thông tin không cần thiết loại bỏ chúng Một dạng nén liệu phổ biến nén video Một tín hiệu video số thường chứa lượng lớn liệu âm hình ảnh, gặp nhiều khó khăn việc lưu trữ truyền băng thông kênh truyền thực tế Với phát triển khoa học công nghệ nay, cảm biến màu có 16 triệu màu với độ phân giải cao lên đến 4096 x 4096 pixels sản xuất Tuy nhiên, ứng dụng thực tế cần độ phân giải cao dừng lại mức 1920 x 1080 pixels Nguyên nhân vấn đề video có độ phân giải cao 2K 4K tiêu tốn nhiều không gian lưu trữ chiếm dụng nhiều băng thông kênh truyền dẫn Trước nhu cầu sử dụng thông tin hình ảnh đòi hỏi ngày cao mặt chất lượng bị giới hạn không gian lưu trữ băng thơng kênh truyền đòi hỏi cần có giải pháp giải vấn đề Do đó, để tiết kiệm khơng gian lưu trữ băng thơng kênh truyền cần thiết phải nén tín hiệu video Q trình nén video thực thông tin video thường có trật tự, có tổ chức, xem kỹ cấu trúc video phát nhiều loại thông tin dư thừa khác Các thông tin dư thừa nằm video chia thành năm loại Thứ dư thừa không gian Sự dư thừa không gian điểm ảnh khung hình gọi thừa tĩnh Dư thừa mặt không gian chi tiết điểm ảnh giống khung hình, ví dụ nhiều điểm ảnh giống tạo thành bầu trời xanh Thứ hai dư thừa thời gian Sự dư thừa thời gian điểm ảnh khung video gọi thừa động Dư thừa thời gian hình ảnh giống lặp lại liên tục từ khung hình sang khung hình khác Thứ ba dư thừa thơng tin phổ Đó dư thừa phổ mẫu tín hiệu thu từ cảm biến camera Thứ tư dư thừa thống kê Bản thân ký hiệu xuất dòng bit với xác suất xuất khơng đồng Thứ năm dư thừa tâm thị giác Sự dư thừa thông tin không phù hợp với hệ thống thị giác người Các thuật tốn nén video cần giảm lượng thơng tin thừa phương pháp khác để giảm dung lượng video, nhằm tiết kiệm băng thông truyền, giảm chi phí lưu trữ cho trì chất lượng mức chấp nhận Từ yêu cầu đặt để giảm lượng thông tin dư thừa, nhiều phương pháp nén video đề xuất nhằm giảm lượng thông tin dư thừa liệu video tương ướng với năm loại thông tin dư thừa nêu Đó dư thừa khơng gian, dư thừa thời gian, dư thừa thông tin phổ, dư thừa thông tin thống kê dư thừa tâm thị giác Trong phương pháp nén video đề xuất, hai phương pháp áp dụng phổ biến giảm thông tin dư thừa không gian giảm thông tin dư thừa thời gian Phương pháp nén dư thừa không gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt không gian điểm ảnh, từ nâng cao tỷ lệ nén Các tiêu chuẩn nén video theo phương pháp công bố Trong đó, MJPEG đại diện tiêu biểu Phương pháp nén dư thừa thời gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt thời gian cách cố gắng xác định tối đa điểm ảnh giống khung hình video Việc giảm trừ tối đa điểm ảnh giống cho phép tăng tỷ lệ nén video Có nhiều tiêu chuẩn nén video theo phương pháp nén dư thừa thời gian, đó, MPEG tiêu chuẩn tiêu biểu Từ năm 2003, tiêu chuẩn nén đề xuất, tiêu chuẩn H.264 H.264 tiêu chuẩn nén sử dụng phương pháp nén dư thừa thời gian Bản chất tiêu chuẩn H.264 phát triển tiêu chuẩn MPEG, áp dụng thêm kỹ thuật nhằm nâng cao tỷ lệ nén cố gắng cải thiện chất lượng hình ảnh video tương ứng với tỷ lệ nén đạt Năm 2013, tiêu chuẩn phát triển dựa tiêu chuẩn H.264 đề xuất H.265 có tỷ lệ nén gấp đôi so với tiêu chuẩn H.264 mức độ chất lượng hình ảnh video Mục tiêu tiêu chuẩn H.265 chuẩn nén hỗ trợ cho video độ phân giải cực cao 8K UHD kỳ vọng hỗ trợ lên đến độ phân giải 4320P ( 8192 x 4320) Như vậy, hướng phát triển tiêu chuẩn nén video kế thừa phát triển tiêu chuẩn trước để hướng tới hai mục đích Đó nâng cao tỷ lệ nén cải thiện chất lượng hình ảnh sau giải nén tương đương với tỷ lệ nén đạt Hình học Fractal nguồn cảm hứng cho thuật tốn nén mà điển hình thuật tốn nén hình ảnh Lĩnh vực chiếm quan tâm nhiều nhà khoa học giới Việt Nam Nén hình ảnh sử dụng Fractal mang đến tỉ lệ nén vượt trội so với phương pháp mã hóa nén trước mà đảm bảo chất lượng tốt cho hình ảnh Ưu điểm nén hình ảnh sử dụng Fractal tỷ lệ nén cao vượt trội trình giải nén nhanh Tuy nhiên, khối lượng tính tốn lớn q trình nén ảnh làm cho thời gian nén ảnh lớn Từ đó, ý tưởng kết hợp Fractal tiêu chuẩn H.264 hình thành nhằm áp dụng ưu điểm tỷ số nén Fractal vào tiêu chuẩn nén video H.264 áp dụng rộng rãi nỗ lực nhằm tạo tiêu chuẩn nén hình ảnh có tỷ số nén cao, thời gian nén ảnh đảm bảo tương đương với tiêu chuẩn thời có thời gian giải nén ảnh vượt trội Bên cạnh đó, việc nâng cao tỷ số nén ảnh giảm thời gian nén ảnh phương pháp nén ảnh sử dụng Fractal vấn đề cần giải Trong Luận án trình bày việc sử dụng Fractal việc nén hình ảnh video để đưa phương pháp giải vấn đề nêu Ngoài phần mở đầu kết luận, nội dung Luận án bao gồm có chương: Chương 1: Tổng quan: Chương giới thiệu tổng quan lý thuyết liên quan đến hình học Fractal phương pháp nén hình ảnh sử dụng hình học Fractal Nội dung chương giới thiệu lý thuyết liên quan sử dụng nghiên cứu tác giả Chương 2: Phương pháp nén hình ảnh sử dụng Fractal: Nội dung chương giới thiệu phương pháp sử dụng thuật toán Fractal để nén hình ảnh Giới thiệu phương pháp cải tiến tiêu nén hình ảnh sử dụng hình học tỷ số nén thời gian nén trình bày kết thực nghiệm đạt Chương 3: Tích hợp Fractal coding q trình nén Intra-frame tiêu chuẩn H.264: Nội dung chương trình bày phương pháp tích hợp Fractal Coding q trình nén intra-frame tiêu chuẩn H.264 kết thực nghiệm mà tác giả đạt trình nghiên cứu DANH MỤC CÁC TỪ VIẾT TẮT VIẾT TẮT TIẾNG ANH TIẾNG VIỆT AVC Advanced Video Coding Tiêu chuẩn nén video tiên tiến CNN Celular Neural Network Mạng nơ-ron tế bào CPU Central Processing Unit Bộ xử lý trung tâm CR Compression Ratio Tỷ số nén DCT Discrete Cosine Transform Phép biến đổi Cosin rời rạc DSP Digital signal processing Mạch xử lý tín hiệu số FCIC Fractal Color Image Coding Phương pháp nén ảnh màu sử dụng Fractal FIC Fractal Image Compression Nén hình ảnh sử dụng Fractal FPGA Field programmable Gate Array Mảng cổng lập trình dạng trường GOP Group of Picture Nhóm ảnh H.264 H.264/MPEG-4 Part 10 or AVC Một tiêu chuẩn nén video HEVC High Efficiency Video Coding Tiêu chuẩn nén video hiệu cao HV Horizontal vertical Partition Phân hoạch theo không gian IFS Iterated Function System Hệ thống chức lặp JPEG Joint Photographic Experts Group Phương pháp nén ảnh NAL Network abstraction layer PIFS Partition Iterated Function System Hệ thống chức lặp phân mảnh PSNR Peak signal-to-noise ratio Tỷ số tín hiệu cực đại nhiễu RIFS Recurrent Iterated Function System Hệ thống chức lặp đệ quy RLE Run-length Encoding Thuật toán nén liệu lossless RMS Root mean square Giá trị trung bình bình phương SDK Services Development Kit Bộ phát triển dịch vụ SFC Seperated Fractal Coding Mã hóa Fractal thành phần SoC System on Chip Hệ thống tích hợp chip UHD Ultra high definition television Truyền hình độ phân giải siêu cao VCL Video Coding Layer Lớp mã hóa video DANH MỤC CÁC BẢNG 2.1 Phần mềm sử dụng cho bo mạch FPGA …………………………………… 41 2.2 Tài nguyên hệ thống sử dụng thực thi …………………………… 42 2.3 Tập miền với kích thước dải khác số lượng miền ……………… 46 2.4 So sánh hiệu suất hoạt động tảng FPGA DSP theo phương pháp Fisher ……………………………………………………………………… 47 2.5 Hiệu suất PSNR thời gian mã hóa ……………………………………… 48 2.6 Các thơng số nén Fractal hình Lena …………………………………… 50 2.7 Kết FCIC hình ảnh Lena …………………………………………… 50 2.8 Các ảnh gốc lựa chọn tính chất ảnh ………………………………… 51 2.9 Kết FCIC hình ảnh ảnh Fruit ……………………………………… 51 2.10 Kết FCIC hình ảnh ảnh Leaves …………………………………… 52 2.11 Kết FCIC hình ảnh ảnh Natural …………………………………… 53 2.12 So sánh tỷ số nén ảnh Fruit, Leaves, Natural ………………………… 53 2.13 So sánh tỷ số PSNR ảnh Fruit, Leaves, Natural ……………………… 54 2.14 So sánh tỷ số nén PSNR Fractal JPEG ảnh Lena ……… 55 2.15 So sánh tỷ số nén PSNR Fractal JPEG ảnh Fruit ………… 55 2.16 So sánh tỷ số nén PSNR Fractal JPEG ảnh Leaves ……… 56 2.17 So sánh tỷ số nén PSNR Fractal JPEG ảnh Natural ……… 57 2.18 Bảng kết so sánh thực nén ảnh Fractal JPEG ……… 57 2.19 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ :4 : ……… 59 2.20 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:2 ……… 59 2.21 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ 4:2:0 ………… 60 2.22 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:0 ……… 60 2.23 Nén ảnh màu Fractal ảnh Lena ……………………………………………… 67 2.24 Nén ảnh màu Fractal ảnh Parrot …………………………………………… 68 2.25 Nén ảnh màu Fractal ảnh One Tiger ……………………………………… 69 2.26 Nén ảnh màu Fractal ảnh Two Tiger ……………………………………… 69 2.27 Nén ảnh màu Fractal ảnh Flower …………………………………………… 70 2.28 Nén ảnh màu Fractal ảnh Fruit ……………………………………………… 70 2.29 Nén ảnh màu Fractal ảnh Balloon ………………………………………… 71 2.30 Bảng 2.30: Nén ảnh màu Fractal ảnh Natural ……………………………… 71 2.31 Kết giải nén việc điều chỉnh RMS ………………………………… 73 2.32 Kết FCIC với luồng xử lý ………………………………………… 83 2.33 Kết FCIC với hai luồng xử lý ………………………………………… 84 2.34 Kết FCIC với bốn luồng xử lý ………………………………………… 85 2.35 So sánh theo tỷ lệ phần trăm luồng, luồng luồng …………… 85 2.36 Kết FCIC với luồng, luồng, luồng xử lý ảnh Parrot, Flower, Natural, One-tiger, Two-tiger, Red-tree Roses ………………………… 86 3.1 So sánh chất lượng video H.264 H.264F ……………………… 94 3.2 Thông số video kiểm tra …………………………………………… 96 3.3 Tỷ số nén H.264 H.264F video Foreman …………………… 97 3.4 Tỷ số nén H.264 H.264F video Bridge ……………………… 97 3.5 Tỷ số nén H.264 H.264F video Bridge-Far ………………… 97 3.6 Tỷ số nén H.264 H.264F video Grandma …………………… 97 3.7 Tỷ số nén H.264 H.264F video Highway …………………… 98 3.8 So sánh PSNR ảnh chuẩn ảnh fractal video Foreman ……… 98 3.9 So sánh PSNR ảnh chuẩn ảnh fractal video Bridge ………… 99 3.10 So sánh PSNR ảnh chuẩn ảnh fractal video Bridge Far ……… 99 3.11 So sánh PSNR ảnh chuẩn ảnh fractal video Grandma ………… 100 3.12 So sánh PSNR ảnh chuẩn ảnh fractal video highway ……… 100 3.13 Bitrate so sánh nén Fractal H.264 ………………………………… 101 3.14 Thông số video thử nghiệm …………………………………………… 107 3.15 So sánh chạy video Fractal video H.264 …………………………… 107 DANH MỤC CÁC HÌNH VẼ 1.1 Quy trình nén dư thừa khơng gian ………………………………………… 12 1.2 Nén dư thừa thời gian ……………………………………………………… 13 1.3 Quy trình mã hóa giải mã video chuẩn H.264 …………………………… 16 1.4 Phân chia Macroblock video ………………………………………… 16 1.5 Cấu trúc dòng bit H.264 ……………………………………………… 17 1.6 Sơ đồ mã hóa chuẩn H.264 ………………………………………… 18 1.7 Một số hình dạng Fractal …………………………………………… 19 1.8 Đồ thị Mandelbrot ………………………………………………………… 20 2.1 Tam giác Sierpinski ………………………………………………………… 26 2.2 Ảnh Sunset với miền vùng tìm thấy …………………………… 34 2.3 Sơ đồ khối trình mã hóa FIC ……………………………………… 36 2.4 Sơ đồ khối trình giải mã FIC ……………………………………… 37 2.5 Hình ảnh Lena theo phân hoạch Quadtree ………………………………… 38 2.6 Hình ảnh lena với phân hoạch HV ………………………………………… 39 2.7 Xử lý hoạt động nén ảnh Fractal …………………………………………… 43 2.8 Module nén ảnh màu Fractal ……………………………………………… 44 2.9 Các thành phần ảnh màu ………………………………………………… 45 2.10 Các chế độ lấy mẫu tín hiệu ………………………………………………… 45 2.11 Mơ hình mã hóa Fractal triển khai FPGA ……………………………… 46 2.12 Ảnh chuẩn ảnh giải nén Lena với ET = 6, RET = 16 ……………………… 49 2.13 Ảnh chuẩn ảnh giải nén Lena với ET = 6, RET = 20 ……………………… 49 2.14 Định dạng ảnh PPM ………………………………………………………… 76 2.15 Phân phối trật tự hình ảnh vào vùng 16x16 ………………………………… 76 2.16 Thuật toán FCIC đề xuất ……………………………………………… 77 2.17 Trình tự nhớ stack đề xuất ……………………………………… 78 2.18 Vi tri ̣ ́ domain có xung quanh range …………………………………… 79 2.19 Giảm liệu cách tạo trung bình cộng bốn giá trị điểm ảnh ……… 79 2.20 Ví dụ ánh xạ miền vào vùng ………………………………………… 80 2.21 Định dạng nhớ vùng ………………………………………………… 81 10 ... sánh PSNR ảnh chuẩn ảnh fractal video Bridge ………… 99 3.10 So sánh PSNR ảnh chuẩn ảnh fractal video Bridge Far ……… 99 3.11 So sánh PSNR ảnh chuẩn ảnh fractal video Grandma ………… 100 3.12 So sánh... 2.25 Nén ảnh màu Fractal ảnh One Tiger ……………………………………… 69 2.26 Nén ảnh màu Fractal ảnh Two Tiger ……………………………………… 69 2.27 Nén ảnh màu Fractal ảnh Flower …………………………………………… 70 2.28 Nén ảnh màu Fractal. .. so sánh thực nén ảnh Fractal JPEG ……… 57 2.19 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ :4 : ……… 59 2.20 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:2 ……… 59 2.21 So sánh hình ảnh nén