Nghiên cứu ứng dụng kỹ thuật Fractal vào nén trong ảnh video

MỤC LỤC LỜI MỞ ĐẦU DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ 10 CHƯƠNG - TỔNG QUAN 12 1.1 Một số phương pháp nén video phổ biến 12 1.1.1 Nén dư thừa không gian 12 1.1.2 Nén dư thừa thời gian 13 1.2 Một số chuẩn lấy mẫu tín hiệu video 13 1.3 Các tiêu chuẩn nén video với bitrate thấp 14 1.3.1 Chuẩn H.263 14 1.3.2 Chuẩn H.265/HEVC 15 1.3.3 Chuẩn H.264/AVC 15 1.4 Hình học Fractal 19 1.4.1 Giới thiệu hình học Fractal 19 1.4.2 Các ứng dụng hình học Fractal 21 1.5 Các công trình nghiên cứu liên quan đến Fractal 23 1.5.1 Các công trình nghiên cứu ứng dụng Fractal cho nén hình ảnh 23 1.5.2 Các công trình nghiên cứu ứng dụng Fractal cho nén video 24 1.6 Kết luận chương 25 CHƯƠNG - NÉN HÌNH ẢNH SỬ DỤNG FRACTAL 26 2.1 Nén hình ảnh sử dụng Fractal Coding 26 2.1.1 Cơ sở lý thuyết nén ảnh sử dụng Fractal Coding 26 2.1.2 Nén ảnh xám sử dụng Fractal Coding 39 2.1.3 Nén ảnh màu sử dụng Fractal 44 2.1.4 Kết nén ảnh xám ảnh màu sử dụng Fractal Coding 47 2.1.5 Nhận xét 60 2.2 Cải tiến chất lượng nén cho Fractal Coding 62 2.2.1 Cải tiến tỷ số nén cho Fractal Coding đề xuất 63 2.2.2 Kết cải tiến tỷ số nén cho Fractal Coding 67 2.2.3 Cải tiến thời gian mã hóa cho Fractal Coding đề xuất 76 2.2.4 Kết cải tiến thời gian mã hóa Fractal Coding 85 2.3 Kết luận chương 89 CHƯƠNG - TÍCH HỢP FRACTAL CODING TRONG QUÁ TRÌNH NÉN INTRA-FRAME CỦA CHUẨN H.264 92 3.1 Tích hợp Fractal Coding intra-frame tiêu chuẩn H.264 92 3.1.1 Phương pháp tích hợp Fractal Coding vào intra-frame H.264 đề xuất 93 3.1.2 Phương pháp cải thiện tỉ lệ nén đề xuất 96 3.1.3 Đề xuất tăng cường mã hóa Fractal với biến đổi wavelet 97 3.1.4 Kết thực nghiệm 99 3.2 Xây dựng mô hình truyền liệu thời gian thực sử dụng tiêu chuẩn H.264 tích hợp Fractal Coding 105 3.2.1 Phương pháp thực nhúng H.264F vào VLC Player đề xuất 105 3.2.2 Kết nhúng H.264F vào VLC Player 110 3.3 Kết luận chương 112 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 114 TÀI LIỆU THAM KHẢO 116 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 122 LỜI MỞ ĐẦU Nén liệu (data compression) phương pháp mã hóa kỹ thuật số nhằm giảm dung lượng liệu Tùy theo lượng liệu trước sau giải nén, người ta chia nén thành hai dạng: nén không liệu (lossless) nén bị liệu (lossy) [23] Các thuật toán nén không liệu thường dựa giả thuyết dư thừa liệu, từ thể liệu cách xác mà không thông tin Điển hình cho nén không liệu kể đến mã hóa RLE (Run-length Encoding), thay loạt liệu liền lặp lại thành liệu đại diện khác Nén liệu làm giảm số lượng bit cách xác định thông tin không cần thiết loại bỏ chúng Một dạng nén liệu phổ biến nén video Một tín hiệu video số thường chứa lượng lớn liệu âm hình ảnh, gặp nhiều khó khăn việc lưu trữ truyền băng thông kênh truyền thực tế Với phát triển khoa học công nghệ nay, cảm biến màu có 16 triệu màu với độ phân giải cao lên đến 4096 x 4096 pixels sản xuất Tuy nhiên, ứng dụng thực tế cần độ phân giải cao dừng lại mức 1920 x 1080 pixels Nguyên nhân vấn đề video có độ phân giải cao 2K 4K tiêu tốn nhiều không gian lưu trữ chiếm dụng nhiều băng thông kênh truyền dẫn Trước nhu cầu sử dụng thông tin hình ảnh đòi hỏi ngày cao mặt chất lượng bị giới hạn không gian lưu trữ băng thông kênh truyền đòi hỏi cần có giải pháp giải vấn đề Do đó, để tiết kiệm không gian lưu trữ băng thông kênh truyền cần thiết phải nén tín hiệu video Quá trình nén video thực thông tin video thường có trật tự, có tổ chức, xem kỹ cấu trúc video phát nhiều loại thông tin dư thừa khác Các thông tin dư thừa nằm video chia thành năm loại Thứ dư thừa không gian Sự dư thừa không gian điểm ảnh khung hình gọi thừa tĩnh Dư thừa mặt không gian chi tiết điểm ảnh giống khung hình, ví dụ nhiều điểm ảnh giống tạo thành bầu trời xanh Thứ hai dư thừa thời gian Sự dư thừa thời gian điểm ảnh khung video gọi thừa động Dư thừa thời gian hình ảnh giống lặp lại liên tục từ khung hình sang khung hình khác Thứ ba dư thừa thông tin phổ Đó dư thừa phổ mẫu tín hiệu thu từ cảm biến camera Thứ tư dư thừa thống kê Bản thân ký hiệu xuất dòng bit với xác suất xuất không đồng Thứ năm dư thừa tâm thị giác Sự dư thừa thông tin không phù hợp với hệ thống thị giác người Các thuật toán nén video cần giảm lượng thông tin thừa phương pháp khác để giảm dung lượng video, nhằm tiết kiệm băng thông truyền, giảm chi phí lưu trữ cho trì chất lượng mức chấp nhận Từ yêu cầu đặt để giảm lượng thông tin dư thừa, nhiều phương pháp nén video đề xuất nhằm giảm lượng thông tin dư thừa liệu video tương ướng với năm loại thông tin dư thừa nêu Đó dư thừa không gian, dư thừa thời gian, dư thừa thông tin phổ, dư thừa thông tin thống kê dư thừa tâm thị giác Trong phương pháp nén video đề xuất, hai phương pháp áp dụng phổ biến giảm thông tin dư thừa không gian giảm thông tin dư thừa thời gian Phương pháp nén dư thừa không gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt không gian điểm ảnh, từ nâng cao tỷ lệ nén Các tiêu chuẩn nén video theo phương pháp công bố Trong đó, MJPEG đại diện tiêu biểu Phương pháp nén dư thừa thời gian tập trung vào thuật toán nhằm giảm tối đa dư thừa mặt thời gian cách cố gắng xác định tối đa điểm ảnh giống khung hình video Việc giảm trừ tối đa điểm ảnh giống cho phép tăng tỷ lệ nén video Có nhiều tiêu chuẩn nén video theo phương pháp nén dư thừa thời gian, đó, MPEG tiêu chuẩn tiêu biểu Từ năm 2003, tiêu chuẩn nén đề xuất, tiêu chuẩn H.264 H.264 tiêu chuẩn nén sử dụng phương pháp nén dư thừa thời gian Bản chất tiêu chuẩn H.264 phát triển tiêu chuẩn MPEG, áp dụng thêm kỹ thuật nhằm nâng cao tỷ lệ nén cố gắng cải thiện chất lượng hình ảnh video tương ứng với tỷ lệ nén đạt Năm 2013, tiêu chuẩn phát triển dựa tiêu chuẩn H.264 đề xuất H.265 có tỷ lệ nén gấp đôi so với tiêu chuẩn H.264 mức độ chất lượng hình ảnh video Mục tiêu tiêu chuẩn H.265 chuẩn nén hỗ trợ cho video độ phân giải cực cao 8K UHD kỳ vọng hỗ trợ lên đến độ phân giải 4320P ( 8192 x 4320) Như vậy, hướng phát triển tiêu chuẩn nén video kế thừa phát triển tiêu chuẩn trước để hướng tới hai mục đích Đó nâng cao tỷ lệ nén cải thiện chất lượng hình ảnh sau giải nén tương đương với tỷ lệ nén đạt Hình học Fractal nguồn cảm hứng cho thuật toán nén mà điển hình thuật toán nén hình ảnh Lĩnh vực chiếm quan tâm nhiều nhà khoa học giới Việt Nam Nén hình ảnh sử dụng Fractal mang đến tỉ lệ nén vượt trội so với phương pháp mã hóa nén trước mà đảm bảo chất lượng tốt cho hình ảnh Ưu điểm nén hình ảnh sử dụng Fractal tỷ lệ nén cao vượt trội trình giải nén nhanh Tuy nhiên, khối lượng tính toán lớn trình nén ảnh làm cho thời gian nén ảnh lớn Từ đó, ý tưởng kết hợp Fractal tiêu chuẩn H.264 hình thành nhằm áp dụng ưu điểm tỷ số nén Fractal vào tiêu chuẩn nén video H.264 áp dụng rộng rãi nỗ lực nhằm tạo tiêu chuẩn nén hình ảnh có tỷ số nén cao, thời gian nén ảnh đảm bảo tương đương với tiêu chuẩn thời có thời gian giải nén ảnh vượt trội Bên cạnh đó, việc nâng cao tỷ số nén ảnh giảm thời gian nén ảnh phương pháp nén ảnh sử dụng Fractal vấn đề cần giải Trong Luận án trình bày việc sử dụng Fractal việc nén hình ảnh video để đưa phương pháp giải vấn đề nêu Ngoài phần mở đầu kết luận, nội dung Luận án bao gồm có chương: Chương 1: Tổng quan: Chương giới thiệu tổng quan lý thuyết liên quan đến hình học Fractal phương pháp nén hình ảnh sử dụng hình học Fractal Nội dung chương giới thiệu lý thuyết liên quan sử dụng nghiên cứu tác giả Chương 2: Phương pháp nén hình ảnh sử dụng Fractal: Nội dung chương giới thiệu phương pháp sử dụng thuật toán Fractal để nén hình ảnh Giới thiệu phương pháp cải tiến tiêu nén hình ảnh sử dụng hình học tỷ số nén thời gian nén trình bày kết thực nghiệm đạt Chương 3: Tích hợp Fractal coding trình nén Intra-frame tiêu chuẩn H.264: Nội dung chương trình bày phương pháp tích hợp Fractal Coding trình nén intra-frame tiêu chuẩn H.264 kết thực nghiệm mà tác giả đạt trình nghiên cứu DANH MỤC CÁC TỪ VIẾT TẮT VIẾT TẮT TIẾNG ANH TIẾNG VIỆT AVC Advanced Video Coding Tiêu chuẩn nén video tiên tiến CNN Celular Neural Network Mạng nơ-ron tế bào CPU Central Processing Unit Bộ xử lý trung tâm CR Compression Ratio Tỷ số nén DCT Discrete Cosine Transform Phép biến đổi Cosin rời rạc DSP Digital signal processing Mạch xử lý tín hiệu số FCIC Fractal Color Image Coding Phương pháp nén ảnh màu sử dụng Fractal FIC Fractal Image Compression Nén hình ảnh sử dụng Fractal FPGA Field programmable Gate Array Mảng cổng lập trình dạng trường GOP Group of Picture Nhóm ảnh H.264 H.264/MPEG-4 Part 10 or AVC Một tiêu chuẩn nén video HEVC High Efficiency Video Coding Tiêu chuẩn nén video hiệu cao HV Horizontal vertical Partition Phân hoạch theo không gian IFS Iterated Function System Hệ thống chức lặp JPEG Joint Photographic Experts Group Phương pháp nén ảnh NAL Network abstraction layer PIFS Partition Iterated Function System Hệ thống chức lặp phân mảnh PSNR Peak signal-to-noise ratio Tỷ số tín hiệu cực đại nhiễu RIFS Recurrent Iterated Function System Hệ thống chức lặp đệ quy RLE Run-length Encoding Thuật toán nén liệu lossless RMS Root mean square Giá trị trung bình bình phương SDK Services Development Kit Bộ phát triển dịch vụ SFC Seperated Fractal Coding Mã hóa Fractal thành phần SoC System on Chip Hệ thống tích hợp chip UHD Ultra high definition television Truyền hình độ phân giải siêu cao VCL Video Coding Layer Lớp mã hóa video DANH MỤC CÁC BẢNG 2.1 Phần mềm sử dụng cho bo mạch FPGA …………………………………… 41 2.2 Tài nguyên hệ thống sử dụng thực thi …………………………… 42 2.3 Tập miền với kích thước dải khác số lượng miền ……………… 46 2.4 So sánh hiệu suất hoạt động tảng FPGA DSP theo phương pháp Fisher ……………………………………………………………………… 47 2.5 Hiệu suất PSNR thời gian mã hóa ……………………………………… 48 2.6 Các thông số nén Fractal hình Lena …………………………………… 50 2.7 Kết FCIC hình ảnh Lena …………………………………………… 50 2.8 Các ảnh gốc lựa chọn tính chất ảnh ………………………………… 51 2.9 Kết FCIC hình ảnh ảnh Fruit ……………………………………… 51 2.10 Kết FCIC hình ảnh ảnh Leaves …………………………………… 52 2.11 Kết FCIC hình ảnh ảnh Natural …………………………………… 53 2.12 So sánh tỷ số nén ảnh Fruit, Leaves, Natural ………………………… 53 2.13 So sánh tỷ số PSNR ảnh Fruit, Leaves, Natural ……………………… 54 2.14 So sánh tỷ số nén PSNR Fractal JPEG ảnh Lena ……… 55 2.15 So sánh tỷ số nén PSNR Fractal JPEG ảnh Fruit ………… 55 2.16 So sánh tỷ số nén PSNR Fractal JPEG ảnh Leaves ……… 56 2.17 So sánh tỷ số nén PSNR Fractal JPEG ảnh Natural ……… 57 2.18 Bảng kết so sánh thực nén ảnh Fractal JPEG ……… 57 2.19 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ :4 : ……… 59 2.20 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:2 ……… 59 2.21 So sánh hình ảnh nén thực Fractal JPEG tỉ lệ 4:2:0 ………… 60 2.22 So sánh hình ảnh nén thực Fractal GPEG tỉ lệ 4:2:0 ……… 60 2.23 Nén ảnh màu Fractal ảnh Lena ……………………………………………… 67 2.24 Nén ảnh màu Fractal ảnh Parrot …………………………………………… 68 2.25 Nén ảnh màu Fractal ảnh One Tiger ……………………………………… 69 2.26 Nén ảnh màu Fractal ảnh Two Tiger ……………………………………… 69 2.27 Nén ảnh màu Fractal ảnh Flower …………………………………………… 70 2.28 Nén ảnh màu Fractal ảnh Fruit ……………………………………………… 70 2.29 Nén ảnh màu Fractal ảnh Balloon ………………………………………… 71 2.30 Bảng 2.30: Nén ảnh màu Fractal ảnh Natural ……………………………… 71 2.31 Kết giải nén việc điều chỉnh RMS ………………………………… 73 2.32 Kết FCIC với luồng xử lý ………………………………………… 83 2.33 Kết FCIC với hai luồng xử lý ………………………………………… 84 2.34 Kết FCIC với bốn luồng xử lý ………………………………………… 85 2.35 So sánh theo tỷ lệ phần trăm luồng, luồng luồng …………… 85 2.36 Kết FCIC với luồng, luồng, luồng xử lý ảnh Parrot, Flower, Natural, One-tiger, Two-tiger, Red-tree Roses ………………………… 86 3.1 So sánh chất lượng video H.264 H.264F ……………………… 94 3.2 Thông số video kiểm tra …………………………………………… 96 3.3 Tỷ số nén H.264 H.264F video Foreman …………………… 97 3.4 Tỷ số nén H.264 H.264F video Bridge ……………………… 97 3.5 Tỷ số nén H.264 H.264F video Bridge-Far ………………… 97 3.6 Tỷ số nén H.264 H.264F video Grandma …………………… 97 3.7 Tỷ số nén H.264 H.264F video Highway …………………… 98 3.8 So sánh PSNR ảnh chuẩn ảnh fractal video Foreman ……… 98 3.9 So sánh PSNR ảnh chuẩn ảnh fractal video Bridge ………… 99 3.10 So sánh PSNR ảnh chuẩn ảnh fractal video Bridge Far ……… 99 3.11 So sánh PSNR ảnh chuẩn ảnh fractal video Grandma ………… 100 3.12 So sánh PSNR ảnh chuẩn ảnh fractal video highway ……… 100 3.13 Bitrate so sánh nén Fractal H.264 ………………………………… 101 3.14 Thông số video thử nghiệm …………………………………………… 107 3.15 So sánh chạy video Fractal video H.264 …………………………… 107 DANH MỤC CÁC HÌNH VẼ 1.1 Quy trình nén dư thừa không gian ………………………………………… 12 1.2 Nén dư thừa thời gian ……………………………………………………… 13 1.3 Quy trình mã hóa giải mã video chuẩn H.264 …………………………… 16 1.4 Phân chia Macroblock video ………………………………………… 16 1.5 Cấu trúc dòng bit H.264 ……………………………………………… 17 1.6 Sơ đồ mã hóa chuẩn H.264 ………………………………………… 18 1.7 Một số hình dạng Fractal …………………………………………… 19 1.8 Đồ thị Mandelbrot ………………………………………………………… 20 2.1 Tam giác Sierpinski ………………………………………………………… 26 2.2 Ảnh Sunset với miền vùng tìm thấy …………………………… 34 2.3 Sơ đồ khối trình mã hóa FIC ……………………………………… 36 2.4 Sơ đồ khối trình giải mã FIC ……………………………………… 37 2.5 Hình ảnh Lena theo phân hoạch Quadtree ………………………………… 38 2.6 Hình ảnh lena với phân hoạch HV ………………………………………… 39 2.7 Xử lý hoạt động nén ảnh Fractal …………………………………………… 43 2.8 Module nén ảnh màu Fractal ……………………………………………… 44 2.9 Các thành phần ảnh màu ………………………………………………… 45 2.10 Các chế độ lấy mẫu tín hiệu ………………………………………………… 45 2.11 Mô hình mã hóa Fractal triển khai FPGA ……………………………… 46 2.12 Ảnh chuẩn ảnh giải nén Lena với ET = 6, RET = 16 ……………………… 49 2.13 Ảnh chuẩn ảnh giải nén Lena với ET = 6, RET = 20 ……………………… 49 2.14 Định dạng ảnh PPM ………………………………………………………… 76 2.15 Phân phối trật tự hình ảnh vào vùng 16x16 ………………………………… 76 2.16 Thuật toán FCIC đề xuất ……………………………………………… 77 2.17 Trình tự nhớ stack đề xuất ……………………………………… 78 2.18 Vi tri ̣ ́ domain có xung quanh range …………………………………… 79 2.19 Giảm liệu cách tạo trung bình cộng bốn giá trị điểm ảnh ……… 79 2.20 Ví dụ ánh xạ miền vào vùng ………………………………………… 80 2.21 Định dạng nhớ vùng ………………………………………………… 81 10 No Nếu ảnh ảnh I Giải mã H.264 (giải mã CABAC, CAVLC, macro block) Yes Lấy dòng bit từ FFMPEG Khởi tạo kiên trúc phù hợp khối Wavelet-Fractal để lưu dòng bit Giải mã Wavelet Fractal Hình 3.14 : Nhúng giải mã Fractal cho FFMPEG 3.2.1.2 Nhóm FFMPEG codec với giải mã fractal cho VLC VLC xây dựng ngôn ngữ C, theo phương pháp hướng đối tượng Nó chứa nhiều cấu trúc (như intf_thread_t để trình bày giao diện, demux_t để trình bày trình demux, decoder_t để trình bày giải mã ) Những cấu trúc bao gồm trỏ đến liệu trỏ đến chức Điều có vai trò lớp C ++ mà thuộc tính phương thức đóng gói Đặc biệt, cấu trúc có trỏ gọi p_module Con trỏ sử dụng để tải mô-đun thích hợp mà thực chức mong muốn cho cấu trúc định Ví dụ, struct decoder_t nạp module avcodec Module có định nghĩa số hàm OpenDecoder, DecodeVideo Sau đó, trỏ chức cấu trúc decoder_t đến chức OpenDecoder, DecodeVideo Từ hàm DecodeVideo, gọi đến hàm API ffmpeg Như vậy, module xem xét port cho vlc kết nối với pluggins (như FFMPEG codec, x264 encoder ) Bước 1: Khi bắt đầu lên VLC, tất pluggins nạp vào mô-đun lưu trữ danh sách Bước thực hàm AllocateAllPlugins (trong file src / modules / bank.c) Bước 2: Khi khởi tạo thể cấu trúc định, danh sách môđun lặp để tìm mô-đun chứa pluggin thích hợp cho cấu trúc Bước thực hàm module_need (trong file src / modules / modules.c) Bước 3: trỏ chức cấu trúc đến hàm mô-đun Bước thường thực chức mở mô-đun 108 Bước 4: Khi thể cấu trúc thực chức cần thiết, API gọi để thực chức Nạp pluggin vào modun lưu modun thành danh sách Tìm kiếm modun chứa pluggin gần Con trỏ chức trỏ với chức modun Gọi hàm API để truy xuất chức Hình 3.15 : Cơ chế hoạt động VLC Để phát video, trước hết, VLC tạo thể struct libvlc_int_t (bước thực hàm libvlc_InternalCreate) Sau đó, mẫu struct playlist_t tạo hàm playlist_Create Sau đó, VLC có tên tập tin (bằng hàm GetFilenames), tạo thể struct input_thread_t (nhờ hàm input_Create) đọc đầu vào (nhờ hàm input_Read) Các thể struct demux_t tạo ra, demux định dạng video (trong trường hợp video fractal, định dạng H.264 hình ảnh fractal nhúng vào dòng H.264 Mục demux thêm vào để demux xác định phần mở rộng "* frt" tương ứng với giải mã H.264 Sửa đổi thực hàm demux_New file src / input / demux.c VLC) Các giải mã với mô-đun thích hợp tạo dựa định dạng video (bằng chức CreateDecoder) Trong trường hợp video fractal, giải mã có chứa mô-đun avcodec API FFMPEG tạo Sau đó, hàm module DecodeVideo avcodec gọi để mở gói để có liệu mã hóa hình ảnh đoạn video giải mã hình ảnh cách gọi avcodec_decode_video2 API FFMPEG Sau giải mã đơn vị liệu đóng gói, liệu giải mã lưu trữ 109 thể struct picture_t (bởi hàm ffmpeg_CopyPicture) hiển thị (bởi hàm DecoderPlayVideo) Khởi tạo libVLC Khởi tạo playlist Khởi tạo luồng đầu vào Khởi tạo ghép kênh cho luồng đầu vào Khởi tạo giải mã Giải mã ảnh trình chiếu video Hình 3.16: Luồng VLC Để nhúng FFMPEG codec với giải mã fractal vào VLC, trước hết, FFMPEG phải biên dịch để tạo thư viện chia sẻ libavcodec.so.53 (phiên libavcodec sử dụng 53) Sau đó, pluggin avcodec VLC biên dịch liên kết với thư viện libavcodec.so.53 tạo Tại thời điểm này, decode fractal nhúng vào VLC player Để phát video fractal định (ví dụ: video foreman_qcif.frt), thực lệnh: "./vlc -vvv foreman_qcif.frt" thư mục VLC Player 3.2.2 Kết nhúng H.264F vào VLC Player Để đánh giá hiệu việc thực đề xuất, năm video QCIF đầu vào với thông số khác mô tả Bảng 3.14 sử dụng kịch thử nghiệm Các kết thử nghiệm tốc độ bit thể Bảng 3.15 So sánh H.264F H.264 cho thấy với tỷ lệ nén cao bitrate H.264F so với bitrate H.264 thấp hầu hết trường hợp bảng 3.8 110 Bảng 3.14: Thông số video thử nghiệm Tên video Số lượng Frame Kích thước Tỉ lệ Frame Bitrate (kb/s) Foreman 300 176 x 144 25 7806 Bridge 1501 176 x 144 25 7585 Bridge Far 1511 176 x 144 25 7450 Grandma 870 176 x 144 25 7425 Highway 1500 176 x 144 25 7496 Bảng 3.15: So sánh chạy video Fractal video H.264 H.264F H.264 Thông thường Chỉnh sửa Bitrate (kb/s) Bitrate (kb/s) Bitrate (kb/s) Foreman 123.15 129.68 121.82 Bridge 76.86 90.68 98.58 Bridge far 38.14 39.87 44.46 Grandma 79.24 82.82 86.12 Highway 87.51 90.81 94.76 Tên video Có thể thấy PSNR H.264F mức chấp nhận cho tầm nhìn người Hình 3.17, Hình 3.18 Hình 3.19 hiển thị ảnh chụp hình số video chọn cho trình thực nghiệm Thực FIC nhúng cho VLC Player bước phương pháp nén video bitrate thấp sử dụng mã hóa H.264F, ứng dụng kết nghiên cứu Luận án Hình 3.17: Frame trích từ video bridge_qcif.frt 111 Hình 3.18: Frame trích từ video bridge-far_qcif.frt Hình 3.19: Frame trích từ video highway_qcif.frt 3.3 Kết luận chương Các kết thực nghiệm Chương chứng minh nhận định việc ứng dụng FIC vào trình nén ảnh ( intra-frame ) H.264 nâng cao tỷ số nén tiêu chuẩn H.264 Tiêu chuẩn H.264 sau ứng dụng FIC vào trình nén ảnh gọi H.264F Kết thực nghiệm cho thấy tỷ số nén H.264F tốt so với H.264 hầu hết video thử nghiệm khoảng thời gian xuất khác frame I Đặc biệt, số lượng lớn frame I xuất chuỗi video với phân phối màu đồng Mặt khác, số lượng ảnh I xuất nhiều đoạn video thử nghiệm, tỷ số nén H.264 H.264F giảm dần, điều nàyTuy nhiên thời gian thực thi Fractal lớn so với H.264, coi thỏa hiệp PSNR tỷ số nén Điều hữu ích để khai thác hiệu việc nén Fractal phân cảnh thay đổi nhanh chóng video đầu vào Với video có phân cảnh thay đổi nhiều, tỷ số nén giảm tiêu chuẩn H.264, thấy 112 hiệu việc ứng dụng H.264F để tăng cường tỷ số nén cho trình mã hóa video Kết thực nghiệm cho thấy PNSR H.264F tương đối không tốt H.264, nhiên mức khoảng 25 dB, hình ảnh chụp trình thực nghiệm trình bày Hình 3.6 đến Hình 3.10 cho thấy chất lượng hình ảnh mức cho phép mắt người quan sát Việc ứng dụng Wavelet nỗ lực nhằm tăng PSNR H.264F để lại kết không mong muốn làm tăng cao thời gian giải mã video, tăng thời gian thực thi H.264F Điểm tồn khắc phục bước phát triển tối ưu hóa thời gian mã hóa thời gian giải mã H.264F cách sử dụng đa luồng CPCs GPUs Tỷ số nén H.264F luôn sẵn sàng để cải thiện tối đa mức độ cao hơn, mức giảm PSNR luôn phải giữ mức chấp nhận cho khả nhìn thấy mắt người 113 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết đóng góp Luận án hướng phát triển Luận án trình bày đây: A Các kết đạt Luận án Luận án thực bước sau để đến mục đích đề ban đầu Đầu tiên, Luận án thực áp dụng Fractal cho ảnh xám kết thực nghiệm FPGA chứng minh Fractal Coding cho ảnh màu áp dụng cho hệ thống SoC có tính xử lý song song mạnh mẽ giảm thời gian nén ảnh - điểm yếu Fractal Coding, có phương pháp nâng cao chất lượng ảnh Thứ hai, thực áp dụng Fractal cho ảnh màu kết thực nghiệm hệ thống máy tính chạy Linux chứng tỏ tỷ lệ nén cao vượt trội so với tiêu chuẩn JPEG phải đánh đổi việc tăng tỷ lệ nén cách giảm chất lượng ảnh Tuy nhiên, đề xuất phương pháp tăng tỷ số PSNR nhằm cải thiện chất lượng ảnh mức gần tương đương với tiêu chuẩn JPEG số trường hợp, đạt chất lượng ảnh mức chấp nhận với mắt người Thứ ba, thực nhúng Fractal vào trình nén intra-frame tiêu chuẩn H.264 kết thực nghiệm chứng minh việc can thiệp Fractal (vào trình nén intra-frame tiêu chuẩn H.264) làm tăng tỷ số nén lên cao, chứng video nén có tốc độ bit thấp tương đối lớn so với tiêu chuẩn H.264 nguyên Thứ tư, xây dựng mô hình thực áp dụng tiêu chuẩn H.264F (là tiêu chuẩn H.264 sau tích hợp Fractal Coding, áp dụng phương pháp Luận án đưa để giảm thời gian nén tăng tỷ số nén) vào VLC Player môi trường hệ điều hành Linux theo hai mô hình: chạy video nén VLC Player nhúng H.264F máy tính video streaming hai máy tính client -server giả lập VMWare Luận án có hai đóng góp sau: Sử dụng kỹ thuật Fractal cho nén ảnh xám ảnh màu, thực bo mạch FPGA máy tính Linux Ứng dụng kỹ thuật Fractal vào trình nén ảnh (intra-frame) tiêu chuẩn H.264 114 B Đề xuất hướng phát triển Kết thực nghiệm sử dụng FIC bo mạch FPGA Luận án chứng minh hệ thống có vi xử lý có tính song song làm giảm mạnh thời gian nén FIC Như vậy, điểm yếu quan trọng Fractal coi tối ưu trường hợp cụ thể Chất lượng hình ảnh sau giải nén FIC so sánh với JPEG mức gần tương đương số trường hợp đạt chất lượng ảnh mức chấp nhận với mắt người Bên cạnh đó, với thời gian giải nén nhanh - vốn ưu điểm FIC nên kết Luận án phát triển theo hướng tích hợp FIC lên hệ thống SoC với chíp xử lý đa nhân để xây dựng low-bitrate video coding với yêu cầu không cao chất lượng hình ảnh sau giải nén Bên cạnh đó, kết thứ tư Luận án chứng minh tính khả thi việc xây dựng hệ thống streaming tín hiệu video thời gian thực theo mô hình client server sử dụng H.264F Trong Luận án này, điều kiện thực tế khách quan nên thực nghiệm tiến hành máy tính PC chạy hệ điều hành Linux Tuy nhiên, có đầu tư tiếp tục phát triển, việc xây dựng mô hình streaming video thời gian thực sử dụng H.264F thực thiết bị SoC thiết bị SoC máy chủ, cho thấy tính khả quan việc truyền liệu video thời gian thực với bitrate thấp Các hệ thống SoC tích hợp H.264F sử dụng với thiết bị quan sát, ghi hình giám sát, truyền dẫn hình ảnh điều kiện khó khăn đường truyền, bị giới hạn mức tiêu thụ lượng thiết bị môi trường có tính di động cao Trong điều kiện đó, hệ thống SoC với tỷ số nén lớn thích nghi với đường truyền bị hạn chế, tính nhỏ gọn hệ thống tiêu thụ lượng thấp có tính di động cao, đảm bảo tính liên tục thông tin truyền thời gian thực Kết thứ ba Luận án chứng minh tỷ số nén H.264F tăng lên cao so với H.264, tỷ số nén cao đồng nghĩa với không gian lưu trữ tiết kiệm nhiều việc lưu trữ liệu Như vậy, số trường hợp cần lưu trữ liệu video mang tính tham chiếu, tức không cần chất lượng hình ảnh mức cao hoàn toàn ứng dụng H.264F nhằm tiết kiệm không gian lưu trữ Với đặc tính H.264F nêu, việc ứng dụng H.264F ứng dụng việc lưu trữ video mang tính chất tham chiếu lại chương trình phát sóng Đài THVN, khối lượng video với thời lượng lớn Hiện Đài THVN có hệ thống lưu trữ định dạng H.264 với độ phân giải thấp Tuy nhiên, việc ứng dụng H.264F giảm dung lượng lưu trữ thời lượng lưu trữ tương đương tăng thêm thời lượng lưu trữ dung lượng tương đương 115 TÀI LIỆU THAM KHẢO [1] A R Nadira Banu Kamal, P.Priyanga (2014), Iteration Free Fractal Color Image Compression Using Vector Quantization, International Journal of Advanced Research in Computer and Communication Engineering, 3(1), (2014) 5154 - 5163 [2] A Barcellos (2008), The Fractal Geometry of Mandelbrot, 2008 [3] A Selim, M M Hadhoud, M I Dessouky and F E Abd El-Samie (2008), A Simplified Fractal Image Compression Algorithm, IEEE Computer Engineering & Systems, ICCES, PP.53-58, 2008 [4] A.R.Nadira Banu Kamal and S.ThamaraiSelvi (2010), Enhanced Iteration Free Fractal Image Coding Algorith, with efficient Search and Storage Space, ICTACT Journal on Image and Video Processing,124-134, Nov 2010 [5] Arnaud E.Jacquin (1992), Image coding based on a fractal theory of iterated contractive image transformations, IEEE Transaction on Image processing, PP.1830, 1992 [6] B Hurtgen and C Stiller (1993), Fast hierarchical codebook search for fractal coding of still images, in Proc EOS/SPIE Visual Communications PACS Medical Applications ’93, Berlin, Germany, 1993 [7] Bohong Liu and Yung Yan (2010), An Improved Fractal Image Coding Based on the Quadtree, IEEE 3rd International Congress in Image and Signal Processing, Vol 2, PP.529-532, 2010 [8] Brendt Wohlberg and Gerhard de Jager (1999), A Review of the Fractal Image Coding Literature, IEEE Transaction on Image Processing, Vol 8, PP 1716-1729, 1999 [9] Byung Cheol Song, Kang-Wook Chun and Jong Beom Ra (2005), A RateConstrained Fast Full-Search Algorithm Based on Block Sum Pyramid, IEEE Trans Image Processing, 14(3), pp 308–311, 2005 [10] C S Kim, R C Kim, and S U Lee (1998), Fractal coding of video sequence using circular prediction mapping and noncontractive interframe mapping, IEEE Transactions on Image Processing, vol 7, no 4, pp 601–605, 1998 [11] Chen Yisong, Wang Guoping, Dong Shihai (2002), Feature Difference Classification Method In Fractal Image Coding, Proceedings of the 6th International Conference on Signal Processing, 1, 26-30 Aug 2002, 648 – 651, 2002 116 [12] D J L L M W B P Chad Fogg (2002), MPEG Video Compression Standard, New York, Boston, Dordrecht, London, Moscow, 2002 [13] D Mitrovic, (2012), Video Compression, University of Edinburgh, 2012 [14] D Saupe (1995), Fractal image compression by multi-dimensional nearest neighbor search, in Proc DCC’95 Data Compression Conf., Mar 1995 [15] D Snyder, Benoit Mandelbrot (1998), Fractals and Astronomy, Reflections, 1998 [16] D Venkatashekhar, P Aruna, V Dhivya (2014), A novel method for fractal image compression using polynominal hybrid wavelet and and particle swarm optimization, Journal of theoritical and applied information technology, (2014) 709 - 717 [17] Dietmar Saupe, Raouf Hamzaoui, Hannes Hartenstein (1996), Fractal Image Compression , 1996 [18] Dietmar Saupe (1995),Accelerating Fractal Image Compression by Multi Dimensional Nearest Neighbor Search, IEEE Data Compression, PP.222-231, 1995 [19] Dr Muhammad Kamran, Amna Irshad Sipra and Muhammd Nadeem (2010), A novel domain optimization technique in Fractal image Compression, IEEE Proceedings of the 8th world Congress on Intelligent Control and Automation, PP.994-999, 2010 [20] Duong Phu Thai, Nguyen Tien Dzung, Thang Manh Hoang, de Souza-Daw T (2011), Implementation of fractal image encoding/decoding on DSP, in Proc of Joint 3rd Int’l Conference Workshop on Nonlinear Dynamics and Synchronization and Sixteenth International Symposium on Theoretical Electrical Engineering (INDS&ISTET 2011), pp 1-6, July 25-27, 2011, online published in IEEExplorer [21] Eman A Al-Hilo, Loay E George (2012), Study of Fractal Color Image Compression Using YUV Components, compsac, pp.596-601, 2012 IEEE 36th Annual Computer Software and Applications Conference - COMPSAC 2012, 2012 [22] Erjun Zhao, Dan Liu (2005), Fractal Image Compression Methods: A Review Proceedings of the Third International Conference on Information Technology and Applications (ICITA’05), 756-759, July 2005 [23] G E Blelloch (2013), Introduction to Data Compression, January 31, 2013 [24] G J SULLIVAN and T WIEGAND (2005), Video Compression From Concepts to the H.264/AVC Standard, 2005 117 [25] G.Lu and T.L.Yew (1996), Applications of Partitioned Iterated Function Systems in Image and Video Compression, Journal of Visual Communication and Image Representation, Vol 7, PP.144-154, 1996 [26] H J D S Heinz-Otto Peitgen (2004), Chaos and Fractals New Frontiers of Science, 2004 [27] Hannes Hartenstein, Associate Member, IEEE, Matthias Ruhl, and Dietmar Saupe (2000), Region - Based Fractal Image Compression, IEEE transactions on Image processing, vol 9, no 7, July 2000 [28] Hau-Jie Liang, Shuenn-Shyang Wang (2005), Architectural Design Of Fractal Image Coder Based On Kick-Out Condition, 0-7803-8834-8/2005 IEEE, 1118-1121, 2005 [29] Hsuan T Chang, Chung J Kuo (2000), Iteration-Free Fractal Image Coding Based on Efficient Domain Pool Design, IEEE Trans Image Processing, 9(3), 329-339, Mar 2000 [30] http://www.videolan.org/developers/x264.html [31] Hui Yu, Li, Hongyu Zhai, Xiaoming Dong (2010), Based on Quadtree Fractal Image Compression Improved Algorithm for Research, International Conference on E-product E-service and EEntertainment, PP.1-3, 2010 [32] I Reljin, A Samčović, B Reljin (, H.264/AVC compressed video traces: Multifractal and fractal analysis, EURASIP JOURNAL ON APPLIED SIGNAL PROCESSING, Vol 2006, pp 1-13, 2006 [33] Ian Karl Levy B.Sc (1998), Self-similarity and wavelet transforms for the compression of still image and video data, Thesis submitted to the Univeristy of Warwick for the degree of Doctor of Philosophy, 1998 [34] Ian Karl Levy B.Sc, Self-Similarity and Wavelet Transforms for the Compression of Still Image and Video Data, 1998 [35] J Domaszewicz and V A Vaishampayan, “Graph-theoretical analysis of the fractal transform,” in Proceedings of the 20th International Conference on Acoustics, Speech, and Signal Processing (ICASSP ’95), vol 4, pp 2559–2562, May 1995 [36] J Mukhopadhyay and S Ghosh (2002), Low bit rate video compression using relative fractal coding, India, 2002 [37] Junshe Wan, Linru You (2014), A Fast Context -Based Fractal Mobile Video Compression with GA and PSO, 2nd International Conference on Teaching and Computational Science (ICTCS 2014), (2014) 112 - 115 118 [38] K Belloulata and J Konrad, “Fractal image compression with region-based functionality,” IEEE Transactions on Image Processing, vol 11, no 4, pp 351–362, 2002 [39] K Belloulata and S Zhu, “A new object-based fractal stereo codec with quadtreebased disparity or motion compensation,” in Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP ’06), vol 2, pp 481–484, Toulouse, France, 2006 [40] K Belloulata and S Zhu, “A new object-based system for fractal video sequences compression,” in Proceedings of the Data Compression Conference (DCC ’08), pp 508–510, Snowbird, Utah, USA, March 2008 [41] K Belloulata, “Fast fractal coding of subbands using a noniterative block clustering,” Journal of Visual Communication and Image Representation, vol 16, no 1, pp 55–67, 2005 [42] Kai Barthel , T Voye "Three-dimensional fractal video coding", Conference: Image Processing, 1995 Proceedings., International Conference on, Volume: 3, 1995 [43] Kamel Belloulata, Shiping Zhu (2007), " A New Object-Based System for Fractal Video Sequences Compression ", JOURNAL OF MULTIMEDIA, VOL 2, NO 3, JUNE 2007 [44] Kamel Belloulata, Shiping Zhu, ZaikuoWang (2011), A Fast Fractal Video Coding Algorithm Using Cross-Hexagon Search for BlockMotion Estimation, International Scholarly Research Network, ISRN Signal Processing, 2011(386128), (2011) 5402 - 5412 [45] Loay E George Nevart A (2011), Speeding Up Fractal Image Compression Using DCT, Journal of Information and Computing Sciene, Volume (6), No (4), pp 287-294, 2011 [46] L J MALINOWSKI (2011), Fractal Physics Theory - Foundation, USA, 2011 [47] Lester Thomas and Farzin Deravi (1995), Region-Based Fractal Image Compression Using Heuristic Search, IEEE transactions on Image processing, vol 4, no 6, June 1995 [48] M Barnsley (1993), Fractals Everywhere, San Diego Academic Press, 2nd Edition, 1993 [49] M C Shelberg (1983), Measuring the Fractal Dimensions, St Louis, AFS, Missouri 63118, 1983 [50] M T M P O K M T S HIDEKI TAKAYASU (2000), Fractal Properties Economics, 2000 119 [51] M Wang, R Liu, and C H Lai (2006), Adaptive partition and hybrid method in fractal video compression, Computers and Mathematics with Applications, vol 51, no 11, pp 1715–1726, 2006 [52] M.Ghazel, R K Ward, R Abugharbieh,E R Vrscay, G H Freeman (2005), Simultaneous Fractal Image Denoising And Interpolation, 0-7803- 91950/IEEE, 558-561, 2005 [53] Mario Polvere, Michele Nappi (2000), Speed-Up In Fractal Image Coding: Comparison of Methods, IEEE Transactions on Image Processing, 9(6), (2000) 1002 - 1009 [54] Mario Polvere, Michele Nappi (2000), Speed-Up In Fractal Image Coding: Comparison of Methods, IEEE Transaction on Image Processing, Vol 9, No 6, PP 1002-1009, 2000 [55] Meiqing Wanga, Zhehuang Huanga, Choi-Hong Lai (2006), Matching search in fractal video compression and its parallel implementation in distributed computing environments, Applied Mathematical Modelling 30 (2006) 677–687, 2006 [56] Nileshsingh V Thakur, G.H Raisoni, Dr O G Kakde, Visvesvaraya (2007), Color Image Compression with Modified Fractal Coding on Spiral Architecture, Journal of Multimedia, 2(4), (2007) 55 - 56 [57] R H H H Dietmar Saupe (1997), Fractal Image Compression An Introductory Overview, 1997 [58] S A R S O C M a H S.Havlin (1995), Fractal in Biology and Medicine, USA, 1995 [59] S Zhu, K Belloulata (2005), A novel object-based fractal stereo video codec, in Proceedings of the IEEE International Conference on Image Processing (ICIP ’05), vol 1, pp 805–808, Genova, Italy, September 2005 [60] Sumathi Poobal, G.Ravindran (2005), Analysis on the Effect of Tolerance Criteria in Fractal Image Compression, IEEE IST 2005 International Workshop on Imaging Systems and Techniques, PP.119-124, 2005 [61] T W K¨orner (2015), Metric and Topological Spaces, 2015 [62] Texas Instrument (2010), TMS320C55xx Optimizing C/C++ Compiler User’s Guide, August 2010 [63] Veenadevi.S.V, A.G.Ananth (2014), Fractal Image Compression of Satellite Color Imageries Using Variable Size of Range Block, International Journal of Image Processing (IJIP), Volume (8): Issue (1): 2014 120 [64] Ghadah Al-Khafaji (2013), Image Compression based on Quadtree and Polynomial, International Journal of Computer Applications, Volume (76), No (3), 2013 [65] VeenaDevi.S.V, A.G.Ananth (2011), Fractal Image Compression of Satellite Imageries, IJCA, Vol 30, No.3, PP.33-36, 2011 [66] Chandan Singh Rawat, Sukadev Meher (2014), A Hybird Image Compression Scheme using DCT and Fractal Image Compression, The International Arab Journal of Information Technology, Volume (10), No (6), 2014 [67] Virtex-5 Family Overview [68] Viswanath Sankaranarayanan (1998), Fractal Image Compression, 1998 [69] Y Fisher (2012), Fractal Image Compression, University of California, San Diego, 2012 [70] Y W M C J D X Z J K G H X S J M G & K W Jian Shang (2015), Assembling molecular Sierpiński triangle fractals, 2015 [71] Yung-Gi, wu, Ming-Zhi, Huang, Yu-Ling, Wen (2003), Fractal Image Compression with variance and mean, IEEE International Conference on Multimedia and Expo, Volume 1, PP.353-356, 2003 [72] Z Yao and R Wilson (2004), Hybrid 3D fractal coding with neighbourhood vector quantisation, EURASIP Journal on Applied Signal Processing, vol 2004, no 16, pp 2571–2579, 2004 [73] Zhuang Wu, Bixi Yan (2004), An effective Fractal image Compression Algorithm, IEEE international Conference on ICCASM, Vol.7, PP.139-143, 2010 121 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN [1] T N Son, O M Hung, D T Xuan, V L Tran, N T Dzung, T M Hoang (2012), “Implementation of Fractal image compression on FPGA” 4th International Conference on Communications and Electronics ICCE 2012, online IEEExplorer, pp 339 - 344, Hue City, Vietnam, 1-3 Aug 2012 [2] Thai Nam Son, Nguyen Tien Dzung, Hoang Manh Thang, Tran V Long (2013), “Efficient implementation of a fractal color image compression on FPGA”, Vietnam2013 International Conference of Soft Computing and Pattern Recognition (SoCPaR), pp 15-18, Hanoi, Vietnam, December 2013 [3] Thai Nam Son, Nguyen Hoang Giang, Nguyen Tien Dzung, Hoang Manh Thang (2014), “Fast FPGA implementation of YUV based fractal image compression”, ICCE 2014, online IEEExplorer, pp 440-445, Da Nang, Vietnam, 2014 [4] Thai Nam Son, Thang Manh Hoang, Nguyen Tien Dzung, Nguyen Minh Dung, Pham Ngoc Thang (2014), “Fast implementation of Fractal image Compression”, Journal of scientific research and military technology, pp 88 – 96, 2014 [5] Thai Nam Son, Nguyen Tien Dzung, Hoang Manh Thang, Nguyen Minh Dung (2015), “Utilization of fractal compression approach for intra prediction in H.264 standard”, Tạp chí Khoa học Công nghệ, 2015 [6] Tuan Anh Pham, Minh Thanh Ha, Thai Nam Son, Vu Duc Ngo, Dung Nguyen Hoang (2015), “Multibin Binary Arithmetic Encoder Architecture in CABAC for HEVC”, Jounal of Science and Technology 107, pp 054-057, 2015 [7] Nguyen Thanh Loi, Nguyen Nam Hai, Thai Nam Son, Ngo Vu Duc, Nguyen Hoang Dung (2015), “Parallel Architecture for De-blocking filter in High Efficiency Video Coding (HEVC)”, European Jounal of Advances in Engineering and Technology, pp38-43, 2015 122 ... trình nghiên cứu ứng dụng Fractal cho nén video Hiện tại, có nhiều công trình nghiên cứu ứng dụng Fractal cho nén hình ảnh video với hướng nghiên cứu khác Sau tóm tắt hướng nghiên cứu ứng dụng Fractal. .. 2.25 Nén ảnh màu Fractal ảnh One Tiger ……………………………………… 69 2.26 Nén ảnh màu Fractal ảnh Two Tiger ……………………………………… 69 2.27 Nén ảnh màu Fractal ảnh Flower …………………………………………… 70 2.28 Nén ảnh màu Fractal. .. đó, việc nâng cao tỷ số nén ảnh giảm thời gian nén ảnh phương pháp nén ảnh sử dụng Fractal vấn đề cần giải Trong Luận án trình bày việc sử dụng Fractal việc nén hình ảnh video để đưa phương pháp