Thuật toán deblocking trong xử lý video nén theo chuẩn h264

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THUẬT TOÁN DEBLOCKING TRONG XỬ LÝ VIDEO NÉN THEO CHUẨN H.264 Ngành: Công nghệ Điện tử - Viễn thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60 52 70 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Lê Vũ Hà Hà Nội - 2009 MỤC LỤC i Trang BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC CÁC BẢNG MỞ ĐẦU CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ NÉN VIDEO 1.1 Khái niệm video 1.2 Các phƣơng pháp nén video 1.2.1 Giảm tốc độ dòng bit dựa đặc điểm thị giác người 1.2.2 Nén dòng liệu video số miền không gian 1.2.3 Nén liệu video số theo miền thời gian 1.2.4 Nén hỗn hợp sử dụng tổ hợp phương pháp 1.3 Tham số nén video CHƢƠNG 2: CHUẨN NÉN H.264 10 2.1 Giới thiệu chung chuẩn nén H.264 10 2.2 Cơ chế nén ảnh H.264 12 2.2.1 Bộ nén 12 2.2.2 Bộ giải nén 13 2.3 Cấu trúc H.264 14 2.3.1 Phân chia khung hình thành MB 2.3.2 Dự đoán Inter H.264 17 15 2.3.2.1 Các véc-tơ chuyển động 18 2.3.2.2 Xác định mẫu nội suy 19 2.3.2.3 Ước lượng véc-tơ chuyển động bù chuyển động 21 2.3.3 Dự đoán Intra H.264 Error! Bookmark not defined 2.3.3.1 Các mode dự đoán cho block 4x4 (đối với thành phần độ chói) Error! Bookmark not defined 2.3.3.2 Các mode dự đoán Intra16x16 (đối với thành phần độ chói) Error! Bookmark not defined 2.3.3.3 Các mode dự đoán Intra8x8 (đối với thành phần sắc độ) Error! Bookmark not defined 2.3.3.4 Báo hiệu mode dự đoán Intra Error! Bookmark not defined 2.3.4 Quyết định mode dự đoán Error! Bookmark not defined 2.3.5 Phép biến đổi lƣợng tử hóa Error! Bookmark not defined 2.3.5.1 Biến đổi lượng tử hóa dư thừa 4x4 (các blok 0÷15, 18÷25) Error! Bookmark not defined 2.3.5.2 Lượng tử hoá Error! Bookmark not defined 2.3.5.3 ReScaling Error! Bookmark not defined CHƢƠNG 3: THUẬT TOÁN DEBLOCKING Error! Bookmark not defined 3.2 Giới thiệu Error! Bookmark not defined 3.2 Phân tích biên Error! Bookmark not defined 3.2.1 Lỗi phân bố block 4x4 Error! Bookmark not defined 3.2.2 Tính thích ứng mức đƣờng biên lọc Error! Bookmark not defined ii 3.2.3 Tính thích ứng mức mẫu lọc Error! Bookmark not defined 3.2.4 Lƣu đồ thuật toán tính giá trị BS Error! Bookmark not defined 3.3 Hoạt động lọc Error! Bookmark not defined 3.3.1 Tổng quan hoạt động lọc Error! Bookmark not defined 3.3.2 Việc lọc đƣờng biên có BS từ 1÷3 Error! Bookmark not defined 3.3.3 Việc lọc đƣờng biên có BS = Error! Bookmark not defined 3.3.4 Lƣu đồ thuật toán lọc Deblocking Error! Bookmark not defined CHƢƠNG 4: CHƢƠNG TRÌNH MÔ PHỎNG Error! Bookmark not defined 4.1 Giới thiệu Error! Bookmark not defined 4.2 Sơ đồ khối chƣơng trình mô Error! Bookmark not defined 4.3 Các kết lối chƣơng trình Error! Bookmark not defined 4.3.1 Kết hình ảnh thu đƣợc trình phân tích khung hình Error! Bookmark not defined 4.3.2 Kết hình ảnh thu đƣợc trình phân tích khung hình chuỗi video Error! Bookmark not defined 4.4 Đánh giá kết nhận xét Error! Bookmark not defined 4.4.1 Đánh giá kết Error! Bookmark not defined 4.4.2 Nhận xét Error! Bookmark not defined KẾT LUẬN TÀI LIỆU THAM KHẢO BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT iii CABAC CAVLC CIF CODEC Context-based Adaptive Binary Arithmetic Coding Context Adaptive Variable Length Coding Common Intermediate Format COder/DECoder pair BMA BRR BS Block Match algorithms Bit Rate Reduction Boundary strength DCT Discrete cosine transform GOP Group of pictures HDTV HVS High definition television Human visual system IDCT Inverse Discrete Cosine Transform JVT Joint Video Team LSB LZC Least significant bit Layered Zero Coding MAE MB MC MND MPEG MSB MSE Mean Absolute Error Macroblock Motion compensation Minimally noticeable distortion Moving Picture Experts Group Most significant bit Mean square error PSNR Peak signal-to-noise ratio QCIF QP Quarter Common Intermediate Format Quantization parameter iv RD RGB Rate distortion Red/Green/Blue colour space SAD SAE SAQ SI SP SNR SQCIF Sum of Absolute Differences Sum of Absolute Errors Successive approximation quantization Switching Intra Picture Switching Prediction Picture Signal-to-noise ratio Sub - Quarter Common Intermediate Format UTQ Uniform threshold quantization/quantizer VLC VO VOP Variable Length Code Video object Video object plane YUV A colour space v DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ HÌNH Vẽ 1.1: CHUỗI VIDEO XEN Kẽ HÌNH Vẽ 1.2: CấU TRÖC LấY MẫU HÌNH Vẽ 1.3: CấU TRÖC LấY MẫU 4:2:2 HÌNH Vẽ 1.4: CấU TRÖC LấY MẫU 4:1:1 HÌNH Vẽ 1.5: CấU TRÖC LấY MẫU 4:2:0 HÌNH Vẽ 1.6: KHUNG HÌNH VIDEO LấY MẫU CÁC Độ PHÂN GIảI KHÁC NHAU HÌNH Vẽ 2.1: SƠ Đồ KHốI CủA Bộ NÉN THEO CHUẩN H.264 13 HÌNH Vẽ 2.2: SƠ Đồ KHốI CủA Bộ GIảI NÉN THEO CHUẩN H.264 14 HÌNH Vẽ 2.3: CÁC PROFILE TRONG CHUẩN NÉN H.264 15 HÌNH Vẽ 2.4: PHÂN CHIA MB THEO CÁC KÍCH THƢớC 16X16, 16X8, 8X16 VÀ 8X8 16 HÌNH Vẽ 2.5: PHÂN CHIA MB THEO CÁC KÍCH THƢớC 8X8, 4X8, 8X4 VÀ 4X4 16 HÌNH Vẽ 2.6: A) SAI KHÁC GIữA HAI KHUNG HÌNH LIÊN TIếP 17 B) KHUNG HÌNH SAI KHÁC ĐÃ ĐƢợC BÙ CHUYểN ĐộNG 17 HÌNH Vẽ 2.7: VÍ Dụ Về Dự ĐOÁN VÉCTƠ CHUYểN ĐộNG 18 HÌNH Vẽ 2.8: NộI SUY CÁC Vị TRÍ GIữA CÁC ĐIểM ảNH 19 HÌNH Vẽ 2.9: NộI SUY CủA CÁC Vị TRÍ ¼ KHOảNG CÁCH ĐIểM ảNH 20 HÌNH Vẽ 2.10: VÙNG HÌNH ảNH ĐƢợC NộI SUY CủA CÁC Vị TRÍ ¼ PIXEL 20 HÌNH Vẽ 2.11: Vị TRÍ NộI SUY 1/8 CủA CÁC THÀNH PHầN SắC Độ 21 HÌNH Vẽ 2.12: MÔ Tả HOạT ĐộNG ƢớC LƢợNG VÉC-TƠ CHUYểN ĐộNG ERROR! BOOKMARK NOT DEFINED vi HÌNH Vẽ 2.13: Vị TRÍ CủA BLOCK HIệN TạI VÀ Vị TRÍ CủA CÁC BLOCK Kế CậN (CÙNG KÍCH THƢớC BLOCK)ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.14: Vị TRÍ CủA BLOCK HIệN TạI VÀ Vị TRÍ CủA CÁC BLOCK Kế CậN (KHÁC KÍCH THƢớC)ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.15: GÁN NHÃN CÁC MẫU Dự ĐOÁN (4X4)ERROR! NOT DEFINED BOOKMARK HÌNH Vẽ 2.16: CÁC MODE Dự ĐOÁN INTRA4X4 (THÀNH PHầN Độ CHÓI) ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.17: VÍ Dụ Về CÁC MODE Dự ĐOÁN INTRA4X4 TRONG THựC Tế ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.18: CÁC MODE Dự ĐOÁN INTRA16X16 (THÀNH PHầN Độ CHÓI) ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.19: VÍ Dụ Về CÁC MODE Dự ĐOÁN INTRA16X16 TRONG THựC Tế ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.20: MSE CủA Dữ LIệU DƢ THừAERROR! DEFINED BOOKMARK NOT HÌNH Vẽ 2.21: LƢU Đồ CủA THUậT TOÁN QUYếT ĐịNH MODE ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 2.22: THứ Tự TRUYềN CủA CÁC BLOCK DƢ THừA TRONG MộT MB ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 3.1: DEBLOCKING VớI VAI TRÕ LÀ MộT Bộ LọC POST-FILTER ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 3.2: LOOP-FILTER TRONG CHUẩN NÉN H.264ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 3.3: MÔ Tả ĐƢờNG BIÊN GIữA CÁC BLOCK MANG TÍNH TRựC QUAN ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 3.4: LƢU Đồ THUậT TOÁN TÍNH GIÁ TRị BSERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 3.5: LƢU Đồ THUậT TOÁN CủA Bộ LọC DEBLOCKING ERROR! BOOKMARK NOT DEFINED vii HÌNH Vẽ 3.6: LƢU Đồ THUậT TOÁN CủA Bộ LọC DEBLOCKING (TIếP THEO) ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.1: GIAO DIệN CHÍNH CủA CHƢƠNG TRÌNHERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.2: GIAO DIệN CHÍNH NHậP THÔNG Số CHO CHƢƠNG TRÌNH ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.3: SƠ Đồ KHốI TổNG QUÁT CủA CHƢƠNG TRÌNH ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.4: SƠ Đồ KHốI THựC HIệN CHứC NĂNG INTRA CODING ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.5: SƠ Đồ KHốI THựC HIệN CHứC NĂNG INTER CODING ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.6: SƠ Đồ KHốI THựC HIệN CHứC NĂNG INTER CODING (TIếP THEO) ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.7: KHUNG HÌNH THÀNH PHầN Độ CHÓI ĐầU TIÊN TRONG CHUỗI VIDEO ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.8: KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI Dự ĐOÁN INTRA4X4 MODE DC ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.9: KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI THựC HIệN DCT VÀ LƢợNG Tử HOÁ ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.10: KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI THựC HIệN IDCT VÀ LƢợNG Tử HÓA NGƢợCERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.11: KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI KHÔI PHụC LạI NHƢNG KHÔNG Sử DụNG Bộ LọCERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.12: KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI KHÔI PHụC LạI CÓ Sử DụNG Bộ LọC ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.13: KHUNG HÌNH THÀNH PHầN Độ CHÓI TRONG CHUỗI VIDEO CHƢA ĐƢợC Xử LÝ ERROR! BOOKMARK NOT DEFINED viii HÌNH Vẽ 4.14: KHUNG HÌNH THÀNH PHầN Độ CHÓI TRONG CHUỗI VIDEO SAU KHI THựC HIệN Dự ĐOÁN INTERERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.15: KHUNG HÌNH THÀNH PHầN Độ CHÓI TRONG CHUỗI VIDEO SAU KHI THựC HIệN BIếN ĐổI DCT VÀ LƢợNG Tử HOÁ ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.16: KHUNG HÌNH THÀNH PHầN Độ CHÓI TRONG CHUỗI VIDEO SAU KHI THựC HIệN BIếN ĐổI IDCT VÀ LƢợNG Tử HOÁ NGƢợC ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.17: HÌNH ảNH TRONG KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI KHÔI PHụC LạI NHƢNG KHÔNG Sử DụNG Bộ LọC ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.18: HÌNH ảNH TRONG KHUNG HÌNH THÀNH PHầN Độ CHÓI SAU KHI KHÔI PHụC LạI CÓ Sử DụNG Bộ LọCERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.19: MộT KHUNG HÌNH THÀNH PHầN Độ CHÓI ĐạI DIệN CHO CHUỗI VIDEO “TEST1.AVI”ERROR! BOOKMARK NOT DEFINED HÌNH Vẽ 4.20: MộT KHUNG HÌNH THÀNH PHầN Độ CHÓI ĐạI DIệN CHO CHUỗI VIDEO “TEST2.AVI”ERROR! BOOKMARK NOT DEFINED ix DANH MỤC CÁC BẢNG Bảng 1.1: Các định dạng khung hình video Bảng 2.1: Một số giá trị tiêu biểu Qstep Error! Bookmark not defined Bảng 2.2: Các giá trị MF tương ứng với giá trị QP Error! Bookmark not defined Bảng 3.1: Bộ lọc deblocking chuẩn nén khác Error! Bookmark not defined Bảng 3.2: Ví dụ giá trị mẫu block Error! Bookmark not defined Bảng 3.3: Các điều kiện xác định giá trị BS Error! Bookmark not defined Bảng 3.4: Các giá trị α β sử dụng H.264 Error! Bookmark not defined Bảng 3.5: Các giá trị c0 sử dụng H.264 Error! Bookmark not defined MỞ ĐẦU Ngày nay, với phát triển vượt bậc công nghệ lĩnh vực điện tử, viễn thông công nghệ thông tin, tính loại hình dịch vụ lĩnh vực có xu hướng hội tụ vài thiết bị nhỏ gọn Chẳng x - Nén có tổn hao (lossy compression): phương pháp nén mà liệu khôi phục sau nén giải nén có khác biệt với liệu gốc Tỉ số nén phương pháp nén không tổn hao thường thấp Để đạt tỉ số nén cao, người ta thường phải sử dụng phương pháp nén có tổn hao 1.2.3 Nén liệu video số theo miền thời gian Các khung hình liên tiếp đoạn video có quan hệ mật thiết với Thậm chí khung hình thay đổi chút so với khung hình liền kề trước sau nó, tạo nên dư thừa theo thời gian Để giảm bớt lượng liệu truyền tải, người ta làm giảm dư thừa cách truyền phần sai lệch khung hình kết hợp với việc dự đoán dựa khung hình trước 1.2.4 Nén hỗn hợp sử dụng tổ hợp phƣơng pháp Để đạt hiệu nén cao mà đảm bảo chất lượng hình ảnh, người ta sử dụng tổ hợp phương pháp Phương pháp nén video theo chuẩn H.264 phương pháp nén hỗn hợp 1.3 Tham số nén video Các tham số nén video đề cập đến định dạng ảnh tỉ số nén Tỉ số nén cho phép đánh giá hiệu hệ thống nén liệu Để đánh giá hiệu hệ thống nén cách so sánh tỉ số nén chúng với nhau, định dạng ảnh sử dụng hệ thống nén phải giống Các tham số định dạng ảnh bao gồm: - Số dòng/khung hình số điểm ảnh/dòng - Tốc độ khung hình (số khung hình/giây) - Cấu trúc lấy mẫu - Độ sâu giá trị mẫu (8, 10 hay 12 bit/mẫu) - Hệ số nén tính tốc độ liệu video gốc (số bit liệu/giây) tốc độ liệu video nén 10 Để đánh giá chất lượng hệ thống nén, bên cạnh tỷ số nén người ta phải xét đến độ sai lệch liệu sau nén so với trước nén, thường đo PSNR: PSNR dB  10 log10 (2 n  1) MSE (1.6) Trong MSE sai số bình phương trung bình liệu trước sau nén, n số bit để mã hoá giá trị điểm ảnh CHƢƠNG 2: CHUẨN NÉN H.264 2.1 Giới thiệu chung chuẩn nén H.264 Hiệp hội viễn thông quốc tế (ITU) Tổ chức tiêu chuẩn quốc tế/Uỷ ban kỹ thuật điện tử quốc tế (ISO/IEC) hai tổ chức đầu lĩnh vực nghiên cứu phát triển chuẩn nén âm thanh, hình ảnh Theo ITU-T, chuẩn nén video coi khuyến nghị gọi tắt chuẩn H.26x (H.261, H.262, H.263 H.264) Với tiêu chuẩn ISO/IEC, chuẩn nén gọi tắt MPEG-x (MPEG1, MPEG-2, MPEG-3 MPEG-4) [1] Các khuyến nghị ITU xây dựng cho ứng dụng truyền liệu video thời gian thực như: truyền hình hội nghị (Video Conferencing) hay điện thoại thấy hình Trong khi, MPEG hướng tới mục tiêu truyền lưu trữ video như: lưu trữ đĩa quang DVD; quảng bá video số mạng cáp quang, đường 10 11 truyền số DSL; truyền hình vệ tinh ứng dụng truyền tải dòng video mạng Internet Hai nhóm nghiên cứu thành lập nhóm cộng tác viết tắt JVT (Joint Video Team) để xây dựng đề xuất chuẩn nén H.26L phát triển thành tiêu chuẩn quốc tế Chuẩn nén ấn ITU-T ISO/IEC với hai tên gọi H.264 MPEG-4 part 10 Dưới số mốc thời gian phát triển H.264/MPEG-4 part 10: 1993 1995 1998 1999 2000 2001 - Dự án MPEG-4 khởi xướng - Một số kết ban đầu H.263 đạt - MPEG-4 sở cho đề xuất bao gồm: nén video hiệu với tính dựa theo nội dung - H.263 chọn trọng tâm công cụ nén video - Đưa đề xuất cho H.26L - Chuẩn hình ảnh MPEG-4 ấn - Mô hình kiểm tra ban đầu H.26L xây dựng - MPEG đưa đề xuất cho công cụ nén video cải tiến - Phiên thứ hai chuẩn nén MPEG-4 ấn - H.26L chọn sở cho MPEG-4 - JVT hình thành 2003 - H.264/MPEG-4 part 10 ấn Mục tiêu việc phát triển chuẩn nén H.264 nhằm cung cấp nguồn liệu video có tốc độ bít thấp (tỷ lệ nén cao) đảm bảo chất lượng hình ảnh tốt nhiều so với chuẩn nén video trước Điều đạt nhờ kế thừa ưu điểm chuẩn nén video trước Đồng thời thực số cải tiến quan trọng như: 11 12 - - - Phân chia khung hình video thành MB (mỗi MB khối hình ảnh có kích thước 16x16 điểm ảnh) thực phân tích, xử lý MB Khai thác triệt để tính dư thừa không gian khung hình thông qua việc sử dụng: dự đoán Intra, phép biến đổi DCT/IDCT tương đương, phép lượng tử hoá mã hoá Entropy (hay mã có độ dài thay đổi VLC) Khai thác tính dư thừa thời gian thông qua việc sử dụng phép dự đoán véc-tơ chuyển động bù chuyển động với kích thước block thay đổi (tuỳ thuộc vào tính chi tiết hình ảnh) với nhiều khung hình tham chiếu khác Sử dụng thuật toán, phương pháp biến đổi cải tiến cho phép nâng cao lực xử lý chất lượng hình ảnh lối 2.2 Cơ chế nén ảnh H.264 Bộ nén giải nén H.264 bao gồm thành phần có chuẩn nén trước ngoại trừ lọc Deblocking Tuy nhiên, thành phần có cải tiến so với chuẩn trước để đạt hiệu suất nén tối ưu 2.2.1 Bộ nén Mỗi khung hình liệu video Fn đưa vào nén xử lý theo khối 16x16 điểm ảnh (gọi MB) Khung hình chuỗi video điểm truy cập ngẫu nhiên mã hoá theo mode Intra (nén ảnh) Mỗi điểm ảnh khối sử dụng mode Intra dự đoán dựa vào điểm ảnh liền kề với khối dự đoán nằm bên khối dự đoán mã hoá trước 12 13 + Fn (Frame hành) Dn Biến đổi + Lượng tử hoá Dữ liệu video nén - Ước lượng chuyển động Mã hoá entropy Inter F’n-1 (Frame thứ n-1 sau khôi phục lại) Bù chuyển động Lựa chọn dự đoán Intra Dự đoán Intra Intra + Dn’ F’n (Sau khôi phục lại) Lọc + Biến đổi ngược Lượng tử hoá ngược + Hình vẽ 2.1: Sơ đồ khối nén theo chuẩn H.264 Đối với tất khung hình lại khung hình nằm điểm truy cập ngẫu nhiên chuỗi video, chế độ mã hoá Intra Inter (nén liên ảnh) sử dụng tùy thuộc vào mode định thích hợp Mode Inter sử dụng để khai thác tính liên quan (tính dư thừa theo thời gian) vùng ảnh khung hình khác thông qua việc sử dụng phương pháp dự đoán chuyển động bù chuyển động dựa vào khung hình tham chiếu Lối mode MB liệu (chứa thông tin sai khác MB khung hình với khung hình tham chiếu) với thông tin điều khiển (như: vị trí MB, mode dự đoán, thông tin khung hình tham chiếu dịch chuyển…) MB chứa phần sai khác sau thực biến đổi DCT tương đương lượng tử hoá kết hợp với mã hoá Entropy để khai thác tối đa dư thừa không gian Ngoài ra, liệu MB sau biến đổi lượng tử hoá thực biến đổi ngược để khôi phục lại khung hình tham chiếu cho xử lý 2.2.2 Bộ giải nén Bộ giải nén nhận dòng liệu video nén thực giải mã hoá Entropy trước tiên Dữ liệu sau giải mã tập hợp hệ số lượng tử hóa, sau đưa qua biến đổi lượng tử hoá ngược để thu liệu 13 14 MB chứa thông tin sai khác Dữ liệu MB kết hợp với các thông tin điều khiển gửi kèm theo từ nén để xây dựng lại MB nguyên gốc khôi phục lại thành khung hình ban đầu F’n-1 (Frame thứ n-1 sâu khôi phục lại) Inter Bù chuyển động Dự đoán Intra Intra + Fn’ (Sau khôi phục lại) Dn’ Lọc + Biến đổi ngược Lượng tử hoá ngược Giải mã hoá entropy Dữ liệu video nén + Hình vẽ 2.2: Sơ đồ khối giải nén theo chuẩn H.264 2.3 Cấu trúc H.264 H.264 định nghĩa profile (mô tả) tập hợp thông số cho phép hỗ trợ ứng dụng thực tế cách đa dạng linh hoạt Profile xác định tập công cụ mã hoá thuật toán mã hoá sử dụng để tạo dòng bit tương thích Level (mức) đặt giới hạn cho thông số dòng bit Có ba profile phiên thứ nhất: Baseline, Main Extended - Baseline profile: hỗ trợ mã hoá Intra/Inter mã hoá Entropy CAVLC (mã hoá chiều dài thích nghi ngữ cảnh) áp dụng cho ứng dụng thời gian thực như: truyền hình tương tác, điện thoại thấy hình… - Main profile: bao gồm việc hỗ trợ video quét xen kẽ, mã hoá Inter sử dụng B-slices, mã hoá Inter sử dụng dự đoán có trọng số mã hoá entropy CABAC Main profile thiết kế cho thiết bị lưu trữ số truyền hình quảng bá - Extended profile: không hỗ trợ cho video quét xen kẽ CABAC bổ sung mode chuyển đổi cách hiệu dòng 14 15 bit (SP SI slices) khả khắc phục lỗi Extended profile ứng dụng cho dịch vụ đa phương tiện mạng Internet Hình vẽ 2.3: Các profile chuẩn nén H.264 Dưới trình bày phần chuẩn nén sử dụng chung cho profile sử dụng để triển khai thuật toán phục vụ cho mục đích xây dựng cài đặt phần mềm mô luận văn 2.3.1 Phân chia khung hình thành MB Mỗi khung hình video chia thành MB có kích thước cố định gồm 16x16 mẫu cho thành phần độ chói 8x8 mẫu cho thành phần sắc độ Tuỳ theo mức độ đồng hay chi tiết khung hình mà MB giữ nguyên hay phân chia tiếp thành block nhỏ thực mode dự đoán Ngoài ra, định đến việc lựa chon mode Intra Inter Trong mode Inter, MB thành phần độ chói phân chia theo bốn cách hình vẽ 2.4: MB hai block 16x8 hai block 8x16 bốn block 8x8 15 16 Hình vẽ 2.4: Phân chia MB theo kích thƣớc 16x16, 16x8, 8x16 8x8 Nếu phân dạng block 8x8 chọn, block 8x8 MB phân chia bốn cách (như hình bên dưới) gồm: hai block 8x4 hai block 4x8 bốn block 4x4 Các cách phân chia block thu làm tăng tính kết hợp bên MB Đây phương pháp phân chia MB thành block nhỏ sử dụng cho trình bù chuyển động với kích thước thay đổi biết đến bù chuyển động cấu trúc Hình vẽ 2.5: Phân chia MB theo kích thƣớc 8x8, 4x8, 8x4 4x4 Các MB sau dự đoán mode Intra/Inter chứa thông tin sai khác block MB so với block MB thuộc khung hình tham chiếu MB sau lại xử lý theo block nhỏ kích thước 4x4 (đối với thành phần độ chói) phép biến đổi DCT tương đương phép lượng tử hoá Trong cấu trúc dòng liệu, MB tổ chức thành Slice cho phép nâng cao hiệu vấn đề truyền thông sửa lỗi truyền lại Thứ tự truyền MB phụ thuộc vào thông tin ánh xạ vị trí MB dòng bít không thiết phải theo thứ tự quét H264/MPEG-4 Part 10 hỗ trợ dạng Slice khác nhau: 16 17 - Slice I: Trong tất MB mã hoá tham chiếu tới ảnh khác dãy video Slice P: Chỉ tham chiếu tới ảnh trước Slice B: Có tham chiếu tới ảnh trước sau SI (Switching I) SP (Switching P): dùng cho chuyển mạch dòng bít mã hoá tốc độ bít khác Để cung cấp phương pháp bảo vệ liệu cách hiệu kênh truyền dẫn có xu hướng bị lỗi với ứng dụng độ trễ thấp, H264/MPEG-4 Part 10 hỗ trợ đặc điểm thứ tự MB linh hoạt FMO (Flexible Macroblock Ordering) FMO đưa giản đồ xác định MB khung hình vào vài nhóm Slice Mỗi nhóm Slice truyền riêng biệt Nếu nhóm Slice bị mất, mẫu MB lân cận mặt không gian, thuộc nhóm Slice thu đúng, sử dụng cho việc khôi phục lỗi 2.3.2 Dự đoán Inter H.264 Dự đoán Inter sử dụng dựa đặc điểm liên quan khung hình liên tiếp chuỗi video Mỗi khung hình video lặp lại nhiều lần sau khung hình có khác có nhiều khối hình nhỏ lặp lại vị trí lân cận khung hình trước sau Hiệu hai khối hình cho kết khối hình gần đồng có giá trị trọng số điểm nhỏ có ý nghĩa cho phép biến đổi sau Hình vẽ 2.6: a) Sai khác hai khung hình liên tiếp b) Khung hình sai khác đƣợc bù chuyển động 17 18 Sự khác quan trọng phép dự đoán Inter H.264 so với chuẩn nén trước hỗ trợ nhiều kích cỡ block khác (16x16, 8x16, 16x8, 8x8, 8x4, 4x8 4x4) véc-tơ chuyển động với độ phân giải 1/4 điểm (đối với thành phần độ chói) 2.3.2.1 Các véc-tơ chuyển động Mỗi MB block MB sử dụng phương pháp mã hoá Inter dự đoán từ block kích cỡ khung hình tham chiếu Độ dịch chuyển hai block (véc-tơ chuyển động) có độ phân giải 1/4 điểm thành phần độ chói 1/8 điểm thành phần sắc độ Các giá trị mẫu thành phần độ chói thành phần sắc độ vị trí sẵn khung hình tham chiếu cần phải tạo cách nội suy từ mẫu mã hoá liền kề Trong hình vẽ 2.7, block 4x4 khung (a) dự đoán từ khung hình tham chiếu vị trí bên cạnh vị trí block khung hình a block 4x4 khung hình b block tham chiếu: véctơ (1,-1) c block tham chiếu: véctơ(0.75,-0.5) Hình vẽ 2.7: Ví dụ dự đoán véctơ chuyển động Nếu thành phần theo chiều ngang chiều dọc véc-tơ chuyển động số nguyên (hình vẽ 2.7 b.) mẫu dự đoán liên quan block tham chiếu tồn thực tế (các điểm xám) Nếu hai thành phần véc-tơ giá trị không nguyên (hình vẽ 2.7 c.) mẫu dự đoán (các điểm xám) tạo việc nội suy từ mẫu liền kề khung hình tham chiếu (các điểm trắng) 18 19 2.3.2.2 Xác định mẫu nội suy Các mẫu nội suy từ mẫu vị trí điểm (1/2 khoảng cách) thành phần độ chói khung hình tham chiếu tạo trước tiên (ô màu xám hình vẽ 2.8) Mỗi mẫu vị trí điểm liền kề với hai mẫu hữu (ví dụ: b, h, m, s) nội suy từ mẫu có vị trí số nguyên việc sử dụng lọc 6-tap FIR với trọng số (1/32, -5/32, 5/8, 5/8, -5/32, 1/32) Ví dụ: mẫu b tính toán từ mẫu E, F, G, H, I J (theo chiều dọc): b = round((E-5F+20G+20H-5I+J)/32) (2.1) Hình vẽ 2.8: Nội suy vị trí điểm ảnh Một cách tương tự, h nội suy việc lọc A, C, G, M, R T Khi tất mẫu nội suy theo chiều dọc chiều ngang tính toán, giá trị mẫu j tạo việc lọc cc, dd, h, m, ee ff Bộ lọc nội suy 6-tap tương đối phức tạp tạo xác phù hợp với liệu mẫu giá trị số nguyên mức độ thực bù chuyển động tốt Khi tất mẫu vị trí 1/2 tính toán, mẫu vị trí 1/4 tiếp tục tính phương pháp nội suy tuyến tính Các vị trí 1/4 với hai mẫu vị 19 20 trí 1/2 vị trí số nguyên theo chiều dọc theo chiều ngang (a, c, i, k d, f, n, q hình vẽ 2.9 nội suy từ mẫu liền kề Ví dụ: a = round((G+b)/2) Hình vẽ 2.9: Nội suy vị trí ¼ khoảng cách điểm ảnh Các vị trí 1/4 lại (e, g, p r ) nội suy từ cặp mẫu đối diện theo đường chéo Ví dụ: e dự đoán từ b h Hình vẽ 2.10 biểu diễn ví dụ kết việc nội suy vùng tham chiếu với độ phân giải 1/4 Hình vẽ 2.10: Vùng hình ảnh đƣợc nội suy vị trí ¼ pixel 20 21 Các véc-tơ chuyển động độ phân giải 1/4 thành phần độ chói liền với véc-tơ có độ phân giải 1/8 thành phần sắc độ (giả sử việc lấy mẫu theo tỷ lệ 4:2:0) Các mẫu nội suy tạo vị trí 1/8 từ mẫu vị trí số nguyên thành phần sắc độ việc sử dụng nội suy tuyến tính (mẫu a hình vẽ 2.11) Mỗi vị trí a kết hợp tuyến tính vị trí số nguyên: A, B, C D a = round([s-dx)(s-dy)A+dx(s-dy)B+(s-dxdyC+dxdyD]/s ) (2.2) Trong hình vẽ 2.11: s = 8, dx = dy = 3, đó: a = round[30A+10B+18C+6D)/64] (2.3) Hình vẽ 2.11: Vị trí nội suy 1/8 thành phần sắc độ 2.3.2.3 Ƣớc lƣợng véc-tơ chuyển động bù chuyển động Để thực bù chuyển động, chuyển động đối tượng chuyển động ước lượng trước tiên Điều gọi ước lượng véctơ chuyển động Thông thường kỹ thuật ước lượng véc-tơ chuyển động tất chuẩn nén video sử dụng thuật toán phù hợp khối BMA Với block kích thước MxN 21 22 điểm ảnh (trong MxN là: 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 4x4) khung hình tìm kiếm vùng tìm kiếm với dao động kích thước w pixel quanh vị trí mẫu (kích thước cửa sổ tìm kiếm w) mô tả hình vẽ [2,5]: TÀI LIỆU THAM KHẢO [1] Iain E.G.Richardson, H.264 and MPEG-4 Video Compression: Video coding for Next-generation Multimedia, Jơnh Wiley&Sons, Ltd.ISBN:0-47084837-5, 2003 [2] Mohammed Ghanbari, Standard Codecs: Image Compression to Advanced Video Coding, The Institution of Electrical Engineers, London, United Kingdom, 2003 [3] Jianwen Chen, Yanmei Qu, Yun He, “A Fast Mode Decision Algorithm In H.264”, State Key Lab on Microwave & Digital Communications, Department of Electronics Engineering, Tsinghua University, Beijing, China, 100084 [4] Thomas Wiegand, Draft IUT-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec H.264 | ISO/IEC 14496-10 AVC), 8th Meeting: Geneva, Switzerland, 23-27 May, 2003 [5] L.Hanzo, P Cherriman and J Streit, Video Compression and Communications, John Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex PO19 8SQ, England, 2007 [6] Peter List, Anthony Joch, Jani Lainema, Gisle Bjøntegaard, and Marta Karczewicz, Adaptive Deblocking Filter, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL 13, NO 7, JULY 2003 [7] A Averbuch, A Schclar, D L Donoho, Deblocking of Block-Transform Compressed Images Using Weighted Sums of Symmetrically Aligned Pixels, November 8, 2001 [8] Gwang Hoon Park, Min Woo Park, Sung-Chang Lim, Woo Sung Shim, and Yung-Lyul Lee, Senior Member, IEEE, Deblocking Filtering for Illumination 22 23 Compensation in Multiview Video Coding, IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL 18, NO 10, OCTOBER 2008 [9] Jung-Ah Choi and Yo-Sung Ho, Simple and Efficient Deblocking Algorithm for H.264/AVC Decoder, 15th International Conference on Systems, Signals and Image Processing, IWSSIP 2008, 25-28 June 2008 [10] ISO/IEC, Improved deblocking filter for open-loop MCTF in the JSVM, ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 15th Meeting: Busan, R, 16-22 April, 2005 23 [...]... H.264 được xem là chuẩn nén video tốt nhất hiện nay Chuẩn nén H.264 cho phép dữ liệu video được nén với tỉ lệ nén rất cao nhưng vẫn đáp ứng được yêu cầu về chất lượng về hình ảnh Mục đích của luận văn này là tập trung vào nghiên cứu và lập trình mô phỏng thuật toán Deblocking trong chuẩn H.264 Đây là một thuật toán khôi phục ảnh cho phép cải thiện chất lượng hình ảnh video được nén theo chuẩn H.264, nhằm... tố trong các phương pháp nén dữ liệu gây ra Thuật toán Deblocking có thể được cài đặt trên các phần cứng chuyên dụng cũng như bằng phần mềm Nội dung luận văn bao gồm: - Chương 1: Giới thiệu một số khái niệm tổng quan về video và các kỹ thuật nén video - Chương 2: Trình bày một số nội dung chính của chuẩn nén H.264 Do thuật toán Deblocking là một thành phần được tích hợp trong trong bộ nén và giải nén. .. CHƢƠNG 2: CHUẨN NÉN H.264 2.1 Giới thiệu chung về chuẩn nén H.264 Hiệp hội viễn thông quốc tế (ITU) và Tổ chức tiêu chuẩn quốc tế/Uỷ ban kỹ thuật điện tử quốc tế (ISO/IEC) là hai tổ chức đi đầu trong lĩnh vực nghiên cứu và phát triển các chuẩn nén âm thanh, hình ảnh Theo ITU-T, các chuẩn nén video được coi là các khuyến nghị và gọi tắt là chuẩn H.26x (H.261, H.262, H.263 và H.264) Với tiêu chuẩn ISO/IEC,... dụng các thuật toán, các phương pháp biến đổi được cải tiến cho phép nâng cao được năng lực xử lý và chất lượng của hình ảnh lối ra 2.2 Cơ chế nén ảnh của H.264 Bộ nén và giải nén của H.264 cũng bao gồm các thành phần có trong các chuẩn nén trước đó ngoại trừ bộ lọc Deblocking Tuy nhiên, các thành phần này đều có những cải tiến so với các chuẩn trước để đạt được hiệu suất nén tối ưu hơn 2.2.1 Bộ nén Mỗi... và năng lực xử lý rất cao được đóng gói nhỏ gọn cùng với các thuật toán phần mềm tối ưu làm tăng năng lực tính toán cũng như giảm thiểu được băng thông Những phát triển quan trọng trong các lĩnh vực về xử lý hình ảnh đã cho ra đời những kỹ thuật nén và phương pháp truyền tải hình ảnh hiệu quả cho phép giải quyết được nhiều vấn đề băng thông Trong đó, nổi bật hơn cả là sự ra đời của chuẩn nén H.264 được... biệt nào 8 9 - Nén có tổn hao (lossy compression): là phương pháp nén mà dữ liệu được khôi phục sau khi nén và giải nén có sự khác biệt với dữ liệu gốc Tỉ số nén của các phương pháp nén không tổn hao thường rất thấp Để đạt được tỉ số nén cao, người ta thường phải sử dụng các phương pháp nén có tổn hao 1.2.3 Nén dữ liệu video số theo miền thời gian Các khung hình liên tiếp trong một đoạn video có quan... nén video theo chuẩn H.264 là một phương pháp nén hỗn hợp như vậy 1.3 Tham số nén video Các tham số nén video được đề cập đến ở đây là định dạng ảnh và tỉ số nén Tỉ số nén cho phép đánh giá hiệu quả của một hệ thống nén dữ liệu Để đánh giá hiệu quả của các hệ thống nén bằng cách so sánh tỉ số nén của chúng với nhau, định dạng ảnh sử dụng trong các hệ thống nén đó phải giống nhau Các tham số định dạng... của việc phát triển chuẩn nén H.264 là nhằm cung cấp các nguồn dữ liệu video có tốc độ bít thấp (tỷ lệ nén cao) nhưng vẫn đảm bảo được chất lượng về hình ảnh tốt hơn nhiều so với những chuẩn nén video trước đây Điều này đạt được là nhờ sự kế thừa các ưu điểm của các chuẩn nén video trước đó Đồng thời thực hiện một số những cải tiến quan trọng như: 11 12 - - - Phân chia mỗi khung hình video thành các MB... ưu hơn 2.2.1 Bộ nén Mỗi khung hình dữ liệu video Fn đưa vào bộ nén sẽ được xử lý theo từng khối 16x16 điểm ảnh (gọi là các MB) Khung hình đầu tiên của một chuỗi video hoặc điểm truy cập ngẫu nhiên được mã hoá theo mode Intra (nén trong ảnh) Mỗi một điểm ảnh trong khối sử dụng mode Intra được dự đoán dựa vào các điểm ảnh liền kề với khối dự đoán và nằm bên trong các khối đã được dự đoán và mã hoá trước... thường kỹ thuật ước lượng véc-tơ chuyển động trong tất cả các chuẩn nén video sử dụng là thuật toán phù hợp khối BMA Với một block kích thước MxN 21 22 điểm ảnh (trong đó MxN có thể là: 16x16, 16x8, 8x16, 8x8, 8x4, 4x8 hoặc 4x4) trong khung hình hiện tại sẽ được tìm kiếm trong một vùng tìm kiếm với sự dao động kích thước w pixel quanh một vị trí mẫu (kích thước cửa sổ tìm kiếm là w) như được mô tả trong