Thuật toán deblocking trong xử lý video nén theo chuẩn h 264

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ VŨ TUẤN ANH THUẬT TOÁN DEBLOCKING TRONG XỬ LÝ VIDEO NÉN THEO CHUẨN H.264 Ngành: Công nghệ Điện tử - Viễn thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60 52 70 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Lê Vũ Hà Hà Nội - 2009 i MỤC LỤC Trang BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ DANH MỤC CÁC BẢNG MỞ ĐẦU CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN VỀ NÉN VIDEO 1.1 Khái niệm video 1.2 Các phương pháp nén video 1.2.1 Giảm tốc độ dòng bit dựa đặc điểm thị giác người 1.2.2 Nén dòng liệu video số miền không gian 1.2.3 Nén liệu video số theo miền thời gian 1.2.4 Nén hỗn hợp sử dụng tổ hợp phương pháp 1.3 Tham số nén video CHƢƠNG 2: CHUẨN NÉN H.264 2.1 Giới thiệu chung chuẩn nén H.264 2.2 Cơ chế nén ảnh H.264 10 2.2.1 Bộ nén 10 2.2.2 Bộ giải nén 11 2.3 Cấu trúc H.264 12 2.3.1 Phân chia khung hình thành MB 13 2.3.2 Dự đoán Inter H.264 15 2.3.2.1 Các véc-tơ chuyển động 15 2.3.2.2 Xác định mẫu nội suy 16 ii 2.3.2.3 Ước lượng véc-tơ chuyển động bù chuyển động 19 2.3.3 Dự đoán Intra H.264 22 2.3.3.1 Các mode dự đoán cho block 4x4 (đối với thành phần độ chói) 23 2.3.3.2 Các mode dự đoán Intra16x16 (đối với thành phần độ chói) 25 2.3.3.3 Các mode dự đoán Intra8x8 (đối với thành phần sắc độ) 26 2.3.3.4 Báo hiệu mode dự đoán Intra 26 2.3.4 Quyết định mode dự đoán 26 2.3.5 Phép biến đổi lượng tử hóa 30 2.3.5.1 Biến đổi lượng tử hóa dư thừa 4x4 (các blok 0†15, 18†25) 31 2.3.5.2 Lượng tử hoá 33 2.3.5.3 ReScaling 35 CHƢƠNG 3: THUẬT TOÁN DEBLOCKING 37 3.2 Giới thiệu 37 3.2 Phân tích biên 40 3.2.1 Lỗi phân bố block 4x4 40 3.2.2 Tính thích ứng mức đường biên lọc 40 3.2.3 Tính thích ứng mức mẫu lọc 41 3.2.4 Lưu đồ thuật toán tính giá trị BS 44 3.3 Hoạt động lọc 44 3.3.1 Tổng quan hoạt động lọc 44 3.3.2 Việc lọc đường biên có BS từ 1†3 45 3.3.3 Việc lọc đường biên có BS = 47 3.3.4 Lưu đồ thuật toán lọc Deblocking 48 CHƢƠNG 4: CHƢƠNG TRÌNH MÔ PHỎNG 50 4.1 Giới thiệu 50 4.2 Sơ đồ khối chương trình mô 53 iii 4.3 Các kết lối chương trình 57 4.3.1 Kết hình ảnh thu trình phân tích khung hình 57 4.3.2 Kết hình ảnh thu trình phân tích khung hình chuỗi video 60 4.4 Đánh giá kết nhận xét 63 4.4.1 Đánh giá kết 63 4.4.2 Nhận xét 66 KẾT LUẬN TÀI LIỆU THAM KHẢO iv BẢNG KÝ HIỆU CÁC CHỮ VIẾT TẮT CABAC CAVLC CIF CODEC Context-based Adaptive Binary Arithmetic Coding Context Adaptive Variable Length Coding Common Intermediate Format COder/DECoder pair BMA BRR BS Block Match algorithms Bit Rate Reduction Boundary strength DCT Discrete cosine transform GOP Group of pictures HDTV HVS High definition television Human visual system IDCT Inverse Discrete Cosine Transform JVT Joint Video Team LSB LZC Least significant bit Layered Zero Coding MAE MB MC MND MPEG MSB MSE Mean Absolute Error Macroblock Motion compensation Minimally noticeable distortion Moving Picture Experts Group Most significant bit Mean square error PSNR Peak signal-to-noise ratio QCIF QP Quarter Common Intermediate Format Quantization parameter v RD RGB Rate distortion Red/Green/Blue colour space SAD SAE SAQ SI SP SNR SQCIF Sum of Absolute Differences Sum of Absolute Errors Successive approximation quantization Switching Intra Picture Switching Prediction Picture Signal-to-noise ratio Sub - Quarter Common Intermediate Format UTQ Uniform threshold quantization/quantizer VLC VO VOP Variable Length Code Video object Video object plane YUV A colour space vi DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình vẽ 1.1: Chuỗi video xen kẽ Hình vẽ 1.2: Cấu trúc lấy mẫu Hình vẽ 1.3: Cấu trúc lấy mẫu 4:2:2 Hình vẽ 1.4: Cấu trúc lấy mẫu 4:1:1 Hình vẽ 1.5: Cấu trúc lấy mẫu 4:2:0 Hình vẽ 1.6: Khung hình video lấy mẫu độ phân giải khác Hình vẽ 2.1: Sơ đồ khối nén theo chuẩn H.264 11 Hình vẽ 2.2: Sơ đồ khối giải nén theo chuẩn H.264 12 Hình vẽ 2.3: Các profile chuẩn nén H.264 13 Hình vẽ 2.4: Phân chia MB theo kích thước 16x16, 16x8, 8x16 8x8 13 Hình vẽ 2.5: Phân chia MB theo kích thước 8x8, 4x8, 8x4 4x4 14 Hình vẽ 2.6: a) Sai khác hai khung hình liên tiếp 15 b) Khung hình sai khác bù chuyển động 15 Hình vẽ 2.7: Ví dụ dự đoán véctơ chuyển động 16 Hình vẽ 2.8: Nội suy vị trí điểm ảnh 17 Hình vẽ 2.9: Nội suy vị trí ¼ khoảng cách điểm ảnh 17 Hình vẽ 2.10: Vùng hình ảnh nội suy vị trí ¼ pixel 18 Hình vẽ 2.11: Vị trí nội suy 1/8 thành phần sắc độ 19 Hình vẽ 2.12: Mô tả hoạt động ước lượng véc-tơ chuyển động 20 Hình vẽ 2.13: Vị trí block vị trí block kế cận (cùng kích thước block) 21 vii Hình vẽ 2.14: Vị trí block vị trí block kế cận (khác kích thước) 22 Hình vẽ 2.15: Gán nhãn mẫu dự đoán (4x4) 23 Hình vẽ 2.16: Các mode dự đoán Intra4x4 (thành phần độ chói) 24 Hình vẽ 2.17: Ví dụ mode dự đoán Intra4x4 thực tế 24 Hình vẽ 2.18: Các mode dự đoán Intra16x16 (thành phần độ chói) 25 Hình vẽ 2.19: Ví dụ mode dự đoán Intra16x16 thực tế 25 Hình vẽ 2.20: MSE liệu dư thừa 29 Hình vẽ 2.21: Lưu đồ thuật toán định mode 30 Hình vẽ 2.22: Thứ tự truyền block dư thừa MB 31 Hình vẽ 3.1: Deblocking với vai trò lọc post-filter 38 Hình vẽ 3.2: Loop-filter chuẩn nén H.264 39 Hình vẽ 3.3: Mô tả đường biên block mang tính trực quan 42 Hình vẽ 3.4: Lưu đồ thuật toán tính giá trị BS 44 Hình vẽ 3.5: Lưu đồ thuật toán lọc Deblocking 48 Hình vẽ 3.6: Lưu đồ thuật toán lọc Deblocking (tiếp theo) 49 Hình vẽ 4.1: Giao diện chương trình 51 Hình vẽ 4.2: Giao diện nhập thông số cho chương trình 52 Hình vẽ 4.3: Sơ đồ khối tổng quát chương trình 53 Hình vẽ 4.4: Sơ đồ khối thực chức Intra coding 54 Hình vẽ 4.5: Sơ đồ khối thực chức Inter coding 55 Hình vẽ 4.6: Sơ đồ khối thực chức Inter coding (tiếp theo) 56 Hình vẽ 4.7: Khung hình thành phần độ chói chuỗi video 57 Hình vẽ 4.8: Khung hình thành phần độ chói sau dự đoán Intra4x4 mode DC 58 Hình vẽ 4.9: Khung hình thành phần độ chói sau thực DCT lượng tử hoá 58 viii Hình vẽ 4.10: Khung hình thành phần độ chói sau thực IDCT lượng tử hóa ngược 59 Hình vẽ 4.11: Khung hình thành phần độ chói sau khôi phục lại không sử dụng lọc 59 Hình vẽ 4.12: Khung hình thành phần độ chói sau khôi phục lại có sử dụng lọc 60 Hình vẽ 4.13: Khung hình thành phần độ chói chuỗi video chưa xử lý 60 Hình vẽ 4.14: Khung hình thành phần độ chói chuỗi video sau thực dự đoán Inter 61 Hình vẽ 4.15: Khung hình thành phần độ chói chuỗi video sau thực biến đổi DCT lượng tử hoá 61 Hình vẽ 4.16: Khung hình thành phần độ chói chuỗi video sau thực biến đổi IDCT lượng tử hoá ngược 62 Hình vẽ 4.17: Hình ảnh khung hình thành phần độ chói sau khôi phục lại không sử dụng lọc 62 Hình vẽ 4.18: Hình ảnh khung hình thành phần độ chói sau khôi phục lại có sử dụng lọc 63 Hình vẽ 4.19: Một khung hình thành phần độ chói đại diện cho chuỗi video “Test1.avi” 64 Hình vẽ 4.20: Một khung hình thành phần độ chói đại diện cho chuỗi video “Test2.avi” 65 ix DANH MỤC CÁC BẢNG Bảng 1.1: Các định dạng khung hình video Bảng 2.1: Một số giá trị tiêu biểu Qstep 34 Bảng 2.2: Các giá trị MF tương ứng với giá trị QP 35 Bảng 3.1: Bộ lọc deblocking chuẩn nén khác 37 Bảng 3.2: Ví dụ giá trị mẫu block 40 Bảng 3.3: Các điều kiện xác định giá trị BS 41 Bảng 3.4: Các giá trị α β sử dụng H.264 43 Bảng 3.5: Các giá trị c0 sử dụng H.264 47 x Frame thứ n đọc từ file Phân chia Frame Y đầu vào thành Macroblock 16x16 Khởi tạo giá trị ngưỡng, kích thước cửa sổ tìm kiếm… Tính toán giá trị MSE MB Phân chia MB thành block 8x16 16x8 (Lưu lại thông tin cách phân chia) MSE(MB) [...]... trung vào nghiên cứu và lập trình mô phỏng thuật toán Deblocking trong chuẩn H. 264 Đây là một thuật toán khôi phục ảnh cho phép cải thiện chất lượng h nh ảnh video được nén theo chuẩn H. 264, nhằm khắc phục việc suy giảm chất lượng h nh ảnh do bản thân các yếu tố trong các phương pháp nén dữ liệu gây ra Thuật toán Deblocking có thể được cài đặt trên các phần cứng chuyên dụng cũng như bằng phần mềm Nội... text H nh vẽ 1.5: Cấu trúc lấy mẫu 4:2:0 Lấy mẫu thành phần độ chói Y tại tất cả các điểm ảnh Với thành phần sắc độ thì cứ bốn thành phần Y lấy mẫu hai thành phần U và V cách nhau theo từng h ng  Các định dạng video Chuẩn nén H. 264 có thể thực hiện việc nén đối với các định dạng khung h nh video khác nhau Trong thực tế, nó thường thu hoặc chuyển đổi sang các định dạng trung gian trước khi thực hiện nén. .. lĩnh vực về xử lý h nh ảnh đã cho ra đời những kỹ thuật nén và phương pháp truyền tải h nh ảnh hiệu quả cho phép giải quyết được nhiều vấn đề băng thông Trong đó, nổi bật h n cả là sự ra đời của chuẩn nén H. 264 được xem là chuẩn nén video tốt nhất hiện nay Chuẩn nén H. 264 cho phép dữ liệu video được nén với tỉ lệ nén rất cao nhưng vẫn đáp ứng được yêu cầu về chất lượng về h nh ảnh Mục đích của luận... được hiệu quả nén cao mà vẫn đảm bảo chất lượng h nh ảnh, người ta sử dụng tổ h p của các phương pháp trên Phương pháp nén video theo chuẩn H. 264 là một phương pháp nén h n h p như vậy 7 1.3 Tham số nén video Các tham số nén video được đề cập đến ở đây là định dạng ảnh và tỉ số nén Tỉ số nén cho phép đánh giá hiệu quả của một h thống nén dữ liệu Để đánh giá hiệu quả của các h thống nén bằng cách so... phỏng của luận văn này 2.3.1 Phân chia khung h nh thành các MB Mỗi khung h nh video được chia thành các MB có kích thước cố định gồm 16x16 mẫu cho thành phần độ chói và 8x8 mẫu cho thành phần sắc độ Tuỳ theo mức độ đồng nhất hay chi tiết của khung h nh mà mỗi MB được giữ nguyên hay được phân chia tiếp thành các block nhỏ h n khi thực hiện các mode dự đoán Ngoài ra, nó còn quyết định đến việc lựa chon... Chương 1: Giới thiệu một số khái niệm tổng quan về video và các kỹ thuật nén video ­ Chương 2: Trình bày một số nội dung chính của chuẩn nén H. 264 Do thuật toán Deblocking là một thành phần được tích h p trong trong bộ nén và giải nén nên luận văn sẽ trình bày chi tiết vào các vấn đề chính của H. 264 liên quan đến quá trình triển khai và xây dựng phần mềm mô phỏng ­ Chương 3: Trình bày thuật toán Deblocking. .. phần sắc độ h n là thành phần độ chói của h nh ảnh nên trong phương pháp này, người ta có thể giảm bớt độ phân giải của thành phần sắc độ mà không làm ảnh h ởng nhiều đến sự cảm thụ về chất lượng h nh ảnh (ví dụ như trong các định dạng YUV 4:2:2, 4:2:0, 4:1:1) Phần lớn các định dạng video số hiện nay đều sử dụng tần số lấy mẫu 13,5MHz đối với thành phần độ chói Theo chuẩn CCIR 601, nếu hai thành phần... một cách tuần tự như sau: Điểm ảnh đầu lấy mẫu thành phần độ chói (Y) và lấy mẫu hai thành phần sắc độ U và V Điểm ảnh tiếp theo chỉ lấy mẫu thành phần chói (Y) mà không lấy mẫu hai thành phần sắc độ Khi giải mã, thành phần sắc độ của điểm ảnh bị thiếu phải được suy ra từ điểm ảnh trước đó Cứ như vậy, bốn lần lấy mẫu thành phần Y thì có hai lần lấy mẫu thành phần U và hai lần lấy mẫu thành phần V 3... chế nén ảnh của H. 264 Bộ nén và giải nén của H. 264 cũng bao gồm các thành phần có trong các chuẩn nén trước đó ngoại trừ bộ lọc Deblocking Tuy nhiên, các thành phần này đều có những cải tiến so với các chuẩn trước để đạt được hiệu suất nén tối ưu h n 2.2.1 Bộ nén Mỗi khung h nh dữ liệu video Fn đưa vào bộ nén sẽ được xử lý theo từng khối 16x16 điểm ảnh (gọi là các MB) Khung h nh đầu tiên của một chuỗi... như thành phần độ chói chúng ta sẽ có định dạng 4:4:4 Định dạng này được sử dụng trong các thiết bị dựng phim phi tuyến và trong đồ hoạ vi tính liên quan đến phim nhựa Hiện nay, các thiết bị kỹ thuật số sử dụng trong lĩnh vực video chuyên dụng thường sử dụng chuẩn CCIR 601 4:2:2 Theo định dạng số hoá này, tín hiệu video thành phần được lấy mẫu với tần số 13,5MHz đối với thành phần độ chói và 6,75 MHz ... toán Deblocking chuẩn H. 264 Đây thuật toán khôi phục ảnh cho phép cải thiện chất lượng h nh ảnh video nén theo chuẩn H. 264, nhằm khắc phục việc suy giảm chất lượng h nh ảnh thân yếu tố phương pháp... tổ h p phương pháp Phương pháp nén video theo chuẩn H. 264 phương pháp nén h n h p 1.3 Tham số nén video Các tham số nén video đề cập đến định dạng ảnh tỉ số nén Tỉ số nén cho phép đánh giá hiệu... 59 H nh vẽ 4.12: Khung h nh thành phần độ chói sau khôi phục lại có sử dụng lọc 60 H nh vẽ 4.13: Khung h nh thành phần độ chói chuỗi video chưa xử lý 60 H nh vẽ 4.14: Khung h nh