Xử lý âm thanh và hình ảnh

BỘ THÔNG TIN & TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG   BÀI GIẢNG XỬ LÝ ÂM THANH VÀ HÌNH ẢNH PT IT TEL 1422 (Hiệu chỉnh) Biên soạn: ThS Nguyễn Thu Hiên ThS Vũ Thúy Hà PGS.TS Lê Nhật Thăng ThS Lê Thanh Thủy Hà Nội - 12/2016 Xử lý âm hình ảnh Kỹ thuật xử lý âm Mục lục Mục lục i Danh mục hình vẽ iii LỜI NÓI ĐẦU Chương 1: Nhập mơn xử lý âm hình ảnh 1.1 Các khái niệm lý thuyết sở IT 1.1.1 Định nghĩa tín hiệu 1.1.2 Phân loại tín hiệu 10 1.1.3 Số hóa tín hiệu tương tự 10 1.1.4 Một số phép biến đổi toán học ứng dụng xử lý âm thành hình ảnh 13 1.2 Ứng dụng xử lý âm hình ảnh mạng truyền thông đa phương tiện 17 1.2.1 Các khái niệm 17 1.2.2 Đặc điểm liệu multimedia 17 1.2.3 Những lợi ích ứng dụng xử lý âm thành hình ảnh truyền thông đa phương tiện 20 1.3 Khung sở tiêu chuẩn hóa 21 PT 1.4 Hướng dẫn ôn tập chương 26 Chương 2: Kỹ thuật xử lý âm 27 2.1 Mã hóa tín hiệu thoại 27 2.1.1 Khái niệm tín hiệu thoại tham số đặc trưng 27 2.1.2 Quá trình tạo tiếng nói 30 2.1.3 Tổng quan mã hóa tín hiệu thoại 32 2.1.4 Phân loại phương pháp mã hóa 34 2.2 Mã hóa dạng sóng 36 2.3 Mã hóa tham số 39 2.3.2 LPC Vocoder 2,4Kbps 40 2.4 Mã hóa lai 41 2.5 Một số chuẩn mã hóa thoại 45 2.6 Mã hóa âm 46 2.7 Kỹ thuật mã hóa âm cảm nhận 51 2.8 Một số chuẩn mã hóa âm 55 2.9 Hướng dẫn ôn tập chương 60 i Xử lý âm hình ảnh Kỹ thuật xử lý âm Chương 3: Kỹ thuật xử lý ảnh 62 3.1 Giới thiệu chung 62 3.1.1 Khái niệm ảnh xử lý ảnh 62 3.1.2 Các ứng dụng phổ biến xử lý ảnh 63 3.1.3 Các giai đoạn xử lý ảnh số 63 3.1.4 Các khái niệm ảnh số 65 3.2 Cơ sở xử lý ảnh số 66 3.2.1 Cơ sở cảm nhận thị giác 66 3.2.2 Số hóa ảnh 70 3.2.2 Biểu diễn ảnh số 72 3.3 Kỹ thuật nén ảnh 72 3.3.1 Tổng quan nén ảnh 72 3.3.2 Hiệu nén ảnh chất lượng ảnh 74 3.3.3 Phân loại phương pháp nén ảnh 75 IT 3.4 Các phương pháp nén ảnh không tổn thất 76 3.4.1 Mã hoá Huffman 76 3.4.2 Mã hóa số học 76 3.4.3 Mã hóa từ điển LZW 78 3.4.4 Mã hoá loạt chạy dài RLC 78 3.5 Các phương pháp nén ảnh có tổn thất 79 3.5.1 Mã hoá PCM vi sai 79 3.5.2 Mã hoá biến đổi 80 PT 3.6 Một số chuẩn nén ảnh 91 3.7 Hướng dẫn ôn tập chương 100 Chương 4: Kỹ thuật xử lý video 103 4.1 Giới thiệu chung 103 4.1.3 Các khuôn dạng lấy mẫu YCbCr 107 4.2 Mã hóa video bù chuyển động 109 4.3 Phân tích chuyển động 110 4.4 Kỹ thuật so khớp khối 112 4.4.1 Tiêu chí so khớp khối 113 4.4.2 Các thủ tục tìm kiếm 113 4.5 Một số chuẩn mã hóa video ứng dụng truyền thông 118 4.5.1 Các chuẩn nén video H26x ITU 118 4.5.2 Chuẩn nén video MPEG 130 4.6 Bài tập chương 141 TÀI LIỆU THAM KHẢO 143 ii Xử lý âm hình ảnh Kỹ thuật xử lý âm Danh mục hình vẽ PT IT Hình 2-1: Số hóa mã hóa tín hiệu thoại 28 Hình 2-2: Hệ thống thông tin thoại 29 Hình 2-3: Sơ đồ khối hệ thống xử lý tín hiệu thoại 32 Hình 2-4: Mô tả sơ đồ khối tổng quát mã hóa âm thoại 33 Hình 2-5: Mơ hình tổng qt giải mã hóa âm thoại 33 Hình 2-6: Chất lượng thoại so với tốc độ bit loại mã hóa 36 Hình 2-7: Bộ mã hóa giải mã ADPCM 38 Hình 2-8: Mơ hình tốn học LPC 40 Hình 2-9: Sơ đồ khối chức LPC Vocoder 2,4Kbps 41 Hình 2-10: Cấu trúc mã hóa giải mã lai AbS 41 Hình 2-11: Mã hóa tiếng nói GSM 2G 42 Hình 2-12: Sơ đồ khối mã hóa RPE-LTP 44 Hình 2-13: Sơ đồ khối giải mã RPE-LTP 44 Hình 2-14: Cấu trúc hệ thống Audio điển hình 47 Hình 2-15: Ngưỡng nghe 48 Hình 2-16: Mặt nạ tần số 49 Hình 2-17: Mặt nạ thời gian 49 Hình 2-18: Dải lọc thông dải 51 Hình 2-19: Kiến trúc tổng quát mã âm cảm nhận 51 Hình 2-20: Bộ lọc phân chia nội suy 52 Hình 2-21: Bank lọc phân tích tổng hợp 52 Hình 2-22: Bank lọc QMF 53 Hình 2-23: Cấu trúc trúc mã hóa băng dạng đơn phân giải 53 Hình 2-24: Gán bit cảm nhận 55 Hình 2-25: sơ đồ khối mã hóa MP3 điển hình 56 Hình 2-26: Sơ đồ mã hóa ACC 59 Hình 2-27: Sơ đồ giải mã ACC 59 Hình 3-1: Các loại ảnh 62 Hình 3-2: Các bước xử lý ảnh số 64 Hình 3-3: Cấu tạo mắt người 66 Hình 3-4: Đáp ứng phổ (độ nhạy) mắt người 67 Hình 3-5: Mơ hình hình thành hình ảnh 67 Hình 3-6: Bộ cảm biến ảnh đơn 68 Hình 3-7: Dải cảm biến 69 Hình 3-8: Thu nhận ảnh sử dụng dải cảm biến tuyến tính (a) dải cảm biến vịng (b) 69 Hình 3-9: Mảng cảm biến 70 Hình 3-10: Ví dụ minh họa q trình thu nhận ảnh số 70 Hình 3-11: Q trình số hóa ảnh 71 Hình 3-12: Quá trình lấy mẫu lượng tử hóa ảnh 71 Hình 3-13: Biểu diễn ảnh hàm 72 Hình 3-14: Sơ đồ khối hệ thống nén ảnh tiêu biểu 74 Hình 3-15: Sơ đồ mã hóa (trên) giải mã (dưới) DPCM 79 Hình 3-16: Hệ thống mã hóa biến đổi, mã hóa (a) giải mã (b) 81 iii Xử lý âm hình ảnh Kỹ thuật xử lý âm PT IT Hình 3-17: Các hàm sở Walsh-Hadamar (a) DCT (b) với N=4 83 Hình 3-18: Ảnh gần sử dụng biến đổi Fourier (a), Hadamard (c) DCT (e) ảnh sai khác tương ứng 84 Hình 3-19: Ảnh gần sử dụng 12,5% hệ số DCT 8x8; (a,c,e) kết mã hóa ngưỡng; (b,d,f) kết mã hóa vùng 85 Hình 3-20: Mặt nạ vùng (a), gán bit theo vùng (b), mặt nạ ngưỡng (c), chuỗi xếp hệ số theo ngưỡng (d) (vùng đậm hệ số giữ lại) 86 Hình 3-21: Hệ thống mã hóa wavelet 87 Hình 3-22: Biến đổi Wavelet Haar: (a) hàm định cỡ; (b) hàm wavelet 89 Hình 3-23: Ảnh đầu vào cho biến đổi wavelet Haar 2D: (a) giá trị điểm ảnh; (b) ảnh 8x8 89 Hình 3-24: (a) Đầu trung gian biến đổi wavelet Haar 2D, (b) Đầu mức biến đổi wavelet Haar 2D , (c) minh họa hình ảnh biến đổi wavelet 90 Hình 3-25: Biến đổi DWT thuận (trên) ngược (dưới) 91 Hình 3-26: Biến đổi DWT-2D; (a) Biến đổi mức; (b) Biến đổi mức 91 Hình 3-27: Sơ đồ trình nén ảnh theo chuẩn JPEG 92 Hình 3-28: Quét zig-zag hệ số DCT lượng tử hóa 94 Hình 3-29: Bộ mã hóa thành phần DC 94 Hình 3-30: Bộ mã hóa thành phần AC 95 Hình 3-31: Sơ đồ khối giải mã tín hiệu JPEG 97 Hình 3-32: Sơ đồ trình nén giải nén theo chuẩn JPEG-2000 98    ˆ  103 Hình 4-1: Hai vị trí cảm biến s  (0,0,0,0,0) s  (x,y,z,a,a) Hình 4-2: DCT-3D cho khối 8x8x8 104 Hình 4-3: Sơ đồ khối mã hóa video 105 Hình 4-4: Các mơ hình lấy mẫu 4:2:0 (a), 4:2:2 (b) 4:4:4 (c) 107 Hình 4-5: Hai ảnh liên tiếp chuỗi video 109 Hình 4-6: Sơ đồ khối mã hóa bù chuyển động 110 Hình 4-7: Trích chọn đặc tính tương đương từ ảnh liên tiếp chuỗi ảnh 110 Hình 4-8: So khớp khối 112 Hình 4-9: Cửa sổ tìm kiếm cửa sổ tương quan 113 Hình 4-10: Tìm kiếm logarit 2D 114 Hình 4-11: Tìm kiếm bước 115 Hình 4-12: Tìm kiếm phân cấp bước 116 Hình 4-13: Tìm kiếm phân cấp với khối có kích thước động 117 Hình 4-14: Chuỗi ảnh H.261 119 Hình 4-15 : Mã hóa ảnh I 120 Hình 4-16: Mã hóa ảnh P theo phương pháp bù chuyển dộng H.261 120 Hình 4-17: H.261; (a) Bộ mã hóa, (b) Bộ giải mã 122 Hình 4-18: Cú pháp luồng bit video H.261 124 Hình 4-19: Sắp xếp GOB ảnh chói H.261 125 Hình 4-20: Sắp xếp GOB ảnh chói H.263 125 Hình 4-21: Dự đoán vector chuyển động H.263: (a) MV dự đốn khối MB trung bình (MV1, MV2, MV3); (b) Xử lý đặc biệt MV MB biên ảnh GOB 126 Hình 4-22: Dự đoán nửa điểm ảnh qua nội suy song tuyến H.263 126 Hình 4-23: Ảnh PB H.263 127 Hình 4-24: Bộ mã hóa giải mã H.264 128 iv Xử lý âm hình ảnh Kỹ thuật xử lý âm Hình 4-25: Đa luồng/mở rộng 130 Hình 4-26: Tìm kiếm song hướng 131 Hình 4-27: Mã hóa ảnh B theo phương pháp bù chuyển động song hướng 131 Hình 4-28: Chuỗi ảnh MPEG 132 Hình 4-29: Các mảng ảnh MPEG 133 Hình 4-30: Các lớp dòng bit video MPEG-1 134 Hình 4-31: Các mành dự đoán mành MPEG-2 136 Hình 4-32: MPEG-2 mở rộng SNR; (a) Bộ mã hóa, (b) Bộ giải mã 138 Hình 4-33: Ngun lý mã hóa video MPEG-4 140 Danh mục bảng biểu PT IT Bảng 1-1: RFC 1193 - Các yêu cầu cho dịch vụ thời gian thực 11/1990 17 Bảng 2-1:Các loại phụ âm tiếng Việt 32 Bảng 2-2: Phân loại mã hóa thoại theo tốc độ 35 Bảng 2-3: Gán bit mã hóa RPE-LTP 43 Bảng 2-4: Các chuẩn mã hóa âm thoại 45 Bảng 2-5: Các băng tần tới hạn độ rộng băng tần 50 Bảng 3-1: Ví dụ mơ hình tĩnh cho tập ký hiệu {a, e, i, o, u, !} 77 Bảng 3-2: Biểu diễn q trình mã hóa số học cho tin “eaii!” 77 Bảng 3-3: Biểu diễn trình giải mã số học giá trị x = 0.23355 78 Bảng 3-4: Bảng mã Huffman phân loại thành phần DC AC 95 Bảng 3-5: Bảng mã Huffman cho thuộc tính thành phần DC 95 Bảng 3-6: Bảng mã Huffman cho thành phần AC 96 Bảng 4-1: Thông số video số 108 Bảng 4-2: Luồng liệu điểm quan sát mã hóa H.261 123 v Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh LỜI NÓI ĐẦU Trong năm gần đây, với tiến khoa học kỹ thuật, phát triển mạnh mẽ máy tính, thơng tin di động Internet nhu cầu trao đổi dịch vụ truyền thông đa phương tiện mạng thông tin lớn đặc biệt ứng dụng truyền âm video thời gian thực qua mạng IP âm nhạc theo yêu cầu, video phone, video-conferencing, tele-medical hay video theo yêu cầu…Cho nên, vấn đề xử lý âm hình ảnh cho có hiệu cao, đảm bảo tiết kiệm băng thông truyền dẫn, giảm bớt không gian lưu trữ để truyền thông tin mạng cách dễ dàng nhanh chóng trở nên cấp thiết hết IT Bài giảng “Xử lý âm hình ảnh” giới thiệu kiến thức kỹ thuật xử lý âm thanh, hình ảnh, video đặc biệt trọng đến phương pháp nén, lưu trữ, tiêu chuẩn nén âm thanh, hình ảnh, video ứng dụng truyền thông đa phương tiện nhằm đảm bảo chất lượng âm thanh, hình ảnh tăng hiệu suất truyền dẫn thông tin PT Nội dung giảng bao gồm:  Chương 1: Giới thiệu chung: Giới thiệu tổng quan khái niệm lý thuyết sở phục vụ cho môn học vai trị xử lý âm hình ảnh ứng dụng truyền thông đa phương tiện  Chương 2: Kỹ thuật xử lý âm thanh: Giới thiệu đặc trưng âm thanh, phân tích đặc điểm quan phát âm tạo tiếng nói người, phương pháp mã hóa thoại, âm  Chương 3: Kỹ thuật xử lý ảnh: Tập trung trình bày khái niệm ảnh, kỹ thuật xử lý ảnh, nén ảnh theo chuẩn JPEG, JPEG-2000  Chương 4: Kỹ thuật xử lý video: Tập trung trình bày khái niệm video, kỹ thuật xử lý video, nén video theo chuẩn MPEG, H.26x Rất mong nhận đóng góp đồng nghiệp, học viên, sinh viên bạn đọc để giảng hoàn thiện Những ý kiến đóng góp xin gửi về: Bộ mơn Tín hiệu Hệ thống, Khoa Viễn thơng Học Viện Cơng nghệ Bưu Viễn thơng Địa chỉ: Km 10, đường Nguyễn Trãi, Hà Đông, Hà Nội Tel: 0438549352; 0902002030 Fax: 0433511405 E-mail: hiennt@ptit.edu.vn, havt@ptit.edu.vn, thangln@ptit.deu.vn, thuylt@ptit.edu.vn Xin trân trọng cảm ơn! Hà Nội, tháng 12 năm 2016 T/M nhóm tác giả Nguyễn Thu Hiên Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh CÁC THUẬT NGỮ VIẾT TẮT ADSL ADPCM BRR BSC CABAC Asymmetric Digital Subscriber Line Adaptive Differential Pulse Code Modulation Bit Rate Reduction Binary Symmetric Channel Context Adaptive Binary Arithmetic Coding Charge Coupled Device CIF DCT DDC DFT DPCM DSL EDTV EOB FIR GIF GOP GOV HDTV HVS Common Intermediate Format Discrete Cosine Transform Double Delta Coding Discrete Fourier Transform Differential Pulse Code Modulation Digital Subcriber Line Digital Subscriber Line Access Multiplexer Digital Storage Media Digital Video Broadcasting Digital Video Disc Descrete Wavelet Transform Embedded Block Coding with Optimal Truncation Extended Definition TeleVision End of Block Finite Impulse Response Graphics Interchange Format Group of Picture Group of VOPs High-Definition TeleVision Human Vision System ICT Irreversible color transform IGMP IIR Internet Group Management Protocol Infinte impulse responce DSLAM PT DSM DVB DVD DWT EBCOT Điều chế xung mã vi sai thích ứng Sự giảm tốc độ bit Kênh nhị phân đối xứng Mã hố thuật tốn nhị phân theo tình Thiết bị cảm biến quang điện bán dẫn Khuôn dạng trung gian chung Biến đổi Cosin rời rạc Mã hoá delta kép Biến đổi rời rạc Fourier Điều chế xung mã vi sai Đường dây thuê bao số Bộ tập trung đường dây thuê bao số Phương tiện lưu trữ số Quảng bá truyền hình số Đĩa ảnh số (quang) Biến đổi Wavelet rời rạc Mã hóa khối nhúng với cắt giảm tối ưu Truyền hình mở rộng Kết thúc khối Đáp ứng xung hữu hạn Định dạng trao đổi ảnh Nhóm khung ảnh Nhóm GOV Truyền hình độ phân giải cao Hệ thống thị giác người Chuyển đổi màu khơng thuận nghịch Giao thức quản lý nhóm Internet Đáp ứng xung vô hạn IT CCD Đường dây thuê bao số bất đối xứng Xử lý âm hình ảnh JIF JPEG/ JVT KLT LZW MoD MPEG Internet Protocol Television International Organization for Standardization JPEG Interchange Format Joint Photographic Experts Group/ Joint Video Team Karhunen – Loeve Transform Lempel Ziv-Wench Transform Music on Demand Moving Picture Experts Group NTSC National Television System Committee PAL PCM PDF PON QCIF RAC RCT RLC/ RLE RMS SECAM Phase Alternating Line Pulse Code Modulation Portable Document Format Passive Optical Networks Quarter Common Intermediate Format Relative Address Coding Reversible Color Transform Run Length Coding/ Encoding Root Mean Square Sequential Color with Memory SNR STB TIFF TVoD VLC VO VoD Signal to Noise Ratio Set Top Box Tagged Image File Format TeleVision on Demand Very High Speed Digital Subscriber Line Variable Length Code Video Object Video on Demand VOL Video Object Layer VOP Video Object Plane PT ISO VDSL Truyền hình dựa Internet Tổ chức chuẩn quốc tế Định dạng trao đổi JPEG Nhóm chuyên gia ghép nối đồ họa Chuyển đổi Karhunen – Loeve Chuyển đổi Lempel Ziv-Wench Âm nhạc theo yêu cầu Nhóm chuyên gia ảnh động Ủy ban hệ thống truyền hình quốc gia PAL Điều chế xung mã Định dạng tài liệu linh động Mạng quang thụ động Định dạng có độ phân giải ¼ CIF Mã hóa địa tương đối Chuyển đổi thuận nghịch Mã hóa độ dài chạy Độ lệch trung bình bình phương SECAM IT IPTV Chương 3:Kỹ thuật xử lý ảnh Tỷ số tín hiệu nhiễu Set Top Box Khuôn dạng file tiêu chuẩn Tivi theo yêu cầu Đường thuê bao số tốc độ cao Mã hóa độ dài thay đổi Đối tượng hình ảnh Video theo yêu cầu Lớp đối tượng hình ảnh chuyển động Mặt phẳng đối tượng hình ảnh chuyển động Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh Chương 1: Nhập mơn xử lý âm hình ảnh PT IT 1.1 Các khái niệm lý thuyết sở Xử lý tín hiệu lĩnh vực khoa học nghiên cứu phát triển thời gian dài Hệ thống xử lý tín hiệu tương tự xử lý tín hiệu số ứng dụng rộng rãi ngành viễn thông nhiều ngành khoa học khác Trong năm gần đây, phương pháp xử lý tín hiệu số dần chiếm ưu thế, chất, tín hiệu nguyên thủy truyền tín hiệu mà người nhận tin thu tín hiệu tương tự Xu hướng phát triển hình thành hệ thống số có nhiều tính trội so với hệ thống tương tự Trước đây, tốc độ xử lý máy tính cịn chậm, việc xử lý tín hiệu "phức tạp" tín hiệu âm chất lượng cao hay tín hiệu ảnh số khơng thể thực thời gian thực Tuy nhiên, năm gần đây, với phát triển mạnh mẽ công nghệ vi điện tử, nhược điểm nêu khắc phục Ví dụ điển hình DSP xử lý ảnh âm cao cấp hãng Texac Instrument TMS320DM6446 Digital Media System-on-Chip làm việc với tần số xung nhịp 594 Mhz, cho phép thực nén video theo chuẩn MPEG-2 MPEG-4 thời gian thực (http://focus.ti.com/docs/prod/folders/print/tms320dm6446.html) Tốc độ xử lý DSP 4752 MIPS (Million Instructions Per Second - MIPS) DSP TMS320DM6446 tích hợp kênh biến đổi DAC (54MHz) để tạo tín hiệu video tiêu chuẩn theo hệ NTSC/PAL, S-Video video thành phần (Component video) Hiện nay, kỹ thuật xử lý tín hiệu số sử dụng hiệu lĩnh vực xử lý âm (nhận dạng tiếng nói, tổng hợp âm tiếng nói v.v.), xử lý ảnh (nâng cao chất lượng ảnh, phân vùng, nhận dạng v.v), đo lường điều khiển, thiên văn học v.v Bài giảng "xử lý âm hình ảnh” tài liệu hướng dẫn "nhập môn" xử lý âm hình ảnh Thơng thường tài liệu nghiên cứu xử lý ảnh âm tách riêng vì: 1- Đây hai lĩnh vực xử lý tín hiệu rộng, liên quan tới nhiều ngành khoa học khác nhau; 2- Quá trình xử lý tín hiệu âm hình ảnh phải thực dựa hiểu biết sâu sắc hệ thống thính giác thị giác người; 3Tín hiệu âm hình ảnh khác chất: tín hiệu âm tín hiệu chiều cịn tín hiệu hình ảnh (tĩnh hay động) tín hiệu hai ba chiều Chính thế, cơng cụ tốn học để mơ tả phân tích q trình xử lý hai loại tín hiệu khác Tuy âm hình ảnh hai tín hiệu tương đối khác nhau, trình xử lý chúng mô tả dựa tảng lý thuyết xử lý tín hiệu tổng quát Sau nhắc lại số khái niệm trước nghiên cứu sâu kỹ thuật xử lý âm hình ảnh 1.1.1 Định nghĩa tín hiệu Định nghĩa: Tín hiệu đại lượng vật lý biến thiên theo thời gian, theo không gian, theo nhiều biến độc lập khác, ví dụ như: Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… c Lượng tử hóa H.261 Lượng tử hóa H.261 khơng sử dụng ma trận lượng tử hóa 8x8 JPEG MPEG Thay vào đó, sử dụng số gọi kích cỡ bước (step_size), cho tất các hệ số DCT khối ảnh Theo yêu cầu (ví dụ, điều khiển tốc độ bit video), kích cỡ bước có 31 giá chẵn từ 2-62 Tuy nhiên, ngoại lệ đưa hệ số DC chế độ ảnh có kích cỡ bước Nếu sử dụng DCT QDCT để hệ số DCT trước sau lượng tử hóa, hệ số DC chế độ ảnh, ta có:  DCT   DCT  QDCT=round    round      step _ size  Còn tất hệ số khác: IT  DCT   DCT  QDCT=     step _ size    scale  với scale số nguyên thuộc vào khoảng [1-31] d Bộ mã hóa giải mã H.261 PT Sơ đồ mã hóa giải mã H.261 thể hình 4.17 Trong đó: - Ảnh I thường gửi lần giây - Các ảnh giải mã sử dụng làm ảnh tham khảo ước lượng chuyển động Để minh họa chi tiết hoạt động mã hóa giải mã, sử dụng kịch ảnh I, P1, P2 mã hóa sau giải mã Dữ liệu qua điểm quan sát thị số khoanh trịn hình 4.17, tóm tắt bảng 4.2 Chúng ta sử dụng I, P1, P2 làm liệu gốc, I, P1 , P liệu giải mã (thường khác gốc), P1' , P2' ảnh dự đoán chế độ liên ảnh Đối với mã hóa, ảnh ảnh I, điểm số nhận khối ảnh từ ảnh I (Bảng 4.2) Mỗi ảnh I qua khối DCT, lượng tử hóa, mã hóa entropy, kết gửi tới đệm đầu truyền Trong đó, hệ số QDCT ảnh I gửi đến giải lượng tử hóa 1 Q IDCT, xuất điểm I Kết hợp với đầu vào từ điểm 5, liệu điểm I , sau lưu nhớ ảnh, chờ sử dụng để ước lượng chuyển động dự đoán bù chuyển động cho ảnh P1 Điều khiển lượng tử hóa đường hồi tiếp thơng báo khi đệm đầu đầy, kích cỡ bước lượng tử hóa tăng, cho giảm kích cỡ liệu mã hóa Q trình gọi q trình điều khiển tốc độ mã hóa Khi ảnh P1 đến điểm 1, trình ước lượng chuyển động tìm vector chuyển động cho khối ảnh tương xứng ảnh I khối ảnh P1 Vector chuyển động ước lượng gửi đến dự đoán bù chuyển động mã 121 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… PT IT hóa độ dài thay đổi (VLE) Dự đốn bù chuyển động có khối ảnh tương xứng P1, ký hiệu P1' điểm Hình 4-17: H.261; (a) Bộ mã hóa, (b) Bộ giải mã Tại điểm 3, sai số dự đốn tính, D1=P1- P1' Sau D1 đưa qua DCT, lượng tử hóa mã hóa entropy, kết gửi đến đệm đầu Như trước, hệ số DCT cho D1 gửi đến Q 1 IDCT, xuất điểm D1 122 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Cộng với P1' điểm 5, ta có P1  P1'  D1 điểm Tại lưu vào nhớ ảnh, chờ sử dụng cho ước lượng chuyển động dự đoán bù chuyển động cho ảnh P2 Các bước mã hóa P2 tương tự ảnh P1, ngoại trừ P2 ảnh P1 trở thành ảnh tham khảo Đối với giải mã, mã đầu vào cho ảnh giải mã giải mã entropy, giải lượng tử hóa IDCT Với chế độ ảnh, ảnh giải mã xuất điểm sau điểm I Nó gửi làm đầu lưu vào nhớ thời điểm Tiếp theo, mã đầu vào ảnh P1 giải mã, sai số dự đoán D1 thu điểm Vì vector chuyển động khối ảnh giải mã entropy gửi tới dự đoán bù chuyển động, nên ảnh dự đoán tương ứng P1' xuất vị trí Kết hợp với D1 , ta có P1  P1'  D1 điểm 4, gửi đầu ảnh giải mã, đồng thời lưu vào nhớ ảnh Cứ vậy, bước thực tương tự để giải mã ảnh P2 Ảnh IT Bảng 4-2: Luồng liệu điểm quan sát mã hóa H.261 Điểm quan sát I P1 P1 P2 P2 P1 ’ D1 I D P1 ’ I P P2 ’ D2 D P2 ’ P2 PT I 1 Bảng 4.3: Luồng liệu điểm quan sát giải mã H.261 Ảnh Điểm quan sát P1 I D P1 ’ P1 ’ I P P2 D P2 ’ P2 ’ P2 I 1 e Cú pháp luồng bit video H.261 Cú pháp luồng bit video H.261 mơ tả hình 4.18 Nó phân cấp gồm bốn mức: Ảnh, Nhóm khối ảnh (GOB), Khối ảnh lớn (Macroblock) khối Ở mức ảnh, mã khởi tạo ảnh (PSC) mô tả ranh giới ảnh Thông số tham khảo thời gian (TR) cung cấp nhãn thời gian cho ảnh Do giảm mẫu theo thời gian nên 123 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… IT số ảnh khơng truyền, nên TR có vai trị quan trọng việc trì đồng với âm Kiểu ảnh (PType) xác định ảnh CIF hay QCIF Mã khởi tạo ảnh TR Tham khảo thời gian PType Kiểu ảnh GOB Nhóm khối ảnh GBSC Mã khởi tạo GOB GN Số nhóm GQuant Bộ lượng tử hóa GOB MB Khối ảnh lớn MQuant Bộ lượng tử hóa MB MVD Dữ liệu vector chuyển động CBP Mơ hình khối mã hóa EOB Kết thúc khối PT PSC Hình 4-18: Cú pháp luồng bit video H.261 Ở mức GOB, ảnh H.261 chia thành vùng gồm 11x3 khối ảnh lớn (chẳng hạn vùng 176x48 điểm ảnh ảnh chói), vùng gọi nhóm ảnh Hình 4.19 mơ tả q trình xếp GOB ảnh chói CIF QCIF Chẳng hạn, ảnh CIF có 12 GOB, tương ứng với độ phân giải ảnh 352x288 điểm ảnh Mỗi GOB có mã khởi tạo (GBSC) số nhóm (GN) GBSC nhận dạng mà khơng giải mã tồn mã luồng bit Trong trường hợp lỗi mạng gây lỗi bit số bit, video H.261 khơi phục đồng lại GOB nhận dạng kế tiếp, hạn chế lan truyền lỗi Ở mức khối ảnh lớn, khối ảnh lớn (MB) có địa riêng, thị vị trí GOB, lượng tử hóa (MQuant) khối ảnh 8x8 (4Y, 1Cb, 1Cr) Trường Type chế độ mã hóa ảnh liên ảnh, bù chuyển động không bù chuyển động Dữ liệu vector chuyển động (MVD) có qua việc tính tốn sai khác vector chuyển động khối ảnh lớn trước Hơn nữa, số khối khối ảnh lớn tương xứng tốt số khối khác lại tương xứng ước lượng chuyển động, mặt nạ bit “mơ hình khối mã hóa (CBP)” sử dụng để thị thông tin Chỉ khối tương xứng tốt có hệ số chúng truyền 124 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Hình 4-19: Sắp xếp GOB ảnh chói H.261 Ở mức khối, với khối 8x8, luồng bit bắt đầu với giá trị DC, sau cặp (bước chạy không, giá trị khác không tiếp theo) cho hệ số AC, cuối mã kết thúc khối (EOB) 4.5.1.2 Chuẩn nén H.263 PT IT H.263 tiêu chuẩn mã hóa video cải tiến cho dịch vụ hội nghị truyền hình dịch vụ âm hình ảnh khác truyền mạng PSTN Với mục tiêu truyền thông tốc độ bit tháp tốc độ nhỏ 64 kbps Nó tiếp nhận nhóm nghiên cứu 15 ITU-T vào năm 1995 Giống với H.261, tiêu chuẩn sử dụng mã hóa dự đốn cho chế độ mã hóa liên ảnh, để giảm dư thừa thời gian, mã hóa biến đổi cho tín hiệu dư, để giảm dư thừa khơng gian Ngồi hai khn dạng CIF QCIF, H.263 cịn hỗ trợ sub-QCIF, 4CIF 16CIF Hình 4-20: Sắp xếp GOB ảnh chói H.263 Cũng H.261, H.263 sử dụng nhóm ảnh Chỉ khác GOB H.263 khơng có kích thước cố định, thường bắt đầu kết thúc biên trái phải ảnh Như hình 4.20, mỗ ảnh chói QCIF gồm GOB GOB có 11x1 MB (176x16 điểm ảnh), đõ ảnh chói 4CIF có 18 GOB GOB có 44x2 MB (704x32 điểm ảnh) 125 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… a Bù chuyển động H.263 Quá trình bù chuyển động H.263 giống H.261 Tuy nhiên, vector chuyển (MV) không đơn giản tìm từ khối ảnh Các thành phần theo hướng ngang hướng dọc MV dự đốn từ giá trị trung bình thành phần hướng ngang hướng dọc, tương ứng, MV1, MV2, MV3 từ khối ảnh trước, trên, trên-phải (Hình 4.21a) Thường với khối ảnh có MV(u,v), đó: u p  median  u1 , u2 , u3  v p  median  v1 ,v2 ,v3  PT IT Thay mã hóa MV(u,v), vector lỗi (  u ,  v ) mã hóa, đó,  u  u  u p  v  v  v p Như hình 4.21b, MB biên ảnh GOB, (0,0) MV1 sử dụng làm vector chuyển động cho MB biên Hình 4-21: Dự đốn vector chuyển động H.263: (a) MV dự đoán khối MB trung bình (MV1, MV2, MV3); (b) Xử lý đặc biệt MV MB biên ảnh GOB Hình 4-22: Dự đốn nửa điểm ảnh qua nội suy song tuyến H.263 126 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… PT IT Để cải tiến chất lượng bù chuyển động, giảm sai số dự đoán, H.263 hỗ trợ độ xác đến nửa điểm ảnh (half-pixel) thay tồn điểm ảnh (full-pixel) H.261 Dải mặc định cho thành phần hướng ngang hướng dọc u v MV(u,v) [16,15.5] Các giá trị điểm ảnh cần thiết vị trí nửa điểm ảnh tạo phương pháp nội suy song tuyến, hình 4.22, A, B, C, D a, b, c, d tương ứng giá trị điểm ảnh vị trí tồn điểm ảnh nửa điểm ảnh, “/” phép chia lấy phần nguyên b Các chế độ mã hóa H.263 tùy chọn Ngồi thuật tốn mã hóa, H.263 cịn khuyến nghị nhiều tùy chọn mã hóa khác Bốn tùy chọn mã hóa sau: - Chế độ vector chuyển động không hạn chế: điểm ảnh tham khảo khơng cịn bị hạn chế giới hạn ảnh Điều có lợi nội dung ảnh chuyển động qua góc ảnh Chế độ mở rộng khoảng vector chuyển động [31.5, 31.5], cho phép mã hóa hiệu đối tượng chuyển động nhanh video - Chế độ mã hóa số học theo cú pháp: chế độ tất hoạt động mã hóa độ dài thay đổi thay hoạt động mã hóa số học Theo cú pháp mức, mã hóa số học cần mã hóa luồng bit khác từ thành phần khác Vì luồng bit có phân bố khác nhau, H.263 phải xác định mô hình cho phân bố - Chế độ dự đốn nâng cao: chế độ này, kích thước khối ảnh bù chuyển động giảm từ 16 xuống Bốn vector chuyển động (từ khối 8x8) tạo cho khối ảnh lớn ảnh chói Sau đó, điểm ảnh khối ảnh dự đốn cho chói 8x8 thực tổng có trọng số ba giá trị dự đốn dựa vector chuyển động khối chói hai số bốn vector chuyển động từ khối lân cận (trái phải dưới) Hình 4-23: Ảnh PB H.263 - Chế độ ảnh PB, chế độ ảnh mã hóa thành đơn vị: ảnh P, dự đoán từ ảnh I ảnh P giải mã trước ảnh B, dự đốn từ ảnh I ảnh P giải mã trước ảnh P giải mã (Hình 4.23) 127 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… 4.5.1.3 Chuẩn nén H.264/AVC H.264/AVC chuẩn cho mã hóa video, phổ biến việc định dạng để mã hóa video, cơng cụ tốt để nén video chuỗi phát triển liên tục truyền thông video kỹ thuật số H.264/AVC tài liệu đưa quan tiêu chuẩn quốc tế, ITU_T ISO/IEC Nó định nghĩa định dạng cấu trúc để nén video phương pháp để giải mã cấu trúc để hiển thị chuỗi video Lợi lớn H.264/AVC tiêu chuẩn trước khả nén So với tiêu chuẩn chẳng hạn MPEG-2 MPEG-4 Visual, H.264/AVC cung cấp: - Chất lượng hình ảnh tốt tốc độ bit nén giống - Tốc độ bit thấp cho chất lượng hình ảnh tương tự PT IT Cấu trúc mã hóa giải mã H264/AVC thể hình 4.24 Hình 4-24: Bộ mã hóa giải mã H.264 128 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… 4.5.1.4 Chuẩn nén H264/SVC PT IT Kể từ phiên H.264/AVC đời vào năm 2003, ngành cơng nghiệp mã hóa video tiếp tục phát triển Phạm vi tảng chế cung cấp cho video tiếp tục phát triển có xu hướng ngày tăng, nội dung video cần có sẵn tảng từ điện thoại di động để hiển thị HD 3D, mạng bao gồm truyền hình, Internet, điện thoại di động, vv Yêu cầu đặt chuẩn nén hình ảnh phải thích nghi chế mã hóa với mơi trường khác Với lý đó, chuẩn nén hình ảnh H.264/SVC đời đem lại nhiều ưu điểm trội hẳn so với chuẩn nén tiền nhiệm H.264/AVC SVC hỗ trợ mã hóa cho video theo cách mà nhiều phiên tín hiệu video giải mã loạt tốc độ bit, độ phân giải không gian độ phân giải thời gian tốc độ khung hình có hiệu Bằng cách kết hợp nhiều phiên mã hóa, phân phối theo cách hiệu so với phương án mã hóa truyền phiên riêng biệt Tháng 10 năm 2003: MPEG đưa đề xuất công nghệ SVC Tháng năm 2004: Mười bốn đề nghị đệ trình; mười hai dựa nén dựa vào biến đổi Wavelet, hai phần mở rộng H.264/MPEG-4 AVC Tháng 10 năm 2004: Đề nghị thực nhóm truyền hình ảnh Viện Heinrich Hertz (HHI) lựa chọn MPEG điểm khởi đầu dự án tiêu chuẩn hóa SVC Tháng năm 2005: MPEG VCEG đồng ý để chuẩn hóa dự án SVC sửa đổi tiêu chuẩn H.264/MPEG-4 AVC Đến năm 2007, dự án SVC cơng nhận thức H.264/SVC đưa Phụ lục G H.264/AVC H.264/SVC có profiles tổng số 21 profiles AVC Mã hóa video mở rộng (SVC) có nhiệm vụ truyền tải nhiều phiên video khác sử dụng tốc độ bit thấp so với truyền tải simulcast Điều đạt nhờ khai thác dư thừa phiên khác nhau, ví dụ tương quan phiên đoạn video giống mã hóa điểm hoạt động khác Ba dịng tín hiệu giống truyền sử dụng SVC cho hình 4.25 Bộ mã hóa SVC sinh ba dịng bit mã hóa, gọi lớp Lớp thấp nhất(lớp sở), lớp hình 4.25, dịng giải mã sử dụng giải mã đơn lớp thông thường, giải mã H.264 sinh dòng video chất lượng/độ phân giải thấp điểm hoạt động khác Một nhiều lớp nâng cao, lớp lớp ví dụ, mã hóa thành dịng bit SVC Để giải mã dòng bit chất lượng độ phân giải cao hơn, giải mã SVC giải mã lớp sở nhiều lớp nâng cao Ở ví dụ, việc giải mã lớp sử dụng giải mã AVC thông thường sinh tín hiệu có chất lượng thấp nhất; giải mã lớp sử dụng giải mã SVC sinh tín hiệu có chất lượng cao hơn; giải mã lớp 0,1 sử dụng giải mã SVC sinh tín hiệu có chất lượng cao Tiến trình mã hóa SVC khai thác dư thừa dịng mã hóa chất lượng độ phân giải khác nhau, cách dự đoán lớp nâng cao từ lớp sở lớp thấp Bằng cách này, đạt kết trình chiếu hệ thống simulcast băng thông nhỏ 129 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Hình 4-25: Đa luồng/mở rộng IT Ý tưởng chung dịng bit mã hóa mở rộng ‘các phần dịng bit loại bỏ dịng bit hình thành nên dịng bit tương thích với giải mã đích’ Ở hình 4.25, dịng bit mở rộng bao gồm dịng mã hóa lớp 0, lớp lớp Việc giải mã tất dịng sinh tín hiệu đầu chất lượng cao, loại bỏ lớp giải mã lớp sinh tín hiệu đầu chất lượng trung bình, loại bỏ lớp 1,2 giải mã lớp sở sinh tín hiệu đầu chất lượng thấp PT 4.5.2 Chuẩn nén video MPEG 4.5.2.1 MPEG-1 Chuẩn nén số âm thanh/video MPEG-1 thông qua Tổ chức quốc tế ISO/IEC nhóm MPEG vào tháng 10 năm 1991 mã hóa ảnh động âm cho phương tiện lưu trữ số (CD, VCD) có tốc độ khoảng 1,5 Mbps Nhìn chung, MPEG-1 chấp nhận khn dạng TV số CCIR601, biết đến khuôn dạng SIF (Source Input Format) MPEG-1 hỗ trợ video không quét xen kẽ Thường độ phân giải hình ảnh 352x240 video NTSC tốc độ 30 ảnh/giây, 352x288 PAL tốc độ 25 ảnh/giây MPEG-1 sử dụng khn dạng lấy mẫu 4:2:0 Tiêu chuẩn MPEG-1 có phần: 11172-1 Systems, 11172-2 Video, 11172-3 Audio, 11172-4 Conformance, 11172-5 Software Phần hệ thống (Systems) quan tâm đến việc chia đầu thành gói luồng bit, ghép kênh đồng luồng video âm Phần Conformance khuyến nghị thiết kế đo kiểm để kiểm tra luồng bit giải mã có tuân theo chuẩn hay không Phần Software bao gồm việc thực thi hoàn chỉnh phần mềm giải mã theo tiêu chuẩn MPEG-1 mẫu thực thi phần mềm mã hóa 130 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… a Bù chuyển động MPEG-1 IT Như đề cập phần trước, mã hóa video bù chuyển động H.261 hoạt động sau: Trong ước lượng chuyển động, khối ảnh ảnh P đích gán khối ảnh tương xứng từ ảnh I ảnh P mã hóa trước Q trình gọi dự đốn Sau đó, sai khác khối ảnh với khối ảnh tương xứng gọi sai số dự đoán, gửi tới biến đổi DCT bước mã hóa Q trình thực dự đốn từ ảnh trước gọi dự đoán hướng Do chuyển động không mong muốn che khuất cảnh thật, mà khối ảnh đích khơng có khối ảnh tương xứng tốt ảnh trước Hình 4.26 minh họa khối ảnh có phần bóng ảnh đích khơng thể tìm khối ảnh tương xứng tốt ảnh trước đó, nửa bóng bị che vật thể khác Tuy nhiên, việc tương xứng lại có từ ảnh PT Hình 4-26: Tìm kiếm song hướng Hình 4-27: Mã hóa ảnh B theo phương pháp bù chuyển động song hướng 131 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… PT IT MPEG giới thiệu kiểu ảnh thứ ba ảnh B bù chuyển động hai hướng Hình 4.27 giới thiệu ý tưởng mã hóa ảnh B dựa bù chuyển động Ngồi dự đốn hướng đi, dự đốn hướng thực hiện, khối ảnh tương xứng có từ ảnh I ảnh P sau (future) chuỗi video Vì vậy, khối ảnh ảnh B rõ hai vector chuyển động, từ dự đốn ảnh trước từ dự đốn ảnh sau Nếu việc tương xứng hai hướng thành cơng, hai vector chuyển động gửi, hai khối ảnh tương xứng tương ứng lấy trung bình (được thị “%” hình) trước so sánh với khối ảnh đích để tìm ảnh sai số dự đốn Nếu việc tương xứng mức chấp nhận tìm thấy ảnh tham khảo, vector chuyển động khối ảnh tương ứng với sử dụng từ dự đốn hướng hướng Hình 4-28: Chuỗi ảnh MPEG Hình 4.28 minh họa chuỗi ảnh video Mơ hình ảnh thực tế xác định thời gian mã hóa rõ tiêu đề video MPEG sử dụng M để khoảng thời gian ảnh P ảnh I ảnh P trước đó, N để khoảng thời gian ảnh I liên tiếp Trong hình 11.3, M=3, N=9 Trường hợp đặc biệt M=1, không sử dụng ảnh B Vì mã hóa giải mã MPEG làm việc với khối ảnh từ ảnh B mà khơng có ảnh P ảnh I nó, nên thứ tự mã hóa truyền thực tế (được dịng hình 4.28) khác so với thứ tự hiển thị video (ở dịng hình) Trễ yêu cầu đệm trở thành vấn đề quan trọng việc truyền dẫn mạng thời gian thực, đặc biệt video MPEG streaming b Điểm khác biệt MPEG-1 so với H.261 Ngoài việc đưa vào bù chuyển động hướng (ảnh B), MPEG-1 khác so với H.261 điểm sau: - Khuôn dạng nguồn: H.261 hỗ trợ khuôn dạng nguồn CIF (352x288) QCIF (176x144) MPEG-1 hỗ trợ SIF (352x240 cho NTSC, 352x288 cho 132 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… PAL) Nó cho phép khuyến nghị khn dạng khác, miễn thỏa mãn tập tham số ràng buộc (CPS) Mảng: thay GOB H.261, ảnh MPEG-1 chia thành nhiều mảng (slice) (Hình 4.29), linh hoạt GOB Chúng có số khối ảnh lơn thay đổi ảnh đơn bắt đầu kết thúc điểm bất kỳ, miễn chúng phủ hết toàn ảnh Mỗi mảng mã hóa cách độc lập Chẳng hạn, mảng có hệ số định cỡ khác lượng tử hóa Điều cho phép linh hoạt điều khiển tốc độ bit Hơn nữa, khái niệm mảng quan việc khơi phục lỗi, mảng có mã khởi tạo mạng Mảng MPEG tương tự GOB H.261 (và H.263), mức thấp phân lớp MPEG khơi phục hồn tồn mà khơng cần giải mã tồn tồn tập mã có độ dài thay đổi luồng bit Lượng tử hóa: Lượng tử hóa MPEG sử dụng bảng lượng tử hóa khác cho chế độ mã hóa ảnh liên ảnh Các số lượng tử hóa mã hóa ảnh thay đổi khối ảnh lớn Đây điểm khác so với H.261, số lượng tử cho hệ số AC không thay đổi khối ảnh lớn Giá trị kích cỡ bước [i,j] xác định tích Q[i,j] hệ số định cỡ, Q1 Q2 bảng lượng tử hóa hệ số định cỡ số nguyên khoảng [1,31] Cụ thể, chế độ mã hóa ảnh:   DCT i, j     DCT i, j   QDCT i, j  =round   round    step _ size i, j    Q i, j   scale      Chế độ mã hóa liên ảnh:   DCT i, j     DCT i, j   QDCT i, j  =round   round    step _ size i, j    Q i, j   scale      PT - IT Hình 4-29: Các mảng ảnh MPEG - 133 Xử lý âm hình ảnh - - Chương 4: Các chuẩn mã hóa âm thanh… Để tăng độ xác dự đoán bù chuyển động, giảm sai số dự đốn, MPEG-1 cho phép vector chuyển động có độ xác đến phân điểm ảnh (subpixel) 1/2 điểm ảnh chẳng hạn MPEG-1 hỗ trợ khoảng cách lớn ảnh I ảnh P vùng tìm kiếm vector chuyển động lớn So với dải lớn ±15 điểm ảnh H.261, MPEG-1 hỗ trợ dải [-512, 511.5] với độ xác ½ điểm ảnh [-1024,1023] với độ xác toàn điểm ảnh (full-pixel) Luồng bit MPEG cho phép truy cập ngẫu nhiên Điều thực lớp nhóm ảnh GOP, GOP mã hóa thời gian Ngoài ra, ảnh GOP ảnh I Vì vậy, lớp GOP cho phép giải mã tìm vị trí cụ thể luồng bit bắt đầu giải mã từ vị trí c Luồng bit MPEG-1 PT IT Hình 4.30 mơ tả lớp phân cấp luồng bit video MPEG-1 Hình 4-30: Các lớp dịng bit video MPEG-1 Mức chuỗi ảnh: Một chuỗi video gồm nhiều nhóm ảnh (GOP) Nó thường bắt đầu với tiêu đề chuỗi Tiêu đề chứa thông tin ảnh, kích cỡ hướng ngang, hướng dọc, tỉ lệ khn hình, tốc độ ảnh, tốc độ bit, kích cỡ đệm, ma trận lượng tử hóa,… Các tiêu đề chuỗi tùy chọn GOP thị thay đổi tham số Mức nhóm ảnh (GOP): GOP gồm nhiều ảnh, số phải ảnh I Tiêu đề GOP chứa thông tin mã thời gian để giờ-phút-giây-ảnh từ điểm bắt đầu chuỗi Mức ảnh: Ba kiểu ảnh MPEG-1 chung ảnh I, ảnh P ảnh B đề cập 134 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Mức mảng: MPEG-1 đưa khái niệm mảng để điều khiển tốc độ bit, khôi phục đồng sau bit bị Các mảng có số khối ảnh lớn thay đổi Chiều dài vị trí mảng thị tiêu đề Mức khối ảnh lớn (marcoblock): Mỗi khối ảnh lớn gồm khối ảnh Y, khối ảnh Cb khối ảnh Cr Tất khối 8x8 Mức khối ảnh: Nếu khối mã hóa ảnh, hệ số DC sai khác gửi đầu tiên, mã độ dài thay đổi (VLC) cho hệ số AC 4.5.2.2 MPEG-2 PT IT Tiêu chuẩn MPEG-2 bắt đầu phát triển vào năm 1990 Không MPEG-1, tiêu chuẩn cho lưu trữ trình chiếu video CD máy tính tốc độ bit thấp (1,5 Mbps), MPEG-2 tiêu chuẩn cho video chất lượng cao tốc độ bit lớn Mbps Ban đầu, tiêu chuẩn phát triển tiêu chuẩn cho truyền hình số Vào cuối năm 1980, truyền hình tiên tiến (ATV) hướng đến để phát HDTV qua mạng mặt đất Trong trình phát triển MPEG-2, cuối ATV số nhận ưu tiên so với giải phát tương tự HDTV MPEG-2 kiểm soát để đáp ứng yêu cầu nén tốc bit truyền hình số/HDTV thực tế thay tiêu chuẩn MPEG-3 Tiêu chuẩn nén âm thanh/hình ảnh MPEG-2, đề cập đến ISO/IEC 13818, thơng qua nhóm MPEG vào năm 1994 Tương tự MPEG1, có phần Systems, Video, Audio, Conformance, Software, cộng thêm khía cạnh khác MPEG-2 có tiếp nhận rộng rãi ngồi truyền hình số qua mạng mặt đất, vệ tinh cáp Trong số ứng dụng khác truyền hình tương tác, chấp nhận cho đĩa video số (DVD) MPEG-2 định nghĩa profile cho ứng dụng khác (như hội nghị truyền hình trễ thấp, video mở rộng, HDTV) Các profile là: Simple, Main, SNR scalable, Spatially scalable, High, 4:2:2 Multiview Trong profile có tới mức định nghĩa, tất profile có mức Chẳng hạn, profile Simple có mức chính, profile High khơng có mức thấp Trong profile Main (4 mức) khuyễn nghị dung lượng liệu lớn ứng dụng mục tiêu Chẳng hạn, mức cao hỗ trợ độ phân giải ảnh cao 1920x1152, tốc độ ảnh lớn 60 ảnh/giây, tốc độ điểm ảnh lớn 62,7x106 điểm ảnh/giây, tốc độ liệu lớn sau mã hóa 80 Mbps Mức thấp hướng đến video SIF, cung cấp khả tương thích lại với MPEG-1 Mức cho video CCIR601, mức cao 1440 mức cao tương ứng hướng đến HDTV Châu Âu Bắc Mỹ Khuyến nghị video DVD cho phép độ phân giải hiển thị: 720x480, 704x480, 352x480, 352x240 Vì vậy, tiêu chuẩn video DVD sử dụng dạng hạn chế profile Main mức thấp MPEG-2 135 ... hình ảnh chuyển động Mặt phẳng đối tượng hình ảnh chuyển động Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh Chương 1: Nhập môn xử lý âm hình ảnh PT IT 1.1 Các khái niệm lý thuyết sở Xử lý tín... lợi ích ứng dụng nén âm hình ảnh truyền thông đa phương tiện PT Kể tên số chuẩn mã hóa âm hình ảnh 26 Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh Chương 2: Kỹ thuật xử lý âm 2.1 Mã hóa tín hiệu... văn học v.v Bài giảng "xử lý âm hình ảnh? ?? tài liệu hướng dẫn "nhập môn" xử lý âm hình ảnh Thơng thường tài liệu nghiên cứu xử lý ảnh âm tách riêng vì: 1- Đây hai lĩnh vực xử lý tín hiệu rộng, liên