Xử lý âm thanh và hình ảnh

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG   IT BÀI GIẢNG XỬ LÝ ÂM THANH VÀ HÌNH ẢNH PT Chuyên ngành Điện tử Viễn thông (Lưu hành nội ) Biên soạn: PGS.TS Lê Nhật Thăng ThS Nguyễn Thu Hiên i Hà Nội - 12/2014 LỜI NÓI ĐẦU Trong năm gần đây, với tiến khoa học kỹ thuật, phát triển mạnh mẽ máy tính, thơng tin di động Internet nhu cầu trao đổi dịch vụ truyền thơng đa phương tiện mạng thông tin lớn đặc biệt ứng dụng truyền âm video thời gian thực qua mạng IP âm nhạc theo yêu cầu, video phone, video-conferencing, tele-medical hay video theo yêu cầu…Cho nên, vấn đề xử lý âm hình ảnh cho có hiệu cao, đảm bảo tiết kiệm băng thông truyền dẫn, giảm bớt không gian lưu trữ để truyền thông tin mạng cách dễ dàng nhanh chóng trở nên cấp thiết hết IT Bài giảng “Xử lý âm hình ảnh” giới thiệu kiến thức kỹ thuật xử lý âm thanh, hình ảnh, video đặc biệt trọng đến phương pháp nén, lưu trữ, tiêu chuẩn nén âm thanh, hình ảnh, video ứng dụng truyền thông đa phương tiện nhằm đảm bảo chất lượng âm thanh, hình ảnh tăng hiệu suất truyền dẫn thông tin Nội dung giảng bao gồm: PT  Chương 1: Giới thiệu tổng quan khái niệm lý thuyết sở phục vụ cho môn học vai trị xử lý âm hình ảnh ứng dụng truyền thông đa phương tiện  Chương 2: Giới thiệu đặc trưng âm thanh, phân tích đặc điểm quan phát âm tạo tiếng nói người, phương pháp mã hóa thoại, âm  Chương 3: Tập trung trình bày khái niệm ảnh video; giới thiệu kỹ thuật xử lý ảnh, nén ảnh tĩnh, nén video  Chương 4: Các chuẩn nén âm hình ảnh: Giới thiệu chuẩn nén thoại, âm thanh, chuẩn nén ảnh JPEG nén video MPEG, H26x Mặc dù có nhiều cố gắng, song hiệu chỉnh giảng lần khơng tránh khỏi thiếu sót Rất mong nhận đóng góp đồng nghiệp, học viên, sinh viên bạn đọc để giảng hồn thiện Những ý kiến đóng góp xin gửi về: Bộ môn Kỹ thuật Chuyển mạch- Khoa Viễn thông Học Viện Cơng nghệ Bưu Viễn thơng Địa chỉ: Km 10, đường Hà Nội – Hà Đông, Hà Đông, Hà Nội ii Tel: 0433820860; 0438549352; 0904342557 Fax: 0433511405 E-mail: thangln@ptit.edu.vn, hiennt@ptit.edu.vn \ Xin trân trọng cám ơn! PT IT Hà Nội, tháng 12 năm 2014 PGS.TS Lê Nhật Thăng ThS Nguyễn Thu Hiên iii Mục lục Mục lục i Danh mục hình vẽ v Chương 1: Giới thiệu chung PT IT 1.1 Các khái niệm lý thuyết sở 1.1.1 Tín hiệu 1.1.1.1 Định nghĩa 1.1.1.2 Tín hiệu liên tục 1.1.1.3 Tín hiệu rời rạc 1.1.2 Số hóa tín hiệu tương tự 1.1.3 Biến đổi Fourier 1.1.3.1 Biến đổi Fourier thuận 1.1.3.2 Biến đổi Fourier ngược 1.1.4 Biến đổi Cosin rời rạc 1.1.5 Biến đổi Wavelet 1.1.5.1 Biến đổi Wavelet liên tục 1.1.5.2 Biến đổi Wavelet rời rạc 1.2 Vai trò xử lý âm hình ảnh truyền thơng đa phương tiện 1.3 Kết luận chương 10 Hướng dẫn ôn tập chương 11 Chương 2: Kỹ thuật xử lý âm 12 2.1 Các đặc trưng âm 12 2.1.1 Khái niệm âm tham số đánh giá 12 2.1.2 Các đặc điểm hệ thống thính giác người 14 2.2 Mã hóa tín hiệu thoại 18 2.2.1 Q trình tạo tiếng nói 18 2.2.2 Tổng quan mã hóa tín hiệu thoại 22 2.2.3 Các phương pháp mã hóa tín hiệu thoại 24 2.2.3.1 Mã hóa dạng sóng 26 2.2.3.2 Mã hóa tham số 29 2.2.3.3 Mã hóa lai 31 2.3 Mã hóa âm 35 i 2.4 Mã hóa âm cảm nhận 37 2.4.1 Phân tích thời gian- tần số 38 2.4.2 Phân tích Psychoacoustics 39 2.4.3 Gán bit cảm nhận 44 2.5 Kết luận chương 46 Hướng dẫn ôn tập chương 46 Chương 3: Kỹ thuật xử lý ảnh 48 PT IT 3.1 Giới thiệu chung 48 3.1.1 Khái niệm ảnh xử lý ảnh, video 48 3.1.2 Các ứng dụng phổ biến xử lý ảnh 49 3.1.3 Các bước xử lý ảnh số 53 3.1.4 Các thành phần hệ thống xử lý ảnh số 54 3.1.5 Đồ họa kiểu liệu ảnh 56 3.1.5.1 Hình ảnh 1-bit 56 3.1.5.2 Ảnh thang độ xám 8-Bit 57 3.1.5.3 Ảnh màu 24 bit 58 3.1.5.4 Ảnh màu bit 59 3.1.5.5 Các định dạng file ảnh phổ biến 59 3.1.6 Màu sắc ảnh video 60 3.1.6.1 Các mơ hình màu ảnh 61 3.1.6.2 Các mơ hình màu Video 62 3.1.7 Cơ Video 64 3.1.7.1 Các loại tín hiệu Video 64 3.1.7.2 Video tương tự 65 3.1.7.3 Video số 67 3.2 Cơ sở kỹ thuật xử lý ảnh 68 3.2.1 Cơ sở cảm nhận thị giác 68 3.2.2 Q trình thu tín hiệu hình ảnh 71 3.2.3 Lấy mẫu lượng tử hóa 74 3.2.3.1 Lấy mẫu lượng tử hóa tín hiệu ảnh 75 3.2.3.2 Lấy mẫu lượng tử hóa tín hiệu Video 75 3.2.4 Xử lý ảnh miền không gian 80 3.2.4.1 Phép biến đổi mức xám 81 3.2.4.2 Lọc ảnh không gian 81 3.2.5 Xử lý ảnh miền tần số 82 3.2.5.1 Biến đổi Fourier 82 3.2.5.2 Lọc ảnh miền tần số 84 3.3 Kỹ thuật nén ảnh 85 ii 3.3.1 Tổng quan nén ảnh 85 3.3.1.1 Nguyên tắc 86 3.3.1.2 Mơ hình nén 87 3.3.2 Hiệu trình nén chất lượng ảnh 89 3.3.3 Phân loại phương pháp nén ảnh 89 3.3.3.1 Nén không thông tin 90 3.3.3.2 Nén có tổn thất 91 3.3.4 Các phương pháp mã hố dùng kỹ thuật nén khơng tổn thất 91 3.3.4.1 Mã hoá với độ dài từ mã thay đổi 92 3.3.4.2 Mã hoá dự đốn khơng tổn hao 99 3.3.5 Các phương pháp mã hố dùng kỹ thuật nén có tổn thất 100 3.3.5.1 Mã hố dự đốn có tổn thất 100 Mã hóa DPCM 101 3.3.5.2 Mã hoá biến đổi (transform coding) 102 3.3.5.3 Mã hoá Wavelet 103 PT IT 3.4 Nén ảnh 104 3.4.1 Nguyên lý 104 3.4.2 Tiền xử lý 105 3.4.3 Quá trình biến đổi Cosin rời rạc 105 3.4.4 Lượng tử hoá khối DCT 106 3.4.5 Mã hoá Entropy 107 3.4.6 Bộ nhớ đệm 112 3.4.7 Giải mã DCT 112 3.5 Nén liên ảnh 113 3.5.1 Tương quan ảnh 114 3.5.2 Mã hóa bù chuyển động 115 3.5.3 Ước lượng chuyển động 116 3.5.4 Ánh xạ khối 118 3.6 Kết luận chương 124 Hướng dẫn ôn tập chương 124 Chương 4: Các chuẩn mã hóa âm nén ảnh truyền thông đa phương tiện 127 4.1 Các chuẩn mã hóa tín hiệu thoại 127 4.2 Các chuẩn mã hóa âm 129 4.2.1 Các chuẩn mã hóa âm ISO/MPEG 129 4.2.2 Doby AC-3 131 4.2.3 AES-3 (Audio Engineering Society-3) 131 4.3 Các chuẩn nén ảnh JPEG 131 iii 4.3.1 Chuẩn JPEG 131 4.3.2 Chuẩn JPEG-2000 134 4.4 Các chuẩn nén Video MPEG-1, 2, 4, MPEG-21 136 4.4.1 Tổng quan MPEG 136 4.4.2 Cấu trúc dịng bít 138 4.4.3 Nguyên lý hoạt động 141 4.4.4 Các chuẩn nén MPEG 143 4.4.4.1 MPEG-1 143 4.4.4.2 MPEG-2 144 4.4.4.3 MPEG-4 145 4.4.4.4 MPEG-7 146 4.4.4.5 MPEG-21 148 IT 4.5 Các chuẩn nén Video H26x ITU 148 4.5.1 Giới thiệu chung 148 4.5.2 Chuẩn H.264/AVC 149 4.6 Kết luận chương 156 Hướng dẫn ôn tập chương 156 PT TÀI LIỆU THAM KHẢO 157 iv Danh mục hình vẽ PT IT Hình 1.1: Tín hiệu âm Hình 1.2: Lấy mẫu tín hiệu tương tự Hình 1.3: Nguyên lý xử lý số tín hiệu Hình 2.1: Sơ đồ chức tai người 14 Hình 2.2: Ngưỡng nghe 15 Hình 2.3: Mặt nạ tần số 15 Hình 2.4: Mặt nạ thời gian 16 Hình 2.5: Dải lọc thông dải 17 Hình 2.6: Một đoạn điển hình âm hữu 20 Hình 2.7: Mật độ phổ cơng suất cho đoạn thoại hữu 20 Hình 2.8: Một đoạn điển hình âm vơ 21 Hình 2.9: Mật độ phổ cơng suất cho đoạn thoại vô 21 Hình 2.10: Sơ đồ khối hệ thống mã hóa thoại 23 Hình 2.11: Chất lượng thoại so với tốc độ bit loại mã hóa 26 Hình 2.12: Bộ mã hóa giải mã ADPCM 28 Hình 2.13: Mơ hình tốn học LPC 30 Hình 2.14: Sơ đồ khối chức LPC Vocoder 2,4Kbps 31 Hình 2.15: Cấu trúc mã hóa giải mã lai AbS 32 Hình 2.16: Mã hóa tiếng nói GSM 2G 33 Hình 2.17: Sơ đồ khối mã hóa RPE-LTP 34 Hình 2.18: Sơ đồ khối giải mã RPE-LTP 34 Hình 2.19: Mã hóa âm 36 Hình 2.20: Kiến trúc tổng quát mã âm cảm nhận 37 Hình 2.21: Dải lọc phân tích tổng hợp 38 Hình 2.22: Dải lọc phân tích tám băng cấu trúc 39 Hình 2.23: Dải lọc phân tích bốn băng octa cấu trúc 39 Hình 2.24 a,b,c,d,e: Mơ hình phân tích lý Psychoacoustics MPEG-1 Error! Bookmark not defined Hình 2.25 a,b: Gán bit cảm nhận 45 Hình 1: Biểu diễn ảnh hàm 48 Hình 3.2: Hình ảnh mặt trăng tàu vũ trụ Ranger chụp 49 Hình 3.3: Hình ảnh bệnh nhân dùng tia Gamma 50 Hình 3.4: Minh họa ảnh chụp X-quang 51 Hình 5: Xử lý ảnh tia cực tím 51 Hình 6: Xử lý ảnh băng hồng ngoại 52 Hình 3.7: Ảnh Radar vùng núi Tây Tạng 52 Hình 3.8: Ảnh chụp cộng hưởng từ đầu gối bệnh nhân 53 Hình 3.9: Các bước xử lý ảnh số 54 Hình 3.10: Các thành phần hệ thống xử lý ảnh số 55 Hình 11: Bức ảnh Lena đơn sắc bit 57 Hình 3.12: Các mặt phẳng bit cho hình ảnh 8-bit thang độ xám 57 Hình 3.13: Hình ảnh thang độ xám Lena 58 v PT IT Hình 3.14: Hình ảnh có độ phân giải màu sắc cao ảnh màu sắc từ kênh R, G, B 58 Hình 3.15: Ảnh màu 8-bit 59 Hình 3.16: Phân bố lượng quang phổ ánh sáng ban ngày 60 Hình 3.17: Các mầu 61 Hình 3.18: Mơ hình cộng màu RGB 61 Hình 3.19: Mơ hình trừ màu CMY 62 Hình 3.20: Cáp Video tổ hợp 65 Hình 3.21: Cáp S-Video 65 Hình 3.22: Quét mành xen kẽ 66 Hình 3.23: Tín hiệu điện cho dòng quét NTSC 66 Hình 3.24: Cấu tạo mắt người 69 Hình 3.25: Đáp ứng phổ (độ nhạy) mắt người 70 Hình 3.26: Mơ hình hình thành hình ảnh 71 Hình 3.27: Bộ cảm biến ảnh đơn 72 Hình 3.28: Dải cảm biến 72 Hình 3.29: Thu nhận ảnh sử dụng dải cảm biến tuyến tính (a) dải cảm biến vịng (b) 72 Hình 3.30: Ví dụ minh họa trình thu nhận ảnh số 73 Hình 3.31: Quá trình chuyển đổi tín hiệu ảnh từ tương tự sang số 74 Hình 3.32: Qúa trình số hóa tín hiệu ảnh 75 Hình 3.33: Lấy mẫu theo không gian thời gian chuỗi video 76 Hình 3.34: Hình ảnh với lưới lấy mẫu 77 Hình 3.35: Hình ảnh lấy mẫu độ phân giải thô (lưới lấy mẫu màu đen) 77 Hình 36: Hình ảnh lấy mẫu độ phân giải tốt 78 Hình 3.37: Các mẫu 4:4:4 , 4:2:2 4:2:0 79 Hình 3.38: Lân cận 3x3 điểm ảnh (x,y) 80 Hình 3.39: Các hàm biến đổi mức xám để nâng cao độ tương phản 81 Hình 3.40: Sơ đồ khối hệ thống nén ảnh tiêu biểu 88 Hình 3.41: Sơ đồ trình nén giải nén liệu 90 Hình 42: Cây mã hóa cho từ HELLO thuật tốn Shannon-Fano 93 Hình 3.43: Một dạng mã hóa khác cho từ HELLO theo thuật tốn Shannon-Fano 94 Hình 3.44: Ví dụ mã Huffman cho kí hiệu 95 Hình 3.45: Biểu diễn trình mã hóa số học với khoảng chia giai đoạn cho tin eaii! 97 Hình 3.46: Mã hố dự đốn khơng tổn hao: (a) Bộ mã hố (b) Bộ giải mã 99 Hình 3.47: Mơ hình mã hóa dự đốn có tổn thất (a): mã hố, (b): giải mã 101 Hình 3.48: Sơ đồ mã hóa (a) giải mã (b) DPCM 102 Hình 3.49: Hệ thống mã hóa biến đổi 103 Hình 3.50: Hệ thống mã hố Wavelet 104 Hình 3.51: Nén ảnh (Intra Frame Compression) 105 Hình 3.52: Nén ảnh 107 Hình 3.53: Quét zig-zag hệ số lượng tử hóa DCT 108 Hình 3.54: Q trình mã hóa RLC 109 Hình 3.55: Sơ đồ khối hệ thống mã VLC cho hệ số DC (a) AC (b) 111 Hình 3.56: Giải mã DCT 112 Hình 3.57: Hai vị trí cảm biến 113 Hình 3.58: Cấu trúc phân cấp 114 vi PT IT Hình 3.59: Hai ảnh liên tiếp chuỗi video 115 Hình 3.60: Sơ đồ khối mã hóa bù chuyển động 116 Hình 3.61: Ánh xạ khối 119 Hình 3.62: Cửa sổ tìm kiếm cửa sổ tương quan 119 Hình 3.63: Thuật tốn tìm kiếm nhanh 120 Hình 3.64: Phương pháp tìm kiếm logarit 2D 121 Hình 3.65: Thuật tốn tìm kiếm bước 122 Hình 3.66: Hình minh họa tìm kiếm phân cấp 122 Hình 3.67: Một tìm kiếm phân cấp mức cho vector chuyển động 123 Hình 4.1: Sơ đồ trình nén ảnh theo chuẩn JPEG 132 Hình 4.2: Sơ đồ trình giải nén theo chuẩn JPEG 133 Hình 4.3: Sơ đồ trình nén giải nén theo chuẩn JPEG-2000 135 Hình 4.4: Cấu trúc dịng bit MPEG 140 Hình 4.5: Kiến trúc dịng liệu MPEG 141 Hình 4.6: Bộ mã hóa MPEG tiêu biểu 142 Hình 4.7: Bộ giải mã MPEG tiêu biểu 143 Hình 4.8: Bộ mã hóa video H.264/AVC 150 Hình 4.9: Dự đốn liên ảnh 150 Hình 4.10: Biến đổi thuận 151 Hình 4.11: Ví dụ lượng tử hóa 151 Hình 12: Bộ giải mã H.264/AVC 152 Hình 4.13: Quá trình giải lượng tử hóa 152 Hình 4.14: Biến đổi ngược khối ảnh 4x4 153 Hình 4.15: Tổng quan loại khả mở rộng 154 Hình 4.16: Hội nghị truyền hình đa điểm………………………………………………………155 Danh mục bảng biểu Bảng 2.1: Các băng tần tới hạn độ rộng băng tần 17 Bảng 2.2: Các loại phụ âm tiếng Việt 22 Bảng 2.3: Phân loại mã hóa thoại theo tốc độ 24 Bảng 2.4: Gán bit mã hóa RPE-LTP 35 Bảng 3.1: Các định dạng file 56 Bảng 3.2: Thông số video số 68 Bảng 3.3: Kết thực thuật toán Shannon-Fano cho từ HELLO 94 Bảng 3.4: Một kết khác thực thuật toán Shannon-Fano với từ HELLO 94 Bảng 3.5: Ví dụ Mơ hình tĩnh cho chữ {a, e, i, o, u, !} 97 Bảng 3.6: Biểu diễn q trình mã hóa số học 97 Bảng 3.7: Biểu diễn q trình giải mã mã hóa số học 98 Bảng 3.8: Bảng phân loại (category) hệ số DC AC 110 Bảng 3.9: Bảng mã hóa Huffman cho hệ số AC 110 vii Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… nhóm ảnh chuỗi, nhận ảnh đầu hoàn chỉnh cách Nó lưu nhớ ảnh sử dụng để giải mã ảnh Hình 4.7: Bộ giải mã MPEG tiêu biểu IT Trong trường hợp ảnh loại P thực giải lượng tử biến đổi DCT ngược với việc sử dụng vector chuyển động ảnh lưu vào nhớ ảnh Trên sở xác định dự báo ản xét Ta nhận ảnh sau cộng dự báo ảnh kết biến đổi DCT ngược Ảnh lưu vào nhớ để sử dụng chuẩn giải mã ảnh 4.4.4 Các chuẩn nén MPEG 4.4.4.1 MPEG-1 PT Chuẩn đưa MPEG, có tên gọi phổ biến MPEG-1, thiết kế để cung cấp việc nén video audio cho việc lưu trữ phát lại CD-ROM Chuẩn MPEG-1 bao gồm phần Phần đề cập tới vấn đề hệ thống (bao gồm ghép kênh video audio mã hóa), phần đề cập tới video nén phần audio nén Phần (video) phát triển với mục đích hỗ trợ việc mã hóa có hiệu video cho ứng dụng phát lại CD tạo chất lượng video tương đương tốt băng video VHS tốc độ bit CD (khoảng 1,2 Mbps video) Khi mà hầu hết ứng dụng người tiêu dùng đòi hỏi cần giải mã phát lại, khơng bao gồm mã hóa nảy sinh u cầu phải tối thiểu hóa phức tạp giải mã Do đó, q trình giải mã MPEG-1 xem đơn giản so với mã hóa (khơng giống JPEG, mã hóa giải mã có mức độ phức tạp tương tự nhau) Các đặc tính MPEG-1 Tín hiệu video đầu vào tới mã hóa video MPEG-1 có khn dạng 4:2:0 (Y:Cr:Cb) với độ phân giải khơng gian thơng thường 352×288 352×240 pixels Mỗi khung video xử lý theo khối macroblock, tương ứng với vùng 16×16 pixel khung hiển thị Vùng tạo từ 16×16 mẫu độ sáng, 8×8 mẫu Cr 8×8 mẫu Cb (vì Cr Cb phải nửa độ phân giải ngang dọc thành phần độ sáng) Một macroblock bao gồm khối 8×8: khối độ sáng (Y), khối Cr khối Cb 143 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Mỗi khung video mã hóa để tạo ảnh mã hóa Có loại chính: ảnh I, ảnh P ảnh B (Chuẩn xác định thêm loại ảnh ảnh D loại sử dụng ứng dụng thực tế) Ảnh loại I: khơng có dự đốn bù chuyển động Ảnh loại I sử dụng để làm tham khảo cho ảnh dự đoán xa Ảnh loại P: sử dụng dự đoán bù chuyển động từ ảnh tham khảo (ảnh P ảnh I có trước ảnh P tại) Do ảnh loại P dự đoán sử dụng dự đoán chuyển tiếp thân ảnh P sử dụng làm tham khảo cho ảnh dự đoán xa IT Ảnh loại B: sử dụng dự đoán bù chuyển động từ ảnh tham khảo, ảnh P và/hoặc ảnh I trước sau ảnh B Hai vectơ chuyển động tạo cho macroblock ảnh B: tới vùng thích hợp ảnh tham khảo trước (một vectơ chuyển tiếp) tới vùng thích hợp ảnh tham khảo tương lai (vectơ hồi tiếp) Một macroblock dự đoán bù chuyển động thực theo cách: dự đoán chuyển tiếp sử dụng vecto chuyển tiếp, dự đoán hồi tiếp sử dụng vecto hồi tiếp dự đốn hai chiều (trong tham khảo dự đốn thực cách lấy trung bình tham khảo dự đốn chuyển tiếp hồi tiếp) Thơng thường, mã hóa chọn chế độ dự đoán (chuyển tiếp, hồi tiếp hay hai chiều) cho tạo lượng thấp macroblock sai phân Bản thân ảnh loại B không sử dụng tham khảo dự đoán cho khung dự đốn xa PT Chuẩn MPEG-1 khơng thực định nghĩa thiết kế mã hóa: thay vào đó, chuẩn mơ tả cú pháp mã hóa giải mã „tham khảo‟ giả thuyết Trong thực tế, cú pháp chức mơ tả chuẩn có ý nghĩa mã hóa phải chứa chức định 4.4.4.2 MPEG-2 Ứng dụng giải trí quan trọng video mã hóa (sau lưu trữ CD-ROM) truyền hình số Để cung cấp lựa chọn cải tiến cho truyền hình tương tự, vài đặc tính chủ yếu yêu cầu nguyên lý mã hóa video Nó phải hỗ trợ hiệu kích thước khung lớn (thường 720×576 hay 720×480 pixel cho độ phân giải ITU-R 601) mã hóa video kết hợp Với độ phân giải chất lượng truyền hình, video kết hợp tạo hình ảnh video mịn MPEG-2 đời nhằm đáp ứng yêu cầu MPEG-2 bao gồm phần chính: Video, Audio (dựa mã hóa audio MPEG1) Systems (định nghĩa, phần chi tiết MPEG-1, ghép kênh truyền luồng audio/visual mã hóa) Những điểm nâng cao thêm vào MPEG-2 bao gồm: Mã hóa hiệu video với chất ượng truyền hình: Ứng dụng quan trọng MPEG-2 truyền hình số quảng bá Các chức MPEG-2 đánh giá có hiệu mã hóa độ phân giải truyền hình tốc độ bit khoảng từ 3-5 Mbps 144 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Hỗ trợ mã hóa video kết hợp: MPEG-2 video có vài đặc tính hỗ trợ mã hóa cách linh hoạt video kết hợp Hai trường tạo khung kết hợp hồn chỉnh mã hóa hình ảnh riêng biệt, trường mã hóa thành ảnh I, P B Các ảnh trường P B dự đốn từ trường khung khác từ trường khác khung Khả phân cấp: Những chế độ tiên tiến JPEG mơ tả trước dạng mã hóa phân cấp Một luồng bit mã hóa phân cấp bao gồm lớp sở nhiều lớp tăng cường Lớp sở giải mã để tạo chuỗi video nhận diện mà có chất lượng nhìn bị hạn chế, chuỗi chất lượng cao tạo việc giải mã lớp sở cộng với lớp tăng cường, với lớp tăng cường thêm vào nâng cao chất lượng chuỗi giải mã MPEG-2 hỗ trợ chế độ phân cấp:  Phân cấp theo không gian  Phân cấp SNR  Phân vùng liệu IT  Phân cấp theo thời gian PT Profile level: Hầu hết ứng dụng yêu cầu tập nhỏ giới hạn chức diện rộng hỗ trợ MPEG-2 Để khuyến khích khả liên kết ứng dụng „chủ yếu‟ (ví dụ truyền hình số), chuẩn bao gồm tập profile level đề nghị, tập định nghĩa tập định chức MPEG-2 Mỗi profile xác định tập khả khả quan trọng Còn level xác định độ phân giải không gian thời gian Chuẩn MPEG-2 định nghĩa kết hợp định đề nghị cho profile level Main profile/low level (chỉ sử dụng mã hóa khung) thực chất MPEG-1 Main profile/main level phù hợp với truyền hình số quảng bá kết hợp profile/level sử dụng rộng rãi Main profile/high level phù hợp với truyền hình độ nét cao (HDTV) 4.4.4.3 MPEG-4 Các chuẩn MPEG-1 MPEG-2 xử lý khung video hồn chỉnh, khung mã hóa đơn vị riêng lẻ Chuẩn MPEG-4 phát triển với mục đích mở rộng khả chuẩn trước theo số hướng Hỗ trợ ứng dụng có tốc độ bit thấp: MPEG-1 MPEG-2 có hiệu chấp nhận mã hóa tốc độ bit khoảng Mbps Tuy nhiên, nhiều ứng dụng bật (đặc biệt ứng dụng dựa Internet) yêu cầu tốc độ bit truyền thấp nhiều MPEG-1 không hỗ trợ việc nén hiệu tốc độ bit thấp Hỗ trợ mã hóa dựa đối tượng: Có thể nói hầu hết thay đổi nguyên tắc chuẩn MPEG-4 hướng đến mã hóa dựa đối tượng hay dựa nội dung, cảnh video xử lý tập đối tượng đối tượng 145 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… cận cảnh chuỗi khung hình chữ nhật Loại mã hóa mở dải rộng khả năng, ví dụ mã hóa độc lập đối tượng khác cảnh, dùng lại thành phần cảnh, ghép lại (các vật thể từ số nguồn kết hợp cảnh) độ tương tác cao Khái niệm sở sử dụng MPEG-4 Visual VO (Video Object) Một cảnh video (VS) (một chuỗi khung video) tạo thành từ số VO MPEG-4 cung cấp cơng cụ cho phép VO mã hóa cách độc lập, mở nhiều khả Dưới dạng VO, „khung‟ tương đương với mặt phẳng đối tượng video (VOP – Video Object Plane) Một cảnh hồn chỉnh mã hóa VOP đơn hình chữ nhật điều tương đương với ảnh dạng MPEG-1 Mã hóa dựa cơng cụ: MPEG-1 có độ linh động hạn chế, MPEG-2 đưa khái niệm „bộ công cụ‟ gồm profile level mà kết hợp theo nhiều cách cho ứng dụng khác MPEG-4 mở rộng đặc điểm thành tập hợp cơng cụ mã hóa có độ linh hoạt cao phép dải ứng dụng khung chuẩn hóa cho phép công cụ thêm vào „bộ công cụ‟ 4.4.4.4 MPEG-7 IT Chuẩn MPEG-4 thiết lập nhờ cơng cụ mã hóa chức tăng thêm phiên chuẩn phát triển, danh sách cơng cụ tiếp tục tăng lên PT Mục tiêu MPEG-7 xác định tập hợp chuẩn mô tả dùng để mô tả nhiều loại thông tin đa phương tiện với codec chuẩn, sở liệu khác chí thơng tin nghe-nhìn tương tự Các mơ tả với chế mô tả kết hợp với thân nội dung để tạo phương pháp tìm kiếm tài liệu nhanh có hiệu người dùng Các mức mô tả Một kiện nghe nhìn xác định mơ tả với nhiều tập hợp đặc tính khác ứng dụng chúng khác Để mô tả kiện thị giác, chúng mô tả độ trừu tượng thấp hình dạng, kích thước, bố cục, màu sắc, chuyển động vị trí chúng khung hình ảnh Độ trừu tượng cao mô tả mối quan hệ thuộc ngữ nghĩa trừu tượng mức thấp Tất mô tả mã hóa theo cách mà chúng tìm kiếm cách hiệu Cùng với việc mơ tả nội dung, cần thêm số loại thông tin khác liệu đa phương tiện, ví dụ:  Dạng: ví dụ chế mã hóa sử dụng (như JPEG, MPEG-2,…), kích thước toàn liệu  Những điều kiện để truy cập tài liệu: bao gồm thơng tin quyền, giá,… 146 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh…  Sự phân loại: phân loại nội dung vào số loại định nghĩa trước  Liên kết đến liệu liên quan khác: thông tin giúp người dùng tăng tốc độ hoạt động tìm kiếm  Bối cảnh: số kiện ghi lại, điều quan trọng biết kiện đặc biệt trình ghi lại (ví dụ, World Cup 2002, trận chung kết diễn Brazil Đức) Phạm vi ứng dụng Các phần tử mà MPEG-7 chuẩn hóa hỗ trợ dải rộng ứng dụng Hiện MPEG-7 tạo mạng lưới có khả tìm kiếm nội dung đa phương tiện khả tìm kiếm văn Điều áp dụng cho việc thu nội dung lớn cho loại đa phương tiện cho phép người nhận dạng nội dung nhằm mục đích mua sắm Thơng tin sử dụng cho việc khơi phục nội dung sử dụng thực thể, cho việc lựa chọn lọc tư liệu quảng bá cho quảng cáo cá nhân IT Tất vùng ứng dụng tạo việc sử dụng đa phương tiện thu lợi ích từ MPEG-7 Một số miền tìm thấy hữu ích MPEG-7 như:  Kiến trúc, di sản thực thiết kế nội thất (ví dụ tìm kiếm ý tưởng)  Lựa chọn đa phương tiện quảng bá (ví dụ kênh radio TV)  Dịch vụ văn hóa (các bảo tàng lịch sử, phòng trưng bày nghệ thuật,…) PT  Các thư viện số (danh mục hình ảnh, từ điển âm nhạc, danh mục hình ảnh sinh dược, phim, video radio thu được)  Thương mại điện tử (ví dụ quảng cáo cá nhân, danh mục trực tuyến, danh mục cửa hàng điện tử)  Giáo dục (nơi chứa khóa học đa phương tiện, tìm kiếm đa phương tiện liệu hỗ trợ)  Giải trí nhà (ví dụ hệ thống cho quản lý sưu tập đa phương tiện cá nhân, bao gồm thao tác nội dung tạo video nhà, tìm kiếm trị chơi)  Các dịch vụ pháp y (nhận dạng đặc điểm cá nhân, pháp lý)  Nghề báo (tìm kiếm lời nói nhà trị thơng qua tên, giọng nói khn mặt người đó)  Các dịch vụ danh bạ đa phương tiện (ví dụ trang vàng, hệ thống thông tin du lịch, thông tin địa lý)  Biên tập đa phương tiện (ví dụ dịch vụ thông tin điện tử cá nhân)  Khả phán đốn từ xa (ví dụ nghiên cứu đồ, nghiên cứu mối quan hệ sinh vật sống với môi trường, quản lý nguồn tài nguyên thiên nhiên) 147 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh…  Mua sắm (ví dụ tìm kiếm mẫu quần áo mà bạn yêu thích)  Giám sát (ví dụ điều khiển giao thông, vận tải biển, thử nghiệm không mang tính phá hoại mơi trường đối địch) 4.4.4.5 MPEG-21 Ngày công nghệ đa phương tiện trở nên tiên tiến đến mức truy cập vào lượng lớn thông tin dịch vụ từ đâu lúc thông qua mạng thiết bị đầu cuối phổ biến Tuy nhiên, khơng có tranh hồn chỉnh cho việc làm để nhóm người khác tương tác cách tốt với sở hạ tầng phức tạp Những ví dụ nhóm người người cung cấp nội dung, tài chính, truyền thơng, máy tính phận điện tử người sử dụng khách hàng Việc phát triển khung đa phương tiện chung làm cho liên kết phận trở nên thuận tiện hỗ trợ hoạt động tích hợp hiệu cho mơ hình, ngun tắc, lợi nhuận khn dạng nội dung Đây nhiệm vụ dự án khung đa phương tiện tên MPEG-21 IT MPEG-21 chuẩn mong đợi với mục tiêu mô tả „bức tranh lớn‟ cho việc làm để phần tử khác xây dựng sở hạ tầng cho việc phân phối sử dụng nội dung đa phương tiện – tồn phát triển – làm việc PT MPEG-21 bao gồm phát biểu chung nội dung đa phương tiện, ngôn ngữ làm đơn giản hóa tương thích động nội dung vào mạng phân phối thiết bị sử dụng, nhiều công cụ khác để làm cho quản lý quyền số có khả liên kết 4.5 Các chuẩn nén Video H26x ITU 4.5.1 Giới thiệu chung Hiệp hội viễn thông quốc tế (ITU) tổ chức tiêu chuẩn quốc tế/ Uỷ ban kỹ thuật điện tử quốc tế (ISO/IEC) hai tổ chức phát triển tiêu chuẩn mã hoá Video Những khuyến nghị ITU thiết kế dành cho ứng dụng truyền thông Video thời gian thực Video Conferencing hay điện thoại truyền hình Các chuẩn mã hóa video MPEG ISO nhằm vào việc lưu trữ phân phối video cho lĩnh vực giải trí cố gắng đạt yêu cầu người cung cấp người tiêu dùng „nền công nghiệp phương tiện‟ Trong ITU quan tâm nhiều tới cơng nghiệp viễn thơng, chuẩn mã hóa video tổ chức (H.261, H.263, H.264) hướng tới truyền thông thời gian thực, điểm-điểm đa điểm Chuẩn mã hóa video ITU-T, H.261, phát triển suốt cuối thập kỷ 80 đầu thập kỷ 90 kỷ 20 với ý ứng dụng kênh truyền dẫn đặc biệt Ứng dụng hội nghị truyền hình (truyền thơng hai chiều qua „đường nối‟ video) kênh truyền ISDN 148 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… H.261 thành công tiếp tục sử dụng nhiều ứng dụng hội nghị truyền hình mang tính di sản Những cải tiến hiệu suất xử lý, công nghệ mã hóa video lên modem tương tự mạng IP kênh truyền dẫn tới phát triển nó, H.263, vào thập kỷ 90 kỷ 20 Bằng việc tạo cải tiến so với H.261, H.263 cung cấp hiệu suất nén tốt nhiều độ linh động cao Chuẩn H.263 ban đầu (phiên 1) có chế độ tùy chọn Các chế độ xem hữu dụng phiên (H.263+) thêm vào 12 chế độ tùy chọn Phiên gần (có thể phiên cuối) (v3) chứa tổng cộng 19 chế độ, chế độ cung cấp hiệu suất nén cải thiện, phục hồi lỗi và/hoặc độ linh động 4.5.2 Chuẩn H.264/AVC IT Phát triển nhóm chuyên môn ITU-T chuẩn H.264 H.264 dự án kết hợp gần ITU-T VCEG ISO/IEC MPEG Đây chuẩn sử dụng số đặc tính tốt H.263 nhằm cải thiện hiệu suất nén lên khoảng 50% tốc độ bit thấp Ngồi ra, H.264, thơng qua phần chuẩn MPEG-4, thường gọi MPEG-4 AVC (Advanced Video Coding) MPEG-4 part 10 H.264 giảm yêu cầu băng thông chất lượng ảnh tương đương MPEG-2 MPEG-4 Công nghệ giúp cho tăng cường khả nén không gian nén thời gian, cho hình ảnh truyền nhanh mạng LAN, Internet Với ưu việt mình, H.264 ứng dụng rộng rãi PT H.264/AVC (advanced video coding) chuẩn cho mã hóa video, phổ biến việc định dạng để mã hóa video, công cụ tốt để nén video chuỗi phát triển liên tục truyền thông video kỹ thuật số H.264/AVC tài liệu đưa quan tiêu chuẩn quốc tế, ITU_T (International Telecommunication Union) ISO/IEC (International Organisation for Standardisation / International Electrotecnical Commission) Nó định nghĩa định dạng cấu trúc để nén video phương pháp để giải mã cấu trúc để hiển thị chuỗi video Lợi lớn H.264 tiêu chuẩn trước khả nén So với tiêu chuẩn chẳng hạn MPEG-2 MPEG-4 Visual, H.264 cung cấp: - Chất lượng hình ảnh tốt tốc độ bit nén giống - Tốc độ bit thấp cho chất lượng hình ảnh tương tự  Ứng dụng H.264 / AVC áp dụng cho phạm vi tăng ứng dụng, bao gồm: DVD chất lượng cao(Blu-Ray) Truyền hình chất lượng cao châu Âu Sản phẩm Apple bao gồm iTunes tải video, iPod video hệ điều hành MacOS Điện thoại di động thu phát sóng truyền hình 149 Xử lý âm hình ảnh - Chương 4: Các chuẩn mã hóa âm thanh… Nhiều dịch vụ video di động Nhiều dịch vụ video Internet Hội nghị truyền hình Máy quay người sử dụng IT  Bộ mã hóa video H.264/AVC Cấu trúc mã hóa video H.264/AVC thể Hình 4.8 Hình 4.8: Bộ mã hóa video H.264/AVC PT Bộ mã hóa tạo dự đốn MacroBlock (MB) dựa liệu mã hóa trước đó, từ khung sử dụng dự báo nội suy sử dụng dự đoán liên ảnh Các phương pháp dự đoán hỗ trợ H.264 thường linh hoạt chuẩn trước đó, cho phép dự đốn xác cải thiện hiệu q trình nén video Các dự đốn nội suy sử dụng khối kích thước 16x16 4x4 để dự đoán MB từ xung quanh, pixel mã hóa trước khung Hình 4.9: Dự đoán liên ảnh 150 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… PT IT Dự đoán liên ảnh sử dụng loạt khối có kích thước từ 16x16 xuống 4x4 để dự đoán điểm ảnh khung từ khu vực tương tự khung mã hóa trước (Hình 4.9) Trong ví dụ hình 4.9, MB1 khung dự đoán từ khối 16x16 khung gần trước MB2 dự đốn chiều: từ khối khung trước khung tương lai Một khối mẫu (4x4 8x8) chuyển đổi DCT, cho kết đầu tập hệ số biến đổi, hệ số biến đổi giá trị trọng số cho mô hình sở tiêu chuần ( Hình 4.10) Hình 4.10: Biến đổi thuận Sau tập hệ số biến đổi lượng tử hóa theo tham số lượng tử hóa QP (Quantization parameter) (Hình 4.11) làm trịn tới số ngun gần Hình 4.11: Ví dụ lượng tử hóa Các hệ số biến đổi lượng tử hóa đưa vào q trình mã hóa entropy để tạo chuỗi bit truyền Ngoài thơng tin khác cần mã hóa là: - Thơng tin để giải mã tạo lại dự đốn 151 Xử lý âm hình ảnh - Chương 4: Các chuẩn mã hóa âm thanh… Thơng tin cấu trúc liệu nén công cụ nén sử dụng q trình mã hóa Thơng tin chuỗi video hồn chỉnh  Bộ giải mã IT Bộ giải mã H.264 nhận chuỗi bit nén, giải mã thành phần cú pháp giải nén thông tin mô tả trên, bao gồm: hệ số biến đổi lượng tử hóa, thơng tin dự đốn,… nhằm tạo chuỗi video khơi phục PT Hình 12: Bộ giải mã H.264/AVC Mỗi hệ số biến đổi lượng tử hóa nhân với nhân với QP, thực biến đổi DCT ngược (Hình 4.12 & Hình 4.13) Hình 4.13: Q trình giải lượng tử hóa Đối với khối MB, giải mã tạo khối dự đoán giống với khối dự đốn mã hóa dùng để dự đoán liên ảnh từ khung giải mã trước dự đốn nội suy từ mẫu giải mã khung 152 Chương 4: Các chuẩn mã hóa âm thanh… IT Xử lý âm hình ảnh Hình 4.14: Biến đổi ngược khối ảnh 4x4 4.5.3 Chuẩn H264/SVC PT Kể từ phiên H.264/AVC đời vào năm 2003, ngành cơng nghiệp mã hóa video tiếp tục phát triển Phạm vi tảng chế cung cấp cho video tiếp tục phát triển có xu hướng ngày tăng, nội dung video nên có sẵn tảng từ điện thoại di động để hiển thị HD 3D, mạng bao gồm truyền hình, internet, điện thoại di động, vv Yêu cầu đặt chuẩn nén hình ảnh phải thích nghi chế mã hóa với mơi trường khác Với lý đó, chuẩn nén hình ảnh H.264 SVC đời đem lại nhiều ưu điểm trội hẳn so với chuẩn nén tiền nhiệm H.264 AVC SVC hỗ trợ mã hóa cho video theo cách mà nhiều phiên tín hiệu video giải mã loạt tốc độ bit, độ phân giải không gian độ phân giải thời gian tốc độ khung hình có hiệu Bằng cách kết hợp nhiều phiên mã hóa, phân phối theo cách hiệu so với phương án mã hóa truyền phiên riêng biệt Tháng 10 năm 2003, MPEG(Moving Picture Experts Group) đưa đề xuất Công nghệ SVC Tháng năm 2004: Mười bốn đề nghị đệ trình; mười hai dựa nén dựa vào biến đổi Wavelet, hai phần mở rộng H.264 / MPEG-4 AVC Tháng 10 năm 2004: Đề nghị thực nhóm truyền hình ảnh Viện Heinrich Hertz (HHI) lựa chọn MPEG điểm khởi đầu dự án tiêu chuẩn hóa SVC Tháng năm 2005: MPEG Video Coding Experts Group (VCEG) đồng ý để chuẩn hóa dự án SVC sửa đổi tiêu chuẩn H.264/MPEG-4 AVC Đến năm 153 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… IT 2007, dự án SVC công nhận thức H.264/SVC đưa Phụ lục G H.264/AVC H.264/SVC có profiles tổng số 21 profiles AVC PT Hình 4.15: Tổng quan loại khả mở rộng Mã hóa video mở rộng (Scalable Video Coding - SVC) đưa để hỗ trợ thêm cho tiêu chuẩn H.264/AVC với ba khả mở rộng thể Hình 4.15 Mã hóa video mở rộng (H.264/SVC) thực chất phần mở rộng H.264/AVC, bổ sung khả truyền tải nhiều lớp hình ảnh phụ Bằng cách “loại bỏ” gói tin từ hình ảnh lớn, thu lớp hình ảnh phụ với yêu cầu băng thơng Lớp hình ảnh phụ hiển thị dạng độ phân giải tốc độ khung hình thấp Nhờ khả này, SVC ứng dụng để truyền hình ảnh mạng không tin cậy Internet Ứng dụng thực tế Trong hội nghị truyền hình có N điểm, truyền theo phương pháp point-topoint thơng thường điểm cầu truyền hình ảnh N-1 điểm lại nhận lại số lượng hỉnh ảnh tương ứng Việc địi hỏi băng thơng lớn mà hệ thống mạng đáp ứng Vì thế, cần có thiết bị trung tâm gọi MCU (Multipoint Control Unit) làm nhiệm vụ nhận hình ảnh từ điểm cầu chuyển lại cho điểm cầu khác Khi điểm cầu cần truyền hình ảnh lần 154 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… Hình 4.16: Hội nghị truyền hình đa điểm IT Trước đây, MCU sử dụng chuẩn H.264/AVC phải làm nhiều việc Vì tất điểm cầu sử dụng loại hình, loại thiết bị hay chất lượng đường truyền giống Vì sau nhận hình ảnh từ điểm cầu chuyển lên, MCU phải phân tích lại hình ảnh cho phù hợp với điểm cầu Nhưng trước xử lý hỉnh ảnh, MCU phải giải mã hình ảnh ra, sau lại mã hóa lại sau phân tích xong Q trình u cầu MCU phải có lực xử lý mạnh, đồng thời làm tăng độ trễ hình ảnh PT Ngày nay, số hãng công nghệ ứng dụng SVC vào Hội nghị truyền hình Họ khơng dùng khái niệm MCU mà thay vào Router đơn giản Server Bởi lúc này, điểm cầu “cắt” sẵn hình ảnh thành nhiều lớp, thiết bị trung tâm đơn giản làm nhiệm vụ chuyển toàn “loại bỏ” vài lớp hình ảnh tùy theo “nhu cầu” điểm cầu Nó hoạt động giống hệt chế thiết bị Router mạng Rõ ràng, MCU sử dụng AVC phải có lực xử lý mạnh Điều kéo theo chi phí đắt đỏ số lượng điểm cầu tối đa tham gia hội nghị truyền hình lúc bị giới hạn Trong thiết bị Server, Router sử dụng SVC khơng u cầu cấu hình cao xử lý lên tới hàng nghìn điểm cầu Quan trọng hơn, với lớp hình ảnh nhất, AVC địi hỏi đường truyền phải có chất lượng cực tốt không ảnh hưởng lớn đến chất lượng hình ảnh Các giải pháp sử dụng AVC thường yêu cầu đường truyền leasedline với độ trễ độ gói tin cực thấp Chi phí cho loại đường truyền cao gấp hàng chục lần đường Internet thông thường, nhiên không đảm bảo 100% chất lượng Trong đó, SVC bảo đảm nhiều lớp khác nhau, “chẳng may” gói tin bị thất lạc không ảnh hưởng nhiều đến chất lượng Vì mà giải pháp Hội nghị truyền hình sử dụng SVC chạy mạng Internet thơng thường hay chí mạng 3G/4G 155 Xử lý âm hình ảnh Chương 4: Các chuẩn mã hóa âm thanh… 4.6 Kết luận chương Trong chương xem xét chuẩn mã hóa thoại, âm thanh, chuẩn nén hình ảnh JPEP video MPEG H.26x Những chuẩn ứng dụng phổ biến cho truyền thông đa phương tiện mạng viễn thơng, mạng truyền hình Internet… Hướng dẫn ôn tập chương Các chuẩn mã hóa thoại âm Các chuẩn nén ảnh JPEG JPEG2000 Các chuẩn nén video MPEG H26x Kể tên loại ảnh MPEG cấu trúc GOP? Chuẩn mã hóa Video MPEG tần số quét 25hz với M=3 N=12= (IBBPBBPBBPBBI) Nếu khung I có số bít gấp IT lần khung P khung P có số bít gấp lần khung B Trung bình macroblock khung B sử dụng 50 bít Xác định tốc độ bít luồng video (Biết khung có 396 macroblock)? Trình bày cấu trúc luồng video nén theo chuẩn MPEG-1 Chuẩn mã hóa Video MPEG-1 với tốc độ mã hóa 1.15Mbit/s tần số quét 25hz với M=4 N=16 PT (IBBBPBBBPBBBPBBBIBBBPB) Nếu khung I có số bít gấp lần khung P khung P có số bít gấp lần khung B Tính số bít trung bình cho macroblock tương ứng với kiểu khung giả sử khung có 396 macroblock Dữ liệu đa phương tiện truyền qua mạng với tốc độ 1.5 Mbps Dữ liệu bao gồm video audio số Audio có tốc độ bít trung bình 300kbps Biết Video số có định dạng chuẩn PAL nén dùng MPEG1 Khung video có cấu trúc IBBPBBPBBPBBI…Tỷ số nén 10:1 20:1 tương ứng cho khung I khung P Tính tỷ số nén khung B để đảm bảo truyền liệu đa phương tiện với tốc độ 1.5 Mbps Giả sử chuẩn PAL tín hiệu chói có độ phân giải 352x288 tín hiệu màu lấy mẫu nửa độ phân giải chói Tần số quét hình 25Hz Mào đầu ghép kênh đóng gói khơng vượt q 15% luồng liệu video MPEG- 156 Xử lý âm hình ảnh Tài liệu tham khảo TÀI LIỆU THAM KHẢO [1] Stephen J Solari, Digital Video and Audio Compression, McGraw-Hill, 1997 [2] Steven W Smith, The Scientist and Engineer’s Guide to Digital Signal Processing, Elsevier Science, 2003 [3] Wai C Chu, Speech Coding Algorithms- Foundation and Evolution of Standardized Coders, John Wiley & Sons, 2003 [4] David Lindbergh, Multimedia Communications: Directions and Innovations, Academic Press, 2001 [5] R C Gonzalez, R E Woods , Digital Image Processing, Prentice Hall, 2nd Edition, 2001 [6] Iain E G Richardson, H.264 and MPEG-4 Video Compression: Video Coding for Next-generation Multimedia, John Wiley & Sons Ltd, 2003 IT [7] Andrew S Tanenbaum, “Computer Networks”, Prentice Hall, Inc., 2003 [8 Đỗ Hoàng Tiến, Vũ Đức Lý, Truyền hình số, Nhà Xuất Khoa học Kỹ thuật, 2001 [9] Yiteng, Jacob Benesty, Audio Signal Processing for Next Generation Multimedia Communication Systems, Kluwer Academic Publisher, 2004 [10] J.R Parker, Algorithms for Image and Video Processing, Wiley,1996 PT [11] Alan C Bovic, Handbook of Image and Video Proceesing, Academic Press, 2000 [12] Rafael C Gonzalez,Richard E Wood, Steven L.Eddins, Digital Image Processing Using MALAB, Prentice Hall, 2003 [13 Nguyễn Quốc Trung, Xử lý tín hiệu lọc số, Nhà xuất Khoa học Kỹ thuật, 1998 [14 Lương Mạnh Bá, Nguyễn Thanh Thủy, Nhập môn xử lý ảnh số, Nhà xuất Khoa học Kỹ thuật, 1999 157 ... hết IT Bài giảng ? ?Xử lý âm hình ảnh? ?? giới thiệu kiến thức kỹ thuật xử lý âm thanh, hình ảnh, video đặc biệt trọng đến phương pháp nén, lưu trữ, tiêu chuẩn nén âm thanh, hình ảnh, video ứng dụng... phải bao nhiêu? 11 Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh Chương 2: Kỹ thuật xử lý âm 2.1 Các đặc trưng âm 2.1.1 Khái niệm âm tham số đánh giá Âm giới tự nhiên chất sóng âm tạo từ dao động... cuống họng, áp suất khơng khí hình thành phía sau giải phóng đột ngột.-> phụ âm 20 Xử lý âm hình ảnh Chương 3:Kỹ thuật xử lý ảnh PT IT Hình 2.8: Một đoạn điển hình âm vơ Hình 2.9: Mật độ phổ công