Kỹ thuật audio video chương 3

MULTIMEDIA MULTIMEDIA TÀI LIỆU THAM KHẢO Website: • CMPT 365 Course Contents, Spring 2000, http://www.cs.sfu.ca/CourseCentral/365/li/index.html • “Principles of Digital Audio”, Ken C.Pohmanm Fourth Edition McGraw-Hill • “Digital Video processing”, A Murat Tekalp, University of Rochester, Prentice Hall PTR • “Multimedia processing”, Andrew Calway, COMS72200 • “Fundamentals of Digital Image Processing”., Anil.K.Jan, Prentice Hall, 1996 • MPEG Home Page, http://www.cselt.it/mpeg/ • “Emerging Wireless Multimedia Services and Technologies”, JohnWileySons, Aug 2005 • “Multimedia Content and the Semantic Web Standards Methods and Tools”, John Wiley Sons, Jun 2005 • “Introduction To Digital Audio Signal Processing”, Davide Rocchesso, 2003 Page NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Page VIDEO ENGINEERING CƠ SỞ VIDEO • Các dạng tín hiệu Video màu –Tín hi u video thành ph n: • Các tín hiệu video thành phần ñược xử lý riêng lẻ - Tập thành phần RGB: Là tín hiệu video màu ñược camera cung cấp Ba tín hiệu màu có ñộ rộng băng tần - Tập thành phần Y, R-Y, B-Y: Là tổ hợp giá trị màu cản Thông thường tín hiệu Y có băng tần rộng hai tín hiệu R-Y B-Y Tái tạo hình ảnh tốt yêu cầu băng thông ñồng tốt cho thành phần –Tín hi u video t ng h p: Là tín hiệu video mà ñó thông tin ñộ chói (luminance), màu (chrominance) ñồng (synchronization) ñược phối hợp với (theo tần số, thời gian biên ñộ) ñể tạo tín hiệu Phổ lượng tập trung vào hài tần số tín hiệu quét dòng Cho phép quét cách dòng ñể nhận ñược cảm nhận tốt Yêu cầu băng thông nhỏ, không ñồng xử lý khó khăn Page CƠ SỞ VIDEO • Video tương tự • • Thông tin cảnh vật truyền ñi mang tính chất ñộ choi, màu sắc thay ñổi theo thời gian Một tín hiệu video bao gồm ảnh theo trình tự thời gian, ảnh bao gồm ñiểm ảnh Các ñiểm ảnh mang thông tin ñộ chói màu sắc vật thể, cảnh quan – K thu t quét Quét liên tục: Tần số quét lớn Quét cách dòng: Giảm ñược tần số quét dòng ñảm bảo ñược cảm nhận liên tục, không bị trôi, nhấp nháy Hình 3-1 Quét liên tục quét cách dòng Page CƠ SỞ VIDEO • ðặc ñiểm video tương tự • Tín hiệu ñơn cực, mức chiều (DC=0V) biểu diễn mức ñen 0.7V biểu diễn mức trắng –25mV biểu thị mức xoá Hình 3-2 Tín hiệu video tương tự ñiều chế âm Page CƠ SỞ VIDEO • Các tiêu chuẩn video màu – NTSC Video: 525 dòng khung, 30 khung hình giây Quét cách dòng Chia làm hai trường (mỗi trường 262.5 dòng) Có 20 dòng dự trữ cho thông tin ñiều khiển thời ñiểm bắt ñầu trường Phù hợp ñộ phân giải Laser Disk S-VHS 420 TV thông thường có ñộ phân giải khoảng 320 dòng Hình 3-3 Tín hiệu video với thông tin ñiều khiển Page CƠ SỞ VIDEO Biểu diễn màu: NTSC sử dụng kiểu màu YIQ Thành phần tổng hợp =Y+Icos(fsct)+Qsin(fsct) Trong ñó, fsc tần số sóng mang phụ màu – PAL Video: 625 dòng khung, 25 khung hình giây Quét cách dòng Khung gồm hai trường chẵn lẻ, trường 312.5 dòng Sử dụng kiểu màu YUV Dải tần tín hiệu chói Y rộng 5MHz Tín hiệu U V ñược xác ñịnh theo công thức: V=0.877(R-Y)=0.615R-0.515G-0.100B U=0.493(B-Y)=-0.147R-0.293G+0.473B Page CƠ SỞ VIDEO • Video số – Thuận lợi: • • • • – Truy cập ngẫu nhiên trực tiếp thuận tiện, Việc tạo, lưu trữ ghi ñọc nhiều lần không ảnh hưởng ñến chất lượng ảnh Không cần xung xoá xung ñồng Xử lý thuận tiện, không gặp trở ngại giới hạn tần số, băng thông Khó khăn • Tuy nhiên, tín hiệu số gặp số trở ngại xoay quanh vấn ñề tính hiệu quả, chẳng hạn lọc số có giá thành tương ñối cao – Tiêu chuẩn lấy mẫu màu: • Thuận lợi việc xử lý ñối với tín hiệu video thành phần, băng thông yêu cầu lớn • ðiểm khác chủ yếu tiêu chuẩn lấy mẫu tỷ lệ tần số lấy mẫu phương pháp lấy mẫu tín hiệu chói tín hiệu màu Tần số chuẩn 3,375MHz Mẫu tín hiệu ñược lấy ñối với phần tử tích cực tín hiệu video Cấu trúc lấy mẫu trực giao Page 10 CƠ SỞ VIDEO 4:4:4 4:2:2 4:1:1 4:2:0 Lấy mẫu Y, CR, CB Lấy mẫu Y Lấy mẫu CR Lấy mẫu CB 4:4:4: Tần số lấy mẫu màu cho thành phần Y, CR, CB 13.5MHz 4:2:2: Y: 13.5MHz, CR, CB 6.75MHz Khi giải mã, màu ñiểm ảnh sau ñược suy từ ñiểm ảnh trước 4:1:1: Y:13.5MHz,CR, CB 3.375MHz 4:2:0: Y:13.5MHz,CR, CB 3.375MHz Lấy mẫu màu xen kẻ Hình 3-4 Các tiêu chuẩn lấy mẫu màu Page 11 CƠ SỞ VIDEO • Tín hiệu video số Ảnh t ðiểm ảnh Mang thông tin ñộ chói, màu sắc Hình 3-5 Video số Page 12 CƠ SỞ VIDEO • Các tiêu chuẩn video số CCIR (Consultative Committee for International Radio) CCIR 601525/60 NTSC CCIR 601625/50 PAL/SECAM CIF QCIF ðộ phân giải chói 720x480 720x576 352x288 176x144 ðộ phân giải sắc 360x480 360x576 176x144 88x72 Lấy mẫu màu 4:2:2 4:2:2 4:2:0 4:2:0 Số trường /s 60 50 30,15,10,7.5 30,15,10,7.5 Cách dòng Cách dòng Liên tục Liên tục Cách quét Page 13 JPEG • Khái niệm • Chuẩn JPEG mô tả họ kỹ thuật nén ảnh cho tone liên tục (mức xám hay màu) ảnh JPEG khai thác ñộ dư thừa sinh lý thị giác ảnh JPEG ñược tiến hành vào tháng năm 1986, ñến tháng năm 1988 JPEG ñược trí với giải pháp DCT thích nghi ñể cải thiện tăng cường ảnh • DCT liên tục: Ảnh ñược mã hoá từ trái sang phải, từ xuống dựa vào DCT • DCT luỹ tiến: Ảnh mã hoá quét phức hợp theo chế ñộ phân giải không gian cho ứng dụng băng hẹp • Không tổn hao: Khôi phục xác, tỷ lệ nén thấp, loại bỏ thông tin không cảm nhận ñược Baseline • Thứ bậc (phân cấp): Mã hoá quét phức Thứ bậc hợp phân giải không gian, hiệu với ảnh có ñộ phân giải cao Tài liệu xét DCT liên tục DCT DCT Không liên tục luỹ tiến tổn hao Hình 3-6 Các kiểu hoạt ñộng JPEG Page 14 JPEG • Mã hoá JPEG Hình 3-7 Mã hoá JPEG Page 15 JPEG • Chuyển ñổi Cosin rời rạc DCT (Discrete Cosine Transform) • DCT thuận: • DCT ngược: Hình 3-8 DCT Page 16 JPEG • 98 97 95 93 91 89 87 85 Ví dụ 92 91 89 87 85 83 81 79 95 94 92 90 88 88 84 82 80 79 77 75 73 71 69 67 DC 75 74 72 70 68 66 64 62 82 81 79 77 75 73 71 69 68 67 65 63 31 59 57 55 50 49 47 45 43 41 39 37 591 35 -1 -1 -1 106 0 0 0 -18 0 0 0 28 0 0 0 -34 0 0 0 14 0 0 0 18 0 0 0 0 0 0 7 F (0, 0) = ∑∑ f (i, j ) = 591 Thành phần DC: Các giá trị lại thành phần AC i =0 j =0 Nhận xét: DCT làm giảm ñộ tương quan không gian thông tin khối, biểu diễn DCT có ñộ dư thừa thông tin hơn, ñồng thời, DCT chứa thông tin nội dung tần số không gian thông tin khối, dựa vào ñặc tính sinh lý thị giác, ta mã hoá hệ số DCT quan trọng, nén • • • Page 17 JPEG • Lượng tử hoá • Lượng tử hệ số F(u,v) ñể giảm số bits • Các hệ số tương ứng với tín hiệu tần số thấp giá trị lớn nên phải ñược lượng tử xác • Các hệ số tương ứng với tín hiệu tần số cao (AC) có giá trị bé nên cho phép sai số, ta chia với số lớn • Lượng tử hoá thay ñổi theo khoảng cách ñể ñạt ñược hiệu nén cao q (u , v)    F (u , v) +   F (u , v)  Fq (u , v) =    = round  q (u , v)  q (u , v)      • Trong ñó, q(u,v) giá trị bảng lượng tử hoá 8x8, tuỳ thuộc vào kênh chói hay kênh sắc • Mắt người cảm nhận ñược nội dung tần số cao ñối với nội dung tần số cao kênh sắc Page 18 JPEG • Ma trận lượng tử kênh chói kênh sắc: tăng 16 11 10 16 24 40 51 61 17 18 24 47 99 99 99 99 12 12 14 19 26 58 60 55 18 21 26 66 99 99 99 99 14 14 16 24 40 57 69 56 24 26 56 99 99 99 99 99 14 17 22 29 51 57 69 56 47 66 99 99 99 99 99 99 18 12 37 56 68 109 103 77 99 99 99 99 99 99 99 99 24 35 55 64 81 104 113 92 99 99 99 99 99 99 99 99 49 64 78 87 103 121 120 101 99 99 99 99 99 99 99 99 72 92 95 98 112 100 103 99 99 99 99 99 99 99 99 99 Ma trận lượng tử kênh sắc Ma trận lượng tử kênh chói • Nhận xét: Hệ số lượng tử q(u,v) xa có giá trị lớn, kết thành phần ñược lượng tử có tần số cao tiến ðây trình tổn hao thông tin nén ảnh không tổn hao Page 19 JPEG • Quét zigzag • Ánh xạ ma trận 8x8 thành vector 1x64, ñáy vector giá trị EOB (End of Block) • Mục ñích: Nhóm thành phần tần số thấp vào ñỉnh vector • Ví dụ: Xét ví dụ trên, với thành phần ñã ñược lượng tử hoá 40 10 DC AC(7,0) AC(0,7) 40 10 -2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 -2 Quét zigzag -1 AC(7,7) Hình 3-9 Quét zigzag 64 EOB Page 20 JPEG • ðiều chế xung mã sai biệt thành phần DC • Thành phần DC thành phần ñầu sau quét zigzag • Giá trị thành phần DC lớn, thay ñổi gần với giá trị block trước ñó • ðiều chế DPCM cho thành phần DC • Mã hoá loạt dài cho thành phần AC • Trừ thành phần DC, thành phần lại AC gồm nhiều giá trị liên tiếp • Mã hoá loạt daì giá trị mang lại hiệu cao • Ví dụ: Giả sử block trước có giá trị thành phần DC 25 Kết hình bên 15 DPCM cho DC 0,10 Không có bước chạy trước giá trị 10 0,3 Có bước chạy trước giá trị -2 2,-2 0,2 7,-1 EOB Kết thúc khối Hình 3-10 Mã hoá thành phần DC AC Page 21 JPEG • Mã hoá Entropy • Mã hoá Entropy sử dụng kỹ thuật mã hoá Huffman với bảng mã hoá gồm bảng phân loại bảng Huffman dựa vào ñặc tính thống kê tín hiệu • Mã hoá Entropy cho thành phần DC: Các hệ số DC sai lệch Phân loại Từ mã (chói) -255…-128; 128…255 1111 110 -127…-64; 64…127 1111 10 -63…-32; 32…63 1111 -31…-16; 16…31 1110 -15…-8; 8…15 110 -7…-4; 4…7 101 -3;-2; 2;3 01 -1;1 00 0 100 Hình 3-11 Bảng phân loại bảng Huffman cho thành phần DC chói Page 22 JPEG • Sơ ñồ mã hoá Hệ số DC sau quét zigzag 15 ~ loại ∆=40-25=15 40 Mã hoá DPCM Bảng phân loại DC trước =25 Bảng Huffman loại có mã 110 15 Mã hoá nhị phân 110 1111 15 mã nhị phân 1111 • Hình 3-12 Mã hoá entropy thành phần DC • Mã hoá thành phần AC • Các từ mã với ñộ dài thay ñổi có tần suất xuất cao ñược mã hoá ngắn ngược lại Quá trình mã hoá gọi mã hoá ñộ dài từ mã thay ñổi VLC • Bảng phân loại giống bảng phân loại thành phần DC khác bảng Huffman Page 23 JPEG Bước chạy Phân loại ðộ dài mã Từ mã 00 2 01 3 100 4 1011 1 1100 111001 11011 2 11111 000 111 010 111 011 1111 010 1111 011 1010 EOB Hình 3-13 Bảng Huffman hệ số AC Page 24 JPEG 10 ~ loại Bước chạy 0,2 Bước chạy ~ loại Mức 10,-2 Mã hoá RLC Bảng phân loại Bảng Huffman AC loại Hệ số AC sau quét bước chạy 0, loại có mã 1011 10,2 zigzag bước chạy 2, loại có mã 11111000 • Ví dụ trên: Mã hoá nhị phân 1011 1010 0,10 2,-2 10 mã nhị phân 1010 ~’10’; -2~ ’01’ 11111 000| 01 0,10 1011 1010 0,3 01 11 2,-2 VLC 11111 000 01 0,2 01 10 7,-1 11111 001 EOB 1010 Hình 3-14 Mã hoá entropy thành phần AC Page 25 CÁC CHUẨN NÉN VIDEO • • • • • • H.261 H.263 MPEG-1 MPEG-2 MPEG-4 MPEG-7 Page 26 H.261 • Khái niệm • ITU (CCITT) H.261 ñược phát triển cho dịch vụ truyền hình hội nghị video phone qua ISDN tốc ñộ px64kbps (p=1 30) • Ví dụ: Tốc ñộ 64kbps truyền 48kbps video, 16kbps audio • Truyền hình hội nghị yêu cầu chất lượng ảnh cao hơn, p≥6, tốc ñộ ≥ 384kbps • Là sở cho chuẩn nén sau MPEG 1, • Các ñặc tính: - Trễ mã hoá [...]... 1111 10 - 63 -32 ; 32 … 63 6 1111 0 -31 …-16; 16 31 5 1110 -15…-8; 8…15 4 110 -7…-4; 4…7 3 101 -3; -2; 2 ;3 2 01 -1;1 1 00 0 0 100 Hình 3- 11 Bảng phân loại và bảng Huffman cho thành phần DC chói Page 22 JPEG • Sơ ñồ mã hoá Hệ số DC sau quét zigzag 15 ~ loại 4 ∆=40-25=15 40 Mã hoá DPCM Bảng phân loại DC trước =25 Bảng Huffman loại 4 có mã 110 15 Mã hoá nhị phân 110 1111 15 mã nhị phân là 1111 • Hình 3- 12 Mã... 8x8 của tín hiệu Y và hai khối 8x8 của tín hiệu sắc ¼ MB Y1 Y2 Y3 Y4 Hình 3- 15 Macro block CR CB Page 28 H.261 • Lớp GOB luôn ñược kết hợp của 33 macroblock, hợp thành ma trận 3x11 Chú ý rằng mỗi MB có một header chứa ñịa chỉ MB và kiểu nén, tiếp theo là dữ liệu của khối Kiểu Số GOB/khung Số MB/GOB Tổng MB/khung CIF 12 33 39 6 QCIF 3 33 99 • Cuối cùng, lớp ảnh bao gồm header ảnh theo sau bởi dữ liệu... gồm header ảnh theo sau bởi dữ liệu cho các GOB Một header chứa dữ liệu là dạng ảnh (CIF hay QCIF) và số khung Chú ý rằng ảnh CIF có 12 GOB còn QCIF chỉ có 3 GOB 1 12 23 2 13 24 3 14 25 4 15 26 5 16 27 6 17 28 7 18 29 8 19 30 9 20 31 10 21 32 11 22 33 • Cấu trúc MB MBA MTYPE MQUANT ðịa chỉ MB Dạng Intra, Inter MVD CBP Block Data Vector chuyển ñộng Dữ liệu Hệ số lượng tử Mẫu khối ñã mã hoá Page 29 H.261... 1011 1010 0 ,3 01 11 2,-2 VLC 11111 000 01 0,2 01 10 7,-1 11111 001 0 EOB 1010 Hình 3- 14 Mã hoá entropy thành phần AC Page 25 CÁC CHUẨN NÉN VIDEO • • • • • • H.261 H.2 63 MPEG-1 MPEG-2 MPEG-4 MPEG-7 Page 26 H.261 • Khái niệm • ITU (CCITT) H.261 ñược phát triển cho dịch vụ truyền hình hội nghị và video phone qua ISDN ở tốc ñộ px64kbps (p=1 30 ) • Ví dụ: Tốc ñộ 64kbps truyền 48kbps video, 16kbps audio • Truyền... ñộng Page 31 H.261 • Mã hoá trong khung Hình 3- 18 Mã hoá trong khung H.261 Page 32 H.261 • Sơ ñồ mã hoá trong khung Hình 3- 19 Mã hoá khung I “Control” ñiều khiển tốc ñộ bit và bộ ñệm, nếu bộ ñệm ñầy thì giảm tốc ñộ bit “Memory” dùng ñể lưu hình ảnh ñược khôi phục lại với mục ñích tìm vector chuyển ñộng cho Frame P tiếp theo Page 33 H.261 • Mã hoá liên khung Hình 3- 20 Mã hoá liên khung H.261 Page 34 H.261... H.261 sử dụng dạng có tốc ñộ nhỏ hơn ¼ là QCIF (Quadrature) • Với tốc ñộ 30 khung hình/s thì tốc ñộ dữ liệu của CIF là 37 .3Mbps, QCIF là 9 .35 Mbps Tốc ñộ càng thấp thì càng giảm số khung hình/s Page 27 H.261 • Ghép tín hiệu video • Mục ñích: ðịnh nghĩa cấu trúc dữ liệu ñể bộ giải mã có thể hiểu ñược khi nhận dòng bit • Tín hiệu video ñược phân thành các lớp Mỗi lớp như vậy ñều có header ñể ñịnh nghĩa... ñổi VLC • Bảng phân loại giống như bảng phân loại của thành phần DC nhưng khác bảng Huffman Page 23 JPEG Bước chạy Phân loại ðộ dài mã Từ mã 0 1 2 00 0 2 2 01 0 3 3 100 0 4 4 1011 1 1 4 1100 1 2 6 111001 2 1 5 11011 2 2 8 11111 000 3 1 6 111 010 4 1 6 111 011 5 1 7 1111 010 6 1 7 1111 011 4 1010 EOB Hình 3- 13 Bảng Huffman các hệ số AC Page 24 JPEG 10 ~ loại 4 Bước chạy 0,2 Bước chạy 2 ~ loại 2 Mức 10,-2... tượng tốt cho truy cập video ñơn công Page 37 MPEG-1 • Dạng tín hiệu ngõ vào • MPEG-1 chỉ xét tín hiệu video luỹ tiến ðể ñạt ñược tốc ñộ bit 1.5Mbps, video ngõ vào thường ñược chuyển ñổi trước khi ñưa vào dạng ngõ vào chuẩn MPEG SIF (Standard Input Format) • Không gian màu (Y, Cr, Cb) ñã ñược thừa nhận theo khuyến nghị CCIR 601 Trong SIF MPEG, kênh chí là 35 2 pixel x 240 dòng và 30 khung/s - Số pixel... trên một dòng: 720 - Số dòng lớn nhất trên một ảnh: 576 - Số ảnh trong một giây: 30 - Số macroblock trên một ảnh: 39 6 - Số macroblock trên một giây: 9900 - Tốc ñộ bit tối ña: 1.86Mbps - Kích thước bộ ñệm giải mã tối ña: 37 6. 832 bits Chú ý: Ràng buộc trên không có nghĩa là tín hiệu video ñược nén với tốc ñộ tối ña Page 38 MPEG-1 •Cấu trúc dữ liệu và các kiểu nén • Cấu trúc dữ liệu gồm 6 lớp, cho phép... Hình 3- 23 Dự ñoán bù chuyển ñộng tới • Sử dụng các MB thích hợp nhất trong khung trước (tham chiếu) ñể dự ñoán bù chuyển ñộng trong khung hiện hành Thích hợp nhất dựa vào trung bình bình phương tối thiểu hoặc trung bình tuyệt ñối tối thiểu • Sử dụng thuật toán ước luượng chuyển ñộng nửa pixel với hai bước thô và tinh Page 43 MPEG-1 • Khung B (dự ñoán hai hướng, nội suy) • Là ñặc trưng của MPEG Hình 3- 24 ...NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Page VIDEO ENGINEERING CƠ SỞ VIDEO • Các dạng tín hiệu Video màu –Tín hi u video thành ph n: • Các tín hiệu video thành phần ñược xử lý... 93 91 89 87 85 Ví dụ 92 91 89 87 85 83 81 79 95 94 92 90 88 88 84 82 80 79 77 75 73 71 69 67 DC 75 74 72 70 68 66 64 62 82 81 79 77 75 73 71 69 68 67 65 63 31 59 57 55 50 49 47 45 43 41 39 37 ... 128…255 1111 110 -127…-64; 64…127 1111 10 - 63 -32 ; 32 … 63 1111 -31 …-16; 16 31 1110 -15…-8; 8…15 110 -7…-4; 4…7 101 -3; -2; 2 ;3 01 -1;1 00 0 100 Hình 3- 11 Bảng phân loại bảng Huffman cho thành phần