giáo trình audio video

AUDIO-VIDEO Jun, 2004 Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TÀI LIỆU THAM KHẢO • CMPT 365 Course Contents, Spring 2000, http://www.cs.sfu.ca/CourseCentral/365/li/index.html • “Principles of Digital Audio”, Ken C.Pohmanm Fourth Edition McGraw-Hill • “Digital Video processing”, A Murat Tekalp, University of Rochester, Prentice Hall PTR • “Multimedia processing”, Andrew Calway, COMS72200 • “Fundamentals of Digital Image Processing”., Anil.K.Jan, Prentice Hall, 1996 • MPEG Home Page, http://www.cselt.it/mpeg/ Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt AUDIO-VIDEO CHƯƠNG1 TỔNG QUAN Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN • TỔNG QUAN VỀ MULTIMEDIA • KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO • HỆ THỐNG AUDIO-VIDEO • MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN VỀ MULTIMEDIA • Lịch sử phát triển hệ thống đa môi trường ! Cuộc sống đại, nhu cầu trao đổi thông tin ngày tăng ! Hệ thống đa môi trường báo, tạp chí với mơi trường văn bản, đồ hoạ hình ảnh ! Năm 1895, Guglemo Marconi phát minh máy radio Pontechio – Ý Năm 1901, tín hiệu vơ tuyến ơng truyền qua Đại Tây Dương phát minh máy điện tín, radio mơi trường chuyển tải tín hiệu audio quảng bá ! Truyền hình, mơi trường truyền thơng kỷ 20, truyền hình ảnh âm đến nơi giới, mang thông tin cần thiết cho sống người ! Các hệ thống máy tính tích hợp nhiều dạng mơi trường số khác với khả biểu diễn, tương tác với dạng thông tin, tiềm lớn phục vụ nhu cầu trao đổi thông tin với chất lượng cao xã hội Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN VỀ MULTIMEDIA • Siêu phương tiện đa phương tiện (hypermedia – multimedia) ! Siêu văn (hypertext) văn có chứa liên kết đến văn khác Thuật ngữ phát minh Ted Nelson (1965) Siêu văn văn khơng tuyến tính ! Siêu văn tài liệu không tuyến tính, cách kích vào điểm nóng văn bản, chuyển đến tài liệu hay văn khác, quay về, thuận tiện cho người đọc việc duyệt văn muốn tổng quan văn từ phần mục lục ! Hypermedia: Siêu phương tiện không bị ràng buộc hypertext Nó bao gồm nhiều phương tiện truyền thơng khác đồ thị, hình ảnh, âm thanh, hoạt hình ảnh động Thuật ngữ Ted Nelson phát minh ! Multimedia: Đa phương tiện thơng tin máy tính mơ tả audio, viedo hay hoạt hình ngồi phương tiện truyền thống ! Siêu phương tiện xem ứng dụng đa phương tiện Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN VỀ MULTIMEDIA Đồ hoạ Văn thường (tuyến tính) Âm Siêu văn Video Siêu mơi trường Hình 1-1 Hypertext, Hypermedia Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN VỀ MULTIMEDIA • Ví dụ số ứng dụng multimedia: ! ! ! ! ! ! ! ! ! Hệ thống xây dựng soạn thảo video số Tạp chí điện tử Trò chơi Thương mại điện tử Truyền hình tương tác iTV Truyền hình hội nghị Truyền hình theo yêu cầu Thực tế ảo … Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt TỔNG QUAN VỀ MULTIMEDIA • ! Các dạng mơi trường tín hiệu: Các dạng môi trường phân loại thành môi trường liên tục, rời rạc dạng môi trường lên tục rời rạc audio video images thu nhận animation text tổng hợp graphic gốc tín hiệu Hình 1-2 Dạng mơi trường Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt H.263 • Khái niệm • Tiêu chuẩn cải tiến H.261 cho video tốc độ thấp, truyền mạng điện thoại công cộng PSTN, công nhận năm 1996 • Giống H.261, mã hố DCT cho MB I Frame DCT sai biệt dự đốn P Frame • Tốc độ tối thiểu • Ưu điểm: • • • • • Chính xác sai biệt dự đốn với ½ pixels Khơng hạn chế vector chuyển động Mã hoá số học theo cú pháp Dự đốn thuận lợi với khung P Ngồi CIF, QCIF, H.263 hỗ trợ SQCIF, CIF 16CIF với độ phân giải tín hiệu chói 128x96, 704x576, 1408x1152 Độ phân giải tín hiệu sắc ¼ tín hiệu chói Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Khái niệm • MPEG-1 chuẩn phát triển thùa nhận năm 1992 để lưu trữ video dạng CIF kết hợp với audio khoảng 1.5Mbps nhiều môi trường lưu trữ số khác CD-ROM, DAT, Winchester, đĩa quang với ứng dụng hệ thống đa mơi trường trực tuyến • Thuật tốn MPEG-1 tương tự H.261 với vài đặc tính bổ sung Chất lượng MPEG-1 nén giải nén tín hiệu CIF khoảng 1.2Mbps (tốc độ video) tương đương với chất lượng video tương tự VHS • Đặc tính • Là tiêu chuẩn tổng quát cú pháp, hỗ trợ ước lượng chuyển động, dự đoán bù chuyển động, DCT, lượng tử VLC • Khơng định nghĩa thuật tốn xác định cụ thể mà thiết kế mã hoá linh hoạt • Khả phục vụ ảnh khác nhau, hoạt động thiết bị, tốc độ khác • Truy cập ngẫu nhiên dựa vào điểm truy cập độc lập (khung I) • Tìm nhanh xem qt dòng bit mã hố, hiển thị khung chọn • Trễ mã hố giải mã hợp lý (1s), gây ấn tượng tốt cho truy cập video đơn cơng Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Dạng tín hiệu ngõ vào • MPEG-1 xét tín hiệu video luỹ tiến Để đạt tốc độ bit 1.5Mbps, video ngõ vào thường chuyển đổi trước đưa vào dạng ngõ vào chuẩn MPEG SIF (Standard Input Format) • Không gian màu (Y, Cr, Cb) thừa nhận theo khuyến nghị CCIR 601 Trong SIF MPEG, kênh chí 352 pixel x 240 dòng 30 khung/s - Số pixel lớn dòng: 720 - Số dòng lớn ảnh: 576 - Số ảnh giây: 30 - Số macroblock ảnh: 396 - Số macroblock giây: 9900 - Tốc độ bit tối đa: 1.86Mbps - Kích thước đệm giải mã tối đa: 376.832bits Chú ý: Ràng buộc khơng có nghĩa tín hiệu video nén với tốc độ tối đa Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 •Cấu trúc liệu kiểu nén • Cấu trúc liệu gồm lớp, cho phép gải mã hiểu tín hiệu chưa xác định 1) Các chuỗi định dạng vài nhóm ảnh GOP 2) Nhóm ảnh tạo nên ảnh Nhóm ảnh xác định hai thông số m n Thông số m xác định số khung hình P khung hình B xuất hai khung hiềnh I gần Số n xác định số khung hình B hai khung P 3) Ảnh bao gồm phần (slice) Có dạng ảnh tương ứng với kiểu nén, ảnh I, ảnh P, ảnh B ảnh D Ảnh I ảnh mã hoá DCT khung sử dụng thuật tốn giơng JPEG Chúng cho phép điểm truy cập ngẫu nhiên đến chuỗi Có hai dạng ảnh mã hố liên khung ảnh P ảnh B Các ảnh mã hoá DCT bù chuyển động sai biệt dự đốn Chỉ có việc dự đoán tới sử dụng kiểu ảnh P, ảnh mã hoá liên quan đến ảnh I P trước Sự dự đốn ảnh B tới lùi liên hệ hai chiều tới ảnh I P khác Các ảnh D chứa thành phần DC khối với mục đích cho tốc độ bit thấp Số khung I, P B GOP áp dụng cách phụ thuộc, ví dụ tuỳ thuộc vào thời gian truy cập tốc độ bit yêu cầu Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Ví dụ: • Một GOP hình vẽ kết hợp ảnh Chú ý khung đầu GOP ảnh I Trong MPEG, trật tự ảnh không cần thiết giống theo thứ tự liên tiếp Nghĩa thứ tự truyền ảnh thứ tự ảnh lên hình khơng giống Ảnh hình vẽ có mã hoá trật tự sau: 0, 4, 1, 2, 3, 8, 5, 6, hay 0, 1, 4, 3, 8, 5, 6, Khi dự đoán với ảnh P B nên dựa ảnh truyền I B B B P B B B P 10 Nhóm ảnh Hình 3-22 Nhóm ảnh MPEG-1 Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 4) Các phần (slice) tạo macroblock Chúng đưa với mục đích khơi phục lỗi 5) Sự kết hợp macroblock MB tương tự H.261 Một vài tham số nén mang MB sở Các dạng MB bảng bên I: Nội suy(hai hướng); B: Lùi A: Thích ứng; F: Tới D: Sai biệt dự đoán 6) Các khối mảng 8x8 pixels Chúng đơn vị DCT nhỏ Các tiêu đề định nghĩa cho chuỗi, GOP, ảnh, phần MB để xác định độc liệu sau Ảnh I Ảnh P Ảnh B Intra Intra Intra Intra-A Intra-A Intra-A                     Inter-D Inter-F Inter-DA Inter-FD Inter-F Inter-FDA Inter-FD Inter-B Inter-FDA Inter-BD Skipped Inter-BDA         Inter-I Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt Inter-ID Inter-IDA Skipped MPEG-1 • Kiểu nén khung • Các giá trị cường độ điểm ảnh mã hoá DCT theo cách tương tự JPEG kiểu intra H.261 • Việc nén đạt kết hợp lượng tử hoá mã hoá chiều dài thay đổi hệ số • MPEG cho phép lượng tử hố khơng gian thích ứng việc đưa tỷ lệ lượng tử MQUANT cú pháp • Có hai kiểu MB ảnh I: - MB “Intra” mã hoá với ma trận lượng tử hoá thời - MB “Intra A” ma trận lượng tử hố tỷ lệ hệ số MQUANT truyền header Chú ý MQUANT thay đổi MB để điều khiển tốc độ bit với mục đích lượng tử MPEG chứng minh kiểu nén Intra cung cấp 30% nén tốt so với JPEG tính lượng tử thích ứng - Mã hoá hệ số DCT sau lượng tử giống JPEG Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 •Kiểu nén liên khung • Trong kiểu nén liên khung, dự đoán thời gian tiến hành kết sai biệt dự đốn mã hố DCT Có hai dạng kiểu dự đoán thời gian cho phép MPEG-1, dự đốn tới (khung P) dự đốn hai hướng (khung B) • Khung P (dự đốn bù chuyển động) • Hình 3-23 Dự đốn bù chuyển động tới • Sử dụng MB thích hợp khung trước (tham chiếu) để dự đoán bù chuyển động khung hành Thích hợp dựa vào trung bình bình phương tối thiểu trung bình tuyệt đối tối thiểu • Sử dụng thuật toấn ước luượng chuyển động nửa pixel với hai bước thô tinh Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Khung B (dự đốn hai hướng, nội suy) • Là đặc trưng MPEG Hình 3-24 Dự đốn hai hướng • Dự đốn MB cho khung hành dựa vào: Khung trước; khung sau trung bình MB khung trước khung sau • Ưu điểm: Hiệu việc nén dùng khung B để dự đốn chu khung sau, trung bình MC qua hai khung cho SNR tốt • Nhược: Cần hai khug tham chiếu I, P; sử dụng khung B nhiều khoảng cách khung tham chiếu I, P tăng " trễ mã hoá lớn Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Mã hố MPEG-1 Hình 3-25 Mã hố MPEG-1 Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-1 • Giải mã MPEG-1 Hình 3-26 Giải mã MPEG-1 Tổng quan, mã hoá MPEG-1 tiến hành bước sau: - Quyết định nhãn khung I, P B GOP - Đánh giá chuyển động cho MB ảnh P, B - Xác định kiểu nén MTYPE cho MB - Đặt tỷ số lượng tử MQUANT lượng tử thích ứng chọn Bộ giải mã MPEG-1 hoạt động theo hướng ngược lại Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-2 • Khái niệm • Chất lượng MPEG-1 tốc độ 1.2Mbps cho thấy chấp nhận với ứng dụng giải trí • MPEG-2 phiên mở rộng MPEG-1 để cung cấp phạm vi rộng ứng dụng với tốc độ bit độ phân giải khác (2-20Mbps) •Đặc trưng MPEG-2: - Cho phép ngõ vào kết hợp (interlace), độ phân giải cao, lấy mẫu phụ thay đổi kênh sắc - Cung cấp dòng bit co dãn - Cung cấp tuỳ chọn lượng tử hoá mã hoá Dạng ảnh MPEG-2 Video luỹ tiến Khung ảnh I, P B Video kết hợp Khung ảnh I, P B Trường ảnh I, P B Hình 3-27 Dạng ảnh MPEG-2 Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-2 • Các hình thái MPEG-2 Hình thái đơn giản: Số bước nén thấp nhất, cho phép mã hoá ảnh loại I P, khơng cho phép mã hố ảnh loại B Tốc độ tối đa hình thái 15Mbps Hình thái chính: Cho phép sử dụng tất loại ảnh không tạo mức Chất lượng ảnh tốt hình thái đơn giản tốc độ bit khơng đổi Hình thái phân cấp theo SNR: Tính phân cấp theo SNR có nghĩa có thoả hiệp chất lượng hình ảnh với tỷ số tín hiệu tạp âm Hỗ trợ cho tốc độ 15Mbps Hình thái phân cấp theo khơng gian: Tính phân cấp theo khơng gian có thoả hiệp độ phân giải Hỗ trợ tốc độ bit 60Mbps Hình thái cao: Bao gồm cơng cụ hình thái trước cộng với khả mã hố tín hiệu màu khác lúc Là hệ thống hoàn hảo thiết kế cho tồn ứng dụng mà khơng bị giới hạn tốc độ cao Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-4 • Phiên 1: 8/1998 • Phiên 2: 12/1999 • Phát triển cho tốc độ bit thấp: 4.8 đến 64kbps, nhiên, sau nâng tốc độ lên đáng kể • Video: 5kbps đến 10Mbps • Audio: 2kbps đến 64 kbps • Hỗ trợ nội dung co dãn • Hỗ trợ đối tượng tương tác lẫn • Kênh audio riêng kết hợp với đối tượng Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt MPEG-7, MPEG21 • MPEG-7 – Được thừa nhận thành tiêu chuẩn quốc tế vào tháng 7/2001 – Đề xuất cho việc tìm kiếm, chọn lựa, quản lý phân tích thơng tin đa phương tiện – Nội dung trực quan – Sử dụng mô tả sơ đồ mô tả mối quan hệ đối tượng – “Giao tiếp mô tả nội dung đa mơi trường” • MPEG-21 – “Cơ chế đa môi trường” – Cho phép thương mại điện tử nội dung đa môi trường số Audio-Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt ... tín hiệu audio video Đây tảng cho chương Hình 1-9 C? m quan chi? u Audio- Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt AUDIO- VIDEO CHƯƠNG2 KỸ THUẬT AUDIO Audio -Video Engineering... xung đồng Hình 1-5 Hệ thống Video tương tự Audio- Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt Mắt người HỆ THỐNG AUDIO- VIDEO • Hệ thống audio- video số: Nguồn tín hiệu... http://www.cselt.it/mpeg/ Audio- Video Engineering CuuDuongThanCong.com https://fb.com/tailieudientucntt NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Audio- Video Engineering CuuDuongThanCong.com