KỸ THUẬT AUDIO-VIDEO

AUDIO-VIDEO Jun, 2004 Audio-Video Engineering TÀI LIỆU THAM KHẢO • CMPT 365 Course Contents, Spring 2000, http://www.cs.sfu.ca/CourseCentral/365/li/index.html • “Principles of Digital Audio”, Ken C.Pohmanm Fourth Edition McGraw-Hill • “Digital Video processing”, A Murat Tekalp, University of Rochester, Prentice Hall PTR • “Multimedia processing”, Andrew Calway, COMS72200 • “Fundamentals of Digital Image Processing”., Anil.K.Jan, Prentice Hall, 1996 • MPEG Home Page, http://www.cselt.it/mpeg/ Audio-Video Engineering NỘI DUNG • TỔNG QUAN • KỸ THUẬT AUDIO • KỸ THUẬT VIDEO Audio-Video Engineering AUDIO-VIDEO CHƯƠNG1 TỔNG QUAN Audio-Video Engineering TỔNG QUAN • TỔNG QUAN VỀ MULTIMEDIA • KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO • HỆ THỐNG AUDIO-VIDEO • MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Lịch sử phát triển hệ thống đa môi trường ! Cuộc sống đại, nhu cầu trao đổi thông tin ngày tăng ! Hệ thống đa môi trường báo, tạp chí với mơi trường văn bản, đồ hoạ hình ảnh ! Năm 1895, Guglemo Marconi phát minh máy radio Pontechio – Ý Năm 1901, tín hiệu vơ tuyến ơng truyền qua Đại Tây Dương phát minh máy điện tín, radio mơi trường chuyển tải tín hiệu audio quảng bá ! Truyền hình, mơi trường truyền thơng kỷ 20, truyền hình ảnh âm đến nơi giới, mang thông tin cần thiết cho sống người ! Các hệ thống máy tính tích hợp nhiều dạng mơi trường số khác với khả biểu diễn, tương tác với dạng thông tin, tiềm lớn phục vụ nhu cầu trao đổi thông tin với chất lượng cao xã hội Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Siêu phương tiện đa phương tiện (hypermedia – multimedia) ! Siêu văn (hypertext) văn có chứa liên kết đến văn khác Thuật ngữ phát minh Ted Nelson (1965) Siêu văn văn khơng tuyến tính ! Siêu văn tài liệu khơng tuyến tính, cách kích vào điểm nóng văn bản, chuyển đến tài liệu hay văn khác, quay về, thuận tiện cho người đọc việc duyệt văn muốn tổng quan văn từ phần mục lục ! Hypermedia: Siêu phương tiện không bị ràng buộc hypertext Nó bao gồm nhiều phương tiện truyền thơng khác đồ thị, hình ảnh, âm thanh, hoạt hình ảnh động Thuật ngữ Ted Nelson phát minh ! Multimedia: Đa phương tiện thơng tin máy tính mơ tả audio, viedo hay hoạt hình ngồi phương tiện truyền thống ! Siêu phương tiện xem ứng dụng đa phương tiện Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA Đồ hoạ Văn thường (tuyến tính) Âm Siêu văn Video Siêu mơi trường Hình 1-1 Hypertext, Hypermedia Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • Ví dụ số ứng dụng multimedia: ! ! ! ! ! ! ! ! ! Hệ thống xây dựng soạn thảo video số Tạp chí điện tử Trị chơi Thương mại điện tử Truyền hình tương tác iTV Truyền hình hội nghị Truyền hình theo yêu cầu Thực tế ảo … Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA • ! Các dạng mơi trường tín hiệu: Các dạng môi trường phân loại thành môi trường liên tục, rời rạc dạng môi trường lên tục rời rạc audio video images thu nhận animation text tổng hợp graphic gốc tín hiệu Hình 1-2 Dạng mơi trường Audio-Video Engineering TỔNG QUAN VỀ MULTIMEDIA Hình 1-3 Thu nhận tổng hợp Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO • Âm (audio) ! Âm thanh: ! Là dao động sóng âm gây áp lực làm dịch chuyển hạt vật chất môi trường đàn hồi làm tai người cảm nhận dao động ! Tai người nghe khoảng tần số từ 20Hz đến 20kHz ! Âm tự nhiên: ! Là kết hợp phức sóng âm có tần số dạng sóng khác ! Dải động tai: ! Giới hạn ngường nghe thấy (0dB) đến ngưỡng đau (120dB) người ! Ngưỡng nghe tối thiểu: ! Là mức thấp mà tai người cảm nhận âm tuỳ thuộc vào người, mức áp lực tần số âm ! Hiệu ứng che khuất âm thanh: ! Là tượng âm mà ngưỡng nghe thấy âm tăng lên có mặt âm khác (khó nghe hơn) Được sử dụng kỹ thuật nén Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO ! Hướng âm thanh: ! Tai não giúp ta xác định hướng âm thanh, điều ứng dụng để tạo hiệu ứng âm stereo, surround ! Vang trễ: ! Vang tượng kép dài âm sau nguồn âm tắt ! Trễ thời gian τ âm phản xạ đến đích so với âm trực tiếp Nếu τ>50ms trễ gọi tiếng vọng Biên độ âm sau lần phản xạ bị suy giảm ! Âm nhạc: ! Là âm có chu kỳ tần số mà tai người cảm nhận cách dễ chịu, êm ái, kết hợp cách phù hợp ! Âm nhạc gồm cao độ, âm sắc nhịp điệu ! Video ! Tín hiệu video: ! Là tái tạo ảnh tự nhiên với khoảng cách không gian, thời gian hai Ảnh tự nhiên tạo nên từ nguồn sáng mặt trời hay ánh sáng nhân tạo phản xạ lên vật thể mà ta nhìn thấy Audio-Video Engineering KHÁI NIỆM CHUNG VỀ AUDIO VÀ VIDEO ! Ảnh: ! Là ma trận điểm ảnh mang thơng tin độ chói màu sắc ! Sự lưu ảnh: ! Khả lưu hình mắt giây Mắt lưu 24 hình giây Dựa vào đặc tính mà người ta chọn số hình giây ảnh động khơng lớn, mà không nhỏ độ lưu ảnh mắt để khơng thấy hình ảnh nhấp nháy hay khơng liên tục ! Độ chói: ! Là biên độ thành phần ảnh (pixel) ! Ví dụ tín hiệu chói Y tổng hợp tín hiệu RGB theo công thức: EY=0,299ER+0,587EG+0,114EB (1-2) ! Thông tin màu xác định: EB-EY=0,587EG+0,889EB+0,229ER ER-EY=0,587EG+0,114EB+0,701ER (1-3) ! Độ tương phản: ! Tỷ số độ chói thành phần sáng so với độ chói thành phần tối Audio-Video Engineering HỆ THỐNG AUDIO-VIDEO • Hệ thống audio tương tự Nguồn âm Tiền khuếch đại Xử lý Khuếch đại Lưu trữ Xuất Hình 1-4 Hệ thống audio tương tự • Hệ thống video tương tự Ảnh tái tạo Cảnh tự nhiên Ống kính Chuyển đổi ảnhtín hiệu Xử lý tín hiệu Lưu trữ truyền dẫn Tạo xung đồng Xử lý tín hiệu Tách xung đồng Hình 1-5 Hệ thống Video tương tự Audio-Video Engineering Chuyển đổi tín hiệu- ảnh Mắt người HỆ THỐNG AUDIO-VIDEO • Hệ thống audio-video số: Nguồn tín hiệu analog Xử lý Lưu trữ Truyền dẫn ADC DAC Bộ hiển thị, xuất tương tự Hình 1-6 Hệ thống audio-video số • Các thành phần hệ thống: Bộ phận thu: Quá trình thu tín hiệu audio video từ âm hay cảnh tự nhiên vào môi trường lưu trữ gọi q trình thu Điều thực micro thu âm hay camera thu hình Micro Camera thiết bị thu tín hiệu chuyển tín hiệu (âm ảnh) sang tín hiệu điện tương tự Đối với hệ thống số phải thực việc chuyển đổi tương tự sang số Lưu trữ: Thiết bị lưu trữ băng từ đĩa từ Có thể thiết bị riêng biệt sử dụng với muc đích thuận tiện yêu cầu chất lượng Xử lý tín hiệu: Điều chỉnh đặc tuyến tần số, màu sắc, tạo hiệu ứng Truyền dẫn: Truyền tín hiệu từ vị trí sang vị trí khác với khoảng cách khơng gian qua mơi trường truyền dẫn Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Tín hiệu hàm ! Tín hiệu tương tự hàm theo thời gian Biên độ ! Biên độ âm biểu diễn mức f(t0) độ âm thời điểm cho ! Tín hiệu biểu diễn hàm f(t) • Tín hiệu có chu kỳ • Phân tích Fourier Thời gian t t0 ! Sự lặp lại khoảng thời gian ngắn không đổi gọi chu kỳ T Hình 1-7 Biểu diễn biên độ-thời ! Tần số nghịch đảo chu kỳ: u=1/T gian Trong thực tế, ta có tín hiệu đơn tần, mà thơng thường tín hiệu phức tạp, kết hợp nhiều tần số hài Tuy nhiên, ta phân tích chúng thành tổng hợp tín hiệu đơn tần Đó phân tích Fourier ! Việc phân tích Fourier cho kết tổng hàm sin cosin tần số khác ! Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Phân tích Fourier chiều: F (u ) = ∞ ∫ f (t )e− j 2π ut dt −∞ f (t ) = • Biên độ pha ∞ ∫ F (u )e −∞ j 2π ut du (1-4) (1-5) ∞ f (t ) = F (u ) cos[ 2π + θ (u )]du • Trong thực tế, F(u) số phức: ∫0 F(u)=FR -(u) + jFI (u) • Trong đó, FR-(u) FI(u) phần thực phần phức • Biên độ xác định sau: F (u ) = FR2 (u ) + FI2 (u ) • Pha xác định sau: • Khi với θ (u ) = arctan( e = cos t + j sin t jt • Như vậy, với tín hiệu thực: thì: FI (u ) ) FR (u ) F (u ) = FR (u ) + jFI (u ) = F (u ) e jθ (u ) ∞ f (t ) = ∫ F (u ) cos[ 2π + θ (u )]du Audio-Video Engineering (1-6) (1-7) (1-8) (1-9) (1-10) MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU • Phổ tần số ! Sự phân bố |F(u)| gọi phổ tần tín hiệu ! Tín hiệu biến thiên chậm phổ tần tập trung tần số thấp ngược lại Từ hình thành tín hiệu tần số thấp tần số cao • Tín hiệu Audio Video !Tín hiệu âm thường tín hiệu chiều !Tín hiệu ảnh tín hiệu hai chiều !Tín hiệu Video tín hiệu chiều !Với chiều khác nhau, ta có số biến khác tương ứng !Chuyển đổi Fourier chiều !Với biến u, v mền tần số !Chuyển đổi ngược: f ( x, y ) = !Với : F (u , v ) = ∞ ∞ ∫ ∫ f ( x , y )e − j 2π ( ux + vy ) − ∞− ∞ dxdy (1-11) ∞ ∞ j 2π ( ux + vy ) ( , ) F u v e dudv ∫ ∫ (1-12) e − j 2π (ux + vy ) = e − j 2πux e − j 2πvy (1-13) − ∞− ∞ Audio-Video Engineering MỘT SỐ VẤN ĐỀ VỀ TÍN HIỆU !Do đó, phân tích Fourier chiều theo hai biến x, y là: ∞ ∫ Fx (u , y ) = f ( x, y )e − j 2πux dx −∞ F (u , v ) = !Đối với tín hiệu thực f(x,y): (1-14) ∞ − j 2πvy ( , ) F u y e dy ∫ x −∞ ∞∞ f ( x, y ) = 2∫ ∫ | F (u, v) | cos[2π (ux + vy ) + θ (u , v)]dudv (1-15) 0 • Màu sắc: Việc kết hợp màu khác tạo nên màu Thông thường, chọn màu để kết hợp, ví dụ RGB Hình 1-8 Lý thuyết màu RGB Audio-Video Engineering