Bài 2 dữ liệu đa phương tiện

Bài DỮ LIỆU ĐA PHƯƠNG TIỆN PGS.TS. Đặng Văn Đức dvduc@ioit.ac.vn Hà Nội - 2005/14 Nội dung        Các loại liệu đa phương tiện Dữ liệu văn Dữ liệu âm Dữ liệu hình ảnh Dữ liệu video Một vài tính chất chung liệu đa phương tiện Kết luận 1. Nhắc lại loại liệu đa phương tiện image io d au text Once upon a time, there was a little . video 2. Dữ liệu văn  Văn túy     Sử dụng mã ASCII bit, bit Các mã EBCDIC, Unicode Item văn ký tự hay từ Văn túy thuộc tính cố định ghi CSDL.  Văn có cấu trúc    Phần lớn văn có cấu trúc: Tiêu đề, chương, mục, đoạn. File Header Chuẩn văn bản: SGML, ODA, PDF, OpenXML, LaText,…  Nén văn    Mã hóa Huffman, mã hóa số học Mã hóa loạt dài (Run-length) Mã hóa LZW… 2.1 Mã hóa Huffman  Gán bít cho ký tự xuất thường xuyên văn bản.  Quy tắc gán bít (mã) cho biểu tượng (ký tự) gọi codebook. Codebook biểu diễn bảng.  Ví dụ mã hóa Huffman  Tệp văn chứa 1.000 ký tự, bao gồm ký tự e, t, x z Xác xuất ký tự xuất văn là: 0.8, 0.16, 0.02, 0.02 Codebook: e   01 t 001 x 000 z  Vậy, cần bytes? David Albert Huffman (1925–1999) Mã hóa Huffman  Thuật toán tìm codebook 1. Liệt kê ký tự theo thứ tự xác suất xuất văn bản. 2. Lập mà cành hai ký tự có xác suất nhỏ nhất, gán nhãn cho chúng. 3. Loại bỏ hai ký tự vừa sử dụng khỏi danh sách bổ xung ký tự có xác suất tổng xác suất cành chúng. 4. Lặp lại bước với danh sách hình thành gốc cây.  Duyệt từ đỉnh đến (các giá trị 0) để có từ mã (codeword).  Lưu trữ nhị phân (Huffman). Ví dụ mã hóa Huffman Giải nén mã Huffman  Dựng lại Huffman từ Codebook  Giải mã dựa vào Huffman 1. Khởi động trỏ pNode để trỏ đến gốc 2. Lặp a. Lấy bit dòng liệu nén  Nếu (bit==1) gán Node bên cành phải cho pNode  Ngược lại, gán Node bên cành trái cho pNode. c. Nếu pNode nút  Lấy ký tự tương ứng nút  Đặt lại gốc Huffman vào trỏ pNode. Cho đến xử lý toàn bit dòng liệu nén. 2.2 Mã hóa loạt dài  Run – Length (RLE) Sc X C Sc – Ký tự đặc biệt X – Ký tự lặp C – Số đếm ký tự lặp  Ví dụ:   Dãy văn “eeeeeeetnnnnnnnn” Mã hóa với ký tự đặc biệt @: @e7t@n8  Khi nén RLE có hiệu quả? 2.3 Mã hóa LZW  Do Jacov Zi, Abraham Lempel Terry Welch đề xuất (LZW – Lempel Ziv Welch)  Ý tưởng mã hóa    LZW thay chuỗi ký tự mã mà không cần thực phân tích trước chuỗi ký tự vào. LZW thực xây dựng từ điển câu (nhóm hay nhiều ký tự) từ dòng ký tự vào. Trong RLE làm việc mức ký tự LZW làm việc mức câu.  Thí dụ: Tệp có 10.000 ký tự   Mã hóa ASCII bít: cần đến 80.000 bít. Giả sử tệp có 2.000 từ (câu), có 500 từ (câu) khác   Cần bít để mã hóa hay cần 18.000 bít cho toàn tệp Tỷ lệ nén đến 4.4 lần  LZW áp dụng cho nén ảnh. Khái niệm mã hóa biến đổi  Ý tưởng Biên độ  Miền quan sát – Miền tần số! 1/3 1/7 1/5 Tần số Biến đổi Fourier cường độ pha thành phần sóng hình sin Biến đổi Fourier F (u ) = N N −1 ∑ f ( x )e − 2πixu / N x =0 Discrete Fourier Transform (DFT)/IDFT: F (u ) = N N −1 ∑ f ( x )e x =0 − 2πixu / N N −1 f ( x) = ∑ F (u )e 2πixu / N x =0 Qui trình nén ảnh biến đổi  Chọn loại biến đổi  Biến đổi DCT, Wavelet, .  Chọn kích thước khối ảnh để áp dụng biến đổi chúng  Tốt 8x8  Lượng tử hóa  Làm giảm dung lượng lưu trữ hay truyền tin  Nén  Nén Huffman, nén số học nén RLE, . Nén ảnh kỹ thuật mã hóa biến đổi  Lược đồ nén ảnh JPEG (Joint Photographic Experts Group: CCITT-ISO) f(i, j) YIQ hay YCbCr DCT F(u, v) Lượng tử hóa Fq(u, v) 8x8 Bảng lượng tử Header Bảng mã hóa Tables Data Mã hóa entropy DPCM RLC DC AC Mã hóa biến đổi FDCT: S uv 7 ( x +1)uπ ( y +1)vπ = C (u )C (v )∑∑ s xy cos cos 16 16 x =0 y =0 ≤ u, v ≤ IDCT: 7 ( x +1)uπ ( y +1)vπ s xy = ∑∑C (u )C (v ) S uv cos cos u =0 v =0 16 16 ≤ x , y ≤ 7. c( i ) =1, if ≤ i ≤ C (0) = DCT coefficients Y component samples 58 45 29 62 52 42 48 47 49 59 78 49 98 138 116 115 160 143 99 137 127 74 95 82 27 41 44 32 78 97 84 67 24 38 40 28 39 48 42 40 19 30 36 31 24 27 25 25 17 22 31 31 25 24 24 25 20 18 25 31 27 21 20 19 -603 -108 -42 56 -33 -16 203 –93 –20 69 –21 –14 –5 11 10 –6 17 –6 –6 45 –30 –14 –14 –7 49 27 16 17 3 –25 –10 –5 –2 –2 –4 –5 –3 –4 –2 1 –1 1 –9 3 Quantized DCT coefficients Quantization Table -38 -9 -3 -2 -1 0 16 12 14 14 18 24 49 72 18 –8 –2 –1 0 1 0 0 0 –3 –1 0 0 –1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 11 12 13 17 22 35 64 92 10 14 16 22 37 55 78 95 16 24 40 51 61 19 26 58 60 55 24 40 57 69 56 29 51 87 80 62 56 68 109 103 77 64 81 104 113 92 87 103 121 120 101 98 112 100 103 99 Mã hóa biến đổi Luminance quantization Chrominance quantization 5. Dữ liệu video  Biểu diễn video số    Frame: Là ảnh video Frame rate: Là tổng số ảnh hiển thị 1s. Nếu hiển thị 10-15 frame/s có cảm giác chuyển động. Chuẩn TV Mỹ/Nhật: 30 frames/s, châu Âu: 25 frames/s.  Hai đặc trưng liệu video   Có chiều thời gian Dung lượng khổng lồ, ví dụ  Kích thước frame: 640x480 pixels, 16 bít/pixel, tốc độ trình diễn 30 frame/s, chiều dài phút: 640x480x2x30x5x60 = 5.4 Gbytes.  Nén video: Có nhiều thuật toán nén     Lấy mẫu màu Ước lượng bù chuyển động MPEG … Chuẩn nén MPEG  MPEG - Moving Picture Experts Group  Nén sở giảm thiểu thuộc tính  Không gian: Giảm mật độ điểm ảnh   Màu      Ví dụ, chuẩn TV châu Âu 625x417 sau nén 352x288 pixels Mắt người nhạy cảm với thay đổi độ sáng Màu quan trọng (dễ nhận biết ảnh với màu đen/trắng) Mô hình RGB không phù hợp, Sử dụng mô hình YUV hay YCbCr để mã hóa: Ví dụ sử dụng 25% liệu thành phần UV. Thời gian  Ba chuẩn dành cho tốc độ frame:    Phim - 24 FPS, TV Châu Âu - 25 FPS TV Mỹ - 30 FPS. Đối với CD cần đạt 25 FPS MPEG hỗ trợ frame rate thấp cho internet -> Chất lượng hơn.  Tỷ lệ nén MPEG đạt tới 22:1 Nén không gian MPEG  Video trình tự ảnh. Các ảnh nén.  Ví dụ JPEG   Sử dụng lược đồ nén mát thông tin. Đạt tỷ lệ nén từ 10:1 đến 20:1 Không quan tâm đến tham số thời gian.  Gọi nén loại intra-coding (intra = within)  Frame sau nén gọi frame I.  Quy trình nén frame I MPEG tương tự với nén JPEG. Nén MPEG  Các khung hình mã hóa I, B, P MPEG1    I-Frame: Mã hóa độc lập (Intracoded) sở DCT, không phụ thuộc vào frames khác P-Frame: Mã hóa dự báo (Predictive) bù chuyển động từ frame B hay frame I, làm tham chiếu cho dự báo tiếp theo. B-Frame: Là ảnh mã hóa dự báo hai chiều (Bidirectionally) , phụ thuộc vào hai frame P I trước gần P I sau gần nhất. 6. Một vài tính chất chung liệu MM  Các yêu cầu lưu trữ băng thông   Dữ liệu thô: 1GB đĩa cứng chứa 1,5 âm thanh, 36 s video chất lượng TV. Dữ liệu nén: tăng từ 10 đến 100 lần.  Cấu trúc ngữ nghĩa thông tin đa phương tiện  Âm thanh, ảnh video cấu trúc ngữ nghĩa rõ ràng liệu văn bản.  Các yêu cầu trễ Jitter  Âm video media liên tục, phụ thuộc thời gian.  Quan hệ thời gian không gian đối tượng  Đồng media  Tính chủ quan tính mờ liệu đa phương tiện  Khó thiết kế MIRS. 7. Kết luận  MIRS phải quản lý nhiều loại media ứng dụng khác nhau.  Cần thiết kế mô hình liệu để biểu diễn loại media khác nhau.  Cần trích chọn đặc trưng mức trừu tượng khác để phục vụ cho việc mục tìm kiếm.  Nhu cầu nén liệu đa phương tiện.  Nhu cầu đảm bảo chất lượng QoS xử lý, mạng lưu trữ.  UI phải mềm dẻo, thân thiện hỗ trợ nhiều loại media truy vấn khác nhau. Câu hỏi ôn tập  Biểu diễn văn (text) máy tính cách nào?  Giải thích nguyên lý tiến trình mã hóa Huffman.  Hãy tìm Codebook xâu cho trước với số lần xuất ký tự sau: Ký tự b p m j o d a i r u l s e 10 12  Định nghĩa âm mô tả tính chất chủ yếu chúng.  Giả sử ứng dụng âm đòi hỏi chất lượng SNR 54 dB. Cần bít để biểu diễn mẫu (sample) âm cho ứng dụng này? Câu hỏi ôn tập  Giả sử có âm stereo (2 kênh) chất lượng CD với SNR 96 dB. Hãy tính toán tốc độ lấy mẫu (sampling rate), tổng số bits/sample bit rate. Nếu ta cần lưu trữ âm cần dung lượng nhớ?  Giải thích nguyên lý nén ảnh sở miền tần số (áp dụng DCT)  Lượng tử hóa véctơ gì? Tại cần lượng tử hóa.  Tóm tắt tiến trình nén JPEG sở  Nguyên lý nén MPEG-1. Câu hỏi? [...]...3 Dữ liệu âm thanh Amplitute  Tín hiệu âm thanh Time  Tính chất cơ bản của tín hiệu âm thanh   Tần số dao động con người có thể nghe được: 20 -20 000 Hz Biên độ của âm thanh:   Từ ngưỡng nghe: 0.00 028 3 dyne/cm2 của sóng hình sin 1 Khz (0 dB) Đến ngưỡng đau: Biên độ rất lớn do vậy nó được biểu diễn bằng dB để dễ tính toán Nếu ngưỡng nghe được là 0 dB làm tham chiếu thì ngưỡng đau trong khoảng... -0.169 R - 0.3 32 G + 0.500 B + 128 V = 0.713 (R - Y) + 128 = 0.500 R - 0.419 G - 0.0813 B + 128 Mô hình màu YCbCr  YCbCr là chuẩn (dạng số) của JPEG, MPEG…  Y- Luma (Brighness hay Luminance) Y= 0 1 CbCr – Chroma Blue và Chroma Red: Cb,Cr=-0.5 +0.5  Mắt người nhạy cảm hơn với độ chói (Y)  Y = 0 .29 9R + 0.587G + 0.114B Cb = -0.147R - 0 .28 9G + 0.436B Cr = 0.615R - 0.515G - 0.1B R = 1.000Y+1.402Cr G = 1.000Y... 128 Hues, 130 tints và cực đại 30 shades: 128 x 130 x 30 = 3 82 720 màu khác nhau V White Tints (add white) Tones (add B&W) Pure Hue Shades (add black) Black S Mô hình màu YUV  Là mô hình màu dành cho TV tương tự (NTSC, PAL và SECAM)    Y là độ chói (luminance) U và V là các kênh màu (chrominance channels) V biểu diễn R-Y và U biểu diễn B-Y Y = 0 .29 9 R + 0.587 G + 0.114 B U = 0.564 (B - Y) + 128 ... lượng tử hóa, thì tổng số bít b cần biểu diễn một mẫu sẽ là b = log2 Q  Chất lượng tín hiệu số so với tín hiệu tương tự gốc được đo bởi signal-to-noise ratio (SNR), tính bằng dB Với S-cường độ tín hiệu cực đại, N-nhiễu lượng tử hóa thì: SNR = 20 log10 ( S / N )  Nếu bước lượng tử hóa là q, thì N=q và S=2bq Ta có: SNR = 20 b log10 2 ≈ 6b Nếu sử dụng thêm 1 bít để biểu diễn mẫu thì tỷ lệ SNR tăng 6... thấy nhiễu  Ngưỡng đau trong khoảng 100- 120 dB, do vậy SNR phải ~100 dB để không thể nghe thấy nhiễu lượng tử hóa  Với CD-audio: để có SNR= (100- 120 ) dB thì cần 17 bít/mẫu (6 dB x 17 = 1 02 dB ) Thực tế sử dụng 16 bit và SNR=96 dB Application Sampling rate (kHz) Bits per sample SNR (dB) CD-audio 44,100 16 96 DAT (Digital Audio Tape) 48,000 16 96 Digital telephone 8,000 8 48 3 .2 Nén âm thanh  Các... Nếu ngưỡng nghe được là 0 dB làm tham chiếu thì ngưỡng đau trong khoảng 100- 120 dB Dữ liệu âm thanh  Tiến trình âm thanh số:  Điều chế xung mã (Pulse Code Modulation - PCM)  Các bước biểu diễn âm thanh số     Lọc: Để loại bỏ những tần số không mong muốn (giữ lại tiếng nói từ 50 Hz đến 10 KHz, âm nhạc từ 20 Hz đến 20 kHz) Lấy mẫu: Chuyển đổi thời gian liên tục thành giá trị rời rạc Lượng tử... định lý Nyquist:   Nếu tín hiệu tương tự chứa thành phần tần số đến f Hz thì tốc độ lấy mẫu phải ít nhất là 2f Hz Thực tế tần số lấy mẫu lớn hơn 2f Hz một chút  Với tần số nghe được 20 kHz, tiếng nói 3.1 kHz thì: Application CD-audio DAT (Digital Audio Tape) Digital telephone No of channels 2 2 1 Sampling rate 44,100 kHz 48,000 kHz 8,000 kHz Bits per sample 16 16 8 Xác định tổng số mức lượng tử hóa... Cr  Khuôn mẫu 4 :2: 2  Mỗi pixel có 1 mẫu Y, mỗi 2 pixel có 1 mẫu Cb và 1 mẫu Cr Khái niệm mã hóa biến đổi  Ý tưởng Biên độ  Miền quan sát – Miền tần số! 1/3 1/7 1/5 Tần số Biến đổi Fourier chỉ ra cường độ và pha của mỗi thành phần sóng hình sin Biến đổi Fourier 1 F (u ) = N N −1 ∑ f ( x )e − 2 ixu / N x =0 Discrete Fourier Transform (DFT)/IDFT: 1 F (u ) = N N −1 ∑ f ( x )e x =0 − 2 ixu / N N −1 f... x: Biên độ tín hiệu vào gốc y: Biên độ tín hiệu sau biến đổi A và µ là các hằng số µ-law (CCITT):   Với chuẩn điện thoại: µ = 25 5 A-law (Châu Âu):  ln(1 + µx) y= ln(1 + µ ) Với chuẩn điện thoại: A=87.6 y= Ax 1 ,0≤ x ≤ 1 + ln A A y= 1 + ln( Ax) 1 , ≤ x ≤1 1 + ln A A 4 Dữ liệu hình ảnh  Ảnh (Image)?  Là chân dung hay biểu diễn một người, động vật hay vật thể đuwọc chụp, vẽ, chạm trổ hay cách nào... độ tinh khiết và cường độ/độ chói Ánh sáng hấp thụ bởi tế bào hình nón  Tính chất ánh sáng Bước sóng (nm) 4 .2 Mô hình màu  Mô hình màu?   Là mô hình toán học trừu tượng mô tả cách biểu diễn màu mà con người có thể nhận biết bởi bộ các chữ số (3 hay 4 giá trị) hay bởi các thành phần màu Là phương pháp định nghĩa màu  Thí dụ     Mô hình RGB Mô hình HSV Mô hình YUV, YCbCr Mô hình CMYK,  Nhận . DỮ LIỆU ĐA PHƯƠNG TIỆN Bài 2 PGS.TS. Đặng Văn Đức dvduc@ioit.ac.vn Hà Nội - 20 05/14 Bài 2: Dữ liệu đa phương tiện Nội dung  Các loại dữ liệu đa phương tiện  Dữ liệu văn bản  Dữ liệu âm. thanh  Dữ liệu hình ảnh  Dữ liệu video  Một vài tính chất chung của dữ liệu đa phương tiện  Kết luận dvduc -20 05/1 42/ 48 Bài 2: Dữ liệu đa phương tiện 1. Nhắc lại các loại dữ liệu đa phương tiện dvduc -20 05/14 image Once. pNode. Cho đến khi xử lý toàn bộ các bit trong dòng dữ liệu nén. Bài 2: Dữ liệu đa phương tiệndvduc -20 05/148/48 Bài 2: Dữ liệu đa phương tiện  Run – Length (RLE)  Ví dụ:  Dãy văn bản “eeeeeeetnnnnnnnn”