Một số chuẩn nén MPEG-1, MPEG-2, MPEG-4, MPEG-7

Giới thiệu khái quát về các chuẩn nén MPEG-1, MPEG-2, MPEG-4, MPEG-7. Trong đó giới thiệu chi tiết cấu trúc và ứng dụng của MPEG-7.

i MỤC LỤC Contents DANH SÁCH CÁC CHỮ VIẾT TẮT .ii DANH SÁCH CÁC HÌNH iii DANH SÁCH CÁC BẢNG BIỂU iii MỞ ĐẦU 1 Lý chọn chuyên đề .1 Mục đích, đối tượng, phạm vi, phương pháp nghiên cứu chuyên đề Ý nghĩa lý luận Ý nghĩa thực tiễn chuyên đề .1 Giới thiệu nội dung chuyên đề Chương KHÁI QUÁT VỀ NÉN TÍN HIỆU VIDEO VÀ CHUẨN NÉN MPEG 1.1 Khái niệm nén tín hiệu video 1.2 Chuẩn nén MPEG Chương MỘT SỐ CHUẨN NÉN MPEG TRƯỚC MPEG-7 .9 2.1 Chuẩn nén MPEG-1 .9 2.2 Chuẩn nén MPEG-2 12 2.3 Chuẩn nén MPEG-4 .15 Chương CHUẨN NÉN VIDEO MPEG-7 20 3.1 Khái niệm MPEG-7 20 3.2 Lĩnh vực ứng dụng 21 3.3 Thành phần MPEG-7 22 3.4 Các chức MPEG-7 22 3.4.1 MPEG-7 (MDS) 23 3.4.2 MPEG-7 System .29 3.4.3 MPEG-7 DDL lược đồ XML .29 3.4.4 MPEG-7 Audio 30 3.4.5 MPEG-7 Visual 32 PHẦN KẾT LUẬN 34 TÀI LIỆU THAM KHẢO 35 ii DANH SÁCH CÁC CHỮ VIẾT TẮT VIẾT TẮTT TẮTT CABAC Context-based Apdaptive Binary Arithmetic Coding CAVLC .Context-based Apdaptive Variable Length Codinh DCT Discrete Cosine Transform DVB DVB – Terrestrial DVB-C .DVB – Cable DVB-S DVB – Satellite DVB-T Digital Video Broadcasting ES .Elementary Stream FMO Flexible Macro-Block Ordery GOP Group of Picture IEC .International Electrotechnical Commission (Part of the ISO) ISO International Standard Organization ITU Inernational Telecommunication Union MB Macro-Block MPEG Moving Picture Expert Group NTSC National Television System Committee PAL Phase Alternative Line RLC Run Length Coding RVLC Reversible Variable Length Codes SAD Summation of Absolute Difference SI Switching Intra Picture SIF Source Intermediate Format SP .Switching Prediction Picture VLC Variable Length Coding VO .Video Object iii DANH SÁCH CÁC HÌNH Hình 1: Cấu trúc dịng Bít MPEG Video Hình 2: Cấu trúc ảnh MPEG Hình 3: Nén MPEG Hình 4: Giải nén MPEG Hình 5: Quá trình biến đổi sang định dạng SIF kích thước mảng điểm ảnh Hình 6: Tính tốn giá trị cho điểm ảnh lọc thập phân Hình 7: Chuẩn nén MPEG-2 Hình 8: Giải mã phân cấp theo SNR Hình 9: Giải mã phân cấp theo khơng gian Hình 10: Sự tổ hợp khung hình MPEG-4 Hình 11: Cấu trúc mã hoá giải mã Video MPEG-4 Hình 12: Profile Level MPEG-4 Hình 13: Phạm vi MPEG-7 Hình 14: Truyền hình trực tuyến mạng Hình 15: Cấu trúc mã hố Video H264 Hình 16: Các phần mã hố riêng Profile H264 Hình 17: Sơ đồ mã hố Video H264/MPEG Part 10 Hình 18: Các mode MPEG-4 Hình 19: Phân chia Macro-Block cho bù chuyển động Hình 20: Bù chuyển động nhiều Frame Hình 21: Ảnh nội suy B (dự đốn hai chiều) Hình 22: chuyển đổi sử dụng ảnh SP Hình 23: Sơ đồ khối CABAC Hình 24: Sơ đồ giải mã Video H264/MPEG -4 Part 10 Hình 25: Ví dụ Mã hố chiều dài biến đổi ngược DANH SÁCH CÁC BẢNG BIỂUNG BIỂUU Bảng 1: Tính chất định dạng ảnh SIF Bảng 2: Tham số theo tiêu chuẩn MPEG -1 Bảng 3:Bảng thơng số Profiles Levels tín hiệu chuẩn MPEG-2 MỞ ĐẦU Lý chọn chuyên đề Trong thị giác máy tính, liệu đầu vào toàn hệ thống liệu video, thu nhận từ camra quan sát Việc nghiên cứu đầy đủ cấu trúc liệu, chuẩn, lưu trữ truy nhập vào tập liệu quan trọng toàn hệ thống thị giác máy tính Chuẩn nén MPEG chuẩn mà thiết bị thu nhận liệu video thường sử dụng, lưu trữ truyền hệ thống Với tính chất đó, việc chọn chun đề tiến sĩ “Tổng quan chuẩn nén MPEG-7” phù hợp cần thiết đề tài nghiên cứu tiến sĩ “Nghiên cứu thuật tốn phân tích liệu multimedia giải tốn xác định mật độ phương tiện giao thơng” Mục đích, đối tượng, phạm vi, phương pháp nghiên cứu chun đề - Mục đích: Tổng hợp thơng số kỹ thuật, phương pháp nén giải nén, cấu trúc số chuẩn nén MPEG, ứng dụng nén video sử dụng, đặc biệt chuẩn nén MPEG7 - Đối tượng: Các chuẩn nén video - Phạm vi: + Khái quát chuẩn nén MPEG-1, MPEG2, MPEG-4 + Giới thiệu chi tiết chuẩn nén MPEG-7 + Các thuật toán nén giải nén - Phương pháp nghiên cứu: + Phân tích, nghiên cứu tài liệu Ý nghĩa lý luận Qua kết chuyên đề, bổ sung củng cố hệ thống lý thuyết, quy trình, thuật tốn liệu đầu vào hệ thống ứng dụng cơng nghệ thị giác máy tính Ý nghĩa thực tiễn chuyên đề - Làm rõ hệ thống phát triển chuẩn nén họ MPEG - Trên sở thực nghiệm kiểm nghiệm liệu thu nhận từ camera quan sát cấu trúc nào, từ đọc thông tin lưu trữ vào nhớ, xử lý tính tốn cần thiết q trình xử lý, phân tích nhận dạng video Giới thiệu nội dung chuyên đề Nội dung chuyên đề kết cấu thành chương: Chương 1: Lý phải nén tín hiệu Video nén MPEG (Moving Picture Expert Group) nhiệm vụ xây dựng tiêu chuẩn cho tín hiệu Audio Video số Trong việc nén video, MPEG đạt tỷ số nén tốt so với chuẩn nén trước JPEG, M-JPEG, DV… Chương 2: Giới thiệu khái quát chuẩn nén mà nhóm MPEG xây dựng để nén video lưu trữ Trong đó, MPEG-1 với mục đích mã hố Video âm kèm theo môi trường lưu trữ đĩa CD-ROM, đĩa quang với tốc độ bít 1.5 Mbit/s; MPEG-2 có kế thừa tiêu chuẩn MPEG-1 mục đích nhằm hỗ trợ việc truyền Video số tốc độ bít khoảng 4–30 Mbít/s; sau truyền hình Internet đời chuẩn nén tương ứng MPEG-4 với nhiệm vụ nhằm phát triển chuẩn xử lý, mã hoá hiển thị ảnh động, audio tổ hợp chúng Còn MPEG-7 chuẩn dùng để mô tả nội dung Multimedia, chuẩn dùng để nén mã hoá audio hay ảnh động chuẩn trước Chương 3: Trình bày chi tiết chuẩn nén MPEG-7: khái niệm, lĩnh vực ứng dụng, cấu trúc thành phần Phần cuối phần kết luận, phần tổng kết lại làm chuyên đề Đồng thời nêu vài nhận định hướng phát triển Chương KHÁI QUÁT VỀ NÉN TÍN HIỆU VIDEO VÀ CHUẨN NÉN MPEG 1.1 Khái niệm nén tín hiệu video Nén video q trình lượng số liệu (data) biểu diễn lượng thông tin ảnh nhiều ảnh giảm bớt cách loại bỏ số liệu dư thừa tín hiệu Video Các chuỗi ảnh video thực có nhiều phần ảnh giống nhau, có chứa nhiều liệu dư thừa, ta bỏ qua mà không làm thông tin ảnh Bỏ qua cách xố dịng, xố mành, vùng ảnh tĩnh chuyển động chậm, vùng ảnh giống nhau, mà phần tử liên tiếp giống khác Thường chuyển động ảnh video dự báo, cần truyền thông tin chuyển động Các phần tử lân cận ảnh thường giống nhau, nên cần truyền thông tin biến đổi Các hệ thống nén sử dụng đặc tính tín hiệu video đặc trưng mắt người nhạy với sai số hình ảnh có nhiều chi tiết, phần tử chuyển động Quá trình sau nén ảnh dãn (giải nén) ảnh để tạo lại ảnh gốc xấp xỉ ảnh gốc Đối với tín hiệu video số, số lượng bit sử dụng để truyền tải thông tin miền tần số khác nhau, có nghĩa là: miền tần số thấp, nơi chứa đựng nhiều thông tin, sử dụng số lượng bít lớn miền tần số cao, nơi chứa đựng thơng tin, sử dụng số lượng bít Tổng số bít cần thiết để truyền tải thơng tin hình ảnh giảm cách đáng kể dòng liệu “nén ” mà chất lượng hình ảnh đảm bảo Thực chất kỹ thuật “nén video số” loại bỏ thông tin dư thừa Các thông tin dư thừa nén video số thường là: + Độ dư thừa không gian pixel; + Độ dư thừa thời gian ảnh liên tiếp nhau; + Độ dư thừa thành phần màu biểu diễn pixel có độ tương quan cao; + Độ dư thừa thống kê kí hiệu xuất dịng bít với xác suất xuất khơng nhau; + Độ dư thừa tâm lý thị giác (các thơng tin nằm ngồi khả cảm nhận mắt)… Như vậy, mục đích nén tín hiệu video là: - Giảm tốc độ dịng bít tín hiệu gốc xuống giá trị định đủ để tái tạo ảnh giải nén; - Giảm dung lượng liệu lưu trữ giảm băng thơng cần thiết; - Tiết kiệm chi phí lưu trữ truyền dẫn liệu trì chất lượng ảnh mức chấp nhận Với nguyên nhân mục đích việc nén tín hiệu trình bày trên, ngày có nhiều chuẩn nén đời như: JPEG, M-JPEG, MPEG, DV… Trong chuẩn nén MPEG sử dụng nhiều nén video truyền hình với thành cơng chuẩn nén video MPEG-2 truyền hình số chuẩn nén MPEG-4 truyền hình mạng Internet 1.2 Chuẩn nén MPEG 1.2.1 Khái quát nén MPEG - MPEG (Moving Picture Expert Group) nhóm chuyên gia hình ảnh, thành lập từ tháng năm 1988 với nhiệm vụ xây dựng tiêu chuẩn cho tín hiệu Audio Video số Ngày nay, MPEG trở thành kỹ thuật nén Audio Video phổ biến khơng tiêu chuẩn riêng biệt mà tuỳ thuộc vào yêu cầu cụ thể thiết bị có tiêu chuẩn thích hợp nguyên lý thống - Tiêu chuẩn nhóm MPEG đưa MPEG-1, mục tiêu MPEG-1 mã hố tín hiệu Audio-Video với tốc độ khoảng 1.5Mb/s lưu trữ đĩa CD với chất lượng tương đương VHS - Tiêu chuẩn thứ 2: MPEG-2 đời vào năm 1990, khơng MPEG-1 nhằm lưu trữ hình ảnh động vào đĩa với dung lượng bit thấp MPEG-2 với “công cụ ” mã hoá khác phát triển Các cơng cụ gọi “Profiles” tiêu chuẩn hố sử dụng để phục vụ nhiều mục đích khác - Tiêu chuẩn mà MPEG đưa MPEG-4 MPEG-4 xuất vào tháng 10 năm 1998, tạo phương thức thiết lập tương tác với truyền thơng nghe nhìn mạng Internet, tạo phương thức sản xuất, cung cấp tiêu thụ nội dung video sơ nội dung hướng đối tượng - MPEG-7: chuẩn dùng để mô tả nội dung Multimedia, chuẩn cho nén mã hoá audio/ảnh động MPEG-1, MPEG-2 hay MPEG-4 MPEG-7 sử dụng ngôn ngữ đánh dấu mở rộng XML (Extansible Markup Language) để lưu trữ siêu liệu Metadata, đính kèm timecode để gắn thẻ cho kiện, hay đồng liệu MPEG-7 bao gồm chuẩn sau: + Bộ sơ đồ đặc tả (Description Schemes) đặc tả (Description) + Ngôn ngữ xác định DDL (Description Definition Language) để định nghĩa sơ đồ đặc tả + Sơ đồ mã hoá trình đặc tả Việc kết hợp MPEG-4 MPEG-7 tạo giải pháp lý tưởng cho dịch vụ Streaming Media, hệ thống lưu trữ sản xuất Streaming Media thời gian tới 1.2.2 Cấu trúc dịng bit MPEG video Hình 1.Cấu trúc dịng Bít MPEG Video Trong đó: - Sequence: Thơng tin chuỗi bit + Video Params: thông tin chiều cao, bề rộng, tỷ lệ khn hình phần tử ảnh + Bitstream Params: Thông tin tốc độ bit thơng số khác + QTs: có loại QTs: Nén ảnh (ảnh I – I Frame) ; Nén liên ảnh (ảnh P – P Frame) Đoạn video thông tin đầu đoạn tạo thành dịng bít mã hố gọi dịng sở (Elementary Stream) - GOP (Group Of Picture): Thơng tin nhóm ảnh Là tổ hợp nhiều khung I, P, B Cấu trúc nhóm ảnh gồm tham số là: m n (tham số m xác định số khung hình B P xuất khung hình I gần nhất, tham số n xác định số khung B xuất khung P) Mỗi nhóm ảnh bắt đầu khung I xác định điểm bắt đầu để tìm kiếm biên tập + Time code: mã định thời, xác định giờ, phút, giây, ảnh + GOP Params: miêu tả cấu trúc GOP - Pict: thông tin + Type: Cho phép giải mã xác định ảnh đựơc mã hoá ảnh I, P ảnh hay B + Buffer Params: thông tin Buffer(chỉ thứ tự truyền khung để giải mã xếp loại ảnh theo thứ tự đúng) + Encode Params: chứa thông tin đồng bộ, độ phân giải phạm vi vector chuyển động - Slice: Mảng bao gồm vài cấu trúc khối kề Kích thước lớn mảng bao gồm tồn ảnh kích thước + Vert PoS: Slice dịng + Qscale: Thơng tin bảng lượng tử Kích thước thơng tin đầu mảng xác định số lỗi cho phép xuất mảng ứng dụng định, giải mã bỏ qua mảng có nhiều lỗi xác định tính hiệu phương pháp nén ảnh Do hệ số cân lượng tử điều chỉnh nhỏ mảng thường xuyên với việc sử dụng mảng có kích thước nhỏ cấu trúc khối Hệ số DCT tham chiếu dùng mã hóa DPCM so chuẩn mảng - MB (Macroblock) Một cấu trúc khối nhóm khối tương ứng với lượng thông tin chứa đựng kích thước 16x16 điểm ảnh + Addr Iner: Số lượng MB bỏ qua + Type: Loại vector chuyển động dung cho Macroblock + Qscale: Bảng lượng tử dùng cho Macroblock - CBP (Coded Block Pattern): rõ Block mã hoá 1.2.3 Các loại ảnh chuẩn MPEG: Trong nén MPEG người ta sử dụng loại ảnh sau: • Ảnh I (Intra Pictures): mã hóa mà khơng có so sánh tham khảo ảnh khác, dùng nén ảnh Chúng chứa tất thông tin cần thiết để tái tạo lại ảnh sau giải mã, nên tỷ lệ nén ảnh I tương đối thấp Vì vậy, ảnh I điểm nút quan trọng phục vụ việc truy cập vào đoạn Video • Ảnh P (Predicted Pictures): mã hố từ ảnh I, ảnh P trước đó, nhờ sử dụng thuật toán dự đoán bù chuyển động Các ảnh P sử dụng sở liệu cho việc dự đoán ảnh Tuy nhiên hạn chế kỹ thuật bù chuyển động, số ảnh P hai ảnh I lớn Tỷ lệ nén ảnh P tương đối lớn so với tỷ lệ nén ảnh I • Ảnh B (Bidirectionally Predicted Pictures): mã hoá phép nội suy ảnh I P trước sau Vì khơng sử dụng để mã hố ảnh tiếp theo, ảnh B khơng phải nguồn gốc sinh lỗi ảnh trình mã hoá Các ảnh B cho tỷ lệ nén cao M = Khoảng cách hai ảnh so sánh Hình Cấu trúc ảnh MPEG 1.2.4 Nguyên lý nén MPEG Hình 3: Nén MPEG * Cơ sở công nghệ nén video MPEG kết hợp nén ảnh ( Intra -Frame Compression) công nghệ nén liên ảnh (Inter-Frame Compression) - Nén ảnh (Intra-Frame Compression): Là loại nén nhằm giảm bớt thông tin dư thừa miền không gian Nén ảnh sử dụng hai q trình có tổn hao khơng có tổn hao để giảm bớt liệu ảnh Quá trình khơng sử dụng thơng tin ảnh trước sau ảnh xét - Nén liên ảnh (Intra-Frame Compression): Trong tín hiệu video có chứa thơng tin dư thừa miền thời gian Nghĩa với chuỗi liên tục ảnh, lượng thông tin chứa đựng ảnh thay đổi từ ảnh sang ảnh khác Tính tốn dịch chuyển vị trí nội dung ảnh phần quan trọng kỹ thuật nén liên ảnh Trong thuật nén MPEG, trình xác định Vector chuyển động thực cách chia hình ảnh thành MacroBlock, Macro-Block có 16 x 16 phần tử ảnh (tương đương với Block, Block có x phần tử ảnh) Để xác định chiều chuyển động, người ta tìm kiếm vị trí Macro-Block ảnh tiếp theo, kết tìm kiếm cho ta Vector chuyển động Macro-Block * Nguyên lý nén MPEG: Dạng thức đầu vào Rec-601 4:2:2 4:2:0 Ảnh so sánh với ảnh trước tạo ảnh khác biệt Ảnh sau lại nén ảnh qua bước: biến đổi DCT, lượng tử hóa, mã hoá Dữ liệu ảnh khác biệt vector chuyển động (được xác định trên) mang thông tin ảnh sau nén liên ảnh đưa đến đệm đầu Tốc độ bít tín hiệu video nén không cố định, phụ thuộc vào nội dung ảnh xét (ví dụ phần nén nhiều hơn), đầu mã hố dịng bít phải cố định để xác định tốc độ cho dung lượng kênh truyền ... nhớ để sử dụng chuẩn giải mã ảnh 9 Chương ng MỘT SỐ CHUẨN NÉN MPEG TRƯỚC MPEG-7T SỐ CHUẨN NÉN MPEG TRƯỚC MPEG-7 CHUẨN NÉN MPEG TRƯỚC MPEG-7N NÉN MPEG TRƯỚC MPEG-7C MPEG-7 2.1 Chuẩn nén MPEG-1 2.1.1... thơng số kỹ thuật, phương pháp nén giải nén, cấu trúc số chuẩn nén MPEG, ứng dụng nén video sử dụng, đặc biệt chuẩn nén MPEG7 - Đối tượng: Các chuẩn nén video - Phạm vi: + Khái quát chuẩn nén MPEG-1,. .. 1.85Mb/s cho nén tham số 100Mb/s cho dòng đầy đủ tham số 2.2 Chuẩn nén MPEG-2 2.2.1 Giới thiệu MPEG-2 Chuẩn nén MPEG-2 chuẩn nén phát triển tiếp sau MPEG-1, có kế thừa tất tiêu chuẩn MPEG-1 mục