Nén video theo chuẩn MPEG Công nghệ đa phương tiện

Nén video theo chuẩn MPEG Công nghệ đa phương tiện. Tiêu chuẩn MPEG1, Định dạng âm thanh, phim ảnh của nhóm chuyên gia ảnh động. Môn Công nghệ đa phương tiện của trường Đại học Công nghiệp Hà Nội. Môn Công nghệ đa phương tiện của trường Đại học Công nghiệp Hà Nội.

A.Nén video theo chuẩn MPEG 1)  Khái quát nén MPEG MPEG (Moving Picture Expert Group) nhóm chuyên gia hình ảnh, thành lập từ tháng năm 1988 nhằm chuẩn hóa cho nén tín hiệu âm video Nén tín hiệu video theo chuẩn MPEG phương pháp nén ảnh động làm giảm dư thừa khơng gian (như JPEG) mà giảm dư thừa thời gian khung ảnh, khác biệt so với IPEG  MPEG không đơn giản công cụ nén đơn lẻ mà ưu điểm nén ảnh MPEG chỗ MPEG có tập hợp cơng cụ mã hóa chuẩn, chúng kết hợp với cách linh động để phục vụ cho loạt ứng dụng khác  Nén MPEG kết hợp hài hòa bốn kĩ thuật đơn giản: + Tiền xử lý (Preprocesing): lọc thông tin không cần thiết từ tín hiệu video thơng tin khó mã hóa không quan trọng cho cảm thụ mắt người + Đoán trước chuyển động frame mã hóa (Temporal prediction): dựa nguyên tắc ảnh chuỗi video dường có liên quan mật thiết với theo thời gian: Mỗi frame thời điểm định có nhiều khả giống frame đứng phía trước sau Các mã hóa quét phần nhỏ frame phát thay đổi khối frame khối mã hóa tiên đốn tới phía thu Nhờ mà loại bỏ dư thừa thời gian + Bù chuyển động giải mã (motion compensation): phía thu có lưu trữ sẵn thông tin mà không thay đổi frame tới frame khác nhớ đệm chúng dùng để điền thêm cách đặn vào vị trí trống ảnh khơi phục Đây công cụ mạnh để làm giảm dư thừa không gian ảnh + Mã lượng tử hóa (quatisation coding) 2) Cấu trúc dòng bít - Cấu trúc dòng MPEG gồm lớp:  Lớp khối (block) : gồm khối 8x8 điểm ảnh tín hiệu chói tín hiệu màu dùng cho phương pháp nén DCT  Lớp macroblock: lớp tổ hợp cấu trúc khối nhóm khối tương ứng với lượng thơng tin chứa đựng kích thước 16x16 điểm ảnh Cấu trúc khối xác định lượng thơng tin chứa thay đổi tùy theo cấu trúc mẫu sử dụng Thông tin cấu trúc khối mang dạng vector bù chuyển động  Lớp cắt lát dòng bít (slice): Mảng bao gồm cấu trúc khối kề Kích thước lớn mảng bao gồm tồn ảnh kích thước nhỏ mảng cấu trúc khối Thông tin chứa đựng vị trí mảng tồn bơj ảnh, hệ số cân lượng tử  Lớp ảnh (picture): cho phép giải mã xác định loại ảnh mã hóa Thơng tin đầu dùng để thứ tự truyền khung (để mã hóa xếp ảnh lại theo thứ tự đúng) thông tin đồng bọ, độ phân giải phạm vi vector chuyển động Trong nén MPEG người ta sử dụng loại ảnh sau: Ảnh I (Intra Pictures): mã hóa độc lập mà khơng ccàn tham khảo ảnh khác Hiệu  nén tín hiệu đạt loại bỏ dư thừa khơng gian mà khơng có yếu tố thời gian tham gia vào trình Ảnh I dùng cách tuần hồn để tạo thành điểm tựa cho dòng liệu trình giải mã Ảnh P (Predicted Pictures): mã hoá từ ảnh I ảnh P trước để bù chuyển động  dùng để tham khảo cho việc tiên đốn ảnh Mỗi khối ảnh ảnh P mã hóa theo kiểu tiên đốn mã hóa cách độc lập Do sử dụng nén không gian thời gian nen hiệu nén ảnh P cao đáng kể so với ảnh I Ảnh B (Bidirectionally Predictive Pictures) sử dụng ảnh I P phía trướ  phía sau để bù chuyển động cho tỷ lệ nén cao Mỗi khối ảnh B tiên đaons theo chiều ngược, xuôi, hai hướng mã hóa độc lập nhiên để tiên đaons ngược từ ảnh phía sau mã hóa phải ắp xếp lại ảnh Do tạo độ trễ phảo xếp lại thông tin, độ trễ lớn hay nhỏ phụ thuộc vào số ảnh B liên tiếp truyền  Lớp nhóm ảnh (GOP): ảnh I, P, B thường xuất theo thứ tự lặp lặp lại cách tuần hồn Vì xuất nhóm ảnh GOP Chất lượng ảnh không phụ thuộc vào tỷ lệ nén khn hình mà phụ thuộc vào độ dài nhóm ảnh GOP Chúng đơn vị mang thông tin độc lập MPEG bắt buộc phải bắt đầu ảnh I Tiếp sau loạt ảnh P B Cấu trúc GOP mô tả bửoi tham số: N(số ảnh GOP) M(khoảng cách ảnh P)  Lớp dãy ảnh (sequence): đoạn video bao gồm thơng tin đầu, số nhóm ảnh thông tin kết đoạn - Mỗi lớp hỗ trợ chức định: chức xử lý ín hiệu (DCT bù chuyển động) Hai chức logic (tái đồng bộ, điẻm truy xuất ngẫu nhiên) 4:2:2 Y Khối điểm ảnh 8x8 (block) Cr Cb Macroblock Mảng (slice) Khung (frame) Nhóm ảnh (Group Of Piture) Hình 1: Cấu trúc dòng bít MPEG Thơng tin đầu đoạn thơng tin kết đoạn dòng sở Đoạn video thứ n-1 Thông tin đầu Đoạn video thứ n Đoạn video thứ n+1 nhóm ảnh GOP#p GOP#p+1 GOP#p+2 GOP#p+3 GOP#p+4 Khung B Khung P Khung B Khung I Thông tin đầu khung ảnh Khung I Thông tin đầu mảng MB MB MB MB MB MB MB MB MB MB MB MB MB Thuộc tính MB Vector chuyển động Y Y Y Y Cr Cb MB = Macroblock Hệ số DCT EOB Khối 8x8 điểm chói Hình 2: Kiến trúc dòng liệu MPEG M = Khoảng cách hai điểm so sánh I B B P B B I ảnh chuẩn Dự đoán hai chiều Nhóm ảnh (GOP) N= KHOẢNG CÁCH GIỮA HAI ẢNH I Hình 3: Cấu trúc ảnh MPEG - Quá trình tạo dòng bít MPEG ghép kênh: kết hợp dòng liệu vào, dòng liệu ra, điều chỉnh đồng quản lý đệm Cú pháp dòng MPEG bao gồm: lớp dòng bit (stream), lớp gói (back) lớp gói tin (backet) 3) Nguyên lý nén MPEG Điều khiển tốc độ bít Bảng lượng tử Video 4: 2: 4:2:0 + + DCT Σ Lượng tử hoá Mã hoá Entropy Trộn Khuếch đại đệm Giải lượng tử hoá + + Biến đổi DCT ngược Σ Ảnh so sánh Ảnh dự đoán Xác định vector chuyển động Véc tơ chuyển động Điều khiển nhóm ảnh (Group of Picture - GOP) Hình 4: Bộ mã hóa MPEG tiêu biểu * Cơ sở công nghệ nén video MPEG kết hợp nén ảnh (Intra -Frame Compression) công nghệ nén liên ảnh ( Inter-Frame Compression) Trong đó: - Nén ảnh (Intra -Frame Compression): loại nén nhằm giảm bớt thông tin dư thừa miền không gian Nén ảnh sử dụng hai trình có tổn hao khơng có tổn hao để giảm bớt liệu ảnh Q trình khơng sử dụng thông tin ảnh trước sau ảnh xét - Nén liên ảnh (Intra -Frame Compression): Trong tín hiệu video có chứa thơng tin dư thừa miền thời gian Nghĩa với chuỗi liên tục ảnh, lượng thông tin chứa đựng ảnh thay đổi từ ảnh sang ảnh khác Tính tốn dịch chuyển vị trí nội dung ảnh phần quan trọng kỹ thuật nén liên ảnh Trong thuật nén MPEG, trình xác định Vector chuyển động thực cách chia hình ảnh thành Macro-Block, Macro-Block có 16 x 16 phần tử ảnh (tương đương với Block, Block có x phần tử ảnh) Để xác định chiều chuyển động, người ta tìm kiếm vị trí Macro-Block ảnh tiếp theo, kết tìm kiếm cho ta Vector chuyển động Macro-Block * Nguyên lý nén MPEG :  Tín hiệu đầu vào có dạng 4:2:2 4:2:0 nén liên ảnh nhằm tạo ảnh khác biệt đầu cộng Ảnh khác biệt sau lại nén ảnh qua bước : biến đổi DCT, lượng tử hóa, mã hố Cuối trộn với vector chuyển động đưa đến khuếch đại đệm thu ảnh nén  Tốc độ bít tín hiệu video nén khơng cố định, phụ thuộc vào nội dung ảnh xét (ví dụ phần nén nhiều hơn), đầu mã hố dòng bít phải cố định để xác định tốc độ cho dung lượng kênh truyền Do đầu mã hóa phải có nhớ đệm đủ lớn Bộ mã hóa phải kiểm tra trạng thái đầy nhớ đệm Khi số liệu nhớ đệm gần dung lượng cực đại hệ số biến đổi DCT ngược lượng tử hóa xá Vì nhớ đệm chứa số liệu việc lượng tử hóa hệ số tăng lên 4) Vào Nguyên lý giải nén MPEG VLD Giải lượng tử hoá Bộ mã hóa ước đốn IDCT ∑ Tái lập trật tự khung ảnh Hệ số DCT Các vecto chuyển động Ước đoán chuyển động Hình 5: Bộ giải mã MPEG tiêu biểu *Nguyên lý giải nén MPEG : Lưu trữ khung ảnh tham khảo Ra  Chuỗi tín hiệu vào giải mã Entropy VLD, sau tách liệu ảnh (hệ số biến đổi DCT) khỏi vector chuyển động Số liệu ảnh giải lượng tử hoá biến đổi DCT ngược  Nếu ảnh ảnh loại I bắt đầu nhóm ảnh chuỗi, đầu nhận ảnh hoàn chỉnh cách ( ảnh loại I nén ảnh, khơng có bù chuyển động, khơng dùng liệu ảnh khác) Nó lưu trữ nhớ ảnh và dùng để giải mã ảnh  Nếu ảnh ảnh loại P thực giải lượng tử hóa biến đổi DCT ngược kết hợp với việc sử dụng vector chuyển động lưu vào nhớ ảnh Trên sở xác định dự đốn ảnh xét Ta nhận đựơc ảnh sau cộng dự đoán ảnh (ảnh dự đoán) kết biến đổi DCT ngược Ảnh lưu vào nhớ để sử dụng chuẩn giải mã ảnh B CÁC CHUẨN NÉN MPEG 1) MPEG-1 - Tiêu chuẩn The Moving Picture Experts Group Phase (MPEG-1) – Định dạng âm thanh, phim ảnh nhóm chuyên gia ảnh động tiêu chuẩn cho định dạng âm thanh, phim ảnh tổ chức ISO/IEC - International Organization for Standardization/International Electrotechnical Commission (Tổ chức tiêu chuẩn hóa quốc tế/Ủy ban kỹ thuật Điện quốc tế) phát triển nhằm hỗ trợ thiết bị trình chiếu âm thanh, phim ảnh - Tiêu chuẩn MPEG-1 (hay gọi ISO/IEC 11172 – Mã hóa ảnh động âm kết hợp cho phương tiện lưu trữ thông tin số 1,5Mbit/s) bao gồm 05 phần: - ISO/IEC công bố 03 phần lần đầu vào tháng 08/1993 gồm : + ISO/IEC-11172-1 :Hệ thống (lưu trữ đồng âm thanh, phim ảnh liệu khác) + ISO/IEC-11172-2: Phim ảnh (chứa nội dung phim ảnh nén) + ISO/IEC-11172-3 :Âm (chứa nội dụng âm nén) - Phần MPEG-1 ISO/IEC-11172-4 : thử khả tương thích (kiểm tra việc triển khai tiêu chuẩn) công bố lần đầu vào tháng 03/1995 - Phần MPEG-1 ISO/IEC-11172-5 Mô phần mềm (phần mềm mẫu thực việc mã hóa giải mã nào) công bố lần đầu vào tháng 11/1998 Nội dung phần trình bày tóm tắt sau: + Phần Hệ thống quy định phương thức sử dụng, lưu trữ âm thanh, phim ảnh mã hóa liệu khác, đồng thời trì tính đồng nội dung khác nhau.Định dạng tệp tin MPEG thiết kế để đáp ứng việc lưu trữ phương tiện (on media), truyền tải kênh liệu cách tin cậy; + Phần Phim ảnh phương pháp nén liệu video để làm giảm tốc độ truyền tải liệu luồng thông tin video truyền tải qua mạng; + Phần Âm phương pháp nén liệu âm để làm giảm tốc độ truyền tải liệu âm thành luồng thông tin âm truyền tải qua mạng; + Phần Kiểm thử tương thích cung cấp hướng dẫn mơ hình tham khảo cho việc kiểm thử tính tương thích MPEG-1; + Phần mềm tham chiếu phương pháp mã hóa, giải mã Nội dung Phần Phim ảnh Phần Âm mô tả định dạng sử dụng phổ biến lưu trữ, trao đổi, xử lý âm phim ảnh (ví dụ: (.mpg), (.mpeg), (.mp1), (.mp2), (.mp3), (.m1v), (.m1a), (.m2a), (.mpa), (.mpv)) MPEG-1 phần Phim ảnh phần Âm - MPEG-1 phần Phim ảnh (ISO/IEC-11172-2) sử dụng phương pháp nén ảnh để làm giảm tốc độ liệu theo yêu cầu luồng phim ảnh Phương pháp nén ảnh giảm loại bỏ hồn tồn thơng tin/dữ liệu dải tần số định khu vực hình ảnh mà mắt người nhận biết cách hạn chế Các thuật toán nén phim ảnh mã hóa/giải mã (codecs) kết hợp kỹ thuật nén hình ảnh theo không gian kỹ thuật bù đắp chuyển động theo thời gian Trong thực tế, hầu hết mã hóa/giải mã tiến hành kỹ thuật nén âm nén hình ảnh song song hay riêng biệt cho tệp tin phim ảnh, nhiên, dòng liệu kết hợp lại gửi gói liệu MPEG-1 phần Phim ảnh hỗ trợ độ phân giải lên đến 4095x4095 (12 bít) tốc độ bít lên đến 100 Mbit/s MPEG-1 phần Phim ảnh thường sử dụng độ phân giải SIF (Source Input Format): 352 x 240, 352 x 288 320 x 240 Độ phân giải thấp kết hợp với tỉ lệ tốc độ bít thấp 1,5 Mbit/s tạo dòng liệu bít thấp với thơng số hạn chế Đây thông số kỹ thuật tối thiểu mà mã hóa/giải mã xử lý được, đảm bảo cân chất lượng phim ảnh hiệu sử dụng, cho phép triển khai hệ thống phần cứng có chi phí khơng cao - MPEG-1 phần Âm (ISO/IEC-11172-3) chia làm 03 lớp: MPEG-1 phần Âm Lớp I có tỉ lệ tốc độ bít từ 32 – 448 kbit/s (32, 64, 96… 416, 448 kbit/s), Lớp II có tỉ lệ tốc độ bít từ 32-384 kbit/s (32, 48, 56, 64, 80…256, 320, 384 kbit/s), Lớp III có tỉ lệ tốc độ bít từ 32320 kbit/s (32, 40, 48, 56, 64, 80…224, 256, 320 kbit/s) Việc mã hóa/giải mã phức tạp lớp cao sử dụng hiệu tỉ lệ tốc độ bít thấp - MPEG-1 phần Âm Lớp I có định dạng tệp tin (.mp1) định dạng tệp tin Lớp II (.mp2), chủ yếu sử dụng phát sóng truyền thanh, truyền hình MPEG-I phần Âm Lớp III, thường gọi MP3, có định dạng tệp tin (.mp3), định dạng âm phổ biến ngành cơng nghiệp âm nhạc, giải trí Internet kích thước nhỏ gọn chất lượng âm tệp tin mp3 Cho đến nay, phần cập nhật nhiều lần Lần cập nhật cho phần MPEG-1 ISO/IEC-11172-1 (1999); ISO/IEC-11172-2 (2006); ISO/IEC-11172-3 (1996), ISO/IEC-11172-4 (2007), ISO/IEC-11172-5 (2007) MPEG-1 tiêu chuẩn nén suy hao cho âm thanh, phim ảnh MPEG-1 thiết kế để nén âm thanh, phim ảnh xuống 1.5 Mbit/s (tỉ lệ nén tương ứng 26:1 6:1) mà không giảm chất lượng âm thanh, phim ảnh mức Các đặc tính MPEG-1 Cấu trúc dòng bít MPEG -1 tương tự cấu trúc dòng bít MPEG gồm: • Sequence (chuỗi ảnh) : gồm nhiều nhóm ảnh GOP, có chức dòng bít video • GOP (Group of Picture ): gồm từ 1- n ảnh bắt đầu ảnh I, có chức đơn vị truy xuất • Picture I, P, B: gồm nhiều Slice, chức đơn vị mã hoá • Slice : gồm nhiều Macro Block, đơn vị để tái đồng phục hồi lỗi • Macro-Block : gồm 16 x 16 pixel, đơn vị bù chuyển động • Block : gồm x pixel, đơn vị tính DCT Bảng 2: Tham số theo tiêu chuẩn MPEG -1: Tham số Tín hiệu mã hố Đặc điểm Tín hiệu mã hố Cấu trúc lấy mẫu 4:2:0 Kích thước ảnh tối đa(điểm ảnh x điểm ảnh) 4095 x 4095 Biểu diễn mẫu bít Độ xác q trình lượng tử hố biến đổi DCT bít Phương pháp lượng tử hố hệ số DCT DPCM tuyến tính Cấu trúc khối q trình lượng tử hố thích nghi 16 x 16 bít Độ xác cực đại hệ số DC bít Biến đổi RLC Mã Huffman Bảng VLC Khơng thể truyền tải Hệ số cân khối Có thể biến đổi Bù chuyển động Trong khung hình khung hình Tuần tự Qt ½ điểm ảnh Độ xác dự đốn chuyển động Tốc độ nén 1.85 Mb/s cho nén tham số Tốc độ nén 100 Mb/s cho dòng đầy đủ tham số MPEG-1 không thực định nghĩa thiết kế mã hóa, thay vào chuẩn mơ tả cú pháp mã hóa giải mã “tham khảo” giả thuyết Ứng dụng MPEG-1 ứng dụng thiết kế CD chạy âm thanh, trình chiếu video, truyền hình cáp/vệ tinh kỹ thuật số… Ngoài ra, MPEG-1 thường sử dụng tiêu chuẩn cho đĩa quang VCD 2) MPEG-2 Tiêu chuẩn The Moving Picture Experts Group Phase (MPEG-2) – Định dạng âm (audio), phim ảnh (video) MPEG-2 tiêu chuẩn cho truyền hình kỹ thuật số thuộc họ tiêu chuẩn MPEG dùng để mã hóa luồng liệu âm thanh, phim ảnh MPEG-2 công bố thành tiêu chuẩnISO/IEC 13818, gồm 11 phần bảng đây: STT Tiêu chuẩn Năm côngNăm bố lần thứnhật nhất Phần ISO/IEC 13818-1 1996 2013 cập mớiChủ đề Hệ thống hỗ trợ phương thức mã hóa kết hợp phim ảnh âm Phần ISO/IEC 13818-2 1996 2013 Phương pháp biểu diễn liệu phim ảnh mã hóa quy trình giải mã theo u cầu khơi phục ảnh Phần ISO/IEC 13818-3 1995 1998 Phương pháp mã hóa liệu âm Phần ISO/IEC 13818-4 1998 2009 Thủ tục kiểm thử tính tương thích Phần ISO/IEC TR 13818 1997 2005 Mô phần mềmngôn ngữ C mã hóa giải mã Phần ISO/IEC 13818-6 1998 1998 Các mở rộng cho yêu cầu điều khiển phương tiện lưu trữ số (Digital Storage Media Command and Control - DSMCC) Phần ISO/IEC 13818-7 1997 2006 Tiêu chuẩn mã hóa âm nâng cao Phần Mở rộng phim ảnh 10-bít, ứng dụng phim ảnh studio (xưởng phim) (đã bị thu hồi) 1996 1996 Mở rộng giao diện thời gian thực cho giải mã hệ thống Phần 10 ISO/IEC 13818-10 1999 1999 Mở rộng tương thích choDSMCC Phần 11 ISO/IEC 13818-11 2004 2004 Quản lý sở hữu trí tuệ Phần ISO/IEC 13818-9 Tiêu chuẩn MPEG-2 mở rộng MPEG-1 sở với mục tiêu cung cấp nén có chất lượng cao cho việc truyền phim ảnh, cụ thể để tạo hình ảnh chất lượng cao MPEG-1 tốc độ bít (bit rate) cao (từ - 10 Mbps), nhiên tốc độ bít thấp (