MPEG 4 Visual cho phép mã hoá ghép lai giữa các hình ảnh và video tự nhiên với các cảnh nhân tạo (từ máy tính). MPEG 4 Visual bao gồm các công cụ và thuật toán hỗ trợ việc mã hoá các ảnh tĩnh tự nhiên và các chuỗi video cũng như hỗ trợ nén các thông số đồ hoạ của các hình ảnh 2-D và 3-D.
2.4.3.1 Các định dạng hỗ trợ - Bitrate: từ 5 Kbps đến hơn 1Gbps. - Định dạng: quét liên tục và quét xen kẽ.
- Độ phân giải: từ QCIF (Quarter Common Intermediate Format) đến độ phân giải cấp studio (4k x 4k pixel).
2.4.3.2 Đối tượng video
Một trong những đóng góp quan trọng của MPEG 4 Visual là loại bỏ cách nhìn truyền thống về chuỗi video như là một tập hợp các khung hình chữ nhật. Thay vì đó MPEG 4 Visual xem chuỗi video như là 1 tập hợp gồm 1 hay nhiều đối tượng video (Video object-VO). MPEG 4 Visual định nghĩa các VO là các thực thể linh hoạt mà người sử dụng có thể truy cập, thao tác với nó. Một VO có thể có thể có hình dạng tuỳ ý, ví dụ là một hình người đang nói mà không có hình nền. Hình ảnh hình chữ nhật chỉ là một trường hợp đặc biệt của VO. Các VO cũng có thể từ các ảnh I, B, P và mang đặc tính giống như các loại ảnh trên.
2.4.3.1 Mã hoá co giãn các VO
MPEG 4 Visual cung cấp mã hoá các đối tượng hình ảnh, video với sự co giãn về không gian, thời gian và chất lượng, cho cả các hình ảnh chữ nhật và hình ảnh tuỳ ý. Sự co giãn trong mã hoá sẽ cho phép khả năng giải mã một phần dòng bit và khôi phục lại chuỗi hình ảnh với các cấp độ khác nhau:
Co giãn mức độ phức tạp tại mã hoá: cho phép mã hoá với các cấp độ phức tạp khác nhau, tạo ra dòng bit hợp lý với các bề mặt, hình ảnh hay video đã cho.
Co giãn mức độ phức tạp tại bộ giải mã: cho phép bộ giải mã có thể giải mã các bề mặt, hình ảnh, video với các cấp độ phức tạp khác nhau, tuỳ thuộc vào khả năng của bộ giải mã và nhu cầu phía đầu thu.
Co giãn độ phân giải không gian: cho phép bộ giải mã có thể giải mã một phần dòng bit để khôi phục lại hình ảnh, hay bề mặt, video với độ phân giải thấp đi.
Co giãn độ phân giải thời gian: cho phép bộ giải mã có thể giải mã một phần dòng bít để khôi phục lại các bề mặt, hình ảnh, video với độ phân giải thời gian suy giảm.
Co giãn chất lượng: Giữ độ phân giải không gian và thời gian nhưng giảm chất lượng.
Trang 47
Chức năng này được thiết kế cho mã hoá các hình ảnh quét xen kẽ và phù hợp với các ứng dụng mà phía thu không có khả năng thể hiện độ phân giải đầy đủ hay chất lượng đầy đủ.
2.4.3.2 Cấu trúc các công cụ trình diễn video tự nhiên
Các thuật toán mã hoá hình ảnh và video của MPEG 4 mang đến sự trình diễn hiệu quả các đối tượng video của các hình dạng tuỳ ý, đồng thời cũng hỗ trợ các chức năng được gọi là nội dung cơ sở (conten based). MPEG 4 cũng hỗ trợ phần lớn các chức năng được cung cấp bởi MPEG 1 và MPEG 2 bao gồm cả chuẩn nén các chuỗi hình ảnh chữ nhật với rất nhiều các định dạng đầu vào, tốc độ khung, độ sâu điểm, tốc độ bit và rất nhiều cấp co giãn không gian, thời gian, chất lượng.
VLBL core (Vere Low Bit-rate Video) cung cấp các thuật toán và các công cụ để thực hiện các ứng dụng có tốc độ từ 5 đến 64Kbps, hỗ trợ chuối hình ảnh có độ phân giải không gian thấp (chất lượng CIF) và tốc độ khung thấp (15Hz). Các chức năng của cá ứng dụng cơ bản được hỗ trợ bởi VBVL Core là:
Mã hoá chuỗi hình ảnh kích thước chữ nhật với hiệu quả mã hoá cao.
Các thao tác truy cập ngẫu nhiên, tua đi, tua ngược cho lưu trữ dữ liệu đa phương tiện VLB và cho các ứng dụng truy cập.
Hình sau đây mô tả tổng quan về thuật toán của MPEG 4 để mã hoá các chuỗi hình ảnh có dạng chữ nhật và dạng tuỳ ý.
Hình 2.12 - Thuật toán của MPEG 4 để mã hoá các chuỗi hình ảnh Cấu trúc mã hoá cơ bản bao hàm mã hoá hình dạng (cho các VO có hình dạng tuỳ ý) và bù chuyển động cũng như mã hoá bề mặt DCT ( sử dụng DCT tiêu chuẩn 8x8 hoặc DCT tương thích hình dạng).
Một cải tiến quan trọng của phương pháp mã hoá theo nội dung MPEG 4 là hiệu quả nén có thể cải thiện được đáng kể với một số chuỗi video bằng cách sử dụng các công cụ dự đoán chuyển động đối tượng cho mỗi đối tượng trong 1 cảnh. MPEG 4 đưa ra một số kỹ thuật dự đoán chuyển động để tăng hiệu quả mã hoá và sự trình diễn mềm dẻo các đối tượng.
Dự đoán và bù chuyển động dựa trên các block 8x8 hoặc 16x16 với độ chính xác lên đến ¼ pixel.
Bù chuyển động toàn thể cho các đối tượng video (Global Motion Compensation-GMC): mã hoá chuyển động toán thể cho một đối tượng sử dụng một số ít thông số. GMC dựa trên dự đoán chuyển động toàn thể, sự méo hình, mã hoá đuờng cong chuyển động và mã hoá bề mặt cho các lỗi dự đoán.
Trang 49
Bù chuyển động toàn thể cho các “sprite” tĩnh. Một “sprite” tĩnh có thể là một ảnh tĩnh rộng, mô tả nền bao quát. Với mỗi ảnh tiếp theo trong chuỗi ảnh, chỉ có 8 thông số mô tả chuyển động được mã hoá để khôi phục lại đối tượng.
Bù chuyển động ở mức ¼ pixel làm cải thiện lược đồ bù cho dự đoán chuyển động
Biến đổi DCT hình dạng tương thích: tại các vùng bề mặt mã hoá, biến đổi DCT tương thích (Shape adaptive DCT : SA-DCT) sẽ cải thiện hiệu quả mã hoá các đối tượng hình dáng tuỳ ý.
Hình sau mô tả ý tưởng mã hoá cơ bản cho chuỗi video MPEG 4, sử dụng 1 hình ảnh bao quát sprite (Sprite panorama image). Trong đó có thể thấy rằng, các đối tượng tiền cảnh (Foreground object) - trong trường hợp này là người chơi tennis, có thể tách ra khỏi hình nền và do đó hình ảnh bao quát sprite cũng có thể tách ra khỏi chuỗi để mã hoá độc lập (một hình bao quát sprite là một hình tĩnh mô tả nội dung của hình nền trong tất cả các khung của chuỗi video).
Hình 2.13 - Ý tưởng mã hoá cơ bản cho chuỗi video MPEG 4
Hình ảnh bao quát sprite được mã hoá và truyền đi 1 lần duy nhất trong khung đầu tiên của chuỗi để mô tả cảnh nền, sau đó ảnh này được lưu lại trong bộ nhớ đệm sprite tại phía đầu thu. Trong các khung hình tiếp theo, chỉ có các thông số camera liên quan đến hình nền, như hình ảnh người chơi chuyển động, là được truyền đi. Điều này cho phép phía thu khôi phục lại hình nền cho tất cả các khung hình tiếp theo bằng cách lấy hình nền từ bộ nhớ đệm. Đối tượng tiền cảnh chuyển (adsbygoogle = window.adsbygoogle || []).push({});
Hình ảnh toàn cảnh Đối tượng phía trước
động (người chơi) sẽ được truyền đi độc lập như là 1 đối tượng video (VO) hìnhdạng tuỳ ý. Hình ảnh khôi phục sẽ bao gồm cả hình nền và các hình tiền cảnh.