MÃ HÓA CÁC ĐỐI TƯỢNG HÌNH ẢNH ÂM THANH MÔ HÌNH NÉN ĐỒ HỌA 3D

TCVN TIÊU CHUẨN QUỐC GIA TCVN xxx:201x ISO/IEC 14496-25:2011 Xuất lần MÃ HĨA CÁC ĐỐI TƯỢNG HÌNH ẢNH ÂM THANH MƠ HÌNH NÉN ĐỒ HỌA 3D Coding of audio-visual objects — 3D Graphics Compression Model HÀ NỘI – 2016 TCVN XXXX:20XX Mục lục Phạm vi áp dụng tiêu chuẩn .8 Tài liệu viện dẫn Thuật ngữ danh mục từ viết tắt .9 3.1 Thuật ngữ 3.2 Danh mục từ viết tắt Kiến trúc mơ hình 10 4.1 Tổng quan .10 4.2 Lớp 1: Biểu diễn liệu văn 10 4.3 Lớp 2: Nén XML 11 4.4 Lớp 3: Nén đồ họa 11 4.4.1 Tổng quan 11 4.4.2 Các luồng liệu nén lưới 3D lưới 3D mở rộng 12 4.4.3 Luồng nội suy tọa độ, nội suy hướng nội suy vị trí .12 4.4.4 Nén đồ họa động dựa khung xương (Bone-Based Animation Stream) 12 4.4.5 Nén lưới đồ họa động dựa khung hình (Frame-based Animated Mesh Compression Stream) 13 4.4.6 4.5 Luồng liệu nén lưới 3D thay đổi kích thước 13 Giao diện Lớp Lớp .13 Mơ hình giải mã 13 B.1 Giới thiệu 16 B.2 Nhị phân hóa đồ thị cảnh đối tượng đồ họa 16 B.3 Các luồng 3DMCe SC3DMC .16 B.4 Các luồng PI, OI, CI 17 B.5 Luồng BBA 18 B.6 Luồng FAMC 21 C.1 Giới thiệu 22 C.2 Nhị phân hóa đồ thị cảnh đồ thị đối tượng 22 C.3 Các luồng 3DMCe SC3DMC .22 C.4 Các luồng PI, OI, CI 23 C.5 Luồng BBA 23 C.6 Luồng FAMC 24 D.1 Giới thiệu 25 D.2 Nhị phân hóa đồ thị cảnh đối tượng đồ họa 25 D.3 Luồng 3DMCe and SC3DMC 25 D.4 Luồng PI, OI, CI .26 Danh mục tài liệu tham khảo 27 TCVN XXXX:20XX Lời nói đầu TCVN xxx:201x hoàn toàn tương đương với ISO/IEC 14496-25:2011 Information technology – Coding of audio-visual objects – Part 25: 3D Graphics Compression Model (Cơng nghệ thơng tin – Mã hóa đối tượng âm hình ảnh – Phần 25: Mơ hình nén đồ họa 3D) tổ chức tiêu chuẩn hóa ISO/IEC TCVN xxx:201x Học viện Cơng nghệ Bưu Viễn thơng biên soạn, Bộ Thơng tin Truyền thông đề nghị, Tổng cục Tiêu chuẩn Đo lường Chất lượng thẩm định, Bộ Khoa học Công nghệ công bố TIÊU CHUẨN QUỐC GIA TCVN xxxx:20xx CÔNG NGHỆ THƠNG TIN – MÃ HĨA CÁC ĐỐI TƯỢNG ÂM THANH HÌNH ẢNH – PHẦN 25: MƠ HÌNH NÉN ĐỒ HỌA 3D Information technology — Coding of audio-visual objects — Part 25: 3D Graphics Compression Model Phạm vi áp dụng tiêu chuẩn Phần 25 tiêu chuẩn ISO/IEC 14496 mô tả mơ hình để kết nối cơng cụ nén đồ họa 3D đưa chuẩn ISO/IEC 14496 với thành phần đồ họa định nghĩa chuẩn, đặc tả khuyến nghị Mục đích phần tiêu chuẩn mơ hình kiến trúc áp dụng cho: - Các tiêu chuẩn mô tả đồ thị cảnh (scence graph) thành phần đồ họa dựa ngôn ngữ XML; - Các công cụ nhị phân hóa liệu XML; - Các cơng cụ nén đồ họa 3D theo chuẩn MPEG-4 đưa chuẩn ISO/IEC 14496-2, ISO/IEC 14496-11 ISO/IEC 14496-16 Ưu điểm cách tiếp cận tách biệt việc nén việc mô tả thành phần đồ họa Do mặt lựa chọn công cụ nén hiệu quả, mặt sử dụng phương pháp mơ tả đồ họa hiệu Cũng vậy, cơng cụ nén phát triển ISO/IEC 14496-2, ISO/IEC 14496-11 ISO/IEC 14496-16 áp dụng không cho công cụ mô tả cảnh đồ họa định nghĩa ISO/IEC 14496-11 nói riêng mà cịn cho cơng cụ mơ tả cảnh đồ họa khác nói chung miễn cơng cụ sử dụng XML để mơ tả Luồng bit thu sau mơ hình đóng gói theo khn dạng file MP4 bao gồm thẻ XML (hoặc XML nhị phân hóa) để biểu diễn đồ thị cảnh luồng phần tử nhị phân sau nén thành phần đồ họa (bao gồm hình học, bề mặt chuyển động) Phạm vi áp dụng tiêu chuẩn: - Tiêu chuẩn áp dụng cho công ty phần mềm phát triển công cụ thiết kế đồ họa 3D (3D graphic authoring tools) Cụ thể, công cụ thiết kế phải tuân thủ việc biểu diễn thành phần đồ họa 3D ngơn ngữ XML để ứng dụng khác hiểu biểu diễn thành phần đồ họa này; - Tiêu chuẩn áp dụng cho đơn vị phát triển phần mềm ứng dụng liên quan đến đồ họa 3D Game 3D, ứng dụng mô thực tế ảo, v.v Các ứng dụng phải tuân theo dẫn tiêu chuẩn để nén giải nén liệu đồ họa 3D, biểu diễn liệu 3D thiết bị đầu cuối người sử dụng Tài liệu viện dẫn Nội dung tài liệu viện dẫn từ tài liệu nhóm ISO/IEC TR 14496-25:2011(E), Cơng nghệ thơng tin – mã hóa đối tượng âm hình ảnh – Phần 25: Mơ hình nén đồ họa 3D Thuật ngữ danh mục từ viết tắt 3.1 Thuật ngữ - Lược đồ XML (XML Schema): Là tài liệu có cấu trúc dùng ngơn ngữ XML để mơ tả phần tử, thuộc tính, thứ tự, số lượng, kiểu liệu đối tượng cần mô tả - Đồ thị cảnh (Scene Graph): Đồ thị mô tả đối tượng phức tạp cách phân chia thành thành phần đồ họa theo cấu trúc hình - Nhị phân hóa (Binarization): Dữ liệu nén thuật toán LZW, Huffman, Đầu thuật toán chuỗi bit nhị phân - Thành phần đồ họa (Graphic Primitive): Thành phần đồ họa hình học, bề mặt chuyển động đối tượng đồ họa 3.2 Danh mục từ viết tắt Từ viết tắt Tiếng Anh Tiếng Việt ASCII American Standard Code for Information Interchange Chuẩn mã trao đổi thơng tin Hoa Kì BIFS BInary Format for Scene Định dạng nhị phân cho hình ảnh COLLADA Collaborative design activity Tiêu chuẩn mô tả đồ họa 3D IEC International Electrotechnical Commission Uỷ ban Kỹ thuật Điện Quốc tế ISO International Organization for Standardization Tổ chức tiêu chuẩn hóa giới ITU International Telecommunication Union Liên minh Viễn thông Thế giới JPEG Joint Photographic Experts Group Nhóm chuyên gia ảnh tĩnh MP4 MPEG-4 Part 14 Chuẩn mã hóa âm hình ảnh ISO MPEG Motion Picture Expert Group Nhóm chuyên gia ảnh động VMLR Virtual Reality Modeling Language Ngơn ngữ mơ hình thực ảo X3D XML-based file format for representing 3D computer graphics Chuẩn định dạng file biểu đồ họa 3D máy tính XMT Extensible MPEG-4 Textual Format Tiêu chuẩn mô tả đối tượng MPEG-4 mở rộng Kiến trúc mơ hình 4.1 Tổng quan Kiến trúc mơ hình mơ trả hình bao gồm ba lớp: Lớp biểu diễn liệu text, lớp nén XML lớp nén đồ họa 3D Lược đồ Biểu diễn cảnh XML XML Nhị phân hóa (Binary) XML XML Nén đồ họa 3D Hình - Các lớp mơ hình nén đồ họa 3D Ba lớp mơ hình giới thiệu phần sau 4.2 Lớp 1: Biểu diễn liệu văn Mơ hình sử dụng cho nhiều cách mô tả đồ họa bao gồm loại đồ thị cảnh mô tả thành phần đồ họa Yêu cầu việc biểu diễn phải sử dụng XML Bất kỳ lược đồ XML (được đưa MPEG các nhóm nghiên cứu khác) sử dụng Trường hợp cụ thể cho lược đồ mô tả phụ lục Hiện nay, lược đồ XML đưa số tiêu chuẩn sau: 4.3 - XMT (Mô tả phụ lục B); - COLLADA (Mô tả phụ lục C); - X3D (Mô tả phụ lục D) Lớp 2: Nén XML Lớp nhị phân hóa XML xử lý liệu XML khơng mã hóa mã hóa luồng bit chứa thành phần đồ họa MPEG-4 (các phần tử đồ thị cảnh) Dữ liệu đóng gói thẻ “meta” file MP4 text nhị phân hóa cơng cụ nén gzip 4.4 Lớp 3: Nén đồ họa 4.4.1 Tổng quan Lớp nén đồ họa bao gồm số công cụ mô tả ISO/IEC 14496-11 ISO/IEC 14496-16: Mã đối tượng AFX 0x03/CI Công cụ nén Loại Nội suy tọa độ (Coordinate Đồ họa động Chuẩn ISO/IEC 14496-11 0x04/OI Interpolator) Nội suy hướng Đồ họa động ISO/IEC 14496-11 0x05/PI 0x07/BBA (Orientation Interpolator) Nội suy vị trí Đồ họa động Đồ họa động dựa Đồ họa động ISO/IEC 14496-11 ISO/IEC 14496-16 khung xương (Bone-based 0x09/3DMCe 0x0B/FAMC Animation) Nén lưới 3D mở rộng Nén lưới đồ họa động dựa 0x0C/SC3DMC frame Nén lưới 3D phức tạp có Hình học Hình học Đồ họa động ISO/IEC 14496-16 ISO/IEC 14496-16 ISO/IEC 14496-16 kích thước thay đổi Trong trường hợp nén ảnh tĩnh, MPEG-4 hỗ trợ định dạng PNG, JPEG JPEG 2000 Nếu ảnh có định dạng khác tham chiếu cấu trúc liệu XML chuyển sang ba định dạng để đóng gói khn dạng file MP4 Mỗi luồng gắn với đường (track) riêng Để track tương ứng cho phần tử khởi tạo XML, ta thực bước sau: - Gán định danh cho phần tử khởi tạo XML Phần tử có tên element_ID - Các tham số sau file MP4 cập nhật: o Bảng data_reference thêm vào dịng có nội dung sau: o § next_index #ffp (track_ID = “anID”) -#ffp tham chiếu tới lược đồ File Format Pointer định nghĩa ISO/IEC 14496-12 o Bảng item_location thêm vào dịng có nội dung sau: o § location dref index next_index, offset=0, length=0 o Bảng item_name thêm vào dịng có nội dung sau: o § location name=element_ID, mime=video/mp4 Ví dụ tham số meta_box: #ffp(track_ID=2) #ffp(track_ID=3) item location 10 dref index 1, offset=0, length=0 11 11 dref index 2, offset=0, length=0 item name 10 name=mesh_1, mime=video/mp4 11 name=mesh_2, mime=video/mp4 Trong ví dụ trên, element_ID file XML gốc mesh_1 mesh_2 4.4.2 Các luồng liệu nén lưới 3D lưới 3D mở rộng 3DMCe [ISO/IEC 14496-16:2006/Amd 1:2007, 5.9 (các công cụ 3DMC mở rộng)] nén đặc điểm mặt hình học biểu diễn nút IndexedFaceSet VRML (ISO/IEC 14772-1:1997) thuộc tính người dùng định nghĩa cho đỉnh đa giác 3DMCe có thuộc tính lưu giữ thứ tự đỉnh đa giác và/hoặc tam giác 4.4.3 Luồng nội suy tọa độ, nội suy hướng nội suy vị trí CI, OI PI [ISO/IEC 14496-11:2005, 8.9 (nén nội suy)] công cụ cho phép nén mảng giá trị bao gồm: - (X, Y, Z) x (số đỉnh đa giác) x (số frame chính) CI - (X, Y, Z) x (1) x (số frame chính) PI - (X, Y, Z, θ) x (1) x (số frame chính) OI Trong công cụ ban đầu đưa nhằm nội suy tọa độ, vị trí hướng định nghĩa VRML, thuật tốn nén áp dụng cho chuỗi thời gian định nghĩa 4.4.4 Nén đồ họa động dựa khung xương (Bone-Based Animation Stream) BBA [ISO/IEC 14496-16:2006, 5.4 (Nén đồ họa động dựa khung xương)] công cụ nén biến đổi mặt hình học khung xương (được sử dụng việc mô tả chuyển động dựa vào bề mặt đối tượng) mức độ ảnh hưởng tới vùng xung quanh xương (được sử dụng việc mô tả thay đổi hình thái học) Các phần tử định nghĩa đồ thị chuyển động định danh ID Các luồng BBA tham chiếu tới ID chứa biến đổi hình học khung xương (được mơ tả góc Euler hệ tọa độ chiều) mức độ thay đổi hình thái đích (được mơ tả tỷ lệ phần trăm) 4.4.5 Nén lưới đồ họa động dựa khung hình (Frame-based Animated Mesh Compression Stream) FAMC (ISO/IEC 14496-16:2006/Amd.2) cơng cụ nén dựa khung hình cho thuộc tính điểm chuyển động (tọa độ, normal,…) Nó được áp dụng cho chuỗi đỉnh đa giác chuyển động mặt thời gian sử dụng liên kết để dự đoán cách hiệu 5.1.1.1.1.1 (Không bắt buộc) Mô hình mã hóa Mơ hình mã hóa theo chuẩn ISO/IEC 14496-25 mơ tả hình Hình - Các đường mã hóa cho mơ hình nén đồ họa 3D Đầu tiên, lược đồ XML chia thành hai phần Phần thứ chứa thành phần đồ họa hỗ trợ công cụ nén MPEG-4 Phần thứ hai gồm phần tử lại lược đồ ban đầu tham chiếu đến tài nguyên phần thứ Sau đó, phần xử lý độc lập: - Phần thứ xử lý mã hóa MPEC-4 cho đồ họa 3D đề cập mục 1.3 Đầu tập luồng - Phần thứ hai tùy chọn xử lý cơng cụ nhị phân hóa Đầu luồng nhị phân Đầu mã hóa đầu cơng cụ nhị phân hóa ghép với thành file ISO TCVN xxxx:20xx 15 TCVN xxxx:201x (Bắt buộc) Nhị phân hóa nén đồ thị cảnh mô tả XMT B.1 Giới thiệu Phụ lục cung cấp việc chuyển đổi nút đồ thị cảnh XMT công cụ đồ họa 3D đặc tả ISO/IEC 14496-16 B.2 Nhị phân hóa đồ thị cảnh đối tượng đồ họa ‘gzip’ công cụ để nhị phân hóa nội dung XMT Bộ đệm nhị phân biểu diễn thẻ ‘atom’ B.3 Các luồng 3DMCe SC3DMC 3DMCe SC2DMC kết nối tới phần tử IndexedFaceSet mô tả sau: TCVN xxxx:20xx Tất thuộc tính hỗ trợ 3DMCe SC3DMC B.4 Các luồng PI, OI, CI PI, OI CI kết nối tới thành phần PositionInterpolator, OrientationInterpolator and CoordinateInterpolator tương ứng mô tả sau: 17 TCVN xxxx:201x Tất thuộc tính hỗ trợ PI, OI CI tương ứng B.5 Luồng BBA Luồng BBA kết nối tới thay đổi khung xương định nghĩa phần tử SBBone vùng ảnh hưởng định nghĩa phần tử MorthShape TCVN xxxx:20xx 19 TCVN xxxx:201x Luồng BBA chứa đựng giá trị cập nhật phần tử sau: center, rotation, scale, scaleOrientation, translation weights B.6 Luồng FAMC FAMC kết nối tới phần tử IndexedFaceSet cách cập nhật thuộc tính điểm chuyển động TCVN xxxx:20xx 5.1.1.1.1.3 (Bắt buộc) Nhị phân hóa nén đồ thị cảnh mô tả COLLADA 21 TCVN xxxx:201x C.1 Giới thiệu Phụ lục cung cấp việc chuyển đổi đồ thị cảnh COLLADA phần tử đồ họa công cụ đồ họa 3D đặc tả ISO/IEC 14496 -11 ISO/IEC 14496-16 C.2 Nhị phân hóa đồ thị cảnh đồ thị đối tượng Công cụ ‘gzip’ sử dụng cho việc nhị phân hóa cho nội dung XMT Bộ đệm nhị phân mô tả thẻ ‘atom’ C.3 Các luồng 3DMCe SC3DMC Trong COLLADA, lưới biểu diễn phần tử MESH với cấu trúc sau: Hình - Phần tử COLLADA MESH 3DMCe SC3DMC thay phần tử COLLADA MESH chứa tam giác đa giác Polylist chuyển đổi thành tập đa giác đánh số, dải tam giác chuỗi tam giác chuyển đổi thành tam giác đánh số 3DMCe sử dụng để mã hóa nhiều thuộc tính đối tượng điểm ví dụ vector tiếp tuyến, vector pháp tuyến tích vơ hướng hai vector tiếp tuyến pháp tuyến (được gọi UV COLLADA) C.4 Các luồng PI, OI, CI Trong COLLADA, chuyển động biểu diễn phần tử ANIMATION theo cấu trúc sau: TCVN xxxx:20xx Hình - Phần tử COLLADA ANIMATION Luồng CI thay chuyển động COLLADA phần tử CHANNEL phần tử ANIMATION tham chiếu đến MESH Luồng OI thay chuyển động COLLADA phần tử CHANNEL phần tử ANIMATION tham chiếu đến ROTATE Luồng PI thay chuyển động COLLADA phần tử CHANNEL phần tử ANIMATION tham chiếu đến TRANSLATE Các phần tử khác cấu trúc ANIMATION xử lý công cụ nhị phân hóa C.5 Luồng BBA COLLADA hỗ trợ hai kỹ thuật tạo bề mặt thay đổi hình thù cách sử dụng phần tử CONTROLLER Giá trị thay đổi khớp (xương) biến đổi hình dạng xung quanh cập nhật cách sử dụng phần tử ANIMATION với phần tử CHANNEL mơ tả hướng thay đổi xương hình dạng đích Luồng BBA thay chuyển động COLLADA phần tử CHANNEL phần tử ANIMATION tham chiếu đến biến đổi hình dạng khung xuowng hình dáng đích 23 TCVN xxxx:201x C.6 Luồng FAMC Luồng FAMC thay chuyển trọng COLLADA phần tử CHANNEL phần tử ANIMATION tham chiếu đến MESH TCVN xxxx:20xx 5.1.1.1.1.4 (Bắt buộc) Nhị phân hóa nén đồ thị cảnh mô tả X3D 25 TCVN xxxx:201x D.1 Giới thiệu Phụ lục cung cấp việc chuyển đổi nút đồ thị cảnh X3D công cụ đồ họa 3D đặc tả ISO/IEC 14496-11 ISO/IEC 14496-16 D.2 Nhị phân hóa đồ thị cảnh đối tượng đồ họa ‘gzip’ công cụ nhị phân hóa phần tử X3D Bộ đệm nhị phân mô tả thẻ ‘atom’ D.3 Luồng 3DMCe and SC3DMC Trong COLLADA, lưới biểu diễn phần tử MESH với cấu trúc sau: IndexedFaceSet : X3DComposedGeometryNode { MFInt32 [in] set_colorIndex MFInt32 [in] set_coordIndex MFInt32 [in] set_normalIndex MFInt32 [in] set_texCoordIndex MFNode [in,out] attrib [] [X3DVertexAttributeNode] SFNode [in,out] color NULL [X3DColorNode] SFNode [in,out] coord NULL [X3DCoordinateNode] SFNode [in,out] fogCoord [] [FogCoordinate] SFNode [in,out] metadata NULL [X3DMetadataObject] SFNode [in,out] normal NULL [X3DNormalNode] SFNode [in,out] texCoord NULL [X3DTextureCoordinateNode] SFBool [] ccw TRUE MFInt32 [] colorIndex SFBool [] colorPerVertex SFBool [] convex MFInt32 [] coordIndex [] [0,∞) or -1 SFFloat [] creaseAngle MFInt32 [] normalIndex [] [0,∞) or -1 SFBool [] normalPerVertex TRUE SFBool [] solid MFInt32 [] texCoordIndex [] [0,∞) or -1 TRUE TRUE [0,∞) TRUE [] [-1,∞) } Các trường fogCoord metadata không hỗ trợ 3DMCe SC3DMC Các trường mã hóa cơng cụ nhị phân hóa Trường attrib hỗ trợ 3DMCe SC3DMC TCVN xxxx:20xx D.4 Luồng PI, OI, CI PI, OI CI kết nối tới phần tử PositionInterpolator, OrientationInterpolator and CoordinateInterpolator định nghĩa sau: CoordinateInterpolator : X3DInterpolatorNode { SFFloat [in] set_fraction MFFloat [in,out] key (-∞,∞) [] (-∞,∞) MFVec3f [in,out] keyValue [] (-∞,∞) SFNode [in,out] metadata MFVec3f [out] NULL [X3DMetadataObject] value_changed } OrientationInterpolator : X3DInterpolatorNode { SFFloat [in] set_fraction MFFloat [in,out] key (-∞,∞) [] (-∞,∞) MFRotation [in,out] keyValue SFNode [] [-1,1] or (-∞,∞) [in,out] metadata SFRotation [out] NULL [X3DMetadataObject] value_changed } PositionInterpolator : X3DInterpolatorNode { SFFloat [in] set_fraction MFFloat [in,out] key (-∞,∞) [] (-∞,∞) MFVec3f [in,out] keyValue [] (-∞,∞) SFNode [in,out] metadata SFVec3f [out] NULL [X3DMetadataObject] value_changed } Trường ‘metadata’ không hỗ trợ PI, OI CI Trường mã hóa cơng cụ nhị phân hóa Danh mục tài liệu tham khảo [1] ISO/IEC TR 14496-125 “Information technology – Coding of audio – visual objects - Part 12: 3D graphics Compression Model” [2] ISO/IEC TR 14496-11 “Information technology – Coding of audio – visual objects - Part 11: Scene description and application engine” 27 TCVN xxxx:201x [3] ISO/IEC TR 14496-16 “Information technology – Coding of audio – visual objects - Part 16: Animation Framework eXtention (AFX)” [4] B Jovanova, M Preda and F Preteux, “MPEG-4 Part 25: A Generic Model for 3D Graphics Compression”, 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, pp: 101-104, May 2008