nghiên cứu hoạt động và ứng dụng của chuẩn h 265

LUẬN VĂN TỐT NGHIỆP THẠC SĨ BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Quang Chiến NGHIÊN CỨU HOẠT ĐỘNG VÀ ỨNG DỤNG CỦA CHUẨN H.265 LUẬN VĂN THẠC SĨ KỸ THUẬT ( Kỹ thuật điện tử ) Hà Nội – Năm 2015 Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Quang Chiến NGHIÊN CỨU HOẠT ĐỘNG VÀ ỨNG DỤNG CỦA CHUẨN H.265 Chuyên ngành : Kĩ thuật điện tử LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC TS Ngô Vũ Đức Hà Nội – Năm 2015 Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ LỜI CAM ĐOAN Tôi xin cam đoan: Luận văn công trình nghiên cứu thực cá nhân, thực hướng dẫn khoa học Tiến sĩ Ngô Vũ Đức Các số liệu, kết luận nghiên cứu trình bày luận văn trung thực chưa công bố hình thức Tôi xin chịu trách nhiệm nghiên cứu Học viên Trần Quang Chiến Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ LỜI CẢM ƠN Lời đầu tiên, xin chân thành cám ơn Tiến sĩ Ngô Vũ Đức, người trực tiếp hướng dẫn hoàn thành luận văn Với lời dẫn, tài liệu, tận tình hướng dẫn lời động viên thầy giúp vượt qua nhiều khó khăn trình thực luận văn Tôi xin cám ơn quý thầy cô giảng dạy chương trình cao học "Kĩ thuật điện tử” truyền dạy kiến thức quý báu, kiến thức hữu ích giúp nhiều thực nghiên cứu Xin cám ơn Quý thầy, cô công tác Viện Điện tử Viễn thông – Đại học Bách khoa Hà Nội Viện sau đại học – Đại học Bách khoa Hà Nội tạo điều kiện thuận lợi suốt trình tham gia khóa học Cuối cùng, xin cám ơn thầy Phạm Ngọc Nam – Phó viện trưởng Viện Điện tử Viễn thông Trường Đại học Bách khoa Hà Nội Ban Giám hiệu trường hỗ trợ trình thực luận văn Tôi xin chân thành cám ơn Học viên Trần Quang Chiến Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN CÁC THUẬT NGỮ VIẾT TẮT .8 DANH MỤC HÌNH VẼ 14 LỜI NÓI ĐẦU Chƣơng Cơ sở nén tín hiệu Video Các kĩ thuật nén Video 1.1 Sự cần thiết nén tín hiệu 1.2 Quá trính số hóa tín hiệu 1.2.1 Lấy mẫu 1.2.2 Lượng tử hóa 1.2.3 Mã hóa 1.3 Tốc độ bít thông lượng kênh truyền tín hiệu số 1.3.1 Tốc độ bit 1.3.2 Thông lượng kênh truyền tín hiệu số 1.4 Quá trình biến đổi tín hiệu màu .6 1.5 Các tiêu chuẩn lấy mẫu video tín hiệu số 1.6 Mô hình nén tín hiệu Video 1.6.1 Nén tín hiệu Video 1.6.2 Lượng tin trung bình 10 1.7 Phân loại kĩ thuật nén 13 1.8 Quá trình biến đổi 13 1.8.1 Điều xung mã vi sai DPCM 14 1.8.2 Mã hóa biến đổi 14 Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 1.9 Quá trình lượng tử 16 1.9.1 Lượng tử vô hướng 16 1.9.2 Lượng tử vector 17 1.10 Quá trình mã hóa 18 1.10.1 Mã hóa độ dài thay đổi 18 1.11 Tiêu chuẩn đánh giá chất lượng ảnh nén 20 1.12 Kết luận chương 21 Chƣơng Các chuẩn nén thuộc họ MPEC trƣớc H.265/HEVC chuẩn nén H.265/HEVC 22 2.1 Giới thiệu lịch sử phát triển chuẩn MPE 22 2.2 Các tiêu chuẩn nén trước H.265/HEVC 22 2.2.1 Tiêu chuẩn MPEC-1 22 2.2.2 Tiêu chuẩn MPEG-2 25 2.2.3 Tiêu chuẩn MPEC-4 28 2.2.4 Tiêu chuẩn H.264 29 2.3 Tổng quan chuẩn nén H.265/HEVC 30 2.3.1 Lịch sử phát triển chuẩn nén H.265/HEVC 30 2.3.2 Lịch trình triển khai sản phẩm liên quan 31 2.3.3 Các profiles levels chuẩn HEVC 39 2.4 Kĩ thuật nén video HEVC 42 2.4.1 Giải thích hoạt động 42 2.4.2 Cấu trúc mã hóa (Coding Structure) 46 2.5 Kết luận chương 50 Chƣơng Những điểm tối ƣu HEVC so với H.264/AVC 52 3.1 Sự tối ưu lý thuyết 52 3.2 Sự khác biệt qua mô với hình ảnh cụ thể 57 3.2.1 Bài toán mục tiêu cần đạt 57 Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 3.2.2 Phương pháp thực 57 3.2.3 Kết đạt qua mô 58 3.2.4 Trong H.264/AVC 59 3.2.5 Trong HEVC 61 3.2.6 So sánh HEVC H.264/AVC 66 3.3 Kết luận chương 69 TÀI LIỆU THAM KHẢO 70 Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ CÁC THUẬT NGỮ VIẾT TẮT Thuật ngữ tiếng Anh STT HEVC Thuật ngữ tiếng Việt Chuẩn nén Video hiệu suất cao (High Efficiency Video Coding) VCEG Nhóm chuyên gia mã hóa Video (Video Coding Experts Groups) BAC Mã hóa số học nhị phân (Binary Arithmetic Coding) CA Mã hóa thích nghi theo nội dung (Context Adaptive) CC Mã xóa (Clear code) CIF Định dạng mã hóa hình ảnh có kích thước 352 x 288 (Common Intermediate Format) 10 11 12 13 14 DAB Phát quảng bá âm số (Digital Audio Broadcasting) DCT Biến đổi Cosine rời rạc (Discrete Cosine Transform) DFT Biến đổi Fourier rời rạc (Discrete Fourier Transform) DPCM Điều xung mã vi sai (Differential Pulse Code Modulation) DS Thuật toán tìm kiểu hình thoi (Diamond Search) DTH DWT Biến đổi Wavelet rời rạc (Discrete Wavelet Transform) EOI Mã kết thúc (End Of Information) Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 15 ES Dòng (Elemenatary Stream) 16 Exp-Golomb Mã Exponential Golomb FLC Mã hóa có chiều dài cố định 17 18 19 (Fixed-Length Code) FMO Thứ tự MB mềm dẻo (Flexible Macroblock Order) GOP Nhóm ảnh (Group Of Pictures) GMC Bù chuyển động toàn phần (Global Motion Compensation) HDS Thuật toán tìm hình thoi nằm ngang (Horizontal Diamond search) HDTV Truyền hình phân giải cao (High Definition Television) HEXBS Thuật toán tìm kiểu hình lục giác (Hexagon-Based Search) ICT Biến đổi nguyên Cosine rời rạc (Integer Discrete Cosine Transform) IDR Ảnh làm tươi tức thời giải mã (Instantaneous Decoder Refresh Picture) IDCT Biến đổi ngược Cosine rời rạc (Inverse Discrete Cosine Transform) IP Giao thức Internet ( Internet Protocol) ISDN Mạng tích (Integrated hợp dịch Service vụ số Digital Network) 10 JPEG Chuẩn nén ảnh ủy ban JPEG Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ quốc tế (Joint Photographic Experts Group) 11 12 13 14 JPEG2000 Chuẩn nén ảnh JPEG2000 LOSSLESS Kỹ thuật nén ảnh không tổn hao (không liệu) LOSSY Kỹ thuật nén ảnh có tổn hao (có liệu) MB Đa khối (Macroblock) MBAFF Mã hóa khung mành thích nghi 15 (Macroblock-Adaptive Frame-Field coding) 16 17 18 19 20 21 22 23 MC Bù chuyển động (Motion Compensation) ME Ước lượng chuyển động(Motion Estimate) MMS Dịch vụ tin nhắn đa phương tiện (Multimedia Messaging Services) MSE Sai số bình phương trung bình (Mean Square Error) MPEG Nhóm chuyên gia nén ảnh động (Moving Pictures Experts Group) NAL Lớp trừu tượng mạng (Network Abstraction Layer) NNS Tìm khối gần (Nearest Neighbors Search) PCM Điều xung mã (Pulse Code Modulation) 24 PF 25 MF Hệ số nhân(Multipy Factor) 26 PSNR Tỷ số tín hiệu đỉnh nhiễu (Peak Nghiên cứu hoạt động ứng dụng chuẩn H.265 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 3.2.3 Kết đạt đƣợc qua mô Chúng ta đưa ảnh với thông số khác mô chuẩn HEVC H.264/AVC để thấy khác biệt hình ảnh sử dụng : Hình 3-2 Các hình ảnh làm mẫu so sánh H.264/AVC HEVC[7] Ảnh 1: Hoạt động bờ biển, nhiều hoạt động, dư thừa không gian bình thường Ảnh 2: Anh kĩ sư, dư thừa không gian cao, hoạt động thấp Ảnh 3: Ảnh từ điện thoại, dư thừa thấp, hoạt động cao Ảnh 4: Chương trình thời sự, hoạt động thấp, dư thừa cao Các kết mô khác biệt phát triển vượt bậc HEVC so với H.264/AVC mô tả phần dựa theo reference code tài liệu tham khảo số [13] Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 58 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 3.2.4 Trong H.264/AVC  Tỷ lệ tín hiệu nhiễu Hình 3-3 Tỷ lệ tín hiệu nhiễu H264/AVC Bức ảnh có tỉ lệ tốt để có chất lượng cao ảnh chương trình thời sự, có mức hoạt động thấp dư thừa cao Và ảnh đem lại chất lượng nén ảnh từ điện thoại có mức hoạt động cao đối tượng hình  Tốc độ bít Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 59 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-4 Tốc độ bit theo thời giantrong H264/AVC Ta thấy ngoại trừ ảnh ảnh lại có tốc độ bít gần giống frames ảnh tương tự  Giới hạn độ tăng ích Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 60 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-5 Giới hạn độ tăng ích theo PSNR H264/AVC Khi thực kiểm tra với tất ảnh ta thấy hình có giới hạn tăng ích cao Có thể nguyên nhân vị tính hoạt động hình không đủ cao mức Sr 32 để hiển thị tất hoạt động 3.2.5 Trong HEVC  Tỷ lệ tín hiệu nhiễu Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 61 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-6 Tỷ lệ tín hiệu nhiễu HEVC Ta thấy kết tương tự H.264/AVC, hiệu nén tốt thuộc hình ảnh có mức hoạt động thấp độ dư thừa cao  Tốc độ bít Hình 3-7 Tốc độ bit theo thời giantrong HEVC Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 62 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Ở thấy biến đổi lớn tốc độ bít theo thời gian khác hẳn với H.264/AVC Vì HEVC mã hóa phức tạp nên ta thấy mối liên hệ độ dư thừa hay mức hoạt động so với tốc độ bít  Intra-period gain Hình 3-8 Độ tăng ích sau dự doán liên khungtheo PSNR HEVC Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 63 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Ở ta thấy thêm intra-reference frames làm giảm đáng kể chất lượng nén hình ảnh với tỷ lệ bit, intra-frames cung cấp mức nén thấp so với khung hình ảnh 2(anh kĩ sư-foreman) mã hóa cần sử dụng yếu tố lượng tử cao Nó làm giảm đáng kể trở kháng truyền tảitrong lỗi kênhtruyền, mô thực với việc sử dụng kênh truyền lỗi  Giới hạn độ tăng ích Hình 3-9 Giới hạn độ tăng ích theo PSNR HEVC Cũng H.264/AVC thực kiểm tra với tất ảnh ta thấy hình có giới hạn tăng ích cao Có thể nguyên nhân vị tính hoạt động hình không đủ cao mức Sr 32 để hiển thị tất hoạt động Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 64 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-10Giới hạn độ tăng ích theo thời gian HEVC Như thấy khác biệt giới hạn tăng ích ảnh chế độ khác Nhưng thời gian tăng lên mức tương đối lơn ( > 400s) khác biệt bắt đầu thấy rõ rệt Đây ý tưởng kiểm tra dựa ảnh có Không đề xuất thành lý thuyết cho ảnh khác Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 65 LUẬN VĂN TỐT NGHIỆP THẠC SĨ 3.2.6 So sánh HEVC H.264/AVC Hình 3-11So sánh tốc độ bit theo PSNR theo thời gian H.264/AVC HEVC ảnh Foreman Chúng ta thấy HEVC có khả mã hóa tốt nhiều so với tiêu chuẩn h.264 Ta thấy khác biệt vào khoảng dB Điều có nghĩa cung cấp chất lượng tốt gần 50% so với h.264 Tuy nhiên thời gian mã hóa cho HEVC khủng khiếp so với h.264 Đôi h.264 nhanh khoảng hai lần Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 66 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-12So sánh tốc độ bit theo PSNR theo thời gian H.264/AVC HEVC ảnh coastguard Ở nhận thấy độ tăng ích – gain H.264 thấp chút, khác biệt thời gian thực lớn, HEVC nhiểu thời gian Về nguyên nhân thấy ảnh sử dụng có mức hoạt động lớn chúng cần tính toán nhiều từ HEVC Và HEVC phức tạp, có nhiều tính toán cần phải thực hiện, có nhiều lựa chọn cần xem xét h.264 Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 67 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-13So sánh tốc độ bit theo PSNR theo thời gian H.264/AVC HEVC ảnh mobile Trong ví dụ thấy tốc độ bit thấp HEVC h.264 cung cấp gần chất lượng, thời gian HEVC nhanh nhiều Kể từ 400kbit / s HEVC tăng 1,5-2dB PSNR so với H.264 Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 68 LUẬN VĂN TỐT NGHIỆP THẠC SĨ Hình 3-14So sánh tốc độ bit theo PSNR theo thời gian H.264/AVC HEVC ảnh news Trong ví dụ ta lại thấy HEVC đòi hỏi thời gian xử lý cao nhiều so với H.264/AVC Tuy nhiên hình bên trái ta thấy HEVC cho mức PSNR cao H.264 tốc độ bit tăng 3.3 Kết luận chƣơng Qua kết mô nêu ta thấy cách rõ ràng, xác chuẩn nén HEVC tối ưu hẳn chuẩn nén trước tốc độ bít chất lượng hình ảnh.Chuẩn nén HEVC hứa hẹn tương lai công nghệ nén đại chắn HEVC có mặt tất thiết bị thông minh tương lai.HEVC đem lại cho người sử dụng video có chất lượng tốt truyền tải trực tiếp với tốc độ cao Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 69 LUẬN VĂN TỐT NGHIỆP THẠC SĨ KẾT LUẬN Trong toàn luận văn tập trung tìm hiểu phân tích sở lý thuyết kĩ thuật nén tín hiệu video nêu rõ khâu quan trọng kĩ thuật nén tín hiệu video Tôi nêu phân tích chuẩn nén thuộc họ MPEC trước H.265/HEVC tìm hiểu phân tích chuẩn nén H.265/HEVC để thấy rõ điểm trội chuẩn nén với hệ chuẩn nén xuất trước Tôi tiến hành mô khác biệt HEVC so với H.264/AVC phân tích rõ ràng kết đạt Qua rút kết luận sau:  HEVC cho chất lượng ảnh tương đương với H.264/AVC với tốc độ bít ½  HEVC cho chất lượng ảnh tốt nhiều so với HEVC tốc độ bít Với đặc điểm bật hẳn so với chuẩn nén trước H.265/HEVC tiên phong chiếm lĩnh công nghệ dịch vụ tương lai  Truyền phát video HD qua mạng internet 1080p60 / 50  Trải nghiệm xem video siêu nét siêu thực: Ultra-HD (4K, 8K)  Dịch vụ truyền hình trực tiếp chất lượng cao (thể thao, nhạc sống, kiện trực tiếp, ) điện thoại di động  HD TV 3D Full khung cho lần xem với định dạng HD Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 70 LUẬN VĂN TỐT NGHIỆP THẠC SĨ TÀI LIỆU THAM KHẢO [1] TS Nguyễn Thanh Bình, Ths Võ Nguyễn Quốc Bảo, “Xử lý âm thanh, hình ảnh”, Học viện công nghệ Bưu viễn thông, Hà Nội [2] KS Trương Thị Thủy, “Tiêu chuẩn mã hóa tiên tiến H.264-MPEG-4 AVC”, Tạp chí khoa học kỹ thuật truyền hình 1/2004 [3]KS Cao Văn Liết, “Bù chuyển động kỹ thuật mã hóa nội dung nguồn video tự nhiên sử dụng tiêu chuẩn nén MPEG-4”, Tạp chí khoa học kỹ thuật truyền hình 1/2005 [4] Gs.TS Nguyễn Kim Sách, “Truyền hình số có nén Multimedia”, Nhà xuất khoa học kỹ thuật, Hà Nội [5]Th.S Nguyễn Minh Hồng, “Chuẩn nén H.264/AVC khả ứng dụng truyền hình”, Tạp chí khoa học kỹ thuật truyền hình 2/2005 [6] Iain E G Richardson, “H.264 And MPEG-4 Video Compression”, The Robert Gordon University, Aberdeen, UK [7] “Overview of the High Efficiency Video Coding (HEVC) Standard” Gary J Sullivan, Fellow, IEEE, Jens-Rainer Ohm, Member, IEEE, Woo-Jin Han, Member, IEEE, and Thomas Wiegand, Fellow, IEEE [8] ITU 2013-06-07, “H.265 : High efficiency video coding”Retrieved 2013-06-07 [9] Các trang web :http://google.com, http://mathexchange.comhttp://forum.doom9.org, University of Illinois at Chicago (UIC), http://www.uic.edu/ http://www.chiariglione.org/mpeg/, http://en.wikipedia.org http://www.mathworks.com/, http://media.xiph.org/video/derf/http://www.stanford.edu/class/ee398b/samples.htm l http://en.wikipedia.org/wiki/H.264/MPEG-4_AVC Lecture slides of subject Equipos Multimedia Tema 11: Estándar d e compresión de vídeo H.264 Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 71 LUẬN VĂN TỐT NGHIỆP THẠC SĨ ITU-T Recommendations: H.264 : Advanced video coding for generic audiovisual services http://www.itu.int/rec/T-REC-H.264-201201-S/en “THE H.264 ADVANCED VIDEO COMPRESSION STANDARD” Iain Richardson [6.5.0-6.5.4];[7.4] http://www.worldbroadcastingunions.org/wbuarea/library/docs/isog/presentations/2 012B/2.4%20Vieron%20ATEME.pdf [10] JVT “Draft ITU-T recommendation and final draft international standard of joint video specification (ITU-T rec H.264– ISO/IEC 14496-10 AVC),” [11] T Wiegand, G.J Sullivan, G Bjontegaard, A Luthra, ”Overview of the H.264/AVC Video Coding Standard,” [12] Siwei Ma, Xiaopeng Fan, Wen Gao, “Low Complexity Integer Transform and High Definition Coding” [13] Các trang web chứa source code: http://extremetech.com, http://x265.org, http://open-media-community.com Nghiên cứu hoạt động ứng dụng chuẩn H.265 Trang 72