Nghiên cứu về các định dạng nén video. TRƯỜNG ĐẠI HỌC TÔN ĐỨC THẮNG

GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video MỤC LỤC CHƯƠNG 1: TỔNG QUAN VỀ NÉN TÍN HIỆU VIDEO VÀ CÁC CHUẨN NÉN 2.1 Giới thiệu .12 2.2 Cấu trúc dòng bit MPEG video 14 2.3 Các loại ảnh chuẩn MPEG 16 2.4 Nguyên lý nén MPEG 17 2.5 Nguyên lý giải nén MPEG 19 2.6 Chuẩn nén MPEG-1 20 2.6.1 Giới thiệu khái quát 20 2.6.2 Định dạng trung gian SIF (Source Intermediate Format) 20 2.6.3 Cấu trúc dòng bít tham số MPEG-1 23 2.7 Chuẩn nén MPEG-2 25 2.7.1 Giới thiệu 25 2.7.2 Mã hoá giải mã video 25 2.7.3 Các Profiles Levels 27 2.7.4 MPEG -2 với phát sóng sản xuất chương trình 30 2.8 Chuẩn nén MPEG-4 30 2.8.1 Giới thiệu 30 2.8.2 Cơng nghệ mã hố giải mã video MPEG-4 31 2.8.3 Các Profiles Levels chuẩn MPEG-4 33 2.9 Tiêu chuẩn MPEG-7 36 2.9.1 Giới thiệu 36 2.9.2 Đối tượng (Objectives) cách miêu tả liệu MPEG -7 36 2.9.3 Phạm vi ứng dụng tiêu chuẩn MPEG-7 37 CHƯƠNG III: NGHIÊN CỨU PHƯƠNG PHÁP NÉN VIDEO ỨNG DỤNG TRONG TRUYỀN HÌNH TRÊN INTERNET 39 3.1 Giới thiệu tổng quan truyền hình Internet 39 3.2 Lựa chọn H.264/MPEG -4 part 10 cho truyền hình mạng .43 SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video 3.2.1 Giới thiệu chung H.264 /MPEG-4 part 10 43 3.2.2 Tính kế thừa chuẩn nén H.264/MPEG-4 part 10 45 3.3 Tiêu chuẩn H.264/MPEG-4 PART 10 .46 3.3.1 Lớp trừu tượng mạng NAL (Network Abstaction Layer) 46 3.3.2 Các Profile Level 47 3.3.3 Kỹ thuật mã hoá video chuẩn H.264/MPEG4 Part 10 50 3.3.3.1 Các ảnh bù chuyển động dùng H264/MPEG Part 10 51 3.3.3.2 Xác định Vector chuyển động (Motion Estimation) 61 3.3.3.3 Nén video 64 3.3.3.4 Bộ lọc tách khối 68 3.3.4 Kỹ thuật giải mã video 70 3.3.4.1 Bù chuyển động 70 3.3.4.2 Khôi phục lỗi (Error Resiliency) 71 3.4 So sánh hiệu mã hoá 72 KẾT LUẬN 76 SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video LỜI MỞ ĐẦU Truyền hình Việt Nam trải qua nhiều giai đoạn phát triển, từ truyền hình đen trắng, truyền hình màu truyền hình số phát triển mạnh mẽ tất lĩnh vực: truyền hình cáp, truyền hình số mặt đất DVB-T, truyền hình số qua vệ tinh Khi Internet phát triển mạnh trở thành hệ thống có quy mơ toàn cầu, trở nên phổ cập nhanh lĩnh vực, việc kết nối chương trình hình với hệ thống viễn thông – Internet, công nghệ truyền hình đời truyền hình Internet Thực tế nay, có nhiều hãng Việt Nam giới cung cấp dịch vụ truyền hình trực tuyến (Online Television), khán giả cần truy cập vào địa Web- Site nhà cung cấp dịch vụ xem trực tiếp chương trình truyền hình theo thời thực real-time(cịn gọi phương thức Dowload and Play)hay tải File chương trình truyền hình máy tính cá nhân (gọi phương thức Dowload Stream-File) Nói kỹ thuật truyền hình có nhiều kỹ thuật như: kỹ thuật ghi hình, kỹ thuật dựng hình, kỹ thuật nén Video, kỹ thuật truyền tải khuôn khổ luận văn này, em xin tìm hiểu kỹ thuật nén Video Vấn đề nén Video truyền hình khơng phải vấn đề mẻ Với công nghệ truyền hình đời, có cơng nghệ nén Video phù hợp Nén Video từ năm 1950 thực công nghệ tương tự với tỷ số nén thấp Ngày công nghệ nén đạt hiệu cao nhờ chuyển đổi tín hiệu Video từ tương tự sang số Với đề tài “Các chuẩn nén ứng dụng truyền Video mạng Internet”, mục đích khố luận em tìm hiểu số chuẩn nén MPEG ứng dụng nén video sử dụng, đặc biệt chuẩn nén H264/MPEG Part 10 Nội dung gồm chương: Chương 1: Lý phải nén tín hiệu Video nén MPEG (Moving Picture Expert Group) nhóm chuyên gia hình ảnh, với nhiệm vụ xây dựng tiêu chuẩn cho tín hiệu Audio Video số Trong việc nén video, MPEG đạt tỷ số nén tốt so với chuẩn nén trước JPEG, M-JPEG, DV… SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video Chương 2: Giới thiệu khái quát chuẩn nén mà nhóm MPEG xây dựng để nén video lưu trữ Trong đó, MPEG -1 với mục đích mã hố Video âm kèm theo môi trường lưu trữ đĩa CD-ROM, đĩa quang với tốc độ bít 1.5 Mbit/s; MPEG -2 có kế thừa tiêu chuẩn MPEG -1 mục đích nhằm hỗ trợ việc truyền Video số tốc độ bít khoảng – 30 Mbít/s; sau truyền hình Internet đời chuẩn nén tương ứng MPEG -4 với nhiệm vụ nhằm phát triển chuẩn xử lý, mã hoá hiển thị ảnh động, audio tổ hợp chúng Còn MPEG -7 chuẩn dùng để mô tả nội dung Multimedia, chuẩn dùng để nén mã hoá audio hay ảnh động chuẩn trước Chương 3: nội dung khố luận Em nghiên cứu tìm hiểu kỹ thuật mã hoá Video/ ảnh động sử dụng chuẩn nén H.264/MPEG -4 Part 10 ứng dụng cho truyền hình mạng Internet H264/MPEG Part 10 có nhiều ưu việt việc nén Video so với chuẩn MPEG-2 – thành công việc nén video truyền hình kỹ thuật số đời trước Phần kết luận tổng kết lại điểm nhận định em hướng phát triển đề tài SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video CHƯƠNG 1: TỔNG QUAN VỀ NÉN TÍN HIỆU VIDEO VÀ CÁC CHUẨN NÉN 1.1 Tổng quan trình nén video Kỹ thuật nén ảnh số đóng vai trò quan trọng hệ thống viễn thông multimedia để giải vấn đề băng thông đường truyền Các kỹ thuật nén video cố gắng làm giảm lượng thông tin cần thiết cho chuỗi ảnh mà không làm giảm chất lượng người xem Nói chung, tín hiệu video thường chứa đựng lượng lớn thông tin thừa, chúng thường chia thành hai loại: thừa tĩnh bên frame (statistical) thừa động frame (subjective) Mục đích nén video nhằm làm giảm số bit lưu trữ truyền cách phát để loại bỏ lượng thông tin dư thừa dùng kỹ thuật Entropy mã hoá để tối thiểu hoá lượng tin quan trọng cần giữ lại Nén liệu chia thành hai dạng bản: Nén không liệu (Lossless) nén có liệu (Lossy) Đối với dạng nén khơng liệu, ảnh khơi phục hồn tồn giống ảnh gốc, nhiên điều địi hỏi phải có thiết bị lưu trữ đường truyền lớn Các thuật tốn nén khơng liệu thường dựa vào việc thay nhóm ký tự trùng lặp nhóm ký tự đặc biệt khác ngắn mà không quan tâm tới ý nghĩa dịng bit liệu Các ví dụ dạng nén không liệu Run-Length Encoding (RLE), Huffman Coding, Arithmetic coding, Shannon-Fano Coding, LZ78, LZH, LZW Đối với dạng nén có liệu, ảnh khơi phục khơng giống hồn tồn với ảnh gốc, dạng nén thích hợp cho việc lưu trữ truyền ảnh tĩnh, video qua mạng có băng thơng hạn chế Các dạng nén thường cho hệ số nén cao hơn, liên quan tới việc dùng phép biến đổi tín hiệu từ miền sang miền khác Các ví dụ biến đổi có liệu gồm: Differential SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video Encoding, Discrete Cosine Transform(DCT), Vector Quantization, JPEG (Joint Photographic Experts Group) MPEG (Motion Picture Experts Group) Các phương pháp nén ảnh có tín hiệu gồm có bước hình Hình Sơ đồ mã hoá Ảnh gốc biến đổi theo nhiều cách khác Vào năm 1980, việc nén giải nén tín hiệu video dựa kỹ thuật DPCM (differential pulse code modulation) CCITT chuẩn hoá theo tiêu chuẩn H.120 Các phương pháp nén dùng DPCM dựa nguyên tắc phát giống khác điểm ảnh (pixels) gần để tìm cách loại bỏ thông tin thừa Tuy nhiên, chất lượng ảnh động không đạt yêu cầu cần thiết Để cải thiện chất lượng ảnh động mà không làm tăng số lượng bit so với yêu cầu, kỹ thuật mã hoá chuyển sang dùng phép biến đổi mà chúng xử lý đồng thời nhóm pixels ta có khái niệm mã hoá khối (block-based codecs) Đối với mã hoá khối ảnh, điểm ảnh (pixel) cần bit để mã hố Các mã hố khối dựa hai nguyên tắc biến đổi bản: Discrete Cosine Transform (DCT) Vector Quantization (VQ) DCT dùng để biến đổi khối ảnh hai chiều có kích thước 8X8 từ miền không gian sang miền tần số Biến đổi DCT tương tự biến đổi DFT (Discrete Fourier Trransform) Các hệ số DCT nhận lượng tử hoá (Quantization) mã hoá (Encode) Các hệ số DCT nhận lượng tử hoá (Quantisation coding) thành tập hệ số đơn giản Mục đích làm giảm số bit đặc trưng cho hệ số Tại mã hoá có bảng mã (code book) SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video bảng số nội bộ, từ chọn từ mã (code word) tương ứng cách tốt cho tập hệ số tạo Quá trình lượng tử hố đồng thời làm trịn giá trị hệ số mức nhỏ hơn, nguyên nhân gây tín hiệu, ảnh khơi phục đạt chất lượng mức độ chấp nhận người xem Trong phương pháp VQ, ảnh chia thành khối có kích thước cố định, bảng mã (code book) xây dựng với số tương ứng với khối ảnh Như vậy, thay cho việc phải truyền khối ảnh, ta cần truyền số tương ứng khối ảnh số tương ứng gần so với khối ảnh cần truyền Hai phương pháp cho kết không khác nhiều chất lượng nén ảnh động, nhiên ngày biến đổi DCT tỏ ứng dụng rộng rãi sơ đồ nén giải nén ảnh tĩnh (theo tiêu chuẩn JPEG) xử lý ảnh động (theo tiêu chuẩn MPEG) 1.2 Các chuẩn nén thường gặp Codec từ viết tắt coder/decoder, làmột mẩu chương trình nhỏ Hay gọi cơng thứcmà chương trình media player cần đến Chương trình đọc dữliệu file media, dùng codec để giải mã chúng đưa cho nội dung xác hình ảnh/âm liệu - q trình giải mã, q trình thơng dụng sống số bình thường Quá trình giải mã gần tương tự có điều theo chiều gần ngược lại Chính loại video/âm có cách ghi theo chuẩn codec mà sử dụng nên việc đọc file video/âm cần codec để giải mã Vậylà ko có khó khăn bạn gặp thơng báo lỗi "ko tìm thấy codec"hoặc "ko thể render" file video Có chuẩn codec MPEG (theo chuẩn MPEG thơi, cịn nhiều codec khác): - MPEG-1: sử dụng VCD thơng thường Đây có lẽ codec video cơbản cũ loại video số Có vẻ sử dụng chuỗicác hình ảnh nén định dạng MPEG để tạo phim (Mình ko quan tâm nólắm nên chả buồn tìm hiểu sâu) - MPEG-2: sử dụng DVD video SVCD - MPEG-4: loại codec tiên tiến Trong có nhiềudòng codec nhỏ khác nhau, chung gốc MPEG-4 lại có quãngđường phát triển khác hẳn Về AVI OGM MPG WMV etc Do có nhiều codec khác tương ứng với rấtnhiều nhà phát triển codec khác nên cách qui ước khác nhau.Có thể tạm chia làm loại: - Loại tập tin loại codec file sử dụng, bao gồm: WMV RM RMVB MPG MPEG MOV SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video - Loại tập tin khơng đính xác loại codec file sử dụng, thể file media: AVI MKV OGM MP4 (cịn nhiều loại không phổ biến) Nhưng, hai loại có điểm chung - chúng container để chứa nội dung mà thơi, cịn việc nội dung nào, cách ghi trình media player mở đọc biết file sử dụng codec Nói cách khác, file media thuộc loại thứ -đi tập tin nói lên chúng file media mà Lấy VD: file "fatcat.avi" file container, bao gồm đoạn video nén với codec DivX âm nén với MP3 Cả video âm có độ dài Khi mở file này, Media player dùng codec DivX để giải mã video codec MP3 để giải mã âm thanh, phát chúng lúc để tạo thành phim có hình lẫn tiếng Từ lý thuyết trên, luận rằng: định làm đĩa hình VCD cầnconvert video dạng MPEG-1 MPEG-2 định làm DVD video 6/18/2009 MPEG-4 MPEG-4 chuẩn-ISO/IEC #14496 Vì XviD theo chuẩn MPEG-2 part nên cịn biết đến MPEG-4 chuẩn ISO #14496-2 (chuẩn MPEG-4 MPEG-4 part 10/AVC (Advanced Video Coding) hay gọi H.264) Thực tế, MPEG-4 chuẩn nén video với nhiều phần mở rộngmà đặc biệt thiết kế để đạt tới chất lượng cao chuẩn nội dung video Chuẩn nội dung chuẩn video giới thật, khơng thiết kế để nén video dựng trình 3D, phim hoạt hình TV thơng thường anime (đó lý video thuộc thể loại nén không tốt sử dụng MPEG-4) Các chuẩn codec thông thường thuộc họ MPEG-4 DivX, 3ivx, QuicktimeMPEG4 XviD Mặc dù chúng họ hàng với nhau, nhiên phim nén codec giải mã bằngcodec anh em Vì chúng có điểm khác khơng thể thay Lấy ví dụ việc xử lý tập tin video có nhiều tỷ frame - việc mà DivX thực được, XviD lại Ví dụ khác XviD có đến điểm warppoint GMC (Global Motion Compensation) DivX có điểm - điều dẫn đến khác biệt cấu trúc phần cứng để giải mã đoạn video nén codec DivX hay XviD (phần cứng để giải mã DivXsẽ nhẹ nhàng hơn) Có số đầu đọc DVD phù hợp chuẩn MPEG-4 đọc video DivX.Để mở rộng khả đọc chuẩn MPEG-4 khác khơng khó khăn mấy.Việc cần thực số thay đổi nhỏ EEPROM liên kết với xử lý video đầu đọc - hay nói cách khác flash lại EEPROM đầu đọc Để nén 2h video chất lượng cao mà nhỏ để đút vừa mộtđĩa CD đòi hỏi thuật toán phức tạp MPEG-4 làm việc cách bỏ bớt thông tin mà người xem không cảm nhận cách biến đổi liệu SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video điểm ảnh video thành cơng thức tốn học gần giống với đoạn liệu Việc biến đổi gần giống đến mức người bình thường khó nhận khác biệt video nguồn video kết Đầu tiên, mảng màu khung hình ban đầu biến đổi thành mộtmảng màu đặc biệt gọi YV12 Mắt người thông thường nhạy cảmvới màu sắc với mức độ sáng tối (liếc nhìn thật nhanh qua bầu trời, bạn cảm nhận rõ trời sáng hay trời tối bầu trời có màu gì) Chính vậy, MPEG-4 đánh giá độ sáng tối hình ảnh quan trọng màu sắc Điều đem đến kết độ sáng tối ghi lại pixel cịn thơng tin màu sắc ghi lại sau pixel Trong codec phổ biến nay, kể đến DivX, XviD H.264 Ngồi cịn số đối thủ cạnh tranh khác (có điều cung cách phát triển ích kỷ) Real Media Window Media Audio/Video DivX Một codec tiếng rất phổ biến nhóm MPEG-4 có nhiều đầu đọc DVD đọc DivX So sánh chuẩn MPEG-2 DivX chất lượng gần DivX trội bit-rate thấp, điều đồng nghĩa với việc có đoạn phim tương tự DVD video nhỏ cỡ 1/2 DVD video Tuy phổ biến so với codec họ gần DivX bắt đầu tỏ yếu thế, đặc biệt trước XviD H264 số codec phát triển khác XviD Xvid codec theo chuẩn MPEG-4 Nó có thểnén file video thành liệu theo chuẩn MPEG-4 lưu trữ dạng AVI OGM MP4 hay khác Bản thân codec khơng thể tự nén video mà phải nhờ cơng cụ khác giúp nó, VD VirtualDub Xvid codec dự án mã nguồn mở GNU-GPL Nghĩa mã nguồn download chỉnh sửa theo ý thích nàocủa họ XviD chuỗi kí tự viết ngược DivX (phát triển công ty thương mại) - có lẽ giống thách thức với codec DivX Trên thực tế cho thấy XviD vượt trội chất lượng nén hẳn DivX RM/RMVB Codec quen thuộc phổ biến Trung Quốc Đây codec riêng từ RealOne Loại cho ảnh phim rõ nét, sáng đẹp dung lượng file nhỏ, đặc biệt có chút nhỉnh AVI SVTH: Nguyễn Trọng Nghĩa Trang GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video 1.3 Chương trình hỗ trợ xem video Với dạng WMV thông thường không gặp khó khăn định dạng phim đuợc Windows Media Player vốn liên với Windows hỗ trợ hoàn toàn đầy đủ Tuy nhiên, dạng phim WMV nhìn chung xấu dạng MPEG AVI thường có bitrate thấp Đổi lại, tệp phim WMV thường nhẹ, thời gian upload download nhanh, phù hợp với người có đường truyền Internet khơng cao khơng có địi hỏi cao chất lượng phim Dạng phim MPEG chia làm hai Mpeg Mpeg Dạng Mpeg thường dùng để làm đĩa VCD mà bạn thấy nhiềutrên thị trường Trung Quốc Việt Nam Dạng có chất lượng hình ảnhtương đối tốt kích thước tệp nặng tệp phim dạng WMV.Nói chung với dạng Mpeg bạn khơng có khó khăn đáng kể bờivì Windows Media Player có sẵn máy bạn hỗ trợ đầy đủ dạng Mpeg1 Dạng Mpeg thường dùng để làm đĩa SVCD chất lượng cao đĩa DVD.Các bạn thông thường bắt đầu gặp khó khăn với dạng Mpeg doWindows Media Player có hỗ trợ Mpeg với điều kiện bạnphải có codec (compressor/decompressor) tương thích Nếu máy tínhcủa bạn có cài sẵn chương trình chun dùng để xem đĩa DVD nhưPower DVD hay InterVideo bạn có sẵn codec tương thích để đọcdạng phim Mpeg Dạng AVI mà bạn gặp bao gồm hai định dạng DivX Xvid.Đây dạng phim nén có chất lượng cao có kích thước tệp khánhỏ Chính dạng nén cao nên có địi hỏi cao tốc độ củamáy tính, hay nói tốc độ CPU Các bạn gặp khó khăn xem phim định dạng AVI (thường có tiếngmà khơng có hình) bạn chưa có codec tương thích Các bạn có thểtải codec DivX Bộ codec cho phép bạn xem hai dạng phim DivX Xvid Tuy nhiên, với định dạng Xvidcác bạn gặp khó khăn (phim khơng có hình) cài bộcodec DivX Trong trường hợp đó, bạn cần cài thêm codec Xvid cóthể lấy Nếu sau bạn chưa xem hồn SVTH: Nguyễn Trọng Nghĩa Trang 10 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video 3.3.3.3 Nén video Nén theo miền thời gian Những dư thừa mặt thời gian hình ảnh giống lặp lặp lại từ khung sang khung khác, ví dụ khung khơng chuyển động chương trình đối thoại truyền hình Vì vậy, để giảm bớt độ dư thừa ta phải tiến hành nén theo miền thời gian Khi mã hoá hoạt động chế độ “giữa khối”, khối phải qua công đoạn hiệu chỉnh chuyển động Quá trình phát chuyển động diễn khối khối tương ứng một ảnh tham chiếu lưu trữ từ trước, sau tạo khối “chênh lệch” “lỗi” thao tác làm giảm bớt liệu Block cách hiệu phải biểu diễn chuyển động mà thơi Tiếp đến công đoạn biến đổi Cosine rời rạc DCT để bắt đầu nén theo miền không gian Khi mã hoá hoạt động chế độ “trong khối”, khối bỏ qua công đoạn hiệu chỉnh chuyển động tới thẳng công đoạn DCT Nén theo miền không gian Dư thừa mặt không gian khối có chứa điểm ảnh tương tự giống hệt Trong nhiều trường hợp điểm ảnh thường khơng thay đổi nhiều Như có nghĩa tần số thay đổi giá trị điểm ảnh khối thấp Những khối gọi khối có tần số khơng gian thấp Bộ lập mã lợi dụng đặc điểm cách chuyển đổi giá trị điểm ảnh khối thành thông tin tần số công đoạn biến đổi Cosine rời rạc * Biến đổi Cosine rời rạc (DCT) Biến đổi Cosine hàm mà làm biến đổi liệu hỉnh ảnh thể hệ toạ độ X-Y sang miền tần số Công đoạn DCT biến đổi giá trị điểm ảnh khối thành mạng lưới gồm hệ số ngang dọc đặt không gian tần số Khi khối ban đầu có tần số không gian thấp, DCT tập hợp lượng tần số vào góc tần số thấp mạng lưới Nhờ vậy, hệ số tần số thấp góc có giá trị cao Một số lượng lớn hệ số khác lại SVTH: Nguyễn Trọng Nghĩa Trang 64 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video mạng lưới hệ số có tần số cao, lượng thấp có giá trị thấp Tại đây, hệ số DC vài hệ số tần số thấp hàm chứa phần lớn thông tin mô tả khối ban đầu Có nghĩa lập giải mã loại bỏ phần lớn hệ số tần số cao cịn lại mà khơng làm giảm chất lượng hình ảnh khối Bộ lập mã chuẩn bị hệ số cho công đoạn cách quét chéo mạng lưới theo đường zig-zag, hệ số DC qua vị trí hệ số ngang dọc tăng dần Do tạo chuỗi hệ số xếp theo tần số Ưu điểm độc đáo H264/MPEG Part 10 chỗ sử dụng biến đổi không gian nguyên(gần giống với DCT) khối x điểm ảnh Ta xét biến đổi nguyên cho cấu trúc x sau: + Cho hệ số DCT khối liệu đầu vào x F, cơng thức xác cho : T X=HFH (1) Trong ma trận H T H ma trận chuyển vị ma trận H Các giá trị a,b, c : Tuy nhiên đơn giản ta cho giá trịc =0.5 để đảm bảo tính trực giao giá trị a, b lựa chọn sau: Do phép nhân trình biến đổi tránh phải kết hợp với trình lượng tử hố, phương trình (1) viết thành : SVTH: Nguyễn Trọng Nghĩa Trang 65 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video Trong : + Ma trận H cho : + Ma trận SF : Ký hiệu biểu diễn phép nhân tích trực tiếp phần tử với phần tử (the element by element multiplication ) ma trận tương ứng So sánh với MPEG-2, ta thấy Slice có khối chứa giá trị hệ số DC khối có giá trị có giá trị khác nhau, khối gán thêm giá trị dự đốn khối, tạo thành chuỗi dịng khối Cịn với MPEG-4 dự đốn xa Chỉ cần khối dự đốn tồn hàng hệ số dự đốn tồn cột bên trái hệ số từ khối * Lượng tử hố Q trình lượng tử hố q trình biến đổi có thơng tin, làm giảm bớt số lượng bít cần thiết để biểu diễn hệ số Dựa hệ số tỷ lệ xích (có thể điều chỉnh mã hoá), lượng tử hoá cân đối tất giá trị hệ số Do phần lớn hệ số từ DCT mang lượng cao giá trị thấp nên lượng tử hoá bắt đầu số giá trị cao đầu chuỗi, theo sau hàng dài hệ số lượng tử hoá Bộ lập mã Entropy theo dõi số lượng giá trị liên tiếp chuỗi mà không cần mã hoá chúng, SVTH: Nguyễn Trọng Nghĩa Trang 66 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video nhờ vật giảm bớt khối lượng liệu chuỗi Để lượng tử hóa hệ số biến đổi, H264/MPEG Part 10 dùng phương pháp lượng tử hóa vơ hướng Các lượng tử hố lựa chọn cho Macro-Block dựa vào tham số lượng tử hoá QP (Quantization Parameter) Các lượng tử hố xếp cho có tăng khoảng 12.5% kích thước bước lượng tử hố QP tăng đơn vị Nhìn chung hệ số biến đổi lượng tử hoá khối quét zig-zag truyền nhờ dùng phương pháp mã hoá Entropy * Mã hoá Entropy Mã hoá Entropy tiêu chuẩn trước MPEG -1,2,4, H.261, H.263 bảng cố định mã hoá biến đổi theo chiều dài (VLC) Các tiêu chuẩn xác định mã hố từ phân bố xác suất video chung thay cho mã Huffman xác đến chuỗi video Tuy nhiên H.264 sử dụng VLC khớp với biểu tượng mã hoá đặc trưng ngữ cảnh Tất phần tử cú pháp, ngoại trừ liệu dư thừa, mã hoá mã Exp-Golomb Để mà đọc liệu dư thừa (các hệ số biến đổi lượng tử hố) ta sử dụng phương pháp quét Zig-Zag (xen kẽ nhau) hay quét (khơng xen kẽ hay phân trường) Để mã hố liệu dư thừa, phương pháp phức tạp gọi CAVLC(mã hố chiều dài biến đổi tương thích theo tình huống) phát triển Ngồi ra, CABAC (mã hố thuật tốn nhị phân tương thích theo tình huống) phát triển Mail Profile High Profile, CABAC có khả mã hoá tốt độ phức tạp cao so với CAVLC + Mã hoá chiều dài biến đổi tương thích theo tình - Contextbased Adaptive Variable Length Coding (CAVLC) Sau biến đổi lượng tử hoá, xác suất hệ số zero hay +/-1 lớn CAVLC xử lý hệ số zero +/-1 theo cách khác với mức hệ số Tổng số số zero +/-1 mã hoá Các hệ số khác mức chúng mã hoá SVTH: Nguyễn Trọng Nghĩa Trang 67 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video + Mã hoá thuật toán nhị phân tương thích theo tình – Context –based Adaptive Binary Arithmetic Coding (CABAC) CABAC dùng thuật toán để mã hố, để đạt hiệu nén tốt hơn, mơ hình có khả cho phần tử biểu tượng cập nhật hình 28 Quá trình xử lý mã hoá CABAC bao gồm bước sau đây: Hình 23: Sơ đồ khối CABAC - Bước 1: Nhị phân hoá; biểu tượng giá trị khơng phải nhị phân (như hệ số biến đổi hay Vector chuyển động) đồ để chuỗi nhị phân trước mã hố thuật tốn Q trình xử lý giống việc xử lý việc biến đổi biểu tượng liệu thành mã hoá chiều dài biến đổi, mã nhị phân mã hoá tốt mã hố thuật tốn trước để truyền - Bước 2: phạm vi làm mơ hình: phạm vi mơ hình có khả cho hay nhiều phần tử biểu tượng nhị phân Một mô hình có khả lựa chọn để việc lựa chọn tương ứng phụ thuộc vào phần tử cú pháp mã hố trước - Bước 3: thuật toán mã hoá nhị phân:Một mã hoá thuật toán mã hoá phần tử theo mơ hình có khả lựa chọn với việc cập nhật mơ hình tiếp sau 3.3.3.4 Bộ lọc tách khối Một đặc trưng riêng mã hoá dựa sở khối nhìn thấy cấu trúc khối Các mép khối cấu trúc lại với độ xác phần tử ảnh (pixel) bên nhìn chung dạng khối (blocking) xem SVTH: Nguyễn Trọng Nghĩa Trang 68 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video nhiễu “artifact” dễ nhìn thấy với phương pháp nén Do nguyên nhân mà H.264/MPEG-4 Part 10 sử dụng lọc tách khối (Deblocking Filter) để làm giảm tượng tách khối, ngăn chặn việc truyền tạp âm mã hoá tích luỹ Tại lọc này, cường độ lọc điều khiển giá trị nhiều phần tử cấu trúc Các chuẩn nén trước khơng sử dụng lọc tách khối việc bổ sung phức tạp, mặt khác việc chia nhiễu khối làm giảm việc sử dụng MC xác nửa phần tử ảnh Một nửa phần tử ảnh thu cách lọc tuyến tính (bilinear filtering)của phần tử ảnh nguyên vẹn bên cạnh phát huy vai trị làm “nhẵn” mã hố tạp âm miền phần tử ảnh nguyên vẹn H.264 sử dụng lọc tách khối để việc thực việc mã hoá cao việc thực phức tạp Việc lọc áp dụng cho mép Block x Macro-Block Quá trình điều khiển lọc tách khối thành phần chói thực cạnh mẫu 16 x 16 (16-sample) trình xử lý lọc tách khối cho thành phần màu thực cạnh mẫu x Bộ lọc tách khối áp dụng tương thích với vài mức(level) sau: - Mức mảng (Slice Level): Mặt mạnh của việc lọc tồn điều chỉnh tới đặc điểm riêng chuỗi video - Mức cạnh khối (Block – edge Level ): mặt mạnh việc lọc phụ thuộc vào việc định dự đoán Inter/Intra, chuyển động khác nhau, việc hiển thị dư thừa mã hoá Block tham gia Đặc biệt việc lọc mạnh áp dụng cho Macro-Block với đặc điểm phẳng để loại bỏ “sự nghiêng nhân tạo (tilting artifacts)” - Mức lấy mẫu (Sample Level): giá trị mẫu điểm bắt đầu phụ thuộc vào lượng tử hóa dừng việc lọc cho mẫu riêng biệt Tính khối bị giảm mà khơng ảnh hưởng nhiều đến độ sắc nét nội dung, kết cải thiện đáng kể chất lượng hình ảnh SVTH: Nguyễn Trọng Nghĩa Trang 69 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video Hình 24: Tác dụng lọc tách khối ảnh nén nhiều Trái: khơng có lọc tách khối; Phải: có lọc tách khối 3.3.4 Kỹ thuật giải mã video Hình 25: Sơ đồ giải mã Video H264/MPEG -4 Part 10 3.3.4.1 Bù chuyển động Bù chuyển động thực việc thiết lập lại khung hình (frame) sở Vector nhận được, liệu khung hình delta nhận (dữ liệu khác hai khung hình liên tiếp) hình ảnh mã hố trước Vì vậy, liệu delta nhận, dịng khung hình thiết lập lại việc cộng liệu khung hình delta với liệu từ khung hình giải mã trước vị trí riêng dẫn Vector chuyển động nhận SVTH: Nguyễn Trọng Nghĩa Trang 70 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video 3.3.4.2 Khôi phục lỗi (Error Resiliency) Một nhiệm vụ quan trọng giải mã làm thích hợp khơi phục lại từ lỗi chắn xảy ra, đặc biệt kết nối qua liên kết dễ xảy lỗi mạng không dây Lỗi đàn hồi bao gồm ba loại kỹ thuật khác sử dụng lỗi phát Việc phát lỗi xảy trường hợp sau: - Trong trường hợp có lỗi, lỗi thực phát hiện; - Trong trường hợp có lỗi, lỗi khơng phát hiện; - Trong trường hợp khơng có lỗi, giải mã biết khơng có lỗi; Nếu lỗi phát hiện, hệ thống giải mã lỗi đàn hồi cố gắng che giấu lỗi Các đặc trưng lỗi đàn hồi bổ sung hệ thống MPEG -4 việc sử dụng tiêu chuẩn thiết lập công cụ cung cấp tiêu chuẩn MPEG -4 để phát lỗi Cho hệ thống MPEG -4 tương thích, có khả làm việc với hệ thống MPEG -4 khác, phải tuân theo cơng cụ chuẩn hố phát lỗi Tuy nhiên, phương pháp mà công cụ bổ sung làm tăng nơi cung cấp Codec, theo cách đó, làm cho tốt xấu thiết lập thuật toán hệ thống tương thích hồn tồn với tiêu chuẩn MPEG -4 Đồng lại ( Resynchronisation) Bộ công cụ Đồng lại cố gắng để đồng lại giải mã dịng bít sau lỗi hay loạt lỗi phát Nhìn chung, liệu điểm đồng trước bị lỗi điểm nơi mà đồng thiết lập lại, loại bỏ Nếu phương pháp đồng lại có ảnh hưởng đến việc xác định số lượng liệu bị loại bỏ giải mã, khả loại cơng cụ khác để khôi phục liệu hay để che giấu ảnh hưởng lỗi phải nâng cấp nhiều Khôi phục liệu (Data Recovery) Sau đồng vừa thiết lập lại, công cụ khôi phục liệu cố gắng khôi phục lại liệu thường bị Các cơng cụ không đơn giản SVTH: Nguyễn Trọng Nghĩa Trang 71 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video mã hoá lỗi, mà kỹ thuật địi hỏi cao mã hố liệu cho loại lỗi đàn hồi Ví dụ, cơng cụ riêng vừa xác nhận nhóm Video (Video Group) mã hoá chiều dài biến đổi ngược RVLC (Reversible Variable Length Codes) Trong phương pháp này, từ mã hoá chiều dài biến đổi thiết kế để đọc hướng tiến hướng lùi Hình 26 minh hoạ cho ví dụ sử dụng RVLC hình Nhìn chung, tình vậy, nơi mà tăng vọt lỗi làm sai lạc phần liệu, tất liệu hai điểm đồng bị Tuy nhiên, hình 26, RVLC làm cho vài liệu khôi phục Chú ý đến thơng số QP HEC hình sau thể trường dành riêng (Field Reserved) phần đầu header gói video cho thơng số lượng tử hố mã hố mở rộng header, theo thứ tự định sẵn Hình 26: Ví dụ Mã hố chiều dài biến đổi ngược 3.4 So sánh hiệu mã hoá Qua q trình tìm hiểu kỹ thuật mã hố H264/MPEG Part 10 MPEG-2, ta thấy số ưu điểm H264/MPEG Part 10 so với MPEG-2 là: • Dự đốn hệ số AC/DC mà hệ số Macro-Block dự đoán từ hệ số Macro-Block bên cạnh từ số liệu thân Macro-Block Việc giải mã Macro-Block phải thay đổi khác với thuật tốn dịng bít đơn giản trước để đưa vào số tính tốn cho hệ số • Các cơng cụ tốn học CAVLC CABAC cho cải thiên đáng kể mã hoá Entropy SVTH: Nguyễn Trọng Nghĩa Trang 72 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video • Trong bù chuyển động MPEG-2 Part hạn chế đến nội suy hai chiều ½ pixel H264/MPEG Part 10 cho phép Vector chuyển động xác đến ¼ pixel sau dùng nội suy nhiều chiều(Bi-cubic) Nội suy nhiều chiều tạo thích hợp cho Macro-Block , giảm lượng lưu ảnh lỗi, làm giảm số bít cần phải mã hố Tuy nhiên nội suy nhiều chiều địi hỏi nhiều thuật tốn hơn, phức tạp thực bù chuyển động cao • Việc dùng lọc tách khối hai phía mã hoá giải mã làm giảm không liên tục biên khối hệ số chất lượng khác sử dụng cho khối cạnh gây Điều làm giảm nhiễu khối thường thấy mã hoá MPEG-2 tốc độ bít thấp nằm vịng bù chuyển động, mã hố giải mã cịn đồng Cơng cụ có ảnh hưởng đến tính phức tạp mã hố giải mã số biên khối thực tế lọc tách khối thực module riêng biệt • Kích thước khối thay đổi từ 16 x 16 xuống x Khi kích thước khối giảm cung cấp độ lợi mã hố mà khơng có tăng đáng kể tính phức tạp • Các Header tương đối lớn MPEG-2(trong Sequence, Picture, Slice ) để biểu diễn OverHead cố định dịng liệu OverHead khơng đáng kể tốc độ Mb/s tốc độ vài trăm Kb/s chúng dễ nhận thấy Vì H264/MPEG Part 10 thực Header hiệu Qua trình thực nghiệm cho tiết kiệm tốc độ bít trung bình H264/MPEG Part 10 so với MPEG-2 khoảng 65% Như hiệu nén H264/MPEG Part 10 tăng lên đáng kể Hiệu nén tăng H264/MPEG Part 10 tạo phạm vi ứng dụng hội kinh doanh SVTH: Nguyễn Trọng Nghĩa Trang 73 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video 3.4.1 Mục đích Video tài liệu quan trọng ngày nay, để làm việc với chúng số ứng dụng mà chúng cần phải nén, nhiều tùy thuộc vào mục đích sử dụng Có số thuật tốn có hiệu suất nén cách khác nhau, số không thông tin giữ thông tin hình ảnh ban đầu, số khác bị thơng tin nén video Một số phương pháp nén thiết kế đặc biệt cho loại video Một số thuật toán, cho phép thay đổi tham số điều chỉnh nén ảnh tốt Mục tiêu em với thực nghiệm nhằm so sánh chuẩn nén thơng dụng ( MPEG-1, MPEG-2, MPEG-4, …) để tìm định dạng tốt ứng dụng (lưu trữ , nén ,truyền tải…) 3.4.2 Những thông số đánh giá chất lượng • MSE xác định khác biệt hai hình ảnh I K có kích cỡ m x n • I (i, j) ; K (i, j) giá trị pixel ảnh I K tương ứng Chúng ta xác định thơng số PSNR: Trong MAX giá trị tối đa có điểm ảnh hình ảnh Khi điểm ảnh biểu diễn cách sử dụng bit MAX = 255 Đối với hình ảnh màu, với ba RGB giá trị cho điểm ảnh, định nghĩa PSNR ngoại trừ MSE tổng giá trị tất khác biệt Giá trị tiêu biểu cho giá trị PSNR cho nén tổn hao video nén khoảng 30 đến 50 dB cao tốt SVTH: Nguyễn Trọng Nghĩa Trang 74 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video Khi hai hình ảnh có giống MSE kết PSNR vô 3.4.3 Bảng đánh giá chung File gốc: File chưa nén, lưu trữ dạng RGB AVI, 60 seconds, 1500 frames, 25 fps, kích thước khung hình720 x 576 CPU: P4, 512 MB RAM, Windows XP Bộ mã hóa: TMPGEnc Cinema Craft Encoder 2.50 LSX MPEG Encoder 3.5 Nero 5.5 with MPEG2/SVCD/DVD Plugin Chuẩn MPEG1 nén MPEG MPEG MPEG2 MPEG Sorens RM 2, (WMV- on, MPEG MPEG4) Cinepa k, MPEG SVCD DVD HDDVD HDTV (WMVH D) Độ 352x240 phân 352x288 giải NTSC/ PAL 480x48 480x57 720x48 0² 720x57 6² 1920x108 640x48 640x48 320x2 720x480 0² 0² 0² 40² 720x576 1280x720 ² Video 1150kbps bitrate ~2000k ~5000k ~20Mbps ~1000k ~1000k ~350k 25Mbps bps bps (~8Mbps) bps bps bps Size/ 10 MB/min 10-20 30-70 ~150MB/ 4-10 4-20 2-5 216MB/ MB/mi MB/mi MB/mi MB/mi MB/m n n (~60MB/ n n in min) Ứng dụng VCD Compu Low ter CPU Usage High Very High Quality Good Great* Excelle Superb* nt* SVTH: Nguyễn Trọng Nghĩa Super high AVI DivX XviD WMV DV MOV RM Quick- Real- AVI Time Media DV Very High High Low High Great* Great* Decent Excellen * t Trang 75 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video KẾT LUẬN Báo cáo “Các chuẩn nén ứng dụng truyền Video mạng Internet” đạt số kết sau: Nêu lên truyền hình mạng Internet cách thức truy cập để xem chương trình truyền hình Tìm hiểu nguyên tắc chung việc nén tín hiệu video nhóm MPEG nén ảnh nén liên ảnh kết hợp với dự đoán bù chuyển độngđầy khác biệt so với chuẩn nén JPEG, M-JPEG… trước Và tập hợp chuẩn nén MPEG, chuẩn nén khác có nhiệm vụ khác đặt Với MPEG-1 nhiệm vụ mã hố âm hình ảnh để lưu trữ thiết bị lưu trữ như: CD-ROM, đĩa quang… sử dụng định dạng trung gian cho nguồn tín hiệu SIF để phù hợp với hệ thống quét truyền hình khác MPEG -2 kế thừa tất tiêu chuẩn MPEG -1 mục đích nhằm hỗ trợ cho việc truyền Video số, MPEG -2 chia ảnh thành Macro-Block sử dụng phương pháp nén ảnh với ảnh I nén liên ảnh kết hợp dự đoán bù chuyển động với ảnh P ảnh B Tỷ số nén MPEG -2 tốt nhiều so với MPEG -1 MPEG -4 với nhiệm vụ nhằm phát triển chuẩn xử lý, mã hoá hiển thị ảnh động, audio tổ hợp chúng MPEG -4 khác so với MPEG khung hình khơng mã hố tồn khung hình mà miêu tả đối tượng riêng rẽ sau mã hố đối tượng MPEG -4 chia Macro-Block thành Block nhỏ Trong bù chuyển động MPEG-2 Part hạn chế đến nội suy hai chiều ½ pixel H264/MPEG Part 10 cho phép Vector chuyển động xác đến ¼ pixel sau dùng nội suy nhiều chiều(Bi-cubic) Và nhiều điểm ưu việt khác Do hiệu nén chuẩn nén MPEG -4 tốt so với MPEG -2 MPEG -7 chuẩn dùng để mô tả nội dung Multimedia, chuẩn cho nén mã hoá audio/ảnh động MPEG-1, SVTH: Nguyễn Trọng Nghĩa Trang 76 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video MPEG-2 hay MPEG-4 MPEG-7 sử dụng ngôn ngữ đánh dấu mở rộng XML(Extansible Markup Language) để lưu trữ siêu liệu Metadata, đính kèm timecode để gắn thẻ cho kiện, hay đồng liệu Với nhiều tính ưu việt trên, hướng đặt là: liệu MPEG -4 sử dụng cho việc lưu trữ MPEG -1 hay dùng cơng nghệ truyền hình số MPEG -2 Thực tế cho thấy, ngồi ứng dụng mơi trường mạng nói chung truyền hình tương tác nói riêng – theo APB(04/2004)- Đài Truyền hình Nhật Bản NHK, TBS, NTV TV Asahi TV Tokyo thức chấp nhận đưa chuẩn H264/MPEG Part 10 cho phát sóng số mặt đất, cho thu di động, khả khả tiềm ẩn chuẩn mã hố trình diễn video H264/MPEG Part 10 Do vậy, đề tài nghiên cứu bước nghiên cứu ứng dụng H264/MPEG Part 10 cho truyền hình số cho thu di động hay cải tạo chất lượng truyền hình Internet để đạt chất lượng hình ảnh tốt truyền hình số SVTH: Nguyễn Trọng Nghĩa Trang 77 GVHD: TS Hoàng Thu Hà Nghiên cứu định dạng nén video TÀI LIỆU THAM KHẢO [1] Lương Mạnh Bá, Nguyễn Thanh Thủy, Nhập môn kĩ thuật nén xử lí hình ảnh, NXB Khoa học kỹ thuật , 1999 [2] Một số luận văn nén video kỹ sư tin học ĐHBK Hà Nội [3] John Miano, Compressed Image , File Formats MPEG, H264, DIVX, XVID… [4] Joannis Pitas, Prentice Hall, 1995, Processing Algorithms [5] Brown, C Wayne and Shepherd, Barry J., Graphics File Formats, Manning, Greenwich, CT, 1995 [6] Website: http://www.JPEG.org/JPEG2000.html “ISO/IEC Standard 15444 JPEG2000- Final Committee Draft” (2001) [7] Website: http://en.wikipedia.org/wiki/Comparison_of_graphics_file_formats [8] Website: http://www.wfu.edu/~matthews/misc/graphics/formats/formats.html SVTH: Nguyễn Trọng Nghĩa Trang 78 ... video dạng MPEG-1 MPEG-2 định làm DVD video 6/18/2009 MPEG-4 MPEG-4 chuẩn-ISO/IEC #14496 Vì XviD theo chuẩn MPEG-2 part nên biết đến MPEG-4 chuẩn ISO #1449 6-2 (chuẩn MPEG-4 MPEG-4 part 10/AVC... -2 bao gồm phần chính: - Các hệ thống: ISO/IEC 13818 -1 - Video: ISO/IEC 13818 -2 - Audio: ISO/IEC 13818 -3 - Các hệ thống kiểm tra: ISO/IEC 13818 -4 2.7.2 Mã hoá giải mã video • Mã hố MPEG -2 :... trữ như: CD-ROM, đĩa quang … Tốc độ mã hoá khoảng 1.5 Mb/s Chuẩn nén MPEG -1 bao gồm phần : - Các hệ thống : ISO/IEC 11172 -1 - Video : ISO/IEC 11172 -2 - Audio : ISO/IEC 11172 -3 - Hệ thống