Quá trình nén ảnh thực hiện được là do thông tin trong bức ảnh có tổ chức, có trật tự, vì vậy nếu xem xét kỹ tính trật tự, cấu trúc ảnh sẽ phát hiện và loại bỏ được các lượng thông tin dư thừa, chỉ giữ lại các thông tin quan trọng nhằm giảm số lượng bit khi lưu trữ cũng như khi truyền mà vẫn đảm bảo tính thẩm mỹ của bức ảnh. Tại đầu thu, bộ giải mã sẽ tổ chức, sắp xếp lại được bức ảnh xấp xỉ gần chính xác so với ảnh gốc nhưng vẫn đảm bảo thông tin cần thiết. Tín hiệu video thường chứa đựng một lượng lớn các thông tin dư thừa,
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG -o0o - BÀI TẬP LỚN XỬ LÝ DỮ LIỆU ĐA PHƯƠNG TIỆN Đề tài 14: Kỹ thuật “Scalable Video Coding” nén video ứng dụng Giáo viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Sinh viên thực hiện: Nguyễn Văn Đông Đỗ Tuấn Anh Hoàng Long An Lớp: KTMT & TT - K55 Hà Nội – 05/2015 20101384 20104836 20102595 Mục lục I Phân công công việc Đỗ Tuấn Anh: • Nêu lên nhu cầu cần thiết sử dụng kỹ thuật Scalable Video Coding • Tìm hiểu chung kỹ thuật Scalable Video Coding Hoàng Long An: • Tìm hiểu sơ đồ nén áp dụng kỹ thuật Scalable Video Coding chuẩn MPEG-2 MPEG-4 Nguyễn Văn Đông: • Giải thích tác dụng “Scalable Video Coding” nén video tiên tiến • Thử nghiệm ứng dụng “Scalable Video Coding” II CƠ SỞ VỀ NÉN DỮ LIỆU VIDEO SỰ CẦN THIẾT CỦA NÉN DỮ LIỆU Một chuỗi video số thường chứa lượng lớn liệu, gặp nhiều khó khăn việc lưu trữ truyền băng thông kênh truyền hạn chế Với phát triển khoa học kỹ thuật, ngày sản xuất cảm biến màu có độ phân giải lên đến 16 triệu pixel tương đương với ảnh có độ phân giải 4096x4096 pixels, thực tế chuẩn video dừng lại 1920x1080 pixel, cần phải nén tín hiệu Quá trình nén ảnh thực thông tin ảnh có tổ chức, có trật tự, xem xét kỹ tính trật tự, cấu trúc ảnh phát loại bỏ lượng thông tin dư thừa, lại thông tin quan trọng nhằm giảm số lượng bit lưu trữ truyền mà đảm bảo tính thẩm mỹ ảnh Tại đầu thu, giải mã tổ chức, xếp lại ảnh xấp xỉ gần xác so với ảnh gốc đảm bảo thông tin cần thiết Tín hiệu video thường chứa đựng lượng lớn thông tin dư thừa, chúng thường chia thành loại sau: Có dư thừa thông tin không gian: tương tự điểm ảnh lân cận phạm vi ảnh hay khung video, gọi thừa tĩnh bên frame Có dư thừa thông tin thời gian: tương tự điểm ảnh khung video chuỗi ảnh video, gọi thừa động frame Có dư thừa thông tin phổ: tương tự mẫu liệu thu từ cảm biến camera, máy quay… Có dư thừa tâm thị giác: hạn chế hệ thần kinh thị giác mắt người cảm nhận tần số cao Ưu điểm việc nén tín hiệu: Tiết kiệm băng thông kênh truyền ( thời gian thực nhanh hơn) Kéo dài thời giản sử dụng thiết bị lưu trữ, giảm chi phí đầu tư cho thiết bị lưu trữ Có nhiều phương pháp nén tín hiệu, phương pháp nén cách số hóa tín hiệu tỏ hữu hiệu thời đại, mặt làm giảm lượng thông tin không quan trọng cách đáng kể, mặt khác giúp cho tín hiệu bảo mật QUÁ TRÌNH BIẾN ĐỔI DỮ LIỆU MÀU Hiện cảm biến hỉnh ảnh màu gốc thường lưu giữ với không gian màu RGB, nhiên tiêu chuẩn truyền hình màu lại sử dụng YUV mà không sử dụng RGB cần công thức biến đổi từ không gian màu RGB sang YUV R, G, B Hình 1.1 Quá trình biến đổi màu Một ảnh chuyển từ RGB sang YUV nhằm giảm dung lượng lưu trữ truyền đi, trình giải mã, trước hiển thị ảnh biến đổi ngược lại thành RGB Quá trình biến đổi hai hệ màu tổ chức quốc tế ITU_T quy chuẩn theo công thức sau: Y k R (1 k k )G k B r 0.5 C Y) b (B r b b 1k Y) r 1 k b 0.5 C (R r (1) [1] Với k k k b , k = 0.114, k = 0.299, vào công thức (1) ta được: r b r g Y 0.299R 0.587G 0.114B C (B Y ) 0.169R 0.331G 0.5B 10.5 b 0.114 0.5 (R Y ) 0.5R 0.419G 0.081B Cr 1 0.299 Nên ta có0.29 ma trận biến RGB sang 0.587đổi từ0.114 R YUV sau: Y Cb 0.169 Cr 0.331 0.419 0.5 0.5 0.081 G B Thực tương tự ta suy ma trận biến đổi từ YUV sang RGB sau: R 1.402 Y G 0.714 0.344 Cb CÁC TIÊU CHUẨN LẤY MẪU DỮ LIỆU VIDEO SỐ Kiểu lấy mẫu cho ảnh video vấn đề quan trọng kỹ thuật nén ảnh Một số kiểu lấy mẫu phổ biến minh họa hình 1.2 có đặc điểm sau: Tốc độ lấy mẫu 4:1:1 - tức tương ứng với sáu thành phần chói Y có hai thành phần màu Cb hai thành phần màu Cr Tốc độ lấy mẫu 4:2:2 - tức tương ứng với bốn thành phần chói Y có hai thành phần màu Cb hai thành phần màu Cr Tốc độ lấy mẫu 4:4:4 - thành phần có độ phân giải, với bốn thành phần chói Y có tương ứng bốn thành phần màu Cb bốn thành phần màu Cr Tốc độ lấy mẫu 4:2:0 - kiểu phổ biến, tương ứng với bốn thành phần chói Y có thành phần màu Cb thành phần màu Cr Ví dụ : Một ảnh có độ phân giải 720 × 576 pixels Độ phân giải thành phần Y 720 × 576 pixels mã hóa từ mã bits Nếu sử dụng kiểu lấy mẫu 4:4:4 độ phân giải thành phần Cb, Cr 720 × 576 mẫu mã hóa từ mã bits => Vậy tổng số bits sử dụng để mã hóa ảnh 720 × 576 × × = 953 280 bits Nếu sử dụng kiểu lấy mẫu 4:2:0 độ phân giải thành phần Cb, Cr 360 × 288 mẫu, mã hóa từ mã bits => Vậy tổng số bits sử dụng (720 × 576 × 8) + (360 × 288 × 8) × = 976 640 bits Hình 1.2 Các tiêu chuẩn lấy mẫu phổ biến [1] Trong kiểu 4:4:4, tổng số mẫu cần thiết 12 mẫu, tổng số bit 12 × = 96 bits, trung bình 96/4 = 24 bits/pixel Trong kiểu 4:2:0, tín hiệu quét xen kẽ, cần thiết mẫu, mẫu cho thành phần Y, mẫu cho thành phần Cb, mẫu cho thành phần Cr, tổng số bits cần thiết × = 48 bits, trung bình 48/4 = 12 bits/pixel Ta thấy kiểu lấy mẫu 4:2:0 giảm ½ số lượng bits so với 4:4:4, lý mà kiểu lấy mẫu sử dụng phổ biến CÁC KHÁI NIỆM CƠ BẢN TRONG CÁC CHUẨN NÉN VIDEO Các tiêu chuẩn nén liệu Video định nghĩa kiểu phân cấp cấu trúc liệu sau: Video Sequence (Chuỗi ảnh): bắt đầu với Sequence Header, bao gồm một nhóm khung hình kết thúc với mã End-of-sequence Một chuỗi khung hình liên tục mặt thời gian gọi cảnh (Scene) thường tham chiếu dự đoán hiệu giống với khung A trừ méo ban đầu nén Các nguồn dự đoán , khung mã hóa trước đệm ảnh giải mã sẵn sàng cho dự đoán MB Một giải mã lớp sở đơn giản giải mã khung A0 Một giải mã lớp cải tiến yêu cầu khung A giải mã, tham khảo dự đoán để xây dựng lại khung A1 chất lượng cao Quá trình lặp lại để tạo tầng lớp 0,1,2 , lớp sử dụng khung xây dựng lại từ lớp bên tham khảo dự đoán sử dụng QP thấp dần SVC cung cấp công cụ có khả xây dựng lại lớp cải tiến không cần giải mã đầy đủ thông tin lớp sở (dự đoán liên tầng bắt buộc) H.264/SVC hỗ trợ mở rộng chất lượng hạt trung bình (MGS) hạt thô (CGS) CGS có hiệu với trường hợp đặc biệt mở rộng không gian đó, hệ số tăng lấy mẫu giảm lấy mẫu Có nghĩa độ phân giải lớp cải tiến giống độ phân giải lớp tham khảo Lớp cải tiến mã hóa QP thấp chất lượng cao lớp tham khảo thấp Tất công cụ mã hóa mở rộng không gian mô tả sử dụng để dự đoán khung lớp cải tiến từ khung xây dựng lại lớp tham khảo Một ứng dụng đặc trưng mở rộng chất lượng cung cấp dạng chuỗi mã hóa tốc độ bit mức chất lượng khác nhau, ví dụ chuỗi tốc độ bit thấp trích cho truyền dẫn qua kênh với khả khác Với CGS, số chuỗi có tốc độ bit bị giới hạn số lớp Việc cung cấp số lớn tùy chọn tốc độ bit sử dụng CGS yêu cầu số lớn lớp , điều dẫn tới tăng phức tạp không hiệu để mã hóa Mở rộng chất lượng hạt trung bình (Medium grain quality scalability-MGS) giải giới hạn trích luồng dải tốc độ bit rộng từ luồng bit mở rộng với số nhỏ lớp chất lượng Sử dụng MGS, đơn vị NAL lớp cải tiến bị loại bỏ khỏi luồng bit giải mã đầy đủ Điều làm cho tạo tốc độ bit đầu biến đổi Ví dụ, việc loại bỏ số đơn vị NAL lớp cải tiến làm đáp ứng tốc độ bit đích bất kỳ, với độ dự trữ lỗi xác định Hình 3.10 ví dụ luồng bit thích ứng hoàn chỉnh gồm có NALUs lớp sở NALUs lớp cải tiến Hình 3.10 Mở rộng chất lượng trung bình [5] Hình 3.11 Kết hợp mở rộng chất lượng, không gian thời gian [5] Sử dụng MGS, NALUs lớp nâng cao lựa chọn bị loại bỏ để cung cấp luồng tốc độ bit thấp Điểm chất lượng/ tốc độ bit thấp cung cấp luồng lớp sở, bao gồm NALUs lớp sở SVC đặc tả thông số dự đoán bù chuyển động phải không thay đổi biểu diễn ảnh định lớp sở lớp nâng cao Nó cản trở lệch xây dựng lại bù chuyển động ảnh chủ chốt mã hóa giải mã Sự lệch bị giới hạn tới ảnh chủ chốt MỞ RỘNG ĐƯỢC VỀ KHÔNG GIAN Trong trường hợp mở rộng không gian (hình 3.11), lớp sở có độ phân giải thấp lớp cải tiến liên tiếp giải mã để tạo độ phân giải cao Khung video đầu vào A hạ tần số lấy mẫu mã hóa để tạo dạng A’ độ phân giải thấp Khung A’ mã hóa tạo lớp sở giải mã để gửi đến đầu độ phân giải thấp khung A0 Bộ mã hóa xây dựng lại A0 tăng tần số lấy mẫu để tạo khung tham khảo có độ phân giải ban đầu (A) Khung tham khảo sử dụng tham khảo dự đoán, cho phép mã hóa tạo lớp cải tiến (lớp 1) Tăng tần số lấy mẫu A0 tham khảo dự đoán tốt cho khung A khung, với méo hạ tần số lấy mẫu, mã hóa tăng tần số lấy mẫu Một giải mã lớp cải tiến tăng số mẫu A0 sử dụng để xây dựng lại khung cải tiến giải mã A1 Với mở rộng không gian, trình lặp lại để đưa tầng lớp 0,1,2 Lớp có độ phân giải cao có độ phân giải với chuỗi ban đầu; lớp thấp mã hóa độ phân giải nhỏ dần Lớp sở luồng bit mở rộng không gian mã hóa sử dụng công cụ H.264/AVC Mã hóa MB lớp cải tiến yêu cầu số thay đổi phụ thuộc vào kiểu dự đoán từ lớp thấp H264/SVC tiếp cận tăng tần số lấy mẫu lớp thấp cung cấp vài chế độ dự đoán nhằm cải thiện hiệu suất mã hóa kỹ thuật nén mở rộng không gian Trong lớp cải tiến, mã hóa hình 3.11, có số tùy chọn cho việc dự đoán MB Đầu tiên, tất tùy chọn dự đoán thông thường sẵn sàng Các mode Intra sử dụng mẫu từ khung thời độ phân giải lớp cải tiến, mode inter sử dụng mẫu từ khung xây dựng lại mã hóa trước độ phân giải lớp cải tiến Thứ 2, tùy chọn xa sẵn sàng, sử dụng lớp thấp tăng tần số lấy mẫu, lớp sở hình 3.12, lớp cải tiến độ phân giải thấp lớp tham chiếu Lưu ý rằng, vị trí MB tương ứng với khối nhỏ lớp có độ phân giải thấp Giả sử khối tương ứng 8x8 lớp tham khảo thấp hơn, gọi tỉ lệ 2, hay 2x độ phân giải ngang dọc lớp cải tiến Tuy vậy, hệ số tỉ lệ lớp tùy ý hỗ trợ H264/SVC Các tùy chọn dự đoán: Nâng cấp lớp tham khảo: Với khối Intra, co giãn lớp tham khảo tới độ phân giải lớp (hình 10.8) sử dụng lớp tham khảo tham khảo dự đoán phụ Chế độ sở: sử dụng lựa chọn dự đoán từ khối lớp tham khảo Hình 3.12 Mở rộng chất lượng [5] Hình 3.13 Mở rộng không gian lớp [5] Khi mà cờ mode sở thiết lập 1, phần dư gửi lớp cải tiến lựa chọn dự đoán phụ, tức chế độ dự đoán bên phân vùng, tham chiếu vector chuyển động Nếu khối vị trí lớp tham khảo mã hóa mode intra, khối intra xây dựng lại từ lớp tham khảo tăng tần số lấy mẫu sử dụng lọc đáp ứng xung giới hạn để tạo dự đoán cho MB Dự đoán trừ từ MB để tạo phần dư lớp cải tiến Nếu khối vị trí lớp cải tiến mã hóa mode Inter, khối lớp cải tiến dự đoán sử dụng dự đoán inter , với số ảnh tham khảo nhau, lựa chọn phân vùng tăng số lấy mẫu từ phân vùng lớp tham khảo vector chuyển động chia tỉ lệ từ vector chuyển động lớp tham khảo Dự đoán vector chuyển động từ lớp tham khảo Nếu cờ dự đoán chuyển động đặt 1, phần vùng MB lớp cải tiến dự đoán sử dụng dự đoán inter với số ảnh tham khảo giống khối lớp tham khảo tương ứng khác biệt vector chuyển động (MVD) tạo nhờ sử dụng vector chuyển động tăng tỉ lệ lớp tham khảo dự đoán Dự đoán dư thừa Khi cờ dự đoán dư thừa đặt 1, dư thừa lớp cải tiến dự đoán từ dư thừa lớp tham khảo Đầu tiên, phần dư lớp tham khảo tăng số lấy mẫu sử dụng phép nội suy tuyến tính phần dư tăng số lấy mẫu trừ từ khối lớp cải tiến ban đầu Sau , phần dư lớp cải tiến hình thành việc sử dụng phương pháp mô tả trước đó, tức dự đoán intra/inter thông thường dự đoán mode sở Tín hiệu khác thu được biến đổi , mã hóa truyền thường lệ Cần lưu ý dự đoán lớp bị bắt buộc sau Đầu tiên, MB lớp cải tiến mà mẫu tham chiếu vị trí mã hóa intra (dự đoán intra bắt buộc) Thứ 2, dự đoán intra bắt buộc cố định với dự đoán liên lớp lớp cao Điều có nghĩa MB mã hóa intra lớp tham khảo xây dựng không cần phải xây dựng lại MB mã hóa inter Do lớp giải mã sử dụng vòng bù chuyển động đơn (giải mã vòng đơn), dẫn tới phức tạp giải mã thấp đáng kể so với mã hóa video mở rộng chuẩn sớm MỞ RỘNG KẾT HỢP H.264/SVC cung cấp linh hoạt đáng kể việc xây dựng luồng bit mở rộng, có khả kết hợp mở rộng không gian, thời gian chất lượng Ví dụ hình 3.11, lớp sở tăng mẫu không gian khung tăng mẫu sử dụng tham khảo cho slice B để tạo lớp với mở rộng không gian thời gian V CÁC SƠ ĐỒ NÉN SỬ DỤNG KỸ THUẬT SVC TRONG CHUẨN MPEG-2 VÀ MPEG-4 - SNR Scalability MPEG-2 MPEG-2 bao gồm số profile hỗ trợ tính mở rộng nén video như:SNR scalable, Spatial Scalable,Multi-view(Teamporal scalable)… Một kĩ thuật mở rộng chất lượng SNR Scalability Sơ đồ mã hóa SNR Scalability Sơ đồ giải mã SNR Scalability Các lớp mở rộng tạo từ việc thêm bước lượng tử hóa Bộ mã hóa lượng tử hóa hệ số DCT với độ xác sau mã hóa truyền với dòng bit lớp Tại lớp nâng cao lỗi lượng tử hóa gặp phải lần lượng tử hóa tự lại lượng tử hóa, mã hóa truyền lớp nâng cao Spatial Scalability MPEG-4 Sơ đồ mã hóa Sơ đồ giải mã - Việc mở rộng không gian thực việc sử dụng ảnh giải mã từ tầng dự đoán tầng cao Nếu tầng cao xử lý ảnh độ phân giải lớn ảnh giải mã từ tầng thấp phải chuyển thành độ phân giải lớn - Trong giải mã hình hai vòng lặp mã hóa hoạt động với độ phân giải khác để tạo lớp sở lớp nâng cao - Bộ mã hóa lớp sở tạo dòng bit giải mã giống trường hợp non-scalable - Bộ mã hóa lớp nâng cao cung cấp ảnh giải mã từ tầng cở, dự đoán cho tầng trên.Sự dự đoán bổ sung thêm vào dự đoán bù chuyển động từ tầng - Chức đánh giá W lựa chọn dự đoán từ tầng tầng VI ỨNG DỤNG VÀ THỬ NGHIỆM SVC đặt cho số kịch ứng dụng + Đa giải mã: Cùng nội dung video ban đầu mã hóa, truyền, hiển thị nhiều thiết bị khả chúng khác Ví dụ, phim đưa tới thiết bị đầu cuối, từ thiết bị cầm tay với kết nối mạng tốc độ bit chậm độ phân giải thấp hay tới máy tính có tốc độ kết nối cao độ phân giải tốt Một dải nhân tố giới hạn khả giải mã định bao gồm khả xử lý, tốc độ kết nối độ phân giải hình Một luồng bit mở rộng có khả hỗ trợ phạm vi rộng khả giải mã hiệu + cải tiến/ suy biến: Khi vài ứng dụng truyền hình quảng bá với xu hướng có kênh truyền video cố định định nghĩa rõ ràng, nhiều ứng dụng khác sử dụng kênh thay đổi đáng kể suốt phiên truyền thông Ví dụ ứng dụng IP luồng video hay hội nghị internet trải nghiệm thông lượng kênh biến đổi, phụ thuộc vào yếu tố tổng lưu lượng nghẽn mạng Mã hóa mở rộng cung cấp chế cho việc tối đa hóa chất lượng điểm định với giải mã riêng Ví dụ, máy chủ luồng truyền lớp sở cải tiến cho nguồn video Một giải mã cố nhận lớp Nếu tất lớp nhận thành công, giải mã trích chuỗi chất lượng cao Nếu thông lượng kết nối rớt , giải mã rơi trở chuỗi chất lượng thấp nhận lớp lựa chọn Khi mà lớp sở giải mã thành công, chuỗi video chất lượng hiển thị thời điểm Điều có nghĩa lớp sở quan trọng, có độ ưu tiên cao lớp cải tiến + lưu trữ : Lưu giữ chuỗi video luồng bit mã hóa thích ứng làm có khả giải mã nhanh chóng việc xem trước chuỗi video chất lượng thấp.Việc lấy lớp cở sở đưa dạng chất lượng thấp nhanh để giải mã hiển thị, phù hợp với việc xem trước toàn chuỗi HIỆU SUẤT CỦA MÃ HÓA VIDEO MỞ RỘNG ĐƯỢC Với chuỗi đưa ra, yêu cầu phát dải tốc độ bit, câu hỏi hiệu suất chủ yếu sau: có phải mã hóa mở rộng đưa tốc độ bit nhỏ lớn so với mã hóa simulcast hay không? Ví dụ: Hai dạng mã hóa chuỗi yêu cầu phát qua mạng Những lựa chọn mã hóa dạng chất lượng thấp chất lượng cao cách độc lập sừ dụng AVC phát chuỗi mã hóa lớp sở chất lượng thấp lớp nâng cao, giải mã với lớp sở để đưa dạng chất lượng cao sử dụng giải mã mở rộng Trong trường hợp này, lớp sở dạng mở rộng mã hóa tốc độ bit cao so với simulcast tương ứng Nói chung, thích hợp để cung cấp tham chiếu tốt cho dự đoán lớp nâng cao Tuy vậy, tốc độ bit tổng mở rộng thấp so với tốc độ bit simulcast kết hợp Trong ví dụ này, mã hóa mở rộng hiệu mặt tốc độ bit tổng Báo cáo kỹ thuật MPEG N9577 so sánh hiệu suất SVC AVC [5] Báo cáo mô tả loạt kiểm tra đó, clip video giống mã hóa sử dụng AVC SVC Các clip mã hóa số mức chất lượng độ phân giải Trong trường hợp, clip tốc độ thấp clip tốc độ cao tạo Dùng AVC mã hóa clip tốc độ thấp lớp sở luồng mở rộng Clip tốc độ cao mã hóa luồng AVC riêng lớp nâng cao luồng mở rộng Các tốc độ bit làm việc chọn đến mức chất lượng thị giác chuỗi giải mã xấp xỉ điểm tốc độ thấp cao Chất lượng nhận biết clip đo việc kết hợp điểm đánh giá số người quan sát Các kết lựa chọn từ báo cáo hình 3.14, 3.15 hình 3.16 Mở rộng chất lượng với lớp kiểm tra hình 3.14 cho chuỗi ‘Ofer’ and ‘Paris’ Điểm tốc độ thấp thể 30fps chuỗi CIF mã hóa tốc độ bit thấp Tốc độ lớp sở SVC chất lượng chủ quan, rõ ‘Quality of the highest layer’, cao chút so với luồng tốc độ thấp AVC Điểm tốc độ cao thể tốc độ bit tổng AVC luồng simulcast lớp SVC Rõ ràng trường hợp này, SVC đạt chất lượng giống AVC với tốc độ tổ hợp thấp Hình 3.14 Mở rộng chất lượng ảnh có độ phân giải CIF [5] Như hình 3.14, tốc độ tổng cho hai luồng simulcast cao so với tốc độ tổng cho hai lớp SVC Hình 3.15 kết tương tự cho mở rộng kết hợp thời gian không gian Điểm tốc độ thấp 15fps, video 320x240 điểm có tốc độ cao 30fps, video 640x480 mã hóa hai luồng simulcast lớp SVC sở nâng cao Một lần tốc độ kết hợp lớp SVC thấp so với tốc độ kết hợp luồng AVC, chất lượng thị giác tốt AVC Cuối cùng, hình 3.16 kết cho chuỗi phân giải cao ‘aloha wave’ với mở rộng không gian luồng 1080p/50fps 720p/50fps truyền simulcast AVC Truyền SVC có chất lượng tốt tốc độ bit thấp AVC Chất lượng chủ quan xuất sụt giảm tốc độ độ phân giải tăng Điều thực tế xuất nhiều méo mã hóa chuỗi độ phân giải cao Các kết báo cáo cho thấy điều rõ ràng lợi việc sử dụng SVC để truyền nhiều dạng chuỗi điểm có tốc độ, chất lượng độ phân giải khác Hình 3.15 Mở rộng không – thời gian, độ phân giải CIF->4CIF [5] Hình 3.16 Mở rộng không gian: độ phân giải 720-> 1080 [5] Báo cáo xử lý liệu đa phương tiện Dù mã hóa mở rộng chủ đề nghiên cứu từ năm 1990 sát nhập vào chuẩn sớm MPEG-2 MPEG-4, chưa chấp nhận rộng rãi công nghiệp mã hóa video, có lẽ chi phí độ phức tạp bật tiến kĩ thuật Tuy vậy, có báo cho thấy H264/SVC đề xuất thương mại hấp dẫn với báo cáo gần sản phẩm thị trường hội nghị truyền hình Thử ngiệm ứng dụng Kỹ thuật mã hóa SVC sử dụng ngày nhiều, ví dụ “youtube.com” ta dễ dàng lựa chọn độ phân giải khác chẳng hạn 240p, 360p, 480p, 720p, 1080p Để thử nghiệm khả nén video kỹ thuật mã hóa SVC, ta sử dụng video gốc quay camera với độ phân giải full HD Khi up video lên youtube, sử dụng kỹ thuật nén SVC để đưa độ phân giải khác Qua kết đó, ta đánh giá hiệu giải pháp nén Kết thử nghiệm Frame Frame width(px) height (px) (kbps) (frames/seconds) 1920 1088 16810 29 89,3 Full HD – 1080p 1906 1080 4103 29 22.2 HD – 720p 720 2980 29 16,6 Standard - 480p 848 480 1096 29 6,45 Medium – 360p 636 360 595 29 3,82 Small – 240p 240 240 29 1,95 File gốc 1270 424 Data rateFramerate Page 41 Size (Mb) Báo cáo xử lý liệu đa phương tiện Page 42 Báo cáo xử lý liệu đa phương tiện Tài liệu tham khảo - H Schwarz, D Marpe, T Wiegand, “Overview of the Scalable Video Coding Extension of the H.264/AVC Standard”, IEEE Trans CSVT, September 2007 - Luận văn thạc sĩ : Mã hóa video mở rộng – Nguyễn Thị Huyền Lương – Đại học công nghệ - Bài báo: “IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL 11, NO MARCH 2001” Weiping Li - Video nguồn tự quay - Kỹ thuật nén video có sử dụng SVC youtube Page 43 [...]... lượng so với các chuẩn nén khác H.264/AVC đang được ứng dụng như giải thuật nén chính trong video độ phân giải cao (HD) Mục tiêu chính của chuẩn nén H.264/AVC đang phát triển nhằm cung cấp video có chất lượng tốt hơn nhiều so với những chuẩn nén video trước đây Điều này có thể đạt được nhờ sự kế thừa phần lớn các lợi điểm của các chuẩn nén video trước đó là H.263 và MPEG-2, trong đó bao gồm 4 đặc điểm... gian, thời gian và chất lượng Ví dụ hình 3.11, lớp cơ sở được tăng mẫu về không gian và các khung tăng mẫu được sử dụng như những tham khảo cho các slice B để tạo một lớp với mở rộng không gian và thời gian V CÁC SƠ ĐỒ NÉN SỬ DỤNG KỸ THUẬT SVC TRONG CHUẨN MPEG-2 VÀ MPEG-4 1 - SNR Scalability trong MPEG-2 MPEG-2 hiện nay đã bao gồm một số profile có thể hỗ trợ tính mở rộng được trong khi nén video như:SNR... (enhancement layer) như trong hình 3.1 Trong hình 3.1 bộ giải mã A chỉ nhận từ lớp cơ sở và có thể giải mã một phiên bản chất lượng cơ sở của chuỗi video, trong khi bộ giải mã B nhận thông tin tất cả các lớp và tạo ra chuỗi video với phiên bản chất lượng cao Bộ giải mã A là ví dụ cho các ứng dụng có bộ giải mã đơn giản chỉ có khả năng giải mã lớp cơ sở, tốc độ bit thấp có thể được tách ra và truyền qua phân... như lớp 1 và 2 trong ví dụ, được mã hóa như luồng bit SVC Để giải mã một chuỗi tại điểm có độ phân giải và chất lượng cao hơn, một bộ giải mã SVC giải mã lớp cơ sở và một hoặc nhiều lớp cải tiến Trong ví dụ, giải mã lớp 0 sử dụng bộ giải mã AVC tiêu chuẩn tạo ra đầu ra có chất lượng thấp nhất Giải mã lớp 0 và 1 sử dụng bộ giải mã SVC tạo ra đầu ra chất lượng cao hơn; giải mã lớp 0, 1 và 2 sử dụng một... luồng bit mở rộng không gian được mã hóa sử dụng công cụ H.264/AVC Mã hóa một MB trong một lớp cải tiến yêu cầu một số thay đổi phụ thuộc vào kiểu dự đoán từ lớp thấp hơn H264/SVC đi ra ngoài tiếp cận tăng tần số lấy mẫu lớp thấp hơn và cung cấp vài chế độ dự đoán mới nhằm cải thiện hiệu suất mã hóa của kỹ thuật nén mở rộng không gian Trong lớp cải tiến, bộ mã hóa trong hình 3.11, có một số tùy chọn cho... VIDEO MỞ RỘNG ĐƯỢC TRONG CÁC CHUẨN NÉN TRƯỚC ĐÂY SVC đã được một nghiên cứu hoạt động trong vòng ít nhất 20 năm trở lại đây Trong các tiêu chuẩn nén quốc tế H.262 MPEG-2, H.263 và MPEG-4 đã bao gồm một số công cụ mà có thể hỗ trợ tính mở rộng được H262 hỗ trợ nhiều profile khác nhau như trong hình 3.1 Bảng 3.1 Các profile trong Mpeg2 [6] Trên hình 3.1 ta thấy các profile có khả năng về chất lượng và. .. chuẩn H.264/AVC được trình bày trong Bảng 3.3 2.2 MÃ HÓA VIDEO MỞ RỘNG ĐƯỢC TRONG H.264 Một thách thức cho các ứng dụng nén video hiện nay là truyền phát nhiều dạng của một chuỗi video qua các điểm khai thác khác nhau, ví dụ khác nhau về tốc độ khung, độ phân giải không gian khác nhau, chất lượng khác nhau…Điều này có thể thực hiện nhờ sử dụng mã hóa video thông thường như H.264/AVC để mã hóa độc lập các... và không gian đã cung cấp một bộ giải mã phức tạp gần với mã hóa đơn Hỗ trợ một quá trình giải mã có thể thay đổi, cho phép thay đổi độ suy hao và tính phức tạp của dòng bit mở rộng chất lượng thu được sang dòng bit phù hợp với các profile H.264/AVC không mở rộng 2 MÃ HÓA VIDEO MỞ RỘNG ĐƯỢC 2.1 CÁC ĐẶC ĐIỂM CỦA CHUẨN NÉN VIDEO H.264 H.264/AVC là chuẩn nén ảnh kỹ thuật truyền hình số cho các vùng ứng. .. biến đổi lượng tử và mã hóa entropy Các profile và level trong H.264/AVC Mỗi profile định rõ các công cụ mã hóa, các đặc tính và các giới hạn mà bộ giải mã có thể thực thi Trong phiên bản thứ nhất (năm 2003) cung cấp 3 Profile: Baseline Profile, Main Profile, Extend Profile [5] Baseline Profile: hỗ trợ mã hóa Inter coding và Intra coding (sử dụng I và P slice) Mã hóa entropy được sử dụng là CAVLC Hỗ... tự Macroblock linh hoạt (FMO) và thứ tự các slice tùy ý (ASO) Main Profile: hỗ trợ dự đoán trọng số, sử dụng I, P và B slice Một slice I chỉ chứa các MB loại I, slice P chỉ có thể chứa các MB loại I và loại P, và một slice B có thể chứa MB loại B và loại I Các MB loại I là các MB sử dụng dự đoán nội ảnh cho việc giải mã các mẫu trong slice hiện tại MB loại P là các MB sử dụng dự đoán liên ảnh cho việc ... Giải thích tác dụng “Scalable Video Coding” nén video tiên tiến • Thử nghiệm ứng dụng “Scalable Video Coding” II CƠ SỞ VỀ NÉN DỮ LIỆU VIDEO SỰ CẦN THIẾT CỦA NÉN DỮ LIỆU Một chuỗi video số thường... lên nhu cầu cần thiết sử dụng kỹ thuật Scalable Video Coding • Tìm hiểu chung kỹ thuật Scalable Video Coding Hoàng Long An: • Tìm hiểu sơ đồ nén áp dụng kỹ thuật Scalable Video Coding chuẩn MPEG-2... H.264/AVC không mở rộng 2 MÃ HÓA VIDEO MỞ RỘNG ĐƯỢC 2.1 CÁC ĐẶC ĐIỂM CỦA CHUẨN NÉN VIDEO H.264 H.264/AVC chuẩn nén ảnh kỹ thuật truyền hình số cho vùng ứng dụng đồ họa video tương tác chiều (game,