Thuật toán tìm kiếm nhanh định hướng phần cứng dành cho chế độ dự đoán liên ảnh trong chuẩn nén HEVC

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Đào Bá Anh THUẬT TỐN TÌM KIẾM NHANH ĐỊNH HƯỚNG PHẦN CỨNG DÀNH CHO CHẾ ĐỘ DỰ ĐOÁN LIÊN ẢNH TRONG CHUẨN NÉN HEVC LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ Hà Nội – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Đào Bá Anh THUẬT TOÁN TÌM KIẾM NHANH ĐỊNH HƯỚNG PHẦN CỨNG DÀNH CHO CHẾ ĐỘ DỰ ĐOÁN LIÊN ẢNH TRONG CHUẨN NÉN HEVC Chuyên ngành : Kỹ thuật điện tử LUẬN VĂN THẠC SĨ KHOA HỌC KỸ THUẬT ĐIỆN TỬ NGƯỜI HƯỚNG DẪN KHOA HỌC : TS NGUYỄN VŨ THẮNG Hà Nội – 2019 LỜI NÓI ĐẦU Đồ án thực phịng thí nghiệm thiết kế IC TS Nguyễn Vũ Thắng hướng dẫn Đồ án thực theo nhóm sinh viên TS Nguyễn Vũ Thắng có tồn quyền với kết nghiên cứu thuật tốn tìm kiếm Kim cương rộng Lục giác rộng cơng bố luận văn Hai thuật tốn sử dụng báo dự kiến gửi đăng thời gian tới Em xin chân thành cảm ơn TS Nguyễn Vũ Thắng tận tình hướng dẫn, cung cấp tài liệu tham khảo, kinh nghiệm ý kiến đóng góp quý báu động viên tinh thần suốt trình nghiên cứu thực đồ án Cũng qua đây, em xin gửi lời cảm ơn chân thành đến tập thể phịng nghiên cứu IC Design Lab tận tình giúp đỡ, hỗ trợ em hoàn thành đồ án MỤC LỤC LỜI NÓI ĐẦU DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .5 MỞ ĐẦU .7 CHƯƠNG TỔNG QUAN VỀ CHUẨN NÉN VIDEO HEVC/H.265 1.1 Khái quát nén video chuẩn nén 1.1.1 Mục đích nguyên lý nén video 1.1.2 Một số chuẩn nén video 11 1.2 Tổng quan chuẩn nén H.265/HEVC 12 1.2.1 Giới thiệu chung HEVC ưu điểm HEVC .12 1.2.2 Bộ mã hóa video chuẩn HEVC 14 CHƯƠNG KHỐI ƯỚC LƯỢNG CHUYỂN ĐỘNG ĐIỂM ẢNH NGUYÊN 22 2.1 Tổng quan khối ước lượng chuyển động điểm ảnh nguyên (IME) 22 2.2 Thuật toán Test Zone Search 23 2.3 Thuật toán Kim Cương Xoay (Rotate Wide Diamond) 28 CHƯƠNG THUẬT TOÁN TÌM KIẾM ĐIỂM ẢNH NGUYÊN ĐỊNH HƯỚNG PHẦN CỨNG 33 3.1 Điểm hạn chế thuật tốn tìm kiếm nhanh 33 3.2 Đề xuất thuật tốn tìm kiếm điểm ảnh ngun định hướng phần cứng 34 CHƯƠNG ĐÁNH GIÁ THUẬT TỐN TÌM KIẾM ĐIỂM ẢNH NGUN ĐỊNH HƯỚNG PHẦN CỨNG 41 4.1 Phần mềm mẫu H.265/HEVC – HM 9.1 41 4.1.1 Giới thiệu chung phần mềm HM 9.1 41 4.1.2 Các thông số cần đo cách đo .44 4.2 Cài đặt thuật toán phần mềm HM 9.1 .49 4.3 Kết đo đạc nhận xét 55 4.3.1 Thời gian ước lượng chuyển động điểm ảnh nguyên 57 4.3.2 Chất lượng hình ảnh video sau mã hóa, giải mã 59 KẾT LUẬN .66 TÀI LIỆU THAM KHẢO 67 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT HEVC High Efficiency Video Coding PSNR Peak Signal to Noise Ratio ME Motion Estimation IME Integer Motion Estiomation FME Fragtion Motion Estimation BD Bjøntegaard Delta BD-BR Bjøntegaard Delta Bitrate BD-PSNR Bjøntegaard Delta Peak Signal to Noise Ratio TZS Test Zone Search WD Wide Diamond WH Wide Hexagon JCT-VC Joint Collaborative Team on Video Coding HM HEVC Test Model CTB Coding Tree Block CB Coding Block PB Prediction Block TB Transform Block CABAC Context Adaptive Binary Arithmetic Coding AMVP Advance Motion Vector Prediction DANH MỤC CÁC BẢNG Bảng 4-1 Danh sách video kiểm tra sử dụng 56 Bảng 4-2 Thời gian thực ước lượng chuyển động điểm ảnh nguyên ba thuật toán 57 Bảng 4-3 Lượng thời gian IME tiết kiệm sử dụng thuật toán 58 Bảng 4-4 Tổng hợp kết Bitrate PSNR video tái tạo lại sau mã hóa mã hóa HEVC sử dụng thuật toán Test Zone Search, Kim Cương Rộng Lục Giác Rộng 59 Bảng 4-5 Thông số BD-BR BD-PSNR hai thuật toán đề xuất so sánh với thuật toán TZ Search 65 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1-1 Sơ đồ khối tổng qt mã hóa video chuẩn HEVC [1] 15 Hình 1-2 Các chế độ dự đoán ảnh 17 Hình 1-3 Dự đoán liên ảnh 19 Hình 1-4 Ước lượng chuyển động vùng tìm kiếm ảnh tham chiếu 19 Hình 2-1 Sơ đồ tổng quan khối ước lượng chuyển động 22 Hình 2-2 Lưu đồ thuật toán TZ Search 24 Hình 2-3 Tìm kiếm theo hình Kim cương (TZ Diamond) khoảng tìm kiếm 16 25 Hình 2-4 Tìm kiếm theo hình Vng (TZ Square) khoảng tìm kiếm 16 26 Hình 2-5 Tìm kiếm điểm lân cận 27 Hình 2-6 Các vị trí điểm ảnh cần kiểm tra tìm kiếm mành với iRaster = 28 Hình 2-7 Tìm kiếm theo hình Kim cương xoay khoảng tìm kiếm 16 29 Hình 2-8 Tìm kiếm điểm lân cận 31 Hình 3-1 Lưu đồ thuật toán đề xuất 35 Hình 3-2 Tìm kiếm theo hình Kim Cương Rộng (Wide Diamond) 36 Hình 3-3 Tìm kiếm theo hình Lục Giác Rộng (Wide Hexagon) 37 Hình 3-4 Tìm kiếm điểm lân cận hình Kim cương rộng sử dụng 38 Hình 3-5 Tìm kiếm điểm lân cận hình Lục giác rộng sử dụng 38 Hình 4-1 Solution mã nguồn phần mềm HM 9.1 42 Hình 4-2 Q trình xử lý mã hóa, giải mã video sử dụng phần mềm HM 9.1 43 Hình 4-3 Thứ tự quét điểm ảnh với video tỉ lệ 4:2:0 43 Hình 4-4 Cửa sổ lệnh q trình mã hóa 44 Hình 4-5 Ví dụ đồ thị rate-distortion cách tính thơng số Bjøntegaard Delta 46 Hình 4-6 Lưu đồ thuật tốn bước tìm kiếm điểm bắt đầu 51 Hình 4-7 Lưu đồ thuật tốn bước tìm kiếm theo hình Kim Cương Rộng Lục Giác Rộng 52 Hình 4-8 Lưu đồ thuật tốn bước tìm kiếm mành tìm kiếm lân cận 53 Hình 4-9 Lưu đồ thuật tóa bước tìm kiếm tinh 55 Hình 4-10 Đồ thị Rate-Distortion mã hóa video Traffic với ba thuật tốn 61 Hình 4-11 Đồ thị Rate-Distortion mã hóa video PartyScene với ba thuật tốn 61 Hình 4-12 Đồ thị Rate-Distortion mã hóa video BQMall với ba thuật tốn 62 Hình 4-13 Đồ thị Rate-Distortion mã hóa video BlowingBubbles với ba thuật toán 62 Hình 4-14 Đồ thị Rate-Distortion mã hóa video BQSquare với ba thuật tốn 63 Hình 4-15 Đồ thị Rate-Distortion mã hóa video FourPeople với ba thuật tốn 63 Hình 4-16 Đồ thị Rate-Distortion mã hóa video vidyo3 với ba thuật tốn 64 Hình 4-17 Đồ thị Rate-Distortion mã hóa video SlideShow với ba thuật toán 64 MỞ ĐẦU Ngày nay, ứng dụng đa dạng video tạo nên nhiều yêu cầu khác độ nén chất lượng ảnh Do đó, năm gần đây, kĩ thuật nén video số trở thành phần thiếu cách lưu trữ, liên lạc sử dụng thông tin High Efficient Video Coding (H.265/HEVC) chuẩn nén video tạo nên hợp tác ITU – T Video Coding Experts Group ISO/ IEC Moving Picture Experts Group [1] H.265/HEVC đạt tới cải tiến rõ rệt độ nén với chất lượng ảnh so với chuẩn trước Định dạng nén H.265/HEVC hứa hẹn mang lại khả nén cao gần gấp đôi (tức bitrate giảm nửa) so với codec H.264/AVC dùng phổ biến, giúp giảm băng thơng cần thiết để truyền tải phim, đặc biệt thiết bị di động Tuy nhiên, có đánh đổi thực việc nén video Đó phải lựa chọn yếu tố: Chất lượng hình ảnh, Tỉ lệ nén Độ phức tạp tính tốn Chuẩn nén H.265/HEVC có khả nén cao gấp đơi với chất lượng hình ảnh so với chuẩn nén H.264/AVC trước nhờ sử dụng nhiều kỹ thuật nén phức tạp Dẫn đến việc thời gian xử lý yêu cầu tài nguyên phần cứng nén, giải nén H.265/HEVC lớn nhiều Do đó, vấn đề đặt cần phải tối ưu tài nguyên phần cứng cần sử dụng nén, giải nén video theo chuẩn H.265/HEVC Khối Ước Lượng Chuyển Động Điểm Ảnh Nguyên phần quan trọng mã hóa HEVC Đây khối có nhiệm vụ xác định vector chuyển động, dùng để biểu diễn nội dung khung hình cần mã hóa khung hình tham chiếu mã hóa trước Khối chiếm dung lượng nhớ cao, phần cứng lớn, điều khiển phức tạp, chiếm 21,33% ÷ 25,6% khối lượng tính tốn khối Dự Đoán Liên Ảnh [2] Hiện tại, có nhiều thuật tốn phát triển sử dụng cho trình ước lượng chuyển động điểm ảnh nguyên kể đến Full Search, Three Step Search, Test Zone Search, Square Search, Diamond Search, Hexagonal Search [3] Ngoại trừ Full Search thuật tốn tìm kiếm vét cạn, có khối lượng tính tốn lớn, thuật tốn cịn lại thuật tốn tìm kiếm nhanh, thiết kế Điểm có giá trị chuyển động tốt đặt làm gốc tọa độ mới, tiếp tục tìm kiếm tinh với hình tìm kiếm giống bước tìm kiếm vùng, tiếp tục gọi hàm TEncSearch::xTZ8PointDiamondSearch() TEncSearch::xTZ8PointSquareSearch() Tuy nhiên lúc điều kiện dừng sớm giảm xuống, sau hai vòng liên tiếp khơng tìm điểm tốt dừng tìm kiếm Lưu đồ thuật tốn bước tìm kiếm tinh thể Hình 4-9 54 iDist = X = MvBest_X Y = MvBestY uiBestDistance = Đúng Cost(x1,y1) < Cost(MvBest) MvBest = (x1,y1) uiBestDistance = iDist uiBestRound = Sai uiBestRound >= Đúng Sai iDist = iDist + Đúng iDist