Nghiên cứu phát triển giải pháp thực thi phần cứng cho bộ mã hóa số học nhị phân thích nghi theo ngữ cảnh ứng dụng trong chuẩn HEVC TT

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CƠNG NGHỆ QN SỰ TRẦN ĐÌNH LÂM NGHIÊN CỨU PHÁT TRIỂN GIẢI PHÁP THỰC THI PHẦN CỨNG CHO BỘ Mà HĨA SỐ HỌC NHỊ PHÂN THÍCH NGHI THEO NGỮ CẢNH ỨNG DỤNG TRONG CHUẨN HEVC Chuyên ngành: Kỹ thuật điện tử Mã số: 52 02 03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội – 2021 Cơng trình hồn thành tại: Viện Khoa học Cơng nghệ qn - Bộ Quốc phịng Người hướng dẫn khoa học: PGS TS Trần Xuân Tú Phản biện 1: PGS TS Hoàng Văn Phúc Phản biện 2: PGS TS Lê Nhật Thăng Phản biện 3: TS Vũ Lê Hà Luận án bảo vệ trước Hội đồng đánh giá luận án cấp viện họp Viện Khoa học Công nghệ Quân sự, Hà Nội vào hồi , ngày tháng năm 20 Có thể tìm hiểu luận án tại: - Thư viện Viện Khoa học Công nghệ quân - Thư viện quốc gia Việt Nam DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC Đà CÔNG BỐ 1) Dinh-Lam Tran, Viet-Huong Pham, Kiem Hung Nguyen and Xuan-Tu Tran, “A Survey of High-Efficient CABAC Hardware Implementations in HEVC Standard,” VNU Journal of Computer Science and Communication Engineering, vol 35, no 2, pp 1-21, 2019 2) Quang-Linh Nguyen, Dinh-Lam Tran, Duy-Hieu Bui, DucTho Mai and Xuan-Tu Tran, “Efficient Binary Arithmetic Encoder for HEVC with Multiple Bypass Bin Processing,” in The 7th IEEE International Conference on Integrated Circuits, Design, and Verification, Hanoi, Vietnam, 2017, pp.82-87 DOI: 10.1109/ICDV.2017.8188644 3) Dinh-Lam Tran, Xuan-Tu Tran, Duy-Hieu Bui, Cong-Kha Pham An Efficient Hardware Implementation of Residual Data Binarization in HEVC CABAC Encoder Electronics, vol 9, issue 4, p 684, April 2020 ISSN 2079-9292 (SCI, IF 2.412, Q1) DOI:10.3390/electronics9040684 MỞ ĐẦU Tính cấp thiết luận án Mã hóa nén tín hiệu video có vai trị quan trọng hệ thống truyền thông video, đặc biệt ngày nhu cầu truyền thông video chất lượng cao, định dạng UHD 4K/8K chiếm phần đa lưu lượng liệu trao đổi (>80%) Chuẩn nén video hiệu cao (HEVC) xây dựng để truyền thông hiệu dịch vụ video hệ Quá trình triển khai thực hóa chuẩn HEVC gặp nhiều thách thức, đặc biệt giải pháp phần cứng cho mục tiêu đa dạng hóa ứng dụng HEVC vào dịch vụ video khác Vì nghiên cứu phát triển giải pháp nâng cao hiệu thực thi phần cứng để thực hóa chuẩn HEVC cấp thiết Mục tiêu nghiên cứu luận án Nghiên cứu, phát triển kỹ thuật, giải pháp kiến trúc phần cứng theo định hướng cải thiện hiệu thực thi lượng tiêu thụ tài nguyên phần cứng thiết kế mô-đun thành phần chức mã hóa CABAC chuẩn mã hóa HEVC Các kết chính, ý nghĩa khoa học thực tiễn 3.1 Các kết 1) Đề xuất giải pháp “quét kết hợp số phần tử cú pháp” nhằm giảm công suất tiêu thụ triển khai thiết kế mô-đun tổ hợp phần tử cú pháp độ dư thông tin điểm ảnh 2) Đề xuất giải pháp “biến đổi nhị phân kết hợp” nhằm tiết kiệm tài nguyên phần cứng triển khai thiết kế mô-đun biến đổi nhị phân 3) Đề xuất giải pháp “nhân trước” “hợp tuyến xử lý liệu” nhằm tiết kiệm tài nguyên phần cứng triển khai thiết kế mô-đun mã hóa nhị số học phân thích nghi 3.2 Ý nghĩa khoa học thực tiễn Kết nghiên cứu luận án góp phần hồn thiện nâng cao hiệu giải pháp thiết kế kiến trúc mã hóa CABAC, áp dụng cho ứng dụng video hệ Trong đó, đề xuất giải pháp kiến trúc phần cứng cho mô-đun chức thành phần CABAC theo định hướng cải thiện tiêu chí tài nguyên lượng tiêu thụ Kết nghiên cứu luận án cung cấp nguyên lý, giải thuật chuẩn nén HEVC; tổng hợp đánh giá thành tựu, xu hướng nghiên cứu phát triển liên quan đến đề tài luận án Bên cạnh đó, luận án cung cấp giải pháp mô phỏng, kiểm chứng, đánh giá kết nghiên cứu phát triển nén video Các kết nghiên cứu góp phần phục vụ cơng tác nghiên cứu, phát triển KHCN lĩnh vực nén video thiết kế vi mạch tích hợp, lĩnh vực thu hút nhiều quan tâm giới học thuật nước, đầu tư phát triển Nhà nước tổ chức CHƯƠNG 1: TỔNG QUAN BỘ Mà HĨA SỐ HỌC NHỊ PHÂN THÍCH NGHI THEO NGỮ CẢNH CABAC TRONG CHUẨN HEVC 1.1 Kiến trúc mã hóa video HEVC 1.1.1 Ngun lý mã hóa thơng tin HEVC Mã hóa thơng tin điều khiển chung Biến đổi lượng tử Phân chia thành CTU Định dạng tiêu đề mã hóa CABAC Chuỗi bit mã hóa 0101100 Bộ giải nén Biến đổi ngược Dự đốn nội ảnh Tín hiệu video đầu vào Dự đốn liên ảnh Bộ lọc vịng Tín hiệu video giải nén Ước lượng chuyển động Bộ đệm ảnh giải nén Hình 1.2 Sơ đồ khối chức mã hóa HEVC HEVC thiết kế để mã hóa liệu theo khối điểm ảnh Chuỗi khung hình đầu vào phân chia thành khối liệu điểm ảnh theo kiểu “đơn vị liệu mã hóa phân chia theo hình cây” (CTU: Coding Tree Unit) Dữ liệu video nén theo ngun lý mã hóa độ dư thơng tin sở dự đoán nội ảnh (Intra-Picture Prediction) liên ảnh (Inter-Picture Prediction) Các thông tin dư thực biến đổi sang miền tần số theo nguyên tắc DCT/DST tạo hệ số biến đổi Các hệ số, tham số điều khiển, thông tin tiêu đề đưa vào mã hóa CABAC biến đổi thành luồng bit mã hóa video 1.1.2 Nguyên lý kiến trúc chung mã hóa CABAC chuẩn HEVC Biến đổi nhị phân (Binarizer): Thực phép ánh xạ phần tử cú pháp thành ký hiệu nhị phân Binary Symbol (bin) phép biến đổi nhị phân khác (Fixed Length, Truncated Unary, EGk) Mơ hình hóa ngữ cảnh (CM: Context Modeler): Mơ hình hóa lựa chọn ngữ cảnh để ước lượng xác suất cho bin trước mã hóa Mỗi CM chọn cập nhật sau mã hóa/giải mã Mã hoá số học nhị phân (BAE: Binary Arithmetic Encoder): BAE thực nén bin nhị phân thành chuỗi bit, cho phép phần tử cú pháp (SE: Syntax Element) biểu diễn số lượng nhỏ bit nhị phân, giúp nâng cao hiệu mã hóa BAE hoạt động theo nguyên lý phân đoạn đệ quy (recursive sub-interval division) Hiệu nén định độ xác ước lượng xác suất bin Cập nhật mơ hình ngữ cảnh Dữ liệu thập phân Biến đổi nhị phân bin Mơ hình hóa ngữ cảnh Mơ hình xác suất Mã hóa regular bin Luồng bit tuyến mã hóa liệu thường Phần tử cú pháp Dữ liệu nhị phân tuyến mã hóa liệu bypass Các bít mã Mã hóa bypass bin Các bit mã Mã hóa số học nhị phân Hình 1.13 Sơ đồ khối chức mã hóa CABAC 1.2 Tổng quan tình hình nghiên cứu phát triển mã hóa CABAC tỏng chuẩn HEVC HEVC đạt hiệu nén cao gấp đôi chuẩn H.264/AVC nhờ cải tiến cơng cụ mã hóa để tối thiểu hóa thông tin dư thừa trước truyền Hiệu nén đánh đổi tăng lên khối lượng tính tốn, phức tạp giải thuật kiến trúc phần cứng thực thi mã hóa Trong đó, mã hóa CABAC có độ phức tạp tính tốn lớn đòi hỏi tốc độ xử lý luồng liệu cao Các yếu tố ảnh hưởng trực tiếp đến tiêu chí thơng lượng xử lý (đáp ứng mặt tốc độ luồng video chất lượng cao, thời gian thực), độ phức tạp phần cứng (ảnh hưởng tới tài nguyên thiết kế tiêu thụ nguồn) Vì kết nghiên cứu CABAC nhóm nghiên cứu giới tập trung vào ba định hướng là: (1): nâng cao thông lượng đáp ứng truyền thông thời gian thực luồng video số 4K/8K; (2): tiết kiệm nguồn tiêu thụ cho thiết kế ASIC ứng dụng thiết bị di động dùng pin; (3): hiệu sử dụng tài nguyên phần cứng đảm bảo tính tích hợp nhỏ gọn cho mục tiêu đa dạng hóa ứng dụng CABAC sử dụng để mã hóa thơng tin độ dư điểm ảnh sau phép dự đoán, biến đổi Dữ liệu đầu vào ma trận hệ số biến đổi có kích thước khác (44 ÷ 3232) Trước biến đổi nhị phân mã hóa thích nghi theo xác suất, hệ số “duyệt”để tổ hợp thành tập phần tử cú pháp Kiến trúc phần cứng chức mã hóa CABAC mơ tả hình 1.17 Dữ liệu ảnh (Hệ số biến đổi) Cập nhật mơ hình xác suất Các mơ hình Xác suất xác suất Mơ đun tổ hợp phần tử cú pháp Ctx_idx Phần tử cú pháp Mô-đun biến đổi nhị phân bin Cập nhật Range Cập nhật rLPS trạng thái xác suất MPS (rLPS, MPS) Cập nhật Low Trích xuất bit mã Mơ-đun BAE Chuỗi bit mã hóa CABAC Hình 1.17 Sơ đồ khối kiến trúc phần cứng CABAC 1.2.1 Các giải pháp theo định hướng thông lượng cao Thông lượng mã hóa CABAC đánh giá số lượng bin liệu mã hóa đơn vị thời gian (Mbin/s) Nguyên tắc để cải thiện tham số tăng tần số xung nhịp hệ thống và/hoặc tăng số lượng bin mã hóa đồng thời Các giải pháp kỹ thuật để cải thiện thông lượng kiến trúc xử lý song song (Parallelism) để tăng số lượng bin mã hóa đồng thời, xử lý đường ống (Pipeline) luồng liệu nhằm giảm trễ chu trình mã hóa Do đặc tính phân đoạn chu trình mã hóa, giải pháp thiết kế song song, đường ống áp dụng cho nhiều mức, từ kiến trúc tổng thể CABAC tới mô-đun chức thành phần a) Các thiết kế kiến trúc song song Kiến trúc HEVC mức slice SE Biến đổi nhị phân tách luồng bin Regular bins Encoder [0] Dự đoán, lượng tử, biến đổi Dự đoán, lượng tử, biến đổi Bypass bins Bộ đệm PIPO Encoder [n] Mơ hình hóa xác suất Tra bảng cập nhật Range Mã hóa Entropy [0] Mã hóa Entropy [n] Bộ đệm PIPO Bộ đệm PIPO Ghép luồng bin CABAC encoder [0] Cập nhật CABAC Output chuỗi bit mã CABAC encoder [n] Cập nhật Low Cập nhật CABAC Output chuỗi bit mã Trích xuất bit mã Hình 1.18 Kiến trúc CABAC đa lõi BAE Chuỗi bit mã Hình 1.19 Kiến trúc CABAC đa bin Giải pháp kiến trúc CABBAC đa lõi (Hình 1.18) cho phép mã hóa song song nhiều khối liệu ảnh độc lập, giải pháp CABAC đa bin (Hình 1.19) cho phép mã hóa song song nhiều bypass bin Các giải pháp tăng số bin liệu mã hóa chu kỳ xung nhịp Giá trị SE Chuỗi SE đầu vào Phân loại SE Bộ phân tích, điều khiển SE SE SE SE Mô-đun biến đổi nhị phân Mô-đun biến đổi nhị phân Mô-đun biến đổi nhị phân Mô-đun biến đổi nhị phân Biến đổi nhị phân kết hợp Biến đổi nhị phân EGk Chuỗi bin đầu Lựa chọn phép biến đổi nhị phân Giá trị Cmax Biến đổi nhị phân Truncated Unary Biến đổi nhị phân Truncated Rice Biến đổi nhị phân Fixed Length Chuỗi bin đầu Hình 1.21 Kiến trúc Binarizer đa lõi Hình 1.22 Kiến trúc Binarizer phức hợp Kỹ thuật thiết kế song song áp dụng kiến trúc Binarizer đa lõi (Hình 1.21) để nâng cao thơng lượng Ngồi thiết kế kiểu kiến trúc Binarizer phức hợp cách tăng số lượng mô-đun thành phần, tối ưu hóa kết hợp mơ-đun cho phép xử lý nhiều phần tử cú pháp xung nhịp (Hình 1.22) Kiến trúc đảm bảo thơng lượng cao phức tạp phần cứng kiến trúc đa lõi b) Kỹ thuật thiết kế kiến trúc xử lý đường ống Chuỗi bin mô hình xác suất Bước Bảng tra LPS Bảng tra LPS Bảng tra LPS Bảng tra LPS Cập nhật range Cập nhật range Cập nhật range Cập nhật range Cập nhật low Cập nhật low Cập nhật low Cập nhật low Trích xuất bit mã Trích xuất bit mã Trích xuất bit mã Trích xuất bit mã Bước Bước Bước Chuỗi bit mã hóa Hình 1.24 Kiến trúc BAE mã hóa nhiều bin song song Kỹ thuật xử lý đường ống, kiến trúc song song áp dụng để thiết kế mơ-đun mã hóa thích nghi BAE thơng lượng cao (Hình 1.22), cho phép tăng số lượng bin mã hóa đồng thời cải thiện tần số xung nhịp hệ thống c) Kiến trúc tổ hợp phần tử cú pháp thông lượng cao Mô-đun tổ hợp phần tử cú pháp đầu vào CABAC cần có thơng lượng xử lý cao, đảm bảo liệu đầu vào cho CABAC Kỹ thuật song song áp dụng để thiết kế kiến trúc Tổ hợp phần tử cú pháp bốn lõi song song để tăng thông lượng liệu đầu vào CABAC Kiến trúc có áp dụng kỹ thuật đường ống đảm bảo thông lượng phức tạp phần cứng hiệu xử lý thấp Chu kỳ Chu kỳ -1 Lõi Lõi Lõi Lõi Chu kỳ Tập hệ số biến đổi Tập phần tử cú pháp Hình 1.25 Kiến trúc tổ hợp phần tử cú pháp bốn lõi song song 1.2.2 Định hướng kiến trúc phần cứng hiệu cao a Kiến trúc BAE tiết kiệm nguồn áp dụng giải pháp chặn xung nhịp Do đặc tính thống kê không đồng tỷ lệ tần suất xuất loại bin đầu vào BAE, MPS bin có tỷ lệ, tần suất xuất lớn Kỹ thuật chặn xung nhịp áp dụng kiến trúc BAE để cải thiện mức độ tiêu thụ lượng Kỹ thuật chặn xung nhịp áp dụng ghi đệm tầng cho tuyến xử lý bin tần suất thấp (LPS bin, Bypass bin) b Mô-đun biến đổi nhị phân tiết kiệm nguồn áp dụng toán tử cách ly Giá trị SE Phân loại SE Bộ phân tích, điều khiển Giá trị Cmax enable Biến đổi nhị phân kết hợp enable Biến đổi nhị phân EGk enable Biến đổi nhị phân Truncated Unary enable Biến đổi nhị phân Truncated Rice Biến đổi nhị phân Fixed Length Chuỗi bin đầu Hình 1.27 Chèn tốn tử cách ly thiết kế mơ-đun Binarizer Đặc tính thống kê mức độ tần suất xuất loại liệu áp dụng mô-đun Binarizer để xây dựng giải pháp tiết kiệm nguồn Ngoại trừ mô-đun biến đổi nhị phân Fixed Length Binarization có tần suất xuất lớn, mơ-đun khác hoạt động chèn toán tử cách ly “AND-based Isolation” để tiết kiệm nguồn 1.3 Đặt vấn đề nghiên cứu Vấn đề nghiên cứu đặt đề xuất giải pháp kỹ thuật kiến trúc phần cứng hiệu cho mô-đun chức thành phần mã hóa CABAC Trong tập trung xây dựng giải pháp để cải thiện hiệu qủa sử dụng lượng giảm dung lượng phần cứng thực thi số mô-đun thành phần mã hóa CABAC tổ hợp phần tử cú pháp độ dư thông tin điểm ảnh, biến đổi nhị phân mã hóa số học nhị phân thích nghi Các giải pháp đề xuất góp phần nâng cao hiệu thiết kế phần cứng mã hóa CABAC chuẩn HEVC áp dụng ứng dụng video hệ Để đạt mục tiêu, cần thực nội dung nghiên cứu chính: Một nghiên thuật toán quét hệ số tổ hợp phần tử cú pháp độ dư thông tin điểm ảnh đầu vào CABAC để đề xuất giải pháp giảm tần suất truy cập nhớ nhằm giảm công suất tiêu thụ cho kiến trúc phần cứng Hai nghiên cứu chế tạo tập phần tử cú pháp, nguyên lý biến đổi nhị phân phần tử cú pháp để xây dựng kiến trúc phần cứng thực biến đổi nhị phân nhiều phần tử cú pháp Giải pháp đề xuất giảm dung lượng phần cứng độ phức tạp kết nối nội mô-đun biến đổi nhị phân Ba nghiên cứu kiến trúc mã hóa BAE bốn tầng, đặc điểm mã hóa loại bin để đề xuất kiến trúc mơ-đun BAE có hiệu sử dụng dung lượng phần cứng cao Các kỹ thuật “nhân trước” “hợp tuyến xử lý liệu” áp dụng để giảm tài nguyên phần cứng giảm phức tạp kết nối kiến trúc BAE CHƯƠNG 2: XÂY DỰNG GIẢI PHÁP KIẾN TRÚC PHẦN CỨNG NÂNG CAO HIỆU QUẢ BỘ Mà HÓA CABAC TRONG CHUẨN HEVC 2.1 Kiến trúc phần cứng tổng quát đề xuất cho mã hóa CABAC Dữ liệu ảnh Cập nhật mơ hình xác suất SE Các mơ hình Xác suất xác suất Biến đổi nhị phân Dữ liệu nhị phân regular FIFO Tổ hợp phần tử cú pháp Dữ liệu thập phân bin rLPS Bảng tra rLPS Bảng tra State bypass Cập nhật Range Bypass/regular Cập nhật Low CABAC Trích xuất bit mã BAE Chuỗi bit mã Hình 2.1 Kiến trúc phần cứng mơ đun mã hóa CABAC đề xuất 10 Trong giải pháp quét kết hợp để tổ hợp nhiều phần tử cú pháp áp dụng kiến trúc mô-đun tổ hợp phần tử cú pháp cho mục tiêu tiết kiệm công suất tiêu thụ động (Dynamic Power Consumption) Kiến trúc chức mô-đun tổ hợp phần tử cú pháp độ dư thơng tin điểm ảnh có áp dụng giải pháp tiết kiệm nguồn mô tả hình 2.12 Các phần tử cú pháp dạng cờ biến đổi nhị phân Fixed Length, thực quét kết hợp lần thay lần Phương pháp đề xuất giảm số lần truy cập nhớ liệu giảm cơng suất tiêu thụ động 2.2.4 Giải pháp biến đổi nhị phân cho phần tử cú pháp last_sig_coeff_post a) Thuật toán giải pháp thực thi phần cứng theo chuẩn 0 1 10 10 Bins 3 111 last_sig_coeff_x >1 +1 Len Enb_i +1 111 last_sig_coeff_y Enb_i Bins 110 110 >1 Len (b) (a) Hình 2.14 Kiến trúc mơ-đun biến đổi nhị phân Truncated-Rice: (a)-last_sig_coeff_x (b)-last_sig_coeff_y b) Đề xuất kiến trúc phần cứng biến đổi nhị phân hai phần tử cú pháp tuyến liệu Last_x 10 Last_y 110 111 ‘1’ Enb_i Bins 2 ‘0’ ++ +1 Len >1 Truncated Rice Binarization Hình 2.15 Giải pháp kiến trúc biến đổi nhị phân kết hợp 11 Hai phần tử cú pháp last_sig_coeff_x (b)-last_sig_coeff_y biểu diễn tọa độ vị trí hệ số khác “0” cuối ma trận hệ số điểm ảnh tổ hợp đồng thời trình quét nhớ Hai phần tử cú pháp sử dụng phương pháp biến đổi nhị phân Truncated Rice Vì luận án đề xuất giải pháp ghép hai phần tử tuyến liệu thực biến đổi nhị phân mơ-đun Truncated Rice thay mơ-đun biến đổi nhị phân riêng rẽ Giải pháp đề xuất cho phép tiết kiệm tài nguyên phần cứng thiết kế giảm độ phức tạp kết nối Last_sig_coeff_x Kết hợp hai phần tử cú pháp Last_sig_coeff_y Bins Last_sig_coeff_x/y Biến đổi nhị phân Truncated Rice 2 Vị trí hệ số cuối khác Len Enb Sig_coeff_flag 16 Coeff_abs_level_greater1_flag 16 Coeff_abs_level_greater2_flag Coeff_sign_flag Bins Biến đổi nhị phân Fixed Length Bins FSM Điều khiển chuỗi bin đầu Len Enb Len 16 Enb Biến đổi nhị phân CALR CALRs Bins 16 Len Hình 2.16 Kiến trúc phần cứng chức mô đun biến đổi nhị phân Giải pháp đề xuất áp dụng để thiết kế kiến trúc biến đổi nhị phân hình 2.16 2.3 Mơ-đun mã hóa số học nhị phân thích nghi theo ngữ cảnh 2.3.1 Thuật tốn mã hóa thích nghi theo ngữ cảnh Tính dải giá trị LPS bin: rLPS Tính dải giá trị MPS bin: rMPS = Range - rLPS LPS bin Xác định bin tại? Cập nhật dải giá trị: Range = rLPS Cập nhật giới hạn dưới: Low = Low + rMPS Xác định trạng thái xác suất tại? >0 Dịch trái Low Low = Low