thiết kế và triển khai các khối con bộ mã hóa video h 265 trên fpga khối ước lượng chuyển động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN NGỌC THẮNG NGUYỄN NGỌC THẮNG KỸ THUẬT ĐIỆN TỬ THIẾT KẾ VÀ TRIỂN KHAI CÁC KHỐI CON BỘ MÃ HÓA VIDEO H.265 TRÊN FPGA KHỐI ƢỚC LƢỢNG CHUYỂN ĐỘNG LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT ĐIỆN TỬ 2011B Hà Nội – Năm 2014 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN NGỌC THẮNG THIẾT KẾ VÀ TRIỂN KHAI CÁC KHỐI CON BỘ MÃ HÓA VIDEO H.265 TRÊN FPGA KHỐI ƢỚC LƢỢNG CHUYỂN ĐỘNG CHUYÊN NGÀNH KỸ THUẬT ĐIỆN TỬ LUẬN VĂN THẠC SĨ KỸ THUẬT KỸ THUẬT ĐIỆN TỬ NGƢỜI HƢỚNG DẪN KHOA HỌC : TS LÊ DŨNG Hà Nội – Năm 2014 MỤC LỤC MỤC LỤC I LỜI CAM ĐOAN IV DANH MỤC CÁC HÌNH VẼ V DANH MỤC CÁC BẢNG BIỂU VIII DANH MỤC CÁC TỪ VIẾT TẮT IX LỜI MỞ ĐẦU CHƢƠNG BỘ MÃ HÓA VIDEO CHUẨN H.265 1.1 Chuẩn nén video H.265 1.1.1 Các công nghệ nén video 1.1.2 Chuẩn nén video H.265/HEVC 1.2 Bộ mã hóa video chuẩn H.265 1.3 Các khối chức mã hóa H.265 11 1.3.1 Một số khái niệm phân vùng ảnh chuẩn nén video H.26511 1.3.2 Dự đoán 17 1.3.3 Biến đổi 19 1.3.4 Lƣợng tử hóa 19 1.3.5 Bộ lọc xóa khối 20 1.3.6 Bù mẫu theo ngữ cảnh (SAO) 22 -I- 1.3.7 Mã hóa entropy 22 1.4 Bộ giải mã video chuẩn H.265 23 CHƢƠNG DỰ ĐOÁN LIÊN ẢNH 25 2.1 Giới thiệu trình dự đoán ảnh 25 2.2 Dự đoán ảnh 26 2.2.1 Các chế độ dự đoán 26 2.2.2 Bộ lọc cho mẫu lân cận 28 2.3 Dự đoán liên ảnh 28 2.3.1 Các chế độ dự đoán 30 2.3.1.1 Chế độ kết hợp 31 2.3.1.2 Dự đoán vector chuyển động 32 2.3.2 Lọc nội suy 33 2.3.3 Ƣớc lƣợng chuyển động bù chuyển động 34 2.3.3.1 Ƣớc lƣợng chuyển động 36 2.3.3.2 Bù chuyển động 37 CHƢƠNG THIẾT KẾ KHỐI ƢỚC LƢỢNG CHUYỂN ĐỘNG 38 3.1 Khối ƣớc lƣợng chuyển động 38 3.1.1 Mô tả chức 38 3.1.2 Sơ đồ khối tổng quát 38 3.1.3 Sơ đồ khối chi tiết 39 -II- 3.1.4 Mô tả tín hiệu vào 40 3.2 Khối Dự đoán vector chuyển động tiên tiến (AMVP - Advanced Motion Vector Prediction) 41 3.2.1 Mô tả chức 41 3.2.2 Sơ đồ khối tổng quát 41 3.2.3 Sơ đồ khối chi tiết 41 3.2.4 Mô tả tín hiệu vào 51 3.3 Khối dự đoán vector chuyển động (MVP – Motion Vector Prediction)52 3.3.1 Mô tả chức 52 3.3.2 Sơ đồ khối tổng quát 52 3.3.3 Sơ đồ khối chi tiết 52 3.3.4 Mô tả tín hiệu vào 53 CHƢƠNG KẾT QUẢ MÔ PHỎNG VÀ PHÂN TÍCH DỮ LIỆU 55 4.1 Thiết kế hệ thống 55 4.1.1 Hệ thống mô phần mềm 55 4.1.2 Hệ thống triển khai bo mạch FPGA 56 4.2 Kết mô phần mềm 57 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 BẢNG ĐỐI CHIẾU THUẬT NGỮ VIỆT – ANH 65 -III- LỜI CAM ĐOAN Trƣớc hết, xin gửi lời cảm ơn chân thành tới tập thể thầy cô Viện Điện tử viễn thông, trƣờng Đại học Bách Khoa Hà Nội tạo môi trƣờng tốt để học tập nghiên cứu Tôi xin cảm ơn thầy cô Viện Đào tạo sau đại học quan tâm đến khóa học này, tạo điều kiện cho học viên có điều kiện thuận lợi để học tập nghiên cứu Và đặc biệt Tôi xin gửi lời cảm ơn sâu sắc đến thầy giáo TS.LÊ DŨNG tận tình bảo, hƣớng dẫn sửa chữa nội dung luận văn Tôi xin cam đoan nội dung luận văn hoàn toàn tìm hiểu, nghiên cứu viết Tất đƣợc thực cẩn thận có định hƣớng sửa chữa giáo viên hƣớng dẫn Tôi xin chịu trách nhiệm với nội dung luận văn Tác giả Nguyễn Ngọc Thắng -IV- DANH MỤC CÁC HÌNH VẼ Hình 1-1: Sơ đồ khối chức tổng quát mã hóa video chuẩn H.265 10 Hình 1-2: Ví dụ chia hình ảnh thành khối mã hóa với hình ảnh đầu vào YCbCr 4:2:0 12 Hình 1-3: Ví dụ chia hình ảnh thành khối mã hóa với hình ảnh đầu vào RGB 12 Hình 1-4: Ví dụ lớp phân đoạn dải phân đoạn .14 Hình 1-5: Cấu trúc mã hóa 15 Hình 1-6: Các chế độ phân vùng khối PU mã hóa ảnh 16 Hình 1-8: Quá trình xử lý lọc xóa khối .20 Hình 1-9: Sơ đồ khối chức giải mã video chuẩn H.265 23 Hình 2-1: Các kiểu tiên đoán ảnh 26 Hình 2-2: 33 hƣớng dự đoán ảnh 27 Hình 2-3: Ví dụ vector chuyển động nguyên không nguyên điểm ảnh29 Hình 2-4: Quy ƣớc dấu độ lớn vector chuyển động 30 Hình 2-5: Vị trí PU lân cận PU đƣợc xét 31 Hình 2-6: Ví dụ PU kết hợp PU lân cận thành khối 2Nx2N 32 Hình 2-7: Vị trí điểm ảnh nguyên không nguyên .34 Hình 2-8: Ƣớc lƣợng chuyển động bù chuyển dộng 35 Hình 2-9: Ƣớc lƣợng chuyển động 36 Hình 3-1: Sơ đồ thiết kế tổng quát khối ƣớc lƣợng chuyển động 38 -V- Hình 3-2: Sơ đồ thiết kế chi tiết khối ƣớc lƣợng chuyển động 40 Hình 3-3: Sơ đồ tổng quát khối AMVP 41 Hình 3-4: Sơ đồ thiết kế chi tiết khối AMVP 42 Hình 3-5: Sơ đồ máy trạng thái cho hoạt động khối I_search .43 Hình 3-6: Vị trí PU lân cận lấy vector chuyển động .45 Hình 3-7: Ví dụ điểm tìm kiếm miền kim cƣơng xoay .45 Hình 3-8: Thuật toán quét mành với khoảng các mẫu 20 điểm ảnh 46 Hình 3-9: Các điểm tìm kiếm lân cận điểm tốt 47 Hình 3-10: Sơ đồ thiết kế khối Nội suy 48 Hình 3-11: Các vị trí 1/2 điểm ảnh cần tìm kiếm 49 Hình 3-12: Các vị trí 1/4 điểm ảnh cần tìm kiếm 50 Hình 3-13: Sơ đồ khối tổng quát khối dự đoán vector chuyển động .52 Hình 3-14: Sơ đồ thiết kế chi tiết khối MVP 53 Hình 4-1: Hệ thống mô phần mềm 56 Hình 4-2: Hệ thống triển khai bo mạch FPGA .57 Hình 4-3: Khối điều khiển Ctrl_me bắt đầu đƣợc hoạt động .58 Hình 4-4: Kết thúc trình đọc liệu PU vào nhớ PU với Iskip_mode=0 .59 Hình 4-5: Kết thúc trình đọc liệu PU vào nhớ PU với Iskip_mode=1 .59 Hình 4-6: Khối MVP xác định vector chuyển động tham chiếu .61 -VI- Hình 4-7: Khối MVP tính SAD .61 Hình 4-8:Khối MVP dự đoán xong vector chuyển động .62 -VII- DANH MỤC CÁC BẢNG BIỂU Bảng 1-1: Độ sâu lớn cấu trúc chuyển đổi 16 Bảng 1-2: Bảng chọn giá trì β tc theo QP 22 Bảng 2-1: Mối liên hệ hƣớng dự đoán ảnh chế độ tƣơng ứng thành phần màu 27 Bảng 2-2: Ngƣỡng cho phép khối chuyển đổi có kích thƣớc khác 28 Bảng 2-3: Hệ số lọc cho thành phần chói 33 Bảng 2-4: Hệ số lọc cho thành phần màu 34 Bảng 3-1: Bảng mô tả tín hiệu khối Ƣớc lƣợng chuyển động .40 Bảng 3-2: Bảng giải thích trạng thái máy trạng thái khối I_search .43 Bảng 3-3: Bảng liệt kê vị trí cần tìm trạng thái SEARCH_NEIGHBOR 47 Bảng 3-4: Bảng giải thích tham số đƣợc sử dụng 50 Bảng 3-5: Bảng mô tả tín hiệu vào khối AMVP 51 Bảng 3-6: Bảng mô tả tín hiệu vào khối MVP 53 -VIII- 3.3 Khối dự đoán vector chuyển động (MVP – Motion Vector Prediction) 3.3.1 Mô tả chức 3.3.2 Sơ đồ khối tổng quát Kích thƣớc ảnh Vector chuyển động dự đoán Dữ liệu PU Dữ liệu ảnh tham chiếu Dự đoán vector chuyển động (MVP) PU lân cận tham chiếu Vector chuyển động tham chiếu Hình 3-13: Sơ đồ khối tổng quát khối dự đoán vector chuyển động 3.3.3 Sơ đồ khối chi tiết Khối MVP đƣợc chia thành ba khối (Hình 3-14) : Tính địa vector tham chiếu (CRMV – Calculate Reference Motion Vector), đọc liệu PU tham chiếu tính SAD Dựa vào thông tin kích thƣớc vị trí PU tại, khối CRMV tính địa PU lân cận cần lấy thông tin vector chuyển động (Hình 2-5) Tùy chế độ mã hóa, CRMV đƣa đƣợc số lƣợng vector chuyển động tham chiếu (chi tiết mục Các chế độ dự đoán mã hóa liên ảnh): với chế độ dự đoán liên ảnh tiên tiến số lƣợng vector chuyển động tham chiếu hai, chế độ khác bốn 52 Vector chuyển động dự đoán Kích thƣớc ảnh Tính địa vector tham chiếu PU lân cận tham chiếu Dữ liệu PU Dữ liệu ảnh tham chiếu Vector chuyển động tham chiếu Đọc liệu PU tham chiếu Tính SAD Hình 3-14: Sơ đồ thiết kế chi tiết khối MVP Sau lấy đƣợc vector chuyển động tham chiếu, CRMV gửi địa PU tham chiếu đến khối Đọc liệu PU tham chiếu để đọc liệu PU cần sử dụng từ nhớ ảnh tham chiếu, phục vụ cho việc tính SAD PU Tiếp theo, khối Tính SAD thực tính SAD PU tham chiếu gửi lại giá trị SAD tính đƣợc cho khối CRMV Khi có SAD PU tham chiếu, CRMV xác định đƣợc PU tham chiếu gần giống với PU cho đƣợc vector chuyển động dự đoán vị trí PU lân cận tham chiếu 3.3.4 Mô tả tín hiệu vào Bảng 3-6: Bảng mô tả tín hiệu vào khối MVP tín hiệu kích thƣớc ảnh chiều vào liệu PU vào liệu ảnh tham chiếu vào mô tả kích thƣớc ảnh mã hóa, tính pixel thông tin PU (vị trí tọa độ ảnh, kích thƣớc) liệu điểm ảnh PU liệu PU tham chiếu để so sánh với PU 53 Vector chuyển động tham chiếu PU lân cận tham chiếu vào vector chuyển động dự đoán ra thông tin vector chuyển động PU lân cận PU mã hóa vị trí PU lân cận đƣợc lấy vector chuyển động làm vector chuyển động dự đoán cho PU vector PU lân cận đƣợc chọn 54 CHƢƠNG KẾT QUẢ MÔ PHỎNG VÀ PHÂN TÍCH DỮ LIỆU 4.1 Thiết kế hệ thống 4.1.1 Hệ thống mô phần mềm Phƣơng pháp mô : - Sử dụng phần mềm mô Modelsim SE 6.5d - Sử dụng ngông ngữ lập trình verilog để mô tả hoạt động khối ƣớc lƣợng chuyển động - Sử dụng liệu tham chiếu từ phần mềm HM [3] - Tiến hành mô phỏng, kiểm tra chức khối khối ƣớc lƣợng chuyển động trƣớc ghép lại với - Thực kiểm tra chức biểu đồ thời gian - Xây dựng testbench với trƣờng hợp đặc biệt để kiểm tra : thay đổi vị trí kích thƣớc PU, kích thƣớc ảnh, chế độ dự đoán … - Để thuận tiện kiểm tra trình thiết kế code tham số hay thay đổi trình kiểm tra đƣợc khai báo dƣới dạng Parameter đƣợc để riêng file Khi muốn giá trị tham số thay đổi ta cần thay đổi kết chúng số chỗ làm thay đổi tất nơi có Hình 4-1 đƣa sơ đồ thiết kế hệ thống mô phỏng, kiểm tra phần mềm Dữ liệu đƣa vào khối Ƣớc lƣợng chuyển động đƣợc lấy từ phần mềm tham chiếu HM Các nhớ Cur_buffer, Ref_buffer, MV_buffer lần lƣợt lƣu trữ liệu ảnh tại, ảnh tham chiếu vector chuyển động tham chiếu Khối Ƣớc lƣợng chuyển động sử dụng liệu ba nhớ để thực chức Kết khối Ƣớc lƣợng chuyển động đƣợc gửi đến khối Compare Khối Compare thực kiểm tra kết đầu điểm cần kiểm tra khối Ƣớc lƣợng chuyển động Trong đó, khối Compare chứa kết trình ƣớc lƣợng chuyển động phần mềm HM 55 Cur_buffer Ref_buffer Ƣớc lƣợng chuyển động Compare MV_buffer Hình 4-1: Hệ thống mô phần mềm 4.1.2 Hệ thống triển khai bo mạch FPGA Phƣơng pháp triển khai : - Sử dụng phần mềm Xilinx ISE để chuyển code sang mã máy - Sử dụng bo mạch FPGA Virtex - Dứ liệu tham chiếu đầu vào đầu đƣợc lƣu vào thẻ nhớ - Sử dụng ngôn ngữ lập trình C để giao tiếp thẻ nhớ bo mạch FPGA - Thực kiểm tra kết số điểm trình thực chức đầu khối Ƣớc lƣợng chuyển động Sau thực kiểm tra mô phần mềm cho kết đúng, code khối ƣớc lƣợng chuyển động đƣợc biên dịch mã máy phần mềm Xilinx ISE nạp xuống bo mạch FPGA Virtex (chip FPGA thực chức khối ƣớc lƣợng chuyển động) Dữ liệu phần mềm tham chiếu đƣợc lƣu vào thẻ nhớ bao gồm liệu ảnh tại, ảnh tham chiếu, vector chuyển động tham chiếu, kết trình ƣớc lƣợng chuyển động Dữ liệu đƣợc đọc từ thẻ nhớ vào chip FPGA để thực chức khối Ƣớc lƣợng chuyển động Kết 56 đƣợc ghi lại vào thẻ nhớ thực so sánh với kết phần mềm HM để đƣa kết luận việc triển khai bo mạch có hƣớng điều chỉnh cho phù hợp (Hình 4-2) Chip FPGA (Ƣớc lƣợng chuyển động) Thẻ nhớ Hình 4-2: Hệ thống triển khai bo mạch FPGA 4.2 Kết mô phần mềm Trong trình triển khai khối ƣớc lƣợng chuyển động, em có gặp số khó khăn triển khai xuống bo mạch FPGA Do vậy, em xin trình bày số kết mô khối Ƣớc lƣợng chuyển động phần mềm Modelsim Sau đƣợc cấp phép hoạt động, khối điều khiển Ctrl_me tiến hành đọc liệu PU từ nhớ ảnh vào Bộ nhớ PU bên khối ƣớc lƣợng chuyển động Đồng thời, khối Ctrl_me xác định đƣợc kích thƣớc PU Hình 4-3 đƣa biểu đồ thời gian khối Ctrl_me bắt đầu đƣợc phép hoạt động Chu kỳ sau đƣợc phép hoạt động, Ctrl_me xác định kích thƣớc PU (pu_w, pu_h) dựa vào chế độ mã hóa đầu vào (part_mode) Chu kỳ tiếp theo, Ctrl_me tiến hành đọc liệu từ nhớ ảnh tại, đƣa tín hiệu ctrl2cbuf_en không Khi có liệu từ nhớ ảnh đến (cbuf2ctrl_ready = 57 1) Ctrl_me thực ghi liệu vào nhớ PU (kéo hai tín hiệu ctrl2pu_cs ctrl2pu_we không) Quá trình tiếp tục đọc hết liệu PU từ nhớ ảnh Bắt đầu hoạt động Bắt đầu đọc liệu ghi liệu vào nhớ Pu_cur Kích thƣớc khối PU Hình 4-3: Khối điều khiển Ctrl_me bắt đầu hoạt động Hình 4-4 Hình 4-5 thể biểu đồ thời gian hoạt động khối Ctrl_me đọc hết liệu PU từ nhớ ảnh lƣu vào nhớ PU Ở chế độ sử dụng dự đoán ảnh tiên tiến (Iskip_mode = 0), chu kỳ nhớ ảnh thông báo hết liệu PU (cbuf2ctrl_done = 1), khối điều khiển Ctrl_me không sử dụng nhớ PU (kéo tín hiệu ctrl2pu_cs ctrl2pu_we lên một) cho phép khối dự đoán ảnh tiên tiến (AMVP) hoạt động cách đƣa tín hiệu en_amvp lên (Hình 4-4) Còn trƣờng hợp không sử dụng chế độ dự đoán ảnh tiên tiến (Iskip_mode=1) Hình 4-5, sau nhận đủ liệu PU từ nhớ ảnh tại, khối Ctrl_me đƣa tín hiệu ctrl2mvp_en lên chu kỳ phép khối dự đoán ảnh MVP hoạt động mà không cấp phép cho khối AMVP hoạt động Kết mô thu đƣợc cho hoạt động khối Ctrl_me hoàn toàn phù hợp với thiết kế đƣa 58 Chế độ dự đoán vector chuyển động tiên tiến Hết liệu PU Kết thúc việc ghi liệu vào Pu_cur Cho phép khối AMVP hoạt động Hình 4-4: Kết thúc tr nh đọc liệu PU vào nhớ PU với Iskip_mode=0 Chế độ kết hợp Hết liệu PU Kết thúc việc ghi liệu vào Pu_cur Cho phép khối MVP hoạt động Hình 4-5: Kết thúc tr nh đọc liệu PU vào nhớ PU với Iskip_mode=1 59 Khối dự đoán vector chuyển động (MVP) tiến hành dự đoán vector chuyển động cho PU dựa vào PU lân cận Dựa vào vị trí kích thƣớc PU tại, MVP xác định đƣợc PU lân cận cần lấy vector tham chiếu khối MVP tiến hành đọc liệu từ nhớ vector chuyển động tham chiếu, sau kiểm tra điều kiện thỏa mãn vector Hình 4-6 thể biểu đồ thời gian khối MVP xác định vector chuyển động tham chiếu Đầu tiên, dựa vào vị trí (Ipu_x, Ipu_y) với kích thƣớc (pu_w, pu_h) PU khối Tính địa vector tham chiếu (CRMV) MVP lần lƣợt xác định đƣợc vị trí PU lân cận cần tham chiếu vector chuyển động Vị trí PU tham chiếu nhƣ Hình 2-5, có đƣợc vị trí PU lân cận CRMV thực đọc liệu vector chuyển động PU từ nhớ vector tham chiếu (đƣa tín hiệu mvp2mv_read lên chu kỳ gửi địa PU tham chiếu (mvp2mv_x, mvp2mv_y)) Thứ tự PU tham chiếu cần đọc theo nhƣ phần mô tả Hình 2-5 Sau đọc đủ liệu vector chuyển động tham chiếu (tín hiệu readvt_done=1) CRMV đẩy liệu vector tham chiếu (mv_ref) đƣa tín hiệu mv_ready lên khối Đọc liệu PU tham chiếu hoạt động Tiếp theo, khối Đọc liệu PU tham chiếu tính toán địa PU tham chiếu cần đọc liệu yêu cầu nhớ ảnh tham chiếu đọc liệu để thực tính SAD Trong Hình 4-7, khối SAD tiến hành đọc liệu PU (đƣa tín hiệu mvp2puc_cs mvp2puc_read 0) sau có tín hiệu đọc liệu PU tham chiếu (mvp2ref_read=1) từ khối Đọc liệu PU tham chiếu gửi đến Tại chu kỳ có liệu ảnh tham chiếu đến địa chuyển đến nhớ PU (mvp2puc_addr) đƣợc tăng lên đơn vị để lấy liệu Đồng thời, giá trị SAD đƣợc cập nhật dần đọc hết liệu cần tính toán PU PU tham chiếu (tín hiệu ref2me_done = 1) Khi cờ thông báo hoàn thành việc tính toán SAD (sad_done) đƣợc bật lên trả lại giá trị SAD tính đƣợc cho khối CRMV 60 Thông tin vector tham chiếu Có liệu vector chuyển động Địa vector tham chiếu nhớ Đọc thông tin vector tham chiếu Đã lấy đủ vector tham chiếu Đấy liệu vector tham chiếu cho khối sau Hình 4-6: Khối MVP xác định vector chuyển động tham chiếu Đọc liệu PU tham chiếu Hết liệu PU tham chiếu Đọc liệu PU Có giá trị sad Giá trị sad tính đƣợc Hình 4-7: Khối MVP tính SAD Quá trình tính toán SAD vector chuyển động tham chiếu đƣợc tiếp tục thực với vector chuyển động tham chiếu hết vector chuyển động tham chiếu Hình 4-8 đƣa sơ đồ thời gian hoạt động khối MVP dự đoán xong vector chuyển động dựa vào PU lân cận Khi kết thúc trình dự đoán, MVP đƣa tín hiệu mvp_done lên chu kỳ đồng thời đƣa giá trị vector chuyển động dự đoán đƣợc (mvp_mvx, mvp_mvy) với 61 số PU lân cận đƣợc lựa chọn (Omerge_idx) Dựa vào kết mô khối MVP thu đƣợc thấy phù hợp với trình thiết kế ban đầu Khối MVP hoạt động thời gian đƣa kết nhƣ mong muốn Vector chuyển động dự đoán đƣợc Tín hiệu báo MVP kết thúc Chỉ số ứng viên đƣợc chọn Hình 4-8: Khối MVP dự đoán xong vector chuyển động 62 KẾT LUẬN Cùng phát triển thông tin liên lạc, yêu cầu lƣu trữ truyền liệu hình ảnh ngày cao tỉ lệ nén nhƣ chất lƣợng hình ảnh Do đó, kỹ thuật mã hóa giải mã video ngày đƣợc phát triển để đáp ứng nhu cầu ngƣời Luận văn đƣa kiến thức mã hóa giải mã video, nhƣ chuẩn mã hóa video H.265 Bên cạnh kiến thức trình dự đoán ảnh theo chuẩn mã hóa video H.265 Việc triển khai trình nén video xuống phần cứng làm tăng hiệu tốc độ xử lý liệu Do vậy, luận văn đề cập đến vấn đề triển khai việc xử lý liệu video bo mạch FPGA mà khối Ƣớc lƣợng chuyển động mã hóa video H.265 Hiện tại, gặp khó khăn việc triển khai FPGA nên luận văn dừng lại việc mô phần mềm Modelsim số khối khối Ƣớc lƣợng chuyển động Mục tiêu thời gian tới hoàn thiện khối Ƣớc lƣợng chuyển động triển khai xuống bo mạch FPGA đƣợc Sau tối ƣu hóa tốc độ để làm giảm thời gian xử lý liệu khối Ƣớc lƣợng chuyển động, đồng thời làm giảm thời gian mã hóa video 63 TÀI LIỆU THAM KHẢO [1] B Bross, W.-J Han, J.-R Ohm, G J Sullivan, T Wiegand, (10/2012) “High efficiency video coding (HEVC) text specification draft 9”, JCTVC-K1003, JCT-VC [2] F Urban, R Poullaouec, JF Nezan, O Deforges (2007), “H.264 FRACTIONAL MOTION ESTIMATION REFINEMENT: A Real-time and Low Complexity Hardware Solution for HD Sequences”, EURASIP [3] Gary J Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand (12/2012), “Overview of the High Efficiency Video Coding (HEVC) Standard”, IEEE transactions on circuits and systems for video technology, vol 22, no 12, [4] H Samet (6/1984), “The quadtree and related hierarchical data structures,” Comput Survey, vol 16, no 2, tr 187–260 [5] Iain E Richardson (2010), The H.264 Advanced Video Compression Standard, John Wiley & Sons Ltd, The Atrium, Southern Gate, Chichester, West Sussex, PO19 8SQ, United Kingdom [6] ITU – T (04/2013), Series H: Audiovisual and Multimedia Systems, Infrastructure of Audiovisual Services – Coding of moving video, High efficiency video coding [7] Sherief M Hashimaa, Imbaby I Mahmoud, Atef A Elazm (11/2009), “Hardware Implementation of Diamond Search Algorithm for Motion Estimation and Object Tracking”, Faculty of Electronic Engineering, Menoufiya University, Menouf, Egypt [8] Zhengyan Guo, Dajiang Zhou, Satoshi Goto (2012), “An Optimized MC Interpolation Architecture for HEVC”, IEEE [9] http://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/, truy cập lần cuối 26/05/2013 64 BẢNG ĐỐI CHIẾU THUẬT NGỮ VIỆT – ANH Bộ giải mã Decoder Bộ mã hóa Encoder Bù chuyển động Motion Compensation Dự đoán chuyển động Motion Estimation Dự đoán liên ảnh Inter Prediction Dự đoán ảnh Intra Prediction Kiến trúc Architecture Lớp mạng trừu tƣợng Network Abstraction Layer Thực Implementation Khung Frame Điểm ảnh Pixel Dải Slice Vector chuyển động Motion vector Kim cƣơng Diamond Mã hóa liên ảnh Inter coding Mã hóa ảnh Intra coding Tốt Best match Thành phần chói Luma Thành phần màu Chroma Chế độ kết hợp Merge mode Bộ lọc xóa khối Deblocking filter 65 Bù mẫu theo ngữ cảnh Sample Adaptive filter Khối mã hóa Coding Tree Block Khối mã hóa Coding Unit Khối dự đoán Prediction Unit Khối chuyển đổi Transform Unit Ứng viên Candidate Tổng sai lệch tuyệt đối Sum of Absolute Difference Tổng sai lệch bình phƣơng Sum of Square Error Tổng sai lệch tuyệt đối đƣợc Hamadard Transformed Sum of chuyển đổi Hamadard Absolute Difference 66 [...]... rất khó thỏa mãn với các ứng dụng thời gian thực Để có thể hiểu biết h n về chuẩn nén này, em đã chọn đề tài Thiết kế và triển khai các khối con bộ mã h a video H. 265 trên FPGA Trong luận văn này em xin trình bày về quá trình thiết kế và triển khai khối Ƣớc lƣợng chuyển động trên bo mạch FPGA 1 TÓM TẮT LUẬN VĂN Các khối con trong bộ mã h a video H. 265 đƣợc thiết kế và triển khai trên bo mạch FPGA. .. 1.2 Bộ mã h a video chuẩn H. 265 Giống nhƣ các chuẩn nén video trƣớc đó, chuẩn H. 265 không đƣa ra thiết kế của bộ mã h a/ giải mã video mà chỉ định nghĩa cú pháp của một dòng bit video đã mã h a cùng với phƣơng thức để giải mã dòng bit [6] Trong thực tế, một bộ mã h a và giải mã tƣơng thích cần bao gồm các khối chức năng nhƣ trong H nh 1-1 [6] Ngoại trừ khối Bộ lọc giải khối và SAO, còn lại các khối chức... chế độ mã h a (mã h a liên ảnh, mã h a trong ảnh, hay không đƣợc mã h a) và đƣợc biểu diễn là một lá trong cấu trúc cây chia bốn [3] Khối CU luôn luôn là các khối h nh vuông và có kích thƣớc thay đổi từ 8x8 tới kích thƣớc bằng với khối cây mã h a Việc mã h a và không mã h a đều đƣợc chấp nhận trong một khối CU Khối CU không mã h a đƣợc xem nhƣ chế độ dự đoán liên ảnh không có thông tin về phần dƣ và. .. tạo từ một loạt các khối F’n 1.3 Các khối chức năng trong bộ mã h a H. 265 1.3.1 Một số khái niệm về phân vùng ảnh trong chuẩn nén video H. 265 Các ảnh đầu vào bộ mã h a sẽ đƣợc chia thành một chuỗi các khối cây mã h a (CTB – Coding Tree Block) [6] Khái niệm về khối cây mã h a tƣơng tự nhƣ khái niệm về macroblock trong các chuẩn nén trƣớc nhƣ H. 264 Kích thƣớc khối cây mã h a thay đổi trong các giá trị 16x16,... nhƣ chuẩn nén video H. 265 Chƣơng 2: Dự đoán liên ảnh Giới thiệu chung về quá trình dự đoán ảnh và tập trung vào dự đoán liên ảnh Chƣơng 3: Thiết kế khối Ƣớc lƣợng chuyển động Quá trình thiết kế khối Ƣớc lƣợng chuyển động Chƣơng 4: Kết quả mô phỏng và phân tích dữ liệu Các kết quả mô phỏng bằng phần mềm Modelsim và phân tích dữ liệu thu đƣợc 2 CHƢƠNG 1 BỘ MÃ H A VIDEO CHUẨN H. 265 Chƣơng này giới thiệu... trong ảnh F’n (Đƣợc xây dựng lại) Bộ lọc giải khối và SAO Tiên đoán trong ảnh Trong ảnh uF’n + D’n + H nh 1-1: Sơ đồ khối chức năng tổng quát bộ mã h a video chuẩn H. 265 Một khung h nh đầu vào Fn đƣợc xử lý theo từng khối mã h a một Mỗi khối mã h a đƣợc mã h a theo chế độ mã h a trong ảnh hoặc mã h a liên ảnh dựa trên các ảnh mẫu đã đƣợc tái tạo, và đƣợc gọi là khối dự đoán PRED Trong chế độ trong ảnh,... khung hiện tại theo thứ tự hiển thị, các kích thƣớc khối dự đoán khác nhau, sử dụng nhiều khung tham chiếu Việc lựa chọn chế độ dự đoán phù h p nhất cho mỗi khối dự đoán giúp bộ mã h a giảm tối thiểu dƣ thừa và tạo dòng bit mã h a cao H nh 2-1 biểu diễn phƣơng thức dự đoán cho ba khối mã h a: khối mã h a loại I, loại P và loại B [5] Một khối mã h a loại I đƣợc tiên đoán từ các mẫu lân cận trong cùng khung... đƣợc mã h a trƣớc khung hiện tại theo thứ tự hiển thị (Previous – LCU) và LCU mã h a trong h nh (Intra – LCU) - Cần phải giải mã một số khung h nh khác trƣớc để có thể giải mã đƣợc ảnh P 5 - Dữ liệu đƣa ra là dữ liệu sai khác giữa khối mã h a của khung hiện tại và khối mã h a đƣợc chọn của khung dự đoán cùng vector chuyển động để chỉ ra vị trí của khối mã h a dự đoán - Có thể tham chiếu các khung h nh... trình Verilog Trong khuôn khổ luận văn, em thực hiện thiết kế khối Ƣớc lƣợng chuyển động Mục đích của đề tài là đƣa ra những kiến thức cơ bản nhất về chuẩn nén video H2 65 Đồng thời đi chi tiết vào phƣơng pháp thiết kế và triển khai khối Ƣớc lƣợng chuyển động trên bo mạch FPGA Nội dung của đề tài đƣợc chia làm 4 chƣơng: Chƣơng 1: Bộ mã h a/ giải mã video chuẩn H. 265 Giới thiệu chung về nguyên lý nén video. .. sung thêm nhiều chế độ mã h a trong quá trình mã h a ảnh I H n nữa H. 265 còn có khả năng thay đổi kích thƣớc khối mã h a mềm dẻo h n so với H2 64 Tùy thuộc vào tính chất ảnh, kích thƣớc khối mã h a có thể là 64x64, 32x32, 16x16, 8x8, 4x4 giúp việc tiên đoán ảnh hiệu quả h n Với những vùng ảnh có độ thay đổi không nhiều, kích thƣớc của khối mã h a sẽ lớn (64x64 điểm ảnh) để vừa không làm giảm hiệu quả