NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ SINH VIÊN NĂM 2022

Tên đề tài tiếng Việt:

NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

Tên đề tài tiếng Anh:

ADVANCED VIDEO CODING BASED ON H.264

COMPRESSION STANDARD INTEGRATED ON SMART CAMERA SYSTEM

Khoa/ Bộ môn: Kỹ thuật máy tính

Thời gian thực hiện: 12/7/2022 – 12/12/2022 Cán bộ hướng dẫn: TS Nguyễn Minh Sơn Tham gia thực hiện

TT Họ và tên, MSSV Chịu trách nhiệm Điện thoại Email

1 Phan Công Duy Khiêm Chủ nhiệm 0925212443 19520627@gm.uit.edu.vn

2 Bùi Đăng Huy Tham gia 0392211585 21520039@gm.uit.edu.vn

Thành phố Hồ Chí Minh – Tháng /20

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

Ngày nhận hồ sơ

Mã số đề tài

(Do CQ quản lý ghi)

BÁO CÁO TỔNG KẾT

Tên đề tài tiếng Việt:

NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

Tên đề tài tiếng Anh:

ADVANCED VIDEO CODING BASED ON H.264

COMPRESSION STANDARD INTEGRATED ON SMART CAMERA SYSTEM

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung:

- Tên đề tài: Nghiên cứu tích hợp thuật toán mã hóa video dựa trên chuẩn h.264 trên hệ thống smart camera

- Chủ nhiệm: Phan Công Duy Khiêm - Thành viên tham gia: Bùi Đăng Huy

- Cơ quan chủ trì: Trường Đại học Công nghệ Thông tin - Thời gian thực hiện: 12/7/2022 – 12/12/2022

2 Mục tiêu:

Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264 từ đó tích hợp để cải tiến quá trình streaming trên hệ thống smart camera cho phép stream với độ trễ thấp hơn và chất lượng cao hơn Gstreamer framework sẽ được sử dụng như kênh tích hợp bộ giải mã H.264 trước khi stream nội dung lên server , nội dung nghiên cứu có thể tóm tắt theo các mục bên dưới:

- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera trên board Ultra96v2

- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA - Nghiên cứu tối ưu tốc độ streaming lên local server

3 Tính mới và sáng tạo:

Chuẩn nén video H.264 hoặc MPEG-4 Part 10 hỗ trợ cải thiện tốc độ streaming bằng việc nén các file video với dung lượng cao thành các file có dung lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của việc giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho video Chuẩn mã hóa video này có thể nâng cao hiệu suất streaming video so với các công nghệ truyền thống (MPEG-2, H.263, ) Việc tích hợp chuẩn nén H.264 vào hệ thống smart camera không làm tăng sự phức tạp của thiết kế, không tốn kém thêm chi phí vận hành nhưng đảm bảo đáp ứng đầy đủ các tiêu chí cho một hệ thống giám sát: cung cấp sự linh hoạt cần thiết để triển khai hệ thống trên các hạ tầng mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ nguyên độ phân giải video, tối ưu quá trình streaming, giảm dung lượng lưu trữ, tương thích tốt với giao thức RTP/IP

4 Tóm tắt kết quả nghiên cứu:

Nhóm đã nghiên cứu và áp dụng kết quả vào nghiên cứu xây dựng bộ giải mã/ mã hóa H.264 trên board Xilinx Zynq 7000 Toàn bộ quá trình xây dựng được thực hiện bằng công cụ Vivado Vivado HLS

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng: 7 Hình ảnh, sơ đồ minh họa chính

5 Tên sản phẩm:

IP tích hợp Encoder/Decoder H.264 cho Xilinx Zynq7000 FPGA

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:

Thiết kế dựa trên ngôn ngữ RTL được đóng gói thành một Custom IP với các ngõ vào và ngõ ra tương ứng, phù hợp để triển khai các hệ thống sử dụng bộ giải mã H.264 được thiết kế dựa trên Zynq7000 FPGA IP có thể được thêm vào dự án qua tính năng IP Integrator được tích hợp sẵn trên công cụ Vivado Điều này góp phần tiết kiệm thời gian cũng như chi phí thiết kế cho các hệ thống thị giác có ứng dụng chuẩn nén hình ảnh H.264

7 Hình ảnh, sơ đồ minh họa chính :

Hình 3: sơ đồ khối thiết kế IP H.264

Hình 4: quy trình xử lý IP H.264

THÔNG TIN KẾT QUẢ NGHIÊN CỨU

1 Thông tin chung:

- Tên đề tài: Nghiên cứu tích hợp thuật toán mã hóa video dựa trên chuẩn h.264 trên hệ thống smart camera

- Chủ nhiệm: Phan Công Duy Khiêm - Thành viên tham gia: Bùi Đăng Huy

- Cơ quan chủ trì: Trường Đại học Công nghệ Thông tin - Thời gian thực hiện: 12/7/2022 – 12/12/2022

2 Mục tiêu:

Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264 từ đó tích hợp để cải tiến quá trình streaming trên hệ thống smart camera cho phép stream với độ trễ thấp hơn và chất lượng cao hơn Gstreamer framework sẽ được sử dụng như kênh tích hợp bộ giải mã H.264 trước khi stream nội dung lên server , nội dung nghiên cứu có thể tóm tắt theo các mục bên dưới:

- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera trên board Ultra96v2

- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA - Nghiên cứu tối ưu tốc độ streaming lên local server

3 Tính mới và sáng tạo:

Chuẩn nén video H.264 hoặc MPEG-4 Part 10 hỗ trợ cải thiện tốc độ streaming bằng việc nén các file video với dung lượng cao thành các file có dung lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của việc giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho video Chuẩn mã hóa video này có thể nâng cao hiệu suất streaming video so với các công nghệ truyền thống (MPEG-2, H.263, ) Việc tích hợp chuẩn nén H.264 vào hệ thống smart camera không làm tăng sự phức tạp của thiết kế, không tốn kém thêm chi phí vận hành nhưng đảm bảo đáp ứng đầy đủ các tiêu chí cho một hệ thống giám sát: cung cấp sự linh hoạt cần thiết để triển khai hệ thống trên các hạ tầng mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ nguyên độ phân giải video, tối ưu quá trình streaming, giảm dung lượng lưu trữ, tương thích tốt với giao thức RTP/IP

4 Tóm tắt kết quả nghiên cứu:

Nhóm đã nghiên cứu và áp dụng kết quả vào nghiên cứu xây dựng bộ giải mã/ mã hóa H.264 trên board Xilinx Zynq 7000 Toàn bộ quá trình xây dựng được thực hiện bằng công cụ Vivado Vivado HLS

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng: 7 Hình ảnh, sơ đồ minh họa chính

5 Tên sản phẩm:

IP tích hợp Encoder/Decoder H.264 cho Xilinx Zynq7000 FPGA

6 Hiệu quả, phương thức chuyển giao kết quả nghiên cứu và khả năng áp dụng:

Thiết kế dựa trên ngôn ngữ RTL được đóng gói thành một Custom IP với các ngõ vào và ngõ ra tương ứng, phù hợp để triển khai các hệ thống sử dụng bộ giải mã H.264 được thiết kế dựa trên Zynq7000 FPGA IP có thể được thêm vào dự án qua tính năng IP Integrator được tích hợp sẵn trên công cụ Vivado Điều này góp phần tiết kiệm thời gian cũng như chi phí thiết kế cho các hệ thống thị giác có ứng dụng chuẩn nén hình ảnh H.264

7 Hình ảnh, sơ đồ minh họa chính :

Hình 3: sơ đồ khối thiết kế IP H.264

Hình 4: quy trình xử lý IP H.264

ĐẠI HỌC QUỐC GIA TP HCM

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN Ngày nhận hồ sơ

(Do CQ quản lý ghi)

THUYẾT MINH

ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP SINH VIÊN 2021

A THÔNG TIN CHUNG A1 Tên đề tài

- Tên tiếng Việt (IN HOA): NGHIÊN CỨU TÍCH HỢP THUẬT TOÁN MÃ HÓA VIDEO DỰA TRÊN CHUẨN H.264 TRÊN HỆ THỐNG SMART CAMERA

- Tên tiếng Anh (IN HOA): ADVANCED VIDEO CODING BASED ON H.264 COMPRESSION STANDARD INTEGRATED ON SMART CAMERA SYSTEM

-

A2 Thời gian thực hiện

06 tháng (kể từ khi được duyệt)

Họ và tên: Phan Công Duy Khiêm

Ngày, tháng, năm sinh: 13/07/2001 Giới tính (Nam/Nữ): Nam.

Số CMND: 026118335 ; Ngày cấp: 25/9/2015 ; Nơi cấp: TP Hồ Chí

Mã số sinh viên: 19520627 .

Số điện thoại liên lạc: 0925212443 .

Đơn vị (Khoa): Kỹ thuật máy tính

Số tài khoản: 17412697 Ngân hàng: Á Châu (ACB)

A5 Thành viên đề tài

1 Phan Công Duy Khiêm 19520627 Kỹ thuật máy tính 2 Bùi Đăng Huy 21520039 Kỹ thuật máy tính

B MÔ TẢ NGHIÊN CỨU B1 Giới thiệu về đề tài

(Ghi các ý về tổng quan tình hình nghiên cứu liên quan đến đề tài, lí do thực hiện đề tài, các thách thức)

Các hệ thống giám sát từ xa đang là một lĩnh vực phát triển một cách nhanh chóng và ngày càng trở thành một chủ đề quan trọng trong các cộng đồng nghiên cứu Trong đó, các hệ thống giám sát tự động bằng hình ảnh được thực hiện thông qua hệ thống camera thông minh có chức năng tự động nhận diện vật thể và truyền tải hình ảnh trực tiếp lên server theo thời gian thực được ứng dụng rộng rãi trong mọi lĩnh vực Tuy nhiên, các hệ thống có tích hợp chức năng stream video thường yêu cầu độ chính xác cao cũng như một độ trễ thấp Để hoàn thiện hệ thống cần khắc phục những nhược điểm nêu trên trong khi vẫn duy trì chất lượng video gốc Nhóm đề xuất nghiên cứu tích hợp bộ mã hóa / giải mã dựa trên chuẩn mã hóa H.264 Dựa trên ý tưởng cải thiện tốc độ streaming bằng việc nén các file video với dung lượng cao thành các file có dung lượng thấp hơn nhằm tăng tốc độ streaming , nâng cao tính hiệu quả của việc giám sát qua hình ảnh trong khi vẫn giữ lại độ phân giải cao cho video Chuẩn mã hóa video này có thể nâng cao hiệu suất streaming video so với các công nghệ truyền thống (MPEG-2, H.263, )

Chuẩn nén video H.264 hoặc MPEG-4 Part 10 , là một tiêu chuẩn dựa trên việc bù trừ chuyển động ( motion-compensation ) trên từng khối (block) Cho đến nay, đây là định dạng được sử dụng phổ biến nhất để ghi, nén và phân phối nội dung video, được 91% nhà phát triển ngành công nghiệp video sử dụng Nó hỗ trợ độ phân giải lên đến 8K UHD Mục đích của việc lựa chọn chuẩn H.264 cho video streaming trong hệ thống smart camera dựa trên những điểm mạnh mà nó cung cấp:

o Chất lượng video tốt ở mức dung lượng thấp hơn đáng kể so với các tiêu chuẩn trước đó (ví dụ: một nửa hoặc ít hơn tỉ lệ bit của MPEG-2, H.263, hoặc MPEG-4 Part 2)

o Không làm tăng sự phức tạp của thiết kế, không tốn kém thêm chi phí o Đáp ứng đầy đủ các tiêu chí cho một hệ thống giám sát: cung cấp sự linh hoạt cần thiết để triển khai hệ thống trên các hạ tầng mạng khác nhau, bao gồm tốc độ đường truyền cao hoặc thấp, giữ nguyên độ phân giải video, tối ưu quá trình streaming, giảm dung lượng

lưu trữ, tương thích tốt với giao thức RTP/IP

Ở đề tài này nhóm đề ra mục tiêu tìm hiểu và tích hợp chuẩn nén video H.264 với những tính năng ưu việt hơn so với các chuẩn truyền thống nhằm tối ưu quá trình streaming video trong hệ thống camera thông minh, cùng với đó là sử dụng Ultra96v2 FPGA tích hợp phần cứng hỗ trợ H.264 codec để thực hiện xử lý và mã hóa video, sau đó truyền lên máy chủ thông qua Gstreamer framework được tích hợp bộ giải mã H.264

B2 Mục tiêu, nội dung, kế hoạch nghiên cứu B2.1 Mục tiêu

Mục tiêu của đề tài là tập trung nghiên cứu về định dạng nén H.264 từ đó tích hợp để cải tiến quá trình streaming trên hệ thống smart camera cho phép stream với độ trễ thấp hơn và chất lượng cao hơn Gstreamer framework sẽ được sử dụng như kênh tích hợp bộ giải mã H.264 trước khi stream nội dung lên server , nội dung nghiên cứu có thể tóm tắt theo các mục bên dưới:

- Nghiên cứu và kế thừa các nghiên cứu về hệ thống smart camera trên board Ultra96v2

- Nghiên cứu và tích hợp chuẩn H.264 vào Ultra96v2 FPGA - Nghiên cứu tối ưu tốc độ streaming lên local server

B2.2 Nội dung và phương pháp nghiên cứu

Nội dung 1: Tìm hiểu tổng quan đề tài

- Phương pháp thực hiện:

o Tìm hiểu cơ sở lý thuyết về lập trình socket, P2P, xây dựng local server o Tìm hiểu về Gstreamer framework và các hàm tích hợp xử lý H.264 o Tìm hiểu về FPGA: khả năng và các mặt hạn chế

- Kết quả dự kiến:

o Tìm hiểu cơ sở lý thuyết về lập trình socket, P2P protocol, local server o Tìm hiểu về Gstreamer tích hợp H.264

o Tìm hiểu về khả năng và các mặt hạn chế FPGA

Nội dung 2: Thiết kế kiến trúc streaming video trên FPGA

- Phương pháp thực hiện:

o Tham khảo các công trình nghiên cứu khác về streaming video bằng Ultra96v2

o Thiết kế, thử nghiệm và điều chỉnh quá trình streaming và thuật toán liên quan của mô hình

o Cải thiện tốc độ streaming của hệ thống tiệm cận thời gian thực nhằm thu được dữ liệu cần thiết

- Kết quả dự kiến:

o Cải tiến được thuật toán streaming video trên smart camera

o Chạy thử nghiệm giải quyết nhiệm vụ về cải thiện hiệu suất và tốc độ trên luồng streaming

o Đề xuất kiến trúc hệ thống dựa trên FPGA

Nội dung 3: Thiết kế tích hợp H.264 thông qua GStreamer vào FPGA

- Phương pháp thực hiện:

o Thiết kế luồng streaming trên FPGA

o Chạy mô phỏng hệ thống cho kiến trúc đã thiết kế

o So sánh kết quả với hệ thống tương đương áp dụng các công nghệ cơ bản

- Kết quả dự kiến:

o Thiết kế được hệ thống streaming ứng dụng H.264 o Kết quả mô phỏng đạt được các mục tiêu đã đặt ra

o Có được số liệu cơ bản về hệ thống streaming áp dụng H.264

Nội dung 4: Xây dựng hệ thống và kiểm chứng mô hình

- Thiết kế hệ thống ứng dụng tích hợp H.264 lên FPGA và đạt được các yêu cầu sau: o Thiết kế mô hình với kiến trúc pipeline

o Tần số hoạt động trên 200MHz

o Tốc độ truyền tải khung hình >= 10FPS - Hoàn thành bản báo cáo nghiên cứu khoa học

B4 Tài liệu tham khảo

1 T Kryjak, M Komorkiewicz, M Gorgon “Real-time hardware–software embedded vision system for ITS smart camera implemented in Zynq SoC”, pringerlink.com, 2016.

2 S Thörnqvist M Lindfeldt “Real-time video streaming with html5 Master’s thesis”,Lunds Tekniska Högskola, Lund, Sweden, 2014

3 Bailey, D.G “Design for Embedded Image Processing on FPGAs” Wiley (Asia) Pte Ltd, Singapore, 2011

4 P Bui, H Le, “Design on FPGA Ultra96-v2 for smart camera”, TPHCM, 2021 5 T Han, G.W Liu,H Cai, B Wang “The face detection and location system based

on Zynq” 11th International Conference, 2014