Thưa hóa mạng học sâu và ứng dụng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Thưa hóa mạng học sâu ứng dụng DƯƠNG VIỆT HÙNG hunglc007@gmail.com Ngành Công nghệ thông tin Giảng viên hướng dẫn: TS Đinh Viết Sang Viện: Công nghệ thông tin truyền thông HÀ NỘI, 04/2021 Chữ ký GVHD Lời cảm ơn Lời đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy cô trường Đại học Bách Khoa Hà Nội thầy cô Viện Công nghệ thông tin Truyền thông truyền dạy cho em kiến thức kinh nghiệm quý báu suốt trình học tập tu dưỡng thời gian qua Em xin gửi lời cảm ơn chân thành tới thầy giáo, TS Đinh Viết Sang hướng dẫn, bảo tận tình giúp đỡ em suốt trình nghiên cứu hồn thiện luận văn Tóm tắt nội dung luận văn Luận văn tập trung vào hai vấn đề phương pháp thưa hóa mạng học sâu ứng dụng chúng cụ thể toán phát đối tượng Phương pháp thưa hóa nghiên cứu luận văn phương pháp dropout biến phân (Variational Dropout-VD), mơ hình học sâu phát đối tượng sử dụng gồm có Yolov3, Yolov4 Yolov5 Sau áp dụng kĩ thuật thưa hóa mạng học sâu dùng dropout biến phân vào ba mơ hình trên, kết độ xác đánh giá hai liệu phát người phát phương tiện Về phần mềm phần cứng luận văn sử dụng công cụ nêu phần 4.1 Sau thí nghiệm kết luận văn cho thấy tính hiệu áp dụng phương pháp thưa hóa mạng học sâu dropout biến phân vào mơ hình phát đối tượng Từ cho thấy tính khả thi ứng dụng mơ hình mạng học sâu phát đối tượng vào thực tế, việc tối ưu mơ hình mạng học sâu với phần cứng hỗ trợ giúp tăng tốc độ thực thi mơ hình khơng làm giảm q nhiều độ xác MỤC LỤC CHƯƠNG MỞ ĐẦU 1.1 Giới thiệu 1.2 Khái niệm thưa hóa mạng 1.3 Ứng dụng việc thưa hóa DNN 1.4 Giải pháp định hướng CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu học sâu 2.2 Mạng nơ-ron nhân tạo 2.2.1 Tổng quan mạng nơ-ron 2.2.2 Kiến trúc mạng nơ-ron 2.2.3 Tính toán tham số mạng nơ-ron 2.3 Mạng nơ-ron tích chập 2.3.1 Tổng quan 2.3.2 Kiến trúc mạng nơ-ron tích chập (CNN) 2.4 Thưa hóa mạng nơ-ron 11 CHƯƠNG THƯA HĨA MẠNG HỌC SÂU TRONG BÀI TỐN PHÁT HIỆN ĐỐI TƯỢNG 13 3.1 Các mạng học sâu phổ biến cho toán phát đối tượng 13 3.1.1 Tổng quan 13 3.1.2 Các mơ hình phân loại đối tượng phổ biến 13 3.1.3 Từ Yolov1 đến Yolov3 14 3.1.4 Yolov4 20 3.1.5 Yolov5 27 3.2 Các phương pháp thưa hóa mạng phổ biến 28 3.2.1 Dropout biến phân 29 3.2.2 Cắt tỉa theo biên độ (magnitude pruning) 30 3.3 Mơ hình đề xuất 30 3.3.1 Mơ hình mạng nơ-ron xuất cho toán phát đối tượng 30 3.3.2 Áp dụng phương pháp dropout biến phân để thưa hóa mạng học sâu31 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 37 4.1 Môi trường thực nghiệm 37 4.1.1 Cấu hình thực nghiệm 37 4.1.2 Thư viện Pytorch 37 4.1.3 TensorRT 37 4.2 Dữ liệu thực nghiệm 38 4.3 Phương pháp đánh giá 38 4.4 Kết thực nghiệm 40 4.5 Đánh giá kết 47 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 48 TÀI LIỆU THAM KHẢO 49 DANH MỤC HÌNH VẼ Hình 2.1 Giới thiệu học sâu Hình 2.2 Cấu trúc nơ-ron Hình 2.3 Cấu trúc mạng nơ-ron Hình 2.4 Kiến trúc mạng nơ-ron tích chập 10 Hình 2.5 Lớp tích chập 10 Hình 2.6 Max-Pooling 11 Hình 3.1 Phát đối tượng hai giai đoạn 13 Hình 3.2 Phát đối tượng giai đoạn 14 Hình 3.3 Yolov1 15 Hình 3.4 Kiến trúc Yolov1 16 Hình 3.5 Dự đoán đường bao 18 Hình 3.6 Kiến trúc Yolov2 18 Hình 3.7 Kiến trúc Yolov3 20 Hình 3.8 Kiến trúc DenseNet 20 Hình 3.9 So sánh DenseNet với CSPNet 21 Hình 3.10 Một số kiến trúc Neck phổ biến 21 Hình 3.11 Kiến trúc PAN Yolov4 22 Hình 3.12 Kiến trúc Yolov4 23 Hình 3.13 Một số hàm kích hoạt 24 Hình 3.14 DIoU 25 Hình 3.15 Một số kĩ thuật gia tăng liệu 25 Hình 3.16 Kĩ thuật Mosaic data augmentation 26 Hình 3.17 Hiệu Yolov4 27 Hình 3.18 Hiệu Yolov5 28 Hình 3.19 So sánh mơ hình phát đối tượng 31 Hình 3.20 Các bước huấn luyện 35 Hình 4.1 TensorRT 38 Hình 4.2 IoU 39 Hình 4.3 AUC 40 Hình 4.4 Thưa hóa liệu phát người 43 Hình 4.5 Thưa hóa liệu giao thơng 44 Hình 4.6 Thưa hóa Yolov3 45 Hình 4.7 Thưa hóa Yolov5 45 Hình 4.8 Thưa hóa Yolov4 46 Hình 4.9 So sánh tốc độ sau lượng tử hóa 47 DANH MỤC BẢNG BIỂU Bảng 3.1 Tham số bước 35 Bảng 3.2 Tham số bước 36 Bảng 3.3 Tham số bước 36 Bảng 4.1 Độ xác mơ hình trước thưa hóa 41 Bảng 4.2 Độ xác mơ hình sau thưa hóa 50% 41 Bảng 4.3 Độ xác mơ hình sau thưa hóa 80% 42 Bảng 4.4 Độ xác mơ hình sau thưa hóa 90% 42 Bảng 4.5 Độ xác mơ hình sau thưa hóa 95% 42 Bảng 4.6 Độ xác mơ hình sau thưa hóa 98% 42 Bảng 4.7 Độ xác mơ hình sau tối ưu 46 CHƯƠNG MỞ ĐẦU 1.1 Giới thiệu Vào năm 1998, Yann LeCun cơng bố mơ hình mạng LeNet-5 [1] Kể từ đến lĩnh vực học sâu ngày biết đến nhiều Những năm gần với phát triển lực tính tốn lượng liệu dồi ngày nhiều người nghiên cứu lĩnh vực học sâu hơn, mơ hình mạng liên tục đời Vào năm 2012, AlexNet [2] với phát hàm Sigmoid Dropout mạng học sâu tạo nên bước ngoặt cho hướng nghiên cứu Tiếp theo đó, hai mơ hình GoogleNet [3] VGGNet [4] hai cột mốc lĩnh vực mạng nơ-ron nhân tạo, hai mơ hình sở cho nhiều báo nghiên cứu ứng dụng sau Hai mô hình chứng minh việc sử dụng nhiều lớp tích chập, tăng cường độ sâu mạng đem lại kết tốt Tuy nhiên việc tăng độ sâu mạng mang đến vấn đề khác, gradient disappearance gradient explosion Mơ hình ResNet [5] đời năm 2015 giải vấn đề với kiến trúc gọi Residual block Tiếp theo hàng loạt mơ hình khác sáng tạo nhằm mục đích tối giản mạng nơ-ron, giảm lực tính tốn lưu trữ mạng ShufffleNet MobileNet [6] Ngày công nghệ học máy, học sâu khơng cịn xa lạ với người Học sâu ngày chứng minh khả vượt trội tốn xử lý ảnh, xử lý ngơn ngữ tự nhiên, xử lý tiếng nói Để đạt kết ấn tượng kích thước mơ hình ngày lớn lên, cộng thêm với lượng liệu ngày dồi Số lượng tham số mô hình học sâu xử lý ảnh lên tới trăm triệu tham số, với mô hình xử lý ngơn ngữ tự nhiên lên tới 175 tỉ tham số mơ hình GPT-3 [7] Điều khiến cho tài ngun tính tốn để huấn luyện ứng dụng mơ hình vào thực tế ngày trở nên tốn Thưa hóa mạng năm gần phương pháp hiệu để giải vấn đề 1.2 Khái niệm thưa hóa mạng Thưa hóa mạng nhiều kĩ thuật tối ưu hóa Mục tiêu việc tối ưu giúp giảm kích thước mơ hình tăng tốc độ xử lý Thưa hóa mạng phương pháp làm cho phần lớn số lượng tham số mạng giá trị 0, từ đưa tham số khỏi mạng không làm ảnh hưởng nhiều tới độ xác mơ hình Nhờ mơ hình học sâu bỏ qua nhiều kết nối mạng, giảm dung lượng lưu trữ, với việc hỗ trợ từ phần cứng [8] giúp mô hình tăng tốc đáng kể Điều có ý nghĩa việc ứng dụng mơ hình học sâu vào thực tế, chi phí tài nguyên tính tốn hạn chế Thưa hóa mạng chia thành hai loại, thưa hóa có cấu trúc (structured sparsity) thưa hóa khơng có cấu trúc (unstructured sparsity) Thưa hóa có cấu trúc tập trung vào việc xóa bỏ toàn lớp mạng hay khối cấu trúc tham số; thưa hóa khơng có cấu trúc có tính linh hoạt hơn, xóa bỏ tham số đơn lẻ, không cần thiết mạng Do thưa hóa khơng có cấu trúc giúp cho mơ hình khơng bị ảnh hưởng độ xác nhiều, làm giảm tính hiệu tính tốn song song việc hỗ trợ thư viện học sâu bị hạn chế 1.3 Ứng dụng việc thưa hóa DNN Ngày mơ hình mạng học sâu ngày xác đạt nhiều kết ấn tượng Kéo theo kích thước mơ hình ngày lớn hơn, đòi hỏi cần nhiều lực tính tốn, xử lý lưu trữ Phương pháp thưa hóa mơ hình mạng học sâu năm gần tập trung nghiên cứu nhiều giải pháp cho vấn đề Thưa hóa mạng giúp cho mơ hình học sâu giảm kích thước, tăng tốc độ xử lý, tối ưu tài ngun phần cứng độ xác mơ hình giảm khơng đáng kể Các hãng phần cứng phần mềm năm gần tập trung nhiều nguồn lực cho tốn • Google gần cho mắt TensorFlow Model Optimization Toolkit, công cụ hỗ trợ chuyên biệt cho pruning mô hình lượng tử hóa mơ hình Với pruning mơ hình cơng cụ mức giảm kích thước mơ hình, cịn vấn đề cải thiện tốc độ lộ trình • Xillinx mua lại công ty khởi nghiệp Trung Quốc chun nén mơ hình học sâu Deephi Xillinx cung cấp DNNDK™ (Deep Neural Network Development Kit) để chuyển đổi triển khai mơ hình mạng học sâu lên chip FPGA hãng Công cụ bao gồm phần thưa hóa nén mơ hình mạng, vừa giảm kích thước mơ hình, vừa tăng tốc tính tốn • NVIDIA cung cấp tính thưa hóa nén mạng học sâu qua cơng cụ NVIDIA Transfer Learning Toolkit Dịng chip GPU [8] Ampere hệ hãng thiết kế hỗ trợ tăng tốc xử lý cho mạng thưa hóa 1.4 Giải pháp định hướng Từ lợi ích lớn mà việc thưa hóa đem lại, phạm vi luận văn trình bày số phương pháp thưa hóa mạng bật Đề xuất phương pháp thưa mạng hóa mạng phù hợp cho tốn nhận diện đối tượng Áp dụng đánh giá hiệu thực tế phương pháp thưa hóa mạng đem lại Cụ thể luận văn bao gồm bốn chương Ở chương luận văn tập trung vào trình bày sở lý thuyết sử dụng, khái niệm mạng học sâu, mạng tích chập, thưa hóa mạng Chương trình bày việc áp dụng kĩ thuật thưa hóa mạng học sâu tốn phát đối tượng Ở chương luận văn tập trung giới thiệu mạng học sâu phổ biến toán phát đối tượng, phương pháp thưa hóa mạng học sâu phổ biến; so sánh đánh giá phương pháp từ đưa mơ hình phương pháp đề xuất cho tốn Chương trình kết đạt bao gồm môi trường thực nghiệm, liệu thực nghiệm, phương pháp đánh giá kết thực nghiệm; sau đánh giá nhận xét kết đạt Chương luận văn kết luận đạt nghiên cứu hướng nghiên cứu toán CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu học sâu Trong năm qua, thuật ngữ "deep learning" (học sâu) dần len lỏi hội thảo bàn trí tuệ nhân tạo (AI), liệu lớn (Big Data) phân tích (Analytics) Đây cách tiếp cận đầy hứa hẹn tới AI phát triển hệ thống tự trị, tự học, thứ cách mạng hóa nhiều ngành cơng nghiệp Hình 2.1 Giới thiệu học sâu Nếu coi ta học máy (machine learning) cơng nghệ tiên tiến nhất, học sâu "tiên tiến tiên tiến" Học máy lấy vài ý tưởng cốt lõi trí tuệ nhân tạo tập trung vào việc giải vấn đề giới thực với mạng thần kinh thiết kế để bắt chước khả đưa định Học sâu, tên gọi nó, sâu vào tập hợp công cụ kỹ thuật học máy, từ áp dụng chúng để giải vấn đề đòi hỏi "khả tư duy" – người hay nhân tạo Về bản, học sâu cho hệ thống máy tính tiêu thụ nhiều liệu, để chúng sử dụng đưa định liệu khác Dữ liệu nạp thông qua mạng thần kinh, tương tự học máy Những mạng lưới – cấu trúc logic yêu cầu loạt câu hỏi đúng/sai, trích xuất giá trị số, bit liệu qua chúng phân loại theo câu trả lời nhận Vì cơng việc học sâu tập trung phát triển mạng lưới này, chúng trở thành "mạng thần kinh sâu" – mạng logic phức tạp cần thiết để xử lý liệu lớn, thư viện hình ảnh Google hay Instagram Với liệu toàn diện vậy, mạng logic phức tạp để xử lý phân loại chúng, việc máy tính lấy hình ảnh nhận dạng với độ xác cao trở nên "q đỗi bình thường" Bảng 3.2 Tham số bước Tham số Giá trị 𝜆𝜆𝑜𝑜𝑜𝑜𝑜𝑜 0.301 𝜆𝜆𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 0.0296 𝜆𝜆𝑐𝑐𝑐𝑐𝑐𝑐 0.243 Tùy thuộc vào độ lớn mơ nhắc đến phần 3.3.2.2 𝜆𝜆𝐾𝐾𝐾𝐾 Tốc độ học 0.0001 c) Bước 3: Hiệu chỉnh mơ hình Sau đạt đến mức thưa hóa 50%, 80%, 90%, 95% 98% mơ hình chuyển qua bước Ở bước tham số 𝜆𝜆𝐾𝐾𝐾𝐾 đặt 0, tương ứng với việc dừng việc thưa hóa mơ hình lại Mơ hình hiệu chỉnh lại khoảng 20 epoch để cải thiện độ xác điều chỉnh lại tham số 𝜃𝜃 Bảng 3.3 Tham số bước Tham số Giá trị 𝜆𝜆𝑜𝑜𝑜𝑜𝑜𝑜 0.301 𝜆𝜆𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 0.0296 𝜆𝜆𝑐𝑐𝑐𝑐𝑐𝑐 0.243 Learning rate 0.0001 Epoch 20 𝜆𝜆𝐾𝐾𝐾𝐾 Lặp lại bước bước liên tục đạt mức thưa hóa mong muốn d) Bước 4: Áp dụng kĩ thuật Lượng tử hóa để mơ hình thưa hóa đạt độ nén tốt 36 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 4.1 Môi trường thực nghiệm 4.1.1 Cấu hình thực nghiệm Chương trình xây dựng thử nghiệm máy tính cá nhân có cấu hình phần mềm cần thiết sau: - Vi xử lý: 3.7 GHz AMD Ryzen 5600x nhân 12 luồng - Ram: 32GB - Hệ điều hành: Ubuntu - Phần mềm phát triển: PyCharm - Ngôn ngữ sử dụng: Python - Card đồ hoạ: GeForce RTX 3080 10GB Ram - Bộ thư viện dùng cho trình huấn luyện mơ hình: Pytorch, TensorRT 4.1.2 Thư viện Pytorch Pytorch thư viện tính tốn mã nguồn mở cung cấp khả xử lý tính tốn số học dựa tảng ngôn ngữ Python Pytorch sử dụng ta cần huấn luyện thực thi mô hình học sâu Pytorch Facebook phát triển phát hành tháng 12 năm 2016, cung cấp tảng hệ điều hành Linux, MacOS Windows Các mơ hình học sâu phát triển Pytorch sử dụng nhiều loại tảng khác (từ điện thoại thông minh tới máy chủ phân tán) CPUs lẫn GPUs Cấu trúc liệu cốt lõi sử dụng PyTorch Tensor Tương tự mảng numpy python, Tensor mảng n chiều với phần tử có kiểu liệu Tensor tổng quát hoá vector (mảng chiều), ma trận (mảng chiều) Tensor PyTorch có thêm lợi có hỗ trợ tính tốn GPU để tăng tốc độ xử lý 4.1.3 TensorRT TensorRT thư viện NVIDIA phát triển, phục vụ cho việc tối ưu hóa tốc độ thực thi mơ hình học sâu Thư viện giúp tăng tốc mơ hình lên đến 40 lần so với thực thi CPU Thư viện có tính tương thích cao với nhiều thư viện học sâu khác, mơ hình sau huấn luyện thư viện Tensorflow, Pytorch, Mxnet tối ưu TensorRT TensorRT xây dựng lõi CUDA, loại nhân tính tốn chuyên dụng NVIDIA thiết kế phần cứng GPU Ngồi TensorRT cung cấp cơng cụ lượng tử hóa mơ hình độ xác FP16 hay INT8 giúp tăng tốc độ xử lý giảm dung lượng mơ hình mạng học sâu 37 Hình 4.1 TensorRT 25 4.2 Dữ liệu thực nghiệm Nghiên cứu sử dụng hai liệu để đánh giá hiệu mơ hình gồm AIVN cho phát phương tiện phát người Bộ liệu phát phương tiện gồm hình ảnh phương tiện giao thơng đường phố Việt Nam, gồm 11 loại nhãn nhãn sử dụng cho nghiên cứu Các nhãn bị xóa bao gồm “Đội mũ bảo hiểm”, “Đội mũ thường”, “Không đội mũ”, nhãn “Motobike front” “Motorbike back” gộp lại thành nhãn “Motorbike” Cuối nhãn cuối chọn “Car”, “SUV”, “Bus”, “Truck”, “Motorbike”, “Person” “Bicycle” Sau tiền xử lý liệu, xóa bỏ ảnh bị trùng lặp bị thiếu lỗi sử dụng gồm 5884 ảnh, chia thành hai tập huấn luyện đánh giá với tỉ lệ 5:1 Bộ liệu phát người gồm hình ảnh nhân viên khách hàng, nhiệm vụ mơ hình cần phát phân biệt hai nhóm đối tượng Ban đầu liệu gồm bốn nhãn, nhãn “half-staff” sau dồn vào nhãn “staff”, nhãn “receptionist” gộp vào nhãn “customer” Sau tiền xử lý liệu gồm hai nhãn “staff” “customer” với 8000 ảnh, chia thành hai tập huấn luyện đánh giá với tỉ lệ 5:1 4.3 Phương pháp đánh giá 25 https://developer.nvidia.com/tensorrt 38 Phương pháp đánh giá sử dụng luận văn mAP, phương pháp đánh giá phổ biến cho toán phát đối tượng Trước đề cập tới mAP ta nhắc lại ba khái niệm đánh giá độ xác Precision, Recall IoU • Precision: Là thang đo đánh giá độ tin cậy phương pháp đưa ra, phần trăm lời kết luận mơ hình xác • Recall: Đánh giá khả tìm kiếm tồn nhãn mơ hình, % mẫu thử mà mơ hình nhận diện 𝑇𝑇𝑇𝑇 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 = 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 𝑇𝑇𝑇𝑇 PT 4.1 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 = 𝑇𝑇𝑇𝑇 + 𝐹𝐹𝐹𝐹 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 ∗ 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 𝐹𝐹1 = ∗ 𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝 + 𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟𝑟 • IoU (Intersection over Unit): Đo độ trùng lặp đường bao thực (ground truth bounding box) với đường bao dự đoán (predict bounding box) mà mơ hình dự đốn Hình 4.2 IoU Từ precision recall định nghĩa đánh giá mơ hình dựa việc thay đổi ngưỡng quan sát giá trị Precision Recall Khái niệm Area Under the Curve (AUC) định nghĩa tương tự Với Precision-Recall Curve, AUC cịn có tên khác Average precision (AP) AUC chất đồ thị đường biểu diễn precision-recall hình Hình 4.3 39 Hình 4.3 AUC Với toán phát đối tượng AP có số dạng kí hiệu sau: • AP@[0.5:0.05:0.95] : Giá trị AP trung bình AP IoU có giá trị (0.5, 0.55, 0.6, …, 0.95) • AP@0.5: Giá trị AP IoU = 0.5 • AP (small/medium/large): AP cho đối tượng nhỏ, trung bình, lớn Với toán phát đối tượng gồm nhiều lớp độ xác tính cách tính trung bình AP lớp, từ ta có khái niệm mAP mAP phương pháp đánh giá hiệu xác cho tốn phát đối tượng Mối quan hệ precision – recall giúp mAP đánh giá độ xác việc phân lớp Hơn precision – recall thay đổi ngưỡng IoU thay đổi (ngưỡng để dự đoán đường bao thuộc phân lớp nào) Do đó, giá trị IoU xác định, đo so sánh độ tốt mơ hình (ví dụ: mAP@0.5 = 70 IoU = 0.5, AP mô hình 70%) 4.4 Kết thực nghiệm Ba mơ hình Yolov3, Yolov4 Yolov5 huấn luyện với tham số huấn luyện giống sau: Kích thước ảnh đầu vào: 640x640 Sau huấn luyện bước ta kết hai mơ hình trước thưa hóa bảng dưới: 40 Bảng 4.1 Độ xác mơ hình trước thưa hóa Model Size AP@0.5 Params Sparsity Yolov4-people 640 93.34 48.0M 0% Yolov5s-people 640 92.50 7.3M 0% Yolov4-traffic 640 87.00 48.0M 0% Yolov5s-traffic 640 86.80 7.3M 0% Yolov3-traffic 640 83.78 61.5M 0% Độ xác hai mơ hình tương đương Mặc dù số lượng tham số mơ hình Yolov4 gấp khoảng gần lần số lượng tham số Yolov5s độ xác khơng chênh lệch q lớn +0.84% với liệu phát người +0.2% với liệu phát phương tiện giao thơng Ta thấy với lượng liệu khơng nhiều khoảng 5000 ảnh với phát phương tiện giao thông 8000 ảnh với phát người việc tăng số lượng tham số mơ hình khơng làm cải thiện q nhiều độ xác Điều có ích tốn thực tế ta cần phải đánh đổi tốc độ độ xác, việc giảm độ xác khoảng