4. KẾT QUẢ VÀ ĐÁNH GIÁ
4.4. Kết quả hiệu năng tính tốn trên Triton Serving
4.4.1.!Phương pháp đánh giá
- Sau khi đánh giá và tìm ra được mơ hình thích hợp nhất cho hệ thống là YOLOv5-m-FP16 có tốc độ xử lý rất cao và độ chính xác ở mức chấp nhận được. Ta tiến hành triển khai mơ hình này lên Triton Serving để sẵn sàng cho việc xử lý AI cho hệ thống.
- Như đã giới thiệu ở phần trước, ngồi việc có thể tạo ra một môi trường hoạt động cho các mơ hình Deep Learning, Triton Serving giúp chúng ta có thể triển khai một pipeline xử lý AI hoàn chỉnh trên Server nhờ sự hỗ trợ của thư viện DALI. Với mục đích giảm tải cho Client trong việc phải tiền xử lý dữ liệu trước khi gửi lên Server và hậu xử lý khi nhận kết quả, ta đã xây dựng được một serving có thể xử lý hồn tồn q trình pre và post-processing trên Server ở phần 3. Sau đây ta sẽ đánh giá hiệu năng xử lý của các AI pipeline đó và so sánh chúng với các quá trình xử lý truyền thống.
- Ở đây, với phần so sánh các mơ hình Object Detection ta sẽ so sánh quá trình suy luận của mơ hình YOLOv5-m-FP16 với 3 hình thức xây dựng sau:
+ YOLOv5-m-FP16 là mơ hình được triển khai trên Triton Serving là khơng tính thời gian pre-processing và post-processing.
+ YOLOv5-m-FP16 (pre+post client) cũng là mơ hình YOLOv5-m- FP16 trên Triton Serving nhưng ta sẽ tính thêm thời gian cho pre-processing và post- processing ở Client.
+ YOLOv5-m-DALI cũng là mơ hình YOLOv5-m-FP16 nhưng được
- Thực hiện bài đánh giá q trình suy luận của các mơ hình trên với số lượng concurrent request lần lượt là 10 và 100 và số lượng ảnh tương ứng là 200 và 100
ảnh. Ta đánh giá với 3 kích thước ảnh khác nhau là 360x640, 640x640, 720x1280
mỗi quá trình đánh giá thực hiện 3 lần và kết quả là trung bình của 3 lần đánh giá.
4.4.2.!Kết quả
- Kết quả đánh giá của 3 mơ hình trên được thể hiện ở Bảng 4.7
Bảng 4.7. Kết quả hiệu năng của các mơ hình triển khai trên Triton Serving
- Từ bảng kết quả đo trên, ta thiết lập một đồ thị như Hình 4.9 để dễ dàng so sánh. Dựa vào đồ thị so sánh ta có thể thấy, việc sử dụng DALI để tích hợp q trình pre-processing và post-processing từ Client lên Triton Serving giúp hiệu năng tính tốn cải thiện một cách đáng kể với FPS của mơ hình YOLOv5-m-DALI đạt được là 411 tăng gần 40% so với với YOLOv5-m-FP16 (chưa tính q trình tiền và hậu xử lý) và tăng gấp 4 lần nếu so sánh với YOLOv5-m-FP16 với thời gian xử lý pre-post- processing tại Client.
Hình 4.9. So sánh tốc độ xử lý của các model khi triển khai trên Triton Serving!
- Ngồi ra, ta cũng đánh giá ln hiệu năng thực thi của Triton Serving khi kết hợp tính tốn cả hai mơ hình YOLOv5-m-FP16 và ResNet-50 để phục vụ cho bài toán thứ 3 là phát hiện người khơng đội mũ bảo hộ. Với q trình tính tốn hồn tồn được thực hiện tại Triton Serving từ khâu pre-process đến phát hiện người, cắt ảnh người và sử dụng ResNet-50 để phân loại hình ảnh và trả về kết quả suy luận.
- Ta so sánh hiệu năng thực thi hai mơ hình trên khi số người trong ảnh thay đổi từ 1 thành 8 người. Điều này có nghĩa là khối lượng tính tốn ở mơ hình ResNet- 50 sẽ tăng từ 1 lên 8 lần.
- Kết quả đo được thể hiện ở Bảng 4.8 và từ đó suy ra được biểu đồ so sánh hiệu năng ở Hình 4.10.
- Ta thấy, khi số lượng người thay đổi thì hiệu năng tính tốn của mơ hình cũng thay đổi đáng kể nên sẽ cần cải thiện thêm về khâu xử lý để cho kết quả tốt hơn vì nếu mơi trường thực tế có nhiều người thì sẽ ảnh hưởng nhiều đến hiệu năng tính tốn chung của hệ thống.
Hình 4.10. So sánh tốc độ xử lý của mơ hình kết hợp YOLOv5+ResNet-50 với Batchsize=1 và Batchsize=8