4. KẾT QUẢ VÀ ĐÁNH GIÁ
4.3. Kết quả tối ưu mơ hình Deep Learning
4.3.1.!Phương pháp đánh giá
- Các mơ hình Deep Learning sau khi được huấn luyện và đánh giá đều đạt được độ chính xác khá cao. Tuy nhiên do đây là các mơ hình có độ phức tạp trong kiến trúc cũng như dung lượng khá lớn nên thời gian suy luận của các mơ hình gốc (Native Models) này thường rất lâu và khơng thích hợp cho việc triển khai các mơ hình này lên hệ thống giám sát thực tế.
- Chính vì thế sau q trình sử dụng TensorRT để tối ưu hố mơ hình YOLOv5 cùng như TensorFlow-TensorRT để tối ưu hố mơ hình EfficientDet như đã trình bài ở phần 3.3. Ta cần đánh giá lại độ chính xác của các mơ hình được tối ưu và hiệu năng tính tốn của chúng để tìm ra mơ hình thích hợp nhất. Mơ hình được đánh giá tốt khi có độ chính xác cao và thời gian xử lý nhanh.
- Về đánh giá độ chính xác, ta tiến hành tính độ đo mAP để đánh giá các mơ hình YOLOv5-m được tối ưu hố về mức chính xác FP32 và FP16 so với YOLOv5- m gốc (Native). Tương tự với EfficientDet-D1 được tối ưu hoá về FP32 (chưa thể chuyển về mức chính xác FP16) để so sánh với EfficientDet-D1 Native.
- Về quá trình đánh giá hiệu năng của các mơ hình trên ta thực hiện như phương pháp đã trình bày ở phần 4.1 khi Client và Server được triển khai trên cùng một máy để giảm thời gian truyền tải dữ liệu.
- Các model được đánh giá là:
+ EfficientDet-D1-native: là mơ hình gốc (Native Model) thu được sau khi huấn luyện chưa qua tối ưu hóa.
+ EfficientDet-D1-FP32: là mơ hình đã được tối ưu hóa từ Native
Model bằng TF-TRT có độ chính xác tính tốn FP32.
+ YOLOv5-m-exp23-native: là mơ hình gốc thu được qua q trình huấn luyện chưa qua tối ưu hóa
+ YOLOv5-m-exp23-FP32: là mơ hình đã được tối ưu hóa từ model native bằng TensorRT có độ chính xác tính tốn FP32.
+ YOLOv5-m-exp23-FP16: là mơ hình đã được tối ưu hóa từ model native bằng TensorRT có độ chính xác tính tốn FP16.
- Kết quả của quá trình đánh giá các mơ hình thể hiện ở 2 Bảng 4.3 và 4.4
Bảng 4.4. Kết quả đánh giá độ chính xác của các mơ hình
Bảng 4.5. Kết quả đánh giá hiệu năng của các mơ hình
-Từ hai bảng đánh giá trên ta có thể thấy rằng tuy độ chính xác bị suy hao qua q trình tối ưu hố mơ hình bằng TensorRT, tuy nhiên đổi lại hiệu năng tính tốn
của các mơ hình tăng đáng kể, đặc biệt là mơ hình YOLOv5-m-FP16 với hiệu năng tăng hơn 300% so với YOLOv5-m-Native.
- Biểu đồ Hình 4.8 cho ta thấy rõ ràng hơn về lợi ích của việc tối ưu hố mơ hình bằng TensorRT khi dù có độ chính xác tương đương nhau nhưng tốc độ xử lý của YOLOv5-m-FP16 lại vượt trội (gấp 2 lần) so với YOLOv5-m-FP32.
Hình 4.8. So sánh sự tương quan giữa độ chính xác và tốc độ xử lý của các models!
- Chính vì thế, YOLOv5-m-FP16 sẽ được sử dụng làm mơ hình chính cho hệ thống giám sát.
- Cùng với đó, ta cũng đánh giá hiệu năng của mơ hình ResNet-50 khi đã tối ưu về độ chính xác tính tốn là FP16. Ta thực hiện suy luận ở 4 kích thước batchsize ngõ vào khác nhau là 1, 4, 8, 16 tương đương với số ảnh được inference cùng một lúc.
- Ở Bảng 4.6, độ đo FPS không phản ánh số ảnh xử lý trong 1 giây mà thể hiện số lượng request được suy luận trong 1 giây. Ví dụ với batchsize=16, mơ hình có tốc độ xử lý là 84 FPS nghĩa là có 84 request được xử lý, mỗi request có 16 ảnh suy ra có 16*84 = 1344 ảnh được xử lý trong một giây. Từ đây ta có thể thấy được hiệu quả của tính năng Dynamic Batching của Triton Serving khi triển khai cho mơ hình ResNet-50.