4. KẾT QUẢ VÀ ĐÁNH GIÁ
4.5. Kết quả hiệu năng tính tốn thực thi tại EdgeDevice
4.5.1.!Phương pháp đánh giá
- Các thông số đánh giá ở phần 4.4 được đo khi Client và Server chạy trên cùng một máy tính nhằm mục đích triệt tiêu độ trễ của q trình truyền tải dữ liệu thơng qua mạng Ethernet. Nên các thông số trên phản ảnh được hiệu năng tối đa mà Card đồ hoạ RTX 3090 đáp ứng để có thể suy luận các mơ hình tại Server qua Triton Serving. Cho ta biết được với tài nguyên phần cứng hiện tại, thì hiệu năng tối đa mà Server có thể thực thi được là bao nhiêu.
- Chính vì vậy, độ trễ trên đường truyền là một vấn đề cần phải xem xét. Do vậy, phần đánh giá này sẽ đo hiệu năng của quá trình suy luận khi các Client gửi request đặt tại Edge Device và so sánh với kết quả đo ở phần 4.4 để thấy được sự ảnh hưởng của đường truyền đối với hệ thống giám sát của chúng ta.
- Để tăng tính thuyết phục, ta thực hiện khởi chạy một mơ hình pre-trained là YOLOv4-tiny tại chính Edge Device để cùng so sánh hiệu năng xem liệu việc thực thi tại Edge Device có tốt hơn việc gửi request về Server hay không?
4.5.2.!Kết quả
- Ta tiến hành đo hiệu năng của các mơ hình sau
+ YOLOv5-m-FP16 (pre+post client) là mơ hình thực hiện q trình pre_processing và post_processing tại Edge Device (Client) và quá trình suy luận AI trên Triton Serving đặt tại Server.
+ YOLOv5-m-DALI là mơ hình thực hiện việc gửi request tại ED
(Client) và quá trình pre-processing, suy luận AI, post-processing tại Triton Serving. + YOLOv4-tiny là mơ hình nhận diện người triển khai tại ED.
- Ngoài ra ta cũng tiến hành đo hiệu năng quá trình kết hợp giữa YOLOv5 và ResNet-50 khi gửi request tại ED và thực thi suy luận ở Triton Serving qua hai mơ hình YOLOv5-ResNet-DALI có batch_size cho ResNet lần lượt là 1 và 8.
- Kết quả đo khi thực thi tại Edge Device được thể hiện ở Bảng 4.9
- Từ bảng dữ liệu trên ta lập một biểu đồ (Hình 4.11) để so sánh hiệu năng giữa các mơ hình thực thi tại Edge Device gồm YOLOv5-m-FP16 (pre+post client) và YOLOv5-m-DALI với các mơ hình tương đương nhưng thực thi tại Server, cùng với đó là so sánh với mơ hình YOLOv4-tiny thực thi hồn tồn tại ED (khơng gửi request lên Server).
- Kết quả so sánh cho thấy, dù bị giảm khá nhiều khi thực hiện gửi dữ liệu suy luận AI từ ED lên Server, nhưng tốc độ xử lý của các mơ hình vẫn đáp ứng được tốc độ real-time cho camera.
- Như trên Hình 4.10, với việc sử dùng mơ hình YOLOv5-m-DALI gửi request từ ED với kích thước ảnh 360x640 ta có thể đạt tốc độ xử lý là 168 FPS gấp 4 lần so với việc suy luận tại ED với mơ hình YOLOv4-tiny. Với tốc độ này ta hồn tồn có thể chạy cùng một lúc 4-5 camera có tốc độ 25FPS để suy luận AI mà không bị trễ.
Hình 4.11. So sánh tốc độ xử lý các mơ hình YOLOv5-m khi thực thi tại Edge Device và tại Server!
ta có thể thấy, vẫn có suy hao trong việc truyền dữ liệu nhưng với tốc độ xử lý này, ta vẫn hồn tồn có thể chạy được 5 camera để phát hiện người không đội mũ bảo hộ ở độ phân giải 360x640. Tuy nhiên để việc cảnh báo chính xác ta chỉ nên chạy 1 camera có độ phân giải 720x1280.
Hình 4.12. So sánh tốc độ xử lý các mơ hình kết hợp YOLOv5+ResNet-50 khi thực thi tại Edge Device và tại Server
- Sau khi đã chọn được các phương pháp phù hợp để tích hợp vào hệ thống giám sát, bài kiểm tra cuối cùng là tính ổn định của hệ thống. Hai hình dưới đây là tồn bộ các thơng số FPS của các camera gửi về khi hệ thống hoạt động thực tế. Hệ thống giám sát chạy mơ hình YOLOv5-m-DALI với ngõ vào là ảnh có kích thước 360x640 và thực hiện trên 4 camera trong khoảng thời gian 2 ngày liên tục.
Hình 4.13. Tốc độ của 4 camera ghi nhận trong 2 ngày khi chạy các mơ hình AI
Hình 4.14. Tốc độ trung bình của các camera ghi nhận trong 2 ngày khi chạy các mơ hình AI!
- Nhìn vào Hình 4.13 và 4.14 ta có thể thấy rằng, tuy các camera có tốc độ thay đổi khác nhau tuy nhiên vẫn giữ ở tốc độ 25 FPS.
- Ta thấy có 2 khoảng thời gian mà tốc độ của camera ít thay đổi nhất chính là thời gian ban đêm khi ít người xuất hiện trong các camera, lúc đó mơ hình AI sẽ ít được thực thi nhờ vào hiệu quả của thuật toán phát hiện chuyển động. Vào ban ngày, khi có nhiều người xuất hiện, hệ thống phải thực thi các tác vụ suy luận AI, tuy nhiên