Phát hiện đối tượng dựa vào học sâu trên Raspberry Pi

Bài viết Phát hiện đối tượng dựa vào học sâu trên Raspberry Pi trình bày việc tìm hiểu sự phù hợp của các mô hình phát hiện đối tượng trên Raspberry Pi, một bo mạch máy tính nhúng phổ biến có thể được tích hợp vào các hệ thống IoT để giúp công việc trở nên dễ dàng.

TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 20, Số (2022) PHÁT HIỆN ĐỐI TƯỢNG DỰA VÀO HỌC SÂU TRÊN RASPBERRY PI Lê Quang Chiến Khoa Công nghệ Thông tin, Trường Đại học Khoa học, Đại học Huế Email: lqchien@hueuni.edu.vn Ngày nhận bài: 13/3/2021; ngày hoàn thành phản biện: 6/7/2021; ngày duyệt đăng: 4/4/2022 TÓM TẮT Với phát triển gần lĩnh vực học sâu, phương pháp phát đối tượng đạt hiệu suất cao tốc độ độ xác hệ thống máy tính để bàn đại Bên cạnh đó, việc phát triển mơ hình học sâu nhỏ nhanh để phù hợp với thiết bị IoT thu hút nhiều quan tâm Bài báo tìm hiểu phù hợp mơ hình phát đối tượng Raspberry Pi, bo mạch máy tính nhúng phổ biến tích hợp vào hệ thống IoT để giúp công việc trở nên dễ dàng Chúng tiến hành khảo sát ảnh hưởng hai mơ hình phát đối tượng đại Single Shot Detector (SSD) You Only Look Once (YOLO) Hai mơ hình đánh giá dựa tốc độ xử lý khung hình độ xác trung bình thực suy luận Các kết thí nghiệm cho thấy tính khả thi mơ hình sử dụng thiết bị máy tính cấu hình thấp Từ khóa: Phát đối tượng, YOLO, SSD, Raspberry Pi MỞ ĐẦU Phát đối tượng có lẽ nhiệm vụ quan trọng hệ thống giám sát Mục tiêu nhiệm vụ phát diện đối tượng từ tập lớp định xác định vị trí xác hình ảnh Trước AlexNet [1], mạng nơron tích chập (CNN), giới thiệu, xem vấn đề khó giải nhà nghiên cứu việc tìm giải pháp phân loại hình ảnh với tỷ lệ lỗi thấp Từ cột mốc này, nhiều phương pháp phát đối tượng áp dụng CNN trình bày cho thấy hiệu suất hiệu tuyệt vời Tuy nhiên, để thực thi tác vụ sử dụng CNN cách hiệu quả, cần nhiều sức mạnh tính tốn Do vậy, việc chạy hệ thống phát đối tượng thiết bị có tài nguyên phần cứng hạn chế thách thức Raspberry Pi [2] loại máy tính cỡ nhỏ với kích thước khơng lớn thẻ tín dụng Loại máy tính thiếu sức mạnh tính tốn hệ thống máy tính Phát đối tượng dựa vào học sâu Raspberry Pi để bàn truyền thống Tuy nhiên, kích thước chi phí thấp, chúng sử dụng cho tác vụ định Hiện tại, có nhiều phương pháp khác sử dụng để phát đối tượng Tuy nhiên, khơng có phương pháp lựa chọn tối ưu để sử dụng hệ thống phát đối tượng Các phương pháp đề xuất tập trung vào việc đạt độ xác cao mà khơng cần xem xét giới hạn thời gian chạy phần cứng Trong ứng dụng thực tế, việc cân nhắc đến yếu tố khiến cho việc tìm phương pháp phù hợp để sử dụng khó Gần đây, hai phương pháp SSD [3], YOLO [4] giới thiệu phương pháp đạt hiệu tốt độ xác phát tốc độ xử lý Trong nghiên cứu này, triển khai hai phương pháp nêu với Raspberry Pi để đánh giá xem phù hợp chạy phần cứng hiệu suất thấp Một phát đối tượng thực coi phù hợp đạt độ xác tốc độ khung hình đủ cao để triển khai ứng dụng thực tế PHƯƠNG PHÁP NGHIÊN CỨU Phát đối tượng vấn đề kinh điển thị giác máy tính với mục tiêu để nhận đâu Tức là, phải xác định vật thể bên hình ảnh vị trí chúng hình ảnh Do đó, hệ thống phát đối tượng phải bao gồm trình phân loại định vị không đối tượng ảnh mà đối tượng tham chiếu Đây nhiệm vụ khó khăn nhiều so với phân loại hình ảnh truyền thống Trong phần này, chúng tơi trình bày cách tổng quan hai mơ hình phát đối tượng đại: SSD YOLO Đây hai mơ hình đề xuất dựa CNN để tạo thành hệ thống phát đối tượng end-to-end 2.1 Mơ hình SSD SSD [3] mơ hình thiết kế để phát đối tượng thời gian thực Bài toán phát đối tượng đánh dấu đột phá với mơ hình R-CNN cải tiến như: Fast R-CNN Faster R-CNN Các mơ hình thực thi qua hai giai đoạn: (i) giai đoạn sử dụng mạng đề xuất vùng (Region Proposal Network) để tạo vùng ứng cử viên (proposals); (ii) giai đoạn thứ hai phân loại proposals phân lớp mạnh Mặc dù, mơ hình Faster R-CNN đạt độ xác cao, tốc độ thực thị tồn q trình thấp nhiều so với u cầu xử lý theo thời gian thực Trong đó, mơ hình SSD gồm giai đoạn Kiến trúc SSD bao gồm mạng nơron cho tồn q trình phát đối tượng (xem Hình 1) Trong kiến trúc này, mạng RPN loại bỏ hồn tồn Để gia tăng độ xác, SSD áp dụng vài cải tiến bao gồm đặc trưng đa tỷ lệ (multi-scale features) 10 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 20, Số (2022) hộp mặc định (default boxes) Những cải tiến cho phép SSD đạt độ xác tương đương với Faster R-CNN (thậm chí cao hơn) sử dụng hình ảnh có độ phân giải thấp hơn, giúp nâng cao tốc độ Hình Kiến trúc mơ hình SSD Kiến trúc tổng quát SSD bao gồm hai phần: (i) trích xuất feature maps, (ii) áp dụng lọc tích chập (convolutional filters) để phát đối tượng Giống mơ hình R-CNN, SSD sử dụng mạng CNN để trích xuất đặc trưng Trong kiến trúc mơ tả Hình 1, mạng VGG-16 [5] sử dụng để thực nhiệm vụ Các đặc trưng này, sau đó, dùng để tính tốn vị trí độ tin cậy đối tượng phân lớp Đặc biệt, kiến trúc SSD, đầu lớp Convolutional sử dụng để đóng góp vào q trình tính tốn cuối 2.2 Mơ hình YOLO Tương tự SSD [3], YOLO [4] kiểu kiến trúc end-to-end, bao gồm hai q trình trích chọn đặc trưng suy luận (phân loại định vị) YOLO mơ hình đạt độ xác cao đồng thời thực thi suy luận thời gian thực Mơ hình cần lần truyền thông tin chuyển tiếp qua mạng nơron để đưa dự đốn Sau đó, thuật toán Non-Maximum Suppression áp dụng để giữ lại dự đoán tốt đối tượng phát Khác với kiến trúc SSD, YOLO sử dụng thông tin từ lớp Convolutional cuối cho nhiệm vụ phát phân lớp đối tượng (xem Hình 2) để tăng tốc độ xử lý YOLO đề xuất nhiều cải tiến như: (i) sử dụng trích xuất đặc trưng tốt hơn; (ii) bổ sung Feature Pyramid để phát đối tượng nhỏ tốt Hình Kiến trúc mơ hình YOLO 11 Phát đối tượng dựa vào học sâu Raspberry Pi KẾT QUẢ VÀ THẢO LUẬN Trong phần này, chúng tơi trình bày thiết lập thí nghiệm để thực đánh giá hai mơ hình SSD YOLO Bên cạnh đó, chúng tơi báo cáo kết thí nghiệm tiến hành Cuối cùng, chúng tơi phân tích, thảo luận dựa kết báo cáo để đánh giá vai trị hai mơ hình việc triển khai Raspberry Pi 3.1 Các thiết lập thí nghiệm Chúng tơi thực đánh giá SSD YOLO thơng qua hai mơ hình huấn luyện sẵn: MobileNetV2-SSDLite [7] YOLOv3-tiny [8] Hai mô hình huấn luyện liệu COCO [6] Bên cạnh đó, SSD YOLO CNN đầy đủ nên hai mơ hình thực suy luận hình ảnh nhiều kích thước khác Do vậy, chúng tơi sử dụng kích thước ảnh đầu vào tham số để đánh giá tốc độ độ xác phát Trong thí nghiệm, chúng tơi đánh giá ba kích thước khác ảnh đầu vào, là: 96x96, 160x160, 224x224 Chúng cung cấp đánh giá liên quan dựa độ xác tốc độ xử lý SSD YOLO Các kết báo cáo báo đánh giá Raspberry Pi Đánh giá độ xác khảo sát dựa cơng trình cơng bố Riêng đánh giá tốc độ, chúng tơi thực thí nghiệm 1000 khung hình với kích cỡ đầu vào khác 3.2 Các kết thí nghiệm 3.2.1 Tốc độ xử lý Bảng thể kết kết thí nghiệm đánh giá tốc độ xử lý SSD YOLO Tốc độ xử lý tính số lượng khung hình xử lý giây Các kết báo cáo với kích cỡ đầu vào khác từ 1000 khung hình quay sẵn Bảng Tốc độ xử lý SSD YOLO với kích cỡ đầu vào khác Kích cỡ đầu vào 96 x 96 160 x 160 224 x 224 12 Mơ hình FPS SSD 4.41 YOLO 2.71 SSD 2.66 YOLO 1.92 SSD 1.73 YOLO 1.03 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 20, Số (2022) 3.2.2 Độ xác Hình thể độ xác trung bình hai mơ hình YOLO SSD thực nghiệm tập liệu AU-AIR [9] Đây tập liệu ghi hình cảm biến gắn thiết bị bay không người lái Tập liệu gồm nhiều loại liệu khác nhau, như: hình ảnh, thời gian, GPS, IMU, vận tốc Mục đích tập liệu để phục vụ cho hệ thống giám sát giao thông từ khơng Hình Độ xác trung bình hai mơ hình tập liệu AU-AIR [9] 3.3 Phân tích thảo luận Các kết báo cáo thí nghiệm thể tốc độ xử lý hai mơ hình SSD YOLO với kích cỡ đầu vào khác Kết thí nghiệm cho thấy cách sử dụng kích thước đầu vào nhỏ hơn, đạt tốc độ xử lý cao Tất nhiên, phải đánh đổi với suy giảm độ xác dự đoán đối tượng Trong Bảng 1, thấy SSD có tốc độ xử lý nhanh so với YOLO Khi kích thước đầu vào 96x96, SSD đạt tới 4,41 fps YOLO đạt 2,71 fps, nhanh chút so với SSD kích thước đầu vào 160x160 Cả hai mơ hình có tốc độ xử lý chậm kích thước đầu vào 224x224, YOLO xử lý tốc độ 1,03 fps SSD xử lý tốc độ 1,73 fps Trong báo cáo thí nghiệm độ xác dự đoán, YOLO cho kết dự đoán tốt đáng kể so với SSD Với nhiệm vụ phát người, YOLO dự đốn với độ xác 34,05%, SSD đạt 22,86% Đặc biệt với nhiệm vụ phát xe đạp hay xe gắn máy, SSD gần thất bại hầu hết mẫu kiểm thử, đạt độ xác 0,01% hai nhiệm vụ này, YOLO đạt độ xác 12,34% 4,80% Kết dự đốn trung bình thể rõ ràng khác biệt đáng kể YOLO (đạt 30,22%) SSD (đạt 19,50%) Các báo cáo thí nghiệm cho thấy việc thực thi nhiệm vụ phát đối tượng thiết bị nhúng Raspberry Pi chậm kích thước đầu vào tăng lên Bên 13 Phát đối tượng dựa vào học sâu Raspberry Pi cạnh đó, để đảm bảo độ xác phù hợp với toán thực tế, việc sử dụng kích thước đầu vào nhỏ khơng hợp lý nhiệm vụ liên quan đến hoạt động giám sát Tuy nhiên, cần nhận thức ứng dụng khác có yêu cầu khác tốc độ độ xác Do vậy, triển khai nhiệm vụ giám sát thiết bị cấp thấp, cần phải cân tốc độ độ xác Khi đối tượng yêu cầu giám sát người, mơ hình YOLO hay SSD dễ dàng phát khoảng cách xa kích thước lớn hình dạng đặc thù Do vậy, việc sử dụng mơ hình tốc độ cao không cần thiết Chúng ta triển khai với kích thước đầu vào 224x224 lớn để phục vụ cho mục đích giám sát Trong trường hợp này, mơ hình YOLO ưu tiên lựa chọn có độ xác cao đáng kể Bên cạnh đó, tăng tốc độ xử lý thơng qua việc sử dụng kỹ thuật tiền xử lý trừ nền, kỹ thuật theo dấu nâng cấp phần cứng phụ thuộc yêu cầu tốn mà có tùy chọn thích hợp KẾT LUẬN Mục đích nghiên cứu đánh giá phù hợp việc áp dụng hệ thống phát đối tượng thời gian thực máy tính có cấu hình thấp Raspberry Pi Hai mơ hình SSD YOLO lựa chọn để đánh giá độ xác tốc độ xử lý Kết cho thấy hai model không đáp ứng tốc độ xử lý theo thời gian thực Tuy nhiên, ứng dụng không yêu cầu tốc độ cao mơ hình YOLO sử dụng máy tính nhúng Raspberry Pi Việc đạt cân tốc độ xử lý độ xác phụ thuộc lớn vào yêu cầu ứng dụng thực tế Điều dẫn đến việc lựa chọn kích thước đầu vào phù hợp quan trọng để có cân cần thiết cho ứng dụng cụ thể Nghiên cứu giúp ích cho việc triển khai hệ thống giám sát phần cứng tương tự để đạt hiệu cao 14 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, Trường Đại học Khoa học, ĐH Huế Tập 20, Số (2022) TÀI LIỆU THAM KHẢO [1] Krizhevsky, A., Sutskever, I., & Hinton, G E (2012) Imagenet classification with deep convolutional neural networks In Advances in neural information processing systems (pp 1097-1105) [2] Pi, R What is a Raspberry Pi? [Online] Available from: https://www.raspberrypi.org/help/what-%20is-a-raspberry-pi/ [3] Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C Y., & Berg, A C (2016) SSD: Single shot multibox detector In European conference on computer vision (pp 21-37) Springer, Cham [4] Redmon, J., & Farhadi, A (2017) YOLO9000: better, faster, stronger In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 7263-7271) [5] Simonyan, K., & Zisserman, A (2014) Very deep convolutional networks for large-scale image recognition arXiv preprint arXiv:1409.1556 [6] Lin, T Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., & Zitnick, C L (2014) Microsoft coco: Common objects in context In European conference on computer vision (pp 740-755) Springer, Cham [7] Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., & Chen, L C (2018) Mobilenetv2: Inverted residuals and linear bottlenecks In Proceedings of the IEEE conference on computer vision and pattern recognition (pp 4510-4520) [8] Redmon, J., & Farhadi, A (2018) Yolov3: An incremental improvement arXiv preprint arXiv:1804.02767 [9] Bozcan, I., & Kayacan, E (2020) AU-AIR: A Multi-modal Unmanned Aerial Vehicle Dataset for Low Altitude Traffic Surveillance IEEE International Conference on Robotics and Automation (ICRA) 15 Phát đối tượng dựa vào học sâu Raspberry Pi DEEP LEARNING - BASED OBJECT DETECTION ON RASPBERRY PI Le Quang Chien Faculty of Information Technology, University of Sciences, Hue University Email: lqchien@hueuni.edu.vn ABSTRACT With the recent development of deep learning, object detection methods have achieved high performance on both speed and accuracy on modern desktop systems In addition, the development of smaller and faster deep learning models to fit IoT devices has been attracting much attention This article explores the relevance of object detection models on the Raspberry Pi, a popular embedded computer that can be integrated into IoT systems to make work easy We consider the effects of two modern object detection models, Single Shot Detector (SSD) and You Only Look Once (YOLO) The models will be evaluated based on the frame rate and the average precision in the phase of inference The experimental results show the feasibility of the models on low-profile computers Keywords: object detection, YOLO, SSD, Raspberry Pi Lê Quang Chiến sinh ngày 15/09/1983 Thừa Thiên Huế Năm 2005, ông tốt nghiệp cử nhân chuyên ngành Tin học trường Đại học Khoa học, Đại học Huế Năm 2007, ông nhận thạc sĩ chuyên ngành khoa học máy tính trường Đại học Khoa học, Đại học Huế Năm 2016, ông nhận học vị tiến sĩ chuyên ngành Tin học trường SOKENDAI (The Graduate University for Advanced Studies), Nhật Bản Hiện nay, ông công tác khoa Công nghệ Thông tin, trường Đại học Khoa học, Đại học Huế Lĩnh vực nghiên cứu: Xử lý nhận dạng ảnh, xử lý video, học máy, thị giác máy tính 16 ... nghiệm cho thấy việc thực thi nhiệm vụ phát đối tượng thiết bị nhúng Raspberry Pi chậm kích thước đầu vào tăng lên Bên 13 Phát đối tượng dựa vào học sâu Raspberry Pi cạnh đó, để đảm bảo độ xác phù.. .Phát đối tượng dựa vào học sâu Raspberry Pi để bàn truyền thống Tuy nhiên, kích thước chi phí thấp, chúng sử dụng cho tác vụ định Hiện tại, có nhiều phương pháp khác sử dụng để phát đối tượng. .. đặc trưng tốt hơn; (ii) bổ sung Feature Pyramid để phát đối tượng nhỏ tốt Hình Kiến trúc mơ hình YOLO 11 Phát đối tượng dựa vào học sâu Raspberry Pi KẾT QUẢ VÀ THẢO LUẬN Trong phần này, trình bày