(Luận văn thạc sĩ) nghiên cứu thử nghiệm hệ thống cảnh báo va chạm cho xe ô tô

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ HOÀNG MINH THUẬN NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 S K C0 Tp Hồ Chí Minh, tháng 03/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ HOÀNG MINH THUẬN NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 Tp Hồ Chí Minh, tháng 3/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ HOÀNG MINH THUẬN NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 Hướng dẫn khoa học: PGS.TS LÊ MỸ HÀ Tp Hồ Chí Minh, tháng 3/2020 Hình 4.40: Localization loss sau 15000 epoch 4.4.2 Ước lượng khoảng cách Với kết thu mục 4.4.1.b, chương trình cho kết ước lượng khoảng cách đủ tốt cho việc cảnh báo va chạm Tuy nhiên, giá trị khoảng cách khơng hồn tồn xác Nguyên nhân đến từ Localization loss, thực tế bounding box sinh khơng hồn tồn tồn trùng khớp với ground truth box xe Do đó, x_min x_max có sai số so với thực tế Điều dẫn đến giá trị khoảng cách tính tốn (dựa x_min x_max) có sai số 4.4.3 Tốc độ xử lý Mơ hình cho tốc độ thời gian thực Asus P550LD Với Raspberry Pi B+, mô hình hoạt động ổn định khơng đạt tốc độ thời gian thực 84 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận 5.1.1 Những điểm đạt Hệ thống xây dựng có khả nhận diện ô-tô, xe tải xe máy với độ xác phân loại nhãn phương tiện cao Tỉ lệ bỏ sót đối tương nhận diện (ơ-tơ, xe tải xe khách) hệ thống thấp Tỉ lệ khoanh vùng phương tiện khung hình hệ thống cao, từ cho kết tốt việc ước lượng khoảng cách cảnh báo va chạm Tốc độ xử lý hệ thống đạt thời gian thực chạy mơ máy tính Hệ thống hoạt động thiết bị nhúng có cấu hình yếu 5.1.2 Hạn chế Hệ thống xây dựng luận văn áp dụng cho đường cao tốc Chưa áp dụng cho môi trường giao thông đô thị phức tạp (bao gồm người, động vật, phương tiện giao thông khác) Q trình thử nghiệm sử dụng camera phổ thơng, chất lượng hình ảnh chưa mong muốn Dẫn đến kết sai lệch ảnh bị nhiễu., khoảng cách phát vật thể xác cịn giới hạn Hạn chế phần cứng thiết bị nhúng khiến hệ thống chưa đạt tốc độ thời gian thực 5.2 Hướng phát triển 5.2.1 Phần cứng: - Nâng cấp camera để có chất lượng tốt - Sử dụng stereo camera, LIDAR nhằm tăng cường chất lượng data mô hình học sâu - Sử dụng máy tính nhúng có cấu hình tốt hơn, trang bị GPU - Xây dựng cấu chấp hành can thiệp hệ thống phanh xe 85 5.2.2 Phần mềm: - Tăng cường độ xác mơ hình học máy thơng qua việc tăng lượng liệu huấn luyện - Áp dụng thuật toán xử lý nhiễu cho ảnh thu từ camera - Sử dụng ngơn ngữ lập trình bậc thấp thay cho ngơn ngữ lập trình bậc cao nhàm tăng tốc độ xử lý hệ thống 86 TÀI LIỆU THAM KHẢO [1] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications”, arXiv- Cornell University, 17 Apr 2017 [2] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, ChengYang Fu, Alexander C Berg, “SSD: Single Shot MultiBox Detector”, arXiv- Cornell University, 29 December 2016 [3] N Dalal and B Triggs, “Histograms of oriented gradients for human detection”, In IEEE Conference on Computer Vision and Pattern Recognition, pages 886–893, 2005 [4] P Felzenszwalb, D McAllester, and D Ramanan, A discriminatively trained, multiscale, deformable part model” In IEEE Conference on Computer Vision and Pattern Recognition, pages –8, june 2008 [5] A Torralba, K Murphy, and W Freeman, Sharing features: efficient boosting procedures for multiclass object detection, IEEE Conference on Computer Vision and Pattern Recognition, 2:II–762 – II–769 Vol.2, june-2 july 2004 [6] N Cornelis, B Leibe, K Cornelis, and L Gool, “3d urban scene modeling integrating recognition and reconstruction”, International Journal of Computer Vision, 78(2-3):121– 141, 2007 [7] B Leibe, N Cornelis, K Cornelis, and L J V Gool, Dynamic 3d scene analysis from a moving vehicle”, In IEEE Conference on Computer Vision and Pattern Recognition, 2007 [8] D Hoiem, A A Efros, and M Hebert, “Putting objects in perspective”, volume 80, pages 3–15, Hingham, MA, USA, October 2008 Kluwer Academic Publishers [9] A Hartley, Richard ; Zisserman, “Multiple view geometry in computer vision”, Cambridge Univ Press, Cambridge, ed., print edition, 2008 [10] S Nedevschi, S Bota, and C, Tomiuc “Stereo-based pedestrian detection for collision-avoidance applications”, IEEE Transactions on Intelligent Transportation Systems, 10(3):380–391, 2009 87 [11] S Nedevschi, R Danescu, T Marita, F Oniga, C Pocol, S Sobol, C Tomiuc, C Vancea, M Meinecke, T Graf, T B To, and M Obojski, “A sensor for urban driving assistance systems based on dense stereovision”, IEEE Intelligent Vehicles Symposium, pages 276 –283, june 2007 [12] U Franke, C Rabe, H Badino, and S K Gehrig, “6d-vision: Fusion of stereo and motion for robust environment perception”, In Deutsche Arbeitsgemeinschaft für Mustererkennung e V Symposium, pages 216–223, 2005 [13] A Wedel, A Meißner, C Rabe, U Franke, and D Cremers, “Detection and segmentation of independently moving objects from dense scene flow”, In International Conference on Energy Minimization Methods in Computer Vision and Pattern Recognition, pages 14–27, Berlin, Heidelberg, 2009 Springer-Verlag [14] D Pfeiffer and U Franke, “Efficient representation of traffic scenes by means of dynamic stixels”, In IEEE Intelligent Vehicles Symposium, pages 217 –224, 2010 [15] D Muller, M Meuter, and S.-B Park, “Motion segmentation using interest points”, In IEEE Intelligent Vehicles Symposium, pages 19 –24, 2008 [16] T.-D Vu, J Burlet, and O Aycard, “Grid-based localization and online mapping with moving objects detection and tracking: new results”, In IEEE Intelligent Vehicles Symposium, pages 684 –689, 2008 [17] F Moosmann and T Fraichard, “Motion estimation from range images in dynamic outdoor scenes”, In IEEE Conference on Robotics and Automation, pages 142 –147, May 2010 [18] Yinghua He, Hong Wang, and Bo Zhang, “Color-Based Road Detection in Urban Traffic Scenes”, IEEE, 2004 [19] G Loy, Nick Barnes, “Fast shape-based road sign detection for a driver assistance system”, IEEE/RSJ International Confrence on Intelligent Robots and System, pp 70-75, 2004 [20] Paul Viola, Michael Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Accepted Conference on Computer Vision and Pattern Recognition, 2001 88 [21] Navneet Dalal, Bill Triggs, Histograms of Oriented Gradients for Human Detection”, International Conference on Computer Vision & Pattern Recognition (CVPR ’05), pp.886– 893, Jun 2005, San Diego, United States [22] Gary Bradski, Adrian Kaehler, Learning OpenCV, O’Reilly Media, Inc., 2008, 1005 Gravenstein HighWay North, Sebastopol [23] https://www.mathworks.com/help/driving/examples/forward-collision-warningusing-sensor-fusion.html [24] Christian Szegedy, Scott Reed, Dumitru Erhan, Dragomir Anguelov, Sergey Ioffe, “Scalable, High-Quality Object Detection”, arXiv- Cornell University, December 2015 [25] https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligencemachine-learning-deep-learning-ai/ [26] https://cs231n.github.io/transfer-learning/#tf [27] Ian Goodfellow, Yoshua Bengio, Aaron Courville, “Deep Learning”, MIT Press, 2016 [28] Vũ Hữu Tiệp, “Machine Learnig Cơ bản”, June 2019 [29] Nguyễn Thanh Tuấn, “Deep Learning Cơ bản”, October 2019 [30] https://phamdinhkhanh.github.io/2019/10/05/SSDModelObjectDetection.html [31] Zhaojin Zhang, Cunlu Xu and Wei Feng, “Road Vehicle Detection and Classification based on Deep Neural Network”, IEEE, 2016 [32] Qingpeng Li, Lichao Mou, Qizhi Xu, Yun Zhang and Xiao Xiang Zhu, “R3-Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos”, IEEE, 2018 89 NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ RESEARCH FORWARD COLISION WARNING SYSTEM ON VEHICLES Lê Hoàng Minh Thuận Trường đại học Sư phạm Kỹ thuật TP.HCM TÓM TẮT Trong năm gần đây, Deep Learning trở thành xu hướng lĩnh vực chế tạo xe tự hành với độ xác cao, nhiên sản phẩm xe tự hành áp dụng kỹ thuật có giá thành cao phần cứng Do đó, luận văn tập trung xây dựng hệ thống hỗ trợ người lái tơ sử dụng kỹ thuật Deep Learning triển khai phần cứng giá rẻ Hệ thống sử dụng mạng MobileNet-SSD để nhận diện ước lượng khoảng cách vật thể thu từ ảnh camera gắn ơ-tơ, từ đưa cảnh báo hỗ trợ người lái Tốc độ xử lý hệ thống gần đạt ngưỡng thời gian thực Kết đạt luận văn mở hội việc chế tạo sản phẩm thương mại có giá thành rẻ, hướng tới làm chủ công nghệ nhận diện vật thể dùng kỹ thuật Deep Learning Việt Nam Từ khóa: Deep Learning; xe tự hành; MobileNet-SSD ABSTRACT In recent years, Deep Learning has become a trend in the field of self-driving cars with high accuracy, however, modules on cars which are applied this technique have a very high cost of hardware Hence, the thesis focuses on building the driver assistance system in cars, the system using Deep Learning technology and possible to deploy the system on low-cost hardware The system use MobileNet-SSD for detection and estimating the distance from objects in traffic to cameras mounted on cars Results are used to give a warning to support the driver The processing speed of the system nearly reaches the real time threshold The results obtained in the thesis open up opportunities for manufacturing low-cost commercial products, aiming to master the technology of object detection using deep learning technique in Vietnam Keywords: Deep Learning; self-driving car; MobileNet-SSD GIỚI THIỆU Trong năm gần đây, với kết vượt trội mà phương pháp Deep Learning thể việc xử lý tác vụ cụ thể thông qua lượng liệu cung cấp, việc nhận dạng đối tượng hệ thống trợ lái nâng cao nghiêng xu hướng áp dụng Deep Learning vào việc rút trích đặc trưng, phân lớp nhận dạng đối tượng, nhằm tăng độ xác tốc độ xử lý, cụ thể “Road Vehicle Detection and Classification based on Deep Neural Network” [1] Zhaojin Zhang thể sử dụng Deep Neural Network (DNN) có độ xác cao phương pháp trước đó, tốc độ xử lý chậm Trong “R3-Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos” Qingpeng Li [2], sử dụng phương pháp R3-Net Neural Network (bao gồm CNN, R-RPN, R-DN kết hợp) để nhận dạng phương tiện Tuy theo dõi thêm nhiều thông tin phương tiện quỹ đạo nhầm nâng cao hiệu suất phát xe đa hướng thuật toán phức tạp chi phí cao Trong “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications” [3], nhóm tác giả trình bày mạng CNN cho mục đích nhận diện vật thể, ưu điểm mạng nhúng thiết bị di động có cấu hình phần cứng thấp 90 Tuy nhiên, hệ thống áp dụng Deep Learning u cầu phần cứng có cấu hình mạnh giá thành thương mại cao, khả áp dụng đại trà Việt Nam thấp Dựa thực tế nghiên cứu lĩnh vực trợ lái nâng cao, thông số khả quan mạng MobileNets [3], tác giả nhận Hình Sơ đồ khối trình xây dựng hệ thống Hình Dữ liệu nhận diện mức dễ, phương tiện nhận diện gần, rõ nét định phương pháp Deep Learning sử dụng mạng MobileNets cho kết khả quan việc nhận dạng phương tiện giao thơng thiết bị có cấu hình phần cứng thấp Hình thể qua trình xây dựng hệ thống, bao gồm giai đoạn: giai đoạn huấn luyện giai đoạn triển khai GIAI ĐOẠN HUẤN LUYỆN 2.1 Thu thập liệu gắn nhãn Dữ liệu sử dụng cho trình huấn luyện ảnh thu thập cao tốc qua camera với độ phân giải 1280x720 pixels Những đối tượng cần nhận diện gắn nhãn ảnh Tác giả sử dụng phần mềm mã nguồn mở labelImg cho việc gắn nhãn Hình Dữ liệu nhận diện mức trung bình, phương tiện nhận diện xa, rõ nét Lượng liệu thu sau gắn nhãn chia làm hai phần: 1036 ảnh dùng cho việc huấn luyện 336 ảnh dùng cho việc kiểm tra Dữ liệu kiểm tra chia làm loại dựa độ rõ nét khoảng cách đối tượng nhận diện đến camera Hình Dữ liệu nhận diện mức khó, phương tiện nhận diện xa, mờ 2.2 Huấn luyện mơ hình Transfer Learning 2.2.1 Trích xuất đặc trưng dùng MobileNet MobileNet [3] mơ hình tinh 91 chỉnh cho mục đích tối ưu tốc độ xử lý Thành phần mơ hình phép tính Depthwise Separable Convolution Depthwise Separable Convolution chia phép tích chập thơng thường thành hai phép tốn Phép tốn tích chập ma trận kernel với feature map kênh ngõ vào Sau tích chập với kernel (1x1) nhằm tổng hợp kết phép toán Với D, N, K2, H2 số kênh ngõ vào, số kênh ngõ ra, kích thước kernel, kích thước feature map Chi phí tính tốn Depthwise Separable Convolution so với tích chập truyền thống giảm theo tỉ lệ sau: 𝐾 ∗ 𝐻2 ∗ 𝐷 + 𝐷 ∗ 𝑁 ∗ 𝐻2 1 = + 2 𝐾 ∗𝐷∗𝑁∗𝐻 𝐻∗𝑁 𝐾 Lloc ( x, p, g ) = N   iPos m( x , y , w, h ) xijk L1smooth ( pim − gˆ mj ) (2) Việc tiến hành khớp bounding box mặc định với ground truth boxes cần dùng số IoU nhằm đo lường tỷ lệ diện tích giao vùng hình ảnh (Area of overlap) so với tổng diện tích (khơng tính phần giao nhau) (Area of union) chúng (hình 5) Lấy ngưỡng IoU 0.5 (1) Hình Ví dụ IoU luận văn 2.2.1 Nhận diện vật thể dùng SSD SSD, viết tắt Single Shot MultiBox Detector, diễn giải sau: • 𝐼𝑜𝑈 = Area of Overlap Area of Union (3) Single Shot: việc định vị phân loại đối tượng thực phase từ đầu đến cuối • MultiBox: Tên kĩ thuật bounding box sử dụng Szegedy [5] • Detector: Mạng có khả nhận biết phân loại đối tượng Ngõ vào SSD feature map ground truth boxes thể vị trí thực tế vật thể suốt trình huấn luyện Trong trình phát vật thể, feature map, tiến hành đánh giá tập hợp nhỏ gồm bounding box mặc định (tương ứng với tỉ lệ chiều rộng chiều cao đặc thù cho loại đối tượng) lên feature map có kích cỡ khác Mỗi bounding box mặc định có phân phối xác suất c = (c1, c2, …, cn) tương ứng với loại nhãn C = (C1, C2, …, Cn) Tiếp theo, cần tối thiểu hóa sai số nhãn dự báo tương ứng với vật thể phát bounding box mặc định thông qua confidence loss hàm softmax (4) Trong trình huấn luyện, cần khớp bounding box mặc định với ground truth boxes cho mức độ sai số vị trí localization loss nhỏ hàm Smooth L1 (2) Mơ hình MobileNet-SSD hệ thống đánh giá qua thông số: Precission (5), Recall (6), Localization loss (2) Confidence loss (4) Lconf ( x, c) = −  xijk log(cˆik ) − iPos  log(cˆ ) iNeg i (4) 2.3 Cấu trúc mơ hình MobileNet-SSD Mơ hình MobileNet-SSD hệ thống dựa trình lan truyền thuận mạng sở MobileNet, qua trích xuất đặc trưng nhằm tạo feature map chứa đặc trưng ảnh ngõ vào Kế tiếp tiến thành thêm lớp phía sau mạng sở dùng SSD cho việc nhận dạng đối tượng Cấu trúc mơ hình MobileNet-SSD thể bảng 1: 2.4 Đánh giá mơ hình 2.4.1 Precission and Recall Mơ hình dự đốn rơi vào trường hợp sau 92 • • True possitive (TP): Nếu kết từ dự • False positives (FP): Khi kết dự đốn đốn có xe giá trị thực tế có có xe giá trị thực tế không xe – Phân loại xác có xe – phân loại khơng xác True negatives (TN): Xảy kết • False negatives (FN): Khi kết dự dự đốn giá trị thực tế khơng có đốn khơng có xe giá trị thực xe tế có xe – phân loại khơng xác Bảng 1: Cấu trúc mạng MobileNet-SSD hệ thống: Lớp / strides Kích thước Kích thước feature Kernel map Conv / s2 x x x32 300 x 300 x Conv dw / s1 x x 32 150 x 150 x 32 Conv / s1 x x 32 x 64 150 x 150 x 32 Conv dw / s2 x x 64 150 x 150 x 64 Conv / s1 x x64 x 128 75 x 75 x 64 Conv dw /s1 x x 128 75 x 75 x 128 Conv / s1 x x 128 x 128 75 x 75 x 128 Conv dw / s2 x x 128 75 x 75 x 128 Conv / s1 x x 128 x 256 38 x 38 x 128 Conv dw /s1 x x 256 38 x 38 x 256 Conv / s1 x x 256 x 512 38 x 38 x 256 Conv dw /s1 x x 512 38 x 38 x 512 Conv / s1 x x 512 x 512 38 x 38 x 512 5x Conv dw / x x 512 38 x 38 x 512 s1 Conv / s1 x x 512 x 512 38 x 38 x 512 Conv / s2 x x 512 x 1024 38 x 38 x 512 Conv / s1 x x 1024 x 19 x 19 x 1024 1024 Conv / s1 x x 1024 x256 19 x 19 x 1024 Conv / s2 x x 256 x 512 19 x 19 x 256 Conv / s1 x x 512 x 128 10 x 10 x 512 Conv / s2 x x 128 x 256 10 x 10 x 128 Conv / s1 x x 256 x 128 x x 256 Conv / s2 x x 128 x 256 x x 128 Conv / s1 x x 256 x 128 x x 256 Conv / s1 x x 128 x 256 x x 128 Conv / s1 x x 256 x 128 x x 256 Conv / s1 x x 128 x 256 x x 128 Pr ecision = TP TP + FP TP Re call = TP + FN (5) (6) Sau huấn luyện, mơ hình có số sau: Precision mơ hình đạt 0.9 (hình 6): kết dự đốn đối tượng có tỉ lệ trùng khớp với nhãn đối tượng thực tế cao 93 Recall mơ hình đạt 0.81 (hình 7): tỉ lệ bỏ sót đối tượng thấp Hình Localization loss mơ hình Hình Precision mơ hình GIAI ĐOẠN TRIỂN KHAI 3.1 Xử lý biến dạng ảnh Tính toán khoảng cách vật thể camera thực hệ tọa độ ảnh Việc chuyển đổi từ hệ tọa độ thực sang hệ tọa độ ảnh thường bị ảnh hưởng thông số camera, bao gồm loại thơng số: • Hình Precision mơ hình 2.4.2 Localization Confidence loss Localization loss mơ hình giảm cịn 0.2 (hình 8) Chứng tỏ bounding box dự đốn ground truth box có độ khớp với lớn (IoU gần đến 1) Mơ hình khoanh vùng đối tượng ảnh tốt Thông số nội camera dùng trình chiếu tọa độ vật từ tọa độ thực sang tọa độ ảnh • Thơng số ngoại camera dùng trình dịch tọa độ thực tọa độ ảnh • Thơng số biến dạng xun tâm gây méo dạng rìa ảnh cấu tạo thấu kính • Thơng số biến dạng tiếp tuyến gây sai lệch khoảng cách theo phương ngang độ lệch thấu kính với phương đứng q trình sản xuất Xử lý biến dạng ảnh trình tìm thông số camera nhằm loại bỏ biến dạng ảnh gây thông số Phương pháp sử dụng dùng ảnh bàn cờ, tiến hành so sánh độ lệch tọa độ điểm bàn cờ tọa độ ảnh so với thực tế Kết thơng số camera thu qua q trình thể bảng Bảng 2.Thông số camera fx cx fy cy k1 k2 k3 p1 Hình Localization loss mơ hình Classification giảm cịn 0.89 (hình 9) Điều chứng tỏ sai số dự báo nhãn đối tượng bounding box thấp Mơ hình có khả phân lớp đối tượng tốt 94 115.158 666.167 114.507 386.44 -0.235 -0.079 0.072 -0.0013 p2 0.000082 3.1 Ước lượng khoảng cách Sau xác định khu vực chứa đối tượng nhận diện ảnh, việc ước lượng khoảng cách đối tượng camera thực qua qua phép chiếu trục tọa độ (hình 10) Với W chiều rộng thực tế đối tượng, (xmax – xmin) chiều rộng đối tượng ảnh Khoảng cách D camera vật thể theo phương ngang tính tốn theo cơng thức (7): (7) Hình 10 Phép chiếu trục OXZ KẾT QUẢ THỰC HIỆN 4.1 Nhận diện vật thể Quá trình kiểm tra thực cao tốc với camera gắn vào Asus P550LD, hệ thống nhận diện phương tiện lưu thông với số confidence cao, khoanh vùng đối tượng tốt tỉ lệ bỏ sót đối tượng nhận diện thấp (hình 11) lượng khoảng cách tính tốn so với thực tế Kết ước lượng khoảng cách thực tế thể bảng Số lần đo Khoầng cách thưc tế 10 40 Khoầng cách ước lướng 10 39 4.3 Tốc độ xử lý Sử dụng cơng thức tính số khung hình giây (FPS) để đánh giá tốc độ xử lý hệ thống: FPS = Hình 11 Kết nhận diện thực tế hệ thống 4.2 Ước lượng khoảng cách Việc so sánh kết ước lượng khoảng cách thực tế tính tốn xe chạy khơng khả thi trường hợp sử dụng camera Do đó, sử dụng ảnh từ camera cách đối tượng xe không di chuyển (biết trước khoảng cách) cho việc so sánh kết ước (5) time _ start − time _ end Kết đo FPS Raspberry Pi 3B+ Asus P550LD: Bảng 3.Kết đo FPS Số lần đo 95 Raspberry Pi B+ 0.72 0.67 0.61 0.64 0.67 Asus P550LD 24.91 25.01 24.83 25.08 24.84 Hệ thống đạt tốc độ thời gian thực Asus P550LD KẾT LUẬN Hệ thống xây dựng có khả nhận diện ơ-tơ, xe tải xe máy với độ xác phân loại nhãn phương tiện cao Tỉ lệ bỏ sót đối tương nhận diện (ô-tô, xe tải xe khách) thấp, kết ước lượng khoảng cách cảnh báo va chạm tốt Tốc độ xử lý hệ thống đạt thời gian thực chạy mơ thiết bị có cấu hình thấp Hệ thống xây dựng luận văn áp dụng cho đường cao tốc Chưa áp dụng cho môi trường giao thông đô thị phức tạp lai Quá trình thử nghiệm sử dụng camera phổ thơng, chất lượng hình ảnh chưa mong muốn Dẫn đến kết sai lệch ảnh bị nhiễu., khoảng cách phát vật thể xác cịn giới hạn 96 TÀI LIỆU THAM KHẢO [1] Zhaojin Zhang, Cunlu Xu and Wei Feng, “Road Vehicle Detection and Classification based on Deep Neural Network”, IEEE, 2016 [2] Qingpeng Li, Lichao Mou, Qizhi Xu, Yun Zhang and Xiao Xiang Zhu, “R3-Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos”, IEEE, 2018 [3] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications”, arXiv- Cornell University, 17 Apr 2017 [4] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, ChengYang Fu, Alexander C Berg, “SSD: Single Shot MultiBox Detector”, arXiv- Cornell University, 29 December 2016 [5] Christian Szegedy, Scott Reed, Dumitru Erhan, Dragomir Anguelov, Sergey Ioffe, “Scalable, High-Quality Object Detection”, arXiv- Cornell University, December 2015 Tác giả chịu trách nhiệm viết: Họ tên: Lê Hoàng Minh Thuận Đơn vị: Trường đại học Sư phạm Kỹ thuật TP.HCM Điện thoại: 0964147677 Email: thuanlhm@gmail.com S K L 0 ... ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ HOÀNG MINH THUẬN NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 Tp Hồ Chí Minh,... ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ LÊ HOÀNG MINH THUẬN NGHIÊN CỨU THỬ NGHIỆM HỆ THỐNG CẢNH BÁO VA CHẠM CHO XE Ô TÔ NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 Hướng dẫn khoa... SÁCH HÌNH Hình 1.1: Mơ hình hệ thống cảnh báo chệch đường 13 Hình 1.2: Mơ hình hệ thống kiểm sốt hành trình chủ động 14 Hình 1.3: Mơ hình hệ thống cảnh báo va chạm trước .14 Hình 2.1: