Phát hiện, nhận dạng và giám sát đối tượng cho xe tự lái

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN MINH CHIẾN PHÁT HIỆN, NHẬN DẠNG VÀ GIÁM SÁT ĐỐI TƯỢNG CHO XE TỰ LÁI OBJECT DETECTION, CLASSIFICATION AND TRACKING FOR AUTONOMOUS VEHICLE Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 8520114 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 09 năm 2020 - CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP.HCM Cán hướng dẫn khoa học: TS Lê Thanh Hải Cán chấm nhận xét 1: PGS TS Nguyễn Thanh Phương Cán chấm nhận xét 2: TS Lê Ngọc Bích Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG TP HCM ngày 03 tháng 09 năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Võ Tường Quân TS Ngô Hà Quang Thịnh PGS TS Nguyễn Thanh Phương TS Lê Ngọc Bích TS Lê Đức Hạnh Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA CƠ KHÍ - ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI HỌC BÁCH KHOA NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Minh Chiến MSHV: 1870324 Ngày, tháng, năm sinh: 18/10/1995 Nơi sinh: Long An Chuyên ngành: Kỹ thuật Cơ điện tử Mã số: 8520114 I TÊN ĐỀ TÀI: Phát hiện, nhận dạng giám sát đối tượng cho xe tự lái (Object detection, classification, and tracking for autonomous vehicle) II NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu phương pháp, giải thuật điều khiển, định vị, liên hợp cảm biến xe tự lái Việt Nam giới Nghiên cứu giải thuật Phát hiện, nhận dạng bám theo đối tượng cho xe tự lái Thiết kế, mô giải thuật Phát hiện, nhận dạng bám theo đối tượng cho xe tự lái III NGÀY GIAO NHIỆM VỤ: 24/02/2020 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 21/06/2020 V CÁN BỘ HƯỚNG DẪN: TS Lê Thanh Hải Tp HCM, ngày … tháng … năm 2020 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KHOA CƠ KHÍ (Họ tên chữ ký) - LỜI CẢM ƠN Thực luận văn thạc sĩ thử thách lớn, hồn tồn khác so với bậc đại học, địi hỏi nghiên cứu tự tìm hiểu nhiều Tơi thực hạnh phúc với kết đạt đề tài nghiên cứu Những kết đạt khơng nỗ lực cá nhân, mà cịn có hỗ trợ giúp đỡ thầy hướng dẫn, nhà trường, mơn, bạn bè gia đình Tôi mong muốn bày tỏ lời cảm ơn chân thành đến với họ Trước hết, tơi xin gửi lời cảm ơn sâu sắc tới thầy TS Lê Thanh Hải quan tâm hướng dẫn giúp đỡ suốt q trình thực hồn thành luận văn Tôi xin trân trọng cảm ơn đến tất q thầy/cơ tham gia giảng dạy chương trình Thạc sĩ Cơ điện tử khóa 2018, q thầy/cơ Bộ mơn Cơ điện tử khoa Cơ khí Trường Đại học Bách Khoa TP.HCM tạo điều kiện thuận lợi cho tơi suốt q trình học tập thực luận văn Tôi xin gửi lời cảm ơn chân thành tới người bạn người thân, người chia sẻ giúp đỡ tơi lúc khó khăn Cuối cùng, tơi xin bày tỏ lịng biết ơn vơ hạn cha mẹ gia đình bên cạnh ủng hộ, giúp đỡ Tác giả luận văn Trần Minh Chiến i TÓM TẮT LUẬN VĂN Công nghệ xe tự lái bao gồm nhiều vấn đề liên quan thiết kế khí, mạch điện điều khiển, nhiên để vận hành di chuyển cách an tồn cần phải sử dụng nhiều cảm biến để thu thập liệu từ môi người bên ngồi Luận văn trình bày thuật tốn phát hiện, phân loại giám sát đối tượng giúp cảnh báo va chạm cho xe tự lái, kết hợp với khả tự định vị lập đồ thời gian thực Tất đối tượng phân loại di chuyển đứng yên chia theo lớp (xe giới, xe máy, người số chướng ngại vật đường) Phương pháp đề xuất sử dụng giải thuật Yolo (You Only Look Once) để xử lý hình ảnh từ máy ảnh kết hợp với liệu từ cảm biến đo khoảng cách ánh sáng (LiDAR) để phát phân loại đối tượng ước tính vị trí vật thể xung quanh xe Các đặc trưng hình ảnh sử dụng để khớp đối tượng từ khung hình sang khung hình khác Thơng tin hợp với liệu ước tính từ phương pháp Visual Odometry liệu GPS/INS tổng hợp lọc Kalman mở rộng Ngoài liệu sử dụng để định vị lập đồ môi trường, giám sát đối tượng đồ giúp cho xe tự lái cảnh báo va chạm tạo sở cho giải thuật hoạch định đường sau Thuật toán phát triển thử nghiệm cách sử dụng liệu thu thập dự án Oxford Robotcar Mơ hình Robotcar trang bị máy ảnh, cảm biến LiDAR, GPS/ INS giúp thu thập liệu qua tuyến đường qua môi trường đô thị đông đúc  ii  ABSTRACT Design of self-driving car covers many mechanical and control design issues, but to operate and move safely, a lot of sensors are needed to collect data from an outdoor environment The thesis presents the algorithm of detecting, classifying and tracking objects to help alert collision for self-propelled vehicles, combine with the ability to selflocate and map simultaneously All objects classified as moving or stationary are divided by class (motor vehicles, motorcycles, pedestrians and some obstacles on the road) The proposed method uses the YOLO algorithm (You Only Look Once) which combines with data from a distance measuring sensor by light (LiDAR) to detect and classify objects and then estimate the location of objects around the car Image features are used to match the same object from one frame to another This information is then merged with the estimated data from the Visual Odometry method and the GPS/INS data is aggregated with an extended Kalman filter In addition, the above data is used to locate and map the environment, and tracking objects on the map to help self-propelled collision warning vehicles, which forms the basis for the future route planning algorithm The algorithm is developed and tested using the data set collected by the Oxford Robotcar project Robotcar models are equipped with cameras, LiDAR, GPS and INS data collection that travel a route through the dense urban environment  iii  LỜI CAM DOAN Tác giả xin cam đoan cơng trình nghiên cứu thân tác giả Các kết nghiên cứu kết luận luận án trung thực, không chép từ nguồn hình thức Việc tham khảo từ nguồn tài liệu thực trích dẫn ghi nguồn tài liệu tham khảo quy định Tác giả luận văn  iv  MỤC LỤC LỜI CẢM ƠN i TÓM TẮT LUẬN VĂN ii LỜI CAM DOAN iv MỤC LỤC .v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT viii DANH MỤC HÌNH ẢNH xii DANH MỤC BẢNG xiv CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề .1 1.2 Mục tiêu nhiệm vụ luận văn 1.2.1 Mục tiêu luận văn 1.2.2 Nhiệm vụ luận văn .4 1.3 Phạm vi luận văn 1.3.1 Phạm vi luận văn 1.4 Cấu trúc luận văn CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Cơ sở cảm biến 2.1.1 Cảm biến đo khoảng cách ánh sáng – LiDAR .6 2.1.2 Máy ảnh 2.1.3 Sử dụng máy ảnh để đo khoảng cách 2.1.4 Đo hành trình thơng tin thị giác (visual odometry) 2.1.5 Đo hành trình thị giác dựa phương pháp ánh xạ (Optical flow) 13 2.1.6 GPS INS 14 v 2.2 Vấn đề nhận thức môi trường xung quanh xe tự lái 16 2.3 Phát hiện, nhận dạng giám sát đối tượng 20 2.3.1 Phát hiện, nhận dạng lớp đối tượng 20 2.3.2 So khớp đối tượng (object matching) 23 2.4 Định vị lập đồ đồng thời (SLAM – Simultaneous localization and mapping) 25 2.4.1 Biểu diễn đồ 26 2.4.2 Kalman Filter SLAM 28 2.4.3 Hợp lý cực đại (Maximum Likelihood SLAM) 30 2.4.4 FastSLAM 1.0 31 2.4.5 RGB-D SLAM 32 CHƯƠNG 3: GIẢI THUẬT NHẬN DẠNG, PHÂN LOẠI VÀ GIÁM SÁT ĐỐI TƯỢNG 33 3.1 Phát hiện, nhận dạng giám sát đối tượng 33 3.1.1 Phát đối tượng YOLO 33 3.1.1.1 Tiền xử lý 33 3.1.1.2 Intersection over union .34 3.1.1.3 Hàm tổn thất 35 3.1.1.4 Cấu trúc mơ hình 36 3.1.2 Nâng cao tốc độ độ xác YOLO 38 3.1.2.1 Huấn luyện mô hình nhận dạng cho xe tự lái 40 3.1.2.2 Trích xuất khu vực quan tâm liệu LiDAR: .42 3.2 Kết nhận xét 44 3.2.1 Điều kiện thiết lập .44 3.2.2 Kiểm tra hiệu suất thời gian 44  vi  3.2.3 Tiêu chuẩn đánh giá độ xác nhận dạng đối tượng 44 3.2.4 Kết .46 3.2.5 Nhận xét .49 CHƯƠNG 4: TỔNG HỢP CẢM BIẾN DÙNG CHO ĐỊNH VỊ VÀ LẬP BẢN ĐỒ THỜI GIAN THỰC .50 4.1 Tổng hợp cảm biến lọc Kalman mở rộng để nâng cao độ tin cậy phép định vị robot .52 4.1.1 Ước lượng khoảng cách di chuyển thị giác (visual odometry) 55 4.1.2 Tổng hợp liệu định vị GPS/INS với liệu ước lượng khoảng cách di chuyển thị giác 60 4.1.3 Kết mô nhận xét: 63 4.2 Xây dựng đồ dựa lưới xác định vật cản 65 4.2.1 Tiền xử lý 66 4.2.2 Chuyển từ tọa độ vật lý dạng lưới 68 4.2.3 Xác suất lưới chiếm chỗ 68 4.2.4 Cập nhật Bayesian lưới chiếm chỗ .69 4.2.4.1 Ước lượng khả tối đa 69 4.2.4.2 Cập nhật Log-odds 69 4.2.5 Kết .70 CHƯƠNG 5: KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ .73 5.1 Các nội dung thực Luận văn 73 5.2 Những đóng góp Luận văn .73 5.3 Hạn chế luận văn 74 5.4 Hướng phát triển 74 TÀI LIỆU THAM KHẢO 75  vii   𝑅𝑏𝑤 , 𝑡𝑏𝑤 ma trận thể phép quay phép tịnh tiến hệ tọa độ xe tự lái môi trường;  𝑅ℎ𝑏 𝑡ℎ𝑏 thể phép quay phép tịnh tiến hệ tọa độ điểm đầu đến xe tự lái;  𝑅𝑙ℎ 𝑡𝑙ℎ ma trận thể phép quay phép tịnh tiến LiDAR đến đầu Ngoài ra, hệ tọa độ LiDAR, điểm quan sát có tọa độ: 𝑥 = 𝑑𝑐𝑜𝑠𝛼 (4.43) 𝑦 = 𝑑𝑠𝑖𝑛𝛼 𝑑 khoảng cách từ đọc LiDAR 𝛼 góc xoay tia, dao động từ −135° đến +135° độ Bước lọc tất điểm LiDAR không cần thiết, điểm nằm mặt phẳng mặt đất Trong trường hợp này, mặt đất bề mặt mà xe tự lái di chuyển cách an toàn Tiếp theo, loại bỏ điểm nằm điểm cao xe Tập hợp điểm LIDAR không cản trở di chuyển xe Cuối cùng, tất đối tượng di chuyển cần loại bỏ, bao gồm tất phương tiện, người bộ, xe đạp động vật, đối tượng giới thiệu cách nhận dạng chương ba Khi tất trình lọc liệu LIDAR hoàn tất, liệu LIDAR 3D cần chiếu xuống mặt phẳng để xây dựng đồ 2D dạng lưới chiếm chỗ Hình 4.11 Bản đồ điểm 2D sau lọc nén liệu đám mây điểm LiDAR  67  4.2.2 Chuyển từ tọa độ vật lý dạng lưới Bên cạnh phép biến đổi tọa độ vật lý, cần chuyển đổi từ tọa độ giới vật lý sang số lưới đồ hiển thị máy tính Trong luận văn đề xuất sử dụng đồ cố định, cụ thể đồ có phạm vi cố định từ 𝑥min đến 𝑥max 𝑦min đến 𝑦max độ phân giải hiển thị cố định res để hạn chế kích thước hiển thị đồ Cơng thức chuyển đổi đó: 𝑋= |𝑥 − 𝑥min | |𝑦min − 𝑦| ;𝑌= 𝑟𝑒𝑠 𝑟𝑒𝑠 (4.44) Điều có tính đến rời rạc đảo tọa độ y hướng ngược lại so với giá trị đọc Hình 4.12 Chia lưới để định vị lập đồ 4.2.3 Xác suất lưới chiếm chỗ Thay sử dụng đồ nhị phân (với 0: đường đi, 1: vị trí vật cản – bị chiếm), ta lưu giá trị xác suất 1, tương ứng với chắn ô vuông cho bị chiếm hay không Giá trị lưu trữ cao, xác suất ô bị chiếm chỗ cao Để sử dụng tập xác suất này, lưới chiếm dụng biểu diễn dạng đồ độ tin cậy Ký hiệu 𝑚𝑖 đại diện cho ô vuông lưới chiếm chỗ, tơi xây dựng từ phép đo 𝑌 trạng thái xe 𝑋 Độ tin cậy 𝑚𝑖 với xác suất ô 𝑚𝑖 bị chiếm dụng với phép đo cảm biến thu thập cho vị trí Để chuyển đổi trở lại đồ nhị phân, cần thực phép phân ngưỡng cho độ tin cậy với giá trị ngưỡng 𝑚𝑡ℎ𝑟𝑒𝑠ℎ , với < 𝑚𝑡ℎ𝑟𝑒𝑠ℎ <  68  4.2.4 Cập nhật Bayesian lưới chiếm chỗ Có thể sử dụng nhiều phép đo để tăng độ xác vị trí chiếm chỗ Trên thực tế, cập nhật độ tin cậy theo cách đệ quy với bước thời gian 𝑡, sử dụng tất thơng tin trước từ lần đầu trở để xác định độ tin cậy cho lần Niềm tin thời điểm 𝑡 ô đồ 𝑚𝑖 xác định xác suất mà 𝑚𝑖 bị chiếm tất phép đo vị trí xe từ thời điểm đến 𝑡 Có thể áp dụng định lý Bayes để kết hợp nhiều phép đo vào đồ độ tin cậy nhất, có độ xác tốt Trong trường hợp lưới chiếm chỗ, bước cập nhật Bayes có dạng sau Phân phối 𝑝 phép đo 𝑌 cung cấp 𝑚𝑖 , xác suất để có phép đo cụ thể cung cấp cho ô 𝑚𝑖 bị chiếm chỗ Độ tin cậy thời điểm (𝑡 − 1) 𝑚𝑖 tương ứng với niềm tin trước lưu trữ lưới chiếm dụng chúng tơi từ bước thời gian trước Dựa giả định Markov, tất thông tin cần thiết để ước tính chiếm dụng lưới ghi lại đồ độ tin cậy bước thời gian Vì vậy, khơng có lịch sử sớm cần xem xét phương trình cập nhật tế bào Cuối cùng, 𝜀 trường hợp tương ứng với số chuẩn hóa áp dụng cho đồ độ tin cậy Điều cần thiết để mở rộng kết để đảm bảo phân phối xác suất 4.2.4.1 Ước lượng khả tối đa Bộ lọc hạt thể sử dụng tập hợp mẫu không gian trạng thái thực hạt tồn dựa mức độ giải thích phép đo nhìn thấy Để định lượng phép so khớp, cần xét trọng số cho hạt dựa mối tương quan với đồ Cuối cùng, chọn hạt có trọng số lớn làm kết phép lập đồ 4.2.4.2 Cập nhật Log-odds Luận văn sử dụng đồ lưới chiều để thể đồ giới, môi trường phân chia thành lưới với lưới, vị trí có màu dựa ước lượng xác suất bị chiếm chỗ thay sử dụng đồ nhị phân Để sử dụng quy tắc Bayes để cập nhật xác suất cho lưới cần phải xâu chuỗi xác suất thực chuẩn hóa liệu Nhưng đồ có số lượng lớn nên khả tính tốn chậm Đơn giản sử dụng tỷ lệ cá cược log cho  69  lưới thay xác suất rõ ràng Tỷ lệ cá cược log định nghĩa nhật ký xác suất bị chiếm dụng so với xác suất tự Quy tắc cập nhật xây dựng sau: 𝑔𝑥,𝑦 = log 𝑝(𝑚𝑥,𝑦 = 1|𝑧) 𝑝(𝑚𝑥,𝑦 = 0|𝑧) = log = log 𝑝(𝑧|𝑚𝑥,𝑦 = 1) 𝑝(𝑧|𝑚𝑥,𝑦 = 0) 𝑝(𝑧|𝑚𝑥,𝑦 = 1)𝑝(𝑚𝑥,𝑦 = 1) 𝑝(𝑧|𝑚𝑥,𝑦 = 0)𝑝(𝑚𝑥,𝑦 = 0) + log 𝑝(𝑚𝑥,𝑦 = 1) (4.45) 𝑝(𝑚𝑥,𝑦 = 0) Trong đó, đại lượng siêu tham số, đại diện cho độ tin cậy liệu LiDAR theo cách giá trị cao có nghĩa điểm bị LiDAR gặp phải vật cản có giá trị cao ngược lại có giá trị thấp Đại lượng thứ hai độ tin cậy tỷ lệ cược giá trị lưu trữ lưới Giá trị khởi tạo hợp lý 0, có nghĩa tất ô không bị chiếm chỗ Một điểm đáng ý độ tin cậy cảm biến xe, ln tịn khơng chắn trạng thái ước tính mơi trường bên ngồi Cần có giới hạn cho tỷ lệ cược log để cắt giá trị lưu trữ đồ Cùng với việc tổng hợp liệu từ nhiều cảm biến ngoại vi giúp bù sai số phục hồi từ ước tính sai 4.2.5 Kết Với đồ khu vực thử nghiệm sau: Hình 4.13 Bản đồ khu vực di chuyển  70  Kết vẽ lại đồ LiDAR cho kết sau: a) Bản đồ từ liệu đám mây điểm LiDAR b) Kết xử lý vẻ lại đồ Hình 4.14 Kết lập đồ từ liệu mẫu  71  Phần trình bày nghiên cứu Định vị lập bàn đồ đồng thời Quá SLAM sử dụng số kỹ thuật đo hành trình hình ảnh, kỹ thuật tổng hợp cảm biến với lọc mở rộng Kalman EKF Kết SLAM kiểm tra Trong bao gồm đồ thực giá trị ước tính di chuyển xe đồ Quỹ đạo ước lượng cuối gần với đường thực bàn đồ, có số vị trí khơng hợp lý đồ Do hạn chế thiết bị xữ lý nên việc giám sát đối tượng thực khung hình chưa thực suốt trình di chuyển xe  72  CHƯƠNG 5: KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ Xe tự lái lĩnh vực nên năm gần quan tâm nhiều nhà nghiên cứu giới Ở Việt Nam, công cơng nghiệp hóa đại hóa, lĩnh vực nhận ý nhà khoa học thuộc lĩnh vực công nghệ thông tin, điện tử – điều khiển tự động Trong số vấn đề liên quan giải thuật phát hiện, nhận dạng bám theo đối tượng vấn đề quan trọng Luận văn tập trung sâu nghiên cứu đề số giải pháp xử lý liệu từ cảm biến phát hiện, nhận dạng, giám sát đối tượng, với định vị lập đồ thời gian thực Việc sử dụng lọc Kalman mở rộng để kết hợp ưu nhược điểm nhiều cảm biến cho phép tăng độ xác, tin cậy việc định vị xe tự lái Qua xây dựng đồ, giám sát đối tượng xung quanh 5.1 Các nội dung thực Luận văn Để đạt mục tiêu kể trên, Luận văn tiến hành qua bước sau:  Đã nghiên cứu tổng quan lý thuyết liên quan đến kỹ thuật phát hiện, nhận dạng, giám sát đối tượng, đo hành trình liệu hình ảnh, tổng hợp cảm biến robot di động  Trên sở nghiên cứu đặc điểm kỹ thuật hoạt động số cảm biến đại, sử dụng sở liệu có sẵn để thực đào tạo cho thuật tốn học máy, cho q trình mô  Nghiên cứu áp dụng thành công kỹ thuật tổng hợp nhiều cảm biến (gồm máy ảnh, GPS, INS, LiDAR) sử dụng cho việc nâng cao độ tin cậy phép định vị xe  Các liệu nhận cảm biến LiDAR tổng hợp theo giải thuật đề xuất để xây dựng thử nghiệm đồ dẫn 2D chứa thông tin từ mơi trường 3D 5.2 Những đóng góp Luận văn Đã xây dựng áp dụng thành công giả thuật phát hiện, nhận dạng giám sát đối tượng cho xe tự lái dựa kỹ thuật học máy  73  Đã thực tăng hiệu nhận dạng đối tượng cho điều khiển cách kết hợp liệu đo khoảng cách từ cảm biến LiDAR Đã thực nghiệm thành cơng q trình tổng hợp nhiều cảm biến (gồm máy ảnh, GPS, INS, LiDAR) sử dụng cho việc nâng cao độ tin cậy phép định vị Kết đạt sở nghiên cứu áp dụng phương pháp tổng hợp cảm biến với lọc Kalman mở rộng nâng cao độ xác phép định vị di chuyển Áp dụng thành công kỹ thuật định vị lập đồ đồng thời, lập đồ khu vực di chuyển 5.3 Hạn chế luận văn Hạn chế luận văn thuật toán phát triển thử nghiệm liệu có sẵn [2] mà chưa thực nghiệm hệ thống thực (xe tự lái đường) Dữ liệu từ máy ảnh, liệu khoảng cách từ cảm biến LiDAR tiền xử lý riêng biệt để giảm thời gian tính tốn, mơ tồn chương trình Do tốc độ xử lý máy tính cá nhân bị hạn chế nên giải thuật xử lý thực riêng biệt Mô hình phát nhận dạng đối tượng kỹ thuật học máy đào tạo từ sở liệu có sẵn [51], cần thêm nhiều sỡ liệu để tăng độ xác 5.4 Hướng phát triển  Thiết kế mơ hình thực tế gồm cảm biến để kiểm tra hoạt động giải thuật, áp dụng kết cho việc thiết kế mơ hình thực nghiệm xe tự lái  Tác giả nghiên cứu sử dụng sử dụng máy tính chun dụng cho xử lý hình ảnh – AI để tăng tốc độ xử lý  Với điều kiện tương lai gần khó áp dụng xe tự lái vào thực tế nước ta Tuy nhiên việc dụng vào mục đích di chuyển khu dân cư, đô thị nhỏ, khu vui chơi – du lịch hoàn toàn khả thi Đây hướng phát hiển nhiều tiềm  Ngoài giải thuật xử lý trình bày áp dụng cho mcụ đích khác cho AGV nhà kho, robot hút bụi…  74  TÀI LIỆU THAM KHẢO [1] K Yousif, A Bab-Hadiashar R Hoseinnezhad, “An Overview to Visual Odometry and Visual SLAM: Applications to Mobile Robotics,” Intelligent Industrial Systems, tập 1, số 4, pp 289-311, 12 2015 [2] Will Maddern, Geoffrey Pascoe, Chris Linegar Paul Newman, “Year, 1000km: The Oxford RobotCar Dataset,” Oxford University, 2019 [3] Sebastian Hening, “3D LiDAR SLAM integration with GPS/INS for UAVs in urban GPS-degraded environments,” AIAA Information Systems-AIAA Infotech at Aerospace, 2017, 2017 [4] J Redmon A Farhadi, “YOLOv3: An Incremental Improvement” [5] Martin Simon, Karl Amende, Andrea Kraus Jens Honer, “Complexer-YOLO: Real-Time 3D Object Detection and Tracking on Semantic Point Clouds,” 2019 [6] Limin Guan, Yi Chen, Guiping Wang Xu Lei, “Real-time vehicle detection framework based on the fusion of lidar and camera,” Electronics (Switzerland), tập 9, số 3, 2020 [7] Khalid Yousif, Alireza Bab-Hadiashar, Corey Ippolito, Kalmanje Krishnakumar, Vahram Stepanyan, Mircea Teodorescu Reza Hoseinnezhad, “An Overview to Visual Odometry and Visual SLAM: Applications to Mobile Robotics,” Intelligent Industrial Systems, tập 1, số 4, pp 289-311, 12 2015 [8] Joseph Redmon, Santosh Divvala, Ross Girshick Ali Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” 2015 [9] Jian Han, Yaping Liao, Junyou Zhang, Shufeng Wang Sixian Li, “Target fusion detection of LiDAR and camera based on the improved YOLO algorithm,” Mathematics, tập 6, số 10, 19 10 2018  75  [10] Hai Wang, Xinyu Lou, Yingfeng Cai, Yicheng Li Long Chen, “Real-time vehicle detection algorithm based on vision and LiDAR point cloud fusion,” Journal of Sensors, tập 2019, 2019 [11] Geethapriya.S, N.Duraimurugan S.P.Chokkalingam, “Real-Time Object Detection with Yolo,” International Journal of Engineering and Advanced Technology (IJEAT), tập , số 3S, pp 578-581, 2019 [12] C Debeunne D Vivet, A review of visual-lidar fusion based simultaneous localization and mapping, tập 20, MDPI AG, 2020 [13] A Bochkovskiy, C.-Y Wang H.-Y M Liao, “YOLOv4: Optimal Speed and Accuracy of Object Detection,” 22 2020 [14] Alireza Asvadi, Paulo Peixoto Urbano Nunes, “Detection and Tracking of Moving Objects Using 2.5D Motion Grids,” IEEE Conference on Intelligent Transportation Systems, Proceedings, ITSC, 2015 [15] J Fuentes-Pacheco, J Ruiz-Ascencio J M Rendón-Mancha, “Visual simultaneous localization and mapping: a survey,” Artificial Intelligence Review, tập 43, số 1, pp 55-81, 2012 [16] Dian Chen, “Project 4: Indoor SLAM for Mobile Robots ESE 650 Learning in Robotics,” 2018 [17] Davide Scaramuzza, Tutorial on Visual Odometry, University of Zurich [18] T.-D Vu, “Vehicle Perception: Localization, Mapping with Detection, Classification and Tracking of Moving Objects” [19] Trần Thuận Hoàng, “Nghiên cứu Phương pháp Tổng hợp cảm biến dùng cho Kỹ thuật dẫn đường robot di động,” 2019 [20] Surya Kollazhi Manghat, “Multi sensor Multi object tracking in Autonomous vehicles,” 2019  76  [21] R Rioja García Director J Ghosh Madrid, “Object detection, Kalman filtering and Collision detection in a collision warning system with LIDAR and Camera,” 2018 [22] Ricardo Omar Chavez-Garcia, “Multiple Sensor Fusion for Detection, Classification and Tracking of Moving Objects in Driving Environments,” 2014 [23] Milan Aryal, “Object Detection, Classification, and Tracking for Autonomous Vehicle,” 2018 [24] Mahir Gulzar, “Object Detection Using LiDAR and Camera Fusion in Off-road Conditions,” 2019 [25] C Li G A Kantor Michael Kaess, “Multi-Sensor Fusion for Robust Simultaneous Localization and Mapping,” 2019 [26] J & D.-W H Leonard, "Simultaneous Map Building and Localization for an Autonomous Mobile Robot," in IROS, 1991 [27] W Chieh-Chih, C Thorpe and Thrun.S, "Online Simultaneous Localization And Mapping with Detection And Tracking of Moving Objects: Theory and Results from a Ground Vehicale in Crowded Urban Areas," in 2003 IEEE International Conference on Robotics and Automation, Taipei, 2003 [28] C Mertz, L E Navarro-Serment, R Maclachlan, P Rybski, A Steinfeld, A Suppé, C Urmson, N Vandapel and M & T C Hebert, "Moving object detection with laser scanners," 2013 [29] O M a P T Papageorgiou C P, "A general framework for object detection," pp 555-562, 1998 [30] D N a T B., "Histograms of oriented gradients for," in Computer Vision and Pattern Recognition, 2005 [31] D J T M J Girshick R., "Rich feature hierarchies for accurate object detection and semantic segmentation," in Computer Vision and Pattern Recognition, 2014  77  [32] G R, "Fast R-CNN," 2015 [33] E Rublee, V Rabaud, K Konolige and G Bradski, "ORB: An efficient alternative to SIFT or SURF," in International Conference on Computer Vision, Barcelona, 2011 [34] L D.G, "Object recognition from local scale-invariant," in Computer vision, 1999 The proceedings of the seventhIEEE Conference, 1999 [35] A Elfes Occupancy grids: a probabilistic framework for robot percpetion and navigation PhD thesis, Carnegie Mellon University, 1989 [36] F Lu and E Milios Globally Consistent Range Scan Alignment for Environment Mapping Autonomous Robots, 1997 [37] H Choset and K Nagatani Topological simultaneous localization and mapping (SLAM): toward exact localization without explicit localization Robotics and Automation, IEEE Transactions on, vol.17, no 2, pages 125–137, 2001 [38] Tobias Einsele and Georg Farber Real-Time SelfLocalization in Unknown Indoor Environments using a Panorama Laser Rang Finder In In IEEE/RSJ International Workshop on Robots ans Systems, IROS 97, pages 697–703 IEEE Press, 1997 [39] David A Forsyth and Jean Ponce Computer vision: A modern approach Prentice Hall, August 2002 [40] S Thrun, W Burgard and D Fox Probabilistic robotics (intelligent robotics and autonomous agents) The MIT Press, September 2005 [41] F Gambino, F Ulivi and M Vendittelli The transferable belief model in ultrasonic map building In Sixth IEEE International Conference on Fuzzy Systems, page 601608, 1997  78  [42] D Pagac, E.M Nebot and H Durrant-Whyte An evidential approach to mapbuilding for autonomous vehicles IEEE Transactions on Robotics and Automation, vol 14, 1998 [43] G Oriolo, G Ulivi and M Vendittelli Fuzzy maps: a new tool for mobile robot perception and planning J of Robotic Systems, vol 14, no 3, pages 179–197, 1997 [44] Dirk Hahnel, Wolfram Burgard, Dieter Fox and Sebastian Thrun An Efficient FastSLAM Algorithm for Generating Maps of Largescale cyclic environments from raw laser range measurements In In Proc.of the IEEE/RSJ Int Conf on Intelligent Robots and Systems (IROS), pages 206–211, 2003 [45] Montemerlo, M., Thrun, S., Koller, D., Wegbreit, B., et al.: Fastslam: a factored solution to the simultaneous localization and mapping problem In: Proceedings of the National Conference on Artificial Intelligence, pp 593–598 AAAI Press/MIT Press, Menlo Park/Cambridge (1999/2002) [46] Doucet, A., De Freitas, N., Murphy, K., Russell, S.: Rao–Blackwellised particle filtering for dynamic bayesian networks In: Proceedings of the Sixteenth Conference on Uncertainty in Artificial Intelligence, pp 176–183 Morgan Kaufmann Publishers, San Francisco (2000) [47] Thrun, S., Burgard, W., Fox, D.: Probabilistic Robotics MIT Press, Cambridge (2005) [48] Biber, P., Andreasson, H., Duckett, T., Schilling, A.: 3D modeling of indoor environments by a mobile robot with a laser scanner and panoramic camera In: IEEE/RSJ International Conference on Intelligent Robots and Systems, 2004 (IROS 2004), Proceedings, vol 4, pp 3430–3435 (2004) [49] Borenstein J., Feng L (1994), A Method for Measuring, Comparing, and Correcting Dead-reckoning Errors in Mobile Robots, Technical Report UMMEAM-94-22, University of Michigan, USA  79  [50] Yolo-v4 and Yolo-v3/v2 for Windows and Linux https://github.com/AlexeyAB/darknet [51] Udacity Self Driving Car Dataset https://public.roboflow.ai/object-detection/self-driving-car  80  PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: TRẦN MINH CHIẾN Ngày, tháng, năm sinh: 18/10/1995 Nơi sinh: Long An Địa liên lạc: Ấp 1, Xã Phước Đông, Huyện Cần Đước, Tỉnh Long An QUÁ TRÌNH ĐÀO TẠO  Từ 09/2013 đến 04/2018: Đại học quy, ngành Kỹ thuật Cơ điện tử Khoa Cơ khí, Đại học Bách Khoa TP.HCM  Từ 09/2018: Thạc sĩ ngành Kỹ thuật Cơ điện tử Khoa Cơ khí, Đại học Bách Khoa TP.HCM Q TRÌNH CƠNG TÁC  Từ tháng 05/2018: Kỹ sư Phòng Nghiên cứu phát triển, Công ty TNHH JUKI Việt Nam, khu chế xuất Tân Thuận, Quận 7, TP.HCM ... Mt Tt Hình 2.9: Mơ hình nhận thức xe tự lái  19  2.3 Phát hiện, nhận dạng giám sát đối tượng 2.3.1 Phát hiện, nhận dạng lớp đối tượng Mục đích phát đối tượng dạng đối tượng, phương pháp phổ... cảm biến xe tự lái Việt Nam giới Nghiên cứu giải thuật Phát hiện, nhận dạng bám theo đối tượng cho xe tự lái Thiết kế, mô giải thuật Phát hiện, nhận dạng bám theo đối tượng cho xe tự lái III NGÀY... robot tự hành Nhiều phương pháp giám sát đối tượng dựa vào việc phát xác đối tượng chuyển động tập trung vào kết hợp đo đạc – giám sát, quản lý đối tượng giám sát tự giám sát Tuy nhiên, phát đối tượng