HD3 trần ngọc tiến nghiên cứu, thiết kế, chế tạo xe tự hành sử dụng mạng học sâu nhân tạo

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI    - ĐỒ ÁN TỐT NGHIỆP ĐỀ TÀI NGHIÊN CỨU, THIẾT KẾ CHẾ TẠO XE TỰ HÀNH SỬ DỤNG MẠNG HỌC SÂU NHÂN TẠO Giáo viên hướng dẫn : TS TRẦN NGỌC TIẾN Các thành viên thực hiện: 1, TRẦN THỊ NHẤT 2018602868 2, DƯƠNG THANH TÙNG 2018603026 3, NGUYỄN XUÂN TUYÊN 2018603770 Lớp: Cơ điện tử – k13 Khoa: Cơ khí HÀ NỘI – 3/2022 MỤC LỤC MỤC LỤC DANH MỤC HÌNH ẢNH DANH MỤC BẢNG BIỂU LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO TRONG GIAO THƠNG 1.1 Lịch sử nghiên cứu 1.1.1 Tình hình nghiên cứu giới 1.1.2 Tình hình nghiên cứu nước 1.1.3 Sơ lược hệ thống xe tự hành sử dụng mạng học sâu nhân tạo 1.1.3.1 Thuật toán phân cụm 1.2 Nội dung nghiên cứu 11 1.3 Mục đích đề tài 11 1.4 Phương pháp nghiên cứu 12 1.5 Đối tượng, phạm vi giới hạn đề tài 13 1.5.1 Đối tượng nghiên cứu 13 1.5.2 Phạm vi nghiên cứu: 13 1.5.3 Giới hạn đề tài: 13 CHƯƠNG TỔNG QUAN VỀ NGHIÊN CỨU, THIẾT CHẾ TẠO XE TỰ HÀNH SỬ DỤNG MẠNG HỌC SÂU NHÂN TẠO 14 2.1 Thuật toán phát đường 14 2.1.1 Khái niệm thiết lập 14 2.1.1.1 Khái niệm phát đường 14 2.1.2 Tìm đường 15 2.1.3 Làn đường cong vênh 15 2.1.4 Tìm đường cong 16 2.1.5 Tối ưu hóa đường cong 19 2.2 Thuật toán CNN 21 2.2.1 Giới thiệu CNN 21 2.2.2 Các lớp CNN 23 2.2.2.1 Convolution layer 23 2.2.2.2 Lớp phi tuyến tính (ReLU layer) 26 2.2.2.3 Pooding Layer 27 2.2.2.4 Full connected layer 28 2.2.2.5 Cross-entropy loss 29 2.2.2.6 MSE 29 2.3 Thuật toán YOLO 29 2.3.1 Giới thiệu YOLO 29 2.3.2 Thuật toán YOLO 31 2.3.2.1 Phát hợp 33 2.3.2.2 Anchor box 38 2.3.2.3 Dự đoán hộp giới hạn 39 2.3.2.4 IOU 43 2.3.2.5 Non-Max Suppression(NMS) 45 2.3.2.6 Hàm loss 46 2.3.2.7 Classifycation loss 46 2.3.2.8 Localization loss 47 2.3.2.9 Confidence loss 48 2.3.2.10 Total loss 48 2.3.3 Ứng dụng YOLO 50 2.4 Tính tốn khoảng cách từ vật đến camera 52 2.4.1 Khai thác thư viện OpenCV để hỗ trợ trình xử lý ảnh 52 2.4.2 Tính khoảng cách từ Camera đến đối tượng với OpenCV 54 2.5 Truyền tín hiệu 57 2.5.1 Arduino Nano giao tiếp với máy tính giao tiếp serial 57 2.5.2 Sử dụng Module NRF24L01 - Thu phát sóng vơ tuyến 2.4GHz với Arduino 57 CHƯƠNG TÍNH TỐN, THIẾT KẾ HỆ THỐNG HỒN CHỈNH 60 3.1 Tính tốn, thiết kế xe tự hành 60 3.1.1 Thiết kế phần khung vỏ cho xe tự hành 60 3.2 Ngun lý hoạt động tính tốn, thiết kế hệ thống điều khiển 61 3.2.1 Nguyên lý hoạt động hệ thống 61 3.2.2 Thiết kế hệ thống điều khiển xe tự hành 62 3.2.3 Phân tích chân hệ thống điều khiển truyền nhận tín hiệu 63 3.2.1 Thiết lập sơ đồ tín hiệu giao tiếp với xe tự hành 66 3.2.2 Thiết lập chế độ làm việc cho linh kiện 67 3.2.2.1 Arduino Nano 67 3.2.2.2 Camera 68 3.2.2.3 Module thu phát sóng NRF24L01 69 3.2.2.4 Pin sac litium 18650 3,7v 69 3.2.2.5 Động DC giảm tốc XD-25GA370 71 3.2.2.6 Bánh xe 72 3.2.2.7 Module điều khiển động L298 73 3.3 Lập trình điều khiển hệ thống 74 3.3.1 Đào tạo YOLO Colab 74 3.3.2 Lập trình mơi trường PyCharm 76 3.3.3 Code lập trình cho tồn hệ thống 77 CHƯƠNG CHẾ TẠO, THỰC NGHIỆM VÀ ĐÁNH GIÁ HOẠT ĐỘNG CỦA XE TỰ HÀNH 78 4.1 Chế tạo xe tự hành 78 4.2 Các kết thực nghiệm 79 4.3 Đánh giá thảo luận 85 KẾT LUẬN, KIẾN NGHỊ 89 Kết luận 89 Kiến nghị 90 TÀI LIỆU THAM KHẢO 91 PHỤ LỤC DANH MỤC HÌNH ẢNH Hình 1.1 Xe tự lái Google đọc tín hiệu xin đường xe đạp Hình 1.2 Người dùng hồn tồn thư giãn VF31 vận hành tốc độ 60km/h Hình 1.3 Tháng 10/2017, xe tơ thương mại tích hợp cơng nghệ xe tự hành FPT nghiên cứu phát triển thử nghiệm thành công khuôn viên công ty Hình 1.4 Qúa trình làm việc hệ thống .5 Hình 1.5 Thuật tốn phân cụm Hình 1.6 Phân chia mơ hình học máy nơng Hình 1.7 Cấu trúc ANN đơn giản Hình 1.8 Phân ngành mơ hình học máy sâu .10 Hình 1.9 Cấu trúc mạng CNN .10 Hình 1.10 Cấu trúc RNN đơn giản 11 Hình 1.11 Sơ đồ máy học Extreme learning machine 11 Hình 2.1 Khái niệm mô đun .14 Hình 2.2 Cung cấp phạm vi giá trị cần sử dụng để tìm đường 15 Hình 2.3 A imgThres B imgWarpPoints C imgWarp 16 Hình 2.4 Giá trị nhị phân đường cong 17 Hình 2.5 Ba trường hợp mà phương pháp nhận diện .17 Hình 2.6 Một số đặc biệt 18 Hình 2.7 Điều chỉnh đường tâm đặc biệt 18 Hình 2.8 imgWarp imgHist 19 Hình 2.9 Giá trị trung bình phần 20 Hình 2.10 Hiển thị máy tính 21 Hình 2.11 Tất bước để xác định đường 21 Hình 2.12 Ảnh phân tích liệu chim 22 Hình 2.13 Mạng nơ ron học sâu phân tích xe tơ 22 Hình 2.14 Lớp trongCNN 23 Hình 2.15 Convolution layer 23 Hình 2.16Ma trận X thêm viên bên 24 Hình 2.17 stride=1, padding=1 25 Hình 2.18 stride=2, padding=1 25 Hình 2.19 Bản đồ kích hoạt lớp tích chập cuối 26 Hình 2.20 Đồ thị mơ tả hàm ReLU .26 Hình 2.21 Hàm ReLU cơng thức 𝜃𝑥 = max⁡(0, 𝑥) .27 Hình 2.22 Max pooling layer với size=(3,3), stride=1, padding=0 27 Hình 2.23 Sau Pooding layer (2*2) 28 Hình 2.24 Ví dụ pooding layer 28 Hình 2.25 Pooled feature Map chuyển sang Flattering 29 Hình 2.26 Ví dụ phát vật thể YOLO 30 Hình 2.27 Tổng quan thuật tốn YOLO 31 Hình 2.28 Hệ thống phát YOLO 32 Hình 2.29 Mơ hình 35 Hình 2.30 Kiến trúc 36 Hình 2.31 Ví dụ Anchor box 39 Hình 2.32 Trường hợp anchor box bị trùng tâm 39 Hình 2.33 Cơng thức ước lượng hộp giới hạn từ anchor box [2 ] 40 Hình 2.34 Dự đoán hộp giới hạn 41 Hình 2.35 Ví dụ lưới 3×3 42 Hình 2.36 Ơ thứ ví dụ lưới 3×3 42 Hình 2.37 Là khác ví dụ lưới 3×3 43 Hình 2.38 Cơng thức tính IOU 44 Hình 2.39 Ví dụ IOU 44 Hình 2.40 Tính số IOU 44 Hình 2.41 Ví dụ trước sau sử dụng NMS 45 Hình 2.42 Hiệu suất phiên YOLO 49 Hình 2.43 Yolo phát phương tiện .50 Hình 2.44 Yolo phát động vật .51 Hình 2.45 Yolo phát người .51 Hình 2.46 Yolo phát đối tượng .51 Hình 2.47 Các module thư viện OpenCV 53 Hình 2.48 Không gian màu HSV 54 Hình 2.49 Khoảng cách từ camera đến đối tượng 55 Hình 2.50 Khai báo biến số 56 Hình 2.51 Tính tốn khoảng cách 56 Hình 2.52 Arduino nano 57 Hình 2.53 Module NRF24L01 .58 Hình 2.54 Sơ đồ chân module NRF24L01 58 Hình 3.1 Mơ hình 3D xe tự hành 61 Hình 3.2 Lưu đồ thuật toán hệ thống 62 Hình 3.3 Module truyền liệu arduino NRF24L01+ .62 Hình 3.4 Module nhận liệu motor, L298 NRF24L01+ 63 Hình 3.5 Arduino Nano 63 Hình 3.6 Module NRF24L01 .64 Hình 3.7 Module L298 65 Hình 3.8 Sơ đồ tín hiệu giao tiếp với mobie robot .66 Hình 3.9 Arduino Nano 68 Hình 3.10 Module NRF24L01 .69 Hình 3.11 Pin sạc litium 18650 3,7v .70 Hình 3.12 Mạch sạc bảo vệ mạch 11.1V Li-ion BMS 7A 70 Hình 3.13 Động DC Servo giảm tốc XD-25GA370 .71 Hình 3.14 Bánh xe lớn 72 Hình 3.15 Bánh xe dẫn hướng .73 Hình 3.16.Module điều khiển động L298 73 Hình 3.17 Hình ảnh cần gán nhãn 75 Hình 3.18 Hình ảnh gán nhãn thủ công tay 75 Hình 4.1 Bản vẽ thiết kế 78 Hình 4.2 Xe tự hành chế tạo hoàn chỉnh .78 Hình 4.3 Xe nhận diện đường 79 Hình 4.4 Yolo V3 tiny nhận diện đèn tín hiệu xanh, độ xác 0.9 79 Hình 4.5 Kết trả gặp tín hiệu đèn xanh Terminal Pycharm 80 Hình 4.6 Hình ảnh thu qua camera gặp tín hiệu đèn xanh 80 Hình 4.7 Yolo V3 tiny nhận diện đèn tín hiệu đỏ, độ xác 0.9 80 Hình 4.8 Kết trả gặp tín hiệu đèn đỏ Terminal Pycharm 80 Hình 4.9 Hình ảnh thu qua camera gặp tín hiệu đèn xanh 81 Hình 4.10 Yolo V3 tiny nhận diện đèn tín hiệu xanh có người đường, độ xác 0.8 81 Hình 4.11 Kết trả gặp tín hiệu đèn xanh có người đường Terminal Pycharm .81 Hình 4.12 Hình ảnh thu qua camera gặp tín hiệu đèn xanh 82 Hình 4.13 Yolo V3 tiny nhận diện đèn tín hiệu đỏ có người đường, độ xác 0.9 82 Hình 4.14 Kết trả gặp tín hiệu đèn xanh Terminal Pycharm 82 BLACK = (0, 0, 0) FONTS = cv2.FONT_HERSHEY_COMPLEX #Viết độ lệch lên ảnh cv2.putText(imgResult, str(curve), (wT // 2, 285), cv2.FONT_HERSHEY_COMPLEX, 1, (255, 0, 255), 2) for x in range(-30, 30): w = wT // 20 if display == 2: #Hiển thị ảnh imgStacked = utlis.stackImages(0.7, ([img, imgWarpPoints, imgWarp], [imgHist, imgLaneColor, imgResult])) cv2.imshow('ImageStack', imgStacked) elif display == 1: cv2.imshow('Resutlt', imgResult) #Đặt giới hạn cho độ lệch tâm theo pixels curve = curve / 100 if curve > 1: curve == if curve < -1: curve == -1 return curve #Hàm detect đối tượng def object_detector(image): classes, scores, boxes = model.detect(image, CONFIDENCE_THRESHOLD, NMS_THRESHOLD) # Thêm liệu object vào mảng # 1: Tên object 2:Kích thước object theo pixels, 3: Toạ độ điểm bên trái bounding box data_list.append([class_names[classid[0]], box[3], (box[0], box[1] - 2)]) return data_list #hàm tìm tiêu cự camera def focal_length_finder(measured_distance, real_width, width_in_rf): focal_length = (width_in_rf * measured_distance) / real_width return focal_length # Hàm tính khoảng cách def distance_finder(focal_length, real_object_width, width_in_frame): distance = (real_object_width * focal_length) / width_in_frame return distance # Ảnh mẫu người thứ ref_person_1 = cv2.imread('anhmau/perimag823.jpg') #Đọc ảnh tương ứng person_data_1 = object_detector(ref_person_1) #Xác định bounding box đối tượng person_width_in_rf_1 = person_data_1[0][1] #Lấy kích thước đối tượng tương ứng 0:object thứ nhất, 1: kích thước obj # Ảnh mẫu người thứ hai ref_person_2 = cv2.imread('anhmau/perimag922.jpg') person_data_2 = object_detector(ref_person_2) person_width_in_rf_2 = person_data_2[0][1] #Ảnh mẫu người thứ ref_person_3 = cv2.imread('anhmau/perimag87.jpg') person_data_3 = object_detector(ref_person_3) person_width_in_rf_3 = person_data_3[0][1] # Ảnh mẫu người thứ ref_person_4 = cv2.imread('anhmau/perimag95.jpg') person_data_4 = object_detector(ref_person_4) person_width_in_rf_4 = person_data_4[0][1] # Ảnh mẫu đèn giao thông ref_redlight = cv2.imread('anhmau/perimag95.jpg') red_data = object_detector(ref_redlight) red_width_in_rf = red_data[4][1] print(red_data) # Ảnh mẫu đèn giao thông 2s greenlight = cv2.imread('anhmau/perimag95.jpg') green_data = object_detector(greenlight) green_width_in_rf = green_data[4][1] # Ảnh mẫu xe ref_car1 = cv2.imread('anhmau/perimag1013.jpg') car1_data = object_detector(ref_car1) car1_width_in_rf = car1_data[1][1] #Ảnh mẫu xe ref_car2 = cv2.imread('anhmau/perimag1016.jpg') car2_data = object_detector(ref_car2) car2_width_in_rf = car2_data[0][1] # Ảnh mẫu speed 20 ref_speed_20 = cv2.imread('anhmau/parimag527.png') sp20_data_1 = object_detector(ref_speed_20) sp20_width_in_rf_1 = sp20_data_1[0][1] # anh mau speed 20 ref_speed_60 = cv2.imread('anhmau/parimage815.png') sp20_data_2 = object_detector(ref_speed_60) sp20_width_in_rf_2 = sp20_data_2[0][1] # anh mau turn left ref_turn_left_1 = cv2.imread('anhmau/parimage579.png') left_data_1 = object_detector(ref_turn_left_1) left_width_in_rf_1 = left_data_1[0][1] # anh mau turn left ref_turn_left_2 = cv2.imread('anhmau/parimage571.png') left_data_2 = object_detector(ref_turn_left_2) left_width_in_rf_2 = left_data_2[0][1] #các biến kích hoạt điều kiện turn_left_active = True chinh_goc_active = False chinh_goc_active1 = False chinh_goc_active2 = False chinh_goc_active3 = False dung_active = False dung2_active=False xm_per_pix = 2.7 / 480 ... chạy thành công tuyến đường hệ thống mô trực tiếp - Ứng dụng xử lý ảnh vào phân tích đường cho xe tự hành 14 CHƯƠNG TỔNG QUAN VỀ NGHIÊN CỨU, THIẾT CHẾ TẠO XE TỰ HÀNH SỬ DỤNG MẠNG HỌC SÂU NHÂN TẠO... hành thực nghiệm video mạng thực tế 1.5.2 Phạm vi nghiên cứu: - Dựa sở lý thuyết để thiết lập hệ thống - Nghiên cứu, thiết kế chế tạo xe tự hành sử dụng mạng học sâu nhân tạo qt vật thể tĩnh (đèn... sở để thiết kế, chế tạo xe tự hành sử dụng mạng học sâu nhân tạo Đề tài đưa phát triển theo tính ứng dụng thực tế, dựa việc nghiên cứu tìm tòi sở lý thuyết Đề tài vận dụng kiến thức khoa học tâm