Nghiên cứu và phát triển hệ thống phát hiện đối tượng trên xe tự hành dành cho cuộc đua số của fpt

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT Ô TÔ NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI ĐUA SỐ CỦA FPT GVHD: ĐỖ VĂN DŨNG SVTH: HUỲNH VĂN ANH QUỐC PHẠM MINH THUẬN SKL008273 Tp.Hồ Chí Minh, năm 2021 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT SVTH: HUỲNH VĂN ANH QUỐC MSSV: 17145347 SVTH: PHẠM MINH THUẬN MSSV: 17145368 GVHD: PGS.TS ĐỖ VĂN DŨNG Tp Hồ Chí Minh, tháng……năm 2021 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: Công nghệ Kỹ thuật ô tô Tên đề tài NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT SVTH: HUỲNH VĂN ANH QUỐC MSSV: 17145347 SVTH: PHẠM MINH THUẬN MSSV: 17145368 GVHD: PGS.TS ĐỖ VĂN DŨNG Tp Hồ Chí Minh, tháng……năm 2021 TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc TP Hồ Chí Minh, ngày … tháng … năm …… NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Huỳnh Văn Anh Quốc MSSV: 17145347 (E-mail: 17145347@student.hcmute.edu.vn Phạm Minh Thuận Điện thoại: 0387202203) MSSV: 17145368 (E-mail: 17145368@student.hcmute.edu.vn Lớp: 171451C Lớp: 171451B Điện thoại: 0971859872) Ngành: Công nghệ Kỹ thuật Ơ Tơ Khóa: 2017 Tên đề tài NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT Nhiệm vụ đề tài - Khảo sát tìm hiểu cơng nghệ xe tự hành - Tìm hiểu đua số FPT - Xây dựng mơ hình xe RC - Xây dựng motion control Sản phẩm đề tài - thuyết minh đề tài - file thuyết minh đề tài - mơ hình xe thực đề tài Ngày giao nhiệm vụ đề tài: 30/3/2021 Ngày hồn thành nhiệm vụ: 24/8/2021 TRƯỞNG BỘ MƠN CÁN BỘ HƯỚNG DẪN TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ ĐỘNG LỰC Độc lập - Tự – Hạnh phúc Bộ môn Điện – Điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ tên sinh viên: Huỳnh Văn Anh Quốc MSSV: 17145347 Hội đồng: DTO2 Họ tên sinh viên: Phạm Minh Thuận MSSV: 17145368 Hội đồng: DTO2 Tên đề tài: NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT Ngành đào tạo: Công nghệ Kỹ thuật Ơ Tơ Họ tên GV hướng dẫn: PGS.TS Đỗ Văn Dũng Ý KIẾN NHẬN XÉT Nhận xét tinh thần, thái độ làm việc sinh viên (không đánh máy) Nhận xét kết thực ĐATN(không đánh máy) 2.1.Kết cấu, cách thức trình bày ĐATN: 2.2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) 2.3.Kết đạt được: 2.4 Những tồn (nếu có): Đánh giá: Điểm tối đa Mục đánh giá TT Hình thức kết cấu ĐATN Điểm đạt 30 Đúng format với đầy đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày……tháng……năm 2021 Giảng viên hướng dẫn ((Ký, ghi rõ họ tên) TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ ĐỘNG LỰC Độc lập - Tự – Hạnh phúc Bộ môn Điện – Điện tử PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên phản biện) Họ tên sinh viên: Huỳnh Văn Anh Quốc MSSV: 17145347 Hội đồng: DTO2 Họ tên sinh viên: Phạm Minh Thuận MSSV: 17145368 Hội đồng: DTO2 Tên đề tài: NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT Ngành đào tạo: Cơng nghệ Kỹ thuật Ơ Tơ Họ tên GV phản biện: ThS Lê Quang Vũ (981) Ý KIẾN NHẬN XÉT Kết cấu, cách thức trình bày ĐATN: Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) Kết đạt được: Những thiếu sót tồn ĐATN: Câu hỏi: Đánh giá: Điểm tối đa Mục đánh giá TT Hình thức kết cấu ĐATN Điểm đạt 30 Đúng format với đầy đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học xã hội… Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế, chế tạo hệ thống, thành phần, quy trình đáp ứng yêu cầu đưa với ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, phần mềm chuyên ngành… Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày……tháng……năm 2021 Giảng viên phản biện ((Ký, ghi rõ họ tên) TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC XÁC NHẬN HOÀN THÀNH ĐỒ ÁN Tên đề tài: NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG PHÁT HIỆN ĐỐI TƯỢNG TRÊN XE TỰ HÀNH DÀNH CHO CUỘC THI CUỘC ĐUA SỐ CỦA FPT Họ tên sinh viên: Huỳnh Văn Anh Quốc Phạm Minh Thuận MSSV: 17145347 MSSV: 17145368 Ngành: Công Nghệ Kỹ Thuật Ơ Tơ Sau tiếp thu điều chỉnh theo góp ý Giảng viên hướng dẫn, Giảng viên phản biện thành viên Hội đồng bảo vệ Đồ ấn tốt nghiệp hoàn chỉnh theo yêu cầu nội dung hình thức Chủ tịch Hội đồng: Giảng viên hướng dẫn: Giảng viên phản biện: Tp Hồ Chí Minh, ngày……tháng năm 2021 LỜI CÁM ƠN Lời nói chúng tơi xin chân thành gửi lời cảm ơn tới quý thầy cô Khoa Cơ Khí Động Lực – Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh nói chung, q thầy Bộ mơn Điện tử tơ nói riêng, thầy truyền đạt cho từ kiến thức tảng ngành ô tô, tạo điều kiện cho nắm vững kiến thức để tiếp nối môn chuyên ngành, mà cịn bổ sung cho thêm cho chúng tơi kỹ thực tế, cần thiết cho công việc tương lai Đặc biệt, xin gửi lời cảm ơn chân thành đến PGS.TS Đỗ Văn Dũng – Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, người tận tình hướng dẫn, bảo em suốt trình thực đề tài tốt nghiệp Cuối chúng tơi xin chân thành cảm ơn gia đình bạn bè, tạo điều kiện, quan tâm, giúp đỡ, động viên nhóm suốt q trình học tập, nghiên cứu hoàn thành đề tài tốt nghiệp Do khả cịn thiếu sót thời gian có hạn, nên khơng thể tránh khỏi thiếu sót Qua đó, chúng tơi mong có đóng góp chân thành cơng tâm để đồ án chúng tơi hồn thiện Nhóm chúng tơi xin chân thành cảm ơn Tp Hồ Chí Minh, ngày… tháng… năm 2021 Nhóm sinh viên thực Huỳnh Văn Anh Quốc Phạm Minh Thuận i Hình 5.7 Nhận diện biển báo hiệu lệnh rẽ trái thời gian thực Hình 5.8 Nhận diện biển báo cấm rẽ trái – thẳng thời gian thực 99 Hình 5.9 Nhận diện biển báo STOP thời gian thực Nhận xét: – Phát đối tượng nhanh nhận diện đối tượng với độ xác cao (trên 95%) – Khi xe di chuyển việc nhận diện đối tượng có giảm mặt độ xác khơng đáng kể, hầu hết độ xác 90% 5.3 Xử lý tránh vật cản 5.3.1 Tổng quan Chúng tơi kết hợp sử dụng thuật tốn nhận diện vật thể ước lượng khoảng cách từ xe đến đối tuọng để tiến hành điều khiển xe dừng lại tránh vật cản Đầu tiên hệ thống kiểm tra xem có đối tượng phía trước xe hay khơng thơng qua hình ảnh mà camera ghi lại xử lý chương trình nhận diện đối tượng Nếu có, hệ thống ước lượng khoảng cách từ xe đến đối tượng điều khiển xe dừng lại (đối với đối tượng người biển báo STOP), điều khiển xe tránh vật cản (đối với đối tượng xe), điều khiển xe rẽ sang trái phải (đối với đối tượng biển báo hiệu lệnh rẽ trái biển báo cấm rẽ trái – thẳng) khoảng cách phù hợp với yêu cầu đặt trước 100 Bắt đầu Ảnh từ camera Xử lý nhận diện S Phát người/STOP Đ Ước lượng khoảng cách xe S Khoảng cách 10cm Đ Điều khiển xe dừng lại Kết thúc Hình 5.10 Sơ đồ giải thuật hoạt động phát đối tượng người/STOP 101 Bắt đầu Ảnh từ camera Xử lý nhận diện S Phát biển báo Đ Ước lượng khoảng cách xe S Khoảng cách phù hợp Đ Đánh lái xe theo khoảng cách hiệu lệnh biển báo Kết thúc Hình 5.11 Sơ đồ giải thuật hoạt động phát đối tượng biển báo/xe 102 5.3.2 Xử lý tránh vật cản 5.3.2.1 Đối tượng “Person” “Biển báo STOP” Đối với đối tượng người biển báo STOP: Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng đạt u cầu chúng tơi điều khiển xe dừng lại Hình 5.12 Phát “Person” xe tiếp tục chạy Hình 5.13 Phát “Person” xe dừng lại 103 Hình 5.14 Phát “Biển báo STOP” xe tiếp tục chạy Hình 5.15 Phát “Biển báo STOP” xe dừng lại 104 5.3.2.2 Đối tượng “Biển báo hiệu lệnh rẽ trái” “Biển báo cấm rẽ trái – thẳng” Ở hai đối tượng này, ban đầu cho xe chạy thẳng Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng phù hợp u cầu chúng tơi điều khiển xe đánh lái góc tương ứng với khoảng cách xe đối tượng xe rẽ trái (đối với đối tượng “Biển báo hiệu lệnh rẽ trái”) rẽ phải (đối với đối tượng “Biển báo cấm rẽ trái – thẳng”) Hình 5.16 Phát “Biển báo hiệu lệnh rẽ trái” xe tiếp tục chạy Hình 5.17 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 150 105 Hình 5.18 Phát “Biển báo hiệu lệnh rẽ trái” xe đánh lái góc 450 Hình 5.19 Phát “Biển báo cấm rẽ trái – thẳng” xe tiếp tục chạy 106 Hình 5.20 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 100 Hình 5.21 Phát “Biển báo cấm rẽ trái – thẳng” xe đánh lái góc 450 107 5.3.2.3 Đối tượng “Xe đường” Trong đối tượng này, ban đầu xe chạy thẳng Nếu hệ thống phát đối tượng mà khoảng cách xe đối tượng chưa đạt yêu cầu xe chạy tiếp, đến khoảng cách xe đối tượng phù hợp yêu cầu chúng tơi điều khiển xe đánh lái góc tương ứng với khoảng cách xe đối tượng xe rẽ trái (nếu đối tượng lệch bên phải) rẽ phải (nếu đối tượng lệch bên trái) Sau đánh lái vượt qua đối tượng xe trả lái tiếp tục chạy thẳng Hình 5.22 Phát “CAR” xe tiếp tục chạy Hình 5.23 Phát “CAR” xe đánh lái góc 50 108 Hình 5.24 Phát “CAR” xe đánh lái góc 300 Nhận xét: – Độ xác nhận diện đối tượng cao (hầu hết 90%) chạy chương trình xử lý tránh vật cản – Tốc độ khung hình ổn định (16 – 21 FPS) giúp cho tốc độ xử lý khúc xe đánh lái trơn tru – Ở số chỗ hệ thống bị nhiễu mặt đo khoảng cách xe đối tượng trình xe di chuyển camera bị rung lắc Tuy nhiên điều không ảnh hưởng nhiều đến qua trình điều khiển xe đánh lái 109 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Sau khoảng thời gian tìm hiểu nghiên cứu, nhóm chúng tơi hồn thành hầu hết mục đích ban đầu mà đề tài đặt Qua tích lũy cho thân vốn kiến thức có ích thiết kế chế tạo, cụ thể mô hình xe tự hành hệ thống nhận diện đối tượng Bên cạnh tiếp cận ngơn ngữ lập trình đại Python, kiến thức nâng cao xử lý ảnh kiến thức liên quan đến lập trình nhúng mà học qua môn học “Hệ thống điều khiển tự động ô tô” Các mục tiêu cụ thể mà nhóm đạt đề tài là: – Nghiên cứu, tìm hiểu mơ hình phát vật thể nói riêng lĩnh vực xử lý ảnh nói chung – Thực thi mơ hình phát vật thể YOLOv4 – tiny áp dụng cho mạng nơ ron tích chập – Lập trình nhúng để điều khiển DC Motor Servo (góc đánh lái xe), từ điều khiển mơ hình xe tự hành – Xử lý liệu từ đầu mơ hình YOLOv4 – tiny để tiến hành điều khiển xe tránh vật cản – Đồng hóa hai chương trình phát vật thể mơ hình YOLOv4 – tiny điều khiển mơ hình xe tự hành – Truyền liệu hai chương trình Thơng qua lần làm đồ án tốt nghiệp này, nhóm chúng tơi có hội cố lại khối kiến thức học khoảng thời gian năm qua Vận dụng áp dụng thành cơng kiến thức vào tình hình thực tế, cụ thể kiến thức liên quan đến mơn học “Ứng dụng máy tính (Điện ô tô)”, “Hệ thống an toàn tiện nghi ô tô”, “Hệ thống điều khiển tự động ô tơ”,…Cũng thơng qua hỗ trợ nhiệt tình ân cần thầy Đỗ Văn Dũng, nhóm chúng tơi nắm bắt cách tổ chức, làm việc hiệu quả, thay đổi suy nghĩ theo lối mòn, bước khỏi khuôn khổ giới hạn để 110 thành mới, tạo thành hành trang hữu ích cho trình làm việc sau Một lần nữa, nhóm chúng tơi xin gởi lời cảm ơn chân đến thầy Đỗ Văn Dũng 6.2 Hạn chế đề tài Bên cạnh thành đạt được, nhóm cịn số yếu điểm thiếu sót q trình thực Cụ thể sau: – Đầu tiên hạn chế kiến thức liên quan – Chưa nâng cao hiệu hoạt động hệ thống trao đổi liệu chương trình chạy đa luồng – Thử nghiệm dừng môi trường định, chưa thử nghiệm hệ thống đường – Hệ thống xảy độ trễ liệu từ camera (hình ảnh xử lý thơng qua chương trình nhận diện vật thể) Servo (chương trình điều khiển mơ hình xe tự hành) hạn chế phần cứng Trên hạn chế mà nhóm cịn thiếu sót Tuy nhiên nhìn chung kết đạt chấp nhận 6.3 Hướng phát triển đề tài Với phát triển ngày mạnh lĩnh vực an toàn tiện nghi ô tô, hệ thống nhận dạng đối tượng điều khiển xe tránh vật cản không dừng lại mơ hình xe tự hành Chúng tơi kiến nghị hướng phát triển dự án làm liệu đầu vào trở nên phong phú (nhiều đối tượng hơn), nâng cấp phần cứng kết hợp với hệ thống Tracking Lane để xe tự hành cách tốt Từ việc mơ hình xe tự hành hoạt động hoàn toàn cách tự dộng phát triển dần lên hệ thống xe thật, đặc biệt hệ thống phanh theo giao đoạn để xe vận hành cách an toàn cho người xe người tham gia giao thông khác trở thành xe tự hành thực thụ Nhóm chúng tơi hi vọng kết đề tài tài liệu hữu ích cho nguyên cứu hệ thống an toàn tự động ô tô trường Đại học Sư phạm kỹ thuật nói riêng ngành tơ Việt Nam nói chung 111 DANH MỤC TÀI LIỆU THAM KHẢO [1] Nguyễn Ngọc Thạch – Trần Lê Đức Huy, 7/2020, Nghiên cứu thiết kế hệ thống phát cảnh báo người xe ô tô, Trường Đại học Sư phạm Kỹ thuật TP.Hồ Chí Minh [2] When Maths Meet Coding, 16/10/2020, “how to train YOLO v3, v4 for custom objects detection and using colab free GPU”, Youtube.com and Github.com/jakkcoder, https://www.youtube.com/watch?v=hTCmL3S4Obw&list=WL&index=10&t=1s [3] eMaster Class Academy, 14/5/2020, “Python: Real Time Object Detection (Image, Webcam, Video files) with Yolov3 and OpenCV”, Youtube.com and buymeacoffee.com, https://www.youtube.com/watch?v=1LCb1PVqzeY&list=WL&index=14&t=783s [4] tech zizou, 25/2/2021, “TRAIN A CUSTOM YOLOv4-tiny DETECTOR USING GOOGLE COLAB ( FREE GPU )”, Youtube.com/techzizou and Github.com/techzizou https://www.youtube.com/watch?v=H3SJcwttTi4&list=WL&index=16&t=368s 112 S K L 0