Đề tài mô hình xe tự hành

Māc tiêu đÁ tài: Nghiên cąu v phỏt trin cỏc chc nng trong hỏ thỏng hỗ trÿ ng°íi lái căa xe tč hành.. Ąng dāng lý thuyÁt đ°ÿc học và tìm hiÅu đÅ nhÁn dián làn đ°íng và biÅn báo giao thông

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN MÔ HÌNH XE TỰ SKC0 0 3 9 5 9 HÀNH Mà SỐ: SV2020-152 S KC 0 0 7 3 6 9 Tp Hồ Chí Minh, tháng 07/2020 Bè GIÁO DĀC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TâNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN MÔ HÌNH XE TỰ HÀNH SV2020 - 152 Chă nhißm đÁ tài: Huỳnh Vißt C°ãng 16119015 TP Há Chí Minh, 07/2020 Bè GIÁO DĀC VÀ ĐÀO T¾O TR¯âNG ĐH S¯ PH¾M KỸ THUÀT TPHCM BÁO CÁO TâNG K¾T ĐÀ TÀI NGHIÊN CĄU KHOA HàC CĂA SINH VIÊN MÔ HÌNH XE TỰ HÀNH SV2020 - 152 Thuéc nhóm ngành khoa học: Kỹ thuÁt SV thčc hián: Huỳnh Viát C°íng Nam, Nċ: Nam Dân téc: Kinh Lëp, khoa: 16119CLC 3 Đào t¿o ChÃt L°ÿng Cao Năm thą 4/Sá năm đào t¿o: 4 Ngành học: Công nghá kỹ thuÁt máy tính Ng°íi h°ëng d¿n: TS.TrÅn Vũ Hoàng TP Há Chí Minh, 07/2020 i MĀC LĀC MĀC LĀC i DANH MĀC CÁC HÌNH ÀNH, BIÄU Đâ iv DANH MĀC CÁC BÀNG BIÄU vi DANH MĀC CÁC TĆ VIÀT TÂT viii CH¯¡NG 1: Mî ĐÄU 9 1.1 Đ¾T VÂN ĐÀ 1 1.2 LÝ DO CHàN ĐÀ TÀI 4 1.3 MĂC TIÊU 4 1.4 PH¯¡NG PHÁP, ĐàI T¯ĀNG VÀ PH¾M VI NGHIÊN CĆU 4 1.5 Bà CĂC 5 CH¯¡NG 2: C¡ Sî LÝ THUYÀT 7 2.1 TH¯ VIàN PYTORCH 7 2.2 XĀ LÝ ÀNH 8 2.2.1 Các khái niám c¢ bÁn trong xā lý Ánh 8 2.2.2 Bi¿n đái Hough .11 2.3 MÁY HàC (MACHINE LEARNING) 12 2.3.1 Giçi thiáu 12 2.3.2 SVM .13 2.4 HàC SÂU (DEEP LEARNING) 13 2.4.1 CNN 13 2.4.2 Phân đo¿n Ánh (Image Segmentation) 14 2.4.3 Bài toán phát hián v¿t thà (Object Detection) 15 2.4.4 Ph°¢ng pháp tái °u 19 2.5 GIÀI THU¾T ĐIÀU KHIÂN PID 20 CH¯¡NG 3 : GIêI THIàU V PHÄN CĄNG 22 3.1 TàNG QUAN PHÄN CĆNG 22 3.2 CHI TI¾T PHÄN CĆNG .23 3.2.1 Táng quan vÁ xe Traxxas Desert 23 3.2.2 Các thi¿t bß trên xe 26 3.2.3 Táng quang vÁ m¿ch adapter CDS TX2 .31 CH¯¡NG 4: THIÀT KÀ PHÄN MÂM 34 4.1.XĀ LÝ ON-ROAD 35 4.1.1 Xā lý Ánh RGB 35 4.1.2 Xā lý Ánh depth .39 4.2 XĀ LÝ OFF-ROAD .40 4.2.1 Táng quan ph°¢ng pháp .40 4.2.2 Hàm mÃt mát (loss function) .42 4.3 ĐIÀU KHIÂN 44 CH¯¡NG 5: KÀT QUÀ THČC HIàN, SO SÁNH VÀ ĐÁNH GIÁ 48 5.1 THĄC NGHIàM 48 5.1.1 Môi tr°éng thąc nghiám .48 5.1.2 T¿p dă liáu 49 5.2 KỸ THU¾T HUÂN LUYàN M¾NG VÀ THI¾T L¾P THÔNG Sà 51 5.2.1 Xā lý On-road .51 5.2.2 Xā lý Off-road .51 5.3 K¾T QUÀ 51 5.3.1 Môi tr°éng mô phßng 51 5.3.2 Môi tr°éng thąc t¿ 53 5.4 SO SÁNH VÀ ĐÁNH GIÁ 56 5.4.1 Các ph°¢ng pháp đánh giá k¿t quÁ 56 5.4.2 K¿t quÁ On-road 58 5.4.3 K¿t quÁ Off-road 60 CH¯¡NG 6: KÀT LUÀN VÀ H¯êNG PHÁT TRIÄN 65 6.1 K¾T LU¾N 65 6.2 H¯æNG PHÁT TRIÂN .65 TÀI LIàU THAM KHÀO .66 DANH MĀC CÁC HÌNH ÀNH, BIÂU Đà Hình 1.1 Há tháng hç trÿ ng°íi lái (ADAS) .1 Hình 2 1 Workflow căa PyTorch 7 Hình 2 3 Hình tách biên sĉ dāng Canny 10 Hình 2 5 Ánh x¿ đ°íng thẳng tć không gian Ánh sang không gian Hough 12 Hình 2 6 KiÁn trúc m¿ng CNN 14 Hình 2 7 Ví dā minh họa và phân đo¿n ngċ nghĩa .15 Hình 2 8 KiÁn trúc căa SSD 16 Hình 2 9 Ąng dāng căa Mobilenet trên thiÁt bị thông minh 17 Hình 2 10 KiÁn trúc m¿ng mobilenet version 1 18 Hình 2 11 KiÁn trúc m¿ng Moblilenet version 2 18 Hình 2 12 KiÁn trúc căa RFB 19 Hình 3 1 Tång quan phÅn cąng 22 Hình 3 2 Xe RC 1/7 Traxxas Desert 23 Hình 3 3 Bé điÃu tác 24 Hình 3 4 Đéng c¢ không chåi than 25 Hình 3 5 Bé xĉ lý trung tâm NVIDIA Jetson TX2 26 Hình 3 6 CÁm biÁn khoÁng cách 27 Hình 3 7 CÁm biÁn gia tác 28 Hình 3 8 Pin LiPo 29 Hình 3 9 Camera astra 30 Hình 3 10 M¿ch chuyÅn đåi CDD 31 Hình 3 11 S¢ đã kÁt nái m¿ch chuyÅn đåi vëi thiÁt bị ngo¿i vi 32 Hình 3 12 Mô hình xe thčc tÁ .32 Hình 3 13 NVIDIA Jetson TX2 gÃn m¿ch chuyÅn đåi và các kÁt nái 33 Hình 4 1 S¢ đã tång quan ph°¢ng pháp .Error! Bookmark not defined Hình 4 2 Tång quan qui trình xĉ lý On-road Error! Bookmark not defined Hình 4 3 KiÁn trúc m¿ng đà xuÃt cho xĉ lý On-road 36 Hình 4 4 Ph°¢ng pháp phát hián làn đ°íng .37 Hình 4 5 Xác định cām dča trên miÃn Hough 38 Hình 4 6 Lọc nÃn 39 Hình 4 7 S¢ đã chi tiÁt thuÁt toán phát hián vÁt cÁn 40 Hình 4 8 S¢ đã ph°¢ng pháp nhÁn dián biÅn báo 40 Hình 4 9 KiÁn trúc thuÁt toán phát hián vị trí biÅn báo 41 Hình 4 10 Đặc tr°ng HOG đ°ÿc biÅu dißn bằng t-SNE .42 Hình 4 11 Áp dāng kỹ thuÁt PID ch¿y bám làn đ°íng 45 Hình 4 12 V°ÿt xe 45 Hình 4 13 L°u đã giÁi thuÁt điÃu khiÅn 46 Hình 5 1 Môi tr°íng Áo dùng phÅn mÃm UNITY 48 Hình 5 2 Môi tr°íng thčc tÁ tč t¿o .49 Hình 5 3 Ành thu đ°ÿc tć camera 50 Hình 5 4 Các lo¿i biÅn báo giao thông 50 Hình 5 5 KÁt quÁ trong môi tr°íng mô phßng .52 Hình 5 6 KÁt quÁ trong môi tr°íng mô phßng .52 Hình 5 7 KÁt quÁ trong môi tr°íng thčc tÁ ngoài cuéc sáng (dċ liáu lÃy ra tć video) 53 Hình 5.8 KÁt quÁ trong môi tr°íng thčc tÁ (Ành lÃy tć mô hình xe) 54 Hình 5.9 KÁt quÁ nhÁn dián làn đ°íng (1) 54 Hình 5.10 KÁt quÁ nhÁn dián làn đ°íng (2) 55 Hình 5.11 KÁt quÁ nhÁn dián làn đ°íng (3) 55 Hình 5.12 KÁt quÁ nhÁn dián làn đ°íng (4) 55 Hình 5 13 Ví dā cho ma trÁn t°¢ng quan .57 Hình 5 14 KÁt quÁ phân lo¿i .60 Hình 5 23 (a) KÁt quÁ trong điÃu kián ánh sáng thÃp (b) KÁt quÁ trong điÃu kián ánh sáng cao 61 DANH MĀC CÁC BÀNG BIÂU BÁng 1 1 THÁCH THĄC VÀ PH¯¡NG PHÁP GIÀI QUYÀT BÀI TOÁN PHÁT HIàN BIÄN BÁO 3 BÁng 5 1 HIàU SUÂT QUÁ TRÌNH PHÂN ĐO¾N 58 BÁng 5 2 Sà PHÄN TĈ ĐIÄM NäI VÀ TàC Đè FPS .59 BÁng 5 3 BÀNG SO SÁNH GIĊA MÔ-ĐUN CÀI TIÀN VêI SKIPNET 59 BÁng 5 4 HIàU SUÂT CĂA PHÁT HIàN LÀN Đ¯ìNG VêI NHĊNG KHOÀNG CÁCH KHÁC NHAU 59 BÁng 5 5 FPS CĂA MæI CÔNG VIàC TRONG OFF-ROAD 61 BÁng 5 6 ĐÁNH GIÁ KÀT QUÀ PHÁT HIàN BIÄN BÁO TRONG CÁC LAANFN CH¾Y THĈU NGHIàM KHÁC NHAU 61 Tć vi¿t tÃt DANH MĀC CÁC TĆ VI¾T TÂT ADAS TSR Tên đ¿y đă LOD Advanced Driver Assistance Systems SSD RFB Traffic Sign Detection SVM Lane and Obstacle Detection FPS Single Shot Multi-box Detector FLOPS HOG Receptive Field Block GPU Support Vector Machine CUDA Frames per second Floating point operations per second Histogram of Oriented Gradients Graphics Processing Unit Central Processing Unit