BÁO CÁO ĐỒ ÁNĐỀ TÀI: XÂY DỰNG MÔ HÌNH XE TỰ HÀNH ỨNG DỤNG CÔNG NGHỆ DEEP LEARNING

ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN BÁO CÁO ĐỒ ÁN ĐỀ TÀI: XÂY DỰNG MƠ HÌNH XE TỰ HÀNH ỨNG DỤNG CÔNG NGHỆ DEEP LEARNING Giảng viên hướng dẫn: Sinh viên thực hiện: Nguyễn Thị Ngà Hồ Nguyễn Hoàng Vy ThS Nguyễn Anh Tuấn 17CE029 17CE062 Đà Nẵng, tháng 12 năm 2020 ĐẠI HỌC ĐÀ NẴNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VIỆT - HÀN BÁO CÁO ĐỒ ÁN ĐỀ TÀI: XÂY DỰNG MƠ HÌNH XE TỰ HÀNH ỨNG DỤNG CÔNG NGHỆ DEEP LEARNING Giảng viên hướng dẫn: Sinh viên thực hiện: Nguyễn Thị Ngà Hồ Nguyễn Hoàng Vy ThS Nguyễn Anh Tuấn 17CE029 17CE062 Đà Nẵng, tháng 12 năm 2020 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng MỞ ĐẦU Trong giới đại, máy học (Machine Learning) đóng vai trị quan trọng hết nhiều lĩnh vực khác như: di truyền học, thị giác máy tính, nhận diện giọng nói, xử lý ngơn ngữ tự nhiên, robot, dự đoán thị trường chứng khoán, v.v… Máy học hữu nhiều đời sống ngày như: Facebook sử dụng máy học để đề xuất kết bạn hay Google sử dụng máy học làm tảng cho cơng cụ tìm kiếm họ Trong ngành cơng nghiệp ô tô giới học thuật tiến hành nhiều nghiên cứu liên quan đến xe tự lái Xe tự lái chủ đề thú vị, có tiềm mang lại nhiều lợi ích cho xã hội như: giảm tai nạn giao thông, giảm ùn tắc giao thông, v.v… Theo báo cáo từ NHTSA, 90% vụ va chạm ô tô xảy lỗi người lái xe Và thương vong giảm thiểu tối đa cách triển khai tính tự động tơ Do đó, xe tự hành trở thành phương tiện có khả giúp người tránh thương vong đáng tiếc phát triển nhiều công ty Với mong muốn tìm hiểu phát triển cơng nghệ này, nhóm chúng tơi thực nghiên cứu đề tài “Xây dựng mơ hình xe tự hành ứng dụng công nghệ Deep Learning” Trong đồ án này, chúng tơi ứng máy học để xây dựng mơ hình xe tự lái Cụ thể hơn, xây dựng mơ hình xe dự đốn góc lái để giúp xe bám theo đường dựa vào hình ảnh chụp từ camera gắn xe Ngồi ra, mơ hình xe cịn nhận dạng biển báo giao thông Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng LỜI CẢM ƠN Để thực hoàn thành tốt đồ án này, em nhận giúp đỡ hướng dẫn tận tình thầy cô thuộc Đại Học Công Nghệ Thông Tin Và Truyền Thông Việt Hàn – Đại Học Đà Nẵng Em xin cảm ơn thầy cô thuộc môn chuyên ngành cung cấp cho chúng em thông tin, kiến thức vô quý báu cần thiết suốt thời gian để em thực hồn thành đồ án Đặc biệt em xin chân thành cảm ơn thầy Nguyễn Anh Tuấn, người trực tiếp hướng dẫn chúng em thời gian thực đồ án Cuối cùng, xin chân thành cảm ơn bạn ngành công nghệ thông tin ủng hộ, giúp đỡ, chia sẻ kiến thức, kinh nghiệm tài liệu có giúp chúng tơi trình nghiên cứu thực đề tài Do giới hạn mặt thời gian kiến thức kinh nghiệm thực tiễn nên đề tài không tránh khỏi sai sót Em mong nhận thơng cảm q thầy mong đón nhận góp ý thầy bạn Em xin chân thành cảm ơn! Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng NHẬN XÉT (Của giảng viên hướng dẫn) ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ……………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… ………………………………………………………………………………………… Đà Nẵng, ngày … tháng … năm 20 Giảng viên hướng dẫn ThS Nguyễn Anh Tuấn Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng MỤC LỤC MỞ ĐẦU .1 LỜI CẢM ƠN NHẬN XÉT MỤC LỤC DANH MỤC VIẾT TẮT .6 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG XE TỰ HÀNH SỬ DỤNG CÔNG NGHỆ DEEP LEARNING .1 1.1 Tổng quan xe tự hành 1.2 Nội dung đề tài 1.3 Mục tiêu đề tài CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CỦA XE TỰ HÀNH 2.1 Giới thiệu xe tự hành 2.2 Tổng quan trí tuệ nhân tạo 2.2.1 Trí tuệ nhân tạo – Artificial Intelligence (AI) 2.2.2 Machine Learning (ML) .4 2.2.3 Deep Learning (DL) .5 2.2.4 Lý thuyết hình ảnh .7 2.2.5 Convolutional Neural Network (CNN) 2.2.6 OpenCV .9 2.2.7 TensorFlow 10 2.2.8 Keras 11 2.3 Xây dựng thuật toán 12 2.3.1 Thuật toán phát đường 12 2.3.2 Thuật toán ước lượng độ cong đường 16 2.3.3 Tính tốn góc lái lần vết đường cho xe tự hành 17 Chương 3: XÂY DỰNG MƠ HÌNH XE TỰ HÀNH 19 3.1 Phân tích yêu cầu 19 3.2 Môi trường triển khai 19 3.3 Phần cứng 19 3.3.1 Raspberry Pi .19 3.3.2 Các thiết bị - Modules 26 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng 3.4 Nguyên tắc hoạt động .29 3.4.1 Hoạt động chung 29 3.4.2 Quy trình 29 3.5 Kết thử nghiệm đánh giá 33 KẾT LUẬN .36 Kết đạt .36 Hạn chế .36 Hướng Phát triển .36 TÀI LIỆU THAM KHẢO 38 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng DANH MỤC HÌNH ẢNH Hình 2.1 Cơng nghệ tô tự hành Hình 2.2 Convolutional Neural Network (CNN) Hình 2.3 Feature Map Hình 2.4 Quá trình Pooling Hình 2.5 Open CV .10 Hình 2.6 Tensorflow 11 Hình 2.7 Thư viện Keras 12 Hình 2.8 Lưu đồ giải thuật phát đường 13 Hình 2.9 Mơ hình ước lượng đường cong đường .16 Hình 2.10 Minh họa vị trí xe đường 18 Hình 3.1 Cấu tạo Raspberry Pi 20 Hình 3.2 Kích hoạt VNC Viewer Raspberry Pi 23 Hình 3.3 Kích hoạt VNC Viewer Raspberry Pi 23 Hình 3.4 Dùng Putty máy tính trỏ Raspberry Pi 25 Hình 3.5 Kiểm tra xem Pi kết nối với mạng dây Wifi 25 Hình 3.6 Nhập IP Raspberry Pi 26 Hình 3.7 Điền tên đăng nhập pass Pi 26 Hình 3.8 Sơ đồ nối mạch 30 Hinh 3.10 Trainning 31 Hình 3.9 Convolutional Network (CNN) 32 Hình 3.10 Quá trình huấn luyện .33 Hình 3.12 Thực thi 34 Hình 3.11 Mơ hình xe hồn thiện 35 Hình 3.12 Ảnh thu lại từ Raspberry 35 Hình 3.13 Kết mơ hình 36 Hình 3.14 Keyboard điều khiển xe 37 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng DANH MỤC BẢNG Bảng 3.1 So sánh Raspberry với Arduino 20 Bảng 3.2 Danh mục thiết bị 26 Bảng 3.3 Cách nối chân 30 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng DANH MỤC SƠ ĐỒ Sơ đồ 2.1 Hoạt động Deep Learning Sơ đồ 2.2 Lưu đồ giải thuật phát đường .13 Sơ đồ 3.1 Thu thập liệu 30 Sơ đồ 3.2 Training .30 Sơ đồ 3.3 Thực thi .32 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Hình 3.4 Dùng Putty máy tính trỏ Raspberry Pi Trang 25 Đại học Cơng nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Hình 3.5 Kiểm tra xem Pi kết nối với mạng dây Wifi Cài đặt VNC Viewer máy tính Hình 3.6 Nhập IP Raspberry Pi Trang 26 Đại học Công nghệ thông tin Truyền thơng Việt Hàn – Đại học Đà Nẵng Hình 3.7 Điền tên đăng nhập password Pi 3.3.2 Các thiết bị - Modules Bảng 3.2 Danh mục thiết bị Thiết bị Camera Raspberry Pi V1 5MP Thông số kỹ thuật Module Camera V1 cho Raspberry Pi Cảm biến: OV5647 Độ phân giải: 5MP Độ phân giải hình: 2592x1944 pixel Quay phim HD 1080P 30, 720P 60, VGA 640x480P 60 Lens: Fixed Focus Conector: Ribon conector Kích thước: 25x24x9mm Thẻ nhớ SanDisk MicroSDHC Class 10 UHS-I 80MB/s 16GB Thẻ nhớ SanDisk Vỏ Nhôm Kèm Quạt Tản Nhiệt Cho Raspberry Pi Màu sắc: Đen Chất liệu: vỏ hợp kim nhơm Nội dung gói: tản nhiệt vít lắp Trang 27 Đại học Cơng nghệ thơng tin Truyền thông Việt Hàn – Đại học Đà Nẵng Điện áp đầu vào: 90~264VAC / 47~63Hz Điện áp đầu ra: 5.1 VDC Dịng đầu ra: 3A Cơng suất: 15.3W Jack cắm đầu vào: Nhiều kiểu Jack AC khác chuẩn Quốc Tế Raspberry Pi Power Supply Jack cắm đầu ra: USB-C Chiều dài cáp: 1.5m x Tấm Mica kích thước 210 x 130 x 3mm x Cặp Bánh xe + Động Cơ DC Giảm Tốc V1 Dual Shaft Plastic Geared TT Motor thường x Gá Bắt Động Cơ DC Giảm Tốc V1 Plastic Geared TT Motor Mounting Bracket Khung Xe Robot Chasiss Black Cat x Hộp Pin Cỡ 18650 Chấu Lò Xo Nối Tiếp Ra Dây x Công tắc nguồn x Gá bắt cảm biến siêu âm Ốc, vít, tán IC chính: L298 – Dual Full Bridge Driver Điện áp đầu vào: 5~30VDC Công suất tối đa: 25W cầu (lưu ý cơng suất = dịng điện x điện áp nên áp cấp vào cao, dịng nhỏ, cơng suất có định 25W) Mạch Điều Khiển Động Cơ DC L298N Dòng tối đa cho cầu H là: 2A Mức điện áp logic: Low -0.3V~1.5V, High: 2.3V~Vss Kích thước: 43x43x27mm Dây Cắm Test Board Đực Cái 20cm (1 sợi) Trang 28 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Dây Cắm Test Board Pin cell 18650 Samsung Arduino UNO R3 Pin sạc dự phòng 10000mAh Chất liệu pin: pin lithium ion Thương hiệu pin: Samsung Mẫu pin: 18650 Thông số kỹ thuật pin: đường kính 18mm * dài 65mm Dung lượng pin: 2600 mAh Điện trở pin: 45,6 mΩ (milliohms) Số lần xả: 1000 chu kỳ trở lên Tiêu chuẩn điện áp: điện áp tiêu chuẩn 3,6 ~ 3,7V, điện áp 4.2V sau đầy điện, 2,75V sau xả Vi điều khiển ATmega328 họ 8bit Điện áp hoạt động:5~12V DC (khuyên dùng) Tần số hoạt động:16 MHz Dòng tiêu thụ: Khoảng 30mA Điện áp vào giới hạn:19V DC Số chân Digital I/O :14 (6 chân PWM) Số chân Analog:6 (độ phân giải 10bit) Dòng tối đa chân I/O:30 mA Dòng tối đa (5V):500 mA Dòng tối đa (3.3V):50 mA Bộ nhớ flash:32 KB (ATmega328) với 0.5KB dùng bootloader SRAM:2 KB (ATmega328) EEPROM:1 KB (ATmega328) Khối lượng:25 gram Model: PLM13ZM Dung lượng pin: 37Wh 3.7V 10000mAh Dung lượng đáp ứng: 5500mAh (5.1V/2.6A) Giao diện input: micro USB /USB-C Giao diện output: USB-A Tham số input: Trang 29 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng USB-C: 5V-2.1A, 9V-2.1A, 12V-1.5A Micro-USB: 5V-2.1A, 9V-2.1A, 12V1.5A Tham số output: USB-A cổng đơn: 5.1V-2.4A, 9V-2A, 12V-1.5A USB-A cổng kép: 5.1V-2.6A Thời gian sạc: khoảng (sạc 9V/2A), khoảng (sạc 5V/2A) 3.4 Nguyên tắc hoạt động 3.4.1 Hoạt động chung - Thu thập liệu đủ lớn trình điều khiển xe tay - Tiến hành training từ liệu thu thập trước - Xây dựng hệ thống phát đường (Realtime) Dữ liệu sau thu thập gửi đến mạng nơ-ron sâu để xử lý dự đoán góc lái xác định đường - Xây dựng hệ thống phát hiển, nhận dạng xử lý gặp biển báo, đèn giao thơng 3.4.2 Quy trình Sơ đồ nối mạch Hình 3.8 Sơ đồ nối mạch Trang 30 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Bảng 3.3 Cách nối chân Raspberry GND 10 Arduino GND L298N GND IN1 IN2 INA INB IN3 IN4 - Phần mềm Bước 1: Thu thập liệu đủ lớn trình điều khiển xe tay Sơ đồ 3.1 Thu thập liệu Keyboard Data Collection Main Data Collection Images Folder Motor Log File Camera Step Data Collection Sử dụng Keyboard điều khiển xe để thu thập liệu Dữ liệu sau nhận lưu vào folder (DataCollected) để phục vụ cho bước train liệu Bước 2: Tiến hành training từ liệu thu thập trước Sơ đồ 3.3 Training Trang 31 Đại học Cơng nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Images Folder Training model.h File Log File Step Training Mạng thần kinh Một lợi việc sử dụng mạng thần kinh mạng huấn luyện, cần tải tham số huấn luyện sau đó, dự đốn nhanh Chỉ nửa hình ảnh đầu vào sử dụng cho mục đích đào tạo dự đốn Có 38.400 (320 × 120) nút lớp đầu vào 32 nút lớp ẩn Số lượng nút lớp ẩn chọn tùy ý Có bốn nút lớp đầu mà nút tương ứng với lệnh điều khiển lái: trái, phải, tiến lùi tương ứng (mặc dù đảo ngược không sử dụng đâu dự án này, bao gồm lớp đầu ra) Hình 3.9 Convolutional Network (CNN) Dữ liệu thu thập trước bao gồm hình ảnh đường đi( images path) góc lái (steering angle) đưa vào pandas data frame, khung hình Trang 32 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng cắt chuyển đổi thành mảng phức tạp Sau đó, hình ảnh trực quang hóa cân liệu Tiếp theo, chuẩn bị cho xử lý pandas data frame đưa liệu path list steering list Đến bước Split dataset, với Path list tách thành xTrain xVal, steering List thành yTrain yVal Tạo model training Cuối cùng, tất liệu hình ảnh ghép nối lưu vào Model tạo file model.h Hình 3.10 Quá trình huấn luyện Bước 3: Thực thi Khi xe chạy, Webcam thu nhận hình ảnh với model (model.h file) train từ trước motor dự đốn góc lái xác định đường Sơ đồ 3.3 Thực thi model.h File Prediction Steering Angle Motor Camera Step Implementation Trang 33 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng 3.5 Kết thử nghiệm đánh giá - Phần cứng Hình 3.11 Mơ hình xe hồn thiện Hình 3.12 Ảnh thu lại từ Raspberry Trang 34 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Hình 3.13 Kết mơ hình Trang 35 Đại học Cơng nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng Hình 3.14 Keyboard điều khiển xe Trang 36 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng KẾT LUẬN Kết đạt Qua bước đầu tìm hiểu nghiên cứu, gặp nhiều khó khắn việc làm quen tìm hiểu đề tài, đặc biệt giới hạn mặt thời gian thấy tính khả thi ứng dụng thực tế mơ hình Trong tương lai mơ hình xe tự lái thay người việc lái xe đảm bảo an tồn tuyệt đối giao thơng Những cơng việc báo cáo thực được: Thiết kế mô hình xe tự lái ứng dụng thuật tốn OpenCV xử lý ảnh Có thể điều khiển xe keyboard cầm tay dễ dàng Ứng dụng Camera Pi vào trình xử lý ảnh, điều hướng cho xe xác định đường q trình di chuyển Tích hợp máy tính nhúng lên xe nhằm giảm kích thước cho robot tăng tính linh động cho Tìm hiểu sơ lược nguyên lý hoạt động raspberry Pi, L298n, Arduino uno số thiết bị phần cứng khác để tạo nên mơ hình xe hồn chỉnh Nghiên cứu sâu thuật toán xử lý ảnh, nhận dạng, xác định đường, công nghệ bật OpenCV, Machine Learning, Deep Learning, Neural Network,… Để giúp cho mơ hình hồn thiện mặt chức Về bản, mơ hình hồn thành chương trình thực chức bản, thiết kế xe tự hành dựa phần cứng Raspberry pi Pi Camera sử dụng Opencv Neural network để phát đường, nhiên có trường hợp nhận diện sai Nhưng nhìn chung việc thiết kế xe tự hành gần hoàn thiện với mục tiêu đề Hạn chế Bên cạnh thực được, báo cáo cịn có cơng việc chưa hồn thành tốt: Khả nhận xác định đường đạt khoảng 70% chưa đáp ứng đủ yêu cầu đề Do hạn chế mặt thời gian nên liệu training chưa đủ lớn để nhận diện xác đường chưa hoàn thiện chức cao nhận diện biển báo giao thông Ứng dụng Neural Network Deep learning cịn chưa đạt hiểu cao Các thuật tốn sử dụng chưa tốt ưu Xe vận hành chưa có tính linh động cao Trong nhiều môi trường, điều kiện thời tiết khác chưa thể nhận diện đường Hướng Phát triển Tiếp tục hoàn thiện sản phẩm hiệu suất, sử dụng mơ hình phân lớp khác Trong tương lai gần, dự định cung cấp thêm kết Trang 37 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng thực nghiệm tập liệu lớn cải thiện độ xác tốc độ chương trình Có thể mở rộng cho vấn đề cho nhận diện tín hiệu giao thơng, cảm biến có va chạm xảy để tránh vật cản Với nghiên cứu tảng tiền đề để xây dựng phát triển thành công đề tài mức độ cao Hoàn thiện hệ thống cách tổng quát hoạt động ổn định nhiều môi trường Trang 38 Đại học Công nghệ thông tin Truyền thông Việt Hàn – Đại học Đà Nẵng TÀI LIỆU THAM KHẢO Tiếng Anh Aly, M., 2008 Real time Detectionof Lane Markers in Urban Streets Anon., 9-12 June 2019 Controlling Steering Angle for Cooperative Self-driving Vehicles utilizing CNN and LSTM-based Deep Networks Paris, France, France: 2019 IEEE Intelligent Vehicles Symposium (IV) Gurjashan Singh Pannu,Mohammad Dawud,Pritha Gupta, 2015 Design and Implementation of Autonomous Car using International Journal of Computer Applications (0975 – 8887), Volume 113, pp 22-29 Heidi Loose; Uwe Franke, 19-22 Sept 2010 B-spline-based road model for 3d lane recognition 19-22 Sept 2010: 13th International IEEE Conference on Intelligent Transportation Systems Jiang Ruyi, Klette Reinhard, Vaudrey Tobi, Wang Shigang, 2011 Lane detection and tracking using a new lane model and distance transform” Journal of Machine Vision and Application, Volume 22, p 721–737 M.Asif, M.R.Arshad, P.A.Wilson, 2007 AGV Guidance System: An Application of Simple Activive Contour for Visual Tracking Volume 6, pp 664-667 Szeliski, R., 2010 Computer vision Algorithm and Application USA: s.n Yue Wang, Eam Khwang Teoh, DinggangShen, 2004 Lane detection and tracking using Bsnake Journal of Image and Vision Computing, Volume 22, pp 269-280 Tiếng Việt Bảo, T Q., 21/10/2013 GIẢI THUẬT ĐƠN GIẢN ĐỂ PHÁT HIỆN LÀN ĐƯỜNG VÀ ĐIỀU KHIỂN LÁI pp 134-142 Trang 39