Ứng dụng tri tuệ nhân tạo để phát triển hệ thống nhận diện và theo dõi làn đường cho xe tự lái ngành công nghệ kỹ thuật ô tô

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT Ơ TƠ ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRIỂN HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI LÀN ĐƯỜNG CHO XE TỰ LÁI GVHD : SVTH : PGS.TS ĐỖ VĂN DŨNG NGÔ THÀNH MIN 15145289 LÊ VĂN TRIỆU 15145393 SKL007935 Tp Hồ Chí Minh, tháng 07/2019 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ TH T TH NH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRIỂN HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI LÀN ĐƯỜNG CHO XE TỰ LÁI SVTH : NGÔ THÀNH MIN MSSV: 15145289 SVTH : LÊ VĂN TRIỆU MSSV: 15145393 GVHD: PGS.TS ĐỖ VĂN DŨNG Tp Hồ Chí Minh, tháng năm 2019 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ TH T TH NH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: Công nghệ Kỹ thuật tơ Tên đề tài ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRIỂN HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI LÀN ĐƯỜNG CHO XE TỰ LÁI SVTH : NGÔ THÀNH MIN MSSV: 15145289 SVTH : LÊ VĂN TRIỆU MSSV: 15145393 GVHD: PGS.TS ĐỖ VĂN DŨNG Tp Hồ Chí Minh, tháng năm 2019 TRƯỜNG ĐH SƯ PHẠM KỸ THU T CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP HỒ CHÍ MINH Độc Lập – Tự Do – Hạnh Phúc KHOA CƠ KHÍ ĐỘNG LỰC TP Hồ Chí Minh, ngày 22 tháng năm 2019 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: NGÔ THÀNH MIN MSSV: 15145289 (E-mail: ngomin97@gmail.com Điện thoại: 0333772680 ) LÊ VĂN TRIỆU MSSV: 15145393 (E-mail:levantrieualien@gmail.com Điện thoại: 0355997404) Ngành: Cơng nghệ Kỹ thuật tơ Khóa: 2015 Tên đề tài: Ứng dụng trí tuệ nhân tạo để phát triển hệ thống nhận diện theo dõi đường cho xe tự lái Nhiệm vụ đề tài: Nghiên cứu ứng dụng trí tuệ nhân tạo việc nhận diện theo dõi lane đường tảng Deep learning Sản phẩm đề tài: Giải thuật, phần mềm Ngày giao nhiệm vụ đề tài: 02/04/2019 Ngày hoàn thành nhiệm vụ: 22/7/2019 TRƯỞNG BỘ MÔN CÁN BỘ HƯỚNG DẪN PGS.TS Đỗ Văn Dũng TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THU T TP HCM KHOA CƠ KHÍ ĐỘNG LỰC CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc Bộ môn Điện tử ô tô PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên hướng dẫn) Họ tên sinh viên NGÔ THÀNH MIN MSSV: 15145289 Hội đồng:………… Họ tên sinh viên LÊ VĂN TRIỆ MSSV: 15145393 Hội đồng:………… Tên đề tài: Ứng dụng trí tuệ nhân tạo để phát triển hệ thống nhận diện theo dõi đường cho xe tự lái Ngành đào tạo: Công nghệ Kỹ thuật ô tô Họ tên GV hướng dẫn: PGS.TS Đỗ Văn Dũng Ý KIẾN NHẬN XÉT Nhận xét tinh thần, thái độ làm việc sinh viên (không đánh máy) Nhận xét kết thực ĐATN (không đánh máy) 2.1 Kết cấu, cách thức trình bày ĐATN: 2.2 Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) 2.3 Kết đạt được: 2.4 Những tồn (nếu có): Đánh giá: Hình thức kết cấu ĐATN Đ ng Điểm tối đa Mục đánh giá TT Điểm đạt 30 rmat ới đ y đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, khoa học hội Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế chế tạo hệ thống, thành ph n, quy trình đáp ứng yêu c u đưa ới ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, ph n mềm chuyên ngành Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày 22 tháng 07 năm 2018 Giảng viên hướng dẫn ((Ký, ghi rõ họ tên) PGS.TS Đỗ Văn Dũng TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THU T TP HCM KHOA CƠ KHÍ ĐỘNG LỰC CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự – Hạnh phúc Bộ môn Điện tử ô tô PHIẾU NHẬN XÉT ĐỒ ÁN TỐT NGHIỆP (Dành cho giảng viên phản biện) Họ tên sinh viên NGÔ THÀNH MIN MSSV: 15145289 Hội đồng………… Họ tên sinh viên LÊ VĂN TRIỆ MSSV: 15145393 Hội đồng………… Tên đề tài: Ứng dụng trí tuệ nhân tạo để phát triển hệ thống nhận diện theo dõi đường cho xe tự lái Ngành đào tạo: Công nghệ Kỹ thuật ô tô Họ tên GV phản biện: (Mã GV) Ý KIẾN NHẬN XÉT Kết cấu, cách thức trình bày ĐATN: Nội dung đồ án: (Cơ sở lý luận, tính thực tiễn khả ứng dụng đồ án, hướng nghiên cứu tiếp tục phát triển) Kết đạt được: Những thiếu sót tồn ĐATN: Câu hỏi: Đánh giá: Hình thức kết cấu ĐATN Đ ng Điểm tối đa Mục đánh giá TT Điểm đạt 30 rmat ới đ y đủ hình thức nội dung mục 10 Mục tiêu, nhiệm vụ, tổng quan đề tài 10 Tính cấp thiết đề tài 10 Nội dung ĐATN 50 Khả ứng dụng kiến thức toán học, khoa học kỹ thuật, h a học hội Khả thực hiện/phân tích/tổng hợp/đánh giá 10 Khả thiết kế, chế tạo hệ thống, thành ph n, quy trình đáp ứng yêu c u đưa ới ràng buộc thực tế 15 Khả cải tiến phát triển 15 Khả sử dụng công cụ kỹ thuật, ph n mềm chuyên ngành Đánh giá khả ứng dụng đề tài 10 Sản phẩm cụ thể ĐATN 10 Tổng điểm 100 Kết luận:  Được phép bảo vệ  Không phép bảo vệ TP.HCM, ngày tháng 07 năm 2018 Giảng viên phản biện ((Ký, ghi rõ họ tên) TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THU T THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC XÁC NHẬN HOÀN THÀNH ĐỒ ÁN Tên đề tài: ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRIỂN HỆ THỐNG NH N DIỆN V THEO DÕI L N ĐƯỜNG CHO XE TỰ LÁI Họ tên sinh viên: NGÔ THÀNH MIN LÊ VĂN TRIỆU MSSV: 15145289 MSSV: 15145393 Ngành: Công nghệ Kỹ thuật ô tô Sau tiếp thu điều chỉnh theo góp ý Giảng viên hướng dẫn, Giảng viên phản biện thành viên Hội đồng bảo Đồ án tốt nghiệp hoàn chỉnh theo yêu cầu nội dung hình thức Chủ tịch Hội đồng: ……………………………… …………….………… Giảng viên hướng dẫn: ………………………… ……………… ………… Giảng viên phản biện: ………………………… ……………… ………… Tp Hồ Chí Minh, ngày 22 tháng năm 2019 LỜI CẢM ƠN Trí tuệ nhân tạo khơng phải thuật ngữ mẻ Việt Nam, sinh viên chuyên ngành công nghệ kỹ thuật tơ chúng em kiến thức lĩnh vực hạn chế Ứng dụng trí tuệ nhân tạo để giải vấn đề chuyên ngành thực thử thách hội để chúng em tìm hiểu kiến thức lĩnh vực tiềm tương lai Ngồi kiến thức trí tuệ nhân tạo, qua đề tài này, chúng em học hỏi nhiều kiến thức xử lý ảnh, lập trình python nhiều lĩnh vực hoàn toàn xa lạ chúng em trước Chúng em vui cuối vượt qua thử thách gặp phải hoàn thành đề tài thời hạn Trong trình thực đề tài mình, điều kiện hạn chế kiến thức thời gian nghiên cứu nên khơng tránh sai sót, mong nhận góp ý từ q Thầy Cơ bạn để đề tài chúng em ngày hoàn thiện Chúng em xin chân thành cảm ơn Thầy PGS.TS Đỗ Văn Dũng – Giảng viên hướng dẫn, tận tình giúp đỡ chúng em, ln cho chúng em lời khuyên, lời động viên quý báu, chúng em học nhiều kiến thức từ Thầy, học cách tổ chức phân cơng cơng việc hợp lý để từ chúng em hồn thiện đồ án tốt nghiệp Chúng em xin chân thành cảm ơn Thầy ThS Nguyễn Trung Hiếu – Giảng viên Khoa Cơ Khí Động Lực, Thầy TS Trần Vũ Hoàng – Giảng viên Khoa Điện - Điện Tử hỗ trợ chúng em sở vật chất kiến thức chuyên mơn vơ bổ ích, với lời khuyên, lời động viên quý báu Qua đây, chúng em xin chân thành cảm ơn Thầy Cô Khoa Cơ Khí Động Lực trường Đại học Sư Phạm Kỹ Thuật TP Hồ Chí Minh cho chúng em kiến thức chuyên ngành thật bổ ích, tạo điều kiện thuận lợi để chúng em hồn thành đồ án tốt nghiệp Một lần nữa, chúng em xin cảm ơn tất quý Thầy, quý Cơ, kính chúc q Thầy, q Cơ ln thành cơng đường đào tạo nhân tài i Bước 10: Tiến hành cài đặt Trình cài đặt hoàn thành chế độ cửa sổ cài đặt hướng dẫn bạn chút mức độ tuyệt vời Ubuntu Tùy thuộc vào tốc độ máy kết nối mạng bạn, trình cài đặt vài phút 82 Bước 11: Hoàn thành trình cài đặt Sau thứ cài đặt cấu hình, cửa sổ nhỏ xuất yêu cầu bạn khởi động lại máy tính bạn Nhấp vào “Khởi động lại” rút SB khỏi máy tính nhắc 83 Bước 12: Đặng nhập sử dụng Cài đặt Anaconda Bước 1: Truy xuất phiên Anaconda Từ trình duyệt web, chuyển đến trang tải xuống Anaconda thông qua đường dẫn sau: https://www.anaconda.com/distribution/ Tìm phiên Linux chép tập lệnh bash trình cài đặt Bước 2: Tải xuống tập lệnh Anaconda Bash Đăng nhập vào máy chủ buntu 16.04 bạn với tư cách người dùng root, chuyển vào /tmp thư mục sử dụng curl để tải xuống liên kết bạn chép từ trang web Anaconda: cd /tmp Sử dụng curl để tải xuống liên kết mà bạn chép từ trang web Anaconda: curl -O https://repo.anaconda.com/archive/Anaconda3-5.2.0-Linux-x86_64.sh 84 Bước 3: Xác minh tính tồn vẹn liệu trình cài đặt Đảm bảo tính tồn vẹn trình cài đặt với xác minh băm mật mã thơng qua tổng kiểm tra SHA-256: sha256sum Anaconda3-5.2.0-Linux-x86_64.sh Output: 09f53738b0cd3bb96f5b1bac488e5528df9906be2480fe61df40e0e0d19e3d48 Anaconda3-5.2.0-Linux-x86_64.sh Bước 4: Chạy tập lệnh Anaconda bash Anaconda3-5.2.0-Linux-x86_64.sh Bạn nhận kết sau để xem lại thỏa thuận cấp phép cách nhấn ENTER bạn đạt đến kết thúc Output: Welcome to Anaconda3 5.2.0 In order to continue the installation process, please review the license agreement Please, press ENTER to continue >>> Do you approve the license terms? [yes|no] Khi bạn đến cuối giấy phép, nhập yes miễn bạn đồng ý với giấy phép để hoàn tất cài đặt Bước 5: Hoàn tất trình cài đặt Khi bạn đồng ý với giấy phép, bạn nhắc chọn vị trí cài đặt Bạn nhấn ENTER để chấp nhận vị trí mặc định định vị trí khác 85 Output: Anaconda3 will now be installed into this location: /home/sammy/anaconda3 - Press ENTER to confirm the location - Press CTRL-C to abort the installation - Or specify a different location below [/home/sammy/anaconda3] >>> Tại thời điểm này, tiến trình cài đặt tiến hành Lưu ý trình cài đặt thời gian Bước 6: Chọn tùy chọn Sau cài đặt hoàn tất, bạn nhận kết sau: Output: Installation finished Do you wish the installer to prepend the Anaconda3 install location to PATH in your /home/sammy/.bashrc ? [yes|no] [no] >>> Bạn nên nhập yes sử dụng conda huy Tiếp theo, bạn nhắc tải xuống Visual Studio Code, bạn tìm hiểu thêm từ trang web thức VSCode Kiểu yes để cài đặt no để từ chối Bước 7: Kích hoạt cài đặt Bây bạn kích hoạt cài đặt lệnh sau: source ~/.bashrc Bước 8: Thử nghiệm cài đặt: Sử dụng conda lệnh để kiểm tra cài đặt kích hoạt: 86 conda list Bạn nhận đầu tất gói bạn có sẵn thơng qua cài đặt Anaconda: Bây Anaconda cài đặt, tiếp tục thiết lập môi trường Anaconda Bước 9: Thiết lập mơi trường Anaconda Bạn tạo mơi trường Anaconda với conda create huy Ví dụ, mơi trường Python có tên my_env tạo lệnh sau: conda create name my_env python=3 Kích hoạt mơi trường sau: source activate my_env Tiền tố nhắc lệnh bạn thay đổi để phản ánh bạn môi trường Anaconda hoạt động, bạn sẵn sàng để bắt đầu làm việc dự án Tạo môi trường với conda Bước 1: Tạo thư mục dự án, ví dụ ~/projects/python_env_example máy tính bạn, sau chuyển vào thư mục vừa tạo: $ mkdir ~/projects/python_env_example $ cd ~/projects/python_env_example 87 Bước 2: Tạo môi trường Conda với tên my_env cài sử dụng python 3.5 với lệnh: $ conda create name my_env python=3.5 Bước 3: Sử dụng môi trường my_env để làm việc lệnh: $ source activate my_env Khi đó, tiền tố (base) chuyển thành tên môi trường bạn ví dụ: (my_env) Bạn kiểm tra mơi trường có lệnh: $ conda info envs Kiểm tra gói thư viện có môi trường lệnh: $ conda list Bước 4: Thốt khỏi mơi trường Nếu bạn khơng muốn làm việc mơi trường nữa, bạn dùng lệnh: $ conda deactivate để khỏi mơi trường Cài đặt Cuda 9.0 CuDNN 7.0 Bước 1: Cài đặt driver card đồ họa NVIDIA với apt-get Cuda 9.0 yêu cầu driver NVIDIA phiên 384 trở lên, để cài đặt driver, ta sử dụng lệnh apt-get thay cho file cài đặt: sudo apt-get install nvidia-384 nvidia-modprobe Tiếp theo, bạn vào BIOS để disable Secure Boot Thông thường, bạn vào BIOS cách khởi động lại máy tính ấn F12 Sau đó, bạn kiểm tra cài đặt lệnh nvidia-smi, hệ thống thông báo thông tin card đồ họa bạn dùng phiên driver bạn vừa cài 88 Bước 2: Cài đặt Cuda 9.0 file cài đặt Bạn tải cài đặt Cuda 9.0 địa chỉ: https://developer.nvidia.com/cuda90-download-archive Hoặc sử dụng lệnh wget trường hợp khơng tìm thấy phiên phù hợp $ cd 89 $ wget https://developer.nvidia.com/compute/cuda/9.0/Prod/local_installers/cuda_9.0.176_3 84.81_linux-run Giải nén nén file vừa cài đặt với lệnh extract $ chmod +x cuda_9.0.176_384.81_linux-run $ /cuda_9.0.176_384.81_linux-run extract=$HOME Sau giải nén, bạn nhận file: NVIDIA-Linux-x86_64-384.81.run (Driver NVIDIA), cuda-linux.9.0.176-22781540.run (file cài đặt cuda), cudasamples.9.0.176-22781540-linux.run (cuda 9.0 samples) Tiến hành cài đặt CUDA Toolkit 9.0 $ sudo /cuda-linux.9.0.176-22781540.run Bạn phải đọc qua quy định pháp lý (ấn “d” bàn phím để đến cuối thông tin pháp lý bạn đọc rõ quy định) ấn enter để đồng ý (accept) quy định pháp lý Để xác minh cài đặt C DA, cài đặt kiểm tra mẫu lệnh: $ sudo /cuda-samples.9.0.176-22781540-linux.run Sau việc cài đặt kết thúc, đặt lại đường dẫn thư viện $ sudo bash -c "echo /usr/local/cuda/lib64/ > /etc/ld.so.conf.d/cuda.conf" $ sudo ldconfig Bạn nên thêm chuỗi /usr/local/cuda/bin vào file hệ thống /etc/environment để nvcc bao gồm $PATH Điều có hiệu lực sau khởi động lại máy Để làm điều này, bạn cần dùng lệnh: $ sudo vim /etc/environment Và thêm :/usr/local/cuda/bin (bao gồm dấu “:”) cuối đường dẫn PATH="/blah:/blah/blah" (bên dấu ngoặc kép) Sau đó, khởi động lại máy tính kiểm tra thử cài đặt lệnh: 90 $ cd /usr/local/cuda-9.0/samples $ sudo make Tiến trình chạy tốn nhiều thời gian xuất nhiều cảnh báo không quan trọng Sau hoàn thành, chạy deviceQuery p2pBandwidthLatencyTest lệnh: $ cd /usr/local/cuda/samples/bin/x86_64/linux/release $ /deviceQuery Sau chạy chương trình test, bạn nhận kết quả: 91 92 Bước 3: Cài đặt cuDNN 7.0 Vào trang web download cuDNN: https://developer.nvidia.com/rdp/cudnndownload (cần phải đăng ký tài khoản) chọn phiên cuDNN 9.0 cho CUDA 9.0 Tải file có deb: the runtime library, the developer library, the code samples library for Ubuntu 16.04 Sau tải xong, thư mục download mình, cài đặt file vừa tải lệnh: $ sudo dpkg -i libcudnn7_7.0.5.15–1+cuda9.0_amd64.deb (the runtime library) $ sudo dpkg -i libcudnn7-dev_7.0.5.15–1+cuda9.0_amd64.deb (the developer library) $ sudo dpkg -i libcudnn7-doc_7.0.5.15–1+cuda9.0_amd64.deb (the code samples) Bây giờ, bạn kiểm tra cuDNN có cài đặt hay chưa cách: - Sao chép code mẫu lệnh cp -r /usr/src/cudnn_samples_v7/ ~ - Di chuyển code đến ví dụ MNIST: cd ~/cudnn_samples_v7/mnistCUDNN - Biên dịch ví dụ MNIST: make clean && make - Chạy ví dụ MNIST:./mnistCUDNN Nếu cuDNN cài đặt thành công, bạn thấy Test passed! cuối phần kết trả Cài đặt Tensorflow 1.10.0 Sau cài Cuda 9.0 cuDNN 7.0, ta dễ dàng cài đặt Tensorflow 1.10.0 lệnh: $ pip install tensorflow==1.10.0 Để kiểm tra xem Tensorflow cài đặt thành công hay chưa Ta mở terminal gõ thử lệnh python sau Nếu báo lỗi tức cài đặt không thành công $ python >>> import tensorflow as tf >>> hello = tf.constant('Hello, TensorFlow!') >>> sess = tf.Session() >>> print(sess.run(hello)) 93 Hello, TensorFlow! >>> a = tf.constant(10) >>> b = tf.constant(32) >>> print(sess.run(a + b)) 42 Cài đặt easydict 1.6 Ta cài đặt easydict 1.6 lệnh: $ pip install easydict==1.6 Để kiểm tra easydict cài thành công hay chưa Ta chạy đoạn code sau với python, khơng có lỗi easydict cài đặt thành công $ python >>> from easydict import EasyDict as edict >>> d = edict({‘foo’:3, ‘bar’:{‘x’:1, ‘y’:2}}) >>> d.foo >>> d.bar.x >>> d = edict(foo=3) >>>d.foo Cài đặt gói thư viện cịn lại Opencv_python 3.4.1.15: pip install opencv-python==3.4.1.15 Glog 0.3.1: pip install glog==0.3.1 Tensorflow-gpu 1.10.0: pip install tensorflow-gpu==1.10.0 Numpy 1.13.1: pip install numpy==1.13.1 Matplotlib 2.0.2: pip install matplotlib==2.0.2 94 Scikit_learn 0.19.1: pip install scikit-learn==0.19 95 S K L 0 ... tài: Ứng dụng trí tuệ nhân tạo để phát tri? ??n hệ thống nhận diện theo dõi đường cho xe tự lái Ngành đào tạo: Công nghệ Kỹ thuật ô tô Họ tên GV hướng dẫn: PGS.TS Đỗ Văn Dũng Ý KIẾN NHẬN XÉT Nhận. .. Tên đề tài: Ứng dụng trí tuệ nhân tạo để phát tri? ??n hệ thống nhận diện theo dõi đường cho xe tự lái Nhiệm vụ đề tài: Nghiên cứu ứng dụng trí tuệ nhân tạo việc nhận diện theo dõi lane đường tảng... ngành: Công nghệ Kỹ thuật tơ Tên đề tài ỨNG DỤNG TRÍ TUỆ NHÂN TẠO ĐỂ PHÁT TRI? ??N HỆ THỐNG NHẬN DIỆN VÀ THEO DÕI LÀN ĐƯỜNG CHO XE TỰ LÁI SVTH : NGÔ THÀNH MIN MSSV: 15145289 SVTH : LÊ VĂN TRI? ??U MSSV: