(Đồ án hcmute) thiết kế mô hình hệ thống hướng dẫn tài xế trong bãi xe thông minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỆN TỬ - TRUYỀN THÔNG THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH GVHD: ThS LÊ MINH THÀNH SVTH: NGUYỄN MINH TRƯỜNG MSSV: 16141089 SVTH: HÀ HỮU ĐẠT MSSV: 16141014 SKL 0 Tp Hồ Chí Minh, tháng 01/2021 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH SVTH: NGUYỄN MINH TRƯỜNG MSSV: 16141089 SVTH: HÀ HỮU ĐẠT MSSV: 16141014 Khóa: 2016 – 2020 Ngành: Công nghệ kỹ thuật Điện tử, truyền thông GVHD: ThS LÊ MINH THÀNH Tp Hồ Chí Minh, tháng năm 2021 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH SVTH: NGUYỄN MINH TRƯỜNG MSSV: 16141089 SVTH: HÀ HỮU ĐẠT MSSV: 16141014 Khóa: 2016 – 2020 Ngành: Cơng nghệ kỹ thuật Điện tử, truyền thông GVHD: ThS LÊ MINH THÀNH Tp Hồ Chí Minh, tháng năm 2021 an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* Tp Hồ Chí Minh, ngày 19 tháng năm 2021 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Minh Trường Hà Hữu Đạt MSSV: 16141089 MSSV: 16141014 Khóa: 2016 Lớp: 16141CLVTB Ngành: Công nghệ kỹ thuật Điện tử, truyền thông Giảng viên hướng dẫn: ThS Lê Minh Thành Ngày nhận đề tài: 15/10/2020 Ngày nộp đề tài: 20/01/2021 Tên đề tài: “THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH” Các số liệu, tài liệu ban đầu: - Tham khảo ý tưởng hệ thống Parking Guidance and Information báo “Real-time image-based parking occupancy detection using deep learning” Debaditya Acharya Weilin Yan - Chụp hình tham khảo bãi xe thực tế tòa nhà Nội dung thực đề tài: - Tìm hiểu mạng nơron tích chập ứng dụng mạng nơron tích chập - Thực mơ hình hệ thống thơng tin hướng dẫn đỗ xe Sản phẩm: - Mơ hình thi cơng - Phần mềm máy tính TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN i an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Nguyễn Minh Trường MSSV: 16141089 Họ tên Sinh viên: Hà Hữu Đạt MSSV: 16141014 Ngành: Công nghệ kỹ thuật Điện tử, Truyền thơng Tên đề tài: THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH Họ tên Giáo viên hướng dẫn: ThS Lê Minh Thành NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2021 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ii an CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Nguyễn Minh Trường MSSV: 16141089 Họ tên Sinh viên: Hà Hữu Đạt MSSV: 16141014 Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm:……………….(Bằng chữ: ) Tp Hồ Chí Minh, ngày tháng năm 2021 Giáo viên phản biện (Ký & ghi rõ họ tên) iii an LỜI CẢM ƠN Đầu tiên nhóm thực đề tài xin gửi lời cảm ơn đến Thầy Cô Khoa Điện- Điện Tử Khoa Đào Tạo Chất Lượng Cao tạo điều kiện tốt cho nhóm hồn thành đề tài Những kiến thức Thầy Cô dạy áp dụng vào đề tài Đồ Án Tốt Nghiệp nhiều, từ kiến thức nhỏ nhặt học lớn Đặc biệt nhóm gửi lời cảm ơn chân thành đến Thầy Lê Minh Thành tận tình hướng dẫn để nhóm hồn thành đề tài Tiếp theo nhóm xin cảm ơn gia đình tạo điều kiện, quan tâm ủng hộ nhóm khoảng thời gian học tập thực đồ án tốt nghiệp Nhóm xin cảm ơn tập thể bạn lớp 16141CL1 lớp 16141CL2 chia sẻ giúp đỡ nhiều để nhóm hồn thành đề tài Nhóm chân thành cảm ơn Sinh viên thực Nguyễn Minh Trường Hà Hữu Đạt i an TÓM TẮT Theo sau phát triển biến động vũ bão kinh tế, với tốc độ phát triển chóng mặt Khoa học – Kỹ thuật, ngày thành phố lớn mật độ số lượng xe ngày đơng Điều phần nói lên phát triển quốc gia ngược lại dẫn đến ô nhiễm môi trường, ùn tắc giao thông thiếu bãi đậu, đỗ xe cần giải Hiện nay, nước ta công nghệ AI IOT có phát triển vượt bậc thể tầm quan trọng lĩnh vực đời sống Ở thành phố lớn có lượng phương tiện di chuyển đông đúc nên đỗ xe vấn đề nan giải, để tránh tình trạng ùn tắc giao thông, số trung tâm thương mại lớn quan tâm đến vấn đề bãi đỗ xe áp dụng số mơ hình bãi đỗ xe thông minh Tuy nhiên, giải pháp số hạn chế đưa sử dụng Điều thúc đẩy nhóm thực đề tài “ Thiết kế mơ hình hệ thống hướng dẫn tài xế bãi xe thơng minh ” để tìm hướng giải tốt Sau trình tìm hiểu mạng nơron tích chập, ứng dụng mạng nơron tích chập vào tìm chỗ trống nhà xe Sau đó, hệ thống hiển thị kết lên hình laptop để hướng dẫn tài xế đến điểm đỗ xe Nhóm thực đề tài mơ hình bãi xe có 15 chỗ Do kiến thức cịn hạn chế chưa có kinh nghiệm thực tế việc xây dựng bãi xe nên mơ hình hệ thống cịn nhiều điểm thiếu sót Rất mong ủng hộ đóng góp Thầy Cơ bạn để đề tài phát triển tương lai ii an Mục lục DANH MỤC CÁC CHỮ VIẾT TẮT VI DANH MỤC CÁC BẢNG VII DANH MỤC CÁC HÌNH ẢNH VIII CHƯƠNG 1: TỔNG QUAN 1.1 TÌNH HÌNH NGHIÊN CỨU 1.2 MỤC TIÊU ĐỀ TÀI 1.3 GIỚI HẠN ĐỀ TÀI .2 1.4 BỐ CỤC ĐỀ TÀI CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ XỬ LÝ ẢNH 2.1.1 Giới thiệu 2.1.2 Các giai đoạn xử lý ảnh 2.1.3 Những khái niệm xử lý ảnh 2.2 TỔNG QUAN VỀ CÔNG NGHỆ AI 2.2.1 Giới thiệu 2.2.2 Một số ứng dụng AI đời sống 2.3 HỌC SÂU .9 2.4 MẠNG NƠRON TÍCH CHẬP 2.4.1 Tổng quan mạng nơron tích chập 2.4.2 Các lớp CNN 10 2.4.3 Cấu trúc CNN 13 2.5 MẠNG RESNET50 13 2.6 THUẬT TOÁN STOCHASTIC GRADIENT DESCENT 16 2.7 NGÔN NGỮ YAML 17 2.8 THƯ VIỆN KERAS 17 iii an 2.9 NGÔN NGỮ PYTHON 18 2.9.1 Giới thiệu 18 2.9.2 Các tính 19 2.9.3 Ứng dụng Python 19 2.10 THƯ VIỆN OPEN CV 20 2.10.1 Giới thiệu 20 2.10.2 Đặc điểm thư viện Open CV 21 2.11 HỆ THỐNG THÔNG TIN VÀ HƯỚNG DẪN ĐẬU XE PGI 21 2.12 TẬP DỮ LIỆU BÃI ĐẬU XE .23 2.13 TRÌNH SOẠN THẢO SUBLIME TEXT .24 2.13.1 Giới thiệu 24 2.13.2 Các tính 24 2.13.3 Sử dụng trình soạn thảo Sublime Text 25 2.14 COMMAND PROMPT 26 CHƯƠNG 3: THIẾT KẾ MƠ HÌNH HỆ THỐNG .28 3.1 YÊU CẦU VÀ SƠ ĐỒ KHỐI CỦA HỆ THỐNG 28 3.1.1 Yêu cầu hệ thống 28 3.1.2 Sơ đồ khối chức 28 3.1.3 Hoạt động hệ thống 29 3.2 THIẾT KẾ HỆ THỐNG PHẦN CỨNG 29 3.2.1 Khối Webcam 29 3.2.2 Khối xử lý trung tâm 30 3.2.3 Khối nguồn 31 3.2.4 Khối hiển thị 32 3.3 THIẾT KẾ PHẦN MỀM 32 3.3.1 Yêu cầu phần mềm 32 3.3.2 Lưu đồ giải thuật 32 iv an Bảng 4.2: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Bảng 4.3: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Ở bảng 4.1, 4.2, 4.3 quan sát tỉ lệ nhận dạng xác vị trí kế bên xe không cao hàng xa so với trí đặt webcam tỉ lệ sai cao Do nên dời góc đặt webcam lại gần so với điểm để đạt tỉ lệ nhận dạng cao muốn lắp đặt camera vị trí góc chéo 44 an - Đặt webcam góc quan sát nhìn ngang tới vị trí đỗ xe hình ảnh bãi xe thu hình 4.5 Khi góc quan sát tỉ lệ nhận dạng xác tương đối cao, nhiên xuất hình 4.10 bị xe bên cạnh ảnh hưởng tầm nhìn webcam Tuy nhiên điều cải thiện cách tăng chiều cao vị trí đặt camera di chuyển vị trí đặt camera điểm để hạn chế tình trạng Hình 4.10: Trường hợp nhận dạng sai đặt webcam góc quan sát Hình 4.11: Các vị trí nhận dạng đặt webcam góc quan sát 45 an Hình 4.12: Các vị trí nhận dạng thay đổi vị trí xe Bảng 4.4: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe 46 an Bảng 4.5: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Bảng 4.6: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Sau kiểm tra bảng 4.5, 4.6, 4.7 thấy góc quan sát tỉ lệ nhận dạng xác tương đối cao, bị ảnh hưởng xe bên cạnh Tuy nhiên xe cao làm nhận dạng sai trường hợp hình 4.10 47 an - Đặt webcam góc quan sát Khi đặt webcam có góc nhìn hình 4.6 hệ thống hoạt động với tỉ lệ nhận dạng xác cao Do vị trí đỗ xe khơng bị che khuất có xe Một số trường hợp nhận dạng vị trí đỗ xe mơ tả hình 4.13 hình 4.14 Hình 4.13: Các trường nhận dạng chỗ đỗ xe góc quan sát Hình 4.14: Một số trường hợp khác 48 an Bảng 4.7: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Bảng 4.8: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe 49 an Bảng 4.9: Kết hàng sau đặt webcam góc quan sát Vị trí nhận dạng                          Vị trí có xe Từ bảng 4.7, 4.8, 4.9 thấy đặt webcam góc quan sát hệ thống cho tỉ lệ nhận dạng xác cao Sau tổng kết trường hợp góc nhìn, để hệ thống nhận dạng với độ xác cao, sai sót nên lựa chọn góc đặt camera vị trí góc quan sát Để thấy rõ quan sát hình 4.15 vị trí thứ hàng góc quan sát cho kết nhận dạng sai kết nhận dạng góc quan sát Do định làm mơ hình đặt webcam góc quan sát Hình 4.15: So sánh kết nhận dạng góc quan sát 50 an  Trường hợp 2: Bãi xe hoạt động trường hợp có cường độ ánh sáng tốt vào ban ngày hệ thống chiếu sáng bãi xe cung cấp đầy đủ ánh sáng tới tất vị trí đỗ xe xe đậu bãi phải từ chỗ trở xuống Hình 4.16 mơ tả trường hợp bãi đỗ xe có điều kiện ánh sáng tốt, trường hợp tỉ lệ nhận dạng vị trí đỗ xe có độ xác cao Hình 4.16: Những trường hợp cường độ ánh sáng tốt  Trường hợp 3: Bãi xe hoạt động điều kiện ánh sáng bình thường có xe lớn so với quy định Ở nhóm dùng bệ đỡ để nâng chiều cao cho xe Hình 4.17: Trường hợp có xe cao so với bình thường 51 an Ở hình 4.17 quan sát xe vị trí thứ hàng cao quy định nên làm ảnh hưởng tới kết nhận dạng vị trí thứ hàng 2, hệ thống báo có xe Biện pháp để khắc phục vấn đề sửa góc quan sát camera cách dời camera lên vị trí cao để quan sát vị trí bị che xe bên cạnh rõ dời camera lại gần điểm bãi xe  Trường hợp 4: Bãi xe hoạt động điều kiện cường độ ánh sáng yếu vào ban đêm hay hầm giữ xe có hệ thống chiếu sáng khơng tốt Hình 4.18: Bãi xe vào ban đêm ánh sáng yếu Hình 4.19: Nhận dạng sai vào ban đêm 52 an Hình 4.18 mô tả giả định trường hợp ánh sáng cung cấp yếu, quan sát vị trí thứ hàng có xe tối xe màu tối làm cho khung hình sau cắt thu màu làm kết thu không tốt Trong trường hợp ánh sáng bãi xe cung cấp khơng tốt hệ thống hoạt động xuất nhiều trường hợp nhận dạng sai xuất hình 4.19 Hình 4.20: Dùng đèn để hỗ trợ Để khắc phục tình trạng ánh sáng yếu nên trang bị thêm hệ thống chiếu sáng từ cao xuống để hỗ trợ vị trí bãi xe ánh sáng cách hình 4.20 Hình 4.21 mô tả trường hợp cung cấp ánh sáng tốt cho mơ hình Hình 4.21: Bãi xe có ánh sáng hỗ trợ tốt 53 an Hình 4.22: Bóng xe xuất có đèn chiếu vào Hình 4.22 mơ tả giả định trường hợp bãi xe có ánh đèn xe vào bãi xe tạo bóng bãi xe xem xét Hệ thống xử lý bóng cho kết xác, nhiên có số trường hợp hệ thống nhận dạng sai Độ xác mơ hình bị ảnh hưởng nhiều yếu tố cường độ ánh sáng, xe phải có kích thước phù hợp với thiết kế bãi xe góc đặt camera phù hợp 54 an CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Qua đề tài “THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THƠNG MINH” nhóm thực nghiên cứu vấn đề sau:  Tìm hiểu mơ hình mạng nơron tích chập lý thuyết mạng ResNet 50 Tìm hiểu ngơn ngữ python, yaml để viết thành cơng chương trình để nhận diện chỗ trống  Hệ thống nhận dạng đạt độ xác cao điều kiện lý tưởng (góc đặt camera, cường độ ánh sáng ), phần mềm máy tính hoạt động tốt Do dùng laptop làm xử lý dùng tập liệu để huấn luyện xe thật nên áp dụng trực tiếp bãi xe nhỏ có trang bị camera máy tính  Mơ hình hệ thống thực đơn giản, dùng laptop kết nối với webcam thu hình ảnh trực tiếp bãi xe hiển thị lên hình để tài xế dễ quan sát, không cần dùng thêm thiết bị ngoại vi khác (cảm biến, đèn báo hiệu ) 5.2 HƯỚNG PHÁT TRIỂN Đề tài có tính ứng dụng cao nhiều dự án thực tế Nhưng số hạn chế định nên đề tài khuyến nghị phát triển theo lưu ý sau:  Áp dụng Raspberry Pi để chạy chương trình, từ Raspberry Pi liên kết với thiết bị ngoại vi (led đơn, led đoạn, led ma trận ) để hướng dẫn tài xế cách nhanh thay cho biển dẫn thủ cơng nhà xe Ngồi với bãi xe nhỏ, dùng Raspberry Pi giảm thiểu chi phí xây dựng  Phát triển chương trình nhận biết vị trí đỗ xe bãi thông qua vạch phân cách ô để xác định vị trí bãi xe mà khơng cần đến can thiệp người tránh gây nhiều thời gian Hệ thống tự tính tốn khoảng cách từ vị trí lối vào đến chỗ trống, đưa kết luận vị trí trống gần hướng dẫn tài xế chạy đến  Nghiên cứu tìm hiểu mơ hình hiệu để huấn luyện cho kết tốt Cập nhật tình trạng bãi xe lên Web Server để quan sát nhà đặt chỗ trước Kết nối camera lại với để áp dụng cho bãi xe lớn 55 an TÀI LIỆU THAM KHẢO [1] Nguyễn Đông, “Bãi đỗ xe tầng Đà Nẵng”, Available: (12/10/2019) https://vnexpress.net/ [2] Nguyễn Quang Hoan (2006), “ Xử lý ảnh”, Học viện cơng nghệ bưu viễn thơng [3] Nguyễn Thanh Hải (2014) , “Giáo Trình Xử lý ảnh”, NXB ĐHQG TP.HCM [4] Huỳnh Việt,“Tìm hiểu mạng nơron tích chập”, Available: http://thanhvie.com/ (4/8/2020) [5] Báo cáo tiểu luận môn học, “Khai phá liệu”, Đại học Quốc gia Hà Nội [6] Hữu Tiệp, “Gradient Descent”, Available: https://machinelearningcoban.com/ (16/01/2017) [7] Phạm Minh Tuấn, “YAML bản”, Available: http://tuanpm.tech/ (29/05/2017) [8] Thor Pham Blog, “Tìm hiểu thư viện keras deep learning”, Available: https://thorpham.github.io/ (25/05/2018) [9] Dương Nguyễn, “Python gì? Tại nên chọn Python?”, Available: https://quantrimang.com/ (14/09/2020) [10] Nguyễn Phương Loan, “Tìm hiểu OpenCV”, Available: https://viblo.asia/ (3/7/2017) [11] Chaupm, “Sublime text gì? Hướng dẫn cài đặt hệ điều hành”, Available: https://bizflycloud.vn/ (14/12/2018) [12] Ifu Aniemeka , “A Friendly Introduction to Convolutional Neural Networks”, Available: https://hashrocket.com/ (22/08/2017) [13] Debaditya Acharya, Weilin Yan and Kourosh Khoshelham, “ Real-time image based parking occupancy detection using deep learning ”, in Proc of the 5th Annual Conference of Research [14] Paulo Almeida, Luiz S Oliveira, Alceu S Britto Jr, Eunelson J Silva Jr, Koerich “ PKLot - A Robust Dataset for Parking Lot Classification ”, Available: (02/2015) https://researchgate.net/ 56 an 57 an S an K L 0 ... thúc đẩy để làm đề tài ? ?Thiết kế mơ hình hệ thống hướng dẫn tài xế bãi xe thông minh? ?? Đề tài ? ?Thiết kế mô hình hệ thống hướng dẫn tài xế bãi xe thơng minh? ?? đề tài nóng tình trạng xe ô tô ngày nhiều... Công nghệ kỹ thuật Điện tử, Truyền thông Tên đề tài: THIẾT KẾ MƠ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH Họ tên Giáo viên hướng dẫn: ThS Lê Minh Thành NHẬN XÉT Về nội dung đề tài. .. 15/10/2020 Ngày nộp đề tài: 20/01/2021 Tên đề tài: “THIẾT KẾ MÔ HÌNH HỆ THỐNG HƯỚNG DẪN TÀI XẾ TRONG BÃI XE THÔNG MINH? ?? Các số liệu, tài liệu ban đầu: - Tham khảo ý tưởng hệ thống Parking Guidance