(Đồ án hcmute) ứng dụng thị giác máy tính vào hệ thống lái xe tiên tiến adas

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT MÁY TÍNH ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO HỆ THỐNG LÁI XE TIÊN TIẾN ADAS GVHD: TS TRẦN VŨ HOÀNG SVTH: NGUYỄN ANH VŨ VÕ VĂN QUÝ S K L0 Tp Hồ Chí Minh, 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH ĐỀ TÀI: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO HỆ THỐNG LÁI XE TIÊN TIẾN ADAS GVHD: TS TRẦN VŨ HOÀNG SVTH: NGUYỄN ANH VŨ MSSV: 18119135 VÕ VĂN QUÝ MSSV: 18119112 TP Hồ Chí Minh, tháng năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT MÁY TÍNH ĐỀ TÀI: ỨNG DỤNG THỊ GIÁC MÁY TÍNH VÀO HỆ THỐNG LÁI XE TIÊN TIẾN ADAS GVHD: TS TRẦN VŨ HOÀNG SVTH: NGUYỄN ANH VŨ MSSV: 18119135 VÕ VĂN QUÝ MSSV: 18119112 TP Hồ Chí Minh, tháng năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP I LỜI CẢM ƠN Khi thực đề tài tốt nghiệp này, thời gian mà chúng em kết thúc quãng đường học tập trường Trong thời gian qua, nhà trường thầy cô tạo điều kiện tối đa giúp chúng em học tập, tìm tịi truyền đạt tất kiến thức vơ quý báu đến chúng em Với đồ án tốt nghiệp này, đánh dấu chặng đường ý nghĩa đời sinh viên, sau khoảng thời gian học tập chúng em trường Qua đây, nhóm chúng em xin gửi lời cảm ơn sâu sắc đến thầy cô, bạn bè đồng hành suốt bốn năm học tập Nhóm chúng em xin gửi lời cảm ơn sâu sắc đến thầy TS Trần Vũ Hồng, tận tình hướng dẫn, bảo đồng hành nhóm suốt thời gian vừa qua để giúp nhóm chúng em hồn thành khố luận tốt nghiệp Cuối cùng, chúng xin dành lời cảm ơn chân thành đến cha, mẹ - người đồng hành với suốt quãng thời gian học tập trường Chúng em xin chân thành cảm ơn! Nhóm sinh viên thực Võ Văn Quý Nguyễn Anh Vũ II TÓM TẮT Tại Việt Nam, với phát triển vượt bậc phương tiện giao thông, số vụ tai nạn giao thông người điều khiển xe tập trung gây lệch làn, ngủ gật, va chạm,… dẫn đến tai nạn phương tiện ngày gia tăng Để giảm thiểu điều này, Advanced Driver Assistance Systems (ADAS) đời để hỗ trợ tài xế lái xe an toàn thuận tiện hơn, bao gồm nhiều cảm biến camera giám sát Trong luận văn này, ứng dụng thị giác máy tính vào ADAS để xây dựng mơ hình mạng đa tác vụ có khả nhận diện đồng thời phương tiện đường, thay sử dụng cảm biến để nhận diện thường tích hợp hệ thống ADAS gây tốn chi phí Dữ liệu đầu vào video từ camera hành trình gắn đầu xe, sau áp dụng phương pháp xử lý ảnh để đưa cảnh báo lệch đường cảnh báo va chạm Ngoài ra, xây dựng thêm chức cảnh báo ngủ gật cho tài xế cách sử dụng camera để quan sát phát thay đổi khuôn mặt mà không cần tác động lên thể tài xế Trong luận văn này, chúng tơi cố gắng tìm thuật toán nhằm đáp ứng yêu cầu độ xác, tốc độ xử lý nhanh, hệ thống đơn giản mang lại hiệu cao nhằm đáp ứng nhu cầu thực tiễn Tuy nhiên, tập trung vào giải thuật, không thực sản phẩm phần cứng áp dụng thực tế, thực nghiệm đánh giá hệ thống sử dụng liệu từ camera máy tính, video Internet Đối với hệ thống cảnh báo lệch đường đạt độ xác cao lên đến 93% hệ thống cảnh báo va chạm có độ xác tuyệt đối 100% điều kiện thời tiết môi trường khác Đối với hệ thống cảnh báo ngủ gật phát khn mặt trực diện vào camera, góc nghiêng mặt khơng q 30 độ, hoạt động khoảng cách 1,2m đạt độ xác 100% mơi trường có ánh sáng đầy đủ III MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP I LỜI CẢM ƠN II TÓM TẮT III DANH MỤC CÁC TỪ VIẾT TẮT VII DANH MỤC CÁC HÌNH ẢNH VIII DANH MỤC CÁC BẢNG BIỂU XI CHƯƠNG 1: GIỚI THIỆU 1.1 Giới thiệu đề tài 1.2 Tình hình nghiên cứu 1.3 Mục tiêu đề tài 1.4 Giới hạn đề tài 1.5 Bố cục báo cáo CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Multitask Learning 2.1.1 Khái niệm Multitask Learning 2.1.2 Kiến trúc thuật toán Multitask Learning 2.1.3 Lợi ích Multitask Learning 2.1.4 Sử dụng Multitask Learning mạng nơ-ron 2.1.4.1 Hard Parameter Sharing 2.1.4.2 Soft Parameter Sharing 2.2 Kiến trúc mạng HybridNets 2.3 Sử dụng mạng EfficientNet làm mạng Backbone 2.3.1 Giới thiệu EfficientNet 2.3.2 Kiến trúc mạng sở EfficientNet-B0 2.3.3 Phương pháp mở rộng mơ hình mạng nơ-ron 10 2.4 Sử dụng mạng BiFPN làm mạng Neck 11 2.4.1 Mạng kim tự tháp đặc trưng hai hướng BiFPN 11 2.4.2 Kiến trúc EfficientDet 13 2.5 Detection Head 14 2.5.1 Sử dụng Anchor Box để phát đối tượng 14 IV 2.6 Segmentation Head 15 2.7 Loss Function 16 2.8 Giải thuật Facial Landmark 17 2.8.1 Giới thiệu Facial Landmark 17 2.8.2 Giới thiệu phát 68 điểm mốc khuôn mặt Dlib 18 2.9 Giải thuật Adaboost 18 2.9.1 Đặc trưng Haar-Like 18 2.9.2 Adaboost 20 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 22 3.1 Yêu cầu thiết kế 22 3.2 Sơ đồ khối tổng thể hệ thống 22 3.3 Thiết kế hệ thống cảnh báo lệch va chạm 23 3.3.1 Thiết kế hệ thống đa tác vụ 23 3.3.1.1 Lựa chọn mạng đa tác vụ 23 3.3.1.2 Kiến trúc mạng đa tác vụ HybridNets 24 3.3.2 Hệ thống cảnh báo lệch 26 3.3.3 Hệ thống cảnh báo va chạm 28 3.4 Thiết kế hệ thống cảnh báo ngủ gật 30 3.4.1 Các phương pháp cảnh báo ngủ gật 30 3.4.2 Sơ đồ khối hệ thống cảnh báo ngủ gật 32 3.4.2.1 Ảnh từ Camera 32 3.4.2.2 Tiền xử lý 33 3.4.2.3 Nhận diện khuôn mặt 33 3.4.2.4 Đánh dấu cấu trúc khuôn mặt dùng giải thuật Facial Landmark 34 3.4.2.5 Trích xuất mắt, miệng 35 3.4.2.6 Tính tốn tỷ lệ nhắm/ mở mắt, tỷ lệ mở miệng 35 3.4.2.7 Phát trạng thái ngủ gật 36 3.4.2.8 Phát cảnh báo 37 CHƯƠNG 4: KẾT QUẢ THỰC HIỆN VÀ ĐÁNH GIÁ 38 4.1 Môi trường đánh giá 38 4.2 Tập liệu 38 4.3 Các phương pháp đánh giá kết 38 V 4.4 Đánh giá kết nhiệm vụ 39 4.4.1 Kết nhiệm vụ cảnh báo lệch đường 39 4.4.2 Kết nhiệm vụ cảnh báo va chạm 43 4.4.3 Kết hệ thống cảnh báo ngủ gật 46 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56 5.1 Kết luận 56 5.2 Hạn chế 56 5.3 Hướng phát triển 56 TÀI LIỆU THAM KHẢO 57 VI DANH MỤC CÁC TỪ VIẾT TẮT Các từ Nghĩa tiếng Anh Nghĩa tiếng Việt viết tắt ADAS Advanced Driver Assistance System Hệ thống hỗ trợ lái xe tiên tiến CNN Convolutional neural network Mạng nơ-ron tích chập FPOPS Floating Point Operations Per Second Nổi điểm hoạt động giây IDE Integrated Development Environment Môi trường phát triển tích hợp DLib Library for Machine Learning Thư viện cho học máy PANet Path Aggregation Network Mạng tổng hợp đường dẫn Local Binary Pattern Mẫu nhị phân cục LBP VII Bảng 4.3 Kết thực nghiệm góc độ Số lần không ngủ gật không cảnh báo (Total sample) (TP) Số lần không nhận diện mắt, miệng Góc nghiêng > 300 20 20 0 Góc nghiêng