(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe

(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe(Đồ án tốt nghiệp) Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU HỆ THỐNG CẢNH BÁO NGỦ GẬT VÀ MẤT TẬP TRUNG CHO NGƯỜI LÁI XE SVTH: ĐỖ VĂN LINH MSSV: 13145140 GVHD: TS LÊ THANH PHÚC Tp Hồ Chí Minh, ngày 19 tháng 01 năm 2018 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: Công nghệ Kỹ thuật ô tô NGHIÊN CỨU HỆ THỐNG CẢNH BÁO NGỦ GẬT VÀ MẤT TẬP TRUNG CHO NGƯỜI LÁI XE SVTH: ĐỖ VĂN LINH MSSV: 13145140 GVHD: TS LÊ THANH PHÚC Tp Hồ Chí Minh, ngày 19 tháng 01 năm 2018 LỜI CẢM ƠN Sau năm theo học ngành Cơng nghệ Kỹ thuật Ơ tô trường Đại học Sư Phạm Kỹ Thuật, em xin gửi lời cảm ơn đến toàn thể giáo viên Khoa Cơ Khí Động Lực tận tình diều dắt hướng dẫn cho em để bước hoàn thiện thân để trở thành kỹ sư góp phần cho phát triển xã hội Ngày hôm để tổng kết trình năm học, em chọn đề tài lựa chọn đánh dấu hướng thời gian tới bước khỏi cánh cổng trường đại học Vì em xin gửi tới q thầy kính trọng lòng biết ơn sâu sắc người thực đề tài Em xin chân thành cảm ơn thầy Lê Thanh Phúc tận tình hướng dẫn, cung cấp tài liệu dạy suốt trình học tập trình thực đề tài để nhóm thực hồn tất đề tài này, đồng thời người thầy giúp em định hướng có đam mê với lĩnh vực cơng nghệ đại ngành ô tô Xin chân thành cảm ơn quý thầy cô trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, đặc biệt quý thầy Bộ mơn Điện tử Ơ Tơ, Khoa Cơ khí Động Lực tận tình dẫn, tạo tiền đề để sinh viên thực nghiên cứu công nghệ ứng dụng ngành kỹ thuật ô tô, trực tiếp giúp đỡ tạo điều kiện cho sinh viên làm việc môi trường tốt suốt trình thực đề tài Xin chân thành cảm ơn! Sinh viên thực đề tài Đỗ Văn Linh TÓM TẮT Vấn đề nghiên cứu Đối với việc thực đề tài thuộc lĩnh vực an tồn tiện nghi xe tơ, cụ thể hệ thống cảnh báo ngủ gật tập trung cho người lái xe người thực cần hiểu tầm quan trọng hệ thống, yêu cầu tối thiểu để hệ thống chạy ổn định hỗ trợ tốt cho người lái xe Từ tạo sở để phát triển thành hệ thống hồn chỉnh Hướng tiếp cận Để tiếp cận thực đề tài, người thực tham khảo lý thuyết nhận diện khuôn mặt ứng dụng nhận diện khuôn mặt nước tiên tiến, video hệ thống cảnh báo ngủ gật hãng xe hạng sang BMW, Audi… Phải nghiên cứu, tổng hợp nắm rõ số liệu thống kê vụ tai nạn giao thông nguyên nhân dẫn đến tai nạn giao thơng ngồi nước Nghiên cứu sở lý thuyết nhận diện khn mặt, phần mềm lập trình LabVIEW Xử lý ảnh để thực Cách giải vấn đề - Nghiên cứu lập trình LabVIEW nhận diện khn mặt - Lập trình nhận diện khn mặt kết hợp yếu tố cần thiết chạy xe - Tìm hiểu, thu thập tài liệu Internet, thơng tin liên quan để lập trình hệ thống - Tổng hợp thiết kế mơ hình demo cho hệ thống Kết thu - mơ hình demo cho hệ thống lắp đặt thử nghiệm trực tiếp xe - Tài liệu nghiên cứu trình thực đề tài MỤC LỤC Trang LỜI CẢM ƠN .6 TÓM TẮT MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU .10 DANH MỤC CÁC HÌNH 11 DANH MỤC CÁC BẢNG 13 CHƯƠNG 1: TỔNG QUAN 14 1.1 Lý chọn đề tài 14 1.2 Đối tượng phạm vi sử dụng 14 1.3 Phân tích đánh giá nghiên cứu tác giả ngồi nước có liên quan đến đề tài 15 1.4 Những vấn đề tồn hướng khắc phục 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16 2.1 Cơ sở lý thuyết, lý luận, giải thiết khoa học 16 2.1.1 Cơ sở lý thuyết, lý luận 16 2.1.2 Giả thiết khoa học 16 2.2 Phương pháp nghiên cứu 16 2.2.1 Lý thuyết LabVIEW 16 2.2.2 Các ứng dụng LabVIEW 19 2.3 Xử lý ảnh – Những vấn đề xử lý ảnh 22 2.3.1 Xử lý ảnh gì? 22 2.3.2 Những vấn đề xử lý ảnh 23 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 26 NHẬN DẠNG KHUÔN MẶT 26 3.1 Phần cứng cần chuẩn bị 26 3.2 Các giai đoạn nhận dạng khuôn mặt cảnh báo buồn ngủ 29 3.3 Kết sau thực nghiệm 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 44 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể ……………………………………………………………………………….…………44 4.2 Thí nghiệm với vận tốc xe độ dao động xe 44 4.3 Thí nghiệm với nhiều khn mặt khác nhau, đảm bảo nhận dạng .45 CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ .46 5.1 Kết luận 46 5.2 Kiến nghị 47 DANH MỤC TÀI LIỆU THAM KHẢO 48 DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU STT Từ viết tắt ABS AI ESP LabVIEW OpenCV Pixel VAMA Tiếng Anh Anti-Locking Brake System Artificial intelligence Electronic Stability Program Laboratory Virtual Instrumentation Engineering Workbench Open Source Computer Vision Library Picture element Vietnam Automobile Manufacturers Association 10 Tiếng Việt Hệ thống chống bó cứng phanh Trí tuệ nhân tạo Hệ thống điện tử Công cụ kỹ thuật ảo cho phịng thí nghiệm Thư viện quan sát mở cho máy tính Điểm ảnh Hiệp hội nhà sản xuất ô tô Việt Nam DANH MỤC CÁC HÌNH Hình 2.1 Giao diện LabVIEW Hình 2.2 Giao diện làm việc code LabVIEW Hình 2.3 Các hàm tính tốn LabVIEW Hình 2.4 Các hàm so sánh LabVIEW Hình 2.5 LabVIEW thu thập liệu ngành tơ Hình 2.6 Ứng dụng LabVIEW ngành hàng khơng – vũ trụ Hình 2.7 Ứng dụng LabVIEW cơng nghiệp tự động Hình 2.8 Ứng dụng LabVIEW kỹ thuật Robotics Hình 2.9 Ứng dụng LabVIEW giao thơng vận tải Hình 2.10 Quy trình xử lý ảnh Hình 2.11 Cấu trúc xử lý ảnh LabVIEW Hình 3.1 Camera Logitech Hình 3.2 Máy tính nhúng Intel Inside Hình 3.3 Loa Bluetooth Suntek JC-170 Hình 3.4 Pin sạc dự phịng Hình 3.5 Hộp đựng sản phẩm Hình 3.6 Code ghi hình xử lý ảnh Hình 3.7 Hình ảnh trước xử lý Hình 3.8 Hình ảnh sau xử lý Hình 3.9 Nhận diện khn mặt- mắt Hình 3.10 Xe vào cổng Hình 3.11 Xe quay đầu Hình 3.12 Giao diện hiển thị hình Hình 3.13 Đồng hồ mơ điều chỉnh tốc độ xe Hình 3.14 Một phần code xử lý tín hiệu Hình 3.15 Code xử lý nhận diện mặt – mắt Hình 3.16 Code overlay mặt – mắt 11 Hình 3.17 Code xử lý thời gian nhắc nhở lái xe Hình 3.18 Code quy định thời gian buồn ngủ theo tốc độ Hình 3.19 Code xử lý thời gian buồn ngủ Hình 3.20 Bản demo sản phẩm hồn chỉnh Hình 3.21 Thử nghiệm hệ thống xe tải 12 DANH MỤC CÁC BẢNG Bảng 4.1 Bảng kết thử nghiệm với độ chói sáng khác ngày Bảng 4.2 Bảng kết thử nghiệm với vận tốc độ dao động xe Bảng 4.3 Bảng thử nghiệm với nhiều khuôn mặt khác góc quay khác 13 Hình 3.13 Đồng hồ mơ điều chỉnh tốc độ xe 35 Hình 3.14 Một phần code xử lý tín hiệu Hình 3.14 code xử lý tín hiệu sau nhận diện khuôn mặt mắt Phần code xử lý kiểm tra xem người lái xe có buồn ngủ hay tập trung lái xe hay không để phát âm cảnh báo cho phù hợp 36 Hình 3.15 Code xử lý nhận diện mặt – mắt Hình 3.15 code dùng để xử lý nhận diện mặt mắt Phần code thực cách xác định tọa độ điểm khn mặt, vị trí mắt, mũi, miệng ,cằm, trán từ xác định khích thước khn mặt xác định tọa độ mắt người Sau đoạn code phát mắt đưa tọa độ điểm ảnh tròng mắt xác định phần trăm màu để để biết người lái xe có buồn ngủ hay khơng Nếu phần trăm trịng trắng nhỏ mức cho phép đen toàn việc nhận diện khơng đưa thơng số để nhận điện 37 Hình 3.16 Code overlay mặt – mắt Sau trình nhận dạng mặt mắt, tọa độ điểm ảnh đường biên khuôn mặt, tọa độ mắt đưa qua xử lý để khoanh vùng hiển thị lên hình Đối với mặt xác định tâm khuôn mặt, đoạn code tạo hình vng lấy giá trị tâm để làm tọa độ để di chuyển hình vng theo mặt Đối với mắt việc thay đổi hình vng hình trịn Đoạn code nhận tọa độ tâm khuôn mặt mắt để khoanh vùng hiển thị 38 Hình 3.17 Code xử lý thời gian nhắc nhở lái xe Hình 3.17 code dùng để nhắc nhở báo người lái xe Code tính thời gian từ lúc hệ thống bắt đầu khởi động xe bắt đầu có chuyển động ghi nhận thời gian để tính Sau thời gian xe chạy so với thời gian ghi nhận ban đầu đủ đồng hồ hệ thống phát âm nhắc nhở Nếu sau hệ thống nhắc nhở dừng để nghỉ ngơi mà người lái xe không dừng xe tiếp tục chạy sau hệ thống phát lại âm nhắc nhở co người lái xe 39 Hình 3.18 Code quy định thời gian buồn ngủ theo tốc độ Hình 3.18 code dùng để điều chỉnh thời gian nhắm mắt theo tốc độ xe Code đưa khoảng vận tốc như: 20km/h, từ 20 đến 45km/h, từ 45 đến 60km/h, từ 60km/h đến 80km/h vận tốc lớn 80km/h để chọn giá trị thời gian buồn ngủ cho phù hợp 40 Hình 3.19 Code xử lý thời gian buồn ngủ Hình 3.19 thuật toán xử lý thời gian Code so sánh thời gian nhắm mắt quay đầu hướng khác để xác định có phải người lái xe có buồn ngủ hay tập trung hay không Nếu thời gian nhắm mắt người lái xe thời gian cho phép ứng với vận tốc xe hệ thống cảnh báo buồn ngủ, người lái xe ngủ gật lần liên tiếp phút hệ thống nhận biết mức độ buồn ngủ tài xế mức báo động phát tiếng còi hú báo động dừng se khẩn cấp Nếu người lái xe buồn ngủ lần sau phút hệ thống khơng phát có tình trạng người lái xe buồn ngủ hệ thống tự động thiết lập lại trạng thái ban đầu Đối với việc cảnh báo tập trung, hệ thống kiểm tra thời gian mà người lái xe quay đầu hướng khác, thời gian dành cho việc tập trung lớn giây Và việc cảnh báo tập trung khơng có âm cảnh báo khẩn cấp 41 Giai đoạn Lập trình âm cảnh báo, kết nối loa với hệ thống, đóng gói phần mềm thành file exe, tiến hành cài đặt máy tính nhúng kết nối phần cứng thành sản phẩn demo hồn chỉnh Hình 3.20 Bản demo sản phẩm hoàn chỉnh 42 3.3 Kết sau thực nghiệm Kết thực nghiệm sau hồn thành demo có sai số khơng đáng kể môi trường khác Với trường hợp ánh sáng ổ định hệ thống chạy có lỗi xảy Nguyên nhân thứ xảy lỗi xe chạy với độ dồng sốc cao làm cho camera bị rung không bắt hình ảnh Nguyên nhân thứ ánh sáng mặt trời chiếu thẳng vào khoang lái làm cho camera bắt không rõ Nguyên nhân thứ xe người lái xe đeo kính đen khiến hệ thống khơng nhận diện mắt Hình 3.21 Thử nghiệm hệ thống xe tải 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể Bảng 4.1 Bảng kết thử nghiệm với độ chói sáng khác ngày (5 lần thử nghiệm) Thử nghiệm Ngủ gật Mất tập trung Ánh sáng trực Ánh sáng giáng Ánh sáng trực Ánh sáng giáng tiếp * tiếp ** tiếp tiếp 3/5 *** 5/5 4/5 5/5 Buổi sáng 4/5 5/5 4/5 5/5 Buổi chiều 5/5 5/5 5/5 5/5 Buổi tối( có đèn) Khơng nhận Không nhận Không nhận Không nhận Buổi tối( không diện **** diện diện diện đèn) *: ánh sáng chiếu trực tiếp vào cabin xe đến mặt người **: ánh sáng không chiếu trực tiếp vào cabin xe đến mặt người ***: số lần thử nghiệm tổng số lần thử nghiệm ****: Camera thử nghiệm không hỗ trợ quan sát ban đêm khơng có chiếu sáng 4.2 Thí nghiệm với vận tốc xe độ dao động xe Bảng 4.2 Bảng kết thử nghiệm với vận tốc độ dao động xe (5 lần thử nghiệm) Thử nghiệm Ngủ gật Dao động Dao động nhiều 0/5 * 0/5 Mất tập trung Dao động Dao động nhiều 0/5 0/5 Vận tốc