Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT Ô TÔ NGHIÊN CỨU HỆ THỐNG CẢNH BÁO NGỦ GẬT VÀ MẤT TẬP TRUNG CHO NGƯỜI LÁI XE GVHD : SVTH : TS LÊ THANH PHÚC ĐỖ VĂN LINH 13145140 SKL007900 Tp Hồ Chí Minh, tháng 01/2018 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP NGHIÊN CỨU HỆ THỐNG CẢNH BÁO NGỦ GẬT VÀ MẤT TẬP TRUNG CHO NGƯỜI LÁI XE SVTH: ĐỖ VĂN LINH MSSV: 13145140 GVHD: TS LÊ THANH PHÚC Tp Hồ Chí Minh, ngày 19 tháng 01 năm 2018 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠ KHÍ ĐỘNG LỰC ĐỒ ÁN TỐT NGHIỆP Chuyên ngành: Công nghệ Kỹ thuật ô tô NGHIÊN CỨU HỆ THỐNG CẢNH BÁO NGỦ GẬT VÀ MẤT TẬP TRUNG CHO NGƯỜI LÁI XE SVTH: ĐỖ VĂN LINH MSSV: 13145140 GVHD: TS LÊ THANH PHÚC Tp Hồ Chí Minh, ngày 19 tháng 01 năm 2018 TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP HỒ CHÍ MINH Độc Lập – Tự Do – Hạnh Phúc KHOA CƠ KHÍ ĐỘNG LỰC TP Hồ Chí Minh, ngày 19 tháng 10 năm 2018 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: ĐỖ VĂN LINH Chuyên ngành: Công nghệ kỹ thuật ô tô Mã ngành đào tạo: 52510205 Hệ đào tạo: Đại trà Mã hệ đào tạo: 52510205D Khóa: 2013-2017 Lớp: MSSV: 13145140 131451C Tên đề tài Nghiên cứu hệ thống cảnh báo ngủ gật tập trung cho người lái xe Nhiệm vụ đề tài - Nghiên cứu tài liệu - Nghiên cứu nhận diện khuôn mặt xử lý ảnh - Lập trình hệ thống - Chạy demo hệ thống” Nghiên cứu hệ thống cảnh báo ngủ gật tập trung cho người lái xe” Sản phẩm đề tài - Tài liệu thuyết trình hệ thống - Bài báo cáo hệ thống - Mô hình demo hệ thống Ngày giao nhiệm vụ đề tài: 20-10-2017 Ngày hoàn thành nhiệm vụ: 9-01-2018 TRƯỞNG BỘ MÔN CÁN BỘ HƯỚNG DẪN TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP HỒ CHÍ MINH Độc Lập – Tự Do – Hạnh Phúc KHOA CƠ KHÍ ĐỘNG LỰC TP Hồ Chí Minh, ngày 19 tháng 01 năm 2018 XÁC NHẬN HOÀN THÀNH ĐỒ ÁN Tên đề tài: Nghiên cứu hệ thống cảnh báo ngủ gật tập trung cho người lái xe Họ tên sinh viên: Đỗ Văn Linh MSSV: 13145140 Ngành đào tạo: Công nghệ Kỹ thuật Ơ tơ Sau tiếp thu điều chỉnh theo góp ý Giảng viên hướng dẫn, Giảng viên phản biện thành viên Hội đồng bảo vệ Đồ án tốt nghiệp hoàn chỉnh theo yêu cầu nội dung hình thức Chủ tịch Hội đồng: _ _ Giảng viên hướng dẫn: _ _ Giảng viên phản biện: _ LỜI CẢM ƠN Sau năm theo học ngành Công nghệ Kỹ thuật Ơ tơ trường Đại học Sư Phạm Kỹ Thuật, em xin gửi lời cảm ơn đến tồn thể giáo viên Khoa Cơ Khí Động Lực tận tình diều dắt hướng dẫn cho em để bước hoàn thiện thân để trở thành kỹ sư góp phần cho phát triển xã hội Ngày hơm để tổng kết q trình năm học, em chọn đề tài lựa chọn đánh dấu hướng thời gian tới bước khỏi cánh cổng trường đại học Vì em xin gửi tới quý thầy kính trọng lịng biết ơn sâu sắc người thực đề tài Em xin chân thành cảm ơn thầy Lê Thanh Phúc tận tình hướng dẫn, cung cấp tài liệu dạy suốt trình học tập trình thực đề tài để nhóm thực hồn tất đề tài này, đồng thời người thầy giúp em định hướng có đam mê với lĩnh vực công nghệ đại ngành ô tô Xin chân thành cảm ơn quý thầy cô trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, đặc biệt quý thầy cô Bộ môn Điện tử Ơ Tơ, Khoa Cơ khí Động Lực tận tình dẫn, tạo tiền đề để sinh viên thực nghiên cứu công nghệ ứng dụng ngành kỹ thuật ô tô, trực tiếp giúp đỡ tạo điều kiện cho sinh viên làm việc mơi trường tốt suốt q trình thực đề tài Xin chân thành cảm ơn! Sinh viên thực đề tài Đỗ Văn Linh TÓM TẮT Vấn đề nghiên cứu Đối với việc thực đề tài thuộc lĩnh vực an toàn tiện nghi xe ô tô, cụ thể hệ thống cảnh báo ngủ gật tập trung cho người lái xe người thực cần hiểu tầm quan trọng hệ thống, yêu cầu tối thiểu để hệ thống chạy ổn định hỗ trợ tốt cho người lái xe Từ tạo sở để phát triển thành hệ thống hoàn chỉnh Hướng tiếp cận Để tiếp cận thực đề tài, người thực tham khảo lý thuyết nhận diện khuôn mặt ứng dụng nhận diện khuôn mặt nước tiên tiến, video hệ thống cảnh báo ngủ gật hãng xe hạng sang BMW, Audi… Phải nghiên cứu, tổng hợp nắm rõ số liệu thống kê vụ tai nạn giao thông nguyên nhân dẫn đến tai nạn giao thông nước Nghiên cứu sở lý thuyết nhận diện khn mặt, phần mềm lập trình LabVIEW Xử lý ảnh để thực Cách giải vấn đề - Nghiên cứu lập trình LabVIEW nhận diện khn mặt - Lập trình nhận diện khuôn mặt kết hợp yếu tố cần thiết chạy xe - Tìm hiểu, thu thập tài liệu Internet, thông tin liên quan để lập trình hệ thống - Tổng hợp thiết kế mơ hình demo cho hệ thống Kết thu - mơ hình demo cho hệ thống lắp đặt thử nghiệm trực tiếp xe - Tài liệu nghiên cứu trình thực đề tài MỤC LỤC Trang LỜI CẢM ƠN .6 TÓM TẮT MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU .10 DANH MỤC CÁC HÌNH 11 DANH MỤC CÁC BẢNG 13 CHƯƠNG 1: TỔNG QUAN 14 1.1 Lý chọn đề tài 14 1.2 Đối tượng phạm vi sử dụng 14 1.3 Phân tích đánh giá nghiên cứu tác giả nước có liên quan đến đề tài 15 1.4 Những vấn đề tồn hướng khắc phục 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16 2.1 Cơ sở lý thuyết, lý luận, giải thiết khoa học 16 2.1.1 Cơ sở lý thuyết, lý luận 16 2.1.2 Giả thiết khoa học 16 2.2 Phương pháp nghiên cứu 16 2.2.1 Lý thuyết LabVIEW 16 2.2.2 Các ứng dụng LabVIEW 19 2.3 Xử lý ảnh – Những vấn đề xử lý ảnh 22 2.3.1 Xử lý ảnh gì? 22 2.3.2 Những vấn đề xử lý ảnh 23 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 26 NHẬN DẠNG KHUÔN MẶT 26 3.1 Phần cứng cần chuẩn bị 26 3.2 Các giai đoạn nhận dạng khuôn mặt cảnh báo buồn ngủ 29 3.3 Kết sau thực nghiệm 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 44 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể ……………………………………………………………………………….…………44 4.2 Thí nghiệm với vận tốc xe độ dao động xe 44 4.3 Thí nghiệm với nhiều khn mặt khác nhau, đảm bảo nhận dạng .45 CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ .46 5.1 Kết luận 46 5.2 Kiến nghị 47 DANH MỤC TÀI LIỆU THAM KHẢO 48 Hình 3.13 Đồng hồ mơ điều chỉnh tốc độ xe 35 Hình 3.14 Một phần code xử lý tín hiệu Hình 3.14 code xử lý tín hiệu sau nhận diện khuôn mặt mắt Phần code xử lý kiểm tra xem người lái xe có buồn ngủ hay tập trung lái xe hay khơng để phát âm cảnh báo cho phù hợp 36 Hình 3.15 Code xử lý nhận diện mặt – mắt Hình 3.15 code dùng để xử lý nhận diện mặt mắt Phần code thực cách xác định tọa độ điểm khn mặt, vị trí mắt, mũi, miệng ,cằm, trán từ xác định khích thước khuôn mặt xác định tọa độ mắt người Sau đoạn code phát mắt đưa tọa độ điểm ảnh tròng mắt xác định phần trăm màu để để biết người lái xe có buồn ngủ hay khơng Nếu phần trăm tròng trắng nhỏ mức cho phép đen tồn việc nhận diện khơng đưa thơng số để nhận điện 37 Hình 3.16 Code overlay mặt – mắt Sau trình nhận dạng mặt mắt, tọa độ điểm ảnh đường biên khuôn mặt, tọa độ mắt đưa qua xử lý để khoanh vùng hiển thị lên hình Đối với mặt xác định tâm khn mặt, đoạn code tạo hình vng lấy giá trị tâm để làm tọa độ để di chuyển hình vng theo mặt Đối với mắt việc thay đổi hình vng hình trịn Đoạn code nhận tọa độ tâm khn mặt mắt để khoanh vùng hiển thị 38 Hình 3.17 Code xử lý thời gian nhắc nhở lái xe Hình 3.17 code dùng để nhắc nhở báo người lái xe Code tính thời gian từ lúc hệ thống bắt đầu khởi động xe bắt đầu có chuyển động ghi nhận thời gian để tính Sau thời gian xe chạy so với thời gian ghi nhận ban đầu đủ đồng hồ hệ thống phát âm nhắc nhở Nếu sau hệ thống nhắc nhở dừng để nghỉ ngơi mà người lái xe không dừng xe tiếp tục chạy sau hệ thống phát lại âm nhắc nhở co người lái xe 39 Hình 3.18 Code quy định thời gian buồn ngủ theo tốc độ Hình 3.18 code dùng để điều chỉnh thời gian nhắm mắt theo tốc độ xe Code đưa khoảng vận tốc như: 20km/h, từ 20 đến 45km/h, từ 45 đến 60km/h, từ 60km/h đến 80km/h vận tốc lớn 80km/h để chọn giá trị thời gian buồn ngủ cho phù hợp 40 Hình 3.19 Code xử lý thời gian buồn ngủ Hình 3.19 thuật tốn xử lý thời gian Code so sánh thời gian nhắm mắt quay đầu hướng khác để xác định có phải người lái xe có buồn ngủ hay tập trung hay không Nếu thời gian nhắm mắt người lái xe thời gian cho phép ứng với vận tốc xe hệ thống cảnh báo buồn ngủ, người lái xe ngủ gật lần liên tiếp phút hệ thống nhận biết mức độ buồn ngủ tài xế mức báo động phát tiếng còi hú báo động dừng se khẩn cấp Nếu người lái xe buồn ngủ lần sau phút hệ thống khơng phát có tình trạng người lái xe buồn ngủ hệ thống tự động thiết lập lại trạng thái ban đầu Đối với việc cảnh báo tập trung, hệ thống kiểm tra thời gian mà người lái xe quay đầu hướng khác, thời gian dành cho việc tập trung lớn giây Và việc cảnh báo tập trung khơng có âm cảnh báo khẩn cấp 41 Giai đoạn Lập trình âm cảnh báo, kết nối loa với hệ thống, đóng gói phần mềm thành file exe, tiến hành cài đặt máy tính nhúng kết nối phần cứng thành sản phẩn demo hồn chỉnh Hình 3.20 Bản demo sản phẩm hoàn chỉnh 42 3.3 Kết sau thực nghiệm Kết thực nghiệm sau hoàn thành demo có sai số khơng đáng kể mơi trường khác Với trường hợp ánh sáng ổ định hệ thống chạy có lỗi xảy Nguyên nhân thứ xảy lỗi xe chạy với độ dồng sốc cao làm cho camera bị rung khơng bắt hình ảnh Nguyên nhân thứ ánh sáng mặt trời chiếu thẳng vào khoang lái làm cho camera bắt không rõ Nguyên nhân thứ xe người lái xe đeo kính đen khiến hệ thống khơng nhận diện mắt Hình 3.21 Thử nghiệm hệ thống xe tải 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể Bảng 4.1 Bảng kết thử nghiệm với độ chói sáng khác ngày (5 lần thử nghiệm) Thử nghiệm Ngủ gật Mất tập trung Ánh sáng trực Ánh sáng giáng Ánh sáng trực Ánh sáng giáng tiếp * tiếp ** tiếp tiếp 3/5 *** 5/5 4/5 5/5 Buổi sáng 4/5 5/5 4/5 5/5 Buổi chiều 5/5 5/5 5/5 5/5 Buổi tối( có đèn) Khơng nhận Khơng nhận Khơng nhận Không nhận Buổi tối( không diện **** diện diện diện đèn) *: ánh sáng chiếu trực tiếp vào cabin xe đến mặt người **: ánh sáng không chiếu trực tiếp vào cabin xe đến mặt người ***: số lần thử nghiệm tổng số lần thử nghiệm ****: Camera thử nghiệm không hỗ trợ quan sát ban đêm khơng có chiếu sáng 4.2 Thí nghiệm với vận tốc xe độ dao động xe Bảng 4.2 Bảng kết thử nghiệm với vận tốc độ dao động xe (5 lần thử nghiệm) Thử nghiệm Ngủ gật Dao động Dao động nhiều 0/5 * 0/5 Mất tập trung Dao động Dao động nhiều 0/5 0/5 Vận tốc