Nghiên cứu hệ thống cảnh báo ngủ gật và mất tập trung cho người lái xe

TÓM TẮT Vấn đề nghiên cứu Đối với việc thực đề tài thuộc lĩnh vực an toàn tiện nghi xe ô tô, cụ thể hệ thống cảnh báo ngủ gật tập trung cho người lái xe người thực cần hiểu tầm quan trọng hệ thống, yêu cầu tối thiểu để hệ thống chạy ổn định hỗ trợ tốt cho người lái xe Từ tạo sở để phát triển thành hệ thống hoàn chỉnh Hướng tiếp cận Để tiếp cận thực đề tài, người thực tham khảo lý thuyết nhận diện khuôn mặt ứng dụng nhận diện khuôn mặt nước tiên tiến, video hệ thống cảnh báo ngủ gật hãng xe hạng sang BMW, Audi… Phải nghiên cứu, tổng hợp nắm rõ số liệu thống kê vụ tai nạn giao thông nguyên nhân dẫn đến tai nạn giao thơng ngồi nước Nghiên cứu sở lý thuyết nhận diện khuôn mặt, phần mềm lập trình LabVIEW Xử lý ảnh để thực Cách giải vấn đề - Nghiên cứu lập trình LabVIEW nhận diện khn mặt - Lập trình nhận diện khn mặt kết hợp yếu tố cần thiết chạy xe - Tìm hiểu, thu thập tài liệu Internet, thông tin liên quan để lập trình hệ thống - Tổng hợp thiết kế mơ hình demo cho hệ thống Kết thu - mơ hình demo cho hệ thống lắp đặt thử nghiệm trực tiếp xe - Tài liệu nghiên cứu trình thực đề tài MỤC LỤC Trang LỜI CẢM ƠN .6 TÓM TẮT MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU .10 DANH MỤC CÁC HÌNH 11 DANH MỤC CÁC BẢNG 13 CHƯƠNG 1: TỔNG QUAN 14 1.1 Lý chọn đề tài 14 1.2 Đối tượng phạm vi sử dụng 14 1.3 Phân tích đánh giá nghiên cứu tác giả ngồi nước có liên quan đến đề tài 15 1.4 Những vấn đề tồn hướng khắc phục 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16 2.1 Cơ sở lý thuyết, lý luận, giải thiết khoa học 16 2.1.1 Cơ sở lý thuyết, lý luận 16 2.1.2 Giả thiết khoa học 16 2.2 Phương pháp nghiên cứu 16 2.2.1 Lý thuyết LabVIEW 16 2.2.2 Các ứng dụng LabVIEW 19 2.3 Xử lý ảnh – Những vấn đề xử lý ảnh 22 2.3.1 Xử lý ảnh gì? 22 2.3.2 Những vấn đề xử lý ảnh 23 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 26 NHẬN DẠNG KHUÔN MẶT 26 3.1 Phần cứng cần chuẩn bị 26 3.2 Các giai đoạn nhận dạng khuôn mặt cảnh báo buồn ngủ 29 3.3 Kết sau thực nghiệm 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 44 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể ……………………………………………………………………………….…………44 4.2 Thí nghiệm với vận tốc xe độ dao động xe 44 4.3 Thí nghiệm với nhiều khuôn mặt khác nhau, đảm bảo nhận dạng .45 CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ .46 5.1 Kết luận 46 5.2 Kiến nghị 47 DANH MỤC TÀI LIỆU THAM KHẢO 48 DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÍ HIỆU STT Từ viết tắt ABS AI ESP LabVIEW OpenCV Pixel VAMA Tiếng Anh Anti-Locking Brake System Artificial intelligence Electronic Stability Program Laboratory Virtual Instrumentation Engineering Workbench Open Source Computer Vision Library Picture element Vietnam Automobile Manufacturers Association 10 Tiếng Việt Hệ thống chống bó cứng phanh Trí tuệ nhân tạo Hệ thống điện tử Công cụ kỹ thuật ảo cho phịng thí nghiệm Thư viện quan sát mở cho máy tính Điểm ảnh Hiệp hội nhà sản xuất tơ Việt Nam DANH MỤC CÁC HÌNH Hình 2.1 Giao diện LabVIEW Hình 2.2 Giao diện làm việc code LabVIEW Hình 2.3 Các hàm tính tốn LabVIEW Hình 2.4 Các hàm so sánh LabVIEW Hình 2.5 LabVIEW thu thập liệu ngành ô tô Hình 2.6 Ứng dụng LabVIEW ngành hàng khơng – vũ trụ Hình 2.7 Ứng dụng LabVIEW cơng nghiệp tự động Hình 2.8 Ứng dụng LabVIEW kỹ thuật Robotics Hình 2.9 Ứng dụng LabVIEW giao thơng vận tải Hình 2.10 Quy trình xử lý ảnh Hình 2.11 Cấu trúc xử lý ảnh LabVIEW Hình 3.1 Camera Logitech Hình 3.2 Máy tính nhúng Intel Inside Hình 3.3 Loa Bluetooth Suntek JC-170 Hình 3.4 Pin sạc dự phịng Hình 3.5 Hộp đựng sản phẩm Hình 3.6 Code ghi hình xử lý ảnh Hình 3.7 Hình ảnh trước xử lý Hình 3.8 Hình ảnh sau xử lý Hình 3.9 Nhận diện khn mặt- mắt Hình 3.10 Xe vào cổng Hình 3.11 Xe quay đầu Hình 3.12 Giao diện hiển thị hình Hình 3.13 Đồng hồ mơ điều chỉnh tốc độ xe Hình 3.14 Một phần code xử lý tín hiệu Hình 3.15 Code xử lý nhận diện mặt – mắt Hình 3.16 Code overlay mặt – mắt 11 Hình 3.17 Code xử lý thời gian nhắc nhở lái xe Hình 3.18 Code quy định thời gian buồn ngủ theo tốc độ Hình 3.19 Code xử lý thời gian buồn ngủ Hình 3.20 Bản demo sản phẩm hồn chỉnh Hình 3.21 Thử nghiệm hệ thống xe tải 12 DANH MỤC CÁC BẢNG Bảng 4.1 Bảng kết thử nghiệm với độ chói sáng khác ngày Bảng 4.2 Bảng kết thử nghiệm với vận tốc độ dao động xe Bảng 4.3 Bảng thử nghiệm với nhiều khn mặt khác góc quay khác 13 CHƯƠNG 1: TỔNG QUAN 1.1 Lý chọn đề tài Từ năm gần toàn giới nói chung Việt Nam nói riêng, ngành cơng nghiệp ô tô ngành phát triển với tốc độ chóng mặt Với thơng minh nhạy bén niềm yêu nghề sâu sắc, kỹ sư ô tô không ngừng nghiên cứu, thiết kế, chế tạo loại xe, vật liệu, công nghệ mới, tiên tiến đáp ứng nhu cầu người an toàn, tiện nghi, tiết kiệm nhiên liệu thân thiện với môi trường Trong xu phát triển ấy, ngày có nhiều trang thiết bị xe chế tạo điều khiển điện tử để đạt độ xác, an tồn cao hệ thống điều khiển phanh ABS, hệ thống cân điện tử ESP, hệ thống tự lái, tiết kiệm nhiên liệu Bên cạnh vấn đề an toàn cho người tâm phát triển hệ thống túi khí hệ thống báo khoảng cách an toàn, hệ thống tự đổ xe Theo Hiệp hội nhà sản xuất ô tô Việt Nam (VAMA), tổng lượng bán ôtô tháng 3/2017 26.872 xe, tăng 52% so với tháng trước tăng 8% so với kỳ năm ngoái Gộp chung lại Quý 1/2017, thị trường tiêu thụ 41.600 xe, tăng 8% so kỳ năm trước Trước tình hình tăng nhanh thị trường xe tơ Việt Nam kèm theo nhiều bất cập xã hội Theo nghiên cứu Trung tâm Nationnal Jewish Health, Mỹ, cho biết: “Thiếu ngủ nguyên nhân gây tai nạn giao thơng giới Ước tính khoảng 10-15% tai nạn xe có liên quan đến thiếu ngủ Nghiên cứu giấc ngủ người lái xe 19 quốc gia châu Âu cho thấy tỷ lệ buồn ngủ lái xe cao, trung bình 17% Trong 10,8% người buồn ngủ lái xe lần tháng, 7% gây tai nạn giao thông buồn ngủ, 18% xảy tai nạn buồn ngủ” Thực tế Việt Nam, theo thống kê tai nạn giao thông cục cảnh sát giao thơng cho biết tháng đầu năm 2015 có 12.910 vụ tai nạn giao thông, làm 5.167 người chết; 3.221 người bị thương nặng 8.263 người bị thương nhẹ Trong số tai nạn này, có nguyên nhân gây tai nạn người lái xe thiếu ngủ Ngồi ra, vụ tai nạn Việt Nam cịn có nguyên nhân khác người lái xe uống rượu, bia trước lái xe, người lái xe khơng tập trung Vì lý để góp phần vào việc giảm thiểu tai nạn giao thông người lái xe ngủ gật hay tập trung lái xe Người nghiên cứu nghiên cứu phát triển demo hệ thống kết hợp chức Đó lý người nghiên cứu muốn đề xuất đề tài “Nghiên cứu hệ thống cảnh báo ngủ gật tập trung cho người lái xe” 1.2 Đối tượng phạm vi sử dụng Sản phầm demo thiết bị ngoại vi gắn thêm vào xe, không can thiệp vào hệ thống xe có kích thước nhỏ gọn nên sử tất loại xe ô tô con, ô 14 tô tải, hay xe khách đường dài xe container Ngồi hệ thống kế nối với máy tính chủ thơng qua mạng Internet dùng việc kiểm tra người lái xe cho hãng xe, nhà xe lớn Taxi… 1.3 Phân tích đánh giá nghiên cứu tác giả ngồi nước có liên quan đến đề tài Hiện ngồi nước có nhiều nhóm nghiên cứu thực đề tài cảnh báo ngủ gật cho người lái xe ngôn ngữ lập trình khác Rasppery, C++, PyThon, OpenCV… nghiên cứu dừng lại mức độ chạy demo ban đầu chưa có hướng phát triển để sử dụng rộng rãi xe Ở hãng xe lớn Mercedes-Benz, BMW, Audi phát triễn hệ thống tương tự gắn xe từ nhiều năm trước hệ thống lại tích hợp vào với hệ thống xe nên khơng thể tách rời khó ứng dụng rộng rãi cho xe thương mại Toyota, Huyndai, KIA… đặt biệt xe khách chạy đường dài xe Container Việt Nam nước giới 1.4 Những vấn đề tồn hướng khắc phục Bản demo lập trình tảng phần mềm LabVIEW nên để hoạt động hệ thống cần chạy máy tính nhúng có cấu hình mạnh để hệ thống ứng dụng xe cần có kích thước nhỏ gọn demo nhiều chức Hệ thống thu nhận tín hiệu sử lý cách sử dụng camera quan sát khuôn mặt người nên việc ánh sáng quan trọng, ánh sáng tơ thay đổi liên tục ngày nên việc ánh sáng tới camera vô phức tạp cần nhiều thời gian để nghiên cứu Cần tối ưu camera việc sử dụng camera hồng ngoại để quan sát vào ban đêm người lái xe tắt đèn xe Điều chỉnh thời gian cảnh báo cho phù hợp với tốc độ xe chẳng hạn xe chạy 40km/h thời gian cảnh báo sau giây, xe chạy với tốc độ lớn 80km/h thời gian cảnh báo giây chạy 20km/h xe khơng cảnh báo buồn ngủ để tránh gây phiền phức cho người lái xe hành khách xe Thuật toán nhận diện khn mặt phân khúc trí tuệ nhân tạo (AI) để sản phẩm hồn thiện nhận dạng cần có thời gian nghiên cứu phát triển hệ thống với nhóm chun nghiên cứu trí tuệ nhân tạo 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết, lý luận, giải thiết khoa học 2.1.1 Cơ sở lý thuyết, lý luận Để thực nghiên cứu đề tài này, người nghiên cứu tìm hiểu hệ thống nhận diện khuôn mặt ứng dụng liên quan tới nhận diện khuôn mặt, thư viện mở để lập trình, phát triển ứng dụng liên quan hãng xe nỗi tiếng giới chế tạo chạy thử xe từ rút ưu nhược điểm, nhu cầu sử dụng hệ thống Việt Nam để tiến hành nghiên cứu demo sản phẩm 2.1.2 Giả thiết khoa học Để đề tài thực việc nghiên cứu biểu khuôn mặt người quan trọng Các trạng thái người lái xe có biểu buồn ngủ trạng thái nhắm mắt, thời gian nhắm mắt, hay cúi đầu buồn ngủ Theo nghiên cứu, người rơi vào trạng thái buồn ngủ thời gian chớp mắt thường kéo dài tầm 1,5 giây trở lên tùy theo mức độ buồn ngủ để hệ thống phát dấu hiệu cần phải xác định độ rộng tròng mắt kết hợp với thời gian nhắm mắt độ cúi đầu buồn ngủ… Biểu tập trung lái xe mặt quay hướng khác lớn phạm vi phép (góc quay mặt làm hạn chế tầm nhìn lái xe) khoảng thời gian lâu khoảng từ giây trở lên cho người lái xe tập trung Ngồi để hệ thống cảnh báo cách xác phát nhầm cần kết hợp nhiều yếu tố khác mặt, mũi, miệng, yếu tố bên ánh sáng xe, tốc độ xe, mức độ dao động xe chạy… yếu tố phức tạp cần có thời gian dài nghiên cứu lập trình nên với demo em dừng lại việc phát số phương pháp nêu 2.2 Phương pháp nghiên cứu 2.2.1 Lý thuyết LabVIEW LabVIEW (viết tắt Laboratory Virtual Instrumentation Engineering Workbench) môi trường ngôn ngữ đồ họa hiệu việc giao người, thuật tốn với máy tính thiết bị Với giao diện dễ xử dụng, dễ học giúp cho người lập trình dễ dàng thao tác so với ngơn ngữ lập trình khác 16 Hình 3.12 Giao diện hiển thị hình 34 Hình 3.13 Đồng hồ mô điều chỉnh tốc độ xe 35 Hình 3.14 Một phần code xử lý tín hiệu Hình 3.14 code xử lý tín hiệu sau nhận diện khuôn mặt mắt Phần code xử lý kiểm tra xem người lái xe có buồn ngủ hay tập trung lái xe hay khơng để phát âm cảnh báo cho phù hợp 36 Hình 3.15 Code xử lý nhận diện mặt – mắt Hình 3.15 code dùng để xử lý nhận diện mặt mắt Phần code thực cách xác định tọa độ điểm khn mặt, vị trí mắt, mũi, miệng ,cằm, trán từ xác định khích thước khn mặt xác định tọa độ mắt người Sau đoạn code phát mắt đưa tọa độ điểm ảnh tròng mắt xác định phần trăm màu để để biết người lái xe có buồn ngủ hay khơng Nếu phần trăm tròng trắng nhỏ mức cho phép đen tồn việc nhận diện khơng đưa thơng số để nhận điện 37 Hình 3.16 Code overlay mặt – mắt Sau trình nhận dạng mặt mắt, tọa độ điểm ảnh đường biên khuôn mặt, tọa độ mắt đưa qua xử lý để khoanh vùng hiển thị lên hình Đối với mặt xác định tâm khn mặt, đoạn code tạo hình vng lấy giá trị tâm để làm tọa độ để di chuyển hình vng theo mặt Đối với mắt việc thay đổi hình vng hình trịn Đoạn code nhận tọa độ tâm khuôn mặt mắt để khoanh vùng hiển thị 38 Hình 3.17 Code xử lý thời gian nhắc nhở lái xe Hình 3.17 code dùng để nhắc nhở báo người lái xe Code tính thời gian từ lúc hệ thống bắt đầu khởi động xe bắt đầu có chuyển động ghi nhận thời gian để tính Sau thời gian xe chạy so với thời gian ghi nhận ban đầu đủ đồng hồ hệ thống phát âm nhắc nhở Nếu sau hệ thống nhắc nhở dừng để nghỉ ngơi mà người lái xe không dừng xe tiếp tục chạy sau hệ thống phát lại âm nhắc nhở co người lái xe 39 Hình 3.18 Code quy định thời gian buồn ngủ theo tốc độ Hình 3.18 code dùng để điều chỉnh thời gian nhắm mắt theo tốc độ xe Code đưa khoảng vận tốc như: 20km/h, từ 20 đến 45km/h, từ 45 đến 60km/h, từ 60km/h đến 80km/h vận tốc lớn 80km/h để chọn giá trị thời gian buồn ngủ cho phù hợp 40 Hình 3.19 Code xử lý thời gian buồn ngủ Hình 3.19 thuật tốn xử lý thời gian Code so sánh thời gian nhắm mắt quay đầu hướng khác để xác định có phải người lái xe có buồn ngủ hay tập trung hay không Nếu thời gian nhắm mắt người lái xe thời gian cho phép ứng với vận tốc xe hệ thống cảnh báo buồn ngủ, người lái xe ngủ gật lần liên tiếp phút hệ thống nhận biết mức độ buồn ngủ tài xế mức báo động phát tiếng còi hú báo động dừng se khẩn cấp Nếu người lái xe buồn ngủ lần sau phút hệ thống khơng phát có tình trạng người lái xe buồn ngủ hệ thống tự động thiết lập lại trạng thái ban đầu Đối với việc cảnh báo tập trung, hệ thống kiểm tra thời gian mà người lái xe quay đầu hướng khác, thời gian dành cho việc tập trung lớn giây Và việc cảnh báo tập trung khơng có âm cảnh báo khẩn cấp 41 Giai đoạn Lập trình âm cảnh báo, kết nối loa với hệ thống, đóng gói phần mềm thành file exe, tiến hành cài đặt máy tính nhúng kết nối phần cứng thành sản phẩn demo hồn chỉnh Hình 3.20 Bản demo sản phẩm hồn chỉnh 42 3.3 Kết sau thực nghiệm Kết thực nghiệm sau hồn thành demo có sai số không đáng kể môi trường khác Với trường hợp ánh sáng ổ định hệ thống chạy có lỗi xảy Nguyên nhân thứ xảy lỗi xe chạy với độ dồng sốc cao làm cho camera bị rung khơng bắt hình ảnh Ngun nhân thứ ánh sáng mặt trời chiếu thẳng vào khoang lái làm cho camera bắt không rõ Nguyên nhân thứ xe người lái xe đeo kính đen khiến hệ thống khơng nhận diện mắt Hình 3.21 Thử nghiệm hệ thống xe tải 43 CHƯƠNG 4: THỰC NGHIỆM XÁC ĐỊNH ĐỘ TIN CẬY CỦA HỆ THỐNG CẢNH BÁO BUỒN NGỦ 4.1 Thiết lập thí nghiệm với độ chói sáng khác nhau, đưa bảng giá trị cụ thể Bảng 4.1 Bảng kết thử nghiệm với độ chói sáng khác ngày (5 lần thử nghiệm) Thử nghiệm Ngủ gật Mất tập trung Ánh sáng trực Ánh sáng giáng Ánh sáng trực Ánh sáng giáng tiếp * tiếp ** tiếp tiếp 3/5 *** 5/5 4/5 5/5 Buổi sáng 4/5 5/5 4/5 5/5 Buổi chiều 5/5 5/5 5/5 5/5 Buổi tối( có đèn) Khơng nhận Khơng nhận Khơng nhận Khơng nhận Buổi tối( không diện **** diện diện diện đèn) *: ánh sáng chiếu trực tiếp vào cabin xe đến mặt người **: ánh sáng không chiếu trực tiếp vào cabin xe đến mặt người ***: số lần thử nghiệm tổng số lần thử nghiệm ****: Camera thử nghiệm không hỗ trợ quan sát ban đêm khơng có chiếu sáng 4.2 Thí nghiệm với vận tốc xe độ dao động xe Bảng 4.2 Bảng kết thử nghiệm với vận tốc độ dao động xe (5 lần thử nghiệm) Thử nghiệm Ngủ gật Dao động Dao động nhiều 0/5 * 0/5 Mất tập trung Dao động Dao động nhiều 0/5 0/5 Vận tốc