Nghiên cứu tình trạng buồn ngủ của người lái xe dựa trên nhận dạng cử chỉ khuôn mặt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG THÁI THỊ HOÀ VÂN NGHIÊN CỨU TÌNH TRẠNG BUỒN NGỦ CỦA NGƯỜI LÁI XE DỰA TRÊN NHẬN DẠNG CỬ CHỈ KHUÔN MẶT Chuyên ngành: Khoa Học Máy Tính Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2017 Công trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS TRẦN THẾ VŨ Phản biện 1: TS Huỳnh Công Pháp Phản biện 2: PGS TS Lê Mạnh Thạnh Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ Khoa học máy tính họp Đại Học Đà Nẵng vào ngày 08 tháng 01 năm 2017 Có thể tìm hiểu luận văn tại: - Trung tâm Thông tin-Học liệu, Đại học Đà Nẵng - Thư viện khoa Công nghệ Thông tin, Trường Đại hoc Bách Khoa, Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài  Bối cảnh chung Những năm gần đây, nước ta, với trình phát triển nhanh phương tiện giao thông, số tai nạn giao thông ngày tăng nhiều, đặt mối nguy hiểm nghiêm trọng cho sống xã hội người tham gia giao thông Tai nạn giao thông (TNGT) trở thành nỗi đau lớn nhiều gia đình, vụ tai nạn giao thông, người mang tật suốt đời, người tử vong để lại khoảng trống không bù đắp cho người thân Và nguyên nhân tai nạn giao thông thiếu tập trung người lái xe mệt mỏi hay buồn ngủ Theo báo cáo Tổng cục Thống kê cho biết, tính chung tháng đầu năm 2015 địa bàn nước xảy 12.910 vụ tai nạn giao thông bình quân ngày 61 vụ Và theo phân tích Cục Cảnh Sát Giao Thông, gần 70% số vụ TNGT xảy vào khoảng thời gian từ 12h đến 24h, khoảng thời gian người điều khiển phương tiện bị tác động tâm lý mệt mỏi, căng thẳng, chênh lệch nhiệt độ, ánh sáng ngày đêm (đặc biệt phương tiện vận tải hành khách, hàng hóa…) Báo cáo "Rối loạn giấc ngủ tai nạn giao thông" hội nghị khoa học thường niên Hội Hô hấp Việt Nam Chương trình đào tạo y khoa liên tục 2015, giáo sư Telfilo Lee Chiong (Trung tâm Nationnal Jewish Health, Mỹ), cho biết buồn ngủ nguyên nhân gây tai nạn giao thông giới Ước tính khoảng 10-15% tai nạn xe có liên quan đến thiếu ngủ Nghiên cứu giấc ngủ tài xế 19 quốc gia châu Âu cho thấy tỷ lệ buồn ngủ lái xe cao, trung bình 17% Trong 10,8% người buồn ngủ lái xe lần tháng, 7% gây tai nạn giao thông buồn ngủ, 18% xảy tai nạn buồn ngủ Những số liệu thống kê đáng báo động cần thiết để thực hệ thống có khả theo dõi cảnh báo tình trạng mệt mỏi, buồn ngủ người lái xe để ngăn chặn vụ TNGT đáng tiếc xảy  Các phƣơng pháp thực Nhiều phương pháp khác cho hệ thống giải vấn đề mệt mỏi buồn ngủ người lái xe nghiên cứu triển khai thực vài năm qua như: dựa tượng sinh lý người, theo dõi hoạt động điều khiển xe, theo dõi phản ứng người lái xe phương tiện  Trong số phương pháp trên, kỹ thuật dưạ tượng sinh lý người xác thực theo hai cách sau: - Theo dõi, đo lường thay đổi tín hiệu sinh lý, chẳng hạn sóng não, nhịp tim nháy mắt (intrusive techniques: kỹ thuật xâm nhập) Để áp dụng kỹ thuật cảm biến điện gắn trực tiếp vào thể người lái xe, gây khó chịu tập trung Ngoài ra, lái xe thời gian dài dẫn đến đổ mồ hôi làm giảm khả hoạt động thiết bị cảm biến - Đo lường thay đổi thể vật lý (non-intrusive techniques: kỹ thuật không xâm nhập) tư chùng xuống, vị trí nghiêng đầu, trạng thái nhắm/ mở mắt, miệng người lái xe Kỹ thuật phù hợp với điều kiện lái thực tế không cần tác động trực tiếp vào thể người lái xe Mà cách sử dụng máy quay video để phát thay đổi  Dựa vào phản ứng xe hay hoạt động điều khiển phương tiện người lái xe thực cách theo dõi chuyển động tay lái, phanh xe, tốc độ xe, di chuyển ngang Phương pháp không đòi hỏi tác động trực tiếp vào thể người lái xe, lại bị giới loại xe điều kiện lái xe  Phương pháp cuối yêu cầu nhận tín hiệu định kỳ từ người lái xe gửi vào hệ thống để nhận biết tỉnh táo Phương pháp dẫn đến mệt mỏi khó chịu cho người lái xe Vì vậy, chọn đề tài “Nghiên cứu tình trạng buồn ngủ người lái xe dựa nhận dạng cử khuôn mặt” để nghiên cứu Mục tiêu nhiệm vụ  Mục tiêu Trong luận văn đưa nhìn tổng quan phương pháp cho hệ thống giải vấn đề mệt mỏi buồn ngủ người lái xe Sau đó, sâu nghiên cứu phương pháp theo dõi cảnh báo tình trạng buồn ngủ người lái xe ứng dụng nhận dạng khuôn mặt người cách theo dõi trạng thái nhắm/ mở mắt người lái xe Một mục tiêu khác đề tài góp phần nghiên cứu xây dựng ứng dụng có khả ứng dụng vào thực tế Việt Nam với phương tiện vận tải hành khách, hàng hoá vận chuyển đường dài chiếm phần lớn có khả xảy tai nạn giao thông tình trạng mệt mỏi buồn ngủ người lái xe cao  Nhiệm vụ Để thực mục tiêu trên, đề tài nghiên cứu phương pháp nhận dạng khuôn mặt người; phương pháp, thuật toán nhận dạng theo dõi trạng thái mắt, miệng khuôn mặt; tìm hiểu thuật toán cho việc xác định mức độ mệt mỏi, buồn ngủ phát triển ngôn ngữ lập trình Python tích hợp tảng thư viện mã nguồn mở OpenCV  Về lý thuyết - Tìm hiểu phương pháp tổng quát cho hệ thống giải vấn đề mệt mỏi buồn ngủ người lái xe - Tìm hiểu phương pháp nhận dạng khuôn mặt người hổ trợ tảng thư viện mã nguồn mở OpenCV - Tìm hiểu thuật toán nhận diện khuôn mặt phần mắt sử dụng Haar Cascade Classifiers OpenCV - Tìm hiểu thuật toán phát tình trạng người lái xe buồn ngủ dự cử gương mặt  Về thực tiễn - Nghiên cứu xây dựng chương trình demo phát tình trạng buồn ngủ người lái xe từ đoạn video đầu vào từ camera trực tiếp Đối tƣợng phạm vi nghiên cứu  Đối tƣợng nghiên cứu  Ngôn ngữ lập trình Python  Thư viện mã nguồn mở OpenCV  Giải thuật nhận dạng đối tượng sử dụng Haar Cascade Classifiers  Các thuật toán kỹ thuật phát tình trạng buồn ngủ dựa cử gương mặt  Phạm vi nghiên cứu  Nghiên cứu phương pháp đề xuất phát cảnh báo tình trạng buồn ngủ người lái xe giới theo báo nghiên cứu khoa học  Chương trình demo sử dụng ngôn ngữ lập Python, thư viện mã nguồn mở OpenCV tảng hệ điều hành Windows, Ubuntu, MacOS Phƣơng pháp nghiên cứu  Nghiên cứu lý thuyết Đọc, phân tích, tổng hợp tài liệu từ báo nghiên cứu khoa học liên quan công bố Việt Nam giới  Nghiên cứu thực nghiệm Nghiên cứu xây dựng chương trình mô lập trình ngôn ngữ lập trình Python thư viện mã nguồn mở OpenCV Ý nghĩa khoa học thực tiễn đề tài  Mục đích Nghiên cứu cách xây dựng chương trình mô ứng dụng cho hệ thống giải vấn đề tập trung mệt mỏi buồn ngủ người lái xe góp phần giảm thiểu vụ tai nạn giao thông đáng tiếc xảy  Ý nghĩa khoa học thực tiễn đề tài  Về khoa học Tìm hiểu báo nghiên cứu khoa học liên quan công bố giới, đề xuất giải pháp cho việc giải vấn đề tập trung mệt mỏi buồn ngủ người lái xe Việt Nam  Về thực tiễn - Giúp người lập trình có nhìn tổng quát phương pháp ứng dụng cho hệ thống giải vấn đề tập trung mệt mỏi buồn ngủ người lái xe - Góp phần nâng cao an toàn giao thông cho người lái xe xã hội Bố cục luận văn Ngoài phần mở đầu kết luận, luận văn gồm có ba chương với nội dung sau: Chương 1: Nghiên cứu tổng quan Chương trình bày tổng quan vấn đề liên quan đến đề tài luận văn Nội dung chủ yếu xoay quanh chủ đề chính: Các khái niệm; phương pháp tổng quan; nghiên cứu nước; sơ lược thư viện mã nguồn mở OpenCV Chương 2: Giải pháp đề xuất Chương tập trung vào trình bày giải thích chi tết mô hình nhận dạng đề xuất thuật toán, kỹ thuật cho việc phát tình trạng buồn dựa vào gương mặt Chương 3: Thực nghiệm đánh giá kết Chương trình bày chi tết trình thực nghiệm bao gồm môi trường thực nghiệm, giai đoạn thực nghiệm kết thực nghiệm qua giai đoạn, từ đưa nhận xét, đánh giá CHƢƠNG NGHIÊN CỨU TỔNG QUAN 1.1 KHÁI NIỆM VỀ GIẤC NGỦ Giấc ngủ tình trạng nghỉ ngơi tự nhiên theo chu kỳ thể xác tinh thần Trong tình trạng người ta thường nhắm mắt ý thức phần hay hoàn toàn giảm vận động phản ứng kích thích bên Giấc ngủ lựa chọn, cần thiết tránh khỏi để giúp thể nghỉ ngơi phục hồi lượng Vì người cần phải ngủ Có thuật ngữ gọi "Microsleep", định nghĩa giai đoạn ngủ ngắn ý muốn giấc ngủ, xảy lúc mệt mỏi hay nỗ lực ý thức kéo dài Microsleep kéo dài vài giây (có thể khoảng từ đến 30 giây) Nghiên cứu cho thấy microsleep xảy lúc nào, não rơi vào trạng thái ngủ nhanh chóng không kiểm soát được, tình trạng vô nguy hiểm, đặc biệt bạn ngồi sau tay lái hay tình yêu cầu ý tập trung Một số dấu hiệu cho thấy bạn không tỉnh táo lái xe :  Ngáp  Mắt nháy liên tục khó mở mắt  Không thể tập trung  Mơ màng ngày, đầu óc bị phân tán, xao động  Không thể nhớ số km hành trình vừa trải qua, phản ứng chậm  Đi chệch đường, lái xe chệnh choạng  Cảm thấy mệt mỏi, khó chịu  Không thể giữ đầu thẳng  Tầm nhìn bị mờ Và bạn chọn máy chống ngủ gật theo cách nào, lời khuyên đưa luôn là: Hãy ngủ đủ giấc Không liều lĩnh cầm lái có dấu hiệu buồn ngủ 1.2 KHÁI NIỆM VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN PHÁT HIỆN KHUÔN MẶT NGƢỜI 1.2.1 Khái niệm xử lý ảnh Xử lý ảnh phương pháp chuyển đổi hình ảnh sang dạng số thực số hoạt động để nâng cao chất lượng hình ảnh để trích xuất số thông tin hữu ích từ Đó dạng phân bố tín hiệu mà đầu vào hình ảnh ảnh khung hình từ video đầu hình ảnh khác đặc tính gắn liền Thông thường, hệ thống xử lý ảnh xem hình ảnh tín hiệu hai chiều để từ áp dụng phương pháp xử lý tín hiệu lên tín hiệu Nó công nghệ phát triển nhanh chóng áp dụng nhiều lĩnh vực khác 1.2.2 Bài toán phát m t ngƣời ảnh c ph n ph p ch nh ph t hi n m t n i Dựa vào tính chất phương pháp xác định mặt người ảnh, phương pháp chia thành bốn loại chính, tương ứng với bốn hướng tiếp cận khác Ngoài c ng có nhiều nghiên cứu mà phương pháp xác định mặt người không dựa vào hướng mà có liên quan đến nhiều hướng - Hướng tiếp cận dựa tri thức - Hướng tiếp cận dựa đặc trưng không thay đổi 10 Nguyên lý hoạt động máy đơn giản, camera hình thu hình người xử lý nhận diện điểm khác biệt khuôn mặt đâu mắt, m i, tai, từ tìm ánh mắt qua biểu đồ ánh sáng để phân biệt độ sáng, tối mắt, phân biệt lái xe thức hay ngủ Sau nhận dạng xong, xử lý tiếp tục đưa trường hợp để xử lý Ban đầu, máy cảnh báo giọng nói: “Bạn trạng thái không tập trung, đề nghị tập trung lại” (cảnh báo giọng nói để tránh tình trạng báo động đột ngột làm lái xe giật mình), sau cảnh báo còi báo động  Nhận diện chớp mắt cảnh báo buồn ngủ lái xe Windows Android Năm 2012, nhóm sinh viên Đại học Bách khoa TP Hồ Chí Minh, Việt Nam nghiên cứu cho đời phần mềm có khả báo động tài xế ngủ gật Phần mềm có tên "Nhận diện chớp mắt cảnh báo buồn ngủ lái xe Windows Android" tác giả Lê Thanh Hòa, Lê Thế Hải, Nguyễn Khắc Hiếu với hướng dẫn PGS.TS Hoàng Đình Chiến Tuy nhiên, đề tài số hạn chế  Bị "đánh thức" tƣ chậm Năm 2013, Nhóm nghiên cứu đến từ Khoa Điện tử Viễn Thông, trường Đại học Bách khoa Hà Nội gồm Nguyễn Quang Trường, Hoàng Mạnh Cường, V Mạnh Cường Trần Anh Đức chế tạo thiết bị chống ngủ gật cho lái xe với chi phí thấp phù hợp điều kiện nước ta Nguyễn Quang Trường, Trưởng nhóm nghiên cứu cho biết, thiết bị có dạng hộp chữ nhật nhỏ gọn Khi lắp đặt xe, thiết bị phát điều kiện gây ngủ gật dựa vào các yếu tố thời điểm, quãng đường thời gian lái xe liên tục Sau đó, thiết bị 11 xác định trạng thái, mức độ tỉnh táo lái xe thông qua việc đo thời gian trả lời câu hỏi trắc nghiệm thiết bị đưa Thời gian cần thiết để trả lời câu hỏi tỷ lệ nghịch với mức độ tỉnh táo lái xe Cuối cùng, thiết bị tạo tín hiệu cảnh báo chống ngủ gật, với tín hiệu ánh sáng chớp, âm thanh, dòng điện xung 1.3.2 Các kết nghiên cứu nƣớc  Tại Mỹ Các lái xe việc bỏ khoảng 10 tới 20 USD (tương đương 222.000 – 444.000 đồng) để sở hữu máy chống ngủ gật đeo tai nhãn hiệu Nap Zapper1 , No Nap hay Doze Alert Bất lái xe có dấu hiệu ngủ gật, máy phát âm cảnh báo để đánh thức  Tại Đức Một sản phẩm có tên gọi Stopsleep Là thiết bị đeo ngón tay, dựa vào độ dẫn điện da, phản ánh hoạt động não để phát tình trạng buồn ngủ người lái xe Tuy nhiên, nhà sản xuất chưa cung cấp tài liệu kỹ thuật hay tỷ lệ phát buồn ngủ  Tại Hong Kong Công ty Holux3 phát triển thiết bị đặt dây thắt an toàn phát tình trạng mệt mỏi buồn ngủ dựa phân tích nhịp tim biến thiên  Một số hãng xe ô tô lớn tích hợp thiết bị chống ngủ gật an toàn loại xe họ - Hãng xe Mercedes-Benz4: Thiết bị Attention Assist sử dụng điều khiển động để giám sát thay đổi điều khiển vô lăng hành vi lái xe người ngồi xe, báo động cần thiết 12 - Hãng xe Volvo5: Hệ thống Driver Alert Control c ng hệ thống cảnh báo sai làn: giám sát hỗ trợ lái xe đường, cảnh báo phát dấu hiệu lấn - Hãng Lexus6: gắn camera bảng táp lô để quan sát gương mặt lái xe thay hành vi người đó, cảnh báo lái xe phát dấu hiệu buồn ngủ - Hãng Saab7: sử dụng hai camera buồng lái để quan sát cử động mắt lái xe, cảnh báo thông điệp chữ bảng táp lô thông điệp âm lái xe buồn ngủ - Hãng xe Bosch8: hệ thống bám đường Bosch giúp xe chạy ổn định đường định sẵn nhờ cảm biến gắn trước mui xe Bên cạnh hệ thống thu thập liệu góc lệch từ vôlăng, chân ga, hệ thống đèn báo để đưa cảnh báo cho người điều khiển 1.4 PHÁT HIỆN LÁI XE BUỒN NGỦ DỰA TRÊN CÁC CỬ CHỈ GƢƠNG MẶT Kỹ thuật tiêu chí quan trọng tin cậy biểu mệt mỏi thường thể trực quan dễ dàng quan sát từ thay đổi tính khuôn mặt mắt, đầu, miệng Các cử khuôn mặt phát lái xe buồn ngủ sau: - Nhận dạng khuôn mặt - Nhận dạng đôi mắt đánh giá mức độ nhắm/mở mắt - Nhận dạng phần miệng mức độ mở miệng (ngáp) - Vị trí nghiêng đầu 13 CHƢƠNG PHÂN TÍCH HỆ THỐNG Chương trình bày giải pháp đề xuất để giải toán đặt gồm khối quan trọng chi tiết cần thực Mô hình đề xuất hệ thống thể sau: Hình 2.1 Mô hình tổng quan hệ thống đề xuất Có thể thấy hệ thống bao gồm khối chức (module) riêng biệt cụ thể: Camera, Phân chia thành khung hình, Nhận diện khuôn m t, Phát mắt, Phát buồn ngủ Ngoài có thiết lập thành phần phần cứng bên cụ thể: Camera để thu lại video theo thời gian thực người lái xe báo động âm 2.1 MÔI TRƢỜNG VÀ CÔNG CỤ SỬ DỤNG Qua trình nghiên cứu để thực demo cho đề tài này, định chọn sử dụng: 14  Ngôn ngữ lập trình Python  Thư viện mã nguồn mở OpenCV  Haar Cascade Classifiers 2.2 PHÁT TRIỂN CHƢƠNG TRÌNH Phần trình bày chi tiết bước thuật toán thực chương trình phát tình trạng buồn ngủ người lái xe luận văn Sơ đồ thuật toán hệ thống đề xuất trình bày sau: Hình 2.2 Sơ đồ hệ thống 15 2.2.1 Xử lý đầu video vào Để phục vụ cho việc rút trích đặc trưng Haar-like, bước tiền xử lý đơn giản Các ảnh đầu vào đòi hỏi phải dạng mức xám, đó, tất ảnh màu đầu vào chuyển hết dạng mức xám Hình 2.3 Chuyển ảnh đầu vào dạng mức xám 2.2.2 Nhận dạng khuôn m t a Khởi tạo dò tìm OpenCV tích hợp nhiều phân loại (classifiers) để huấn luyện cho đối tượng nhận dạng khuôn mặt, đôi mắt, nụ cười Đó file XML lưu trữ thư mục “opencv / data / haarcascades” Đầu tiên cần phải load phân loại (classifiers) XML cần thiết Ở cần phân loại để huấn luyện cho khuôn mặt đôi mắt sau: - haarcascade_frontalface_alt_tree.xml: liệu huấn luyện (training) cho trình xử lý mặt trước - haarcascade_mcs_lefteye.xml, haarcascade_eye_tree_eyeglasses.xml, haarcascade_eye.xml: liệu huấn luyện (training) cho trình xử lý đôi mắt b Thực hi n dò tìm khuôn m t Bước dò tìm khuôn mặt ảnh Nếu đối tượng tìm thấy, trả vị trí khuôn mặt 16 phát theo cấu trúc Rect(x,y,w,h) Một nhận vị trí đó, tạo ROI cho khuôn mặt xử lý nhận dạng đôi mắt ROI Phương pháp nhận diện khuôn mặt dựa vào đặc trưng Haarlike kết hợp Adaboost cài sẵn thư viện Opencv Để sử dụng phương pháp OpenCV, chương trình sử dụng hàm detectMultiScale c Xem kết dò tìm Để xem kết dò tìm khuôn mặt gọi hàm hiển thị ảnh vẽ xong lên cửa sổ với tên bạn đặt trước cửa sổ, ảnh bạn muốn xem: cv2.imshow() 2.2.3 Nhận dạng đôi mắt Hàm detectMultiScale sau tìm kiếm xong trả giá trị gồm tọa độ gốc khung chứa khuôn mặt x,y; chiều dài, rộng khung w,h Các giá trị nằm mảng faces Cấu trúc for….in duyệt qua toàn giá trị này, với giá trị ta dùng hàm rectangle để vẽ hình chữ nhật lên ảnh ban đầu img với tọa độ điểm trái phải dưới: (x,y),(x+w,y+h) (0,255,0) màu vẽ hình chữ nhật Như xác định xong khuôn mặt có ảnh roi_gray = gray[y:y+h, x:x+w] roi_color = img[y:y+h, x:x+w] biến ảnh màu ảnh xám khuôn mặt tìm thấy Và việc tìm kiếm mắt thực khuôn mặt tìm thấy quét toàn ảnh ban đầu tìm kiếm mặt Tương tự, tìm kiếm vẽ khung hình chữ nhật chứa mắt với màu khác 17 2.2.4 Phát trạng thái nhấp nháy đôi mắt Để phát trạng thái nhấp nháy mắt (eye blinking detection), cần biết trạng thái mắt mở hay nhắm (open/closed) Trong hệ thống này, quát trình thực sau:  Nếu đôi mắt thay đổi từ trạng thái nhắm mắt sang mở mắt, hệ thống xác định nháy mắt  Và trạng thái mắt tiếp tục nhắm khoảng thời gian định (2 giây hệ thống này), mắt phát nhắm  Thuật toán  Khởi tạo E1 = 0; E2 = 0;  OpenCV hỗ trợ số huấn luyện (Traning) phát đôi mắt hai trạng thái khác sau: Phát mắt trạng thái nhắm mở: Với traning cascade đầu vào cho hàm phát (Detector) bên haarcascade_mcs_lefteye.xml haarcascade_mcs_righteye.xml Thuật toán trả E1 = phần đôi mắt trạng thái nhắm lại mở phát Và E = cho trường hợp ngược lại Chỉ phát mắt trạng thái mở: Với traning cascade đầu vào cho hàm phát (Detector) bên haarcascade_eye.xml haarcascade_eye_tree_eyeglasses.xml Trong haarcascade_eye_tree_eyeglasses.xml xử dụng cho trường hợp có đeo kính Thuật toán trả E2 = phần mắt trạng thái mở phát 18  Dựa vào kết E1 E2 xác định trạng thái nhắm mắt sau: Nếu E1 = E2 = => Nhắm mắt (closed) (*) Nếu E1 = E2 = => Mở mắt (open)  Sau trường hợp (*) phát việc xác định trạng thái nhấp nháy hay nhắm hẳn mắt để dàng xác định dựa vào thời gian nhắm mắt bao lâu: Khởi tạo timeout = 1s; Giả sử thời gian nhắm mắt T Nếu T > timeout: trạng thái mắt nhắm hẵn Và ngược lại trạng thái nhấp nhay mắt 2.2.5 Phát cảnh báo tình trạng buồn ngủ Chương trình thực thuật toán xác định trạng thái nhấp nháy mắt suốt thời gian thực để cảnh báo người lái xe rơi vào trạng thái buồn ngủ tập trung Bất phát lái xe nhắm hẳn mắt, hệ thống kích hoạt âm cảnh báo đồng thời tiếp tục theo dõi Sau trạng thái mở mắt người lái xe phát trở lai, chương trình ngừng cảnh báo tiếp tục theo dõi 19 CHƢƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Quá trình thực nghiệm chia làm hai giai đoạn Giai đoạn thứ xây dựng mô hình nhận dạng với liệu video đầu vào điều kiện khác Dữ liệu huấn luyện chọn sử dụng trình xây dựng mô hình Ở giai đoạn này, số giá trị tham số đầu vào điều kiện ánh sáng xung quanh thay đổi thực nghiệm để tìm giá trị phù hợp cho kết (độ xác) cao ứng với phương pháp Kết thu giai đoạn thực nghiệm độ xác chương trình tương ứng với liệu video đầu vào khác 3.1 MÔI TRƢỜNG THỰC NGHIỆM 3.1.1 Môi trƣờng triển khai Quá trình thực nghiệm thực máy tính xách tay sử dụng hệ điều hành MacOS version 10.11.6 có cấu hình tương đương máy tính phổ thông sử dụng camera trực tiếp máy để thu video đầu vào Ngôn ngữ sử dụng chương trình thực nghiệm ngôn ngữ lập trình Python Bên cạnh đó, chương trình thực nghiệm có sử dụng thư viện mã nguồn mở OpenCV 3.1.2 Dữ liệu huấn luyện Bao gồm huấn luyện HaarCascade hổ trợ cài thư viện mở OpenCV Đó file XML lưu trữ thư mục “opencv / data / haarcascades”:  haarcascade_frontalface_alt_tree.xml  haarcascade_mcs_lefteye.xml 20  haarcascade_eye_tree_eyeglasses.xml  haarcascade_eye.xml 3.2 THỰC NGHIỆM TRÊN BÀI TOÁN NHẬN DẠNG KHUÔN MẶT VÀ ĐÔI MẮT Áp dụng bước theo mô hình đề xuất trình bày chương để tiến hành thực nghiệm video input Hai trình thực quan trọng sau xử lý video đầu vào nhận dạng khuôn mặt đôi mắt Kết nhận dạng sau: Hình 3.1 Nhận dạng khuôn mặt mắt 3.2.1 Điều chỉnh thông số min_neighbors: Nếu ta để tham số min_neighbors = cho hàm tìm khuôn mặt tức OpenCV trả đầy đủ danh sách dò tìm thô từ phân lớp Haar, để nguyên tìm sau quét kết nhận dạng sau: Hình 3.2 Điều chỉnh thông số min_neighbors Như vậy, tham số gộp lại hình chữ nhật chứa khuôn mặt hình chữ nhật cho khuôn mặt Đồng thời, loại bỏ bớt kết sai kết 21 sai cho khung hình chữ nhật kết có nhiều khung hình lân cận bao lấy 3.2.2 Thực nghiệm với khuôn m t có đeo mắt kính Thực nghiệm toán nhận diện khuôn mặt mắt điều kiện có ánh sáng chiếu trực tiếp vào mắt kính sau: Hình 3.3 Khuôn mặt có đeo mắt kính ánh sáng chiếu trực tiếp Hình 3.4 Khuôn mặt có đeo mắt kính có ánh sáng chiếu trực tiếp Kết quả: Chương trình nhận dạng thành công điều kiện ánh sáng trực tiếp chiếu vào mắt kính không thành công trường hợp có ánh sáng trực tiếp chiếu vào mắt kính 3.3 THỰC NGHIỆM TRÊN BÀI TOÁN PHÁT HIỆN TÌNH TRẠNG BUỒN NGỦ DỰA TRÊN NHẬN DẠNG KHUÔN MẶT VÀ MẮT Sau số kết thực nghiệm phát tình trạng buồn ngủ thành công điều kiện ánh sang tư nghiêng đầu khác người lái xe Hình ảnh kết trình bày theo thứ tự: Phát khuôn mặt mắt Theo dõi tình trạng nhắm/mở mắt Phát cảnh báo buồn ngủ 22 3.3.1 Ánh sáng thƣờng Hình 3.5 Thực nghiệm ánh sáng thường 3.3.2 Ánh sáng chiếu rọi xung quang Hình 3.6 Thực nghiệm với ánh sáng chiếu rọi xung quanh Kết quả: chương trình cho kết thành công hai điều kiện ánh sang thường có ánh sáng chiếu rọi xung quanh mức độ vửa phải 3.3.3 Cúi đầu Hình 3.7 Thực nghiệm với tư cúi đầu 3.3.4 Ngẩng đầu lên Hình 3.8 Thực nghiệm với tư ngửa đầu lên 23 3.3.5 Nghiêng đầu sang trái Hình 3.9 Thực nghiêm với tư nghiêng đầu sang trái 3.3.6 Nghiêng đầu sang phải Hình 3.10 Thực nghiệm với tư nghiêng đầu sang phải Kết quả: chương trình cho kết thành công với khuôn mặt có góc quay so với trục dọc 45 độ trục ngang 30 độ 24 KẾT LUẬN Mục tiêu luận văn tìm hiểu chung kỹ thuật nghiên cứu cho toán phát người lái xe buồn ngủ Đồng thời phát triển hệ thống đề xuất theo dõi phát người lái xe buồn ngủ thời gian thực Đề tài phát triển hệ thống đơn giản gồm phần, cụ thể (a) Xử lý video đầu vào, (b) Phân chia thành khung, (c) Phát khuôn mặt, (d) Phát mắt, (e) Phát buồn ngủ Mỗi thành phần thực thuật toán cụ thể khác dựa yêu cầu Tuy nhiên hệ thống số hạn chế sau:  Hệ thống không hoạt động, người lái xe ô tô đeo loại kính râm  Hệ thống không hoạt động có ánh sáng chiếu trực tiếp máy ảnh  Hoạt động chưa hoàn toàn hiệu với mắt kính thường nơi có ánh sáng chiếu HƢỚNG PHÁT TRIỂN Sau số cải tiến thực tương lai hệ thống này:  Sản phẩm độc lập: Nó thực sản phẩm độc lập, cài đặt ô tô để theo dõi người lái xe ô tô  Ứng dụng điện thoại thông minh  Có thể hoạt động tốt trường hợp mang kính thường ... Phương pháp dẫn đến mệt mỏi khó chịu cho người lái xe Vì vậy, chọn đề tài Nghiên cứu tình trạng buồn ngủ người lái xe dựa nhận dạng cử khuôn mặt” để nghiên cứu Mục tiêu nhiệm vụ  Mục tiêu Trong... người lái xe Sau đó, sâu nghiên cứu phương pháp theo dõi cảnh báo tình trạng buồn ngủ người lái xe ứng dụng nhận dạng khuôn mặt người cách theo dõi trạng thái nhắm/ mở mắt người lái xe Một mục... ngủ người lái xe cao  Nhiệm vụ Để thực mục tiêu trên, đề tài nghiên cứu phương pháp nhận dạng khuôn mặt người; phương pháp, thuật toán nhận dạng theo dõi trạng thái mắt, miệng khuôn mặt; tìm