1. Phát biểu vấn đề Tai nạn giao thông là một vấn nạn đe dọa nghiêm trọng tính mạng con người. Và đây không chỉ là vấn nạn ở Việt Nam ta mà là một hiện tượng mang tính toàn cầu [92]. Cụ thể là, ở Việt Nam, số liệu thống kê gần đây cho thấy, trung bình mỗi ngày vẫn có hàng chục người bị thiệt mạng và hàng trăm người bị thương hoặc thương tật suốt đời bởi chính tai nạn giao thông; chẳng hạn như, chỉ tính từ ngày 16-12-2014 đến 15-9-2015, trên cả nước đã xảy ra 16.459 vụ tai nạn giao thông, làm chết 6.518 người, làm bị thương 14.868 người [1]. Hiệp hội Du lịch Đường bộ An toàn Quốc tế (ASIRT) chỉ ra rằng, trong rất nhiều các nguyên nhân dẫn đến cái chết của con người thì, hiện nay, tai nạn giao thông đứng ở vị trí thứ 9 (sau dịch bệnh, chiến tranh, v.v...) và nếu tình hình không được cải thiện thì nó đứng ở vị trí thứ 5 vào năm 2030 [6]. Rõ ràng đây là một sự mất mát khủng khiếp, nó đồng nghĩa với mỗi ngày có hàng nghìn gia đình trên thế giới phải gánh chịu sự mất mát và đau thương từ sự “ra đi” hay từ sự tật nguyền, giảm hoặc mất khả năng lao động của người thân; xã hội mất đi những công dân tài năng, có thể đóng góp sức lao động trực tiếp hay gián tiếp tạo ra của cải vật chất cho xã hội. Chính vì vậy, an toàn giao thông được xem là vấn đề quan trọng không chỉ của Việt Nam mà là của mọi quốc gia trên thế giới. Một trong những nguyên nhân chính gây ra tai nạn giao thông là do lái xe ngủ gật. Theo ước lượng của Cơ quan Quản lý An toàn Giao thông Quốc lộ Hoa Kỳ (SHSA), tại Hoa Kỳ, mỗi năm có khoảng 328.000 vụ tai nạn giao thông xảy ra do sự buồn ngủ và mệt mỏi của lái xe, đã dẫn đến khoảng 6.400 người chết, gây thiệt hại 109 tỷ USD hàng năm (chưa kể tổn thất của các phương tiện giao thông) [28]. Các nghiên cứu của cơ quan này cũng cho thấy 52% số vụ tự gây tai nạn của các xe tải hạng nặng là do sự buồn ngủ của lái xe; và 37% người dân trưởng thành được khảo sát cho biết họ đã ngủ gà ngủ gật khi lái xe ít nhất một lần. Ngủ gật là biểu hiện thường thấy khi mệt mỏi, như tập trung lái xe liên tục trong thời gian dài; khi đó khả năng quan sát và phản ứng của lái xe bị giảm đáng kể, không kịp phản xạ để tránh tình huống nguy hiểm khi tới gần chướng ngại vật hoặc phương tiện giao thông khác. Chính vì vậy, buồn ngủ ảnh hưởng nghiêm trọng đến khả năng lái xe [10]; và chỉ cần vài giây ngủ gật thì tai nạn có thể xảy ra và gây ra những hậu quả nặng nề. Như có thể thấy trên Hình 0.1, tồn tại một mối tương quan mạnh mẽ giữa số giờ làm việc của lái xe và số vụ tai nạn liên quan [59]. Trước tình hình tai nạn giao thông diễn biến ngày càng phức tạp với mức độ ngày càng nghiêm trọng, vấn đề đảm bảo an toàn giao thông đối với nhiều quốc gia trên thế giới đã trở thành vấn đề vô cùng quan trọng và cấp thiết. Xã hội ngày càng phát triển, văn minh thì sự an toàn và sức khỏe của con người càng phải được đề cao. Hình 0.1. Tương quan giữa tỷ lệ tai nạn và số giờ lái xe Trong những năm qua, nhiều nhà khoa học trên thế giới đã và đang nỗ lực không ngừng trong việc nghiên cứu và phát triển các phương tiện giao thông thông minh, có độ an toàn cao. Do đó, sử dụng các hệ thống trợ giúp theo dõi mức độ cảnh giác của lái xe và cảnh báo lái xe lúc mệt mỏi là việc làm có ý nghĩa nhằm phòng chống tai nạn [45]. Cho đến nay, nhiều hệ thống phát hiện và cảnh báo lái xe ngủ gật đã được xây dựng và phát triển [87], [2]; trong đó, phải kể đến hệ thống phát hiện và cảnh báo lái xe ngủ gật của hãng Denso như trong Hình 0.2.
BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ LÂM THÀNH HIỂN PHÁT TRIỂN MỘT SỐ KỸ THUẬT PHÁT HIỆN LÁI XE NGỦ GẬT DỰA TRÊN TRẠNG THÁI MẮT VÀ HÀNH VI GẬT LẮC Chuyên ngành: Cơ sở toán học cho tin học Mã số: 62 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2017 iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iv DANH MỤC CÁC TỪ VIẾT TẮT vii DANH MỤC CÁC BẢNG viii DANH MỤC CÁC HÌNH ix MỞ ĐẦU 1 Phát biểu vấn đề Ngữ cảnh, ràng buộc, thách thức 3 Mục tiêu nghiên cứu Đối tượng, phương pháp kết nghiên cứu Bố cục Luận án Chương - CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT PHÁT HIỆN LÁI XE NGỦ GẬT 1.1 Tổng quan kỹ thuật phát lái xe ngủ gật .9 1.1.1 Hành vi ngủ gật 1.1.2 Sinh lý giấc ngủ .11 1.1.3 Các phương pháp phát ngủ gật 12 1.1.3.1 ECG & EEG .13 1.1.3.2 Chuyển động vô-lăng .14 1.1.3.3 Kỹ thuật quang học 14 1.1.3.4 Kỹ thuật thống kê .14 1.1.4 Các hệ thống xử lý ảnh 15 1.1.5 Các hình thái ảnh 16 1.2 Phương pháp tiếp cận toán phát ngủ gật Luận án 17 1.3 Một số vấn đề lý thuyết sở 18 1.3.1 Nhận dạng mẫu .18 1.3.1.1 Các bước xây dựng hệ nhận dạng .19 v 1.3.1.2 Các khái niệm sở 20 a) Không gian biểu diễn dạng 20 b) Không gian diễn dịch .20 c) Xác suất tiên nghiệm Mật độ phân phối xác suất 20 1.3.1.3 Các phương pháp học nhận dạng 21 1.3.1.4 Bộ nhận dạng Bayes 22 1.3.2 Kỹ thuật xử lý ảnh số 24 1.3.3 Thuật toán Gentleboost 25 Tóm tắt Chương 28 Chương KỸ THUẬT PHÁT HIỆN TRẠNG THÁI MẮT VÀ NGỦ GẬT .29 2.1 Bài toán phát khuôn mặt người ảnh 29 2.1.1 Các công trình nghiên cứu liên quan .29 2.1.2 Đề xuất kỹ thuật phát mặt người .31 2.1.2.1 Xây dựng mô hình nhận dạng khuôn mặt mẫu 32 2.1.2.2 Phát khuôn mặt từ ảnh 36 2.1.2.3 Kết thử nghiệm 37 2.2 Bài toán phát mắt người ảnh 38 2.2.1 Một số kỹ thuật phát mắt người ảnh 38 2.2.2 Đề xuất thuật toán phát mắt người ảnh 42 2.2.2.1 Thuật toán .42 2.2.2.2 Đánh giá độ phức tạp .43 2.2.3 Kết thử nghiệm 43 2.3 Bài toán nhận dạng trạng thái mắt 44 2.3.1 Kỹ thuật nhận dạng trạng thái mắt 45 2.3.2 Đề xuất kỹ thuật nhận dạng trạng thái mắt .47 2.3.3 Kết thử nghiệm 49 2.4 Phát ngủ gật dựa trạng thái mắt .50 Tóm tắt Chương 51 vi Chương - KỸ THUẬT PHÁT HIỆN HÀNH VI GẬT LẮC VÀ TRẠNG THÁI NGỦ GẬT 53 3.1 Bài toán phát hành vi gật lắc 53 3.1.1 Phát hướng mặt người ảnh .54 3.1.2 Đề xuất kỹ thuật ước lượng hướng mặt người 59 3.1.2.2 Thử nghiệm mô hình 65 3.2 Phát gật đầu từ camera 66 3.2.1 Thuật toán đề xuất 66 3.2.2 Đánh giá độ phức tạp thuật toán .67 3.2.3 Kết thử nghiệm 68 3.3 Phát ngủ gật dựa hành vi gật lắc .70 Tóm tắt Chương 71 Chương -HỆ THỐNG TÍCH HỢP PHÁT HIỆN LÁI XE TRONG TRẠNG THÁI NGỦ GẬT .72 4.1 Mô tả hệ thống .72 4.2 Quan hệ trạng thái ngủ gật trạng thái mắt - hành vi gật đầu .73 4.2.1 Phân tích hồi qui tuyến tính 73 4.2.2 Kết hồi qui tuyến tính .75 4.2.3 Phân tích hồi qui Logistic nhị phân .75 4.3 Kỹ thuật đánh thức lái xe trạng thái ngủ gật 78 Tóm tắt Chương 80 KẾT LUẬN 81 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ .83 TÀI LIỆU THAM KHẢO 84 vii DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Tiếng Anh tương ứng Giải thích tiếng Việt AAM Active Appearance Model Mô hình ngoại quan tích cực ATGT Traffic safety An toàn giao thông CERT Computer Expression Recognition Toolbox Hộp công cụ nhận dạng biểu máy tính CSDL Database Cơ sở liệu c.s et al Cộng ECG Electrocardiogram Điện tâm đồ ECR Eye Closure Rate Tỷ lệ đóng mắt EEG Electroencephalography Điện não đồ FACS Facial Action Coding System Hệ mã hóa hoạt động mặt FNM Facial Normal Model Mô hình pháp tuyến khuôn mặt HR Heart Rate Nhịp tim HRV Heart Rate Vairability Sự biến thiên nhịp tim HVG Nodding and shaking behavior Hành vi gật lắc IR Infra-red Tia hồng ngoại KM Human face Khuôn mặt LBP Local Binary Pattern Mẫu hình Nhị phân Cục LF/HF Low Frequency/High Frequency Tần số thấp/Tần số cao OLS Ordinary Least Square Bình phương sai số bé PERCLOSE Percentage of Eye Closure Tỷ lệ phần trăm nhắm (đóng) mắt PVT Psychomotor Villiance Task Nhiệm vụ cảnh giác tâm lý PCA Principle Component Analysis Phân tích thành phần SVM Support Vector Machine Máy vector hỗ trợ SWM Steering Wheel Movement Chuyển động vô-lăng viii DANH MỤC CÁC BẢNG Bảng 2.1: Một số kết ví dụ so sánh cường độ ảnh .35 Bảng 2.2: So sánh tính hiệu kỹ thuật phát khuôn mặt 38 Bảng 3.1: Kết thử nghiệm thuật toán đề xuất 66 Bảng 3.2: Đánh giá độ phức tạp 67 Bảng 4.1: Hệ số hồi qui Logistic cho mô hình LM1 LM2 77 Bảng 4.2: So sánh hiệu hai mô hình LM1 LM2 .78 ix DANH MỤC CÁC HÌNH Hình 0.1 Tương quan tỷ lệ tai nạn số lái xe Hình 0.2: Hệ thống phát cảnh báo lái xe ngủ gật hãng Denso .2 Hình 0.3: Sơ đồ nhận dạng trạng thái mắt Hình 1.1: Hệ thống nhận dạng trạng thái ngủ gật .19 Hình 2.1: Mẫu khuôn mặt phương pháp định vị .31 Hình 2.2 Ảnh ví dụ phép so sánh cường độ 35 Hình 2.3: Hệ thống camera với vòng đèn LEDs 39 Hình 2.4: Trạng thái sáng tối 40 Hình 2.5: Kết thử nghiệm 44 Hình 2.6: Các mẫu eigeneye .47 Hình 2.7: Hệ thống phát ngủ gật dựa trạng thái mắt 50 Hình 2.8: Biểu đồ theo dõi trạng thái ngủ gật dựa vào trạng thái mắt 52 Hình 3.1: Mô hình hệ thống 53 Hình 3.2: Ước lượng hướng đầu từ liệu Kinect 54 Hình 3.3: Đối tượng hình dạng kết cấu hình ảnh 56 Hình 3.4: Mô hình pháp tuyến khuôn mặt 58 Hình 3.5: Xác định tham số mô hình Lm, Ln Lf .59 Hình 3.6: Mô hình mặt đề xuất 61 Hình 3.7: Giao diện sinh liệu từ mô hình 3D .66 Hình 3.8: Sự phân bố giá trị tham số dm .68 Hình 3.9: Sự phân bố giá trị tham số khác 68 Hình 3.10: Một số mẫu phát xác tập điểm đặc trưng 69 Hình 3.11: Một số mẫu phát không xác tập điểm đặc trưng 69 Hình 3.12: Biểu đồ theo dõi trạng thái ngủ gật dựa vào hành vi gật lắc 70 Hình 4.1: Hệ thống tích hợp 72 Hình 4.2: Tấm lót ghế có chế độ rung mát-xa 79 Hình 4.3: Đánh thức lái xe ngủ gật 79 MỞ ĐẦU Phát biểu vấn đề Tai nạn giao thông vấn nạn đe dọa nghiêm trọng tính mạng người Và không vấn nạn Việt Nam ta mà tượng mang tính toàn cầu [92] Cụ thể là, Việt Nam, số liệu thống kê gần cho thấy, trung bình ngày có hàng chục người bị thiệt mạng hàng trăm người bị thương thương tật suốt đời tai nạn giao thông; chẳng hạn như, tính từ ngày 16-12-2014 đến 15-9-2015, nước xảy 16.459 vụ tai nạn giao thông, làm chết 6.518 người, làm bị thương 14.868 người [1] Hiệp hội Du lịch Đường An toàn Quốc tế (ASIRT) rằng, nhiều nguyên nhân dẫn đến chết người thì, nay, tai nạn giao thông đứng vị trí thứ (sau dịch bệnh, chiến tranh, v.v ) tình hình không cải thiện đứng vị trí thứ vào năm 2030 [6] Rõ ràng mát khủng khiếp, đồng nghĩa với ngày có hàng nghìn gia đình giới phải gánh chịu mát đau thương từ “ra đi” hay từ tật nguyền, giảm khả lao động người thân; xã hội công dân tài năng, đóng góp sức lao động trực tiếp hay gián tiếp tạo cải vật chất cho xã hội Chính vậy, an toàn giao thông xem vấn đề quan trọng không Việt Nam mà quốc gia giới Một nguyên nhân gây tai nạn giao thông lái xe ngủ gật Theo ước lượng Cơ quan Quản lý An toàn Giao thông Quốc lộ Hoa Kỳ (SHSA), Hoa Kỳ, năm có khoảng 328.000 vụ tai nạn giao thông xảy buồn ngủ mệt mỏi lái xe, dẫn đến khoảng 6.400 người chết, gây thiệt hại 109 tỷ USD hàng năm (chưa kể tổn thất phương tiện giao thông) [28] Các nghiên cứu quan cho thấy 52% số vụ tự gây tai nạn xe tải hạng nặng buồn ngủ lái xe; 37% người dân trưởng thành khảo sát cho biết họ ngủ gà ngủ gật lái xe lần Ngủ gật biểu thường thấy mệt mỏi, tập trung lái xe liên tục thời gian dài; khả quan sát phản ứng lái xe bị giảm đáng kể, không kịp phản xạ để tránh tình nguy hiểm tới gần chướng ngại vật phương tiện giao thông khác Chính vậy, buồn ngủ ảnh hưởng nghiêm trọng đến khả lái xe [10]; cần vài giây ngủ gật tai nạn xảy gây hậu nặng nề Như thấy Hình 0.1, tồn mối tương quan mạnh mẽ số làm việc lái xe số vụ tai nạn liên quan [59] Trước tình hình tai nạn giao thông diễn biến ngày phức tạp với mức độ ngày nghiêm trọng, vấn đề đảm bảo an toàn giao thông nhiều quốc gia giới trở thành vấn đề vô quan trọng cấp thiết Xã hội ngày phát triển, văn minh an toàn sức khỏe người phải đề cao Hình 0.1 Tương quan tỷ lệ tai nạn số lái xe Trong năm qua, nhiều nhà khoa học giới nỗ lực không ngừng việc nghiên cứu phát triển phương tiện giao thông thông minh, có độ an toàn cao Do đó, sử dụng hệ thống trợ giúp theo dõi mức độ cảnh giác lái xe cảnh báo lái xe lúc mệt mỏi việc làm có ý nghĩa nhằm phòng chống tai nạn [45] Cho đến nay, nhiều hệ thống phát cảnh báo lái xe ngủ gật xây dựng phát triển [87], [2]; đó, phải kể đến hệ thống phát cảnh báo lái xe ngủ gật hãng Denso Hình 0.2 Hình 0.2: Hệ thống phát cảnh báo lái xe ngủ gật hãng Denso Một khâu khó khăn việc phát lái xe ngủ gật cần phải giải vấn đề phát mặt người tình trạng nghiêng, tức khuôn mặt không thẳng với camera thu nhạn Do vậy, trạng thái lắc lư xe hay chớp mắt lái xe gây khó khăn cho khâu này, khâu khó khăn toán phát mặt người [42] Các kỹ thuật cảnh báo nhằm đánh thức lái xe sử dụng cảnh báo âm thanh, đưa lời khuyên “bạn buồn ngủ”, “Bạn buồn ngủ, dừng xe lại ngay” Hoặc rung chỗ ngồi, rung tay lái, phun khí vào cổ lái xe chuyển sang chế độ lái tự động dừng Do đó, để góp phần làm giảm thiểu tai nạn giao thông tình trạng ngủ gật lái xe, tác giả chọn nghiên cứu đề tài “Phát triển số kỹ thuật phát lái xe ngủ gật dựa trạng thái mắt hành vi gật lắc” để thực Luận án hệ thống phát buồn ngủ hiệu thân thiện giúp dành lại sống cho nhiều người làm cho giới trở thành nơi tốt để sống Ngữ cảnh, ràng buộc, thách thức Gần đây, phương pháp phát buồn ngủ sử dụng trí tuệ nhân tạo nhiều nhà nghiên cứu đặc biệt quan tâm nhằm hướng đến chế tạo xe thông minh Theo đó, người ta tích hợp chế tự động phát ngủ gật vào hệ thống xe nhằm cảnh báo lái xe, ngăn ngừa tai nạn xảy ra; cụ thể, phương pháp phát buồn ngủ chia thành ba nhóm chính: (1) Dựa vào phương tiện; (2) Dựa vào hành vi lái xe; (3) Dựa vào sinh lý lái xe [65], [72] Để phát buồn ngủ, phương pháp dựa vào phương tiện sử dụng số đại lượng đo lường như: độ lệch khỏi vị trí đường, khoảng cách xe lái xe xe trước nó, chuyển động vô-lăng, áp lực lên bàn đạp ga, v.v Các đại lượng giám sát cách liên tục thông qua việc đặt cảm biến vào thành phần xe vô-lăng, bàn đạp ga phân tích liệu thu từ cảm biến Bất kỳ thay đổi vượt ngưỡng cho phép báo hiệu khả xảy tình trạng lái xe ngủ gật [63], [26] Tuy nhiên, hệ thống phụ thuộc chất lượng đường ánh sáng, chúng hoạt động tốt đường cao tốc 79 thông âm giúp lái xe nhanh “tỉnh ngủ” Hiện nay, với công nghệ di động tiên tiến, hệ thống kết nối với điện thoại thông minh (smartphone) đồng hồ thông minh (smartwatch) thông qua bluetooth để tạo tiếng kêu và/hoặc độ rung để giúp lái xe tỉnh táo Hình 4.2: Tấm lót ghế có chế độ rung mát-xa Hình 4.3: Đánh thức lái xe ngủ gật 80 Tóm tắt Chương Với kết đạt từ hai kỹ thuật phát ngủ gật Chương Chương 3, Luận án tiến hành tích hợp hai kỹ thuật vào thành hệ thống phát đánh thức lái xe trạng thái ngủ gật Để làm điều đó, Luận án tiến hành xác định mối quan hệ trạng thái ngủ gật với trạng thái mắt hành vi gật đầu kỹ thuật phân tích hồi qui tuyến tính hồi qui logistic nhị phân Kết phân tích cho thấy việc xem xét tác động cộng gộp trạng thái mắt hành vi gật lắc giúp cho hệ thống phát 99% số trường hợp ngủ gật Kết nghiên cứu chương công bố công trình (7) 81 KẾT LUẬN Trước tình hình tai nạn giao thông diễn biến ngày phức tạp mức độ ngày nhiều, vấn đề đảm bảo an toàn giao thông trở nên cấp thiết quan trọng nhiều quốc gia giới Thực tế cho thấy nhiều vụ tai nạn xe nghiêm trọng xảy xuất phát từ nguyên nhân “do lái xe ngủ gật” Cũng mà nhiều nhà khoa học nỗ lực không ngừng việc nghiên cứu phát triển kỹ thuật phát cảnh báo lái xe ngủ gật cho ngày tốt hiệu Rõ ràng rằng, tiến khoa học công nghệ, đặc biệt công nghệ thông tin, hỗ trợ đắc lực cho phát triển xã hội người Và ứng dụng quan trọng lĩnh vực an toàn giao thông hệ thống phát cảnh báo lái xe ngủ gật Để xây dựng hệ thống ấy, tùy vào cách tiếp cận mà người ta cần xem xét số toán toán phát mặt người ảnh, nhận dạng mặt người, phát mắt nhận dạng mắt, phát theo dõi hành vi lái xe, v.v Nhiều kỹ thuật để giải toán đề xuất, thử nghiệm đạt thành công định Tuy nhiên, khâu khó khăn việc phát lái xe ngủ gật cần phải giải vấn đề phát mặt người tình trạng nghiêng, tức khuôn mặt không thẳng với camera thu nhận Và, trạng thái lắc lư xe hay chớp mắt lái xe gây khó khăn cho khâu Để khắc phục vấn đề này, Luận án đề xuất kỹ thuật ước lượng hướng đầu dựa mô hình pháp tuyến khuôn mặt xây dựng kỹ thuật phát ngủ gật dựa hành vi gật lắc lái xe Ngoài ra, Luận án xem xét đặc trưng mắt trạng thái ngủ gật để xây dựng thuật toán cải tiến việc phát khuôn mặt, phát mắt nhận dạng trạng thái mắt để đưa kỹ thuật phát ngủ gật dựa trạng thái mắt Đặc biệt, Luận án kết hợp hai kỹ thuật phát ngủ gật vào hệ thống tích hợp sau sử dụng phương pháp phân tích thống kê mô hình hồi qui tuyến tính hồi qui logistic nhị phân Với số liệu thử nghiệm hệ 82 thống tích hợp phát xác cao trạng thái ngủ gật lái xe Luận án có hai đóng góp quan trọng, gồm: (1) phát triển kỹ thuật tự động tính toán thông số mô hình pháp tuyến khuôn mặt thay giá trị thông số phải xác định trước; (2) phát triển kỹ thuật nhận diện trạng thái ngủ gật lái xe cách nhận diện trạng thái đóng mở mắt góc nghiêng khuôn mặt dựa vào pháp tuyến khuôn mặt Luận án thử nghiệm cho hệ thống tích hợp có khả phát ngủ gật với độ xác cao kỹ thuật đánh thức hiệu Một vấn đề bỏ ngỏ có hệ thống nhúng có chất lượng thiết kế phù hợp; đồng thời thông qua thành tựu gần lĩnh vực y sinh điện tử để với việc nhận dạng trạng thái lái xe để qua tăng mức độ tĩnh táo lái xe 83 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ L.T Hien, T.V Lang, H.M Toan, D.N Toan (2012), “Modeling the human face and its application for detection of driver drowsiness”, International Journal of Computer Science and Telecommunications, vol 3, No 11, 56-59 L.T Hien, D.N Toan, H.M Toan (2015), “Detecting Human Face with RidgeValley-Normal Model”, International Journal of Computer Science and Software Engineering, Vol 4, Iss 4, 107-113 Lâm Thành Hiển, Đỗ Năng Toàn, Trần Văn Lăng, Trần Hành (2014), “Phát hành vi gật đầu ứng dụng toán lái xe ngủ gật”, Kỷ yếu Hội nghị quốc gia lần thứ VII Nghiên cứu ứng dụng CNTT (National Conference on Fundamental and Applied IT Research - FAIR’7), Thái Nguyên, 19 - 20/6/2014, ISBN: 978-604-913-300-8, NXB Khoa học tự nhiên Công nghệ, DOI: 10.15625/FAIR VII.2014-0374, 483-487 Lâm Thành Hiển, Trần Văn Lăng, Đỗ Năng Toàn (2014), “Một cải tiến cho toán phát hướng đầu dựa mô hình pháp tuyến khuôn mặt”, Tạp chí Khoa học Công nghệ, Viện Hàn lâm Khoa học Công nghệ Việt Nam, 52 (4D), 133-141 L.T Hien, D.N Toan, T.V Lang (2015), “Detection of human head direction based on facial normal algorithm”, International Journal of Electronics Communication and Computer Engineering, Vol 6, Issue 1, 110-114 L.T Hien, D.N Toan (2016), “An Algorithm to Detect Driver’s Drowsiness Based on Nodding Behaviour”, International Journal of Soft Computing, Mathematics and Control, Vol 5, Issue 1, 1-8 L.T Hien, T.L Nguyen, D.N Toan (2016), “Statistical relationship among driver’s drowsiness, eye state and head posture”, Journal of Informatics and Mathematical Sciences, Vol 8, Issue 1, 37-48 L.T Hien, D.N Toan, H.M Toan, T.L Nguyen (2016), “Effective Detection of Human Face with GentleBoost Approach”, International Journal of Computer Science and Network Security, Vol 16, Issue 12, 103-108 84 TÀI LIỆU THAM KHẢO Tiếng Việt Chính Phủ (2015), Báo cáo Chính Phủ số 476/BC-CP (ngày 08 tháng 10 năm 2015) Trương Quốc Định Nguyễn Đăng Quang (2015), “Hệ thống phát tình trạng ngủ gật lái xe”, Tạp chí Khoa học Trường Đại học Cần Thơ, Số chuyên đề: Công nghệ thông tin, tr 160-167 Tiếng Anh Acharya U.R., Joseph K.P., Kannathal N., Lim C.M., Suri J.S (2006), “Heart rate variability: A review”, Medical & Biological Engineering & Computing, 44(12), pp 1031-1051 Alioua N., Amine A., Rziza M (2014), “Driver’s fatigue detection based on yawning extraction”, International Journal of Vehicular Technology, pp 17 ASIRT-Association for Safe International Road Travel (2015), “Road crash statistics”, Accessed on 25 August 2015, URL https://asirt.org/initiatives/ informing-road-users/road-safety-facts/road-crash-statistics Azim T., Jaffar M., Mirza A (2009), “Automatic fatigue detection of drivers through pupil detection and yawning analysis”, Fourth International Conference on Innovative Computing, Information and Control Bergasa L.M., Nuevo J., Sotelo M.A., Barea R., Lopez M.E (2006), “Real-time system for monitoring driver vigilance”, IEEE Transactions on Intelligent Transportation Systems, 7(1) Bergasa L.M., Nuevo J., Sotelo M.A., Vhzquez M (2004), “Real-time system for monitoring driver vigilance”, Proceeding of IEEE Intelligent Vehicles Symposium, Parma, Italy Bhandari G.M., Durge A., Bidwai A., Aware U (2014), “Driver drowsiness 85 monitoring”, International Journal of Scientific Engineering and Technology, 3(2), pp 203-206 10 Brandt T., Stemmer R., Mertsching B., Rakotonirainy A (2004), “Affordable visual driver monitoring system for fatigue and monotony”, Proceedings of IEEE International Conference on Systems, Man and Cybernetics, Hague, Netherlands 11 Brown I.D (1994), “Driver fatigue- human factors”, The Journal of the Human Factors and Ergonomics Society, 36(2), pp 298-314 12 Cai H., Lin Y (2007), “An Experiment to Non-Intrusively Collect Physiological Parameters Towards Driver State Detection”, Proceedings of SAE 2007 World Congress, Detroit, Michigan, USA 13 Catarino R., Spratley J., Catarino I., Lunet N., Pais-Clemente M (2014), “Sleepiness and sleep-disordered breathing in truck drivers: Risk analysis of road accidents”, Sleep and Breathing, 18(1), pp 59-68 14 Cendrillon R., Lowell B.C (2000), “Real-time face recognition using Eigenfaces”, Proceedings of the SPIE International Conference on Visual Communications and Image Processing, 4067, pp 269-276 15 Chellappa R., Wilson C., Sirohey S (1995), “Human and machine recognition of faces: A survey” Proceedings of the IEEE, 83(5), pp 705 -740 16 Chetverikov D., Lerch A (1993), “Multiresolution face detection”, In Theoretical Foundations of Computer Vision- Series: Mathematical Research - Vol 69, Akademie Verlag, pp 131-140 17 Cook (2009), Three algorithms for converting color to grayscale, Accessed on November 12th, 2016 from https://www.johndcook.com/blog/ 2009/08/24/algorithms-convert-color-grayscale/ 18 Cootes T., Edwards G., Taylor C (1998), “Active appearance models”, In H.Burkhardt and B Neumann (Eds.), 5th European Conference on Computer Vision, 2, pp 484-498 19 Cootes T., Edwards G., Taylor C (2001), “Active appearance models”, IEEE 86 Transactions on Pattern Analysis and Machine Intelligence, 23(6), pp 681-685 20 Cox I.J., Ghosn J., Yianilos P.N (1996), “Feature-based face recognition using mixture-distance”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp 209-216 21 D’Orazio T., Leo M., Distante A (2004), “Eye detection in faces images for a driver vigilante system”, IEEE Intelligent Vehicles Symposium, University of Parma, Italy 22 Dehnavi M., Eshghi M (2012), “Design and implementation of a real time and train less eye state recognition system”, EURASIP Journal on Advances in Signal Processing, 30, pp 1-12 23 Dinges D.F (1995), “An overview of sleepiness and accidents”, Journal of sleep research, 4(S2), pp 4-14 24 Ekman P., Friesen W (1978), Facial Action Coding System: A Technique for the Measurement of Facial Movement, Consulting Psychologists Press, Palo Alto, CA 25 Eskandarian A., Mortazavi A (2007), “Evaluation of a smart algorithm for commercial driver drowsiness detection”, Proceeding of the 2007 IEEE Intelligent Vehicles Symposium 26 Fan Z.G., Lu B.L (2005), “Fast recognition of multi-view faces with feature selection”, Tenth IEEE international conference on Computer vision, 1, pp 7681-7688 27 Felipe M (2016), “Death toll cause by drowsy driving rises, millions of Americans guilty of it”, AUTO WORLD NEWS URL http://www.autoworldnews.com/articles/18087/20160811/drowsydriving-rises-americans.htm 28 Flores M.J., Armingol J.M., De la Escalera A (2010), “Driver drowsiness warning system using visual information for both diurnal and nocturnal illumination conditions”, EURASIP Journal on Advances in Signal 87 Processing, 2010 (1), pp 1-23 29 Flores M.J., Armingol J.M., De la Escalera A (2011), “Driver drowsiness detection system under infrared illumination for an intelligent vehicle”, Intelligent Transport Systems, 5(4), pp 241 - 251 30 Friedman J., Hastie T., Tibshirani R (2000), Additive logistic regression: A statistical view of boosting, The Annals of Statistics, 38(2), 337-374 31 Friedrichs F., Yang B (2010), “Camera-based drowsiness reference for driver state classification under real driving conditions”, IEEE Intelligent Vehicles Symposium (IV), pp 101-106 32 Furman G., Baharav A., Cahan C., Akselrod S (2008), Early detection of falling asleep at the wheel: A heart rate variability approach, Computers in Cardiology, pp 1109-112 33 Furman G.D., Baharav A (2010), “Investigation of drowsiness while driving utilizing analysis of heart rate fluctuations”, Computing in Cardiology, pp 1091 - 1094 34 Gee A., Cipolla R (1994), “Determining the gaze of faces in images”, Image and Vision Computing, 12(10), pp 639-647 35 Grace R., Byme V.E., Bierman D.M., Legrand J.M., Gricourt D., Davis R.K., Staszewski J.J., Carnahan B (1998), “A drowsy driver detection system for heavy vehicles”, Proceedings of 17th AIAA/IEEE/SAE Digital Avionics Systems Conference (DASC), Washington, USA 36 Graf H.P., Chen T., Petajan E., Cosatto E (1995), “Locating faces and facial parts”, Proceedings of the First International Workshop Automatic Face and Gesture Recognition, pp 41-46 37 Graf H.P., Cosatto E., Gibbon D., Kocheisen M., Petajan E (1996), “Multimodal system for locating heads and faces”, Proceedings of Second International Conference on Automatic Face and Gesture Recognition, pp 88-93 38 Guggisberg A.G., Mathis J., Schnider A., Hess C.W (2010), “Why we yawn?”, Neuroscience & Biobehavioral Reviews, 34, pp 1267-1276 88 39 Han C.C., Liao H.Y.M., Yu G.J., Chen L.H (2000), “Fast face detection via morphology-based pre-processing”, Pattern Recognition, 33, pp 1701-1712 40 Haworth N.L., Triggs T.J., Grey E.M (1988), Driver Fatigue: Concepts, Measurement and Crash Countermeasures Human Factors Group, Department of Psychology, Monash University 41 Hien L.T., Toan D.N (2016), “An algorithm to detect driver’s drowsiness based on nodding behavior”, International Journal of Soft Computing, Mathematics and Control, 5(1), pp 1-8 42 Hien L.T., Toan D.N., Lang T.V (2015), “Detection of human head direction based on facial normal algorithm”, International Journal of Electronics Communication and Computer Engineering, 6(1), pp 110-114 43 Jan T.V., Karnahl T., Seifert K., Hilgenstock J., Zobel, R (2005), Don’t Sleep and Drive-VW’s Fatigue Detection Technology, Center for Automotive Safety Research, Adelaide University, Australia 44 Javier J.P., Miguel T.T (2013), “Optical flow and driver’s kinematics analysis for state of alert sensing”, Sensors, 13(4), pp 4225-4257 45 Ji Q., Yang X (2002), “Real-time eye, gaze, and face pose tracking for monitoring driver vigilance”, Real-time Imaging, 46 Ji Q., Zhu Z., Lan P (2004), “Real-time nonintrusive monitoring and prediction of driver fatigue”, IEEE Transactions on Vehicular Technology, 53(4), pp 1052-1068 47 Jolliffe I.T (2002), Principle Component Analysis, 2nd Ed., NY, USA: Springer 48 Leung T.K., Burl M.C., Perona P (1995), “Finding faces in cluttered scenes using random labeled graph matching”, Proceedings of the Fifth IEEE International Conference on Computer Vision, pp 637-644 49 Li G., Chung W.Y (2013), “Detection of driver drowsiness using wavelet analysis of heart rate variability and a support vector machine classifier”, Sensors, 12, pp 16494-16511 50 Lin C.T., Chang C.J., Lin B.S., Hung S.H., Chao C.F., Wang I.J (2010), “A 89 real-time wireless brain-computer interface system for drowsiness detection”, IEEE Transactions on Biomedical Circuits and Systems, 4, pp 214 - 222 51 Lin C.T., Ko L.W., Chung I.F., Huang T.Y., Chen Y.C., Jung T.P., Liang S.F (2006), “Adaptive EEG-based alertness estimation system by using ICAbased fuzzy neural networks”, IEEE Transactions on Circuits and Systems, 53(11), pp 2469 - 2476 52 Liu D.H., Sun P., Xiao Y.Q., Yin Y (2010), “Drowsiness detection based on eyelid movement”, Second International Workshop on Education Technology and Computer Science, 2, pp 49 - 52 53 Liu X., Xu F., Fujimura K (2002), “Real-time eye detection and tracking for driver observation under various light conditions”, Proceeding of IEEE Intelligent Vehicle Symposium, Versailles, France 54 Markus W (1999), Frontal face dataset URL http://www.vision.caltech edu/html-files/archive.html 55 Mohanty M., Mishra A., Routray A (2009), “A non-rigid motion estimation algorithm for yawn detection in human drivers”, International Journal of Computational Vision and Robotics, 1(1), pp 89-109 56 MPLab-Machine Perception Laboratory (2009), The MPLAB GENKI database, GENKI-4K subset URL http://mplab.ucsd.edu/wordpress/wpcontent/uploads/genki4k.tar 57 Nakagawa T., Kawachi T., Arimitsu S., Kanno M., Sasaki K., Hosaka H (2006), “Drowsiness detection using spectrum analysis of eye movement and effective stimuli to keep driver awake”, DENSO Technical Review, 12(1), pp 113-119 58 National Sleep Foundation (2015), Facts and stats, Accessed on September 15, 2015 URL http://drowsydriving.org/about/facts-and-stats/ 59 Nuevo J., Bergasa L.M (2005), “Real-time system for monitoring driver vigilance”, IEEE International Symposium on Industrial Electronics, 90 Dubrovnik, Croatia [59] 60 Nuevo J., Bergasa L.M., Llorca D.F., Ocana M (2011), Face tracking with automatic model construction, Image and Vision Computing, 29, pp 209218 61 OpenCV HaarTraining, Tutorial on OpenCV Haartraining URL http:// tutorialhaartraining.googlecode.com 62 Pal N.R., Chuang C.Y., Ko L.W., Chao C.F., Jung T.P., Lieng S.F., Lin C.T (2008), EEG-based subject- and session-independent drowsiness detection: An unsupervised approach EURASIP Journal on Advances in Signal Processing, 2008, pp 2-11 63 Papadelis C., Papadeli C.K., Bamidis P.D., Chouvarda I (2006), “Indicators of sleepiness in an ambulatory eeg study of night driving”, Proceeding of the 28th IEEE EMBS Annual International Conference, New York City, USA 64 Parmar N (2002), Drowsy driver detection system, Design Project- Department of Electrical and Computer Engineering, Ryerson University 65 Pelaez C.G.A., Garcia F., De la Escalera A., Armingol J.M (2014), “Driver monitoring based on low-cost 3-d sensors”, IEEE Transactions on Intelligent Transportation Systems, 15(4), pp 1855 - 1860 66 Pigeon S., Vandendrope L (1997), “The M2VTS multimodal face database”, Proceedings of First International Conference Audio- and Video-Based Biometric Person Authentication, pp 403-409 67 Rau P.S (2005), Drowsy Driver Detection and Warning System for Commercial Vehicle Drivers: Field Operational Test Design, Data Analyses and Progress, National Highway Traffic Safety Administration of USA (NHTSA) 68 Reddy K., Sikandar A., Savant P., Choudhary A (2014), “Driver drowsiness monitoring based on eye map and mouth contour”, International Journal of Scientific & Technology Research, 3(5), pp 147-156 69 SafetyNet (2009), Fatigue, European Commission Road Safety, Accessed on 91 January 12th, 2016, URL http://ec.europa.eu/transport/road_safety/ specialist/knowledge/pdf/fatigue.pdf 70 Sahayadhas A., Sundaraj K., Murugappan M (2012), “Detecting driver drowsiness based on sensors: A review”, Sensors, 12, pp 16937-16953 71 Saini V., Saini R (2014), “Driver drowsiness detection system and techniques: A review”, International Journal of Computer Science and Information Technologies, 5(3), pp 4245-4249 72 Saradadevi M., Bajaj P (2008), “Driver fatigue detection using mouth and yawning analysis”, International Journal of Computer Science and Network Security, 8(6), pp 183-188 73 Scassellati B (1998), “Eye finding via face detection for a foveated, active vision system”, Proceedings of 15th National Conference on Artificial Intelligence, pp 1146-1151 74 Schneiderman H., Kanade T (1998), “Probabilistic modeling of local appearance and spatial relationships for object detection”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp 40-50 75 Seeing Machines (2007), Driver State Sensor - User Manual 2.0 76 Senthilkumaran N., Rajesh R (2009), “A study on edge detection methods for image segmentation”, Proceedings of the International Conference on Mathematics and Computer Science (ICMCS-2009), 1, pp 255-259 77 Shah A., Kukreja S., Shinde P., Kumari A (2014), “Yawning detection of driver drowsiness”, International Journal of Recent Development in Engineering and Technology, 2(3), pp 137-140 78 Sigari M.H., Pourshahabi M.R., Soryani M., Fathy M (2014), “A review on driver face monitoring systems for fatigue and distraction detection”, International Journal of Advanced Science and Technology, 64, pp 73100 79 Singh K., Kaur R (2012), “Physical and physiological drowsiness detection methods”, International Journal of IT, Engineering and Applied Sciences 92 Research, 2, pp 35-43 80 Sinha P (1994), “Object recognition via image invariants: A case study”, Investigative Ophthalmology and Visual Science, 35(4), pp 1735-1740 81 Sinha P (1995), Processing and recognizing 3D forms, PhD thesis, Massachusetts Inst of Technology 82 Su H., Zheng G (2008), “A partial least squares regression-based fusion model for predicting the trend in drowsiness”, IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans, 38(5), pp 1085 - 1092 83 Tadesse E., Sheng W., Liu M (2014), “Driver drowsiness detection through hmm based dynamic modeling”, 2014 IEEE International Conference on Robotics and Automation (ICRA), pp 4003 - 4008 84 Toan H.M., Toan D.N., Hien L.T., Lang T.V (2012), “Modeling the human face and its application for detection of driver drowsiness”, International Journal of Computer Science and Telecommunications, 3(11), pp 56-59 85 Torralba A., Murphy K.P., Freeman W.T (2007), Sharing Visual Features for Multiclass and Multiview Object Detection, IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(5), 854-869 86 Triola M.F (2014), Essentials of Statistics (5th Ed.), USA: Pearson 87 Vicente J., Laguna P., Bartra A., Bailón R (2016), “Drowsiness detection using heart rate variability”, Medical & Biological Engineering & Computing, 54, pp 927-37 88 Viola P., Jones M (2001), Rapid object detection using a boosted cascade of simple features, IEEE Conference on Computer Vision and Pattern Recognition 89 Vural E., Cetin M., Ercil A., Littlewort G., Bartlett M., Movellan J (2007), “Drowsy driver detection through facial movement analysis”, IEEE International Workshop on Human-Computer Interaction, pp 6-18 90 Wilson B.J., Bracewell T.D (2000), “Alertness monitoring using neural networks for EEG analysis”, Proceeding of the 10th IEEE Workshop on 93 NNSP 91 World Health Organization (2015), “Global status report on road safety 2015”, WHO/NMH/NVI/15.6, URL http://apps.who.int/iris/ bitstream/10665/189242/1/9789241565066_eng.pdf?ua=1 92 Wu Y., Ai X (2008), “Face detection in color images using Adaboost algorithm based on skin color information”, Proceedings of the First International Workshop on Knowledge Discovery and Data Mining, pp 339-342 93 Yoshida H., Kuramoto H., Sunada Y., Kikkawa S (2007), “EEG analysis in wakefulness maintenance state against sleepiness by instantaneous equivalent bandwidths”, Proceeding of the 29th Annual International Conference of the IEEE EMBS Cité Internationale, Lyon, France 94 Zhao C., Zhao M., Liua J., Zheng C (2012), “Electroencephalogram and electrocardiograph assessment of mental fatigue in a driving simulator”, Accident Analysis & Prevention, 45, pp 83-90 95 Zhu Z., Fujimura K., Ji Q (2002), “Real-time eye detection and tracking under various light conditions”, ACM Eye Tracking Research & Application symposium, New Orleans, Louisiana, USA 96 Zhu Z., Ji Q., Fujimura K., Lee K (2002), Combining KALMAN filtering and mean shift for real time eye tracking under active IR illumination”, Proceeding of 16th International Conference on Pattern Recognition, Quebec, Canada ... thái mắt 3) Chương - Kỹ thuật phát hành vi gật lắc trạng thái ngủ gật: Hành vi ngủ gật có liên quan mật thiết với trạng thái mắt hành vi gật lắc đầu lái xe; đó, chương trình bày sơ lược toán phát. .. buồn ngủ, Luận án đề xuất thuộc nhóm dựa vào trạng thái lái xe sử dụng thị giác máy tính Các kỹ thuật phát buồn ngủ phát triển Luận án bao gồm: • Kỹ thuật dựa vào trạng thái mắt; • Kỹ thuật dựa vào... hành vi gật lắc thông qua kỹ thuật xác định hướng mặt người ảnh kỹ thuật phát hành vi gật lắc đầu lái xe Với kết khả quan đạt từ kỹ thuật đề xuất, Luận án xây dựng kỹ thuật phát ngủ gật dựa vào