Phát triển một số kỹ thuật phát hiện lái xe ngủ gật dựa trên trạng thái mắt và hành vi gật lắc (tt)

1 MỞ ĐẦU Phát biểu vấn đề mục tiêu nghiên cứu Tai nạn giao thông vấn nạn đe dọa nghiêm trọng tính mạng người, không vấn nạn Việt Nam ta mà tượng mang tính toàn cầu Nhiều nghiên cứu giới cho thấy nguyên nhân gây tai nạn giao thông lái xe ngủ gật Ngủ gật hành vi mệt mỏi thể, có biểu đầu gục xuống giống tư cúi gằm mặt, mắt lim dim giây lát, tỉnh lại; khoảng thời gian ngắn ngủi ấy, thể rơi vào trạng thái vô thức, tài xế khả điều khiển xe, chạy không ổn định, lấn làn; lái xe không kịp phản xạ để tránh tình nguy hiểm tới gần chướng ngại vật phương tiện giao thông khác Hiện nay, việc sử dụng hệ thống trợ giúp theo dõi mức độ cảnh giác lái xe cảnh báo lái xe lúc mệt mỏi, ngủ gật đặc biệt quan tâm nhằm giảm thiểu vấn nạn Tuy nhiên, việc phát lái xe ngủ gật gặp khó khăn mặt người tình trạng nghiêng so với camera thu nhận Ngoài ra, trạng thái lắc lư xe hay chớp mắt lái xe gây khó khăn cho việc giải toán Do đó, để góp phần làm giảm thiểu tai nạn giao thông tình trạng ngủ gật lái xe, tác giả chọn nghiên cứu đề tài “Phát triển số kỹ thuật phát lái xe ngủ gật dựa trạng thái mắt hành vi gật lắc” để thực Luận án hệ thống phát buồn ngủ hiệu thân thiện giúp dành lại sống cho nhiều người làm cho giới trở thành nơi tốt để sống Mục tiêu Luận án phát triển số kỹ thuật phát hỗ trợ đánh thức lái xe trạng thái ngủ gật dựa tảng kỹ thuật thị giác máy tính Các công trình liên quan Gần đây, phương pháp phát buồn ngủ sử dụng trí tuệ nhân tạo nhiều nhà nghiên cứu đặc biệt quan tâm nhằm tích hợp chế tự động phát ngủ gật cảnh báo lái xe, ngăn ngừa tai nạn xảy Các phương pháp phát chia thành ba nhóm chính: (1) Dựa vào phương tiện; (2) Dựa vào hành vi lái xe; (3) Dựa vào sinh lý lái xe a) Phương pháp dựa vào phương tiện Các phương pháp thuộc loại sử dụng cảm biến đặt thành phần xe vô-lăng, bàn đạp ga để đo lường số đại lượng như: độ lệch khỏi vị trí đường, khoảng cách xe lái xe xe trước nó, chuyển động vô-lăng, áp lực lên bàn đạp ga, v.v Các đại lượng giám sát cách liên tục để thực cảnh báo có thay đổi vượt ngưỡng cho phép Tuy nhiên, chúng phụ thuộc chất lượng đường, ánh sáng, hoạt động tốt tình hạn chế Và, hệ thống phát buồn ngủ chưa ảnh hưởng đến tình trạng xe b) Phương pháp dựa vào tín hiệu sinh lý lái xe Nhóm sử dụng tín hiệu điện não đồ (EEG) điện tâm đồ (ECG) để phát buồn ngủ; đó, ECG tín hiệu sinh lý sử dụng phổ biến Ngoài ra, nhịp tim độ biến thiên nhịp tim thường sử dụng để phát buồn ngủ c) Phương pháp dựa vào hành vi lái xe Các phương pháp thuộc nhóm sử dụng ánh sáng hồng ngoại (IR) ánh sáng ban ngày hệ thống giám sát gương mặt cách ghi lại hình ảnh từ vẻ mặt người lái xe chiết xuất triệu chứng mệt mỏi tập trung từ mắt, miệng đầu như: tỷ lệ phần trăm đóng mí mắt theo thời gian (PERCLOSE), khoảng cách mí mắt tỷ lệ chớp mắt, tốc độ chớp mắt, hướng ánh mắt, chuyển động đột ngột mắt, ngáp, gật đầu, hướng đầu, v.v… đó, chúng không gây khó chịu hay xáo trộn lái xe Đối tượng, phạm vi phương pháp nghiên cứu a) Đối tượng nghiên cứu Luận án: trạng thái (hành vi) ngủ gật, dựa trạng thái mắt hành vi gật lắc đầu lái xe b) Phạm vi nghiên cứu: đầu vào ảnh tiền xử lý phương pháp xử lý sở thị giác máy tính c) Phương pháp: Để phát lái xe buồn ngủ, Luận án đề xuất thuộc nhóm dựa vào trạng thái lái xe sử dụng thị giác máy tính Các kỹ thuật phát buồn ngủ phát triển Luận án bao gồm: • Kỹ thuật dựa vào trạng thái mắt; • Kỹ thuật dựa vào hành vi gật lắc đầu; • Kỹ thuật kết hợp dựa vào trạng thái mắt hành vi gật lắc Việc phát triển kỹ thuật dựa hành vi gật lắc cần có phương pháp ước lượng hướng đầu Phương pháp ước lượng hướng đầu đề xuất Luận án thiết kế dựa kỹ thuật xác định vị trí khuôn mặt người, kết hợp với giải thuật Mô hình ngoại quan tích cực (Active Appearance Model - AAM) Mô hình pháp tuyến khuôn mặt Khi ngủ gật hướng đầu thường trạng thái nghiêng, tức khuôn mặt không thẳng với camera thu nhận Đây vấn đề thách thức cần giải phát ngủ gật cách hiệu Để giải vấn đề này, Luận án đề xuất việc kết hợp kỹ thuật ước lượng hướng đầu dựa Mô hình pháp tuyến khuôn mặt Luận án đề xuất kỹ thuật phát lái xe ngủ gật cách kết hợp hai kỹ thuật: dựa vào trạng thái mắt dựa vào hành vi gật lắc Kỹ thuật kết hợp thực sau xác định mối quan hệ yếu tố trạng thái mắt, hành vi gật lắc trạng thái ngủ gật cách phân tích thống kê dùng mô hình hồi qui tuyến tính hồi qui logistic nhị phân Hệ thống tích hợp kỹ thuật kết hợp Luận án phát xác cao trạng thái ngủ gật lái xe Bố cục Luận án Ngoài phần Mở đầu giới thiệu chung phần Kết luận đề tài nghiên cứu, nội dung Luận án trình bày chương: • Chương – Tổng quan • Chương – Kỹ thuật phát trạng thái mắt ngủ gật • Chương – Kỹ thuật phát hành vi gật lắc trạng thái ngủ gật; • Chương – Hệ thống tích hợp phát lái xe trạng thái ngủ gật; CHƯƠNG – CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT PHÁT HIỆN LÁI XE NGỦ GẬT 1.1 Tổng quan kỹ thuật phát lái xe ngủ gật 1.1.1 Sinh lý giấc ngủ hành vi ngủ gật Ngủ tình trạng thể nghỉ ngơi, tự tu bổ để phục hồi Ngủ đầy đủ đem lại cảm giác khoẻ mạnh sảng khoái vào buổi sáng, đầu óc minh mẫn, sáng suốt Ngược lại, thiếu ngủ làm ta cảm thấy mệt mỏi, dễ nhầm lẫn, trí nhớ kém, trở nên khó chịu, cáu gắt, suất làm việc kém, quan hệ với người chung quanh trở nên khó khăn Đặc biệt xuất hành vi ngủ gật Theo quan điểm sinh lý học tâm lý học, khái niệm mệt mỏi buồn ngủ khác nhau, sở lý thuyết liên quan lĩnh vực công nghệ thông tin, mệt mỏi buồn ngủ thuật ngữ đồng nghĩa Cho tới nay, chưa có định nghĩa xác khoa học cho khái niệm “sự mệt mỏi”; đó, tiêu chí định lượng để đo lường Tuy vậy, nhiều nghiên cứu mối liên hệ mệt mỏi/buồn ngủ nhiệt độ thể, mắt chuyển động, nhịp thở, nhịp tim hoạt động não, có mối quan hệ chặt chẽ mệt mỏi tỷ lệ đóng mắt, v.v 1.1.2 Các phương pháp phát ngủ gật Hiện nay, có nhiều loại công nghệ phát mệt mỏi ngủ gật lái xe Người ta thường dùng camera để giám sát hành vi người nói chung lái xe nói riêng; chẳng hạn vị trí ngươi, ngáp, vị trí đầu, đồ mắt (eye map) đường viền miệng (mouth contour), loạt yếu tố khác Các phương pháp phát buồn ngủ chia thành ba nhóm chính: (1) Dựa vào phương tiện; (2) Dựa vào hành vi; (3) Dựa vào sinh lý Cụ thể là: a) Các phương pháp dựa vào phương tiện Một vài đại lượng đo lường độ lệch khỏi vị trí đường, chuyển động vô-lăng, áp lực bàn đạp tăng tốc, v.v giám sát cách liên tục Bất kỳ thay đổi vượt ngưỡng cho phép báo hiệu khả xảy tình trạng lái xe ngủ gật b) Các phương pháp dựa vào hành vi Các hành vi lái xe ngáp, đóng cửa mắt, mắt nhấp nháy, đầu nghiêng, v.v giám sát thông qua máy ảnh chương trình điều khiển có tín hiệu cảnh báo triệu chứng buồn ngủ phát c) Các phương pháp dựa vào sinh lý Buồn ngủ phát thông qua xung nhịp mạch máu, nhịp tim thông tin điện não Các kỹ thuật thường dùng việc phát buồn ngủ gồm có: ECG & EEG, Chuyển động vô-lăng, Kỹ thuật quang học, Kỹ thuật thống kê 1.1.3 Các toán liên quan đến phát ngủ gật Trong phạm vi nghiên cứu đề tài, Luận án xem xét hai kỹ thuật chính: (1) nhận dạng trạng thái mắt; (2) phát hành vi gật lắc Để thực hai kỹ thuật đó, Luận án cần xem xét đến hai toán liên quan như: (1) phát khuôn mặt; (2) phát mắt Các toán liên hệ với hệ thống phát lái xe trạng thái ngủ gật Hình 2.1 6 Hình 2.1: Hệ thống nhận dạng trạng thái ngủ gật Hình ảnh đầu vào thu nhận qua loại camera: (1) loại camera ống chuẩn CCIR; (2) loại camera số hoá; (3) loại camera quét dòng Chất lượng ảnh phụ thuộc nhiều vào chất lượng camera, môi trường xung quanh (ánh sáng, vật, thời gian, v.v ) Sau thu nhận, hình ảnh đưa vào tiền xử lý để nâng cao chất lượng nhằm giúp cho việc tìm kiếm đặc trưng yêu cầu dễ dàng xác Trong giai đoạn tiền xử lý, kích cỡ ảnh sở liệu ảnh cần tìm vị trí, tư ảnh mặt chuẩn hóa, độ sáng/tối ảnh hiệu chỉnh phù hợp; nhiễu lọc tối đa, v.v Trích chọn đặc trưng kỹ thuật sử dụng thuật toán để lấy thông tin mặt người để hệ thống phát xác đâu mặt người ảnh Sau phát khuôn mặt người, Luận án xác định vị trí mắt thông qua toán phát mắt người ảnh xác định trạng thái đóng/mở mắt Cũng từ trạng thái mắt xác định, Luận án thiết lập thông số liên quan để xác định xem lái xe có rơi vào tình trạng ngủ gật hay không Đồng thời, hệ thống xác định hướng mặt lái xe để phát hành vi gật lắc Hệ thống đưa cảnh báo tình trạng ngủ gật ba tình sau xảy ra: • Mắt rơi vào trạng thái ngủ gật thay đổi hướng mặt; • Có thay đổi hướng mặt đột ngột mắt trạng thái mở; điều xảy lái xe rơi vào trạng thái “ngủ ruột”; • Việc kết hợp trạng thái mắt hành vi gật lắc đạt đến ngưỡng đặt cho việc xác định trạng thái ngủ gật 1.2 Một số vấn đề lý thuyết sở 1.2.1 Nhận dạng mẫu Tất đối tượng (phần tử) có chung số tính chất đặc trưng điển hình nhóm lại thành “lớp” Các tính chất đặc trưng thể thông qua phần tử đại diện để phản ánh phần tử khác lớp đó, gọi “mẫu” Vậy, “nhận dạng” trình phân loại đối tượng biểu diễn theo mô hình gán chúng tên dựa theo quy luật mẫu chuẩn 1.2.2 Các bước xây dựng hệ nhận dạng Hệ nhận dạng khoa học máy tính thực số bước như: (1) mã hóa đại lượng vật lý đo từ đối tượng cần nhận dạng thành dấu hiệu đặc trưng cho dạng dạng đồng với dấu hiệu đặc trưng cho chúng; (2) Sau dạng mã hóa, lựa chọn dấu hiệu đặc trưng điển hình, loại bỏ dấu hiệu phụ để giảm bớt kích thước dạng mức độ phức tạp tính toán; (3) Đánh giá thông số đặc trưng dạng để xác định dạng đối tượng trước tiến hành so khớp để nhận dạng xác 1.2.3 Các khái niệm sở a) Không gian biểu diễn dạng (X): tập hợp dạng có (có thể hữu hạn vô hạn) đối tượng b) Không gian diễn dịch: tập hợp tên gọi dạng xác định không gian biểu diễn dạng c) Bài toán nhận dạng: Từ hai khái niệm trên, ta biểu diễn toán học toán nhận dạng sau: f : X → Ω ; đó, ánh xạ f tập hợp quy luật, tiêu chuẩn để xác định phần tử thuộc X ứng với phần tử Ω 1.2.4 Các phương pháp học nhận dạng a) Học có giám sát (Supervised learning): Đây kỹ thuật phân loại nhờ kiến thức biết trước thể qua thư viện mẫu chuẩn Mẫu cần nhận dạng đem so sánh với mẫu chuẩn để xem thuộc loại Vấn đề chủ yếu thiết kế hệ thống để đối sánh đối tượng ảnh với mẫu chuẩn định gán cho chúng vào lớp Việc đối sánh nhờ vào thủ tục định dựa công cụ gọi hàm phân lớp hay hàm định Các phương pháp thuộc nhóm gồm có: Support Vector Machine; K Nearest Neighbours; Naïve Bayes; Decision Tree; Neural Network; Centroid–base vector; hay Linear Least Square Fit – LLSF, v.v b) Học giám sát (Unsupervised learning): Kỹ thuật phải tự định lớp khác xác định tham số đặc trưng cho lớp cách gộp nhóm chọn lựa cách tốt Bắt đầu từ tập liệu, nhiều thủ tục xử lý khác nhằm phân lớp nâng cấp dần để đạt phương án phân loại tốt Một số phương pháp thuộc nhóm học gồm có K-means, HAC, DBSCAN, SOM (SelfOrganizing Map), FCM, v.v c) Học bán giám sát (Semi-supervised learning): Kỹ thuật kết hợp ưu điểm hai phương pháp học trước: học có giám sát học giám sát nhằm tăng độ xác cho trình nhận dạng Theo đó, kỹ thuật dùng thuật toán để học dạng mẫu chuẩn, sau tiến hành gán nhãn cho số dạng sau trình có lựa chọn cách hợp lý Tiếp theo, chuyển dạng có độ tin cậy cao theo ngưỡng qui định gắn nhãn vào thư viện mẫu chuẩn để làm sở cho việc đối sánh, nhận dạng 1.2.5 Thuật toán Gentleboost Thuật toán Gentle AdaBoost (viết tắt GentleBoost) có nhiều ưu điểm đơn giản, ổn định cho kết phân loại tốt nhiều ứng dụng Do đó, thuật toán GentleBoost xem xét Luận án Tóm tắt Chương Chương trình bày tổng quan vấn đề liên quan đến việc phát ngủ gật; cụ thể: công trình nghiên cứu về: hành vi ngủ gật, sinh lý giấc ngủ, phương pháp phát ngủ gật, lý thuyết liên quan xử lý kỹ thuật số toán liên quan như: phát khuôn mặt người ảnh, phát mắt, nhận dạng trạng thái mắt, phát hành vi gật lắc; lý thuyết nhận dạng (gồm có khái niệm sở bước việc xây dựng hệ nhận dạng, tiêu chuẩn phương pháp học nhận dạng) Đây tảng để xây dựng kỹ thuật phát trạng thái mắt ngủ gật Chương với ba toán, gồm: phát khuôn mặt người ảnh; phát mắt người ảnh; nhận dạng trạng thái mắt Hay, Chương trình bày sơ lược toán phát hành vi gật lắc đầu thông qua kỹ thuật xác định hướng mặt người ảnh kỹ thuật phát ngủ gật dựa vào hành vi gật lắc đầu lái xe 10 CHƯƠNG - KỸ THUẬT PHÁT HIỆN TRẠNG THÁI MẮT VÀ NGỦ GẬT 2.1 Bài toán phát khuôn mặt người ảnh 2.1.1 Tổng quan Việc phát khuôn mặt người ảnh nghiên cứu nhiều có nhiều phương pháp khác nhau; chẳng hạn phương pháp phát định vị khuôn mặt từ ảnh có phức tạp, hay phương pháp dùng đốm tối đốm sáng để tả mắt, gò má mũi, dùng vạch sọc để thể đường nét khuôn mặt, lông mày đôi môi, hay phương pháp định vị đặc trưng khuôn mặt khuôn mặt ảnh đa mức xám Tuy nhiên, phương pháp dùng phép toán hình thái học nên gặp số hạn chế định việc kết hợp đặc trưng để định vị khuôn mặt Trong đó, phương pháp xác định đặc trưng cục khớp đồ thị ngẫu nhiên dùng đặc trưng: mắt, lỗ mũi, đoạn môi mũi dùng để thể khuôn mặt chuẩn Để xác định thành phần nằm vùng chứa nó, nay, kỹ thuật sử dụng đặc trưng Haar thuật toán AdaBoost sử dụng rộng rãi 2.1.2 Đề xuất kỹ thuật phát mặt người Ý tưởng bản: thực phân lớp nhị phân với vùng ảnh quan tâm, từ kết luận vùng ảnh khuôn mặt hay không Việc xét duyệt thực chuỗi phân lớp nhị phân vùng ảnh chấp nhận chấp nhận toàn phân lớp nhị phân chuỗi Các phân lớp nhị phân xây dựng sở sử dụng định; đó, việc đánh giá nút phân lớp nhị phân Các phân lớp nhị phân xây dựng nhiều dạng khác để lựa chọn cách thức phân lớp đơn giản nhanh chóng số đầu tiên, giúp nhanh chóng loại vùng nền, đồng thời thiết kế dễ dàng mở rộng việc nghiên cứu thử nghiệm với cách thức phân lớp khác nút Việc phát mặt người tiến hành thông qua hai pha 11 Pha thứ pha học, tức từ tập ảnh khuôn mặt ảnh khuôn mặt để tạo liệu học mô hình khuôn mặt mẫu Pha thứ hai pha phát hiện, việc phát khuôn mặt việc dò tìm xem vùng ảnh có thỏa mãn đặc điểm mô hình xây dựng hay không a) Xây dựng mô hình nhận dạng khuôn mặt mẫu Với ý tưởng vậy, xây dựng dựa sở tập liệu huấn luyện có cấu trúc sau: {( I s , vs , ws ) : s = 1, 2, , S } ; đó, vs giá trị nhãn ảnh Is, ws trọng số tương ứng Luận án thực phân lớp nhị phân, tức gắn nhãn 1, cách cực tiểu hóa giá trị hàm mục tiêu: 2 WMSE = ∑ w ( v − v0 ) + ∑ w (v − v1 ) ( I , v , w)∈C0 ( I , v , w)∈C1 đó: C0 C1 hai nhóm tập huấn luyện, tương ứng kết phân chia hai giá trị nhị phân 1; tham số v0 v1 trung bình giá trị nhãn C0 C1 Algorithm: Thuật toán học Input: U = {( I s , vs , ws ) : s = 1, 2, , S} // liệu huấn luyện Output: T = {N0, N1 } // kết mô tả tập nút Process: T := Ø Idx0 = {0, 1, 2, , S-1} // tập số tương ứng với mẫu tập huấn luyện Sử dụng ngăn xếp để quản lý việc học nút Mỗi phần tử ngăn xếp gồm nút tập số mẫu dùng để học nút Stack := Ø // Đưa nút gốc vào ngăn xếp push ( Stack, (N0, Idx0) ) while ( Stack ≠ Ø ) // lấy phần tử đầu ngăn xếp { Ni, Idxi} := pop( Stack ) // Nếu nút đạt đủ độ cao, không thực tính toán chia đôi if ( Ni.level >= MAX_DEPTH ) Continue else 10 min_err := MAX_VALUE 11 best_bincls := null 12 for all bincls of BCS 13 e := WMSE( bincls, U, Idxi ) 14 if (e < minerr ) 12 best_bincls := bincls min_err := e 15 16 17 endif 18 endfor 19 setupNode (Ni, best_bincls, U, Idxi ) // Chia đôi tập số mẫu nút để làm liệu huấn luyện cho hai nút 20 { Idx i*2+1, Idx i*2+2} := SplitDataSet( U, Idxi, best_bincls ) // Tiếp tục đưa vào ngăn xếp hai nút với tập số mẫu tương ứng 21 push( Stack, (Ni*2+1, Idxi*2+1) ) 22 push( Stack, (Ni*2+2, Idxi*2+2) ) 23 endif 24 endwhile b) Phát khuôn mặt từ ảnh Ảnh đầu vào xét duyệt vị trí kích thước sở vùng ảnh chấp nhận chấp nhận toàn mô hình xây dựng, việc đánh giá nút phân lớp nhị phân con, với kỹ thuật lựa chọn cụ thể phép so sánh điểm ảnh đánh giá giá trị trung bình cục c) Kết thử nghiệm Việc thử nghiệm tiến hành theo bước: (1) học từ 3.500 ảnh khuôn mặt sở liệu khuôn mặt GENKI-SZSL nằm MPLab GENKI 3.019 ảnh thuộc liệu face negative OpenCV; (2) chạy thử nghiệm phát Pha học tiến hành máy tính Core i7 3,6 GHz, RAM 8GB tiếng để hoàn thành Còn pha thử nghiệm phát tiến hành với sở liệu khuôn mặt Markus Weber gồm 450 ảnh khuôn mặt Kết quả, thuật toán phát 423 ảnh gán có khuôn mặt người; có ảnh thực khuôn mặt người; tức thuật toán phát 416 ảnh 423 ảnh Do vậy, khả phát thuật toán xác định sau: Precision = 416/423 = 0.9834 (hay 98.34%) Recall = 416/450 = 0.9244 (hay 92.44%) Như vậy, phương pháp đề xuất cho độ xác phát tốt; có tốc độ xử lý nhanh, sở để phát triển ứng dụng xử lý khuôn mặt yêu cầu thời gian thực liệu video 13 2.2 Bài toán phát mắt người ảnh Trong hệ thống phát tài xế ngủ gật, việc xác định vị trí mắt người có vai trò quan trọng trước xác định trạng thái mắt Có nhiều phương pháp phát vị trí mắt; chẳng hạn sử dụng hình ảnh quang phổ tia hồng ngoại phản xạ từ mắt cách sử dụng hai camera đặt trước mặt tài xế camera có gắn lọc quang khác nhau; hay sử dụng hai đèn LEDs bố trí thành vòng tròn có đường kính khác Hình 2.1; theo đó, đèn LEDs hai vòng không đồng thời phát sáng Để xác định điểm mắt, hệ thống đánh giá kích thước, hình dáng khoảng cách tương đối điểm phát nhằm tránh trường hợp điểm sáng phản xạ mắt kính đeo tạo Phương pháp hiệu tài xế đeo kính, chí kính râm Hình 2.1: Hệ thống camera với vòng đèn LEDs Cách tiếp cận có ưu điểm lớn phép tính toán có khả phát mắt người mà không cần phát khuôn mặt người Nó hiệu trường hợp phát tình trạng mệt mỏi lơ tài xế trình lái xe Tuy nhiên, hệ thống hoạt động không hiệu tài xế ngủ gật hay nhắm mắt 2.2.1 Đề xuất thuật toán phát mắt người ảnh Algorithm: Phát mắt người Input: Image Output: left eye, right eye Process: Detect FACES = set of FaceForms in Image //dùng mẫu để phát thô khuôn mặt để có tập vùng ảnh có khả khuôn mặt 14 For all face of FACES Find eyes from top to down of [1/6,1/2] face //phát đôi mắt vùng từ 1/6 đến 1/2 ảnh khuôn mặt tính từ xuống Detect left eye //phát mắt trái vùng từ 1/6 đến 1/2 chiều cao từ đôi mắt sang trái Detect right eye //tương tự cho mắp phải Endfor 2.2.2 Kết thử nghiệm Thử nghiệm tiến hành với liệu thu Trường Đại học Lạc Hồng Dữ liệu thu thập với điều kiện thực tế xe ô tô Các ảnh chụp lái xe theo tư góc nhìn gần trực diện từ phía trước vô lăng, thu nhận toàn cảnh chân dung với cử hành động khuôn mặt người lái xe thực thao tác lái xe Để tiện đánh giá kết kỹ thuật trình bày, Luận án thực trích rút số hình ảnh từ video để tạo tập liệu ảnh thử nghiệm gồm 398 ảnh Kết quả, thuật toán phát 376 ảnh có khuôn mặt người hai mắt; đó, thuật toán xác định sai vị trí mắt trái 21 ảnh sai vị trí mắt phải 25 ảnh Do vậy, khả phát thuật toán xác định sau: • Đối với mắt trái: Precision = 0,9495; Recall = 0,8970; • Đối với mắt phải: Precision = 0,9335; Recall = 0,8819 2.3 Bài toán nhận dạng trạng thái mắt Hiện nay, có nhiều kỹ thuật nhận dạng trạng thái mắt; đó, tiếp cận cho đặc trưng trạng thái mắt người sử dụng phổ biến có nhiều kiểu phân tích chất liệu ảnh, hình dạng với ảnh nhị phân biến đổi Hough sử dụng mẫu có khả biến dạng với biểu diễn kết hợp hình dạng kết cấu hình ảnh Luận án sử dụng kỹ thuật phân tích thành phần PCA cho biểu diễn đặc trưng trạng thái mắt người, tiếp cận không gian cho việc sử dụng phân tích chất liệu ảnh toàn cục để nhận dạng 2.3.1 Kỹ thuật nhận dạng trạng thái mắt Với qui trình xử lý ảnh tổng quát trình bày, hệ thống nhận dạng trạng thái mắt cụ thể gồm giai đoạn: xây dựng eigen-eye nhận dạng a) Tính eigen-eye 15 Giả sử có M ảnh mắt I1, I2, , IM; ảnh Ii biểu diễn sau: ⎡ a11i a12i ⎢ i i a a I i = ⎢ 21 22 ⎢ ⎢ i i ⎢⎣ ah1 ah a1i w ⎤ ⎡ a1i ⎤ ⎥ ⎢ ⎥ a2i w ⎥ ⎢ a2i ⎥ = ⎥ ⎢ ⎥ ⎢ i⎥ i ⎥ ahw ⎥⎦ ⎢⎣ ah ⎥⎦ h×w Vectơ mắt E gồm thành phần sau: T Ei = ⎡⎣ a1i a2i ahi ⎤⎦ Algorithm: Xây dựng mẫu eigen-eye Input: Set of M = { I1, I2, , IM } Output: Ωi Process: For all 𝐼𝑖 , ∀𝑖 = 1, 𝑀 Calculating Ei //Xây dựng vector mắt Endfor Ψ= M M ∑E ; i //Tính vector mắt trung bình i =1 For all 𝐼𝑖 , ∀𝑖 = 1, 𝑀 Φi = Ei − Ψ; //Trừ mẫu mắt cho vector mắt trung bình Endfor 𝐶 = [Φ+ Φ, … Φ/ ]×[Φ+ Φ, … Φ/ ] 𝐿 = [Φ+ Φ, … Φ/ ]2 × [Φ+ Φ, … Φ/ ] 𝐿𝑚,𝑛 = Φ𝑇𝑚 ×Φ𝑛 10 For l from to M // Tính vector riêng u 11 𝑢𝑙 = 𝑀 𝑘=1 𝑣𝑙𝑘 Φ𝑘 12 Endfor 13 Find vetor riêng k that eigenk = max {eigenu} 14 Calculating Ωi theo wi , j = uTj Φi ; Ωi = [ w1i b) Giai đoạn nhận dạng trạng thái mắt w2i wki ] 16 Giả sử ta có mẫu mắt Γ chưa biết cần nhận dạng Việc nhận dạng mẫu tiến hành sau: Algorithm: Nhận dạng mẫu Input: Mẫu mắt Γ Output: Trạng thái (đóng mở mắt) Process: Calculating Φ=Γ-Ψ wk = ukT Φ // Chiếu Φ vào không gian riêng (eigenspace) Ω = [w1 w2 … wk] // Biểu diễn ánh mắt Classificating Γ dựa khoảng cách d = min||Ω-Ωi|| If d > θ Insert Γ into CSDL mẫu mắt Assign nhãn trạng thái đóng mở cho Γ Else Output Trạng thái 10 Endif 2.3.2 Kết thử nghiệm Thử nghiệm tiến hành với liệu 398 ảnh thu Trường Đại học Lạc Hồng trình bày Mục 3.2.2 Kết quả, thuật toán phát 376 ảnh có khuôn mặt người hai mắt; đó, thuật toán xác định sai trạng thái đóng mở mắt trái 32 ảnh sai trạng thái đóng mở mắt phải 37 ảnh Do vậy, khả phát thuật toán xác định sau: • Đối với mắt trái: Precision = 0,9145; Recall = 0,8643; • Đối với mắt phải: Precision = 0,9016; Recall = 0,8518 2.4 Phát ngủ gật dựa trạng thái mắt Hệ thống phát trạng thái ngủ gật dựa vào số khung ảnh (frames) có gắn nhãn “mắt đóng” khoảng thời gian định Giả sử, tốc độ quay camera dùng v (khung/giây) ta xem xét t giây hay xem có khung ảnh gán nhãn “mắt đóng” v⋅t khung ảnh liên tục Nếu số khung ảnh “mắt đóng” vượt ngưỡng sl qui định trước hệ thống cảnh báo ngủ gật Hình 2.3 mô tả tóm tắt hệ 17 thống Ví dụ, sử dụng camera quay với tốc độ 24 khung/giây ta xem xét trạng thái đóng mở mắt giây liên tục (tức 72 khung liên tục); đó, ta xác định số khung ảnh “mắt đóng” 72 khung liên tục để đưa cảnh báo “ngủ gật” Giả sử, ta chọn sl = 40; có từ 40 khung “mắt đóng” trở lên xem ngủ gật Tác giả tiến hành thử nghiệm theo dõi tình trạng mắt trái mắt phải lái xe đường dài vòng đồng hồ Hệ thống tiến hành xác định tình trạng ngủ gật lái xe theo biểu đồ trượt Hình 2.4 Hình 2.3: Hệ thống phát ngủ Hình 2.4 Biểu đồ theo dõi trạng thái ngủ gật dựa vào trạng thái mắt gật dựa trạng thái mắt Tóm tắt Chương Chương trình bày chi tiết toán liên quan: (1) Phát mặt người ảnh, (2) Phát mắt người ảnh, (3) Nhận dạng trạng thái mắt Các thuật toán đề xuất để giải ba toán thử nghiệm thực tế để đánh giá hiệu chúng Các kết thử nghiệm thực tế nghiên cứu cho thấy kỹ thuật đề xuất đảm bảo mục tiêu nghiên cứu đề Đặc biệt là, chương trình bày kỹ thuật phát ngủ gật lái xe dựa trạng thái mắt Các kết nghiên cứu chương công bố công trình [1], [2], [8] 18 CHƯƠNG –KỸ THUẬT PHÁT HIỆN HÀNH VI GẬT LẮC VÀ TRẠNG THÁI NGỦ GẬT 3.1 Bài toán phát hành vi gật lắc Đã có nhiều nghiên cứu để phát cảnh báo lái xe ngủ gật; chẳng hạn hệ thống điện não đồ không dây thời gian thực (EEG), phân tích quy luật chuyển động mi mắt với hiệu suất chấp nhận được, mô hình mạng nơ ron phi tham số để ước lượng độ đo PERCLOS, phương pháp Adaboost hồi quy đa thức, v.v Tư gục đầu người ngủ gật dẫn đến khó khăn việc phát mặt người tình trạng nghiêng, tức khuôn mặt không thẳng với camera thu nhận Ngoài ra, trạng thái lắc lư xe hay chớp mắt lái xe gây khó khăn cho khâu toán phát mặt người Tuy nhiên, gật đầu đặc điểm nhận biết ngủ gật 3.2 Phát hướng mặt người ảnh Hướng khuôn mặt, hay hướng đầu, khái niệm đơn giản người Thực tế, người ước lượng cách nhanh chóng xác hướng, góc nghiêng chuyển động đầu người, tất nhiên điều tương đối phương diện định tính (nghiêng bên phải hay trái, lên hay xuống dưới) phương diện định lượng (nghiêng độ) Nhưng lại toán phức tạp khó giải cho người làm thị giác máy 3.2.1 Thuật toán AAM AAM (Active Appearance Model) thuật toán tối ưu mô hình thống kê hình ảnh thể đối tượng vào ảnh đầu vào Giải thuật tìm kiếm tối ưu sử dụng AAM thiết kế cho phép tự động ước lượng tham số mô hình để tổng hợp ảnh mẫu gần với ảnh mục tiêu đầu vào 3.2.2 Mô hình pháp tuyến khuôn mặt Mô hình pháp tuyến khuôn mặt dựa điểm đặc trưng khuôn mặt hai điểm góc hai mắt, hai điểm rìa miệng đỉnh mũi; với giả thiết hai điểm mắt hai điểm rìa miệng tạo thành mặt phẳng gọi mặt phẳng mặt; qua đó, tính toán pháp tuyến mặt phẳng không gian 3D với mặt phẳng Oxy mặt phẳng ảnh Pháp 19 tuyến khuôn mặt tính toán vector nối hai điểm chân mũi đỉnh mũi Hình 3.1 Hình 3.1: Mô hình pháp tuyến khuôn mặt 3.2.3 Kỹ thuật ước lượng hướng mặt người Kỹ thuật phát triển dựa vào mô hình pháp tuyến khuôn mặt; theo đó, thay đưa thông số khuôn mặt vào hệ thống, tác giả sử dụng thuật toán tự động tính toán thông số nạp vào mô hình @ Thuật toán Algorithm: Ước lượng hướng đầu Input: FaceImage Output: Vector pháp tuyến Process: Find points E1, E2, M1, M2, N While Calculate Lm, Ln, Lf Calculate Rm = Lm/Lf Rn = Ln/Lf Calcutale nˆ (2.10) Rotate nˆ Find new points E1, E2, M1, M2, N Error = ||points - new points|| EndWhile Error < EPS @ Kết thử nghiệm Thuật toán thử nghiệm với liệu sinh từ mô hình 3D với nhiều tham số chiếu khác Các mô hình 3D sử dụng biến đổi theo số tham số xác định trước phép biến đổi mô hình định nghĩa; sau đó, mô hình quay với nhiều góc quay khác để đánh giá Từ kết thử nghiệm thu pháp tuyến tính so với pháp tuyến gốc lệch trung bình 16,350, lệch lớn 41,110, lệch nhỏ 5,170, 93% số mẫu tính có góc lệch nhỏ 20 20 Kết thử nghiệm cho thấy chương trình chạy với tốc độ thời gian thực cho độ xác cao điều kiện thử nghiệm đặt Các trường nhận sai chủ yếu trường hợp phát xác điểm đặc trưng khuôn mặt 3.3 Phát hành vi gật lắc Trên sở tập điểm điều khiển trích rút từ ảnh khuôn mặt lái xe, Luận án xây dựng thông số đơn giản khoảng cách điểm-điểm, khoảng cách điểm-cạnh, diện tích tam giác thông số tính trực tiếp từ tập điểm Cụ thể, Luận án sử dụng tập liệu bao gồm ảnh khuôn mặt đánh dấu tập điểm gán nhãn ngẩng đầu hay gục đầu Với đặc trưng, Luận án thực thống kê giá trị tương ứng tập liệu tìm ngưỡng phân tách toán xây dựng định mức đánh giá sai số @ Thuật toán đề xuất Algorithm: Phát gật đầu từ camera Input: FRAME từ camera video Output: Trạng thái đầu Process: Init value of std_dm, std_s3, std_brect(bounding rectangle) status := HEAD_NORMAL Init value of thres1, thres2, thres3, thres4 For all frame of FRAME Calculate cur_dm, cur_s3, cur_brect x:= (std_brect.x-cur_brect.x)/std_brect.width y:= (std_brect.y-cur_brect.y)/std_brect.width If (y < thresl and y < thres2) Return 10 Else if (std_dm/cur_dm < thres3 and std_s3/cur_s3 > thres4) 11 status := HEAD_NOD 12 Else status := HEAD_NORMAL 13 Endif 14 Endfor @ Kết thử nghiệm Luận án tiến hành thử nghiệm thuật toán với hai loại liệu: liệu ảo liệu thật Dữ liệu ảo liệu sinh từ mô hình 3D với nhiều tham số chiếu khác nhau; liệu thật thu từ nguồn video 21 webcam Đại học Duy Tân, Đà Nẵng, bao gồm 11 video 11 người, quay 15 frames/giây, độ phân giải 640x480 pixels Để thực trình lựa chọn tham số phù hợp, Luận án xây dựng tập sở liệu ảnh đánh dấu, bao gồm 5.863 ảnh sinh từ mô hình 3D hình ảnh thu từ liệu thực tế Kết quả, khả phát thuật toán xác định sau: Precision = 0,9608 Recall = 0,8630 3.4 Phát ngủ gật dựa hành vi gật lắc Giả sử, tốc độ quay camera dùng v khung/giây ta xem xét t giây hay xem xét có khung ảnh gán nhãn gật đầu v⋅t khung ảnh liên tục Tương tự hệ thống Chương 2, số khung ảnh có gán nhãn “gật đầu” vượt ngưỡng nh qui định trước hệ thống cảnh báo ngủ gật Ví dụ, ta chọn nh = 45, hệ thống đếm 72 khung liên tục, có từ 45 khung gật đầu trở lên xem ngủ gật Luận án thử nghiệm theo dõi tình trạng mắt trái mắt phải lái xe đường dài vòng đồng hồ Hệ thống xác định tình trạng ngủ gật lái xe theo biểu đồ trượt Hình 3.2 Hình 3.2 Biểu đồ theo dõi trạng thái ngủ gật dựa vào trạng thái mắt Tóm tắt Chương Chương trình bày toán phát hành vi gật lắc, dựa kỹ thuật ước lượng hướng mắt người ảnh Các thuật toán đề xuất dùng để xây dựng kỹ thuật phát ngủ gật dựa vào hành vi gật lắc lái xe Các kết nghiên cứu chương công bố công trình [3], [4], [5], [6] 22 CHƯƠNG - HỆ THỐNG TÍCH HỢP PHÁT HIỆN LÁI XE TRONG TRẠNG THÁI NGỦ GẬT 4.1 Mô tả hệ thống Hệ thống tích hợp xây dựng tảng Visual C++ 2008, mã nguồn mở OpenCV Intel Hệ thống gồm camera xử lý gắn cabin lái xe Camera lắp trực diện với lái xe điều chỉnh góc quay lên xuống để trục camera hướng vào mặt lái xe lái xe ngồi tư thoải mái Hệ thống nhận liệu đầu vào từ camera, thực xác định tự động điểm đặc trưng khuôn mặt dựa việc phân tích thành phần khuôn mặt, xác định vị trí hai mắt chuyển thông số vào thư viện xử lý Hệ thống giám sát liên tục trạng thái mắt (mắt trái mắt phải) hành vi gật đầu lái xe cách đồng thời; tiến hành nhận dạng trạng thái mắt phát hành vi gật đầu cho khung ảnh Và hệ thống thu thập liệu đồng thời cho ba biến: (1) trạng thái mắt trái (MT); (2) trạng thái mắt phải (MP); (3) hành vi gật lắc (HVG) cách: Nếu khung ảnh mắt trái mắt phải gán nhãn “mắt đóng” gán giá trị cho MT MP; phát hành vi gật đầu khung ảnh khung gán giá trị cho HVG Hệ thống tiến hành đếm số khung ảnh gán giá trị cho biến 72 khung ảnh liên tục (Luận án chọn ngưỡng sl = 40 nh = 45) 4.2 Mối quan hệ trạng thái ngủ gật trạng thái mắt - hành vi gật đầu Kết đánh giá trạng thái ngủ gật thể biến số Ngugat; biến mang giá trị trạng thái ngủ gật, mang giá trị trạng thái tỉnh táo Căn vào số khung ảnh gán giá trị 1, hệ thống phát trạng thái ngủ gật khi: (1) số khung ảnh “mắt đóng” hai mắt vượt giá trị ngưỡng sl; và/hoặc (2) số khung ảnh “gật đầu” vượt giá trị ngưỡng nh Đây sở để Luận án tìm mối quan hệ trạng thái ngủ gật trạng thái mắt hành vi gật đầu lái xe; sau đó, Luận án tiến hành mô hình hóa mối quan hệ hệ thống để hệ thống tự động phát cảnh báo lái xe 23 ngủ gật Như vậy, việc xác định mối quan hệ xem giai đoạn huấn luyện cho hệ thống Dữ liệu thu thập cách gắn thiết bị bốn xe tải chạy tuyến Bắc Nam để theo dõi trạng thái mắt hành vi gật đầu bốn lái xe 15 ngày Mỗi xe có hai tài xế thay phiên lái; sau chuyến đi, tác giả chiếu lại đoạn video thời điểm quay để lái xe xem lại xác nhận xem lúc có buồn ngủ hay không Thông tin lưu lại để tác giả phân tích mối liên hệ biến Mô hình toán thể mối quan hệ biến thể qua hàm số: Ngugat = f(MT,MP,HVG) Hàm số f xác định thông qua phương pháp hồi qui tuyến tính 4.2.1 Phân tích hồi qui tuyến tính Để so sánh tìm mô hình tốt, Luận án xem xét hai mô hình độc lập sau: (1) Ngugat=f(MT,MP,HVG); (2) Ngugat=f(MAT,HVG), đó, biến MAT tạo nhằm chứa giá trị lớn MT MP thời điểm; tức MATj = max {MTj,MPj} Với liệu thu thập được, Luận án có hai mô hình hồi qui chuẩn hóa sau: MH1: Ngugat=0,249+0,006MT+0,006MP+0,00HVG với R2 = 0,364; MH2: Ngugat=0,115+0,011MAT+0,007HVG; với R2 = 0,449 Căn vào hệ số R2, Luận án nhận thấy MH2 tốt MH1 Do đó, MH2 đưa vào hệ thống để tự động phát ngủ gật 4.2.2 Phân tích hồi qui Logistic nhị phân Do biến ngẫu nhiên Ngugat biến nhị phân nên Luận án sử dụng mô hình Logistic nhị phân để xác định xác suất rơi vào trạng thái ngủ gật lái xe theo thông số mô hình hồi qui tuyến tính tìm thấy Giả sử, kích thước mẫu n, quan sát độc lập Gọi pj xác suất xuất trạng thái ngủ gật quan sát thứ j; đó, 1pj xác suất lái xe tỉnh táo quan sát thứ j Khi đó, phương trình hồi qui logistic nhị phân thể xác xuất xuất trạng thái ngủ gật lái xe theo số khung ảnh “mắt đóng” số khung ảnh “gật đầu” thể sau: ln[ p j (1 − p j )] = α + α1MAT j + α HVG j (ký hiệu LM1) Ngoài ra, nhằm đánh giá tác động cộng gộp MAT HVG, Luận án xem xét thêm mô hình logistic nhị phân khác (được ký hiệu 24 LM2) sau: ln[ p j (1 − p j )] = α + α1 MAT j + α HVG j + α MAT j × HVG j Và, kết phân tích cho thấy: LM1 LM2 có ý nghĩa thống kê Để so sánh hiệu hai mô hình này, Luận án tiến hành thử nghiệm với 389.017 khung ảnh chọn ngẫu nhiên từ liệu cũ; có 53.210 khung ảnh gán giá trị 335.807 khung ảnh gán giá trị Đầu hai mô hình xác định trạng thái ngủ gật dựa vào thông số đầu vào khung ảnh chọn Kết cho thấy, việc xem xét tác động cộng gộp hai biến MAT HVG LM2 giúp cho hệ thống phát tốt hơn; cụ thể, với liệu thực nghiệm, LM2 phát 99% trường hợp ngủ gật 4.3 Kỹ thuật đánh thức lái xe trạng thái ngủ gật Để giúp lái xe tỉnh táo trình lái xe, Luận án đề xuất dùng lót ghế tài xế có chế độ rung mát-xa, bán rộng rãi thị trường hệ thống phun khí lạnh vào mặt gáy lái xe Ngoài ra, Luận án sử dụng số phương pháp cảnh báo truyền thống cảnh báo giọng nói, tiếng còi hú, v.v Hình 4.1 Hình 4.1 Đánh thức lái xe ngủ gật Tóm tắt Chương Với kết đạt từ Chương Chương 3, Luận án tiến hành tích hợp hai kỹ thuật vào thành hệ thống phát đánh thức lái xe trạng thái ngủ gật thông qua việc xác định mối quan hệ trạng thái ngủ gật với trạng thái mắt hành vi gật đầu thông qua kỹ thuật phân tích hồi qui tuyến tính hồi qui logistic nhị phân Kết phân tích cho thấy việc xem xét tác động cộng gộp trạng thái mắt hành vi gật lắc giúp cho hệ thống phát 99% số trường hợp ngủ gật Các kết nghiên cứu chương công bố công trình [7] 25 KẾT LUẬN Hiện nay, vấn đề đảm bảo an toàn giao thông trở nên cấp thiết quan trọng nhiều quốc gia giới Thực tế cho thấy nhiều vụ tai nạn xe nghiêm trọng xảy “do lái xe ngủ gật” Vì vậy, mà nhiều nhà khoa học nỗ lực nghiên cứu phát triển kỹ thuật phát cảnh báo lái xe ngủ gật ngày tốt hiệu Tuy nhiên, vấn đề phát mặt người tình trạng nghiêng, tức khuôn mặt không thẳng với camera thu nhận, trạng thái lắc lư xe hay chớp mắt lái xe khó khăn Để khắc phục vấn đề này, Luận án đề xuất kỹ thuật ước lượng hướng đầu dựa mô hình pháp tuyến khuôn mặt xây dựng kỹ thuật phát ngủ gật dựa hành vi gật lắc lái xe Ngoài ra, Luận án xem xét đặc trưng mắt trạng thái ngủ gật để xây dựng thuật toán cải tiến việc phát khuôn mặt, phát mắt nhận dạng trạng thái mắt để đưa kỹ thuật phát ngủ gật dựa trạng thái mắt; đặc biệt kết hợp hai kỹ thuật phát ngủ gật vào hệ thống tích hợp sau sử dụng phương pháp phân tích thống kê mô hình hồi qui tuyến tính hồi qui logistic nhị phân Và hệ thống tích hợp phát xác cao trạng thái ngủ gật lái xe Và vậy, Luận án hoàn thành mục tiêu đề ban đầu Luận án có hai đóng góp quan trọng, gồm: (1) phát triển kỹ thuật tự động tính toán thông số mô hình pháp tuyến khuôn mặt thay giá trị thông số phải xác định trước; (2) phát triển kỹ thuật nhận diện trạng thái ngủ gật lái xe cách nhận diện trạng thái đóng mở mắt góc nghiêng khuôn mặt dựa vào pháp tuyến khuôn mặt Luận án thử nghiệm cho hệ thống tích hợp có khả phát ngủ gật với độ xác cao kỹ thuật đánh thức hiệu Một vấn đề bỏ ngỏ có hệ thống nhúng có chất lượng thiết kế phù hợp; đồng thời thông qua thành tựu gần lĩnh vực y sinh điện tử để với việc nhận dạng trạng thái lái xe để qua tăng mức độ tỉnh táo lái xe  ... nhóm dựa vào trạng thái lái xe sử dụng thị giác máy tính Các kỹ thuật phát buồn ngủ phát triển Luận án bao gồm: • Kỹ thuật dựa vào trạng thái mắt; • Kỹ thuật dựa vào hành vi gật lắc đầu; • Kỹ thuật. .. Kỹ thuật phát trạng thái mắt ngủ gật • Chương – Kỹ thuật phát hành vi gật lắc trạng thái ngủ gật; • Chương – Hệ thống tích hợp phát lái xe trạng thái ngủ gật; CHƯƠNG – CƠ SỞ LÝ THUYẾT VỀ KỸ THUẬT... cách kết hợp hai kỹ thuật: dựa vào trạng thái mắt dựa vào hành vi gật lắc Kỹ thuật kết hợp thực sau xác định mối quan hệ yếu tố trạng thái mắt, hành vi gật lắc trạng thái ngủ gật cách phân tích