2.3.1 Mắt thời gian thực, Gaze và tƣ thế khuôn mặt Theo dõi, giám sát sự cảnh giác của lái xe
Trong phần này, mô tả một hệ thống tầm nhìn mẫu thời gian thực máy tính cho giám sát sự cảnh giác của người lái. Các thành phần chính của hệ thống bao gồm một điều khiển từ xa theo dõi hình ảnh CCD, một hệ thống phần cứng được thiết kế đặc biệt để thu lại hình ảnh thời gian thực và kiểm soát đèn chiếu sáng cùng với hệ thống báo động, các thuật toán tầm nhìn máy tính khác nhau cho cùng thời điểm. Thời gian thực và sự không xâm nhập bên trong để giám sát nhiều hình ảnh hành vi sinh học thường đặc trưng cho mức độ cảnh giác của người lái. Các hành vi thị giác bao gồm chuyển động mí mắt, hướng trước mặt, và chuyển động trước mắt (đồng tử di chuyển).
Hệ thống này đã được kiểm nghiệm trong một môi trường mô phỏng với các đối tượng thuộc các dân tộc, giới tính, lứa tuổi khác nhau, đeo kính hoặc không kính và trong điều kiện ánh sáng khác nhau. Qua đó nó đã được khẳng định rất mạnh mẽ, đáng tin cậy và chính xác.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 47
Những thống kê tai nạn giao thông do nguyên nhân người lái xe giảm mức độ
cảnh giác: Số lượng tai nạn giao thông ở Mỹ ngày càng tăng do sự giảm sút mức
độ cảnh giác của người lái đã trở thành một vấn đề nghiêm trọng đối với xã hội. Các tài xế có mức độ cảnh giác bị giảm sút được đánh giá là giảm khả năng nhận thức, sự thừa nhận, kiểm soát phương tiện. Chính vì vậy nó làm ảnh hưởng nghiêm trọng tới cuộc sống của bản thân và của những người khác. Các thống kê chỉ ra rằng nguyên nhân hàng đầu gây ra tử vong hoặc thương tích gây ra bởi tai nạn giao thông là do các tài xế bị giảm mức độ cảnh giác. Trong ngành công nghiệp vận tải đường bộ, 57% các tai nạn gây tử vong của xe tải là do tài xế mệt mỏi. Đây là nguyên nhân hàng đầu trong các vụ tai nạn do xe tải hạng nặng gây ra. 70% các tài xế ở Mỹ báo cáo lái xe trong tình trạng mệt mỏi. Với sự tăng lên không ngừng về các điều kiện giao thông, vấn đề này sẽ càng trở nên xấu đi. Vì lý do này, phát triển các hệ thống giám sát chủ động để theo dõi mức độ cảnh giác của người lái và cảnh báo cho tài xế trong bất kỳ điều kiện lái xe không an toàn là điều kiện thực sự cần thiết đề ngăn chặn các vụ tai nạn giao thông.
Rất nhiều các nỗ lực đã được báo cáo bằng văn bản để phát triển hệ thống an toàn chủ động nhằm giảm số lượng các vụ tai nạn giao thông do giảm sự cảnh giác. Trong các kỹ thuật khác nhau, sự phát hiện chính xác nhất được thực hiện với các kỹ thuật đo lường các điều kiện sinh lý như sóng não, nhịp tim và nhịp cảm xúc. Yêu cầu vật lý gắn với tài xế (ví dụ: gắn điện cực) để giám sát tuy nhiện những kỹ thuật này đòi hỏi sự xâm nhập vào bên trong và gây phiền hà cho người lái xe. Các kết quả khả quan đã được báo cáo với kỹ thuật giám sát sự chuyển động của mí mắt và tầm nhìn của lái xe. Kỹ thuật này được thực hiện với một thiết bị gọi là Thiết bị theo dõi (tracker) được gắn ở phía trước mắt hoặc sự dụng một khung kính áp tròng đặc biệt. Các kết quả từ việc giám sát sự chuyển động phía trước với thiết bị đeo phía trước cũng rất đáng khích lệ. Các công nghệ này mặc dù đã giảm sự xâm nhập song vẫn chưa thể được chấp nhận môt các hoàn toàn. Trạng thái cảnh giác của người lái xe còn có thể được đặc trưng bởi tính chất của phương tiện mà
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 48 người đó điều khiển. Tính chất của phương tiện bao gồm tốc độ, vị trí, góc quay và sự di chuyển chính là các chỉ số để đo lường mức độ tỉnh táo của người lái. Trong khi các kỹ thuật này được thực hiện mà không cần xâm nhập chúng vẫn còn tồn tại một vài hạn chế như loại phương tiện, kinh nghiệm của lái xe và điều kiện lái xe [3].
Những người trong trạng thái mệt mỏi có thể dễ dàng quan sát qua sự thay đổi trên khuôn mặt như mắt, đầu và mặt. Các tính cách đặc trưng có thể quan sát được thông qua hình ảnh của một người với sự giảm sút mức độ tỉnh táo như sự chuyển động chậm của mí mắt, mức độ mở của mắt nhỏ hơn (thậm chí còn nhắm lại), thường xuyên gật đầu, ngáp, nhìn chằm chằm (tập trung nhìn thẳng theo 1 đường), sự uể oải biểu hiện trên khuôn mặt và tư thế. Để sử dụng các tín hiệu thị giác, một cách tiếp cận ngày càng phổ biến nhưng không xâm nhập để giám sát trạng thái mệt mỏi nhằm đánh giá mức độ cảnh giác của lái xe là thông qua hình ảnh đối tượng quan sát được bằng máy ảnh và công nghệ tầm nhìn máy tính. Kỹ thuật sử dụng tầm nhìn máy tính nhằm mục tiêu xuất ra các hình ảnh điển hình đặc trưng cho mức độ cảnh giác của lái xe từ chính video của họ. Trong một hội thảo gần đây được tài trợ bởi Sở Giao thông vận tải (DOT) về sự cảnh giác của lái xe đã kết luận rằng tầm nhìn máy tính đại diện cho công nghệ không xâm nhập vào bên trong hứa hẹn sẽ trở thành công nghệ tốt nhất để giám sát sự cảnh giác của lái xe.
Rất nhiều các nỗ lực đã được báo cáo bằng văn bản về sự phát triển thời gian thực hoạt động dựa trên hình ảnh mệt mỏi của người lái qua hệ thống giám sát [3- 7]. Những nỗ lực này tập trung chủ yếu vào việc phát hiện trạng thái mệt mỏi của lái xe. Ví dụ, theo tác giả Ishii đã giới thiệu một hệ thống mô tả trạng thái tinh thần của lái xe thông qua biểu hiện trên khuôn mặt. Saito [4] đã đề xuất một hệ thống tầm nhìn nhằm phát hiện trạng thái thể chất cũng như điều kiện tinh thần của lái xe từ một đường ngắm. Boverie mô tả một hệ thống giám sát sự cảnh giác của lái xe qua nghiên cứu về sự chuyển động của mí mắt. Đánh giá sơ bộ của họ đưa ra kết quả hứa hẹn khả quan cho việc giám sát sự cảnh giác của lái xe thông qua sự
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 49 chuyển động của mí mắt. Ueno đã mô tả một hệ thống phát hiện sự buồn ngủ bằng cách nhận dạng mắt của tài xế khi nhắm và mở và nếu khi mở sẽ tính toán mức độ mở như thế nào. Nghiên cứu chỉ ra kết quả hệ thống của họ có thể so sánh được với kỹ thuật sử dụng các tín hiệu sinh lý.
Mặc dù sự thành công về các phương pháp tiếp cận hay hệ thống trích xuất các đặc tính của tài xế sử dụng công nghệ tầm nhìn máy tính, những cố gắng trong lĩnh vực này tuy nhiên lại chỉ tập trung vào sử dụng một kỹ thuật đơn lẻ như sự chuyển động của mí mắt, hướng nhìn hay tầm nhìn để đánh giá trạng thái tỉnh táo của lái xe. Hệ thống dựa vào một dấu hiệu trực quan duy nhất có thể gặp phải khó khăn khi các tính năng thị giác không chính xác hoặc đáng tin cậy.
Ví dụ, tài xế khi đeo kính có thể gây ra vấn đề nghiêm trọng đối với các kỹ thuật dựa trên sự phát hiện cách đặc tính của mắt. Kính có thể là nguyên nhân gây ra ánh sáng chói và bị mờ đục dẫn tới máy quay không thể theo dõi chuyển động của mắt. Hơn thế nữa, mức độ mở của mắt lại khác biệt giữa mọi người. Một vấn đề tiềm năng có thể sử dụng với một hình ảnh duy nhất là tính năng hình ảnh thu được không phải luôn phản ánh trạng thái tâm lý của môt người. Ví dụ, chuyển động đầu bất thường hoặc đường ngắm (như khoảng thời gian ngắn nhìn vào gương) có thể gây ra báo động sai cho hệ thống.
Tất cả các tín hiệu hình ảnh mặc dù mang tính cá nhân và không hoàn hảo tuy nhiên khi kết hợp lại một các hệ thống có thể cung cấp một đặc tính chính xác về mức độ cảnh giác của lái xe. Chúng ta tin tưởng rằng việc khai thác đồng thời và sử dụng nhiều tín hiệu thị giác có thể giảm sự không chắc chắn và giả quyết vấn đề thông tin không rõ ràng từ một nguồn đơn lẻ. Hệ thống chúng tôi đề xuất ở đây có thể sử dụng đồng thời, không xâm nhập vào bên trong và trong thời gian thực để theo dõi một vài hành vi đặc trưng cho mức độ tỉnh táo của tài xế trong khi lái xe. Những tín hiệu hình ảnh bảo gồm sự chuyển động của mi mắt, chuyển động của đồng tử và hướng của khuôn mặt. Các thông số tính toán mệt mỏi từ các tín hiệu hình ảnh được kết hợp để tạo thành một chỉ số hỗn hợp, thống nhất và đặc trưng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 50 cho mức độ cảnh giác của người lái. Hình 2.10 đưa ra một cái nhìn tổng quan về hệ thống giám sát sự cảnh giác của lái xe.
Hình 2.10 Sơ đồ hệ thống giám sát cảnh báo
Bài viết này tập trung vào sự phát triển các thuật thoán tầm nhìn máy tính và các thành phần phần cứng để trích xuất các tín hiệu hình hảnh cần thiết. Vấn đề dữ liệu phản ứng tổng hợp sẽ được giới thiệu trong một bài viết riêng biệt. Hình 2.11 đưa ra một cái nhìn tổng quan về hệ thống khai thác tín hiệu hình ảnh để giám sát sự mệt mỏi của tài xế. Hệ thống bắt đầu với sự phát hiện và theo dõi của đồng tử và sau đó được sử dụng cho giám sát sự chuyển động của mí mắt, hướng nhìn dự kiến, nhận dạng hướng mặt và hướng định sẵn.
Hệ thống thu nhận hình ảnh
Sự hiểu biết hình ảnh về các hành vi thị giác bắt đầu với hình ảnh thu được. Mục đích của việc thu hình ảnh là thu các đoạn phim có khuôn mặt của tài xế trong thời gian thực. Các hình ảnh thu được phải có thuộc tính phù hợp với điều kiện khác nhau về khí hậu hoặc môi trường xung quanh đồng thời nó có thể tạo ra các đặc tính khác biệt có lợi cho quá trình xử lý hình ảnh tiếp theo. Đến khi kết thúc khuôn mặt sẽ được chiếu sáng bởi tia hồng ngoại gần (NIR). Việc sử dụng tia hồng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 51 ngoại phục vụ cho 3 mục đích: thứ nhất nó giảm thiểu các tác động khác nhau của điều kiện ánh sáng bên ngoài môi trường đem lại, do đó nó đảm bảo chất lượng hình ảnh theo các điều kiện khác nhau của thế giới thực như độ chiếu sáng kém, ngày, đêm; thứ hai nó cho phép tạo ra ánh sáng ảnh hưởng tới độ sáng của con ngươi tạo thành nền tảng để phát hiện và theo dõi các đề xuất về tín hiệu hình ảnh. Thứ ba, người lái xe hầu như không thể nhìn thấy NIR, điều này sẽ hạn chế tối đa bất kỳ sự can thiệp nào tới quá trình lái xe.
Hình 2.11 Tổng quan về hệ thống giám sát cảnh giác cho tài xế
Theo Hutchinson đã chỉ ra, độ sáng của con ngươi có thể thu được nếu mắt được chiếu sáng bằng ánh sáng rực rỡ của đèn NIR cùng với trục máy ảnh quang học ở một bước sóng nhất định. Tại bước sóng NIR, đồng tử phản chiếu hầu hết tất cả các tia hồng ngoại mà chúng nhận được rồi quay trở lại máy ảnh tạo ra hiệu ứng ánh sáng đồng tử, tương tự với hiệu hứng mắt đỏ trong nhiếp ảnh.
Nếu chiếu sáng bằng trục quang học máy ảnh, đồng tử trở thành tối từ khi nó phản chiếu ảnh sáng không đi qua ống kính máy ảnh. Điều này được gọi là các hiệu ứng đồng tử tối. Hình 2.12 minh họa nguyên tắc hiệu ứng sáng và tối của đồng tử. Thêm một ví dụ về các đồng tử sáng và tối được đưa ra trong Hình 2.13.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52 Để tạo ra hiệu hứng đồng tử sáng mong muốn, đèn chiếu sáng IR về lý thuyết phải được đặt dọc trục quang học của ống kính. Thí nghiệm của chúng tôi cho thấy rất khó về mặt vật lý để đặt các đi ốt phát ra ánh sáng hồng ngoại (LEDs) dọc theo trục quang học để ngăn chặn việc xem máy ảnh, hạn chế phạm vi hoạt động của máy ảnh. Những người khác đề nghị việc sử dụng một chùm tia phân tách để đạt được mục đích mà không ngăn chặn xem camera. Tuy nhiên cách thiết lập và cài đặt lại rất phức tạp.
Hình 2.12 Nguyên lý về hiệu ứng đồng tử sáng và tối
Trong phần này trình bày một mô hình bố trí đơn giản của đèn LEDs IR tương tự như của morimoto nhưng vẫn đạt được hiệu ứng đồng tử sáng với sự giảm tối thiểu xem hoạt động của camera. Cụ thể IR chiếu sáng của chúng tới bao gồm hai bộ đèn LEDs hồng ngoại được phân phối đồng đều và đối xứng dọc theo hai vòng phẳng đồng tâm như thể hiện trong hình 2.14. Trung tâm của hai vòng trùng với trục quang học của máy ảnh.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53
Hình 2.13 Hồng ngoại chiếu sáng mắt (a) Hình ảnh đồng tử tối được tạo bởi đèn LEDs hồng ngoại không đặt trên trục quang học camera; (b) hình ảnh đồng tử sáng được tạo bởi đèn LEDs hồng ngoại đặt dọc theo trục quang học camera.
Đặt ở phía trước ống kính, kích thước tối ưu của vòng đèn LED được xác định theo kinh nghiệm. Hình ảnh tối được tạo ra khi vòng ngoài được bật lện và hình ảnh sáng của đồng tử được tạo ra khi vòng trong được bật. Nó đại diện cho mối quan hệ được tạo ra giữa ý tưởng sáng/tối hình ảnh đồng tử và sự giảm thiêu việc quan sát camera. Các hình dạng đạt được tương tự với hiệu ứng đồng tử sáng khi đèn LEDs được đặt dọc trục quang học. Bên cạnh những lợi thế trong việc cài đặt và giảm thiểu sự quan sát camera, kể từ khi đèn LEDs được sắp xếp đối xứng quanh truch quang học camera họ có thể xóa bỏ bóng được tạo ra bởi đèn LEDs.
Hình 2.14 Cấu hình nguồn sáng IR (adsbygoogle = window.adsbygoogle || []).push({});
Hơn nữa việc sử dụng nhiều đèn LEDs hồng ngoại có thể tạo ra một ánh sáng mạnh giống như sự chiếu sáng từ đèn hồng ngoại làm chi phối các bức xạ hồng ngoại và tiếp xúc vói khuôn mặt của lái xe, bởi vậy nó giảm thiểu tác dụng đắng kể ảnh hưởng của hồng ngoại từ các nguồn khác. Điều này đảm bảo sự ảnh hưởng đồng tử sáng dước các điều kiện khí hậu khác nhau. Việc sử dụng nhiều hơn một
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54 đèn LED còn cho phép tao ra đồng tử sáng cho các đối tượng ở xa camera. Để giảm thiểu sự tác động từ các nguồn ánh sang ngoài ánh sáng hồng ngoại và để duy trì việc chiếu sáng đồng nhất dưới các điều kiện khí hậu khác nhau, một bộ lọc hẹp NIR được gắn vào mặt trước của ống kính để làm giảm thiểu ánh sáng vượt ra ngoài phạm vi NIR (700-900nm). Một thiết bị vật lý được vài dặt trên đèn hồng ngoại được mô tả trong hình 2.15.
Hình 2.15 Bức ảnh thực tế về hình dạng hai vòng hồng ngoại chiếu sáng
Nguồn ánh sáng hồng ngoại chiếu sáng mắt của người sử dụng và tạo ra hai loại hình ảnh đồng tử: sáng và tối được thể hiện trong Hình 2.16.