Hơn nữa việc sử dụng nhiều đèn LEDs hồng ngoại có thể tạo ra một ánh sáng mạnh giống như sự chiếu sáng từ đèn hồng ngoại làm chi phối các bức xạ hồng ngoại và tiếp xúc vói khn mặt của lái xe, bởi vậy nó giảm thiểu tác dụng đắng kể ảnh hưởng của hồng ngoại từ các nguồn khác. Điều này đảm bảo sự ảnh hưởng đồng tử sáng dước các điều kiện khí hậu khác nhau. Việc sử dụng nhiều hơn một
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54
đèn LED còn cho phép tao ra đồng tử sáng cho các đối tượng ở xa camera. Để giảm thiểu sự tác động từ các nguồn ánh sang ngồi ánh sáng hồng ngoại và để duy trì việc chiếu sáng đồng nhất dưới các điều kiện khí hậu khác nhau, một bộ lọc hẹp NIR được gắn vào mặt trước của ống kính để làm giảm thiểu ánh sáng vượt ra ngoài phạm vi NIR (700-900nm). Một thiết bị vật lý được vài dặt trên đèn hồng ngoại được mơ tả trong hình 2.15.
Hình 2.15 Bức ảnh thực tế về hình dạng hai vịng hồng ngoại chiếu sáng
Nguồn ánh sáng hồng ngoại chiếu sáng mắt của người sử dụng và tạo ra hai loại hình ảnh đồng tử: sáng và tối được thể hiện trong Hình 2.16.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55
Hình ảnh đổng tử sáng được tạo ra khi vòng trong của đèn LEDs hồng ngoại được bật lên và hình ảnh tối được tao ra khi vịng trong được bật. Lưu ý là tia sáng xuất hiện cả trong hình ảnh đổng tử sáng và tối. Hình 2.17 trình bày thêm ví dụ về việc thu hình ảnh sử dụng hệ thống thu hình ảnh đã được mơ tả ở trên. Những hình ảnh này chứng minh sự vững mạnh của hệ thống trong đó sự ảnh hưởng về đồng tử sáng la cho hình ảnh rõ ràng tại các khoảng cách khác nhau, hướng khắc nhau, độ phóng đại khác nhau và trong trường hợp khơng có kính. Nó thậm chí cịn có thể làm việc tới một mức độ nhất định khi có kính râm.
Để thực hiện được trong xe, ta đề xuất hai CMOS có camera thu nhỏ đặt vào trong bảng điều khiển của xe như thể hiện ở hình 2.18, camera thứ nhất là một máy ảnh có góc hẹp tập trung vào mắt của lái xe để giám sát sự chuyển động của mí mắt trong khi camera thứ hai là 1 camera góc rộng tập trung vào đầu của lái xe để ghi lại và giám sát chuyển động của đầu.
Hai máy quay có thể được cơ giới hóa vì vậy chuyển động của chúng có thể được điều chỉnh thông qua một bộ điều khiển để thu được hình ảnh tốt nhất của tài xế. Cả hai máy ảnh phải có độ sâu rộng trong từng vị trí do đó chúng có thể giữ vững sự tập trung làm việc trong khoảng cách 0.8-1.5m. Khoảng cách giữa các góc là +- 450 theo cả hai hướng dọc và ngang.
Hình 2.17 Ví dụ thu hình ảnh với mong muốn hiệu ứng đồng tử sáng. (a) Khơng có kính, (b) có kính; (c) Có kính râm có kính, (b) có kính; (c) Có kính râm
2.3.2 Phát hiện và theo dõi đồng tử
Mục tiêu phát hiện và theo dõi đồng tử là để sau đó giám sát sự chuyển động của mí mắt, hướng nhìn xác định và hướng nhìn dự định. Rõ ràng phát hiện đồng tử
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56
trong thời gian thực là rất quan trọng. Phát hiện và theo dõi đồng tử bắt đầu với sự phát hiện đồng tử.
Hình 2.18 Thiết kế camera bên trong động cơ
Đối với nghiên cứu này tập trung vào phát hiện các đồng tử dựa trên cường độ, hình dạng và kích thước của chúng. Dựa vào việc sử dụng sự chiếu sáng hồng ngoại đặc biệt, đồng từ xuất hiện sáng hơn so với phần cịn lại của khn mặt. Cường độ đồng tử chính là đặc tính được sử dụng để phát hiện các đổng tử. Thêm nữa là phân chia đồng tử dựa vào mức độ sáng của đối tượng khác trên hình ảnh và các thuộc tính khi quan sát đồng tử sử dụng. Nó bao gồm kích cỡ, hình dạng của các đồng tử, mối quan hệ không gian giữa các đồng tử và đặc điểm chuyển động của nó. Với các đồng tử phát hiện, sau đó chúng sẽ được theo dõi ảnh hưởng từ khung hình này đến khung hình khác trong thời gian thực dựa trên bộ lọc Kalman. Hình 2.19 đưa ra một cái nhìn tổng quan về hệ thống theo dõi mắt.
Hệ thống bao gồm hai giai đoạn phát hiện và giám đồng tử. Phát hiện đồng tử bắt đầu với một quá trình loại bỏ sự can thiệp ánh sáng từ bên ngồi, sau đó là một sự định vị tồn cầy tất cả hình ảnh để xác định cặp đồng tử đầu tiện trong bức ảnh. Theo dõi vị trí đồng tử là tìm kiếm đồng tử dựa vào vị trí của đồng tử ở khung hình trước. Trong các phần tiếp theo báo cáo sẽ mơ tả chi tiết từng khía cạnh đồng tử dựa trên vị trí của đồng tử trong khung hình trước trong các phần để làm theo.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57
Hình 2.19 Sơ đồ hệ thống theo dõi và phát hiện đồng tử
Hình 2.20 Hình nền sự loại bỏ can thiệp chiếu sáng (a) Vùng hình ảnh gồm cả ánh sáng xung quang và ánh sáng hồng ngoại; (b) Vùng ảnh lẻ chỉ gồm ánh ánh sáng xung quang và ánh sáng hồng ngoại; (b) Vùng ảnh lẻ chỉ gồm ánh
sáng bên ngồi; (c) Kết quả hình ảnh từ việc loại trừ (b) và (a)
Phát hiện đồng tử
Phát hiện đồng tử liên quan đến vị trí của đồng tử trong hình ảnh đó. Nó bao gồm 2 bước: Loại bỏ sự can thiệp chiếu sáng và phát hiện đồng tử
Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh: Các thuật toán phát hiện bắt đầu với quá trình giảm thiểu sự can thiệp từ các nguồn sáng bên ngoài hơn so với đèn hồng ngoại. Nó bao gồm ánh sáng mặt trời và ánh sáng từ mơi
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58
trường xung quanh. Hình 2.20 (a) cho thấy một bức ảnh mà các phần (phía trên bên trái) của hình nền trơng rất sáng, hầu như sáng bằng với đồng tử. Ngưỡng đơn giản của hình ảnh hồn tồn dựa vào cường độ không phải lúc nào cũng phát hiện đồng tử căn cứ vào sự xuất hiện các vùng sáng khác trên hình ảnh. Để phát hiện duy nhất đồng tử, các vùng sáng khác trong bức ảnh phải được loại bỏ hoặc chúng sẽ gây bất lợi ảnh hưởng tới sự phát hiện đồng tử. Các cụm hình nền loại bỏ được thực hiện bằng cách loại trừ hình ảnh chủ có chiếu sáng bởi mơi trường bên ngồi từ một nguồn sáng bởi cả đèn hồng ngoại và ánh sáng môi trường xung quanh. Kết quả là bức ảnh có chứa hiệu ứng chiếu sáng chỉ do đèn hồng ngoại do đó ta thấy các đồng tử sáng và hình nền tối. Kết quả này đã tìm thấy hiệu quả lớn trong việc cải thiện sự vững mạnh và tính chính xác của thuật tốn theo dõi mắt dướisự can thiệp mạnh mẽ của sự chiếu sáng phía ngồi, ngay cả dưới ánh sáng mạnh chiếu tới hoặc một nguồn hồng ngoại ở gần như trong mơ tả ở Hình 2.20
Hình 2.21 Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh
Để theo dõi mắt thực, sự loại trừ hình ảnh phải được thực hiện một cách có hiệu quả trong thời gian thực. Muốn làm điều này cần thiết kế một thiết bị thu Video phát hiện từ mỗi khung hình chẵn xen kẽ (đầu ra máy ảnh) và cả những tín hiệu lẻ. Sau đó nó được sử dụng luân phiên để quay bên ngồi và bên trong vịng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59
hồng ngoại tạo ra khu vực hình ảnh đồng tử sáng và tối. Sau đó một chương trình được viết để chia mỗi khung hình ra hành hai dạng hình ảnh (chẵn và lẻ), đại diện cho hình ảnh đồng tử sáng và tối riêng biệt. Khu vực hình ảnh chắn được loại trừ số hóa từ khu vực hình ảnh lẻ để tạo ra bức ảnh khác biệt.
Hình 2.22 Hình ảnh đồng tử sáng và tối riêng biệt
Xác định vị trí ban đầu của đồng tử
Kết quả hình ảnh đưa ra từ việc loại trừ sự chiếu sáng từ bên ngồi, các đồng tử có thể được phát hiện bằng cách tìm kiểm tồn bộ hình ảnh để xác định vùng sáng mà chúng đáp ứng về kích thước, hình dạng và hạn chế khoảng cách. Để làm như vậy mỗi cửa sổ tìm kiếm phải qt tồn bộ bức ảnh. Tại mỗi vị trí, các phần của hình ảnh được bao phủ bởi cửa sổ được kiểm tra để xác định số lượng phương thức phân phối cường độ. Người ta cho rằng phân phối cường độ đi theo bởi sự phân phối không theo mẫu, nếu đồng tử không bị bao phủ bởi cửa sổ và theo bởi hai phương thức phân phối cường độ khi cửa sổ bao gồm đồng tử. Ngưỡng sau đó được áp dụng cho hình ảnh cửa sổ nếu sự phân phối cường độ được xác định bởi hai phương thức. Ngưỡng được xác định tự động bởi sử giảm thiểu khoảng cách
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60
thơng tin (Kullback [22]). Điều này mang lại một hình ảnh đơi bao gồm đốm đơi trong đó chứa một đồng tử. Điểm đốm đơi này sau đó được xác định bởi hình dạng, kích thước, khoảng cách của nó so với đồng tử khác và đặc điểm chuyển động của nó để đảm bảo đó là một đồng tử. Các bước nhận dạng là rất quan trọng vì một số khu vực của hình ảnh như ánh sáng chói của kính đều có mức độ sáng như nhau (xem Hình 2.24, các ánh sáng chói khơng thể bị loại bỏ bởi tiến trình loại trừ hình ảnh). Chúng có thể gây ra lỗi cho đồng tử mà khơng theo tiến trình xác minh. Cửa sổ sẽ di chuyển đến vị trí tiếp theo nếu việc xác nhận khơng thành cơng. Trọng tâm của đốm bị quay lại tại vị trí của đồng tử bị phát hiện nếu việc xác nhận thành cơng. Q trình này sau đó được lặp lại để phát hiện ra đồng tử khác.
Theo dõi đồng tử qua bộ lọc Kalman
Một vấn đề vô cùng quan trọng để liên tục theo dõi con người qua việc theo dõi đồng tử của họ từ khung hình này đến khung hình khác trong thời gian thực.
Hình 2.23 Sơ đồ khối của vịng loại trừ hình ảnh
Điều này có thể được thực hiện bằng cách phát hiện đồng tử ở mỗi khung hình. Đây là phương pháp phức tạp tuy nhiên sẽ làm chậm tốc độ theo dõi đồng thử, làm cho việc theo dõi đổng tử trong thời gian thực là khơng thể vì nó cần tìm kiếm hình ảnh cịn lại cho mỗi khung hình. Điều này có thể hồn thành một cách có hiệu quả hoặc bằng cách sử dụng chương trình dự đốn và định vị.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61
Dự đoán liên quan tới việc xác định vị trí khoảng cách của các đồng tử trong khung hình tiếp theo dựa cào vị trí của nó hiện tại. Định vị xác định chính xác vị trí thơng qua tìm kiếm khu vực. Bước đầu đảm bảo định vị hiệu quả chính xác cho bước thứ hai khi nó giới hạn được khu vực tìm kiếm trung khung hình tiếp theo ở một khu vực nhỏ.
Hình 2.24 Ánh sáng chói trên khung mắt có độ sáng cân bằng với các đồng tử.
Hai yếu tố quan trọng cần được xem xét khi thực hiện kế hoach này. Nhân tố đầu tiên là tìm kiếm kích cỡ cửa sổ cho nhân tố thứ hai. Một cửa sổ tìm kiếm lớn có kết quả khi tìm kiếm khơng cần thiết và tốn thời gian trong khi một cửa sổ tìm kiếm nhỏ có thể dễ dàng mất thông tin của đồng tử. Một vài nhân tố có thể ảnh hưởng đến kích thước cửa sổ tìm kiếm bao gồm kích cỡ đồng tử và sự khơng chắc chắc về vị trí dự đốn. Sự đa dạng kích cỡ đồng tử về khoảng cách, các đối tượng và vị trí khơng chắc chắn phụ thuộc vào tính đăng đặc tính và đặc điểm nhiễu của hình ảnh. Một cách hiệu quả là sử dụng một cửa sổ tìm kiếm thích nghi, trong đó khu vực tìm kiếm được xác định tự động dựa trên kích cỡ của đồng tử và lỗi vị trí.
Bộ lọc Kalman cung cấp một cơ chế để thực hiện diều này. Bộ lọc Kalman là một tập hợp các thuật toán đệ quy, nó sẽ ước tính vị trí và đối tượng di chuyển không chắc chắn tại khung thời gian tiếp theo. Ở đó sẽ tìm kiếm các đồng tử và tính tốn độ rộng của khu vực lớn như thết nào để tìm ra các khung hình tiếp theo, xung quanh vị trí dự đốn để chắc chắn tìm được đồng tử với sự chắc chắn nhất định. Các điều kiện đệ quy hiện tại ước tính qua các phép đo trước và tiến trình sẽ được lặp lại với ước tính đã được sử dụng cho dự án hoặc dự đốn cho ước tính tiếp
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62
theo. Bản chất đệ quy là một tính năng hay của bộ lọc Kalman- nó làm cho việc thực hiện khả thi hơn nhiều trong thực tế.
Phương pháp theo dõi đồng tử dựa trên bộ lọc Kalman có thể được định dạng cụ thể như sau: Một chuỗi các khung hình ảnh được lưu lại. Chuỗi hình ảnh được cắt mẫu tại mối khung hình t, sau đó được xử lý để xác định vị trí đồng tử. Trạng thái của một đồng tử tại mỗi thời điểm (khung hình) có thể được đặc trưng bởi vị trí và vận tốc của nó. Đặt (ct,rt) đại hiện cho vị trí điểm ảnh của đồng tử ( trọng tâm của nó) tại thời gian t và (ut,vt) là vận tốc tại thời điểm t theo hướng c và r tương ứng. Vector trạng thái tại thời điểm t được thể hiện là xt = (ct,rt, ut,vt)t
.
Hình 2.25 Theo dõi và phát hiện đồng tử sử dụng bộ lọc Kalman.
Để nghiên cứu hiệu lực của bộ lọc Kalman cho theo dõi đồng tử, chúng tôi nghiên cứu sự khác biệt giữavị trí đồng tử dự đốn và thực tế như trong hình 2.26 Nó cho thấy quỹ đạo thực tế và vị trí ước đốn trong 30 khung hình trình tự khi sử dụng bộ lọc Kalman. Nó chỉ ra rõ ràng từ minh họa này vị trí đồng tử dự báo và thực tế là phụ hợp.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 63
Hình 2.26 Quỹ đạo thực và dự đốn vị trí đồng tử trong 30 khung hình trình tự
Kết quả theo dõi.
Hình 2.27 Lọc Kalman theo dõi kết quả với kính.
Chuyển động như tần số nhấp nháy mắt, thời gian nhắm mắt, tốc độ nhắm mắt, và các PERCLOS tham số mới được phát triển gần đây. PERCLOS đo tỷ lệ phần trăm nhắm mắt theo thời gian, không kể thời gian dành cho việc nhắm mắt bình thường. Nó đã được coi là các tham số mắt hợp lệ nhất để mô tả sự mệt mỏi lái xe [13]. Nghiên cứu được thực hiện bởi Wierwillw et al. [25] cho thấy rằng các các lái xe cảnh giác có thấp hơn nhiều số đo PERCLOS hơn so với một người lái xe buồn ngủ. Một tham số mắt khác có tiềm năng có thể là một chỉ số tốt của sự mệt mỏi là tốc độ nhắm / mở mắt, tức là số lượng thời gian cần thiết để hoàn toàn nhắm mắt và mở mắt. Nghiên cứu sơ bộ của chúng tôi chỉ ra rằng tốc độ nhắm mắt là khác nhau rõ rệt giữa mắt buồn ngủ và chịu một cảnh báo. Đối với nghiên cứu
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 64
này, được tập trung vào tính tốn thời gian thực của hai thơng số để mơ tả chuyển động của mí mắt.
Để có được những số đo (PERCLOS và tốc độ nhắm mắt), đề xuất tiếp tục theo dõi các đồng tử / con ngươi của đối tượng và xác định trong thời gian thực, số