Theo Hutchinson đã chỉ ra, độ sáng của con ngươi có thể thu được nếu mắt được chiếu sáng bằng ánh sáng rực rỡ của đèn NIR cùng với trục máy ảnh quang học ở một bước sóng nhất định. Tại bước sóng NIR, đồng tử phản chiếu hầu hết tất cả các tia hồng ngoại mà chúng nhận được rồi quay trở lại máy ảnh tạo ra hiệu ứng ánh sáng đồng tử, tương tự với hiệu hứng mắt đỏ trong nhiếp ảnh.
Nếu chiếu sáng bằng trục quang học máy ảnh, đồng tử trở thành tối từ khi nó phản chiếu ảnh sáng khơng đi qua ống kính máy ảnh. Điều này được gọi là các hiệu ứng đồng tử tối. Hình 2.12 minh họa nguyên tắc hiệu ứng sáng và tối của đồng tử. Thêm một ví dụ về các đồng tử sáng và tối được đưa ra trong Hình 2.13.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 52
Để tạo ra hiệu hứng đồng tử sáng mong muốn, đèn chiếu sáng IR về lý thuyết phải được đặt dọc trục quang học của ống kính. Thí nghiệm của chúng tơi cho thấy rất khó về mặt vật lý để đặt các đi ốt phát ra ánh sáng hồng ngoại (LEDs) dọc theo trục quang học để ngăn chặn việc xem máy ảnh, hạn chế phạm vi hoạt động của máy ảnh. Những người khác đề nghị việc sử dụng một chùm tia phân tách để đạt được mục đích mà khơng ngăn chặn xem camera. Tuy nhiên cách thiết lập và cài đặt lại rất phức tạp.
Hình 2.12 Nguyên lý về hiệu ứng đồng tử sáng và tối
Trong phần này trình bày một mơ hình bố trí đơn giản của đèn LEDs IR tương tự như của morimoto nhưng vẫn đạt được hiệu ứng đồng tử sáng với sự giảm tối thiểu xem hoạt động của camera. Cụ thể IR chiếu sáng của chúng tới bao gồm hai bộ đèn LEDs hồng ngoại được phân phối đồng đều và đối xứng dọc theo hai vòng phẳng đồng tâm như thể hiện trong hình 2.14. Trung tâm của hai vòng trùng với trục quang học của máy ảnh.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 53
Hình 2.13 Hồng ngoại chiếu sáng mắt (a) Hình ảnh đồng tử tối được tạo bởi đèn LEDs hồng ngoại không đặt trên trục quang học camera; (b) hình ảnh đồng đèn LEDs hồng ngoại không đặt trên trục quang học camera; (b) hình ảnh đồng tử sáng được tạo bởi đèn LEDs hồng ngoại đặt dọc theo trục quang học camera.
Đặt ở phía trước ống kính, kích thước tối ưu của vòng đèn LED được xác định theo kinh nghiệm. Hình ảnh tối được tạo ra khi vịng ngồi được bật lện và hình ảnh sáng của đồng tử được tạo ra khi vịng trong được bật. Nó đại diện cho mối quan hệ được tạo ra giữa ý tưởng sáng/tối hình ảnh đồng tử và sự giảm thiêu việc quan sát camera. Các hình dạng đạt được tương tự với hiệu ứng đồng tử sáng khi đèn LEDs được đặt dọc trục quang học. Bên cạnh những lợi thế trong việc cài đặt và giảm thiểu sự quan sát camera, kể từ khi đèn LEDs được sắp xếp đối xứng quanh truch quang học camera họ có thể xóa bỏ bóng được tạo ra bởi đèn LEDs.
Hình 2.14 Cấu hình nguồn sáng IR
Hơn nữa việc sử dụng nhiều đèn LEDs hồng ngoại có thể tạo ra một ánh sáng mạnh giống như sự chiếu sáng từ đèn hồng ngoại làm chi phối các bức xạ hồng ngoại và tiếp xúc vói khn mặt của lái xe, bởi vậy nó giảm thiểu tác dụng đắng kể ảnh hưởng của hồng ngoại từ các nguồn khác. Điều này đảm bảo sự ảnh hưởng đồng tử sáng dước các điều kiện khí hậu khác nhau. Việc sử dụng nhiều hơn một
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 54
đèn LED còn cho phép tao ra đồng tử sáng cho các đối tượng ở xa camera. Để giảm thiểu sự tác động từ các nguồn ánh sang ngoài ánh sáng hồng ngoại và để duy trì việc chiếu sáng đồng nhất dưới các điều kiện khí hậu khác nhau, một bộ lọc hẹp NIR được gắn vào mặt trước của ống kính để làm giảm thiểu ánh sáng vượt ra ngoài phạm vi NIR (700-900nm). Một thiết bị vật lý được vài dặt trên đèn hồng ngoại được mơ tả trong hình 2.15.
Hình 2.15 Bức ảnh thực tế về hình dạng hai vịng hồng ngoại chiếu sáng
Nguồn ánh sáng hồng ngoại chiếu sáng mắt của người sử dụng và tạo ra hai loại hình ảnh đồng tử: sáng và tối được thể hiện trong Hình 2.16.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 55
Hình ảnh đổng tử sáng được tạo ra khi vòng trong của đèn LEDs hồng ngoại được bật lên và hình ảnh tối được tao ra khi vịng trong được bật. Lưu ý là tia sáng xuất hiện cả trong hình ảnh đổng tử sáng và tối. Hình 2.17 trình bày thêm ví dụ về việc thu hình ảnh sử dụng hệ thống thu hình ảnh đã được mơ tả ở trên. Những hình ảnh này chứng minh sự vững mạnh của hệ thống trong đó sự ảnh hưởng về đồng tử sáng la cho hình ảnh rõ ràng tại các khoảng cách khác nhau, hướng khắc nhau, độ phóng đại khác nhau và trong trường hợp khơng có kính. Nó thậm chí cịn có thể làm việc tới một mức độ nhất định khi có kính râm.
Để thực hiện được trong xe, ta đề xuất hai CMOS có camera thu nhỏ đặt vào trong bảng điều khiển của xe như thể hiện ở hình 2.18, camera thứ nhất là một máy ảnh có góc hẹp tập trung vào mắt của lái xe để giám sát sự chuyển động của mí mắt trong khi camera thứ hai là 1 camera góc rộng tập trung vào đầu của lái xe để ghi lại và giám sát chuyển động của đầu.
Hai máy quay có thể được cơ giới hóa vì vậy chuyển động của chúng có thể được điều chỉnh thông qua một bộ điều khiển để thu được hình ảnh tốt nhất của tài xế. Cả hai máy ảnh phải có độ sâu rộng trong từng vị trí do đó chúng có thể giữ vững sự tập trung làm việc trong khoảng cách 0.8-1.5m. Khoảng cách giữa các góc là +- 450 theo cả hai hướng dọc và ngang.
Hình 2.17 Ví dụ thu hình ảnh với mong muốn hiệu ứng đồng tử sáng. (a) Khơng có kính, (b) có kính; (c) Có kính râm có kính, (b) có kính; (c) Có kính râm
2.3.2 Phát hiện và theo dõi đồng tử
Mục tiêu phát hiện và theo dõi đồng tử là để sau đó giám sát sự chuyển động của mí mắt, hướng nhìn xác định và hướng nhìn dự định. Rõ ràng phát hiện đồng tử
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56
trong thời gian thực là rất quan trọng. Phát hiện và theo dõi đồng tử bắt đầu với sự phát hiện đồng tử.
Hình 2.18 Thiết kế camera bên trong động cơ
Đối với nghiên cứu này tập trung vào phát hiện các đồng tử dựa trên cường độ, hình dạng và kích thước của chúng. Dựa vào việc sử dụng sự chiếu sáng hồng ngoại đặc biệt, đồng từ xuất hiện sáng hơn so với phần cịn lại của khn mặt. Cường độ đồng tử chính là đặc tính được sử dụng để phát hiện các đổng tử. Thêm nữa là phân chia đồng tử dựa vào mức độ sáng của đối tượng khác trên hình ảnh và các thuộc tính khi quan sát đồng tử sử dụng. Nó bao gồm kích cỡ, hình dạng của các đồng tử, mối quan hệ không gian giữa các đồng tử và đặc điểm chuyển động của nó. Với các đồng tử phát hiện, sau đó chúng sẽ được theo dõi ảnh hưởng từ khung hình này đến khung hình khác trong thời gian thực dựa trên bộ lọc Kalman. Hình 2.19 đưa ra một cái nhìn tổng quan về hệ thống theo dõi mắt.
Hệ thống bao gồm hai giai đoạn phát hiện và giám đồng tử. Phát hiện đồng tử bắt đầu với một quá trình loại bỏ sự can thiệp ánh sáng từ bên ngồi, sau đó là một sự định vị tồn cầy tất cả hình ảnh để xác định cặp đồng tử đầu tiện trong bức ảnh. Theo dõi vị trí đồng tử là tìm kiếm đồng tử dựa vào vị trí của đồng tử ở khung hình trước. Trong các phần tiếp theo báo cáo sẽ mơ tả chi tiết từng khía cạnh đồng tử dựa trên vị trí của đồng tử trong khung hình trước trong các phần để làm theo.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57
Hình 2.19 Sơ đồ hệ thống theo dõi và phát hiện đồng tử
Hình 2.20 Hình nền sự loại bỏ can thiệp chiếu sáng (a) Vùng hình ảnh gồm cả ánh sáng xung quang và ánh sáng hồng ngoại; (b) Vùng ảnh lẻ chỉ gồm ánh ánh sáng xung quang và ánh sáng hồng ngoại; (b) Vùng ảnh lẻ chỉ gồm ánh
sáng bên ngồi; (c) Kết quả hình ảnh từ việc loại trừ (b) và (a)
Phát hiện đồng tử
Phát hiện đồng tử liên quan đến vị trí của đồng tử trong hình ảnh đó. Nó bao gồm 2 bước: Loại bỏ sự can thiệp chiếu sáng và phát hiện đồng tử
Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh: Các thuật toán phát hiện bắt đầu với quá trình giảm thiểu sự can thiệp từ các nguồn sáng bên ngoài hơn so với đèn hồng ngoại. Nó bao gồm ánh sáng mặt trời và ánh sáng từ mơi
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58
trường xung quanh. Hình 2.20 (a) cho thấy một bức ảnh mà các phần (phía trên bên trái) của hình nền trơng rất sáng, hầu như sáng bằng với đồng tử. Ngưỡng đơn giản của hình ảnh hồn tồn dựa vào cường độ không phải lúc nào cũng phát hiện đồng tử căn cứ vào sự xuất hiện các vùng sáng khác trên hình ảnh. Để phát hiện duy nhất đồng tử, các vùng sáng khác trong bức ảnh phải được loại bỏ hoặc chúng sẽ gây bất lợi ảnh hưởng tới sự phát hiện đồng tử. Các cụm hình nền loại bỏ được thực hiện bằng cách loại trừ hình ảnh chủ có chiếu sáng bởi mơi trường bên ngồi từ một nguồn sáng bởi cả đèn hồng ngoại và ánh sáng môi trường xung quanh. Kết quả là bức ảnh có chứa hiệu ứng chiếu sáng chỉ do đèn hồng ngoại do đó ta thấy các đồng tử sáng và hình nền tối. Kết quả này đã tìm thấy hiệu quả lớn trong việc cải thiện sự vững mạnh và tính chính xác của thuật tốn theo dõi mắt dướisự can thiệp mạnh mẽ của sự chiếu sáng phía ngồi, ngay cả dưới ánh sáng mạnh chiếu tới hoặc một nguồn hồng ngoại ở gần như trong mơ tả ở Hình 2.20
Hình 2.21 Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh
Để theo dõi mắt thực, sự loại trừ hình ảnh phải được thực hiện một cách có hiệu quả trong thời gian thực. Muốn làm điều này cần thiết kế một thiết bị thu Video phát hiện từ mỗi khung hình chẵn xen kẽ (đầu ra máy ảnh) và cả những tín hiệu lẻ. Sau đó nó được sử dụng luân phiên để quay bên ngồi và bên trong vịng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59
hồng ngoại tạo ra khu vực hình ảnh đồng tử sáng và tối. Sau đó một chương trình được viết để chia mỗi khung hình ra hành hai dạng hình ảnh (chẵn và lẻ), đại diện cho hình ảnh đồng tử sáng và tối riêng biệt. Khu vực hình ảnh chắn được loại trừ số hóa từ khu vực hình ảnh lẻ để tạo ra bức ảnh khác biệt.
Hình 2.22 Hình ảnh đồng tử sáng và tối riêng biệt
Xác định vị trí ban đầu của đồng tử
Kết quả hình ảnh đưa ra từ việc loại trừ sự chiếu sáng từ bên ngồi, các đồng tử có thể được phát hiện bằng cách tìm kiểm tồn bộ hình ảnh để xác định vùng sáng mà chúng đáp ứng về kích thước, hình dạng và hạn chế khoảng cách. Để làm như vậy mỗi cửa sổ tìm kiếm phải qt tồn bộ bức ảnh. Tại mỗi vị trí, các phần của hình ảnh được bao phủ bởi cửa sổ được kiểm tra để xác định số lượng phương thức phân phối cường độ. Người ta cho rằng phân phối cường độ đi theo bởi sự phân phối không theo mẫu, nếu đồng tử không bị bao phủ bởi cửa sổ và theo bởi hai phương thức phân phối cường độ khi cửa sổ bao gồm đồng tử. Ngưỡng sau đó được áp dụng cho hình ảnh cửa sổ nếu sự phân phối cường độ được xác định bởi hai phương thức. Ngưỡng được xác định tự động bởi sử giảm thiểu khoảng cách
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60
thơng tin (Kullback [22]). Điều này mang lại một hình ảnh đơi bao gồm đốm đơi trong đó chứa một đồng tử. Điểm đốm đơi này sau đó được xác định bởi hình dạng, kích thước, khoảng cách của nó so với đồng tử khác và đặc điểm chuyển động của nó để đảm bảo đó là một đồng tử. Các bước nhận dạng là rất quan trọng vì một số khu vực của hình ảnh như ánh sáng chói của kính đều có mức độ sáng như nhau (xem Hình 2.24, các ánh sáng chói khơng thể bị loại bỏ bởi tiến trình loại trừ hình ảnh). Chúng có thể gây ra lỗi cho đồng tử mà khơng theo tiến trình xác minh. Cửa sổ sẽ di chuyển đến vị trí tiếp theo nếu việc xác nhận khơng thành công. Trọng tâm của đốm bị quay lại tại vị trí của đồng tử bị phát hiện nếu việc xác nhận thành cơng. Q trình này sau đó được lặp lại để phát hiện ra đồng tử khác.
Theo dõi đồng tử qua bộ lọc Kalman
Một vấn đề vô cùng quan trọng để liên tục theo dõi con người qua việc theo dõi đồng tử của họ từ khung hình này đến khung hình khác trong thời gian thực.
Hình 2.23 Sơ đồ khối của vịng loại trừ hình ảnh
Điều này có thể được thực hiện bằng cách phát hiện đồng tử ở mỗi khung hình. Đây là phương pháp phức tạp tuy nhiên sẽ làm chậm tốc độ theo dõi đồng thử, làm cho việc theo dõi đổng tử trong thời gian thực là khơng thể vì nó cần tìm kiếm hình ảnh cịn lại cho mỗi khung hình. Điều này có thể hồn thành một cách có hiệu quả hoặc bằng cách sử dụng chương trình dự đốn và định vị.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61
Dự đoán liên quan tới việc xác định vị trí khoảng cách của các đồng tử trong khung hình tiếp theo dựa cào vị trí của nó hiện tại. Định vị xác định chính xác vị trí thơng qua tìm kiếm khu vực. Bước đầu đảm bảo định vị hiệu quả chính xác cho bước thứ hai khi nó giới hạn được khu vực tìm kiếm trung khung hình tiếp theo ở một khu vực nhỏ.
Hình 2.24 Ánh sáng chói trên khung mắt có độ sáng cân bằng với các đồng tử.
Hai yếu tố quan trọng cần được xem xét khi thực hiện kế hoach này. Nhân tố đầu tiên là tìm kiếm kích cỡ cửa sổ cho nhân tố thứ hai. Một cửa sổ tìm kiếm lớn có kết quả khi tìm kiếm khơng cần thiết và tốn thời gian trong khi một cửa sổ tìm kiếm nhỏ có thể dễ dàng mất thông tin của đồng tử. Một vài nhân tố có thể ảnh hưởng đến kích thước cửa sổ tìm kiếm bao gồm kích cỡ đồng tử và sự khơng chắc chắc về vị trí dự đốn. Sự đa dạng kích cỡ đồng tử về khoảng cách, các đối tượng và vị trí khơng chắc chắn phụ thuộc vào tính đăng đặc tính và đặc điểm nhiễu của hình ảnh. Một cách hiệu quả là sử dụng một cửa sổ tìm kiếm thích nghi, trong đó khu vực tìm kiếm được xác định tự động dựa trên kích cỡ của đồng tử và lỗi vị trí.
Bộ lọc Kalman cung cấp một cơ chế để thực hiện diều này. Bộ lọc Kalman là một tập hợp các thuật tốn đệ quy, nó sẽ ước tính vị trí và đối tượng di chuyển không chắc chắn tại khung thời gian tiếp theo. Ở đó sẽ tìm kiếm các đồng tử và tính tốn độ rộng của khu vực lớn như thết nào để tìm ra các khung hình tiếp theo, xung quanh vị trí dự đốn để chắc chắn tìm được đồng tử với sự chắc chắn nhất