Mục tiêu phát hiện và theo dõi đồng tử là để sau đó giám sát sự chuyển động của mí mắt, hướng nhìn xác định và hướng nhìn dự định. Rõ ràng phát hiện đồng tử
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 56 trong thời gian thực là rất quan trọng. Phát hiện và theo dõi đồng tử bắt đầu với sự phát hiện đồng tử.
Hình 2.18 Thiết kế camera bên trong động cơ
Đối với nghiên cứu này tập trung vào phát hiện các đồng tử dựa trên cường độ, hình dạng và kích thước của chúng. Dựa vào việc sử dụng sự chiếu sáng hồng ngoại đặc biệt, đồng từ xuất hiện sáng hơn so với phần còn lại của khuôn mặt. Cường độ đồng tử chính là đặc tính được sử dụng để phát hiện các đổng tử. Thêm nữa là phân chia đồng tử dựa vào mức độ sáng của đối tượng khác trên hình ảnh và các thuộc tính khi quan sát đồng tử sử dụng. Nó bao gồm kích cỡ, hình dạng của các đồng tử, mối quan hệ không gian giữa các đồng tử và đặc điểm chuyển động của nó. Với các đồng tử phát hiện, sau đó chúng sẽ được theo dõi ảnh hưởng từ khung hình này đến khung hình khác trong thời gian thực dựa trên bộ lọc Kalman. Hình 2.19 đưa ra một cái nhìn tổng quan về hệ thống theo dõi mắt.
Hệ thống bao gồm hai giai đoạn phát hiện và giám đồng tử. Phát hiện đồng tử bắt đầu với một quá trình loại bỏ sự can thiệp ánh sáng từ bên ngoài, sau đó là một sự định vị toàn cầy tất cả hình ảnh để xác định cặp đồng tử đầu tiện trong bức ảnh. Theo dõi vị trí đồng tử là tìm kiếm đồng tử dựa vào vị trí của đồng tử ở khung hình trước. Trong các phần tiếp theo báo cáo sẽ mô tả chi tiết từng khía cạnh đồng tử dựa trên vị trí của đồng tử trong khung hình trước trong các phần để làm theo.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 57
Hình 2.19 Sơ đồ hệ thống theo dõi và phát hiện đồng tử
Hình 2.20 Hình nền sự loại bỏ can thiệp chiếu sáng (a) Vùng hình ảnh gồm cả ánh sáng xung quang và ánh sáng hồng ngoại; (b) Vùng ảnh lẻ chỉ gồm ánh
sáng bên ngoài; (c) Kết quả hình ảnh từ việc loại trừ (b) và (a)
Phát hiện đồng tử
Phát hiện đồng tử liên quan đến vị trí của đồng tử trong hình ảnh đó. Nó bao gồm 2 bước: Loại bỏ sự can thiệp chiếu sáng và phát hiện đồng tử
Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh: Các thuật toán phát hiện bắt đầu với quá trình giảm thiểu sự can thiệp từ các nguồn sáng bên ngoài hơn so với đèn hồng ngoại. Nó bao gồm ánh sáng mặt trời và ánh sáng từ môi
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 58 trường xung quanh. Hình 2.20 (a) cho thấy một bức ảnh mà các phần (phía trên bên trái) của hình nền trông rất sáng, hầu như sáng bằng với đồng tử. Ngưỡng đơn giản của hình ảnh hoàn toàn dựa vào cường độ không phải lúc nào cũng phát hiện đồng tử căn cứ vào sự xuất hiện các vùng sáng khác trên hình ảnh. Để phát hiện duy nhất đồng tử, các vùng sáng khác trong bức ảnh phải được loại bỏ hoặc chúng sẽ gây bất lợi ảnh hưởng tới sự phát hiện đồng tử. Các cụm hình nền loại bỏ được thực hiện bằng cách loại trừ hình ảnh chủ có chiếu sáng bởi môi trường bên ngoài từ một nguồn sáng bởi cả đèn hồng ngoại và ánh sáng môi trường xung quanh. Kết quả là bức ảnh có chứa hiệu ứng chiếu sáng chỉ do đèn hồng ngoại do đó ta thấy các đồng tử sáng và hình nền tối. Kết quả này đã tìm thấy hiệu quả lớn trong việc cải thiện sự vững mạnh và tính chính xác của thuật toán theo dõi mắt dướisự can thiệp mạnh mẽ của sự chiếu sáng phía ngoài, ngay cả dưới ánh sáng mạnh chiếu tới hoặc một nguồn hồng ngoại ở gần như trong mô tả ở Hình 2.20
Hình 2.21 Loại bỏ sự can thiệp chiếu sáng qua việc loại trừ hình ảnh
Để theo dõi mắt thực, sự loại trừ hình ảnh phải được thực hiện một cách có hiệu quả trong thời gian thực. Muốn làm điều này cần thiết kế một thiết bị thu Video phát hiện từ mỗi khung hình chẵn xen kẽ (đầu ra máy ảnh) và cả những tín hiệu lẻ. Sau đó nó được sử dụng luân phiên để quay bên ngoài và bên trong vòng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 59 hồng ngoại tạo ra khu vực hình ảnh đồng tử sáng và tối. Sau đó một chương trình được viết để chia mỗi khung hình ra hành hai dạng hình ảnh (chẵn và lẻ), đại diện cho hình ảnh đồng tử sáng và tối riêng biệt. Khu vực hình ảnh chắn được loại trừ số hóa từ khu vực hình ảnh lẻ để tạo ra bức ảnh khác biệt.
Hình 2.22 Hình ảnh đồng tử sáng và tối riêng biệt
Xác định vị trí ban đầu của đồng tử
Kết quả hình ảnh đưa ra từ việc loại trừ sự chiếu sáng từ bên ngoài, các đồng tử có thể được phát hiện bằng cách tìm kiểm toàn bộ hình ảnh để xác định vùng sáng mà chúng đáp ứng về kích thước, hình dạng và hạn chế khoảng cách. Để làm như vậy mỗi cửa sổ tìm kiếm phải quét toàn bộ bức ảnh. Tại mỗi vị trí, các phần của hình ảnh được bao phủ bởi cửa sổ được kiểm tra để xác định số lượng phương thức phân phối cường độ. Người ta cho rằng phân phối cường độ đi theo bởi sự phân phối không theo mẫu, nếu đồng tử không bị bao phủ bởi cửa sổ và theo bởi hai phương thức phân phối cường độ khi cửa sổ bao gồm đồng tử. Ngưỡng sau đó được áp dụng cho hình ảnh cửa sổ nếu sự phân phối cường độ được xác định bởi hai phương thức. Ngưỡng được xác định tự động bởi sử giảm thiểu khoảng cách
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 60 thông tin (Kullback [22]). Điều này mang lại một hình ảnh đôi bao gồm đốm đôi trong đó chứa một đồng tử. Điểm đốm đôi này sau đó được xác định bởi hình dạng, kích thước, khoảng cách của nó so với đồng tử khác và đặc điểm chuyển động của nó để đảm bảo đó là một đồng tử. Các bước nhận dạng là rất quan trọng vì một số khu vực của hình ảnh như ánh sáng chói của kính đều có mức độ sáng như nhau (xem Hình 2.24, các ánh sáng chói không thể bị loại bỏ bởi tiến trình loại trừ hình ảnh). Chúng có thể gây ra lỗi cho đồng tử mà không theo tiến trình xác minh. Cửa sổ sẽ di chuyển đến vị trí tiếp theo nếu việc xác nhận không thành công. Trọng tâm của đốm bị quay lại tại vị trí của đồng tử bị phát hiện nếu việc xác nhận thành công. Quá trình này sau đó được lặp lại để phát hiện ra đồng tử khác.
Theo dõi đồng tử qua bộ lọc Kalman
Một vấn đề vô cùng quan trọng để liên tục theo dõi con người qua việc theo dõi đồng tử của họ từ khung hình này đến khung hình khác trong thời gian thực.
Hình 2.23 Sơ đồ khối của vòng loại trừ hình ảnh
Điều này có thể được thực hiện bằng cách phát hiện đồng tử ở mỗi khung hình. Đây là phương pháp phức tạp tuy nhiên sẽ làm chậm tốc độ theo dõi đồng thử, làm cho việc theo dõi đổng tử trong thời gian thực là không thể vì nó cần tìm kiếm hình ảnh còn lại cho mỗi khung hình. Điều này có thể hoàn thành một cách có hiệu quả hoặc bằng cách sử dụng chương trình dự đoán và định vị.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 61 Dự đoán liên quan tới việc xác định vị trí khoảng cách của các đồng tử trong khung hình tiếp theo dựa cào vị trí của nó hiện tại. Định vị xác định chính xác vị trí thông qua tìm kiếm khu vực. Bước đầu đảm bảo định vị hiệu quả chính xác cho bước thứ hai khi nó giới hạn được khu vực tìm kiếm trung khung hình tiếp theo ở một khu vực nhỏ.
Hình 2.24 Ánh sáng chói trên khung mắt có độ sáng cân bằng với các đồng tử.
Hai yếu tố quan trọng cần được xem xét khi thực hiện kế hoach này. Nhân tố đầu tiên là tìm kiếm kích cỡ cửa sổ cho nhân tố thứ hai. Một cửa sổ tìm kiếm lớn có kết quả khi tìm kiếm không cần thiết và tốn thời gian trong khi một cửa sổ tìm kiếm nhỏ có thể dễ dàng mất thông tin của đồng tử. Một vài nhân tố có thể ảnh hưởng đến kích thước cửa sổ tìm kiếm bao gồm kích cỡ đồng tử và sự không chắc chắc về vị trí dự đoán. Sự đa dạng kích cỡ đồng tử về khoảng cách, các đối tượng và vị trí không chắc chắn phụ thuộc vào tính đăng đặc tính và đặc điểm nhiễu của hình ảnh. Một cách hiệu quả là sử dụng một cửa sổ tìm kiếm thích nghi, trong đó khu vực tìm kiếm được xác định tự động dựa trên kích cỡ của đồng tử và lỗi vị trí.
Bộ lọc Kalman cung cấp một cơ chế để thực hiện diều này. Bộ lọc Kalman là một tập hợp các thuật toán đệ quy, nó sẽ ước tính vị trí và đối tượng di chuyển không chắc chắn tại khung thời gian tiếp theo. Ở đó sẽ tìm kiếm các đồng tử và tính toán độ rộng của khu vực lớn như thết nào để tìm ra các khung hình tiếp theo, xung quanh vị trí dự đoán để chắc chắn tìm được đồng tử với sự chắc chắn nhất định. Các điều kiện đệ quy hiện tại ước tính qua các phép đo trước và tiến trình sẽ được lặp lại với ước tính đã được sử dụng cho dự án hoặc dự đoán cho ước tính tiếp
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 62 theo. Bản chất đệ quy là một tính năng hay của bộ lọc Kalman- nó làm cho việc thực hiện khả thi hơn nhiều trong thực tế.
Phương pháp theo dõi đồng tử dựa trên bộ lọc Kalman có thể được định dạng cụ thể như sau: Một chuỗi các khung hình ảnh được lưu lại. Chuỗi hình ảnh được cắt mẫu tại mối khung hình t, sau đó được xử lý để xác định vị trí đồng tử. Trạng thái của một đồng tử tại mỗi thời điểm (khung hình) có thể được đặc trưng bởi vị trí và vận tốc của nó. Đặt (ct,rt) đại hiện cho vị trí điểm ảnh của đồng tử ( trọng tâm của nó) tại thời gian t và (ut,vt) là vận tốc tại thời điểm t theo hướng c và r tương ứng. Vector trạng thái tại thời điểm t được thể hiện là xt = (ct,rt, ut,vt)t
.
Hình 2.25 Theo dõi và phát hiện đồng tử sử dụng bộ lọc Kalman.
Để nghiên cứu hiệu lực của bộ lọc Kalman cho theo dõi đồng tử, chúng tôi nghiên cứu sự khác biệt giữavị trí đồng tử dự đoán và thực tế như trong hình 2.26 Nó cho thấy quỹ đạo thực tế và vị trí ước đoán trong 30 khung hình trình tự khi sử dụng bộ lọc Kalman. Nó chỉ ra rõ ràng từ minh họa này vị trí đồng tử dự báo và thực tế là phụ hợp.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 63
Hình 2.26 Quỹ đạo thực và dự đoán vị trí đồng tử trong 30 khung hình trình tự
Kết quả theo dõi.
Hình 2.27 Lọc Kalman theo dõi kết quả với kính.
Chuyển động như tần số nhấp nháy mắt, thời gian nhắm mắt, tốc độ nhắm mắt, và các PERCLOS tham số mới được phát triển gần đây. PERCLOS đo tỷ lệ phần trăm nhắm mắt theo thời gian, không kể thời gian dành cho việc nhắm mắt bình thường. Nó đã được coi là các tham số mắt hợp lệ nhất để mô tả sự mệt mỏi lái xe [13]. Nghiên cứu được thực hiện bởi Wierwillw et al. [25] cho thấy rằng các các lái xe cảnh giác có thấp hơn nhiều số đo PERCLOS hơn so với một người lái xe buồn ngủ. Một tham số mắt khác có tiềm năng có thể là một chỉ số tốt của sự mệt mỏi là tốc độ nhắm / mở mắt, tức là số lượng thời gian cần thiết để hoàn toàn nhắm mắt và mở mắt. Nghiên cứu sơ bộ của chúng tôi chỉ ra rằng tốc độ nhắm mắt là khác nhau rõ rệt giữa mắt buồn ngủ và chịu một cảnh báo. Đối với nghiên cứu
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 64 này, được tập trung vào tính toán thời gian thực của hai thông số để mô tả chuyển động của mí mắt.
Để có được những số đo (PERCLOS và tốc độ nhắm mắt), đề xuất tiếp tục theo dõi các đồng tử / con ngươi của đối tượng và xác định trong thời gian thực, số lượng nhắm mắt dựa trên diện tích của các em đồng tử / con ngươiđã được bịt bởi mí mắt. Cụ thể, một mắt nhắm xảy ra khi kích thước của sự co lại của đồng tử /con ngươi được phát hiện sẽ thu lại một phần nhỏ (20%) của kích thước thực của nó.
Hình 2.28 Ví dụ về theo dõi học trò theo sự can thiệp mạnh mẽ của chiếu sáng bên ngoài.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 65 Như thể hiện trong hình 2.29, thời gian mắt nhắm riêng lẻ được định nghĩa là sự khác biệt thời gian giữa hai khoảng khắc thời gian liên tiếp, t2 và t3, giữa kích thước đồng tử / con ngươi là 20% hoặc ít hơn kích thước tối đa học sinh. Và tốc độ mắt nhắm riêng lẻ được định nghĩa là khoảng thời gian t1 đến t2 hoặc t3 đến t4, trong thời gian đó kích thước đồng tử / con ngươi từ 20% đến 80% kích thước con ngươi thực tế. Tính toán của PERCLOS và tốc độ nhắm mắt trung bình (AECS). Thời gian nhắm mắt riêng lẻ và tốc độ nhắm mắt có thể phản ánh mức độ tỉnh táo của lái xe. Cả hai PERCLOS và AECS một khoảnh khắc thời gian cụ thể được tính toán trong một khoảng thời gian cố định (30 s). Tốc độ trung bình nhắm/mở mắt được tính là trung bình số học của tất cả các tốc độ nhắm mắt trong một thời gian cố định (30 s). Tuy nhiên, phép đo lường một lần của cả hai tham số có thể không chính xác định lượng sự tỉnh táo của một người vì bản chất ngẫu nhiên của nó. Một cách chính xác và mạnh mẽ hơn là tính toán trung bình chạy (thời gian theo dõi) của mỗi tham số. Trung bình chạy tính toán hai tham số tại một thời gian sử dụng dữ liệu hiện tại và các dữ liệu ở trường hợp thời gian trước đó. ví dụ Để có được trung bình chạy của đo lường PERCLOS, chương trình liên tục theo dõi kích thước con ngươi của người và giám sát việc nhắm mắt tại mỗi trường hợp thời gian. Thời gian mắt nhắm tích lũy được sử dụng để tính toán PER-Clos. Chúng tôi tính toán các biện pháp đo PERCLOS dựa trên tỷ lệ nhắm mắt trong 30 giây. Thời hạn này là tùy ý và có thể được điều chỉnh bởi người sử dụng.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 66
CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM
Như chúng ta đã biết, bài toán phát hiện mặt người đã được đặt ra từ lâu và đi cùng với nó là hàng loạt các đề tài khoa học được xác lập, các công trình nghiên cứu được công bố, các ứng dụng được triển khai. Trong chương 2 đã trình bày các hệ thống hóa một số vấn đề trong việc phát hiện biểu cảm khuôn mặt người trong ảnh từ đó tiến hành cài đặt thử nghiệm thuật toán phát hiện mặt người ngủ gật trên cơ sở đánh giá trạng thái nhắm mắt của người lái xe.
3.1 Biểu cảm trạng thái ngủ gật của ngƣời lái xe
Kỹ thuật phát hiện trạng thái ngủ gật của người lái xe trập trung vào sự thay