Một tiếp cận trong bài toán theo vết chuyển động của mắt

Bài viết đề xuất một tiếp cận theo vết chuyển động của mắt. Phương pháp này dựa trên điều kiện phạm vi theo vết ban đầu đã được thu hẹp do tính chất của bài toán.

MỘT TIẾP CẬN TRONG BÀI TOÁN THEO VẾT CHUYỂN ĐỘNG CỦA MẮT PHẠM THẾ BẢO (*) PHẠM HỮU CƯỜNG (**) PHẠM CHÂU LỊCH (***) DƯƠNG TẤN TÀI (****) TÓM TẮT Chúng đề xuất tiếp cận theo vết chuyển động mắt Phương pháp dựa điều kiện phạm vi theo vết ban đầu thu hẹp tính chất tốn Từ điều kiện đưa cách xác định vị trí mắt dựa vào tính chất hình học xác định biên đối tượng Phương pháp chúng tơi có độ xác khoảng 80% tỉ lệ sai 11% ABSTRACT We propose an approach for eyes tracking This method is based on the initial conditions of tracking regions that is restricted by the properties of a problem We use these conditions to build a process of detecting eyes positions which is based on geometric properties of eyes after determining the boundary of candidates The precision of our method is about 80 percent; and its deviation is about 11 percent TỔNG QUAN Tương tác người máy tính nhu cầu cấp thiết người Con người giao tiếp tương tác với máy tính thơng qua ánh mắt, cử chỉ, âm thanh, v.v Bài tốn theo vết chuyển động mắt có nhiều ứng dụng thực tế Những hệ thống dùng an ninh, theo dõi, hỗ trợ người khuyết tật, v.v Để theo vết chuyển động mắt, trước tiên phải xác định vùng mắt Để xác định vùng mắt, thông thường phải xác định khuôn mặt người frame J.L.Crowley F.Berard [2] dựa kiện chớp mắt để xác định khuôn mặt mắt Hai ông dựa khác biệt ảnh nối tiếp mức độ khác biệt ánh sáng vùng biên đầu vùng mi mắt để xác định L.P.Bala, K.Talmi J.Liu [4] dùng kiện chớp mắt, hai ông kết hợp thơng tin mơ hình màu da màu để xác định khuôn mặt, từ khuôn mặt tác giả xem xét mức độ khác biệt ánh sáng để tìm kiện chớp mắt Cũng theo hướng tìm kiện chớp mắt, có tác giả xây dựng phương pháp so khớp mẫu để tìm Y.Matsumoto nhóm nghiên cứu ông [10] xây dựng mẫu cho mình, phương pháp bị hạn chế người dùng khơng có tập mẫu Trong Shinjiro Kawato Nobuji Tetsutani [6] xây dựng mẫu chuyển động đầu, dùng mẫu để tìm kiện chớp mắt Một hướng nghiên cứu khác theo vết chuyển động điểm hai mắt, thay phải theo vết chuyển động hai mắt Từ điểm suy vị trí mắt dựa vào quan hệ hình học khn mặt Hướng nghiên cứu cho phép xử lí (*) ThS, Khoa Toán – Tin học, Trường Đại học Khoa học Tự nhiên, ĐHQG TP.HCM , (***), (****) CN, Khoa Toán – Tin học, Trường Đại học Khoa học Tự nhiên, ĐHQG TP.HCM (**) tình huống: nghiêng, thay đổi góc nhìn, v.v Chúng tơi nhận thấy người ngồi trước máy thu (máy quay, webcam, v.v.), đầu di chuyển di chuyển phạm vi nhỏ (không thể nghiêng, xoay 300) Chúng đề xuất phương pháp xác định mắt dựa hình thái mắt theo vết chuyển động mắt phạm vi dự đoán di chuyển đầu cập nhật thông tin để xác định vị trí mắt lần Mục tiêu có phương pháp xác định mắt, phương pháp phải nhanh để đảm bảo theo vết chuyển động XÁC ĐỊNH VỊ TRÍ MẮT Để xác định vị trí mắt, chúng tơi phải xác định vị trí khn mặt người frame ảnh màu Chúng dùng phương pháp Bảo [5] để xác định bao hình chữ nhật hình (xmin, ymin) (xmax, ymax) Hình Bao hình chữ nhật khn mặt người 2.1 Trích thơ vùng mắt Khái niệm vùng mắt hiểu vùng ảnh thu nhỏ vùng khuôn mặt mà chứa mắt lơng mày Vùng xác định dựa đặc điểm cấu trúc khn mặt người bố trí thành phần (mắt, mũi, miệng, lông mày, v.v.) khn mặt người Nói cách khác dựa mối quan hệ hình học phận mặt như: khoảng cách hai mắt nằm giới hạn (khơng q xa mà khơng gần), khoảng cách thẳng đứng từ mắt tới lông mày nhỏ khoảng cách thẳng đứng từ mắt tới miệng, v.v [8, 9] Ảnh khung bao hình chữ nhật khn mặt người gồm có ba thành phần như: trán, lông mày mắt, mũi miệng Thành phần gần mắt lơng mày, cịn hai thành phần mũi miệng nằm phía mắt có vị trí tương đối xa mắt so với lơng mày Thơng thường phần mũi miệng nằm phần nửa mặt, phần mắt lông mày nằm vùng nhỏ nửa khuôn mặt phía vùng bao hình chữ nhật Do ta thu hẹp vùng ảnh lại để cơng việc xử lí tiến hành nhanh hơn, cách: dịch biên mặt xuống đoạn dịch biên mặt lên đoạn mà khung đảm bảo bao mắt [3] Gọi d kích thước chiều ngang hình chữ nhật bao, d = ymax-ymin Độ lớn đoạn dịch chuyển biên xuống d/5 Khung bao hình chữ nhật xác định thành phần biểu thức 1, với yminnew biên trái, ymaxnew biên phải, xminnew biên trên, xmaxnew biên dưới, hình yminnew = ymin y maxnew = ymax xminnew = xmin + d/5 (1) xmaxnew = xminnew + (0.54*d) Hình 2: Trích thô vùng mắt 2.2 Chọn ứng viên mắt Sau xác định thô vùng mắt, tiến hành phân đoạn ảnh vừa có khơng gian màu YCbCr kết hợp phép tốn hình thái học để lọc nhiễu [1] Trên ảnh nhị phân thu được, thấy rõ thành phần khác khuôn mặt bao gồm: hai phần lông mày, hai mắt, hai thành phần mũi miệng khơng cịn loại bỏ bước xác định vùng mắt Các đường viền (cạnh) mắt, lơng mày đường dọc theo biên ngồi mặt lên rõ ràng, hình Hình 3: Xác định cạnh Từ ảnh nhị phân này, chúng tơi trích đoạn tương tự mắt (những đoạn ứng viên mắt - ứng viên mắt hiểu đoạn ảnh có khả mắt), nghĩa sau thực bước ảnh nhị phân thu cịn có thành phần như: mắt, lơng mày, miệng (trong trường hợp không loại bỏ miệng bước trích vùng mắt, trường hợp xảy ra), hình Cạnh đối tượng khơng có mắt lơng mày mà cịn đối tượng khác tác động mơi trường Do đó, để loại đối tượng không mong muốn chúng tơi sử dụng tương quan tỉ lệ khung hình chữ nhật bao đối tượng; hình 5; khung hình chữ nhật bao vùng mắt thô Gọi H, W chiều dọc chiều ngang khung ảnh chứa vùng mắt h, w chiều dọc chiều ngang đối tượng xét Hình 4: Trích ứng viên mắt (exmin, eymin) (exmax, eymax) Hình 5: Tọa độ đối tượng Dựa vào đặc trưng hình học khn mặt người ứng viên mắt kết thực nghiệm, nhận thấy ứng viên cịn lại là: hai lơng mày, hai mắt Hình 6: Bốn ứng viên trích hai ứng viên Trong điều kiện thực tế, tác động mơi trường nên xác định xong số lượng ứng viên là: 1, 2, 3, ứng viên Chúng đề xuất hướng giải cho trường hợp sau: a) Cịn bốn ứng viên: Trường hợp xảy ra, bốn ứng viên hai mắt hai lơng mày Ta tìm loại hai ứng viên có ex nhỏ (tức hai ứng viên nằm nhất) Hai đối tượng cịn lại tương ứng với hai mắt, hình b) Cịn ba ứng viên: Đây coi trường hợp ngoại lệ hay gặp trình thực Vì chênh lệch kích thước mắt lơng mày khơng nhiều, để đảm bảo trích ứng viên có hai ứng viên mắt thực dễ (a) (b) (c) Hình 7: Các trường hợp ba ứng viên: (a) hai mắt ứng viên dưới; (b) hai mắt mày phải; (c) hai mắt mày trái c) Kéo theo trích ln ứng viên lơng mày Ba ứng viên là: hai mắt mày trái hai mắt mày phải, v.v Để xử lí, ta dựa vào thành phần exmin để xác định hai ứng viên mà có thành phần gần so với ứng viên lại, hình d) Cịn hai ứng viên: Trong trường hợp này, hai ứng viên nằm nửa vùng khuôn mặt, thuộc hai nửa khác  Nếu hai ứng viên nằm bên, nghĩa nằm nửa vùng mắt (có trục đối xứng đường thẳng đứng) Cụ thể, hai ứng viên mắt trái mày trái mắt phải mày phải Để giải quyết, chúng tơi tìm ứng viên nằm phía lấy đối xứng qua nửa lại theo tỉ lệ thích hợp, hình Hình 8: Hai ứng viên thuộc nửa vùng mặt  Nếu hai ứng viên thuộc hai nửa vùng mặt Cụ thể, hai ứng viên mắt trái mày phải mắt phải mày trái Để khắc phục, chúng tơi tìm ứng viên nằm thấp lấy đối xứng qua, hình Hình 9: Hai ứng viên thuộc hai nửa vùng mặt e) Còn ứng viên: Ở trường hợp ứng viên mắt trái mắt phải Để xác định vị trí mắt cịn lại ta lấy đối xứng dựa vào vị trí tọa độ ứng viên ban đầu, hình 10 Hình 10: Các trường hợp cịn ứng viên Thơng thường nhìn hình máy tính, mắt người dùng nhìn thẳng nghiêng ít, điều không ảnh hưởng đến kết phương pháp Cịn trường hợp nghiêng đầu xảy giả sử có xảy đầu người dùng nghiêng góc khơng đáng kể Do chênh lệch vị trí hai mắt ít, phương pháp cho kết tốt THEO VẾT CHUYỂN ĐỘNG CỦA MẮT 3.1 Phạm vi chuyển động mắt Khi người dùng ngồi trước máy tính thao tác máy tính khoảng cách từ vị trí mắt tới hình thường nằm khoảng giới hạn vừa phải, tức không xa gần Khi dùng thiết bị camera webcam để thu hình khn mặt người dùng q trình xác định vị trí theo vết mắt, bố trí thiết bị cho thích hợp, điều kiện đặt thuận tiện cho người dùng Tuy nhiên, thực theo vết mắt chúng tơi cịn nhận thấy rằng, người dùng ngồi trước hình đầu cử động phạm vi (vùng) xung quanh vị trí cố định khoảng tương đối nhỏ Tức không xảy trường hợp đầu người dùng di chuyển khỏi khung ảnh thiết bị, đầu nghiêng so với trạng thái bình thường, quay hẳn sang bên trái hay phải làm khuất góc nhìn mắt [7, 10] Từ nhận xét này, tiến hành theo vết mắt vùng thu hẹp mà dự đốn mắt di chuyển phạm vi này, mà không tiến hành theo vết toàn ảnh giống xác định vị trí mắt Điều làm cho việc theo vết mắt đơn giản giảm độ phức tạp cho thuật toán theo thời gian thực Phạm vi theo vết mắt mà đưa dựa vị trí hai mắt xác định 3.2 Theo vết chuyển động Trước theo vết mắt, vị trí hai mắt frame trước xác định lưu lại, đồng thời khoảng cách hai mắt lưu lại Chúng sử dụng thuật tốn xác định vị trí mắt đề cập để xác định vị trí hai mắt Xác định giá trị tọa độ này, đồng thời tính khoảng cách hai mắt lần xác định Sau có vị trí cũ vị trí hai mắt khoảng cách chúng, tiến hành so sánh giá trị tọa độ để thấy di chuyển, thay đổi vị trí mắt tiến hành trình thời gian thực Sự chênh lệch vị trí phải nằm giới hạn cho phép KẾT LUẬN Chúng đưa phương pháp để từ xây dựng, cài đặt hệ thống dùng để xác định vị trí mắt theo vết chuyển động mắt ngôn ngữ Matlab với công cụ Simulink thực nghiệm cho thấy phương pháp mà chúng tơi trình bày cho kết tốt, nghĩa xác định vị trí theo vết mắt với thời gian thực Dưới kết thực nghiệm kiểm tra mười người khác nhau, người kiểm tra ba lần Tỉ lệ xác thử nghiệm khoảng 80% tỷ lệ sai khoảng 11%, bảng Trong tương lai phát triển tiếp nghiên cứu theo hướng xây dựng hệ thống hay phần mềm hỗ trợ cho việc giao tiếp người máy thông qua thị giác, cho phép người dùng sử dụng mắt để điểu khiển thiết bị máy tính thay cho việc sử dụng chuột hay bàn phím Cũng kiểm sốt tài xế lái xe có ngủ gục lái xe hay không thông qua chuyển động mắt họ Bảng 1: Bảng thống kê kết thực nghiệm Người 10 Thời gian (phút) Tổng số frame 1200 1800 2400 1200 1800 2400 600 1200 1800 600 1200 1800 600 1200 1800 600 1200 1800 600 1200 1800 600 1200 1800 600 1200 1800 600 1200 1800 Tỉ lệ trung bình Số frame xác 960 1476 1896 1056 1530 1992 450 972 1494 420 888 1296 498 960 1476 474 900 1530 540 1020 1566 438 1008 1386 486 912 1440 390 852 1206 Tỉ lệ xác (%) 80 82 79 88 85 83 75 81 83 70 74 72 83 80 82 79 75 85 90 85 87 73 84 77 81 76 80 65 71 67 79.1 Số frame sai 108 180 168 72 126 264 84 144 144 90 120 198 54 84 108 96 156 180 24 72 126 72 120 306 54 156 180 120 204 342 Tỉ lệ sai (%) 10 7 11 14 12 15 10 11 16 13 10 12 10 17 13 10 20 17 19 10.8 TÀI LIỆU THAM KHẢO Jiatao Song, Zheru Chi, Zhengyou Wang, and Wei Wang (2005) Locating Human Eyes Using Edge and Intensity Information, ICIC 2005, Part II, LNCS 3645, Springer-Verlag Berlin Heidelberg, pp 492 – 501 J.L.Crowley and F.Berard (1997) Multi-modal tracking of face for video communication Proc CVPR 97, page 640-645 Kun Peng, Liming Chen, Su Ruan, and Georgy Kukharev (2005) A Robust and Efficient Algorithm for Eye Detection on Gray Intensity Face Springer-Verlag Berlin Heidelberg 2005 LNCS 3687, pp 302 – 308 L.-P Bala, K.Talmi, and J.Liu (Sept 1997) Automatic detection and tracking of faces and facial features in video sequences 1997 Picture Coding Symposium, Berlin, Germany 5 Phạm Thế Bảo, Xác định khuôn mặt người ảnh màu logic mờ, Luận văn TS, thực Shinjiro Kawato and Noguji Tessutani Detection and Tracking of Eyes for Gaze-camera Control, technical report ATR Media Information Science Laboratories S Kawato and J Ohya (2000) Real-time detection of nodding and head-shaking by directly detecting and tracking “betweeneyes" Proc IEEE 4th Int Conf on Automatic Face and Gesture Recognition, pages 40–45 S Kawato and J Ohya (2000) Two-step approach for real-time eye tracking with a new filtering technique Proc Int Conf on System, Man & Cybernetic, pages 1366–1371 Xusheng Tang, Zongying Ou, Tieming Su, Haibo Sun and Pengfei Zhao (2005) Robust Precise Eye Location by Adaboost and SVM Techniques Springer-Verlag Berlin Heidelberg, LNCS 3497, pp 93–98 10 Y Matsumoto and A.Zelinsky An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement Proc IEEE 4th Int Conf on Automatic face and Gesture Recognition, (2000), pages 499-504  ... Phạm vi theo vết mắt mà chúng tơi đưa dựa vị trí hai mắt xác định 3.2 Theo vết chuyển động Trước theo vết mắt, vị trí hai mắt frame trước xác định lưu lại, đồng thời khoảng cách hai mắt lưu lại... đốn mắt di chuyển phạm vi này, mà khơng tiến hành theo vết tồn ảnh giống xác định vị trí mắt Điều làm cho việc theo vết mắt đơn giản giảm độ phức tạp cho thuật toán theo thời gian thực Phạm vi theo. .. lệch vị trí hai mắt ít, phương pháp cho kết tốt THEO VẾT CHUYỂN ĐỘNG CỦA MẮT 3.1 Phạm vi chuyển động mắt Khi người dùng ngồi trước máy tính thao tác máy tính khoảng cách từ vị trí mắt tới hình thường