Luận văn thạc sĩ Vật lý kỹ thuật: Nghiên cứu thiết bị theo dõi mắt bằng phương pháp phản xạ trong hỗ trợ chẩn đoán sớm chứng tự kỷ ở trẻ em

TRƯỜNG ĐẠI HỌC BÁCH KHOA -

ĐỖ TƯỜNG PHỦ

NGHIÊN CỨU THIẾT BỊ THEO DÕI MẮT BẰNG PHƯƠNG PHÁP PHẢN XẠ TRONG HỖ TRỢ CHẨN ĐOÁN SỚM

CHỨNG TỰ KỶ Ở TRẺ EM

Chuyên ngành: Vật lý Kỹ thuật Mã số : 8520401

LUẬN VĂN THẠC SĨ

TP HỒ CHÍ MINH, tháng 10 năm 2021

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI: TRƯỜNG ĐẠI HỌC BÁCH KHOA–ĐHQG–HCM Cán bộ hướng dẫn khoa học: PGS.TS Huỳnh Quang Linh

Cán bộ chấm nhận xét 1: TS Nguyễn Trung Hậu………

Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có)

CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC ỨNG DỤNG

ĐẠI HỌC QUỐC GIA TP.HCM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆTNAM Độc lập - Tự do - Hạnh phúc

- -

NHIỆM VỤ LUẬN VĂN THẠC SĨ

I TÊN ĐỀ TÀI: Nghiên cứu thiết bị theo dõi mắt bằng phương pháp phản xạ trong

hỗ trợ chẩn đoán sớm chứng tự kỷ ở trẻ em

II NHIỆM VỤ VÀ NỘI DUNG:

Khảo sát cơ sở khoa học của ứng dụng thiết bị theo dõi mắt trong nghiên cứu chứng Tự kỷ ở giai đoạn sớm

Xây dựng mô hình toán của thiết bị theo dõi mắt từ xa hiệu chỉnh ngầm trong bối cảnh tương tác thực, phù hợp với đối tượng trẻ dưới 4 tháng tuổi

Thực nghiệm mô hình toán được đề xuất Vì trẻ dưới 4 tháng tuổi là đối tượng dễ tổn thương và dựa trên giả thuyết trẻ tự kỷ có cấu trúc mắt bình thường, các dữ liệu được thu thập trên người lớn bình thường:

• Đối với thuật toán xác định vị trí tâm đồng tử-điểm phản xạ giác mạc trong bối cảnh tương tác thực, dữ liệu được thu thập từ hệ thống tự chế tạo

• Đối với thuật toán ước lượng vị trí điểm nhìn hiệu chỉnh ngầm, dữ liệu thực nghiệm từ một nghiên cứu được áp dụng

III NGÀY GIAO NHIỆM VỤ: 22/02/2021

IV NGÀY HOÀN THÀNH NHIỆM VỤ:

V CÁN BỘ HƯỚNG DẪN: PGS.TS Huỳnh Quang Linh

LỜI CẢM ƠN

Học viên xin cảm ơn Thầy-PGS TS Huỳnh Quang Linh đã hết lòng động viên, nhắc nhở, hướng dẫn và góp ý sâu sắc để đề tài hoàn thành mục tiêu đề ra Ví dụ của Thầy về ứng dụng Lý thuyết Tâm trí (Theory of Mind) trong nhãn khoa đã khơi dậy sự quan tâm của Học viên về sự chú ý thị giác (visual attention) Ngoài việc truyền đạt kiến thức chuyên môn, Thầy còn hướng dẫn Học viên về kỹ năng mềm

Học viên xin cảm ơn Thầy-PGS TS Trần Minh Thái đã động viên và hết lòng truyền đạt kiến thức về cấu trúc và an toàn mắt Học viên xin cảm ơn Thầy-ThS Lê Cao Đăng đã hết lòng động viên, hỗ trợ thiết bị theo dõi mắt VT3 Mini và truyền đạt kiến thức về phương pháp Mirror Box Học viên xin cảm ơn Thầy-ThS Mai Hữu Xuân đã hết lòng động viên và nhắc nhở trong suốt quá trình thực hiện Luận văn Học viên xin cảm ơn Thầy-TS Đậu Sỹ Hiếu đã hết lòng truyền đạt kiến thức về hệ thống quang học, đặc biệt là ví dụ của Thầy về ứng dụng gương trong chụp cùng lúc các bề mặt sản phẩm Học viên xin cảm ơn Thầy-TS Đinh Sơn Thạch đã hết lòng truyền đạt kiến thức về hệ thống quang học, đặc biệt là ví dụ của Thầy về mô hình hóa mạch đo màu mà mỗi phần tử được biểu diễn bởi một ma trận

Học viên xin cảm ơn ThS Huỳnh Lê Phước Sơn và ThS Trần Trung Tín đã hết lòng truyền đạt kiến thức trong suốt quá trình thực hiện Luận văn, hướng dẫn học viên thiết kế và chế tạo hệ thống theo dõi mắt IMR và hết lòng động viên, đặc biệt là trong những lúc khó khăn nhất Đồng thời, học viên xin cảm ơn ThS Trần Trung Tín đã tạo cơ hội cho Học viên được trao đổi với các chuyên gia trong lĩnh vực tự kỷ Học viên xin cảm ơn ThS Nguyễn Ngọc Hải đã hết lòng động viên và truyền đạt kiến thức nền tảng về xử lý tín hiệu số

Học viên xin cảm ơn Chuyên gia Tâm lý Lê Khanh và cô Hứu Minh Châu-Phó Hiệu trưởng trường Mầm non Hoa Hồng Đỏ đã hết lòng truyền đạt kiến thức về chứng tự kỷ Học viên xin cảm ơn TS Wolfgang Fuhl-giảng viên trường Đại học Tübingen đã cung cấp bản biên dịch thuật toán BORE phù hợp với Visual Studio 2017

Học viên xin cảm ơn Hội đồng Nghĩa vụ quân sự phường Tân An, Thủ Dầu Một, Bình Dương đã cho Học viên cơ hội để hoàn thành Luận văn này

TÓM TẮT

Luận văn trình bày mô hình toán học của một hệ thống gương-thiết bị theo dõi mắt từ xa mang tên MES nhằm khắc phục vấn đề về an toàn mắt, bối cảnh tương tác thực, và yêu cầu hiệu chỉnh của các nghiên cứu ứng dụng thiết bị theo dõi mắt trong khảo sát chứng Tự kỷ ở giai đoạn sớm Dựa trên tính chất của gương phẳng, đặc trưng thị lực thấp và hạn chế trong chuyển động của trẻ dưới 4 tháng tuổi, và đặc trưng trường nhìn lớn của các thiết bị theo dõi mắt từ xa, một gương phẳng được kết hợp với hai camera nhằm loại bỏ việc sử dụng camera phụ trong xác định vị trí nguồn sáng và mô hình hóa đối tượng tương tác Với giả thuyết trẻ khiếm khuyết về chú ý nhìn có cấu trúc mắt bình thường, điều kiện nhìn bằng hai mắt, và giả thuyết sai số ước lượng điểm nhìn hiệu chỉnh ngầm trong phương pháp của D Model và M Eizenman giảm khi hàm bên trong bài toán bình phương cực tiểu không được tuyến tính hóa, thuật toán DBN được đề xuất, dựa trên điều kiện cực trị địa phương và phương pháp giải hệ phương trình phi tuyến Newton-Raphson Thuật toán DBN, LBN (được hiệu chỉnh từ phương pháp D Model và M Eizenman nhằm phù hợp với dữ liệu), Nagamatsu (phương pháp của T Nagamatsu và cộng sự) và Ls (hàm lsqnonlin của MATLAB®) được áp dụng từ dữ liệu và so sánh với kết quả của A D Barsingerhorn và cộng sự Kết quả xử lý số liệu cho thấy, thuật toán DBN và LBN cho kết quả tương đương và không hiệu quả bằng thuật toán Nagamatsu Bài toán bình phương cực tiểu có điều kiện (Ls) cho kết quả tốt nhất với sai số ước lượng góc nhìn nhỏ nhất là 0,96o và có thể cho sai số giảm khi tăng số lượng dữ liệu, trong khi bài toán bình phương cực tiểu không điều kiện (DBN và LBN) không cho thấy hiện tượng này Một thuật toán ước lượng tâm đồng tử-điểm phản xạ giác mạc trong bối cảnh tương tác thực, dựa trên sự kết hợp những ưu điểm của hai thuật toán BORE và PDIF, được đề xuất và được thực nghiệm trên thiết bị theo dõi mắt giá thành thấp tự chế tạo IMR Kết quả thực nghiệm so sánh thiết bị IMR với thiết bị thương mại VT3 Mini trong điều kiện không lý tưởng, cho độ chụm gần bằng nhau (0,57o so với 0,54o), và IMR có độ chính xác tốt hơn (1,04o so với 1,34o) Tỷ lệ số dữ liệu thô/lý tưởng là 98,63% và số dữ liệu lọc/thô là 88,92%.

ABSTRACT

The thesis represents the mathematical model of the system MES that tackles issues of eye tracking studies observing autism in infancy regarding eye safety, interactions with live partners, and the requirement of hiệu chỉnh procedure Based on plane mirror properties, limitations on motion and vision of infants under 4 months of age, and remote eye trackers with large field of view, a mirror is integrated with a stereo camera to estimate light source’s positions and model interactive partner’s surfaces without auxiliary cameras Assuming that infants with visual imparments have normal eye constructions; gaze estimation errors of D Model and M Eizenman’s method could be reduced on which nonlinear gaze function is not linearized; and two gaze points, estimated from both eyes, are converged on interactive partner’s surfaces, DBN algorithm is proposed based on local extrema condition and Newton-Raphson method for the system of nonlinear equations The algorithm of DBN, LBN (adjusted from Model and M Eizenman’s method to satisfy the data condition), Nagamatsu (T Nagamatsu et al.) and Ls (lsqnonlin function from MATLAB®) are implemented to the data and compared to estimated gaze points in the study of A D Barsingerhorn et al Results show that the DBN and LBN algorithm have the same results, and both of them are inefficient than Nagamatsu algorithm regarding speed and estimation errors Nonlinear least square with condition (Ls) has smallest estimation errors (the smallest value is 0.96o), and these errors could be reduced by increasing the number of data whereas nonlinear least square without condition (DBN và LBN) does not exhibit this phenomenon A pupil algorithm in real world conditions is proposed by combining advantages of BORE and PDIF algorithm and are examined on the proposed-inexpensive eye tracker IMR Whereas the độ chụm of the IMR is nearly equal to that of the commercial device VT3 Mini (0.57o and 0.54o), the overall độ chính xác of the proposed eye tracker is better than that of the commercial device (1.04o and 1.34o) The ratio of the number of raw/idea data and filtered/raw data are 98.63% and 88.92%

mirror-remote-eye-tracker-LỜI CAM ĐOAN

Học viên xin cam đoan những kết quả được trình bày trong luận văn này do bản thân học viên thực hiện dưới sự hướng dẫn của PGS.TS Huỳnh Quang Linh Các số liệu và kết quả thực nghiệm là trung thực, và những ý tưởng nghiên cứu từ các công trình khác được trích dẫn rõ ràng

Bình Dương, ngày 30 tháng 10 năm 2021 Học viên thực hiện

ĐỖ TƯỜNG PHỦ

1.1.3 Quy trình chẩn đoán sớm chứng tự kỷ tại Việt Nam 5

1.1.4 Nghiên cứu ứng dụng thiết bị theo dõi mắt trong khảo sát chứng tự kỷ ở giai đoạn sớm 8

1.2 Phương pháp ước lượng điểm nhìn 15

1.2.1 Phương pháp Hồi quy 17

1.2.2 Phương pháp Tỷ số chéo 19

1.2.3 Phương pháp Mô hình hóa 3 chiều 20

1.3 Phương pháp ước lượng tâm đồng tử 23

1.4 Hiệu ứng sinh học có hại của ánh sáng hồng ngoại lên mắt 27

1.4.1 Hiệu ứng đục nhân mắt 27

1.4.2 Hiệu ứng tổn thương nhiệt võng mạc 27

CHƯƠNG 2 MÔ HÌNH TOÁN HỌC CỦA HỆ THỐNG THEO DÕI MẮT TRONG

BỐI CẢNH TƯƠNG TÁC THỰC 28

2.1 Mô tả chung hệ thống MES được đề xuất 28

2.2 Mô hình toán của hệ thống MES 31

2.2.1 Mô hình toán của camera 31

2.2.2 Mô hình toán của đối tượng tương tác 33

2.2.3 Mô hình toán của mắt 35

2.2.4 Mô hình toán của hệ thống MES 36

2.3 Thuật toán ước lượng điểm nhìn của hệ thống MES 38

2.3.1 Ước lượng tâm mặt cong giác mạc 38

2.3.2 Ước lượng tâm đồng tử 40

2.3.3 Xây dựng trục nhìn 41

2.3.4 Ước lượng điểm nhìn 48

CHƯƠNG 3 THUẬT TOÁN ƯỚC LƯỢNG TÂM ĐỒNG TỬ-ĐIỂM PHẢN XẠ GIÁC MẠC TRONG BỐI CẢNH TƯƠNG TÁC THỰC 49

3.1 Thuật toán ước lượng tâm đồng tử-điểm phản xạ giác mạc được đề xuất 49

3.2 Hệ thống theo dõi mắt tự chế tạo IMR 52

CHƯƠNG 4 KẾT QUẢ THỰC NGHIỆM 61

4.1 Áp dụng thuật toán DBN trong ước lượng điểm nhìn từ dữ liệu thực nghiệm 61

4.1.1 Vị trí tâm mặt cong giác mạc 62

4.2.2 Sự ước lượng thành công 82

CHƯƠNG 5 KẾT LUẬN HƯỚNG PHÁT TRIỂN 85

5.1 Kết luận 85

5.2 Hướng phát triển 86

DANH MỤC CÔNG BỐ BÀI BÁO KHOA HỌC 87

TÀI LIỆU THAM KHẢO 88

DANH MỤC BẢNG BIỂU

Bảng 2.1 Các thông số mắt, camera và nguồn sáng trong hình 2.2 30Bảng 3.1 Chức năng của các phần mềm và thư viện lập trình 57Bảng 4.1 Trung vị của độ lệch tuyệt đối giữa tọa độ ước lượng và tọa độ tham chiếu 63Bảng 4.2 Giá trị trung vị của độ lệch tuyệt đối giữa tọa độ ước lượng và tham chiếu 65Bảng 4.3 Góc lệch giữa trục quang học và trục nhìn được ước lượng bởi thuật toán Ls và DBN 73Bảng 4.4 Giá trị thống kê của sai số giữa góc nhìn được ước lượng bởi thuật toán Ls, DBN và Nagamatsu với góc nhìn tham chiếu 75Bảng 4.5 Giá trị độ chính xác và độ chụm của mỗi thiết bị tương ứng mỗi đối tượng 80Bảng 4.6 Giá trị độ chính xác và độ chụm tốt nhất, trung bình và xấu nhất của thiết bị IMR và VT3 Mini 80Bảng 4.7 Tỷ lệ số lượng mẫu thô và số mẫu lý tưởng RIR và tỷ lệ giữa số mẫu được khử nhiễu và số mẫu thô (FRR) của hai thiết bị, được thu thập từ 11 đối tượng 83

DANH MỤC HÌNH ẢNH

Hình 1.1 Quy trình chẩn đoán sớm chứng Tự kỷ theo quyết định số 2254/QĐ-BYT 7Hình 1.2 Đồ thị scanpath (a) và hướng của một (b) hoặc hai (c và d) saccade đối với trẻ từ sơ sinh đến 6 tháng tuổi [9] 8Hình 1.3 Cách cài đặt và kết quả thực nghiệm trong nghiên cứu [16] 9Hình 1.4 Kết quả thực nghiệm trong nghiên cứu [13] Điểm nhìn của trẻ Tự kỷ (a), điểm nhìn của trẻ bình thường (b), và các phân vùng của đối tượng tương tác (c) 9Hình 1.5 Hệ thống theo dõi mắt trong nghiên cứu [13] 11Hình 1.6 Ảnh của gương mặt người được nhìn bởi hệ thống thị giác của trẻ sơ sinh ở khoảng cách 0.5 m (a) và 2 m (b) [42] 12Hình 1.7 Hệ thống theo dõi mắt trong nghiên cứu [2] 13Hình 1.8 Định nghĩa góc nhìn A 13Hình 1.9 Dữ liệu hiệu chỉnh của thiết bị ISCAN trên trẻ từ 2 đến 6 tháng tuổi [13] 14Hình 1.10 Hai điểm phản xạ giác mạc được tạo từ hai nguồn sáng khác nhau 15Hình 1.11 Ví dụ về kết quả của quá trình hiệu chuẩn camera 16Hình 1.12 Điểm nhìn được ước lượng bởi hàm bậc nhất và các điểm được điều chỉnh [27] 18Hình 1.13 Phương pháp tỷ số đường chéo tứ giác phối cảnh không đổi Trong đó, A, B, C, D là các ảnh phản xạ giác mạc bậc I tương ứng với vị trí nguồn sáng trên màn hình A’, B’, C,’ D’ P là tâm đồng tử trên ảnh tương ứng với điểm nhìn P’ [24] 19Hình 1.14 Mô hình thiết bị theo dõi mắt được đề xuất bởi E D Guestrin và M Eizenman [30] 20Hình 1.15 Hệ tọa độ mắt và màn hình được đề xuất bởi D Model và M Eizenman [4] 22Hình 1.16 Phương pháp hiệu tuyệt đối ảnh đồng tử tối và sáng Ảnh đồng tử tối I1

(1); ảnh đồng tử sáng I2 (2); hiệu tuyệt đối hai ảnh I1 và I2 (3); ảnh nhị phân với ngưỡng 50% (4) 24

Hình 1.17 Trực quan hóa vị trí các tham số của công thức (2.5) và (2.6) (a) và lưu đồ

của thuật toán BORE (b) [5] 25

Hình 1.18 Quan hệ giữa tỷ lệ phát hiện và sai số khoảng cách của thuật toán BORE và 5 thuật toán khác [5] 26

Hình 2.1 Mô hình phối cảnh của hệ thống MES 28

Hình 2.2 Mô hình hóa của hệ thống MES 30

Hình 2.3 Mô hình camera lỗ kim với cảm biến ảnh thật và ảo 31

Hình 2.4 Mô hình toán của đối tượng tương tác 34

Hình 2.5 Mô hình trục quang học và trục nhìn trong hệ tọa độ mắt 35

Hình 2.6 Mô hình toán của hệ thống MES 36

Hình 3.1 Thuật toán ước lượng tâm đồng tử điểm phản xạ giác mạc Các mũi tên màu đỏ, xanh và đen lần lượt là trình tự của cách tiếp cận thứ nhất, thứ hai và trình tự chung 51

Hình 3.2 Hệ thống IMR và thiết bị VT3 Mini 52

Hình 3.3 Thiết bị IMR 53

Hình 3.4 Giao diện cửa sổ thu nhận ảnh 57

Hình 4.1 Hệ thống thực nghiệm trong nghiên cứu [1] 61

Hình 4.2 Tọa độ điểm c1 theo thời gian trên toàn bộ dữ liệu 63

Hình 4.3 Điểm c1 được ước lượng bởi thuật toán Int_LS, Triang và Ov_Eq 64

Hình 4.4 Điểm c2 được ước lượng bởi thuật toán Int_LS, Triang và Ov_Eq 64

Hình 4.5 Điểm p1 được ước lượng bởi thuật toán Int_LS, Triang và Corr 66

Hình 4.6 Điểm p2 được ước lượng bởi thuật toán Int_LS, Triang và Corr 66

Hình 4.7 Điểm p1 sau quá trình kiểm tra hiệu lực và lọc nhiễu 68

Hình 4.8 Điểm p1 sau quá trình kiểm tra hiệu lực và lọc nhiễu trong 8,8795 giây đầu 68

Hình 4.9 Giá trị α1 được ước lượng bởi thuật toán LBN, DBN và Ls 69

Hình 4.10 Giá trị β1 được ước lượng bởi thuật toán LBN, DBN và Ls 69

Hình 4.11 Giá trị α2 được ước lượng bởi thuật toán LBN, DBN và Ls 70

Hình 4.12 Giá trị β2 được ước lượng bởi thuật toán LBN, DBN và Ls 70

Hình 4.13 Giá trị α1 và β1 được ước lượng bởi thuật toán DBN và Ls 71

Hình 4.14 Giá trị α2 và β2 được ước lượng bởi thuật toán DBN và Ls 71

Hình 4.15 Điểm nhìn mắt trái được ước lượng bởi thuật toán DBN 77

Hình 4.16 Điểm nhìn mắt phải được ước lượng bởi thuật toán DBN 77

Hình 4.17 Vị trí điểm nhìn được ước lượng bởi thuật toán DBN và Nagamatsu trong hệ tọa độ màn hình 78

Hình 4.18 Độ lệch tuyệt đối giữa điểm nhìn được ước lượng bởi thuật toán DBN, Ls và Nagamatsu với điểm nhìn tham chiếu, và khoảng cách giữa đối tượng đo và màn hình 78

Hình 4.19 Điểm nhìn của thuật toán DBN được chuyển sang góc nhìn 79

Hình 4.20 6 điểm nhìn có sai số ước lượng lớn nhất và nhỏ nhất của thuật toán Ls tại mẫu 10000 dữ liệu 79

Hình 4.21 Độ lệch theo chiều ngang giữa điểm nhìn và điểm kích thích theo thời gian của 11 mẫu dữ liệu Màu đỏ và xanh lần lượt thể hiện độ lệch của thiết bị IMR và VT3 Mini 1 pixel có giá trị 0.294 mm 84

Hình A.1 Mẫu hình hiệu chuẩn camera hai mặt đối với hai camera có trường nhìn khác nhau 93

Hình A.2 Thiết bị tạo ảnh đồng tử tối và sáng trong hình 1.16 93

Hình C.1 Tọa độ điểm c2 theo thời gian trên toàn bộ dữ liệu 95

Hình C.2 Tọa độ điểm p1 theo thời gian trên toàn bộ dữ liệu 95

Hình D 1 Độ lệch theo chiều dọc giữa điểm nhìn và điểm kích thích theo thời gian của 11 mẫu dữ liệu Màu đỏ và xanh lần lượt thể hiện độ lệch của thiết bị IMR và VT3 Mini 1 pixel có giá trị 0.294 mm 97

Hình D 2 11 mẫu dữ liệu điểm nhìn được ước lượng bởi hai thiết bị theo dõi mắt Những dấu (+) thể hiện các điểm kích thích, các chấm đỏ và xanh lần lượt là các điểm nhìn được khử nhiễu của thiết bị IMR và VT3 Mini 1 pixel có giá trị 0.294 mm 98

MỞ ĐẦU Tính cấp thiết của đề tài

Sự tránh ánh mắt người khác là một đặc trưng của người tự kỷ, và sự bất thường trong chú ý đối với các kích thích thị giác mang tính xã hội được chứng minh là một chỉ dấu sớm của chứng tự kỷ Nhiều nghiên cứu ủng hộ Tự kỷ là một rối loạn do sự sai lệch trong giao tiếp xã hội ở giai đoạn sớm, nhưng thời điểm hình thành khuyết tật này trước hay sau giai đoạn chuyển tiếp của chú ý nhìn, được điều khiển chủ yếu bởi vùng dưới vỏ sang bởi vùng vỏ (trong khoảng tháng 2,3 sau sinh), là một vấn đề còn tranh luận

Với công nghệ theo dõi mắt từ xa hiện tại, những nghiên cứu chứng tự kỷ ở giai đoạn sớm sử dụng màn hình để hiển thị các tương tác xã hội, dựa trên đặc trưng trẻ có thiên hướng nhìn vào hình mẫu có dạng khuôn mặt từ rất sớm (sau khoảng vài chục phút tuổi) mà đã được nhiều nghiên cứu kiểm chứng Tuy nhiên, trong các nghiên cứu trên, ngoài giới hạn về bối cảnh tương tác thực, yếu tố ánh sáng sáng xanh và tần số quét màn hình cần được loại bỏ, đặc biệt là trong các nghiên cứu bổ dọc Mặt khác, hiệu chỉnh, quá trình đối tượng đo nhìn vào ít nhất một điểm xác định được hiển thị trên màn hình trong một khoảng thời gian, được yêu cầu bởi các thiết bị thương mại Tuy trong các nghiên cứu trên, điểm hiệu chỉnh được thiết kế dựa trên những đặc trưng chú ý nhìn trong giai đoạn sớm của trẻ, việc áp dụng những đặc trưng của trẻ bình thường lên trẻ khiếm khuyết về chú ý nhìn có thể làm bỏ qua những khám phá quan trọng Một nghiên cứu chứng tự kỷ trên trẻ từ 2 đến 24 tháng tuổi cho thấy trẻ (sau đó được chẩn đoán) tự kỷ ở 2 và 3 tháng tuổi có sai số hiệu chỉnh lớn hơn nhiều so với trẻ bình thường cùng độ tuổi và trẻ ở các nhóm tuổi khác

Thiết bị theo dõi mắt là một công cụ đánh giá chú ý nhìn một cách chi tiết và khách quan so với phương pháp mặt đối mặt, nhưng phương pháp này vẫn có những ưu điểm riêng, đặc biệt về mặt bối cảnh tương tác thực Do đó, trong Luận văn này, thiết bị theo dõi mắt từ xa hiệu chỉnh ngầm trong bối cảnh tương tác thực được đề xuất

Mục tiêu, đối tượng và phạm vi nghiên cứu Mục tiêu chung

Thiết kế hệ thống ước lượng điểm nhìn có hiệu chỉnh ngầm, mà ở đó nhân viên y tế tương tác trực tiếp với trẻ Hệ thống này khắc phục vấn đề về an toàn mắt, bối cảnh tương tác và yêu cầu hiệu chỉnh của các nghiên cứu ứng dụng thiết bị theo dõi mắt trong khảo sát chứng tự kỷ ở giai đoạn sớm

có độ chính xác khoảng 1o tại tần số hoạt động 30 khung hình/giây

Đối tượng nghiên cứu:

Đối tượng nghiên cứu của đề tài là thiết bị theo dõi mắt trong hỗ trợ chẩn đoán sớm chứng tự kỷ ở trẻ dưới 4 tháng tuổi

Ý nghĩa khoa học và thực tiễn của đề tài

Dựa trên giả thuyết trẻ khiếm khuyết về chú ý nhìn có cấu trúc mắt bình thường, hệ thống gương-thiết bị theo dõi mắt hiệu chỉnh ngầm MES được đề xuất Kết hợp những ưu điểm của gương phẳng trong hai nghiên cứu [1] và [2], đặc trưng thị lực thấp và chuyển động cơ thể hạn chế của trẻ sơ sinh và trẻ nhỏ, cùng với đặc điểm trường nhìn lớn của các thiết bị theo dõi mắt từ xa (mục 1.1.4), một gương phẳng được đề xuất kết hợp hai camera Với cách bố trí này vấn đề sử dụng camera phụ trong [3] được khắc phục và toàn bộ hệ thống được mô hình hóa bởi hai camera Đồng thời, nhân viên y tế có thể tương tác và đánh giá trực tiếp trẻ trong khi vị trí nhìn của trẻ được ước lượng một cách chi tiết và khách quan bởi hệ thống MES

Với giả thuyết sai số ước lượng góc lệch hằng giữa trục quang học và trục nhìn trong nghiên cứu [4] có thể giảm khi hàm bên trong bài toán bình phương cực tiểu không được tuyến tính hóa, thuật toán DBN được đề xuất, dựa trên điều kiện cực trị địa phương và phương pháp giải hệ phương trình phi tuyến Newton-Raphson Thuật toán này cùng với thuật toán LBN (được hiệu chỉnh từ phương pháp [4] nhằm phù hợp với dữ liệu thực nghiệm) được dùng để kiểm tra sự ước lượng góc lệch hằng, thông qua hiệu chỉnh ngầm, bằng cách giải bài toán bình phương cực tiểu có điều kiện (hàm lsqnonlin của MATLAB®) và không điều kiện (DBN và LBN)

Một thuật toán ước lượng tâm đồng tử-điểm phản xạ giác mạc trong bối cảnh tương tác thực được đề xuất, dựa trên sự kết hợp những ưu điểm của thuật toán BORE ( [5]) và PDIF ( [6]) Thuật toán trên được áp dụng vào hệ thống theo dõi dõi mắt giá thành thấp IMR trong một môi trường không lý tưởng: đối tượng đo ngồi bên cạnh một cửa sổ và điều kiện chiếu sáng thay đổi mà được điều khiển bởi thiết bị theo dõi mắt thương mại VT3 Mini.

CHƯƠNG 1 TỔNG QUAN 1.1 Chứng Tự kỷ

1.1.1 Định nghĩa

Rối loạn phổ tự kỷ (autism spectrum disorder hay ASD) là một rối loạn phát triển thần kinh được đặc trưng bởi sự khó khăn trong giao tiếp và tương tác xã hội cũng như bị hạn chế và lặp lại các kiểu mẫu trong hành vi, sở thích và hoạt động (APA, 2018)

Trong một nghiên cứu gần đây [7], rối loạn phổ tự kỷ được đề xuất định nghĩa lại thông qua sự phân biệt những nguy cơ di truyền (genetic risk) đối với trẻ sơ sinh, và rối loạn khởi phát (emerge) lúc trẻ được 2-3 tuổi Thuật ngữ “Autism” để chỉ nguy cơ di truyền và “ASD” để chỉ khuyết tật (disability) với các tiêu chí sau:

• ASD là một khuyết tật phát triển thần kinh thông thường, khởi phát vào khoảng 2 tuổi ASD thì thường nhưng không chỉ có nguồn gốc di truyền, dẫn đến những gián đoạn lên các cơ chế cơ bản của quá trình xã hội hóa ASD được chỉ dấu bởi những biểu hiện không đồng nhất (heterogeneous) trong giao tiếp, xã hội, cảm giác và những khuyết tật hay sự cứng nhắc về mặt hành vi, mà có thể liên đới với sự suy giảm về ngôn ngữ và trí tuệ

• Autism là một nguy cơ bẩm sinh có tính di truyền phức tạp, mà đại diện cho những tính cách được phân bố bình thường hoặc tập hợp các tính cách trong các vùng chức năng của giao tiếp và xã hội Autism khiến trẻ có nguy cơ mắc ASD do tác động của sự gián đoạn sớm, thường xuyên và tích lũy trong tương tác xã hội qua lại, gây ra bởi sự tương tác kém tập trung của trẻ với những người khác, và không có khả năng thích ứng với các nhu cầu của môi trường xã hội xung quanh

• Trong năm đầu đời, bằng chứng Autism dẫn đến ASD dựa trên đo lường những sai lệch với các mốc xã hội và giao tiếp, đặc biệt là sự suy giảm tương tác nhìn và giọng nói của những người khác

• Trong năm thứ hai, bằng chứng Autism dẫn đến ASD dựa trên khảo sát những dấu hiệu của ASD đang được áp dụng

1.1.2 Đặc điểm

Trong nghiên cứu về đặc điểm di truyền trên trẻ tự kỷ Việt Nam của GS Nguyễn Thanh Liêm cho thấy tỷ lệ bé trai mắc chứng tự kỷ cao hơn 4,9 lần so với bé gái, trong khi trên thế giới tỷ lệ này là 4 [8] Tự kỷ có tính di truyền, và trẻ có nguy cơ cao mắc chứng tự kỷ nếu có anh hoặc chị là người tự kỷ Mặc dù nhiều gen có liên quan đến tự kỷ, nhưng những gen này chỉ đóng góp một phần trên tổng số các trường hợp [7] [9]

Trẻ tự kỷ có những hành vi đặc trưng như tránh giao tiếp bằng mắt, thích chơi các vật quay tròn, thực hiện các hành vi rập khuôn và lặp lại, … Hiện nay chưa có các phương pháp cận lâm sàng (điện não đồ, xét nghiệm máu) nào giúp chẩn đoán tự kỷ Việc xác định trẻ có tự kỷ hay không dựa trên chẩn đoán của chuyên gia Ngôn Ngữ Trị Liệu, chuyên gia Tâm Thần Nhi và Tâm lý, thông qua các phương pháp theo dõi hành vi như MCHAT, DSM-5, IDC-10, [10] Tuy nhiên, trẻ tự kỷ thường không được chẩn đoán cho đến khi trẻ ít nhất 3 tuổi hoặc trước 3 tuổi đối với trẻ tự kỷ nặng [10] [11] Dựa vào tính di truyền, các nghiên cứu chứng tự kỷ ở giai đoạn sớm thường khảo sát trên nhóm trẻ có nguy cơ cao (trẻ có anh chị mắc chứng tự kỷ) và trẻ có nguy cơ thấp

Cần nhấn mạnh rằng tự kỷ không phải là bệnh, và sự thiếu khả năng giao tiếp xã hội (bằng khái quát hóa điều cụ thể) cũng như sự thiếu khả năng đúc kết kinh nghiệm (bằng liên kết các kích thích) của trẻ tự kỷ ở giai đoạn sớm có thể được điều chỉnh bằng các phương pháp can thiệp hành vi [7] [12] Nhiều nghiên cứu đã chứng minh rằng sự phát hiện kịp thời vào giai đoạn khởi phát là điều kiện tiên quyết để can thiệp sớm [7] [12]

1.1.3 Quy trình chẩn đoán sớm chứng tự kỷ tại Việt Nam

Vào ngày 07 tháng 05 năm 2021, Bộ Y Tế ban hành quyết định số 2254/QĐ-BYT về “Bộ công cụ Phát hiện sớm rối loạn phố tự kỷ ở trẻ em” nhằm mục đích “phát hiện sớm những rối loạn phát triển và các khuyết tật (thể chất và tâm thần) của trẻ” và “phát hiện các dấu hiệu cảnh báo sớm của rối loạn phổ tự kỷ ở trẻ em” Văn bản trên xây dựng một quy trình theo 3 bước cho trẻ từ 0 đến 72 tháng tuổi phù hợp với từng đối tượng thực hiện (Hình 1.1), dựa trên bộ câu hỏi sàng lọc và chẩn đoán tự kỷ:

ASQ (Ages & Stages Questionnaires) - bộ câu hỏi theo tuổi và giai đoạn: được

biên soạn bởi nhóm tác giả thuộc chuyên ngành Phục hồi Chức năng Nhi phù hợp với điều kiện tại Việt Nam, dựa trên bộ câu hỏi ASQ-3 của tác giả J Squires và D Bricker thuộc trường đại học Oregon Bộ câu hỏi nhằm nhận biết trẻ có đang phát triển đúng lứa tuổi không Phiên bản Tiếng Việt của bộ câu hỏi ASQ-3, do Trung tâm Sáng kiến Sức khoẻ và Dân số (CCIHP) chuyển thể, có thể xem trực tuyến tại trang web https://a365.vn/ với sự cho phép của các tác giả và sự hỗ trợ tài chính của Grand Challenges Canada

MCHAT-R/F (Modified Checklist for Autism in Toddlers, Revised/Follow up) -Bảng kiểm sàng lọc rối loạn phổ tự kỷ trẻ nhỏ có sửa đổi – có hiệu chỉnh/ Theo dõi tiếp: được biên soạn bởi tác giả Diana L Robins, Deborah Fein, và

Marianne Barton Bộ câu hỏi giúp các cán bộ y tế chuyên môn sàng lọc nguy cơ tự kỷ cho trẻ từ 16 đến 30 tháng tuổi

STAT (Screening Tool for Autism in Toddlers and Young children) - Công cụ sàng lọc tự kỷ ở trẻ em: được biên soạn bởi tác giả Wendy L Stone và cộng sự Bộ

câu hỏi giúp các cán bộ y tế chuyên môn sàng lọc nguy cơ Tự kỷ cho trẻ từ 2 đến 3 tuổi

DSM-IV hoặc DSM 5 (Diagnostics Statistical Manual of Mental Disorders) - Sổ tay thống kê chẩn đoán các rối loạn tâm thần, xuất bản lần thứ 4 (thứ 5): được

sử dụng bởi các cán bộ y tế chuyên môn để chẩn đoán chứng Tự kỷ Các cán bộ y tế gồm bác sĩ Phục hồi chức năng, bác sĩ Tâm thần Nhi hoặc bác sĩ có chứng chỉ đào tạo về chẩn đoán và can thiệp trẻ có rối loạn phổ tự kỷ

Mặc dù quy trình trên được xây dựng cho trẻ từ 0 tháng tuổi, nhưng các bộ công cụ sử dụng như MCHAT-R/F và STAT được thiết kế cho trẻ trên 1 tuổi Trong bước 3, bộ công cụ DSM-IV hoặc DSM-5 được sử dụng để chẩn đoán rối loạn phổ tự kỷ Trong DSM-5, hành vi giao tiếp bằng mắt thuộc “khiếm khuyết kéo dài trong giao tiếp xã hội và tương tác xã hội trong nhiều tình huống”, và trong DSM-IV, hành vi này thuộc “khiếm khuyết về chất lượng trong quan hệ xã hội”

Hình 1.1 Quy trình chẩn đoán sớm chứng Tự kỷ theo quyết định số 2254/QĐ-BYT

1.1.4 Nghiên cứu ứng dụng thiết bị theo dõi mắt trong khảo sát chứng tự kỷ ở giai đoạn sớm

a Cơ sở nghiên cứu

Đối tượng đo của thiết bị theo dõi mắt là vị trí điểm nhìn Trong quá trình quan sát, thông qua sự vận động của đầu-nhãn cầu và kết hợp với sự điều tiết của thể thủy tinh, ảnh của môi trường xung quanh hiển thị rõ nét trên hoàng điểm, và giai đoạn này được gọi là nhìn cố định (visual fixation, Hình 1.2.a) Giữa các giai đoạn nhìn cố định, nhãn cầu thực hiện các chuyển động nhanh (saccade, trong [13] ngưỡng saccade là 30o/s) và không tự ý (được điều khiển bởi vùng dưới vỏ) đến điểm nhìn cố định tiếp theo (Hình 1.2.a) Chồng lấp các điểm nhìn theo thời gian, ta được đồ thị gọi là scanpath Hình 1.2 trình bày ba loại saccade (b, c và d) của trẻ từ sơ sinh đến 6 tháng tuổi đối với hai điểm kích thích (target) được hiển thị đồng thời trong khoảng thời gian rất ngắn (trước khi trẻ tạo ra một saccade): saccade loại b là chủ yếu đối với trẻ sơ sinh; saccade loại c là chủ yếu đối với trẻ 4 tháng tuổi; và saccade loại d là chủ yếu đối với trẻ 6 tháng tuổi [9]

Nhiều nghiên cứu đã kiểm chứng rằng trẻ sơ sinh dưới 1 tuổi có thiên hướng nhìn vào khuôn mặt hoặc các hình mẫu có dạng khuôn mặt [11] [14] Trong nghiên cứu [15], trẻ khoảng 10 phút tuổi đã có thiên hướng nhìn vào các hình mẫu có dạng khuôn mặt hơn là các hình mẫu có thành phần (mắt, mũi, miệng) bị hoán đổi vị trí, và trẻ khoảng 30 phút tuổi cũng cho thiên hướng tương tự trong tình huống phức tạp hơn: trẻ phải di chuyển kết hợp mắt và đầu để theo dõi các hình mẫu (Hình 1.3) đang di chuyển [16] Trong nghiên cứu của Giorgio và cộng sự, với sự hỗ trợ của camera có độ phân giải cao và màn hình, các hình mẫu tĩnh dạng khuôn mặt đơn giản (thuận và ngược) và khuôn mặt thật (nhìn trực diện và không trực diện), và video gồm các chấm

Hình 1.3 Cách cài đặt và kết quả thực nghiệm trong nghiên cứu [16]

Hình 1.4 Kết quả thực nghiệm trong nghiên cứu [13] Điểm nhìn của trẻ Tự kỷ (a), điểm nhìn của trẻ bình thường (b), và các phân vùng của đối tượng tương tác (c)

mô tả chuyển động của con người cho thấy trẻ 6-10 ngày tuổi (sau đó được chẩn đoán tự kỷ) đã có thiên hướng nhìn các mẫu khuôn mặt ngược và các hình mẫu chuyển động ngẫu nhiên [11] Trong [13], trẻ nguy cơ cao (sau đó được chẩn đoán tự kỷ) và trẻ bình thường 2 tháng tuổi có thời gian nhìn cố định tại vị trí vùng mắt của đối tượng tương tác là như nhau, và sau đó, giá trị này của trẻ tự kỷ giảm theo thời gian so với trẻ bình thường Hình 1.4 cho thấy, trong khi trẻ tự kỷ chú ý vào miệng hoặc cử chỉ, trẻ bình thường tập trung vào vùng mắt của đối tượng tương tác Vì việc tiến hành các nghiên cứu trên trẻ sơ sinh là khó khăn, nên đây là hai trong số ít các nghiên cứu kiểm chứng giả thuyết định hướng xã hội (social orienting) [17] [18]

Giả thuyết định hướng xã hội mô tả chứng Tự kỷ là kết quả của sự định hướng và chú ý bị khiếm khuyết (impair) từ lúc sinh ra đời, dẫn đến sự chuyên biệt hóa khác thường (atypical specialization) của mạng lưới não xã hội (social brain network) của vỏ não [18] Khái niệm não xã hội xuất phát từ các nghiên cứu ảnh thần kinh (neuroimaging) và nghiên cứu tổn thương thần kinh cho thấy não người là một mạng lưới các vùng có chức năng hỗ trợ sự tương tác xã hội Hai nghiên cứu [12] (sử dụng các kích thích tương tự [11]) và [18] đều ủng hộ không có sự khác biệt giữa nhóm có nguy cơ cao và nhóm có nguy cơ thấp lúc trẻ được 4-5 tháng tuổi Trong [18] cho thấy không có sự khác biệt giữa hai nhóm lúc trẻ ra đời, và sự khác biệt diễn ra rõ rệt vào lúc trẻ được 2-3 tháng tuổi-tương tự như những khảo sát trong nghiên cứu trước đây [13] của họ Tuy nhiên, trong [12] và nghiên cứu trước đó [11] của họ cho thấy sự khác biệt đã xuất hiện từ lúc mới sinh Trong các nghiên cứu này, chỉ có [13] ước lượng điểm nhìn của trẻ một cách chi tiết (phân chia thành các vùng miệng, mắt,…) và tự động thông qua thiết bị theo dõi mắt và kích thích bán tự nhiên (Hình 1.4) Trong [12] và [11], quá trình đo đạc được thu nhận bởi một camera có độ phân giải cao và sự chú ý (số lượng và thời gian nhìn cố định lên các kích thích mang tính tượng hình hoặc khuôn mặt tĩnh) của trẻ được đánh giá bởi nhân viên y tế Trong [18], đối tượng tương tác là bối cảnh thật (nhân viên y tế và đồ chơi) và sự đánh giá được thực hiện trực tiếp bởi nhân viên y tế Chỉ có [11] và [13] thực hiện xác nhận trẻ nguy cơ cao có tự kỷ hay không khi trẻ được 3 tuổi, và chỉ có [13] và [18] sử dụng phương pháp nghiên cứu bổ dọc (longitudinal study) Trong [14], kết hợp các nghiên cứu trẻ

6 tháng tuổi khác trong bối cảnh tương tác thực (người và đồ vật), cho thấy trẻ sau đó được chẩn đoán Tự kỷ giảm chú ý lên gương mặt của đối tượng tương tác trong một số bối cảnh nhất định (specific context) Các nghiên cứu trước đó cho thấy trẻ nguy cơ cao 6 tháng tuổi (sau đó được chẩn đoán Tự kỷ) có khả năng chú ý lên gương mặt người mẹ hoặc các nhân viên y tế tương tự trẻ bình thường trong một số trường hợp Nguy cơ di truyền (mục 1.1.1 và 1.1.2) là một đặc trưng của chứng tự kỷ, và trong nghiên cứu sử dụng thiết bị theo dõi mắt [19] cho thấy sự ảnh hưởng mạnh của di truyền Mức độ trùng khớp điểm nhìn của trẻ (tại cùng thời điểm, độ tuổi và giới tính) có thứ tự giảm dần: trẻ song sinh một hợp tử, trẻ song sinh hai hợp tử và trẻ không song sinh Đồng thời, trong khi trẻ bình thường lựa chọn những vùng quan trọng (mắt và miệng), trẻ tự kỷ đã bỏ lỡ nhiều chi tiết quan trọng (trẻ mất hàng trăm chi tiết quan trọng trong đoạn video 5-6 phút [7])

Mặc dù các nghiên cứu trên có sự khác biệt về kích thích thị giác, phương thức khảo sát và một số kết quả đối lập nhau, nhưng tất cả đều chứng minh sự bất thường trong chú ý nhìn là một chỉ dấu rất sớm của chứng Tự kỷ Hai nghiên cứu [13] và [19] thể hiện vai trò của thiết bị theo dõi mắt trong đánh giá chi tiết và khách quan chú ý nhìn, trong khi nghiên cứu [14] cho thấy vai trò của bối cảnh tương tác thực

Hình 1.5 Hệ thống theo dõi mắt trong nghiên cứu [13]

b Đặc điểm của thiết bị theo dõi mắt trong khảo sát trẻ sơ sinh và trẻ nhỏ ở giai đoạn sớm

Hình 1.6 trình bày ảnh thực của gương mặt người được nhìn bởi hệ thống thị giác của trẻ sơ sinh ở khoảng cách 0,5 m (a) và 2 m (b) Do sự hạn chế về thị lực của trẻ sơ sinh, các đối tượng tương tác thường được đặt trong một khoảng cách gần Trong [11] và [12], các kích thích thị giác được hiển thị trên một màn hình 27” và màn hình được đặt cách trẻ (6-7 ngày tuổi) khoảng 30 cm Vấn đề về an toàn mắt như yếu tố ánh sáng xanh và tần số quét màn hình cần được nâng cao trong các thí nghiệm này Trong một nghiên cứu đối với trẻ từ 2 đến 6 tháng tuổi [13], trẻ được cho nhìn màn hình thông qua gương và gương này được đặt chếch một góc so với mặt phẳng đối diện màn hình, vì theo quang hình học, tại những vị trí thích hợp ta có thể nhìn toàn bộ vật trên gương khi chỉ có một phần ánh sáng từ vật đó phản xạ tại bề mặt gương đến mắt (Hình 1.5) Tính chất tạo ảnh có kích thước bằng vật và thông tin độ sâu được thể hiện đầy đủ của gương phẳng đã được sử dụng làm phương pháp trị liệu trong y học, và thiết bị này được gọi là Mirror Box do Vilayanur Subramanian Ramachandran phát minh Tuy nhiên, yếu tố tần số quét màn hình vẫn chưa được loại bỏ

Đối với các thiết bị theo mắt đeo đầu (head-mounted eye tracker, ví dụ như Pupil lab, Tobii Pro Glasses 3, …), hai camera thường được sử dụng nhằm thu nhận đồng thời ảnh vùng mắt của trẻ và bối cảnh tương tác Trong [2], một gương phẳng được sử dụng nhằm thu nhận các ảnh trên cùng một camera (Hình 1.7) Tuy các thiết bị này có thể ước lượng điểm nhìn của trẻ trong bối cảnh tương tác thực, việc đeo đầu có thể không phù hợp với trẻ sơ sinh và trẻ nhỏ [20] Do đó, các nghiên cứu chứng

Hình 1.6 Ảnh của gương mặt người được nhìn bởi hệ thống thị giác của trẻ sơ sinh ở khoảng cách 0.5 m (a) và 2 m (b) [42]

Tự kỷ ở giai đoạn sớm thường sử dụng camera quan sát hoặc thiết bị theo dõi mắt từ xa (remote eye tracker hay table-mounted eye tracker) So với camera thu nhận vùng mắt của thiết bị theo dõi mắt đeo đầu, các thiết bị theo dõi mắt từ xa thường sử dụng camera có trường nhìn và độ phân giải lớn hơn nhằm ghi nhận vùng mắt có độ phân giải cao trong trường hợp đầu của đối tượng đo di chuyển (ví dụ thiết bị VT3 Mini có độ phân giải ảnh là 2048x1080 pixel tại tần số hoạt động 60 Hz) Tuy nhiên, trong nghiên cứu [13], một thiết bị theo dõi mắt có trường nhìn hẹp (ISCAN) được sử dụng để thu nhận ảnh mắt từ xa, dựa trên đặc trưng trẻ sơ sinh và trẻ nhỏ còn hạn chế trong chuyển động Các điểm nhìn có thể được ước từ hai mắt (binocular) hoặc một mắt (monocular)

Mặc dù giá trị đầu ra của các thiết bị theo dõi mắt được tính theo đơn vị độ dài, các giá trị độ chụm và độ chính xác thường được tính theo đơn vị góc nhìn (visual angle) nhằm thể hiện mối quan hệ giữa các giá trị này với khoảng cách giữa đối tượng đo và đối tượng tương tác (ví dụ như màn hình) Hình 1.8 mô tả góc nhìn A chắn màn hình một đoạn S và khoảng cách từ mắt đến màn hình là D theo công thức [21]:

SA 2 arctan

Các thiết bị theo dõi mắt thương mại thường yêu cầu thực hiện hiệu chỉnh nhằm ước lượng các thông số đặc trưng của mắt và hệ thống Trong quá trình này, đối tượng đo được yêu cầu nhìn vào một hay nhiều điểm kích thích có vị trí xác định trên màn hình trong một khoảng thời gian nhất định Vì trẻ em là đối tượng có khả năng hợp tác thấp, một số nghiên cứu thiết kế các kích thích thị giác đặc biệt Trong [13], các kích thích thị giác là những điểm sáng xoay tròn kết hợp hiệu ứng hoạt hình đang co dần từ góc nhìn 10o xuống 1o-1,5o Đối tượng đo vẫn có thể nhìn thấy kích thích này khi họ đang nhìn vào điểm khác vì vùng biên của võng mạc nhạy với hướng của chuyển động [22] Đồng thời, sau mỗi mẫu đo, các kích thích hoạt hình được hiển thị để đảm bảo sự hiệu lực của quá trình hiệu chỉnh với khoảng sai số cho phép là 3o [13] Nghiên cứu này là một trong số ít những nghiên cứu công bố dữ liệu hiệu chỉnh Kết quả cho thấy với kích thích trên, trẻ tự kỷ 2 và 3 tháng tuổi cho kết quả sai số Root Mean Square tại các điểm hiệu chỉnh lớn hơn nhiều so với trẻ bình thường (Hình 1.9) Trong Hình 1.9, “TD” được kí hiệu cho trẻ bình thường, và ASD được kí hiệu cho trẻ mắc chứng rối loạn phổ tự kỷ

Hình 1.9 Dữ liệu hiệu chỉnh của thiết bị ISCAN trên trẻ từ 2 đến 6 tháng tuổi [13]

1.2 Phương pháp ước lượng điểm nhìn

Hiện nay, có hai phương pháp ước lượng điểm nhìn lần lượt là Feature-based và Appearance-based [23] Trong khi phương pháp Feature-based sử dụng các đặc trưng của mắt, phương pháp Appearance-based xem toàn bộ ảnh mắt như là đầu vào Ngoài ra, một số nghiên cứu sử dụng kết hợp hai phương pháp trên được gọi là Hybrid-based Phương pháp Feature-based gồm 3 cách tiếp cận: Mô hình hóa 3 chiều, Tỷ số chéo, và Hồi quy [23] Phương pháp đầu tiên mô hình hóa trục nhìn và bề mặt đối tượng tương tác, và điểm nhìn được định nghĩa là giao điểm của chúng Phương pháp Tỷ số chéo dựa trên thuộc tính hình học của phép chiếu xuyên tâm Đối với phương pháp Hồi quy, đặc trưng của mắt trong hệ tọa độ cảm biến ảnh được ánh xạ đến điểm nhìn trong hệ tọa độ màn hình thông qua một hàm hồi quy

Phương pháp Feature-based (thuộc phương pháp có cấu trúc) thường sử dụng kỹ thuật Tâm Đồng Tử-Điểm Phản Xạ Giác Mạc (Pupil Center Corneal Reflection, PCCR) Trong kỹ thuật này, các điểm phản xạ giác mạc (Hình 1.10) được sử dụng như các điểm tham chiếu, và chuyển động của mắt được biểu diễn bởi vector tâm đồng tử-điểm phản xạ giác mạc Đối với phương pháp Mô hình hóa 3 chiều, các điểm phản xạ được mô hình hóa theo quang hình học, nên việc di chuyển đầu là tự do Đối với 3 phương pháp Tỷ số chéo, Hồi quy và Appearance-based, các điểm phản xạ giác mạc vẫn được xem là các điểm tham chiếu, vì các điểm này di chuyển theo chuyển

Điểm phản xạ xác mạc

Hình 1.10 Hai điểm phản xạ giác mạc được tạo từ hai nguồn sáng khác nhau

động đầu [24] Ảnh phản xạ của nguồn sáng (hay ảnh Purkinje) có 4 bậc tương ứng với 4 vị trí phản xạ tại: bề mặt ngoài giác mạc, bề mặt trong giác mạc, bề mặt ngoài thủy tinh thể và bề mặt sau thủy tinh thể [24] Ảnh Purkinje bậc I là ảnh ảo của nguồn sáng và gần như trùng với ảnh bậc II; ảnh Purkinje bậc IV là ảnh thực của nguồn sáng, có kích thước và nằm trên cùng mặt phẳng chứa ảnh Purkinje bậc I; ảnh Purkinje bậc III là ảnh ảo, có kích thước lớn và độ sáng mờ hơn các ảnh còn lại [24] Phương pháp PCCR thường sử dụng các điểm Purkinje bậc I vì các điểm này không yêu cầu các hệ thống nguồn sáng được thiết kế đặc biệt [24] Nghiên cứu [25] và [26] lần lượt kết hợp những đặc trưng của ảnh Purkinje bậc IV với ảnh Purkinje bậc I và III Đối với nghiên cứu [25], sự kết hợp giữa ảnh Purkinje bậc I và IV dựa trên đặc điểm: khi mắt di chuyển tịnh tiến thì cả hai ảnh Purkinje cùng di chuyển với một khoảng bằng nhau, nhưng khi mắt xoay, khoảng cách giữa hai điểm này thay đổi

Đối với các thiết bị theo dõi mắt từ xa sử dụng phương pháp ước lượng điểm nhìn Mô hình hóa 3 chiều (mục 1.2.3), vị trí nguồn sáng và màn hình cần được tọa độ hóa, nhưng các điểm này không nằm trong trường nhìn của thiết bị theo dõi mắt Các vị

trí này có thể được đo đạc thủ công hoặc được đo tự động bằng cách sử dụng một camera phụ và mẫu hình hiệu chuẩn camera hai mặt (mục Phụ lục) [3] Trong quá trình hiệu chuẩn, một mẫu hình hiệu chuẩn có dạng bàn cờ được đặt tại các góc khác nhau, và camera cần hiệu chuẩn ghi nhận ảnh tại mỗi vị trí của mẫu hình này Thông số đầu vào của phần mềm hiệu chuẩn là kích thước mẫu hình và kích thước của mỗi ô vuông trên mẫu hình Phần mềm hiệu chuẩn trả về thông số nội và ngoại của camera (mục 2.2.1) Khi đó, giả sử mẫu hình được gắn trên màn hình, vị trí tương đối giữa camera và màn hình được biểu diễn bởi các thông số ngoại (mục 2.2.1.b và Phụ lục) Hình 1.11 trình bày mẫu hình được gắn với đối tượng tương tác và hệ tọa độ của mẫu hình này (a); các vị trí tương đối của mẫu hình trong hệ tọa độ camera (mục 2.2.1.b) (b); và kết quả ước lượng thông số ngoại của camera (biểu diễn vị trí của mẫu hình trong hệ tọa độ camera) (c) Đồng thời, phương pháp Hồi quy và Tỷ số chéo có thể sử dụng các giá trị thông số nội để khử quang sai cho các dữ liệu đầu vào (vị trí tâm đồng tử và điểm phản xạ giác mạc trên mặt phẳng ảnh) (mục 2.2.1.b) Trong [1], một gương phẳng được sử dụng nhằm xác định vị trí nguồn sáng và màn hình mà không cần sử dụng camera phụ

1.2.1 Phương pháp Hồi quy

Giả sử mắt có dạng hình cầu và chuyển động xung quanh tâm quay của nó, trong khi nguồn sáng và camera nằm ở một vị trí cố định Khi đó, điểm phản xạ giác mạc được sử dụng làm vị trí tham chiếu và chuyển động mắt được biểu diễn bởi các vector tâm đồng tử-điểm phản xạ giác mạc Các vector này theo hệ tọa độ cảm biến ảnh (X, Y) được ánh xạ lên điểm nhìn theo hệ tọa độ màn hình (Gx, Gy) bởi hàm truyền là một đa thức Trong nghiên cứu [27] hàm truyền được xây dựng từ việc bù các hiệu ứng bậc hai, mà không chỉ đơn thuần là đa thức hồi quy toán học:

Trong đó, Gx và Gy là hoành độ và tung độ điểm nhìn; ax, bx, cx, dx, fx, ay, by, cy, dy

và fy là các hằng số; ax+bxX+cxX2 và ay+byX+cyX2 là các biểu thức điều chỉnh sai số không đồng trục (hoành độ và tung độ); dxY+exY2 và dyY+eyY2 là các biểu thức điều chỉnh sai số giao tiếp chéo (crosstalk) như sự lệch trục tung giữa hệ tọa độ gắn với

cảm biến và các điểm hiệu chỉnh, sự bất đối xứng bề mặt giác mạc, ; fxXY và fyXY là các biểu thức điều chỉnh sai số tại các góc phần tư Hình 1.12 biểu diễn các điểm hiệu chỉnh (+) và điểm nhìn ước lượng (•), và quan hệ giữa các điểm này được biểu diễn bởi hàm bậc nhất Các phép điều chỉnh sai số không đồng trục, sai số giao tiếp chéo và sai số tại các góc phần tư được biểu diễn lần lượt bởi các mũi tên kí hiệu 1, 2 và 3

Quá trình ước lượng các hệ số của hàm truyền được gọi là hiệu chỉnh Trong quá trình này, đối tượng đo được yêu cầu tập trung nhìn vào các điểm có vị trí xác định lần lượt hiện trên màn hình, trong một khoảng thời gian xác định Đồng thời, các vector tâm đồng tử-điểm phản xạ giác mạc tương ứng được tính toán Đối với mỗi điểm nhìn, giá trị trung bình của các vector tâm đồng tử-điểm phản xạ giác mạc được tính toán Cuối cùng, các hệ số của hàm truyền được xác định bằng cách giải hệ phương trình (2.2) Sau quá trình hiệu chỉnh, các điểm nhìn được ước lượng bằng cách áp dụng các vector tâm đồng tử-điểm phản xạ giác mạc vào hàm truyền đã được ước lượng Các đa thức bậc cao được sử dụng để mô tả quan hệ phi tuyến giữa mặt cong mạc và và mặt phẳng màn hình

Hình 1.12 Điểm nhìn được ước lượng bởi hàm bậc nhất và các điểm được điều chỉnh [27]

1.2.2 Phương pháp Tỷ số chéo

Phương pháp này dựa trên tính chất hình học của một tứ diện: qua phép chiếu xuyên tâm, tỷ số giữa hai đường chéo là không đổi, với giả sử giác mạc là một mặt phẳng Đối với phép chiếu này, các đường thẳng song song với nhau trong không gian sẽ là những đường thẳng xuất phát từ điểm vô tận (vanishing point) Hình 1.13 trình bày biểu diễn hình học của phương pháp Tỷ số chéo Vì 4 nguồn sáng A’, B’, C’ và D’ nằm trên các góc của màn hình và điểm nhìn luôn nằm trong phạm vi tứ giác A’B’C’D’ nên tâm đồng tử P luôn nằm trong tứ giác ABCD, có các đỉnh là các ảnh của nguồn sáng tương ứng trên bề mặt giác mạc Một trong những ưu điểm của phương pháp này là không bắt buộc quá trình hiệu chỉnh Phương pháp này có độ chính xác khoảng 2o và các sai số phi tuyến (do giác mạc thực tế không phẳng) có thể được bù thông qua các quá trình hiệu chỉnh [28] Trong nghiên cứu [28], quá trình hiệu chỉnh được thực hiện dựa trên trên mô hình của phương pháp Mô hình hóa 3 chiều (phương pháp Hybrid-based)

Hình 1.13 Phương pháp tỷ số đường chéo tứ giác phối cảnh không đổi Trong đó, A, B, C, D là các ảnh phản xạ giác mạc bậc I tương ứng với vị trí nguồn sáng trên màn hình A’, B’, C,’ D’ P là tâm đồng tử trên ảnh tương ứng với điểm nhìn P’ [24]

1.2.3 Phương pháp Mô hình hóa 3 chiều

Điểm nhìn được xây dựng dựa trên quang hình học thuần túy (ví dụ như [29]) hoặc dựa trên quang hình học kết hợp phương pháp tọa độ hình học trong không gian (ví dụ như [30]) Trong [30], tác giả E D Guestrin và M Eizenman đã đề xuất lý thuyết chung về phương pháp theo dõi mắt Mô hình hóa 3 chiều, với giả thuyết:

• Bề mặt giác mạc là một thấu kính cầu lồi, và quang tâm của hệ thấu kính mắt là tâm của mặt cong giác mạc (trong thực tế, mắt có hai quang tâm nằm cách nhau 0,3 mm và các điểm này nằm trong phạm vi 1 mm so với tâm giác mạc)

• Các thông số của mắt (góc lệch giữa trục nhìn và trục quang học, bán kính giác mạc, khoảng cách giữa tâm đồng tử và tâm mặt cong giác mạc) có thể ước lượng thông qua quá trình hiệu chỉnh

• Đối tượng tương tác là màn hình, nguồn sáng là nguồn điểm, và camera tuân theo mô hình của camera lỗ kim (pinhole camera, mục 2.2.1.a)

Hình 1.14 Mô hình thiết bị theo dõi mắt được đề xuất bởi E D Guestrin và M Eizenman [30]

Hình 1.14 trình bày mô hình quang hình học của thiết bị theo dõi mắt từ xa được đề xuất bởi E D Guestrin và M Eizenman Mô hình gồm: nhãn cầu có tâm mặt cong giác mạc c, tâm quay d, tâm đồng tử p (khúc xạ trên bề mặt giác mạc tại điểm rj); nguồn sáng thứ i li phản xạ trên bề mặt giác mạc tại điểm qij; camera có quang tâm oj, và ảnh của rj và qij trên cảm biến ảnh lần lượt là vj và uij Trong chương 2, mô hình này được ứng dụng trong mô hình quang hình học của hệ thống MES Các tác giả đã đưa ra kết luận sau:

• Trong trường hợp hệ gồm một camera và một nguồn sáng, việc ước lượng điểm nhìn khi đầu di chuyển cần có thêm thông tin liên tục về khoảng cách giữa mắt và màn hình

• Trong trường hợp hệ gồm một camera và ít nhất hai nguồn sáng, các điểm nhìn có thể được ước lượng khi đầu di chuyển

• Trong trường hợp ít nhất hai camera và ít nhất hai nguồn sáng, trục quang học có thể được xác định mà không cần quá trình hiệu chỉnh Đồng thời, chỉ một điểm hiệu chỉnh được yêu cầu để ước lượng góc lệch giữa trục quang học và trục nhìn

Quá trình hiệu chỉnh yêu cầu người dùng nhìn vào các điểm đã biết vị trí trên màn hình Trong [31], các điểm hiệu chỉnh là vị trí đối tượng nhấp chuột trên màn hình, với sai số ước lượng là 2,56o Mặt khác, quá trình hiệu chỉnh có thể không phù hợp với các đối tượng có khả năng hợp tác thấp như trẻ sơ sinh và trẻ nhỏ Trong [13], các điểm hiệu chỉnh được thiết kế đặc biệt nhằm gây chú ý cho trẻ từ 2 đến 6 tháng tuổi, tuy nhiên thiết kế này cho sai số hiệu chỉnh lớn đối với trẻ Tự kỷ ở 2 và 3 tháng tuổi (Hình 1.9) Dựa vào những kết luận của E D Guestrin và M Eizenman trong trường hợp ít nhất hai camera và ít nhất hai nguồn sáng, tác giả Nagamatsu và cộng sự đề xuất điểm nhìn là trung điểm của hai giao điểm giữa hai trục quang học của mắt và màn hình, với sai số ước lượng là 1,58o [32] Trong [4], sau khi trục quang học được ước lượng bởi thiết bị theo dõi mắt gồm hai camera và hai nguồn sáng, góc lệch giữa trục quang học và trục nhìn được ước lượng thông qua việc giải bài toán bình phương cực tiểu:

()( ) ( )( )( ) ( )

Hình 1.15 Hệ tọa độ mắt và màn hình được đề xuất bởi D Model và M Eizenman [4]

1.3 Phương pháp ước lượng tâm đồng tử

Điểm nhìn được định nghĩa là giao điểm của trục nhìn hay trục quang học của mắt với đối tượng tương tác [24] Vì tâm đồng tử nằm trên trục quang học của mắt, nên vị trí của điểm này thường là tham số đầu vào của các thuật toán ước lượng điểm nhìn Mặc dù các camera chỉ thu nhận được ảnh ảo của tâm đồng tử, điểm này vẫn nằm trên trục quang học của mắt (mục 2.2.4) Đồng thời, trong nghiên cứu mô phỏng mô hình mắt [34] cho thấy ảnh ảo của tâm đồng tử nằm trong khoảng 0.2o quanh trục quang học

Dựa trên đặc trưng hình chiếu của mống mắt và đồng tử trên cảm biến ảnh có dạng elipse, tâm đồng tử được giả sử là tâm của hình chiếu này So với đồng tử, mống mắt có kích thước không đổi và lớn hơn, và ranh giới giữa mống mắt-cũng mạc có sự phân biệt màu sắc rõ Tuy nhiên, mống mắt thường bị che phủ bởi hai mí mắt Trong nghiên cứu [35], tâm đồng tử được ước lượng từ biên của mống mắt và đồng tử

Các thiết bị theo dõi mắt thường sử dụng nguồn sáng hồng ngoại gần nhằm tạo các ảnh có biên đồng tử-mống mắt được phân biệt rõ nét Hình 1.16 thể hiện ảnh đồng tử tối (dark pupil) và ảnh “đồng tử sáng” (bright pupil) Hiện tượng đồng tử sáng chỉ xảy ra khi nguồn sáng được đặt gần thấu kính của camera và các tia sáng gần như song song với trục quang học của thấu kính này, tạo ra các tia sáng phản xạ từ bên trong mắt đi qua đồng tử đến camera Giả sử đồng tử là nơi có giá trị pixel thấp nhất trên ảnh đồng tử tối và là nơi có giá trị này cao nhất trong ảnh đồng tử sáng, vùng đồng tử có thể được phân vùng bởi một ngưỡng nhị phân Tuy nhiên, giá trị ngưỡng chịu ảnh hưởng bởi điều kiện chiếu sáng của môi trường Trong nghiên cứu [36], ảnh đồng tử tối I1 và ảnh đồng tử sáng I2 liên tiếp được tạo từ hai nguồn sáng được bật tắt luân phiên, và hiệu giá trị tuyệt đối I3 của hai ảnh này được tính toán Một ngưỡng nhị phân cố định được áp dụng với giả sử chỉ có cường độ vùng đồng tử của ảnh I1

và I2 thay đổi Hình 1.16 trình bày kết quả thực nghiệm của thuật toán trên ở tốc độ chụp 30 khung hình/giây và thiết bị tự chế tạo được thể hiện trong phần Phụ lục Trong ảnh nhị phân, ta nhận thấy hai vùng tròn nhỏ trong vùng đồng tử tương ứng với vùng của các điểm phản xạ giác mạc, vì vùng này luôn có cường độ lớn nhất hai ảnh I1 và I2 Với phương pháp này, tâm đồng tử và hai điểm phản xạ giác mạc, là các

giá trị đầu vào phổ biến của các thuật toán ước lượng điểm nhìn (mục 1.2), được phân vùng trong cùng một thời điểm

Các thiết bị theo dõi mắt từ xa có thể phù hợp hơn so với các thiết bị theo dõi mắt đeo đầu trong nghiên cứu khảo sát trên trẻ sơ sinh và trẻ nhỏ [20] Thuật toán BORE được thiết kế cho mục đích ước lượng vị trí tâm đồng tử của các thiết bị theo dõi mắt từ xa theo thời gian thực Hình 1.18 trình bày tỷ lệ phát hiện thành công tâm đồng tử theo sai số khoảng cách của thuật toán BORE (proposed) và các thuật toán theo dõi mắt từ xa khác trên 4 nguồn dữ liệu khác nhau Sai số này là khoảng cách giữa giá trị được ước lượng và giá trị tham chiếu được xác định thủ công

Trong các mẫu dữ liệu a, b và c, thuật toán này có tỷ lệ ước lượng thành công cao nhất trên toàn dãy Đối với mẫu dữ liệu d, thuật toán của Skodras có tỷ lệ cao hơn thuật toán BORE trong đoạn sai số khoảng cách từ 7 đến 11 pixel, nhưng sai số lớn hơn 4 pixel là cao đối với việc ước lượng điểm nhìn từ xa [5] Trong một nghiên cứu ứng dụng thuật toán BORE, hệ thống theo dõi mắt được đề xuất có tần số hoạt động 500 Hz, sai số ước lượng trung bình 0,98o, độ chụm trung bình là 0,38o, giá thành dưới 600 EUR (vào năm 2020) và tỷ lệ ước lượng không thành công 0,33% [37]

Tương tự như các thuật toán phát hiện tâm đồng tử trong thời gian thực như thuật toán Starbust (là một thuật toán tiêu chuẩn trong so sánh tốc độ phát hiện đồng tử đối với ảnh mắt có chất lượng tốt), thuật toán BORE chỉ tính toán giá trị gradient theo một số hướng nhằm tìm các vị trí biên Tuy nhiên, tâm đồng tử không được phát hiện bởi biên độ gradient mà dựa trên tổng các gradient hướng đến tâm đồng tử theo công thức tối ưu:

= 

Trong đó, C() là một hàm số của hình tròn tâm p, bán kính r ∊ (rmin, rmax) và theo hướng đang xét a ∊ (amin, amax) Tại mỗi điểm trên hình tròn, gradient trực giao với tiếp tuyến Δ được tính toán Inner và outner là tổng giá trị cường độ bên trong và ngoài hình tròn của mỗi gradient Dựa trên việc so sánh inner và outner, giá trị L được dùng để đánh dấu sự hiệu lực của điểm biên ước lượng trên hướng này Đồng thời, việc tính toán gradient được thực hiện hai lần giúp nâng cao kết quả ước lượng vị trí tâm đồng tử Hình 1.17 trình bày trực quan các tham số trong công thức (2.5) và (2.6) và lưu đồ của thuật toán BORE

a

b

Hình 1.17 Trực quan hóa vị trí các tham số của công thức (2.5) và (2.6) (a) và lưu đồ của thuật toán BORE (b) [5]

Vì tâm đồng tử không được ước lượng bởi giá trị biên độ của gradient mà dựa trên tổng của các gradient, thuật toán BORE ít nhạy với sự tương phản thấp và các điểm phản xạ giác mạc [5] Tuy nhiên, trong Hình 1.17.a và Hình 1.17.b, các mặt nạ được đặt tại vị trí các điểm phản xạ giác mạc có kích thước lớn, và sự ảnh hưởng của điểm phản xạ giác mạc có kích thước lớn được quan sát trong thực nghiệm với các ảnh tương tự (ví dụ như Hình 1.16 và Hình 3.4) Trong thuật toán PDIF ( [6]), các điểm phản xạ giác mạc được loại bỏ thông qua các phép toán hình thái học, sử dụng các kernel elipse với các kích thước khác nhau Một trong những nhược điểm của thuật toán này là vị trí ban đầu của đồng tử (trong khung ảnh đầu tiên hoặc sau khi đồng tử không được phát hiện trong khung ảnh trước đó) được xác định thủ công hoặc được xét là điểm chính giữa khung ảnh (đối với ảnh chỉ chứa vùng mắt)

Hình 1.18 Quan hệ giữa tỷ lệ phát hiện và sai số khoảng cách của thuật toán BORE và 5 thuật toán khác [5]