Nghiên cứu nhận dạng và theo dõi chuyển động của mắt người

MỞ ĐẦU 1. Lý do chọn đề tài Khi công nghệ cảm ứng đang làm mưa làm gió trên thế giới bằng những ứng dụng trên điện thoại, máy tính thì công nghệ điều khiển bằng mắt và theo dõi mắt lại phát triển theo hướng ít ồn ào hơn, nhưng cũng không kém phần hiệu quả và thiết thực đối với cuộc sống của hàng triệu người trên thế giới. Trong những năm gần đây, các ứng dụng về nhận dạng đối tượng ngày càng phát triển và được đánh giá cao. Một lĩnh vực đang được quan tâm của nhận dạng đối tượng nhằm tạo ra các ứng dụng thông minh, nâng cao chất lượng cuộc sống đó là nhận dạng theo dõi mắt. Đối tượng cho việc nghiên cứu nhận dạng cũng rất phong phú và đa dạng. Trong luận văn này tôi chọn đối tượng là theo dõi chuyển động của mắt. Mắt đóng vai trò quan trọng trong quá trình giao tiếp giữa người với người, và cũng mang một lượng thông tin giàu có, có thể nói lên trạng thái cảm xúc của người nào đó, ... hơn nữa khảo sát chuyển động của mắt có thể biết được người đó muốn nói gì. Do đó, theo dõi chuyển động của mắt là điều quan trọng và cần thiết trong xã hội loài người. Đó là lý do tôi chọn đề tài : “Nghiên cứu nhận dạng và theo dõi chuyển động của mắt người”. 2. Tổng quan tài liệu Hiện nay đã có rất nhiều nghiên cứu về theo dõi chuyển động của mắt người.Tuy nhiên, với sự phát triển mạnh mẽ của khoa học công nghệ, đòi hỏi phải có những nghiên cứu mới đáp ứng các yêu cầu của thực tiễn. Cụ thể là các tác giả đã nghiên cứu thành công về nhận dạng theo dõi chuyển động của mắt. Theo dõi mắt là một kỹ thuật trong đó vị trí của mắt được sử dụng để xác định hướng ánh mắt của một người tại một thời điểm nhất định và trình tự. Emile Java (bác sĩ nhãn khoa người Pháp, 1839-1907) là một trong những người đầu tiên mô tả vào năm 1879 các chuyển động của mắt khi đọc văn bản. Sau đó, Edmund Huey xây dựng một thiết bị theo dõi mắt sử dụng kính áp tròng nhỏ được cung cấp với một lỗ cho con ngươi. Năm 1930, Miles Tinker thực hiện một loạt các nghiên cứu sử dụng công nghệ theo dõi mắt về chuyển động của mắt trong việc đọc sách. Năm 1947, Paul Fitts người sau này đã trở thành nổi tiếng với pháp luật Fitts của mình, sử dụng máy quay hình ảnh chuyển động để ghi lại các cử động mắt của các phi công không quân khi hạ cánh máy bay của họ. Quan tâm của ông là làm thế nào các phi công sử dụng điều khiển buồng lái của họ. Đây là nghiên cứu sớm nhất sử dụng theo dõi mắt. Trong những năm 1970, đã có rất nhiều cải tiến trong công nghệ mắt theo dõi. Các bộ theo dõi mắt đã xuất hiện, cung cấp độ chính xác tốt hơn, và có thể phân tách ra mắt từ phong trào đầu của nhiều phản xạ từ mắt. Tâm lý học bắt đầu nghiên cứu nhận thức và nhận thức. Trong những năm 1980, máy tính mini trở nên đủ mạnh để làm mắt theo dõi thời gian thực và điều này đã làm cho khả năng sử dụng máy theo dõi mắt dựa trên video cho máy tính tương tác của con người. Từ những năm 1990, đã có một sự gia tăng ổn định trong việc sử dụng máy theo dõi mắt. Cuối những năm 1990, tổ chức bao gồm một mạng lưới công ty quảng cáo và tiếp thị lớn nhất thế giới Euro RSCG bắt đầu sử dụng công nghệ theo dõi mắt để đo lượng và nghiên cứu phản ứng với thông tin trên World Wide Web. Trong năm 2006, công ty nghiên cứu tư vấn hành vi Anh Bunnyfoot nghiên cứu quảng cáo trong trò chơi bằng cách sử dụng mắt theo dõi và dữ liệu sinh lý. Năm 2012, hãng Fujitsu Laboratories Ltd. đã thông báo về quá trình phát triển công nghệ Eye Tracking (theo dõi sự di chuyển của mắt người dùng), nhằm khai thác những ưu điểm của các loại camera nhỏ gọn, giá cả hợp lý và các điốt phát sáng (LED) được nhúng trong PC. Hiện nay, trước sự phát triển không ngừng của khoa học, đòi hỏi phải có những nghiên cứu mới đáp ứng các yêu cầu của thực tiễn. Đã có nhiều nghiên cứu thành công về nhận dạng theo dõi chuyển động của mắt người. Và đang được ứng dụng rộng rãi trong cuộc sống. 3. Mục đích nghiên cứu Đề tài nhằm nghiên cứu những vấn đề sau: - Mục tiêu chung: nghiên cứu về nhận dạng phát hiện vị trí các vùng của đôi mắt trên mặt của con người và theo dõi hướng di chuyển của mắt khi di chuyển quan sát. - Các mục tiêu cụ thể: o Tổng quan về lý thuyết nhận dạng, và tổng quan về nhận dạng và theo dõi mắt của con người từ hình ảnh thu nhận được bởi webcam/video, các hướng nghiên cứu tiếp cận đối với bài toán gần đây. o Nghiên cứu phương pháp nhận dạng và theo dõi khuôn mặt từ ảnh với các tỉ lệ và góc quay khác nhau. Phát hiện và trích chọn các vùng mắt xuất hiện trong vùng khuôn mặt. Nghiên cứu các đặc trưng của mắt: mống mắt, con ngươi, võng mạc, thủy tinh thể, … o Theo dõi quá trình chuyển động của mắt trước hệ thống cảm biến quan sát, tìm hướng quan sát của mắt. Điều khiển từ xa bằng cử động mắt o Đề xuất khung hệ thống và phương pháp phù hợp cho bài toán nhận dạng theo dõi chuyển động của mắt

B GIO DC V O TO I HC HU TRNG I HC KHOA HC VN TN Nghiên cứu nhận dạng theo dõi chuyển động mắt ng-ời CHUYấN NGNH: KHOA HC MY TNH M S: 60.48.01.01 LUN VN THC S KHOA HC MY TNH Hu, 2015 MC LC Li cam oan Li cm n Danh mc cỏc thut ng Danh mc cỏc t vit tt Danh mc cỏc bng Danh mc cỏc hỡnh v v th M U 1 Lý chn ti Tng quan ti liu Mc ớch nghiờn cu i tng nghiờn cu Phng phỏp nghiờn cu Phm vi nghiờn cu B cc ca lun Chng TNG QUAN V Lí THUYT NHN DNG 1.1 Tng quan v lý thuyt nhn dng 1.2 Tng quan v nhn dng v theo dừi chuyn ng ca mt ngi 10 1.3 Tiu kt chng 14 Chng MT S PHNG PHP NHN DNG V THEO DếI CHUYN NG CA MT NGI 15 2.1 Gii thiu 15 2.2 H thng nhn dng v theo dừi vt di chuyn ca mt 16 2.3 Phng phỏp phỏt hin khuụn mt 22 2.4 Phng phỏp phỏt hin vựng mt nh cha khuụn mt ngi 36 2.5 To vt chuyn ng ca mt di chuyn liờn tip 42 2.5 Tiu kt chng 43 Chng XY DNG Mễ PHNG NHN DNG V THEO DếI CHUYN NG CA MT NGI 44 3.1 S lc v OpenCv 45 3.2 Phõn tớch, thit k v ci t chng trỡnh 45 3.3 Mụ phng k thut nhn dng theo dừi mt 55 3.4 Tiu kt chng 58 TI LIấU THAM KHAO 61 DANH MC CC THUT NG Thut ng Gii thớch False alarm T l nhn dng sai ca cỏc b phõn loi Hit rate L t l nhn dng ỳng ca cỏc b phõn loi Learning algorithm Thut toỏn hc mỏy Knowledge base C s tri thc Integral Image nh tớch phõn Hyperplane Siờu phng MMH (Maximum marginal Siờu phng vi khong cỏc l cc i hyperplane) Margin Khong cỏch l Learning machine Hc mỏy Point detectors Cỏc b phỏt hin da trờn im Segmentation Phõn vựng Background Modeling Mụ hỡnh nn Mean Shift Dch chuyn trung bỡnh CamShift Dch chuyn trung bỡnh thớch nghi DANH MC CC T VIT TT Ch vit tt T nguyờn gc 2D Two Dimensional IR Infrared OPENCV Open Source Computer Vision Library ASL American Sign Language CSDL C S D Liu DTW Dynamic Time Warping HCI Human Computer Interaction PDA Personal Digital Assistant OpenCV Opend source Computer Vision DANH MC CC BANG S hiu Tờn bng 3.1 Kt qu phỏt hin v theo dừi chuyn ng ca mt ngi Trang 57 DANH MC CC HèNH V V TH S hiu Tờn hỡnh v v th Trang 1.1 S tng quỏt ca h thng nhn dng 1.2 10 1.3 ng kớnh liờn h vi gng ng kớnh liờn h vi cun dõy tỡm kim t 1.4 Mt phõn cc 1.5 V trớ in cc 11 11 1.6 Theo dừi mt t xa 12 1.7 u gn theo dừi mt 12 1.8 B theo dừi mt t xa vi camera ni 13 1.9 B theo dừi mt t xa vi gúc rng mỏy nh v zoom mỏy nh 13 2.1 H thng phỏt hin v theo dừi vt di chuyn ca mt 16 2.2 Mu mt 19 2.3 Cỏc t trng Haar-like c bn 24 2.4 Cỏc hỡnh hc c trng Haar-like 24 2.5 í ngha hỡnh hc ca o hm nh 25 2.6 Cỏch tớnh giỏ tr ụ c trng 26 2.7 31 2.8 Vớ d minh cho thut toỏn AdaBoost S gii thut dch chuyn trung bỡnh thớc nghi liờn tc theo vt chuyn ng 2.9 Ca s tỡm kim ca Camshift 34 2.10 Phỏt hin mt da vo i sỏnh mu 36 2.11 Cỏc mụ hỡnh khuụn mt c s dng phỏt hin mt 39 2.12 S phỏt hin mt s dng EigenEyes 40 2.13 Khu vc tỡm kim cho mt bờn trỏi v phi 41 3.1 Cu trỳc c bn ca OpenCV 45 3.2 Cu trỳc hon chnh ca h thng 47 3.3 S h thng theo dừi mt 48 11 32 49 3.5 Vớ d phõn phi tớnh toỏn xỏc sut HUE Biu cỏc thnh phn mu sc 3.6 u ca b theo dừi mt 50 3.7 51 3.8 CSDL mu s dng phỏt hin mt Vựng mt ngi 3.9 Cỏc c trng ca mt (vựng 1) 53 3.10 Giao din ca chng trỡnh mụ phng 54 3.11 Giao din chng trỡnh 55 3.12 Cỏc c trng vựng ca mt 56 3.13 Ci t b theo dừi 56 3.14 Phỏt hin v theo dừi chuyn ng ca mt 57 3.4 50 52 M U Lý chn ti Khi cụng ngh cm ng ang lm ma lm giú trờn th gii bng nhng ng dng trờn in thoi, mỏy tớnh thỡ cụng ngh iu khin bng mt v theo dừi mt li phỏt trin theo hng ớt n o hn, nhng cng khụng kộm phn hiu qu v thit thc i vi cuc sng ca hng triu ngi trờn th gii Trong nhng nm gn õy, cỏc ng dng v nhn dng i tng ngy cng phỏt trin v c ỏnh giỏ cao Mt lnh vc ang c quan tõm ca nhn dng i tng nhm to cỏc ng dng thụng minh, nõng cao cht lng cuc sng ú l nhn dng theo dừi mt i tng cho vic nghiờn cu nhn dng cng rt phong phỳ v a dng Trong lun ny tụi chn i tng l theo dừi chuyn ng ca mt Mt úng vai trũ quan trng quỏ trỡnh giao tip gia ngi vi ngi, v cng mang mt lng thụng tin giu cú, cú th núi lờn trng thỏi cm xỳc ca ngi no ú, hn na kho sỏt chuyn ng ca mt cú th bit c ngi ú mun núi gỡ Do ú, theo dừi chuyn ng ca mt l iu quan trng v cn thit xó hi loi ngi ú l lý tụi chn ti : Nghiờn cu nhn dng v theo dừi chuyn ng ca mt ngi Tng quan ti liu Hin ó cú rt nhiu nghiờn cu v theo dừi chuyn ng ca mt ngi.Tuy nhiờn, vi s phỏt trin mnh m ca khoa hc cụng ngh, ũi hi phi cú nhng nghiờn cu mi ỏp ng cỏc yờu cu ca thc tin C th l cỏc tỏc gi ó nghiờn cu thnh cụng v nhn dng theo dừi chuyn ng ca mt Theo dừi mt l mt k thut ú v trớ ca mt c s dng xỏc nh hng ỏnh mt ca mt ngi ti mt thi im nht nh v trỡnh t Emile Java (bỏc s nhón khoa ngi Phỏp, 1839-1907) l mt nhng ngi u tiờn mụ t vo nm 1879 cỏc chuyn ng ca mt c bn Sau ú, Edmund Huey xõy dng mt thit b theo dừi mt s dng kớnh ỏp trũng nh c cung cp vi mt l cho ngi Nm 1930, Miles Tinker thc hin mt lot cỏc nghiờn cu s dng cụng ngh theo dừi mt v chuyn ng ca mt vic c sỏch Nm 1947, Paul Fitts ngi sau ny ó tr thnh ni ting vi phỏp lut Fitts ca mỡnh, s dng mỏy quay hỡnh nh chuyn ng ghi li cỏc c ng mt ca cỏc phi cụng khụng quõn h cỏnh mỏy bay ca h Quan tõm ca ụng l lm th no cỏc phi cụng s dng iu khin bung lỏi ca h õy l nghiờn cu sm nht s dng theo dừi mt Trong nhng nm 1970, ó cú rt nhiu ci tin cụng ngh mt theo dừi Cỏc b theo dừi mt ó xut hin, cung cp chớnh xỏc tt hn, v cú th phõn tỏch mt t phong tro u ca nhiu phn x t mt Tõm lý hc bt u nghiờn cu nhn thc v nhn thc Trong nhng nm 1980, mỏy tớnh mini tr nờn mnh lm mt theo dừi thi gian thc v iu ny ó lm cho kh nng s dng mỏy theo dừi mt da trờn video cho mỏy tớnh tng tỏc ca ngi T nhng nm 1990, ó cú mt s gia tng n nh vic s dng mỏy theo dừi mt Cui nhng nm 1990, t chc bao gm mt mng li cụng ty qung cỏo v tip th ln nht th gii Euro RSCG bt u s dng cụng ngh theo dừi mt o lng v nghiờn cu phn ng vi thụng tin trờn World Wide Web Trong nm 2006, cụng ty nghiờn cu t hnh vi Anh Bunnyfoot nghiờn cu qung cỏo trũ chi bng cỏch s dng mt theo dừi v d liu sinh lý Nm 2012, hóng Fujitsu Laboratories Ltd ó thụng bỏo v quỏ trỡnh phỏt trin cụng ngh Eye Tracking (theo dừi s di chuyn ca mt ngi dựng), nhm khai thỏc nhng u im ca cỏc loi camera nh gn, giỏ c hp lý v cỏc it phỏt sỏng (LED) c nhỳng PC Hin nay, trc s phỏt trin khụng 50 Hỡnh 3.5 Biu cỏc thnh phn mu sc Hỡnh nh mi khuụn mt s nm c chp t mỏy nh v chuyn thnh khụng gian mu HSV Khi to ca s tớnh toỏn nh hỡnh nh ton b Phõn phi xỏc sut v tr li hỡnh nh l mt loi du hiu ca phõn phi xỏc sut hoc mt hỡnh nh mu xỏm quy mụ ca hỡnh nh u vo c hỡnh thnh bng cỏch so sỏnh mi pixel ca nh ngun vi cỏc biu mu sc xõy dng bc Phng thc phõn phi kh nng cú th xy v tỡm kim c ca s no cho vựng mt c tớnh toỏn Hỡnh 3.6 u ca b theo dừi mt Ca s tớnh toỏn cho cỏc khung hỡnh tip theo c thit lp hin kớch thc ca s tỡm kim thay vỡ tớnh toỏn tit kim tt c hỡnh nh 51 Mc ớch phn ny l theo dừi ton b khuụn mt, nú phc v ngun thụng tin quan trng cho vic phỏt hin v theo dừi mt da trờn thnh phn phõn tớch ch yu Nú cung cp hai thụng tin quan trng: V trớ ca vựng mt Trung tõm hỡnh nh khuụn mt theo hỡnh nh ton b, nh vy chỳng ta cú th tớnh thụng tin chiu rng ca khuụn mt Chiu rng khuụn mt, chiu cao, tõm, thụng tin kớch thc ca khuụn mt phỏt hin c tớnh bng cỏch s dng nhng khonh khc u tiờn ca hỡnh nh chiu li Thụng tin chiu rng ca khuụn mt c xỏc nh v ta ca vựng mt úng mt vai trũ quan trng vic thc hin ca cỏc thnh phn phỏt hin mt 3.2.2.2 Phỏt hin mt Cỏc thut toỏn phỏt hin mt thc hin nghiờn cu ny c da trờn cỏch tip cn eigenfaces Chỳng tụi ang s dng phng phỏp phỏt hin mt khu vc khuụn mt chỳng tụi s s dng thut ng "eigeneyes" Cỏch tip cn Eigeneyes s dng k thut phõn tớch thnh phn chớnh trờn mt i din ca hỡnh nh mt gim khụng gian mt 3.2.2.2.1 Hun luyn c s d liu mt Hỡnh 3.7 CSDL mu s dng phỏt hin mt 52 Hun luyn c s d liu phi cú nhng t th khỏc v nh hng ca c hai mt Mt c s d liu mt mt in hỡnh cha hỡnh nh cho mt trỏi v phi bt k no ngi ú nhỡn chm chm vo hng khỏc Phng phỏp Eigeneye l ph thuc vo cỏc iu kin sỏng v chiu sỏng hiu ng h thng tiờu cc cú c mt hiu sut tt hn; hỡnh nh o to mt cú th chp iu kin sỏng khỏc Mt li th ca vic s dng hỡnh nh mt nh c s d liu hun l, c s d liu phc c s dng vic phỏt hin khuụn mt khụng phi l mt yờu cu nh quan im ca mt khụng thay i quỏ nhiu t ngi ny sang ngi khỏc 3.2.2.2.2 Trớch chn c trng mt Mt khu vc mt hỡnh nh l mt nhúm cỏc im nh c kt ni vi cỏc tớnh cht tng t Khu vc rt quan trng cho vic gii thớch ca mt hỡnh nh vỡ chỳng tng ng vi cỏc lnh vc quan tõm mt cnh Vỡ vy, xem xột mt hỡnh nh mt, vựng mt cú th c phõn chia thnh hai khu vc chng chộo n gin m cú th c chp nhn l cỏc tớnh nng ca mt mt cho th giỏc mỏy; Hỡnh 3.8 Vựng mt ngi Vựng 1: Khu vc ngi v múng mt ca mt ngi Vựng 2: Din tớch nhón cu nhỡn thy c Vựng cha vựng * Phỏt hin vựng ca mt Nh ó cp trc ú, cỏc khu vc hỡnh thnh ngi ca mt v mng mt cú th thu c bng cỏch tip cn da trờn phỏt hin cnh Khu vc ny cú mt s thay i ỏng k cỏc hỡnh nh so sỏnh vi cỏc khu vc xung quanh hỡnh thnh bi trũng trng ca mt v da Do ting n v cỏc yu t 53 khỏc nh ỏnh sỏng mụi trng xung quanh, mt s bc tin x lý s c ỏp dng cho vựng mt trc phỏt hin cnh Cỏc phn ca chng trỡnh liờn quan n vic phỏt hin cỏc vựng c hin th hỡnh 3.12 Hỡnh 3.9 Cỏc c trng ca mt (vựng 1) * Phỏt hin vựng ca mt Phỏt hin vựng l mt khú khn quỏ trỡnh nghiờn cu ca chỳng tụi vỡ nú cú cha vựng Nhng s dng thc t "ton b vựng mt cú th c chp nhn nh l khu vc nhón cu cú th nhỡn thy c bao quanh bi ln da bng cỏch no ú loi b nhng vựng da s vựng nhón cu nhỡn thy bi h thng hỡnh nh" Cỏc phn ca chng trỡnh liờn quan n vic phỏt hin vựng c trỡnh by hỡnh 3.13 54 Hỡnh 3.10 Cỏc c trng vựng ca mt 3.2.3 Ci t chng trỡnh mụ phng Chng trỡnh c ci t bng ngụn ng C++ b Microsoft C++ 6.0 kt hp vi mt s cụng c h tr nh OpenCV OpenCV(Open Source Computer Vision): L th vin cha cỏc hm lp trỡnh nhm vo th giỏc mỏy tớnh thi gian thc c phỏt trin bi trung tõm nghiờn cu Intel Nga Nú l b cụng c phớ c cung cp quyn s dng di dng mó ngun m ca BSD OpenCV trung vo vic x lý hỡnh nh thi gian thc ti u húa tng tc x lý Mt s chc nng chng trỡnh c h tr nh: + Kt ni webcam ly hỡnh nh t th gii thc hoc video ó cú + X lý hỡnh nh t cỏc khung ca chui video ca camera + Tin x lý v trớch chn c trng + Phỏt hin khuụn mt + Phỏt hin v theo dừi s chuyn ng ca mt 55 3.2.3.1 Cu hỡnh ci t H thng chng trỡnh c th nghim vi HP Webcam-101, khung hỡnh cú phõn gii 320x240, yờu cu v thụng s k thut: B vi x lý CPU Pentium 4, Ram 1G, HDD 80Gb 3.2.3.2 Chng trỡnh mụ phng Giao din chớnh ca chng trỡnh c mụt t hỡnh nh sau: Hỡnh 3.11 Giao din chng trỡnh Trong giao din chớnh gm hai khung hỡnh khung bờn trỏi dựng thu tớn hiu hỡnh nh t camera hoc video cũn khung bờn phi dựng th hin khong cỏch khụng gian mt trỏi v mt phi 3.3 Mụ phng k thut nhn dng theo dừi chuyn ng ca mt ngi thc hin vic mụ phng k thut nhn dng v theo dừi mt: Bc 1: Khi to chng trỡnh Demo-Theo dừi mt (hỡnh 3.10) Sau ú la chn danh mc v chn mc Ci t b theo dừi 56 Hỡnh 3.12 Cỏc c trng vựng ca mt Bc 2: Ci t b theo dừi Hỡnh 3.13 Ci t b theo dừi 57 u vo: video Nhn vo chn tin v chn tin Chn tut toỏn phỏt hin khuụn mt: Haar Face Detection, Camshift Kớch chn Theo dừi mt Chn thut toỏn phỏt hin mt:Template Matching hay EigenEye Chn S hỡnh nh CSDL, chn s EigenEye Chn loi vựng mu s dng Cui cựng chn Lu v thoỏt Kt qu thc nghim Hỡnh 3.14 Phỏt hin v theo dừi chuyn ng ca mt 3.3.2 ỏnh giỏ kt qu Kt qu thc nghim b d liu mu hun luyn c mụ t v tớnh toỏn c th Bng 3.1 sau: Bng 3.1 Kt qu phỏt hin v theo dừi chuyn ng ca mt ngi S nh hun luyn T l phỏt hin(%) Thi gian thc hin(s) 75 13.84 77 14.43 91 15.16 12 86 18.34 15 90 19.4 Trung bỡnh 83.8% Kt qu sau thc nghim phỏt hin v theo dừi chuyn ng ca mt ngi trờn b d liu mu t to t Bng 3.1 ta thy t l trung bỡnh trờn tt c cỏc b d liu l 83.8% 58 3.6 Tiu kt chng Trong chng chỳng tụi ó thc hin vic ci t v mụ phng chng trỡnh bng ngụn ng lp trỡnh Visual C++ 6.0 ca Microsoft, s dng th vin mó ngun m OpenCv ca Intel xõy dng h thng phỏt hin v theo dừi chuyn ng ca mt ngi 59 KT LUN V HNG PHT TRIN Phỏt hin v theo dừi chuyn ng ca mt l mt nhng ti nghiờn cu ang dnh c nhiu s quan tõm hin Cú rt nhiu bi bỏo, cỏc cụng trỡnh nghiờn cu th nghim v lnh vc ny Cú rt nhiu phng phỏp, k thut khỏc Mi phng phỏp u cú nhng u nhc riờng ca nú, khụng cú phng phỏp no hon ho c Cú phng phỏp phỏt hin tt trng hp ny, nhng li phỏt hin kộm nhng tỡnh khỏc Vi nhng tỡnh khỏc ú, li ũi hi phng phỏp khỏc phự hp vi nú Cỏc kt qu t c H thng hot ng tt iu kin th nghim cho phộp Trờn c s h thng ó hon tt, cú th phỏt trin, m rng thờm vi nhiu ng dng hu ớch v lý thỳ khỏc phc v cụng tỏc hc tp, nghiờn cu sõu hn v ng dng thc tin Hn ch ca lun V tc hot ng chung ca h thng, ph thuc vo nhiu yu t nh: tc ca thit b nhn, tc phõn tớch nh, tc x lý v quyt nh, tc dch chuyn ca i tng cn phỏt hin v theo dừi mt, nờn nhỡn chung s cú nhiu cn xem xột thờm tựy vo hng phỏt trin v ng dng c th ca h thng Tớn hiu qu ca h thng cú th c ci thin tt hn bng cỏch lp trỡnh linh hot hn v ti u v mó code, cú tớnh n cỏc u tiờn v x lý tt cỏc tỡnh ngoi ý mun, khụng loi tr xột n cỏc s liu ghi nhn v thng k gúp phn khc phc v hon thin h thng Hng phỏt trin H thng cng cú th phỏt trin theo hng nhn dng v theo dừi mt ca i tng, ngha l phỏt hin c i tng, s tip tc hun luyn trc tuyn trớch xut c c trng ca i tng T ú tip tc quan sỏt 60 v nhn dng theo dừi mt ca i tng ú Vic nhn dng theo dừi mt ca i tng mụi trng a dng s l mt thỳ v cú th c ng dng nhiu H thng cng cú th phỏt trin lp trỡnh theo hng tớch hp vi mch s dng ngụn ng lp trỡnh h thng nhỳng, h thng tớch hp trờn vi mch (SoC System on Chip), , s to mt ng dng mang tớnh linh hot hn, vỡ lỳc ú h thng khụng cũn nht thit phi chy trờn nn tng mỏy tớnh Nu c thc hin nh vy thỡ ti s cú tớnh ng dng linh hot cao hn vo cỏc lnh vc thc t cuc sng v cỏc hot ng khỏc õy l mt lnh vc hay, lý thỳ, cú nhiu ng dng thc t v bờn cnh ú cú nhiu cn hon thin thờm Vỡ kh nng cú hn v thi gian khụng nhiu cho nờn lun khụng trỏnh nhng thiu sút v nhm ln Xin Quý Thy Cụ v cỏc anh ch hc viờn cng nh cỏc bn thụng cm Mong rng vi nhng ham thớch cú hng thỳ vi hng nghiờn cu ny cú th chia s vi tụi cựng tip tc tỡm hiu, phỏt trin thờm nõng cao tớnh hu dng thc t cho ti ú cng l mt nhng mc tiờu ch cht v li ớch ca ngnh hc Li cui cựng kt li ca ni dung cun lun ny, tụi xin chõn thnh cm n n tt c quý thy cụ giỏo, cỏc anh ch hc viờn v cỏc ng nghip ó quan tõm gúp ý giỳp tụi hon thnh 61 TI LIấU THAM KHAO Denis Leimberg Martin Vester-Christensen (2005), Eye Tracking, techchnical University of Denmark Dongheng Li, Winfield, D and Parkhurst, D J Starburst (2005), A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches In IEEE Computer Society Conference on Computer Vision and Pattern Recognition Ds Robert Gabriel Lupu and Florrina Ungureanu (2013), A surevey of eye tracking method and applications, Gheorghe Asachi Technical University of Iasi, Faculty of Automatic Control and Computer Engineering, R Kothari and J.L Mitchell (1996) Detection of eye locations in unconstrained visual images Int Proc International Conference on Image Processing, volume I, pages 519522, Lausanne, Switzerland S Kawato and J Ohya (2000) Real-time detection of nodding and headshaking by directly detecting and tracking betweeneyes" Dorin Comainciu, Visvanathan Ramesh, Peter Meer (2003), Kernel-Based Object Tracking, Real-Time Vision and modeling Department, Siemens Corporate Research, Pinceton, NJ, USA W Krattenthaler, K.J Mayer, and M Zeiler (1994), Point Correlation: A Reduced-Cost Template Matching Technique Proc ICIP, pp.208-212 A.K.Jain, Y.Zhong, and S.Lakshmanan (1996), Object Matching Using Deformable Templates IEEE Trans Patern Analysis and Machine Intellgence, vol 18, no.3, pp.267-278, Mar.1996 Leggett D (2014), A Brief History of Eye-Tracking, UX Booth 62 10.Heiko Drewes (2010), Eye Gaze Tracking for Human Computer Interaction Drewes, H, and Schmidt, A Interacting with the Computer using Gaze Gestures In Proceedings of Human-Computer Interaction 11.Denis Leimberg Martin Vester-Christensen (2005), Eye Tracking, techchnical University of Denmark 12.Dongheng Li, Winfield, D and Parkhurst, D J Starburst (2005), A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches In IEEE Computer Society Conference on Computer Vision and Pattern Recognition 13.Duchowski, T D, (2002), Eye Tracking Methodology: Theory and Practice London: Springer-Verlag, ISBN 1-85233-666-8 14.J.L.Crowley and F.Berard (1997) Multi-modal tracking of face for video communication Proc CVPR 97, page 640-645 15.L.-P Bala, K.Talmi, and J.Liu (Sept 1997) Automatic detection and tracking of faces and facial features in video sequences 1997 Picture Coding Symposium, Berlin, Germany 16.Y Matsumoto and A.Zelinsky (2000) An algorithm for real-time stereo vision implementation of head pose and gaze direction measurement Proc IEEE 4th Int Conf on Automatic face and Gesture Recognition, pages 499-504 17.Shinjiro Kawato and Noguji Tessutani (2004) Detection and Tracking of Eyes for Gaze-camera Control, technical report ATR Media Information Science Laboratories 18.Ming-Hsuan Yang., David J Kriegman., Narendra Ahuja (2002), Detecting Faces in Images: A Survey, IEEE Transaction on Pattern Analysis and Machine Intelligence (PAMI),vol 1, pp 34-47 63 19.Stan Z Li, Zhen Qiu Zhang (2004), FloatBoost Learning and Statistical Face Detection, IEEE Transaction on Pattern Analysis and Machine Intelligence PAMI), Vol 26, pp.1-12 20.Paul Viola and Michael J Jones (2001), Rapid Object Detection using a Boosted Cascade of Simple feature , IEEE CVPR 64 57-48,36,34,31,26,13-11 MAU [...]... PHƯƠNG PHÁP NHẬN DẠNG VÀ THEO DÕI CHUYỂN ĐỘNG CỦA MẮT NGƯỜI Trong chương này, luận văn sẽ trình bày cơ sở lý thuyết, hệ thống các giai đoạn nhận dạng và theo dõi chuyển động của mắt Các phương pháp, thuật toán đi kèm của mỗi giai đoạn của hệ thống 2.1 Giới thiệu Nghiên cứu nhận dạng và theo dõi chuyển động của mắt từ ảnh hay từ video gồm 3 giai đoạn quan trọng Thứ nhất là từ dữ liệu đầu vào hệ thống tiến... ngừng của khoa học, đòi hỏi phải có những nghiên cứu mới đáp ứng các yêu cầu của thực tiễn Đã có nhiều nghiên cứu thành công về nhận dạng theo dõi chuyển động của mắt người Và đang được ứng dụng rộng rãi trong cuộc sống 3 Mục đích nghiên cứu Đề tài nhằm nghiên cứu những vấn đề sau: - Mục tiêu chung: nghiên cứu về nhận dạng phát hiện vị trí các vùng của đôi mắt trên mặt của con người và theo dõi hướng... LÝ THUYẾT NHẬN DẠNG Trong chương này chúng tôi trình bày một cách tổng quan về lý thuyết nhận dạng nói chung và tổng quan về nhận dạng theo dõi chuyển động của mắt Cung cấp cái nhìn tổng quát về các vấn đề cơ bản, hệ thống nhận dạng theo dõi của mắt người, vài trò ý nghĩa mỗi giai đoạn của hệ thống nhận dạng, các thành phần và kiến trúc của hệ thống nhận dạng 1.1 Tổng quan về lý thuyết nhận dạng 1.1.1... vùng khuôn mặt Nghiên cứu các đặc trưng của mắt: mống mắt, con ngươi, võng mạc, thủy tinh thể, … o Theo dõi quá trình chuyển động của mắt trước hệ thống cảm biến quan sát, tìm hướng quan sát của mắt Điều khiển từ xa bằng cử động mắt o Đề xuất khung hệ thống và phương pháp phù hợp cho bài toán nhận dạng theo dõi chuyển động của mắt 4 Đối tượng nghiên cứu - Khuôn mặt và các đặc trưng của mắt - Cơ sở khoa... hướng di chuyển của mắt khi di chuyển quan sát - Các mục tiêu cụ thể: o Tổng quan về lý thuyết nhận dạng, và tổng quan về nhận dạng và theo dõi mắt của con người từ hình ảnh thu nhận được bởi webcam/video, các hướng nghiên cứu tiếp cận đối với bài toán gần đây o Nghiên cứu phương pháp nhận dạng và theo dõi khuôn mặt từ ảnh với các tỉ lệ và góc quay khác nhau Phát hiện và trích chọn các vùng mắt xuất... khi xác định vị trí của mắt Điều này làm cho việc theo dõi vết di chuyển của mắt đơn giản và giảm được độ phức tạp cho thuật toán và theo được thời gian thực Phạm vi theo dõi vết di chuyển của mắt mà chúng ta đưa ra dựa trên vị trí của hai mắt đã xác định được 22 2.3.6.2 Theo vết chuyển động Trước khi theo dõi vết di chuyển của mắt, thì vị trí của hai mắt ở frame trước được xác định và được lưu lại,... thuyết nhận dạng nói chung và tổng quan về nhận dạng theo dõi chuyển động của mắt, đã nêu ra một số khái niệm cơ bản, phương pháp Cung cấp cái nhìn tổng quát về các vấn đề cơ bản, hệ thống nhận dạng theo dõi của mắt người, vài trò ý nghĩa mỗi giai đoạn của hệ thống nhận dạng Các thành phần và kiến trúc của hệ thống nhận dạng sẽ được trình bày chi tiết hơn trong chương 2 15 Chương 2 MỘT SỐ PHƯƠNG PHÁP NHẬN... đầu, nội dung và phần kết luận Phần nội dung bao gồm ba chương: Chương 1: Tổng Tổng quan về lý thuyết nhận dạng nó chung và tổng quan về nhận dạng theo dõi chuyển động của mắt Cung cấp cái nhìn tổng quát về các vấn đề cơ bản, hệ thống nhận dạng mắt người, vài trò ý nghĩa của mỗi giai đoạn của hệ thống nhận dạng, các thành phần và kiến trúc của hệ thống nhận dạng quan về lý thuyết nhận dạng Chương 2:... Theo dõi mắt là để theo dõi các chuyển động của mắt và xác định hướng ánh mắt Đó là hữu ích cho các nhà khoa học người cố gắng để hiểu chuyển động của mắt trong khi một người tham gia hoạt động khác nhau Kỹ thuật khác nhau mà phát triển trong những năm qua theo công nghệ sẵn có tại thời điểm đó 1.2.2 Các hướng tiếp cận theo dõi chuyển động mắt Nói chung, các thiết bị theo dõi mắt xác định vị trí mống mắt. .. pháp phát hiện nhận dạng các vùng mắt người xuất hiện trong khuôn mặt sử dụng phương pháp đối sánh mẫu; và phương pháp EigenEyes Bước tiếp theo là tạo ra sự liên kết các vị trí xuất hiện mắt người trong các khung hình liên tiếp để theo dõi vết chuyển động của mắt người Cuối cùng là tiểu kết chương 2 16 2.2 Hệ thống nhận dạng và theo dõi vết di chuyển của mắt Tín hiệu ảnh Đầu vào Thu nhận ảnh Trích ... quan nhận dạng theo dõi chuyển động mắt người 1.2.1 Giới thiệu Theo dõi mắt để theo dõi chuyển động mắt xác định hướng ánh mắt Đó hữu ích cho nhà khoa học người cố gắng để hiểu chuyển động mắt người. .. thuyết nhận dạng 1.2 Tổng quan nhận dạng theo dõi chuyển động mắt người 10 1.3 Tiểu kết chương 14 Chương MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG VÀ THEO DÕI CHUYỂN ĐỘNG CỦA MẮT NGƯỜI... đó, theo dõi chuyển động mắt điều quan trọng cần thiết xã hội loài người Đó lý chọn đề tài : Nghiên cứu nhận dạng theo dõi chuyển động mắt người Tổng quan tài liệu Hiện có nhiều nghiên cứu theo