Luận văn: Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh pdf

………… o0o………… Luận văn Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 1 I CM N Em xin chân thành cm n các thy, các cô khoa Công ngh Thông tin Trng i hc Dân lp Hi Phòng ã tn tình dy d, truyn t cho chúng em nhiu kin thc quý báu. Em xin t lòng bit n sâu sc n thy Th.s Ngô Trng Giang, ngi ã n tình giúp  và truyn t nhiu kinh nghim  tài có thc thc hin và hoàn thành. Xin chân thành cm n các bn trong khoa Công Ngh Thông Tin, i Hc Dân Lp Hi Phòng ã giúp , ng viên tôi rt nhiu trong quá trình thc hin  tài. Em xin trân trng cm n! i Phòng, tháng 07 nm 2007. Sinh viên Lê Hng Chuyên Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 2 C LC I CM N 1 U 4 CHNG 1: NG QUAN V PHÁT HIN KHUÔN MT 5 1.1. Gii thiu 5 1.2. t s lnh vc ng dng phát hin khuôn mt. 5 1.3. t s phng pháp xác nh khuôn mt ngi. 7 1.3.1. ng tip cn da trên tri thc 7 1.3.2. ng tip cn da trên c trng không thay i 10 1.3.3. ng tip cn da trên so khp mu 13 1.3.4. ng tip cn da trên din mo 16 1.3.5. ng tip cn tng hp 25 1.4. Khó khn và thách thc trong bài toán xác nh khuôn mt 26 CHNG 2: PHÁT HIN KHUÔN MT S DNG ADABOOST 28 2.1. Gii thiu 28 2.1.1. Các hng tip cn dò tìm khuôn mt nhanh 28 2.1.2. ng tip cn theo AdaBoost 28 2.2. Trích chn c trng cho AdaBoost 29 2.3. Th ut toán A DA BOOST 31 2.4.  dò tìm phân tng Adaboost 35 2.5. Hun luyn dò tìm khuôn mt 38 2.6. Dò tìm khuôn m t 38 2 .7. Nhn xét 39 2.7.1. u m 39 2.7.2. Khuyt m 39 CHNG 3: PHÁT HIN KHUÔN MT S DNG MNG NRON. .40 3.1. ng quan v mng nron nhân to 40 3.1.1. ng nron sinh hc 40 3.1.2. ron nhân to: 41 3.1.3. Các thành phn ca nron nhân to: 42 3.1.4. Mô hình c bn ca mng nron 43 3.1.5. Xây dng mng nron 44 3.1. 6. Hun luyn mng nron 45 3.2. Chun b  d liu 52 3.2. 1. Gii thiu 52 Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 3 3.2.2. Gán nhãn và canh biên các c trng khuôn mt 52 3.2.3. Tin x lý v sáng và  tng phn trên tp mu hc 54 3.3. Hun luyn dò tìm khuôn mt 56 3.3.1. Gii thiu 56 3.3.2. Hun luyn dò tìm khuôn mt 56 3.4. Quá trình dò tìm khuôn mt 60 CHNG 4: CÀI T NG DNG 62 4.1. Môi trng TEST 62 4.2. t s giao din chính 62 4.3. t qu 65 4.4. Nhn xét 66 T LUN 67 TÀI LIU THAM K H O 68 Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 4 U Trong nhng nm gn ây, các ng dng v trí tu nhân to ngày càng phát trin và c ánh giá cao. Mt lnh vc ang c quan tâm ca trí tu nhân o nhm to ra các ng dng thông minh, có tính ngi ó là nhn dng. i ng cho vic nghiên cu nhn dng cng rt phong phú và a dng. Trong  tài này tôi chn i tng là khuôn mt, và bc u tiên ca vic nhn dng ó là phát hin khuôn mt. Khuôn mt óng vai trò quan trng trong quá trình giao tip gia ngi vi ngi, và cng mang mt lng thông tin giàu có, chng hn có th xác nh gii tính, tui tác, trng thái cm xúc ca ngi ó, hn na khi kho sát các ng nét trên khuôn mt có th bit c ngi ó mun nói gì. Do ó, phát hin là bc tin  quan trng phc v công vic nhn dng khuôn mt sau này. Có rt nhiu phng pháp phát hin khuôn mt, AdaBoost và mng N-ron là mt trong nhng phng pháp ó.  án c chia ra 4 chng: Chng 1 s trình bày tng quan v mt s phng pháp phát hin khuôn mt. Phng pháp Adaboost và mng N-ron dùng  phát hin khuôn mt c trình bày trong chng 2 và 3. Chng 4 là phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui cùng là kt lun. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 5 CHNG 1: NG QUAN V PHÁT HIN KHUÔN MT 1.1. Gii thiu. Hn mt thp k qua có rt nhiu công trình nghiên cu v bài toán xác nh khuôn mt ngi t nh en trng, xám n nh màu nh ngày hôm nay. Các nghiên cu i t bài toán n gin, mi nh ch có mt khuôn mt ngi nhìn thng vào thit b thu hình và u  t th thng ng trong nh en trng. Cho n ngày hôm nay bài toán m rng cho nh màu, có nhiu khuôn mt trong cùng mt nh, có nhiu t th thay i trong nh. Không nhng y mà còn m rng c phm vi t môi trng xung quanh khá n gin (trong phòng thí nghim) cho n môi trng xung quanh rt phc tp (nh trong t nhiên) nhm áp ng nhu cu ca thc t. Xác nh khuôn mt ngi (Face Detection) là mt k thut máy tính  xác nh các v trí và các kích thc ca các khuôn mt ngi trong các nh bt  (nh k thut s). K thut này nhn bit các c trng ca khuôn mt và b qua nhng th khác, nh: tòa nhà, cây ci, c th, … 1.2. t s lnh vc ng dng phát hin khuôn mt. Phát hin khuôn mt ã c ng dng trong rt nhiu lnh vc: -  thng tng tác gia ngi và máy: giúp nhng ngi b tt hoc khim khuyt có th trao i. Nhng ngi dùng ngôn ng tay có th giao tip vi nhng ngi bình thng. Nhng ngi b bi lit thông qua mt  ký hiu nháy mt có th biu l nhng gì h mun, …. ó là các bài toán u b ca bàn tay (hand gesture), u b khuôn mt, … - Nhn dng ngi A có phi là ti phm truy nã hay không? Giúp c quan an ninh qun lý tt con ngi. Công vic nhn dng có th trong môi trng bình thng cng nh trong bóng ti (s dng camera hng ngoi). -  thng quan sát, theo dõi và bo v. Các h thng camera s xác nh âu là con ngi và theo dõi con ngi ó xem h có vi phm gì không, ví  xâm phm khu vc không c vào, …. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 6 - u tr (rút tin ATM,  bit ai rút tin vào thi m ó), hin nay có tình trng nhng ngi b ngi khác ly mt th ATM hay mt mã s PIN và nhng ngi n cp này i rút tin, hoc nhng ngi ch thi rút tin nhng li báo cho ngân hàng là mt th và mt tin. Các ngân hàng có nhu u khi có giao dch tin s kim tra hay lu tr khuôn mt ngi rút tin  sau ó i chng và x lý. - Th cn cc, chng minh nhân dân (Face dentification). - u khin vào ra: vn phòng, công ty, tr s, máy tính,…. Kt hp thêm vân tay và hc mt. Cho phép nhân viên c ra vào ni cn thit, hay mi ngi s ng nhp máy tính cá nhân ca mình mà không cn nh tên ng nhp cng nh mt khu mà ch cn xác nh thông qua khuôn mt. - An ninh sân bay, xut nhp cnh (hin nay c quan xut nhp cnh Mã áp dng). Dùng  xác thc ngi xut nhp cnh và kim tra có phi là nhân vt khng b không. - ng lai s phát trin các loi th thông minh có tích hp sn c trng a ngi dùng trên ó, khi bt c ngi dùng khác dùng  truy cp hay  lý ti các h thng sc yêu cu kim tra các c trng khuôn mt so vi th bit nay có phi là ch th hay không. - Tìm kim và t chc d liu liên quan n con ngi thông qua khuôn mt ngi trên nhiu h c s d liu lu tr tht ln, nh internet, các hãng truyn hình, …. Ví d: tìm các n video có tng thng Bush phát biu, tìm các phim có din viên Thành Long óng, tìm các trn á banh có Ronaldinho á. - Phân loi trong lu tr hình nh trong n thoi di ng. Thông qua bài toán xác nh khuôn mt ngi và trích c trng, ri da vào c trng này  sp xp, lu tr, giúp ngi s dng d dàng truy tìm khi cn thit. - Kim tra trng thái ngi lái xe có ng gt, mt tp trung hay không, và h tr thông báo khi cn thit. - Phân tích cm xúc trên khuôn mt. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 7 - t s hãng sn xut máy chp nh ã ng dng bài toán xác nh khuôn t ngi vào máy chp nh th h mi  cho kt qu hình nh p hn. 1.3. t s phng pháp xác nh khuôn mt ngi. Có nhiu nghiên cu tìm phng pháp xác nh khuôn mt ngi, tnh xám n ngày nay là nh màu. Da vào tính cht ca các phng pháp xác nh khuôn mt ngi trên nh, chúng ta có th phân chia các phng pháp này thành n hng tip cn chính: - ng tip cn da trên tri thc: Mã hóa các hiu bit ca con ngi v các loi khuôn mt ngi thành các lut. Thông thng các lut mô t quan h ca các c trng. - ng tip cn da trên c trng không thay i: Mc tiêu các thut toán i tìm các c trng mô t cu trúc khuôn mt ngi mà các c trng này s không thay i khi t th khuôn mt, v trí t thit b thu hình hoc u kin ánh sáng thay i. - ng tip cn da trên so khp mu: Dùng các mu chun ca khuôn t ngi (các mu này c chn la và lu tr)  mô t cho khuôn mt ngi hay các c trng khuôn mt (các mu này phi chn làm sao cho tách bit nhau theo tiêu chun mà các tác ginh ra  so sánh). - ng tip cn da trên din mo: Trái ngc hn vi so khp mu, các mô hình hc ây c hc t mt tp nh hun luyn cho trc. Sau ó h thng s xác nh khuôn mt ngi. Mt s tác gi còn gi hng tip cn này là hng tip cn theo phng pháp hc. 1.3.1. ng tip cn da trên tri thc. Trong hng tip cn này, các lut s ph thuc rt ln vào tri thc ca nhng tác gi nghiên cu v bài toán xác nh khuôn mt ngi. ây là hng tip cn dng top-down. D dàng xây dng các lut c bn  mô t các c trng ca khuôn mt và các quan h tng ng. Ví d, mt khuôn mt thng có hai mt i xng nhau qua trc thng ng  gia khuôn mt và có mt mi, t ming. Các quan h ca các c trng có thc mô t nh quan h v khong cách và v trí. Thông thng các tác gi s trích c trng ca khuôn Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 8 t trc tiên  có c các ng viên, sau ó các ng viên này sc xác nh thông qua các lut  bit ng viên nào là khuôn mt và ng viên nào không phi khuôn mt. t vn  khá phc tp khi dùng hng tip cn này là làm sao chuyn t tri thc con ngi sang các lut mt cách hiu qu. Nu các lut này quá chi tit (cht ch) thì khi xác nh có th xác nh thiu các khuôn mt có trong nh, vì nhng khuôn mt này không th tha mãn tt c các lut a ra. Nhng các lut ng quát quá thì có th chúng ta s xác nh lm mt vùng nào ó không phi là khuôn mt mà li xác nh là khuôn mt. Và cng khó khn khi cn m rng yêu cu ca bài toán  xác nh các khuôn mt có nhiu t th khác nhau. Hình 1-1: (a) nh ban u có  phân gii n = 1; (b), (c), và (d) nh có  phân gii n = 4, 8, 16. Yang và Huang dùng mt phng thc theo hng tip cn này  xác nh các khuôn mt. H thng ca hai tác gi này bao gm ba mc lut.  mc cao nht, dùng mt khung ca s quét trên nh và thông qua mt tp lut  tìm các ng viên có th là khuôn mt.  mc k tip, hai ông dùng mt tp lut  mô t tng quát hình dáng khuôn mt. Còn  mc cui cùng li dùng mt tp lut khác  xem xét  mc chi tit các c trng khuôn mt. Mt h thng a  phân gii có th tc dùng  xác nh, hình 1-1. Các lut  mc cao nht  tìm ng viên nh: “vùng trung tâm khuôn mt (phn ti hn trong hình 1-2) có bn phn vi mt mc u c bn”, “phn xung quanh bên trên ca mt khuôn mt (phn sáng hn trong hình 1-2) có mt mc u c bn”, và “mc  khác nhau gia các giá tr xám trung bình ca phn trung tâm và phn bao bên trên là áng k”.  mc hai, xem xét biu  ca các ng viên  loi bt ng viên nào không phi là khuôn mt, ng thi dò ra cnh bao xung quanh ng viên.  mc cui cùng, nhng ng viên nào còn li sc xem xét các c trng ca khuôn mt v mt và ming. Hai ông ã dùng mt chin lc “t thô Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên _ CT701 Trang: 9 n mn” hay “làm rõ dn”  gim s lng tính toán trong x lý. Mc dù t l chính xác cha cao, nhng ây là tin  cho nhiu nghiên cu sau này. Hình 1-2: t loi tri trc ca ngi nghiên cu phân tích trên khuôn mt. Kotropoulos và Pitas a mt phng pháp dùng trên  phân gii thp. Hai ông dùng phng pháp chiu  xác nh các c trng khuôn mt. Kanade ã thành công vi phng pháp chiu  xác nh biên ca khuôn mt. Vi I(x,y) là giá tr xám ca mt m trong nh có kích thc m x n  ti v trí (x,y), các hàm  chiu nh theo phng ngang và thng ng c nh ngha nh sau: ∑ − = ),()( 1 yxIxHI n y và ∑ − = ),()( 1 yxIyVI m x (1.1) Hình 1-3: Phng pháp chiu: (a) nh ch có mt khuôn mt và hình nn n gin; (b) nh ch có mt khuôn mt và hình nn phc tp; (c) nh có nhiu khuôn mt a trên biu  hình chiu ngang, có hai cc tiu cc b khi hai ông xét quá trình thay i c ca HI, ó chính là cnh bên trái và phi ca hai bên u. Tng t vi hình chiu dc VI, các cc tiu cc b cng cho ta bit v trí ming, nh mi, và hai mt. Các c trng này   xác nh khuôn mt. [...]... n t t nghi p CH Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh NG 2: PHÁT HI N KHUÔN M T S ADABOOST D NG 2.1 Gi i thi u Bài toán dò tìm khuôn m t nhanh trên nh là bài toán quan tr ng vì quá trình nh n d ng i t ng s thi u chính xác n u nh thi u b c dò tìm và nh c it ng Bài toán dò tìm khuôn m t nhanh có ý ngh a r t quan tr ng trong vi c nh n d ng, theo v t các it ng chuy n ng trong các n video... ph l ng khuôn m t ng Lê H ng Chuyên _ CT701 ng pháp i c xác xây d ng so v i i th t s có trong các nh (detection rate) Trang: 26 Khóa lu n t t nghi p - l ng xác t ng Tìm hi u m t s ph nh nh m là s l i mà h th ng xác ng pháp phát hi n khuôn m t trong nh ng vùng trong nh không ph i là khuôn nh nh m là khuôn m t ng i (false positives) - Th i gian th c hi n là th i gian máy tính xác nh khuôn m t ng trong. .. p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh Hình 2-4: Ví d minh h a cho thu t toán AdaBoost 2.4 dò tìm phân t ng Adaboost i m t b dò tìm c do ph dò tìm v i m t ng pháp AdaBoost hu n luy n chính xác nh t nh và m t t c ph i chính xác cao thì b dò tìm ph i bao g m nhi u c dò tìm s gi m nh t c tr ng, c, ta có th nh N u nh c n u ó kéo theo u s d ng b dò tìm k t h p F={ci} v i nhi u b dò tìm. .. dò tìm khuôn m t nhanh ng dò tìm khuôn m t trên nh màu d a trên s phân tích màu s c c a vùng da M c dù vi c x lý khá nhanh nh ng h lý trên nh màu và th làm các b - c ti n x lý cho các h ng ch s d ng ng khác c tr ng b t bi n c a khuôn m t i Thành công nh t trong dò tìm khuôn m t ng là ph - ng nh y c m v i ánh sáng, th ng dò tìm khuôn m t d a trên ng ng này có gi i h n ch i trong th i gian th c ng pháp. .. t m ng n -ron, m ng này ã i c a các khuôn m t c hu n luy n, các t l khác nhau R i dùng m t m ng khác nh v trí chính xác c a các khuôn m t M ng Lê H ng Chuyên _ CT701 tìm các v trí t u tiên dùng ng xác tìm các ng Trang: 19 Khóa lu n t t nghi p Tìm hi u m t s ph viên khuôn m t, r i dùng m ng th hai ng pháp phát hi n khuôn m t trong nh xác nh ng viên nào th t s là khuôn m t Burel và Carel dùng m ng n... các c tr ng khuôn m t r i ch ra có khuôn m t trong nh hay không Các c tr ng nh : lông mày, m t, m i, mi ng, và Lê H ng Chuyên _ CT701 ng vi n c a tóc Trang: 10 Khóa lu n t t nghi p c trích b ng ph Tìm hi u m t s ph ng pháp xác ng m t mô hình th ng kê ng pháp phát hi n khuôn m t trong nh nh c nh Trên c s các mô t quan h c a các c tr ng này, xây c tr ng này và xác nh t n t i c a khuôn m t trong nh M t... i khuôn m t trong nh Trang: 13 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh ng ti p c n này có l i th là r t d cài thay t, nh ng không hi u qu khi có s i v t l , t th , và hình dáng 1.3.3.1 Xác nh m u tr c Sakai ã c g ng th xác nh khuôn m t ng Ông dùng vài m u con v m t, m i, mi ng, và hình hóa m t khuôn m t M i m u con n th ng Các c ng th ng trong nh i ch p th ng trong. .. mà là m u thô trong không gian nh c a m t khuôn m t v i thích h p ít dùng ch n nh các c tr ng chính c a khuôn m t nh hai m t, hai má, và trán L u gi thay i sáng c a các vùng trên khuôn m t trong t t p thích h p v i các c p quan h sáng h n – t i h n gi a các vùng nh Lê H ng Chuyên _ CT701 Trang: 14 Khóa lu n t t nghi p t khuôn m t n Ý t Tìm hi u m t s ph c xác ng pháp phát hi n khuôn m t trong nh nh... dò tìm AdaBoost d a trên ý t u m c dù chính xác không cao nh ng có th i gian x lý r t nhanh Tuy nhiên khi k t h p các b dò tìm l i có th - Ph ng xây d ng các b dò tìm ng pháp AdaBoost s d ng k t h p các t chính xác cao c tr ng v n d tính toán r t nhanh, thích h p cho vi c dò tìm trong th i gian th c Lê H ng Chuyên _ CT701 Trang: 28 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong. .. CT701 i nh c xem nh m t bi n c tính là khuôn m t hay không ph i Trang: 16 Khóa lu n t t nghi p Tìm hi u m t s ph ng pháp phát hi n khuôn m t trong nh khuôn m t b i công th c tính theo các hàm m t phân l p theo u ki n p(x | khuôn m t) và p(x | không ph i khuôn m t) Có th dùng phân lo i Bayes ho c kh n ng c c i phân lo i m t ng viên là khuôn m t hay không ph i là khuôn m t Không th cài t tr c ti p phân . o0o………… Luận văn Tìm hiểu một số phương pháp phát hiện khuôn mặt trong ảnh Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn mt trong nh Lê Hng Chuyên. mt trong nhng phng pháp ó.  án c chia ra 4 chng: Chng 1 s trình bày tng quan v mt s phng pháp phát hin khuôn mt. Phng pháp Adaboost và mng N-ron dùng  phát hin khuôn. bày trong chng 2 và 3. Chng 4 là phn cài t ng dng, mt s th nghim dò tìm khuôn mt trong nh, và cui cùng là kt lun. Khóa lun tt nghip Tìm hiu mt s phng pháp phát hin khuôn