Luận văn: Tìm hiểu các kỹ thuật áp dụng cho bài toán nhận dạng ký hiệu người câm pot

TR NG I H C KHOA H C T NHIÊN KHOA CÔNG NGH THÔNG TIN B MÔN CÔNG NGH PH N M M INH BÁ TH NG – NG BÁC V N TÌM HI U CÁC K THU T ÁP D NG CHO BÀI TOÁN NH N D NG KÝ HI U NG KHÓA LU N C NHÂN TIN H C TP.HCM, N M 2005 I CÂM TR NG I H C KHOA H C T NHIÊN KHOA CÔNG NGH THÔNG TIN B MÔN CÔNG NGH PH N M M INH BÁ TH NG – 0112446 NG BÁC V N – 0112454 TÌM HI U CÁC K THU T ÁP D NG CHO BÀI TOÁN NH N D NG KÝ HI U NG KHÓA LU N C NHÂN TIN H C GIÁO VIÊN H T.S D NG D N NG ANH C Th.S NGUY N TRI TU N NIÊN KHÓA 2001 - 2005 I CÂM L I NH N XÉT C A GIÁO VIÊN H NG D N …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… L I NH N XÉT C A GIÁO VIÊN PH N BI N …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… L ic m n Chúng em xin chân thành c m n Khoa Công ngh Thông tin, tr ng Khoa h c T nhiên TP.HCM ã t o i u ki n cho chúng em th c hi n ih c tài lu n v n t t nghi p Chúng em xin g i l i c m n sâu s c n Ti n s D Nguy n Tri Tu n Th c s Lê ình Duy ã t n tình h th i gian th c hi n tài Qua th i gian ng Anh c, Th c s ng d n chúng em su t c th y h ng d n, chúng em ã bi t cách làm vi c khoa h c h n, bi t cách “Khi em vi t m t khơng ph i c a em em ph i cho ng i khác bi t ó c a ai”, c ng nh “Khi em nói k t qu em t c t t ph i rõ t t t t th nào” Chúng em xin chân thành c m n Th y Cô Khoa ã truy n t cho chúng em nh ng ki n th c quý báu nh ng n m h c v a qua, giúp chúng em có c m t n n t ng lý thuy t v ng ch c Chúng xin có th ti p t c theo h c hay i tìm vi c làm c bày t lịng bi t n sâu s c i v i Ông Bà, Cha M , ng i luôn quan tâm ch m sóc c v m t v t ch t l n tinh th n, t o i u ki n cho chúng chuyên tâm h c t p nghi n c u Cu i cùng, xin c nói l i c m n chân thành n anh ch b n ã giúp , khích l c ng nh phê bình, góp ý, giúp chúng em hồn thành cơng vi c m t cách t t nh t Tuy chúng em ã n l c h t s c hồn thành lu n v n, nh ng ch c ch n lu n v n v n nhi u thi u sót Chúng em r t mong nh n tình c a Th y Cô b n c s góp ý, ch b o t n chúng em có th ti p t c th c hi n nh ng chúng em vi t m c “h ng phát tri n” c a khóa lu n Thành ph H Chí Minh, Tháng 7/2005 Nhóm SV th c hi n inh Bá Th ng – ng Bác V n L i nói S ng k u i c a máy tính ã giúp ích r t nhi u cho cơng vi c cu c s ng c a i V i máy tính, ng i có th so n th o v n b n, nghe nh c, xem phim, thi t h a, x lý nh, biên t p phim Tuy nhiên, vi c giao ti p gi a ng tính ph thu c ch y u vào bàn phím chu t, h u nh ng tr c máy tính D n d n, nhà s n xu t th y i ph i ng i c s b t ti n ã t o bàn phím chu t không dây v i mong mu n mang l i s t h n cho ng bàn phím khơng dây v n bàn phím, ng tính thơng qua h th ng 104 phím Con ng t ng tác v i máy tính i máy i dùng Tuy nhiên, i c ng ch có th t i ch th t s ng tác v i máy c “gi i phóng” vi c c th c hi n thông qua c ch cu c s ng hàng ngày, t c máy tính ph i “hi u” c c ch c a ng cho toán nh n d ng phân lo i c ch Cho i ó v n t n th i i m hi n nay, dù ã có nhi u cách ti p c n khác cho toán này, nh ng d ng nh v n ch a có m t h th ng nh n d ng c ch th c s hi u qu Bên c nh ó, tốn nh n d ng m t ng i ang t c m t k t qu r t kh quan v i mơ hình Cascade of Boosted Classifiers Viola Jones [1] hình t hi u qu cao c v ngh Mô xác l n th i gian nh n d ng Eng Jon [14] ã áp d ng mơ hình lên toán nh n d ng bàn tay c ng t c k t qu t t M c tiêu c a khóa lu n th áp d ng mơ hình Cascade of Boosted Classifiers lên toán phân lo i c ch v i hi v ng c ng s nh toán nh n d ng m t ng ch Ch t c k t qu t t i nh n d ng bàn tay Lu n v n c trình bày ng v i b c c nh sau: ng 1-M u: Nêu lên t m quan tr ng c a toán phân lo i c ch mô t s b ph m vi tốn mà khóa lu n s gi i quy t ng th i gi i i m s qua cách ti p c n hi n có v i u khuy t i m c a chúng gi i thi u v mơ hình s d ng khóa lu n Ch ng 2-Gi i thi u toán phân lo i c ch : Phát bi u c th mô t chi ti t ph m vi toán s gi i quy t, gi i thích t i l i ch n mơ hình Cascade of Boosted Classifiers Ch ng 3-C s lý thuy t: Trình bày v AdaBoost, Haar Feature, mơ hình Cascade of Classifiers, khái ni m Integral Image, t ó hình thành nên c u trúc Cascade of Boosted Classifiers Ti p ó ph n gi i thi u ng d ng c a mô hình m t s nh n xét, ánh giá Ch ng 4-Áp d ng mơ hình Cascade of Boosted Classifiers: Trình bày chi ti t cách áp d ng mơ hình cascade lên tốn phân lo i c ch Ch ng 5-K t qu th nghi m: Gi i thi u v t p hu n luy n, cách thu th p m u, cách ti n hành k t qu hu n luy n, qu c a ng Ch ng th i so sánh i chi u v i k t i khác ng 6-T ng k t: Tóm t t k t qu nghiên c u, nh ng ã nh ng h n ch nêu h ng phát tri n t ng lai t c, M cL c Ch ng M u .6 Ch ng Gi i thi u v h th ng phân lo i c ch 12 Ch ng Các c s lý thuy t 15 3.1 Ti p c n Boosting 15 3.2 AdaBoost 16 3.3 Haar Feature 20 3.4 Cascade of Classifiers .24 3.5 Cascade of Boosted Classifiers .25 3.6 ánh giá 26 Ch ng 4.1 Phân lo i c ch v i Cascade of Boosted Classifiers .29 B nh n d ng c ch .29 4.1.1 T p hu n luy n .29 4.1.2 c tr ng 31 4.1.3 Xây d ng b nh n d ng v i AdaBoost 32 4.1.4 Cascade of Boosted Classifiers 36 4.1.5 Ho t 4.2 Ch ng c a b nh n d ng c ch 38 B phân lo i c ch 41 ng K t qu th nghi m 43 5.1 T p hu n luy n 43 5.2 Cách ti n hành hu n luy n 47 5.3 K t qu th nghi m 49 5.4 So sánh ánh giá 53 Ch ng T ng k t 56 6.1 K t lu n 56 6.2 H ng phát tri n 57 Ph l c A: Các thu t ng liên quan .59 Ph l c B: Các ch ng trình dùng cho hu n luy n .62 Ph l c C: Các ch ng trình ti n ích .66 Tài li u tham kh o 67 Danh sách hình Hình - H th ng 24 c ch .8 Hình - B phân lo i c ch Hình - B phân lo i c t o thành t s k t h p b nh n d ng 10 Hình - H th ng 24 c ch 13 Hình - Boosting 16 Hình - Strong classifier H(x) xây d ng b ng AdaBoost 17 Hình - Haar Feature c b n 21 Hình - Haar Feature cho m t ng i 21 Hình - SAT(x,y) cách tính t ng i m nh m t hình ch nh t b t kì 22 Hình 10 - Haar Feature xoay 45º Lienhart ngh 23 Hình 11 - RSAT(x,y) cách tính t ng i m nh m t hình ch nh t xoay góc 45º 23 Hình 12 - Cascade of Classifiers 25 Hình 13 - B nh n d ng c ch A 29 Hình 14 - Các m u positive cho b nh n d ng ch A 30 Hình 15 - Các m u negative (B, C, D) cho b nh n d ng ch A 30 Hình 16 - T p hu n luy n c a weak classifiers 31 Hình 17 - Các Haar Feature s d ng b nh n d ng c ch 31 Hình 18 - Cách ch n weak classifier c a AdaBoost 34 Hình 19 - Ch n ng ng d a vào detection rate 35 Hình 20 - Các vùng nh không liên quan (nét m nh) s b lo i t nh ng stages u tiên 39 Hình 21 - Kh c ph c tr ng h p nhi u vùng nh k c n b ng cách l y vùng nh trung bình .39 Hình 22 - i v i vùng nh l ng nhau, vùng nh bên s b lo i b 40 Ch ng K t qu th nghi m em ã hu n luy n ký hi u Victory vi t c a Kolsch (ch n false alarm m c 10-3) có th hi n qua bi u Hình 38 - Bi u sau: so sánh Hit Rate gi a ký hi u Victory v i c ch V Còn v i t l false alarm nh v y cho ký t L ký hi u Lpalm, ta s có k t qu nh sau: Hình 39 - Bi u so sánh Hit Rate gi a ký hi u LPalm v i c ch L Nh ng so sánh ây ch mang tính t ng i, cho th y hi u qu c a b nh n d ng cho t ng c ch xây d ng khóa lu n ch khơng th c s nói lên 54 c Ch t ng K t qu th nghi m ng quan gi a h th ng, b i s li u l y t t p hu n luy n t p test khác Hình 40 - Vài k t qu test c a b nh n d ng c ch A (c ch B m t tr 55 ng h p false alarm) Ch ng T ng k t Ch ng T ng k t 6.1 K t lu n Trên c s tìm hi u v thu t tốn AdaBoost, Haar Feature mơ hình Cascade of Classifiers, chúng em ã áp d ng c mơ hình Cascade of Boosted Classifers – v n c áp d ng l nh v c nh n d ng m t ng ã t nh ng nh ng k t qu b c i – lên toán nh n d ng c ch u Chúng em ã ti n hành t t c khâu b t u t vi c l y m u b ng cách ch p hình b n l p, Th y Cô cán b gi ng d y tr nh ng ng i thân gia ình chúng em; ti p này; sau ó b t tay vào ch nh s a ch n chu n hóa hình ng trình hu n luy n c th vi n OpenCV cung c p; cu i ti n hành hu n luy n th nghi m r t nhi u l n ch n c kích th c m u phù h p, có th ch n false alarm, hit rate cho h th ng em c ng ã xây d ng m t s ch có th c nh ng tham s v max t hi u qu t t nh t Bên c nh ó, chúng ng trình ti n ích ph c v cho vi c chu n hóa m u hu n luy n (xem ph n Ph l c C bi t thêm chi ti t), qua ó bi t cách s d ng hàm th vi n OpenCV 24 b nh n d ng cho 24 c ch mà chúng em xây d ng v i detection rate kho ng 96% Tuy false alarm t i u ch p nh n cv is l ch p t webcam v i ng ng m u gi i h n ch t l c ã cho k t qu t t i cao, nh ng ó c ng ng khơng cao (do c phân gi i ch 320x240) c a m i c ch mà chúng em ã thu th p Tuy nhiên, khóa lu n ch d ng l i ch mà ch a th k t h p chúng m c xây d ng c 24 b nh n d ng c t o thành m t b phân lo i c ch nh m c tiêu 56 Ch ng T ng k t ban u h n ch v th i gian, m t ph n th i gian th c hi n không , m t ph n khâu hu n luy n chi m nhi u th i gian 6.2 H ng phát tri n H ng phát tri n tr c m t xây d ng m t b phân lo i c ch d a s k t h p b nh n d ng c ch th c d a m t camera ã có T ó xây d ng m t h th ng phân lo i th i gian ghi nh n c ch mà ng c h th ng có kh n ng “hi u” i dùng d u M t có c c ch c a ng i, ta b t h th ng m t s tính n ng yêu c u chúng th c hi n nh n u có th gán cho c m t c ch ó – m t nh ng ng d ng d ng i u n robot H th ng hi n t i ch ho t ng c m góc quay c a bàn tay Trong t i v i hình ch p di n, cịn nh y ng lai, ta có th s d ng thêm khác ngồi Haar Feature, có th áp d ng thêm bi n Kolsch [7]) có th nh n d ng c c ch i Fourier (nh ti p c n c a m i góc quay hành xây d ng nhi u b nh n d ng cho m t c ch , m i b s c a c ch ó có th nh n d ng c ch t m i góc i v i tốn nh n d ng c ch v n s l c tr ng ng th i có th ti n m nhi m m t góc nhìn ng cịn nhi u h n ch h n ch l n nh t ng t v ng Mơ hình Cascade of Boosted Classifiers cho k t qu r t t t toán nh n d ng c ch t nh, ta có th áp d ng lên toán nh n d ng c ch ng b ng cách nh n d ng t ng khung hình c a trình chuy n gi a khung hình ó có th V i nh ng k t qu t ng tác v i ng t ng, s chuy n ti p c th c x lý b ng mơ hình Markov n c hi n này, có c m t h th ng th c s có th i thơng qua c ch v n m t ch ng ng dài ph i i Tuy nhiên, i u ó c ng khơng có ngh a khơng th N u có th v t qua v is l c nh ng tr ng i tr c m t, n u có th nh n d ng c c ch ng ng t v ng nhi u h n m t th gi i m i, m t th gi i mà máy ch c n có 57 Ch ng T ng k t h th ng camera có th t nh m n ng tác v i ng c 58 i, m t ích mà có th Ph l c A: Các thu t ng liên quan Ph l c A: Các thu t ng liên quan Pattern (M u) c chia lo i: Training Samples (M u hu n luy n ): M u hu n luy n m u dùng cho vi c h c c a m t h nh n d ng Trong trình hu n luy n, b nh n d ng s h c t m u này, thông qua c tr ng nh n it ng c n nh n d ng M u hu n luy n g m lo i: o Positive samples: m u ch a it ng c n nh n d ng o Negative samples: m u không ch a it ng c n nh n d ng Trong trình h c, b nh n d ng s c g ng tìm positive mà m u negative khơng có, t t ng c n nh n d ng Khi ng ó rút c tr ng c a m u c c tr ng c a i a m t m u m i vào nh n d ng, b nh n d ng s áp c tr ng lên m u, n u th a m u it ng c n nh n d ng, c l i khơng ph i Test Samples (M u ki m th ): M u ki m th m u dùng cho vi c ki m tra t l nh n d ng c a m t h nh n d ng Các m u ph i không n m t p hu n luy n T l nh n d ng úng m u t p ki m th nói lên tính hi u qu c a h nh n d ng, b i m u h nh n d ng ch a h v n nh n d ng úng ch ng t tr ng c a Feature ( it c tr ng mà rút th t s c ng c tr ng) Là thông tin giúp it ng t m t m u a vào có ch a ph i bi t c tr ng c a cá mú, c h c, n u c it nh danh it h nh n d ng có th bi t c ng c n nh n d ng hay không, b nh n d ng ng ó Ví d nh toán phân lo i cá h i c tr ng c a cá h i có th “ sáng không d 59 i 0.5 chi u dài v y không Ph l c A: Các thu t ng liên quan cm” Khi ó, n u m u a vào th a c tr ng cá h i, ng c l i cá mú Trong b t c tốn nh n d ng nào, thơng th có th giúp nh n d ng t t m tm u it ng (“ ng khơng t n t i m t sáng không d i 0.5” ch a a vào “cá h i”), mà ịi h i ph i k t h p nhi u ó chúng c g i khơng gian Threshold (Ng c tr ng n k t lu n c tr ng v i nhau, ng) Ng c tr ng ng giá tr “ranh gi i” gi a l p Trong ví d c g i ng ng Ng b ng th c nghi m (Ng ch n ng ng có th hi u ch nh trên, giá tr “0.5” “3” c, thơng th i ta th b nh n d ng v i giá tr ng ng c ch n ng khác ng cho t l nh n d ng úng t t nh t) Classifier (B phân lo i) M t h nh n d ng g m nhi u b phân lo i, m i b phân lo i ng v i m t l p, g m m t hay nhi u lu t d ng If…then… v i m u c c tr ng ng ng t ng ng Khi m t a vào b phân lo i, b phân lo i s ki m tra xem có th a lu t hay khơng, n u th a khơng s c c x p vào l p t ng ng v i b phân lo i này, n u a qua b phân lo i k ti p (n u có) Detector (B nh n d ng) Ch c n ng t ng t nh b nh n d ng nh ng có ph m vi h p h n, ch có nhi m v cho bi t m t m u có thu c v m t l p c th ó hay không Detector classifier ôi c dùng thay th cho nhau, detector có th c xem nh m t classifier cho l p “có” “không” Hit Rate (Detection Rate) Là t l nh n d ng úng object (các it ng c n nh n d ng) Ví d tốn nh n d ng m t ng i, Hit Rate = 0.95 có ngh a s 100 m u m t ng lo i ch nh n c 95 m u (5 m u l i False Positive (False Alarm) 60 i, b phân c b phân lo i cho background) Ph l c A: Các thu t ng liên quan Là t l nh n d ng sai background (các m u không ph i it ng c n nh n d ng) Ví d nh False Alarm = 0.01 có ngh a c 100 m u background có m u b b phân lo i l m t ng object Weak classifier Là classifier n gi n ch c n có xác 50% Strong classifier Là classifier có xác cao , c xây d ng t s k t h p weak classifier 61 Ph l c B: Các ch ng trình dùng cho hu n luy n Ph l c B: Các ch ng trình dùng cho hu n luy n T o sample Vi c t o samples c th c hi n b ng ch ng trình CreateSamples, m t ch ng trình i kèm th vi n Intel OpenCV có ch c n ng t o file d li u cho m u (positive l n negative) t file nh (bmp, jpg ), nh t m t hay nhi u nh ban dilate, erode lên nh Ch áp ng ng th i cho phép phát sinh thêm u b ng cách áp d ng phép x lý nh nh rotate, ng trình ã c chúng em s a c nhu c u xây d ng b nh n d ng c ch Các s a samples, thêm phép t nh ti n cho vi c phát sinh nh Ch i cho i bao g m cách t o ng trình sau ch nh s a có tên MyCreateSamples Ch ng trình có ch c n ng sau: Phát sinh hình t ng t t hay nhi u nh ban u Xác l p giá tr cho tham s sau: -info: t p tin ch a tên t p tin hình c n phát sinh -dir: tên th m c s ch a t p tin hình -w -h: kích th -num: s l c c a hình g c (m c ng hình s c phát sinh nh 24x24) c phát sinh t m i hình a vào (m c nh 10) T o d li u hu n luy n Xác l p giá tr cho tham s sau: -info: t p tin li t kê danh sách nh positive ( nh ch p c a c ch ã qua chu n hóa) -vec: t p tin d li u s phát sinh -nongen: ch dùng cho trình hu n luy n ng trình s ghi d li u c a nh vào th ng file vec -gen: v i m i nh file info, ch t ng trình s phát sinh num nh ng t , sau ó ghi d li u c a t t c nh vào file vec 62 Ph l c B: Các ch ng trình dùng cho hu n luy n -num: s nh s phát sinh cho t ng nh positive (ch s d ng kèm v i tham s -gen) -w -h: kích th c nh positive Ph kín nh n n b ng m t nh cho tr c Xác l p giá tr cho tham s sau: -info: t p tin nh s phát sinh -img: t p tin nh dùng ph -bg: t p tin ch a danh sách nh n n c n -w -h: kích th c ph c nh –img -ran: áp d ng phép bi n n n ( nh n n s i ng u nhiên lên nh tr c ph lên nh c ph b ng nhi u nh khác – nh ng nh c phát sinh t -img) -nonran: dùng nh –img ph kín t t c nh n n Ph kín nhi u nh n n b ng nhi u nh cho tr c Xác l p giá tr cho tham s sau: -info: t p tin li t kê danh sách nh dùng -bg: t p tin ch a danh sách nh n n c n -w -h: kích th ph c ph c nh –img -ran: áp d ng phép bi n n n ( nh n n s i ng u nhiên lên nh tr c ph lên nh c ph b ng nhi u nh khác – nh ng nh c phát sinh t nh -info) -nonran: dùng l n l t nh –info ph kín t t c nh n n Hu n luy n Haartraining ng d ng dùng xây d ng m t h nh n d ng theo mơ hình Cascade of Boosted Classifiers ây c ng m t ch ng trình mã ngu n m m t b ph n c a th vi n Intel OpenCV Ch ng trình c ng 63 c cung c p nh c chúng em s a Ph l c B: Các ch ng trình dùng cho hu n luy n i, s a c u trúc d li u bi u di n feature thêm vào ó feature s d ng toán nh n d ng c ch , ng th i thêm ch c n ng khác nh phát sinh file log, phát sinh file mô t feature c ch n, Ch ng trình sau s a i có tên Parsehaartraining Ch ng trình có nh ng tham s sau: -data: th m c s ch a c u trúc cascade -vec: t p tin d li u positive phát sinh b ng CreateSamples -bg: t p tin li t kê danh sách nh negative (các nh background nh c a c ch khác v i c ch c n nh n d ng) -subwnd: tên file log l t a feature tham s ch c n ng s không c ch n N u không xác l p c th c hi n -log: tên file log thông s c a trình hu n luy n N u khơng nh p vào ch ng trình s l y tên m c nh logxxx.txt b t u t 000 t ng d n file logxxx.txt ã t n t i -npos: s l ng positive samples dùng hu n luy n -nneg: s l ng negative samples dùng hu n luy n -nstages: s stage d ki n s train -nsplits: s feature s d ng m i weak classifier Bài toán nh n d ng c ch s d ng –nsplits -sym: dùng m u nh n d ng có tính ch t i x ng nh m gi m false alarm -minhitrate: t l nh n d ng úng t i thi u m u positve mà m i stage classifier ph i t minhitrate c a c c u trúc cascade s –nstages-minhitrate -maxfalsealarm: t l nh n dang sai t i a m u negative mà m i stage classifier c phép m c ph i maxfalsealarm c a c c u trúc cascade s –nstages-maxfalsealarm 64 Ph l c B: Các ch ng trình dùng cho hu n luy n -eqw -mode : lo i haar features s s d ng BASIC g m ki u feature không xoay, CORE bao g m c feature xoay, ALL bao g m thêm feature hình vu ng l ng (Xem 4.1.2 bi t thêm chi ti t) -w -h: kích th c c a m u positive -bt: thu t toán boost mu n s d ng: Discreate AdaBoost, Real AdaBoost, LogitBoost Gentle AdaBoost Bài toán nh n d ng c ch khóa lu n s d ng GAB Nh n d ng Chúng em t xây d ng ch ng trình Haardetecting (ph ng theo ch facedetect d a s h tr c a OpenCV) dùng s s d ng c u trúc cascade phát sinh dang m t m u a vào Ch ng trình ti n hành nh n d ng Ch ct ng trình có tham s ng d ng Haartraining ng trình nh n n gi n nh sau: -data: th m c ch a c u trúc cascade phát sinh t ng d ng Haartraining -img: nh c n nh n d ng -cam: webcam dùng ch p nh nh n d ng tr c n, không s d ng tham s n u nh n d ng nh t nh -w -h: kích th c m u positive ã ti n hành hu n luy n 65 Ph l c C: Các ch ng trình ti n ích Ph l c C: Các ch ng trình ti n ích có th ti n hành hu n luy n ịi h i nh ch p ph i hóa nh ch p n u th c hi n b ng tay hay b ng ch có s m t r t nhi u th i gian ch c chu n hóa Vi c chu n ng trình x lý h as n ng trình khơng sát v i nhu c u Do ó, chúng em ã xây d ng m t t p ng d ng h tr cho vi c chu n hóa H u h t ch ng trình u c vi t v i s h tr c a th vi n Open CV PathToTxt: v i input m t th m c, ch ng d n n t t c t p tin có th m c (các t p tin Output c a ch ng trình dùng cho ch ImageCropper: ch t ng trình s phát sinh m t t p tin ch a c p b t k ) ng trình MyCreateSamples ng trình giúp c t nhanh vùng nh (vùng ch a bàn tay) ng l u vào m t file m i v i tên v i nh mà x lý MakeGrayScaleImg: ch grayscale, ng trình giúp chuy n lúc nhi u hình v ng th i cho phép ch n có thay thành m t kích th MyDemHist: Dùng cc nh hay i kích th nh c nh hay không (thay i theo t l ) threshold, tô en vùng n n cho nh d a vào histogram 66 i Tài li u tham kh o Tài li u tham kh o [1] P Viola and M J Jones Robust real-time face detection International Journal of Computer Vision, 57(2):137 154, May 2004 [2] C Papageorgiou, M Oren, and T Poggio A general framework for Object Detection In International Conference on Computer Vision, 1998 [3] Paul Viola and Michael J Jones Rapid Object Detection using a Boosted Cascade of Simple Features IEEE CVPR, 2001 [4] Rainer Lienhart and Jochen Maydt An Extended Set of Haarlike Features for Rapid Object Detection IEEE ICIP 2002, Vol 1, pp 900-903, Sep 2002 [5] Y Freund and R Schapire A decision-theoretic generalization of on-line learning and an application to boosting Journal of Computer and System Sciences, 55(1):119– 139, 1997 [6] M Kolsch and M Turk Robust Hand Detection In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, May 2004 [7] M Kolsch and M Turk Analysis of Rotational Robustness of Hand Detection with a Viola-Jones Detector In Proc IEEE Intl Conference on Pattern Recognition, 2004 [8] Yoav Freund and Robert E Schapire Experiments with a new boosting algorithm In Machine Learning: Proceedings of the Thirteenth International Conference, pages 148–156, 1996 [9] Robert E Schapire and Yoram Singer Improved boosting algorithms using confidence-rated predictions Machine Learning, 37(3):297–336, December 1999 [10] Yoav Freund and Robert E Schapire A decision-theoretic generalization of online learning and an application to boosting Journal of Computer and System Sciences, 55(1):119–139, August 1997 [11] Rowley, H., Baluja, S., and Kanade, T 1998 Neural network-based face detection IEEE Patt Anal Mach Intell., 20:22–38 67 Tài li u tham kh o [12] Schneiderman, H and Kanade, T 2000 A statistical method for 3D object detection applied to faces and cars In InternationalConference on Computer Vision [13] Roth, D., Yang, M., and Ahuja, N 2000 A snowbased face detector In Neural Information Processing 12 [14] Eng-Jon Ong and Bowden, R A Boosted Classifier Tree for Hand Shape Detection In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, 2004 [15] William T Freeman, Michal Roth Orientation Histograms for Hand Gesture Recognition In Proc IEEE Intl Wkshp on Automatic Face and Gesture Recognition, Zurich, June, 1995 [16] R Bowden and M Sarhadi Building temporal models for gesture recognition In Proc BMVC., volume 1, pages 32–41, 2000 [17] X Zhu, J Yang, and A Waibel Segmenting Hands of Arbitrary Color In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, 2000 [18] Nolker, C Ritter, H.: Illumination Independent Recognition on Deictic Arm Postures, Proc 24th Annual Conf of the IEEE Industrial Electronics Society, Germany, pp 2006- 2011 (1998) [19] Duy-Dinh Le, Shin'ichi Satoh Feature Selection By AdaBoost For Efficient SVM-Based Face Detection, In Information Technology Letters, Vol.3, pp 183-186, Kyoto, Japan, Sep 2004 68 ... N – 0112454 TÌM HI U CÁC K THU T ÁP D NG CHO BÀI TOÁN NH N D NG KÝ HI U NG KHÓA LU N C NHÂN TIN H C GIÁO VIÊN H T.S D NG D N NG ANH C Th.S NGUY N TRI TU N NIÊN KHÓA 2001 - 2005 I CÂM L I NH N... ngày, t c máy tính ph i “hi u” c c ch c a ng cho toán nh n d ng phân lo i c ch Cho i ó v n t n th i i m hi n nay, dù ã có nhi u cách ti p c n khác cho toán này, nh ng d ng nh v n ch a có m t h... Hình 14 - Các m u positive cho b nh n d ng ch A 30 Hình 15 - Các m u negative (B, C, D) cho b nh n d ng ch A 30 Hình 16 - T p hu n luy n c a weak classifiers 31 Hình 17 - Các Haar