Nhận dạng diện mạo đối tượng sử dụng phương pháp PCA kết hợp Mô hình Markov ẩn

MỞ ĐẦU 1. Lý do chọn đề tài Ngành khoa học nhận dạng đang được nghiên cứu rộng rãi, các hệ thống nhận dạng ngày càng có nhiều ứng dụng thực tiễn quan trọng trong cuộc sống. Nhờ các hệ thống nhận dạng thông minh, con người giảm được khối lượng công việc đáng kể cũng như tăng sự chính xác trong việc đưa ra các quyết định liên quan đến xử lý nhận dạng trên nhiều lĩnh vực: quốc phòng, an ninh, kỹ nghệ hóa sinh, giải phẫu học, hệ thống giám sát, quản lý… Vì vậy, việc xử lý nhanh nhận dạng chính xác một đối tượng cụ thể luôn nhận được sự quan tâm lớn của các nhà nghiên cứu khoa học trong lĩnh vực nhận dạng và thị giác máy tính hiện nay. Trên thực tế đã có nhiều phương pháp nhận dạng theo những hướng tiếp cận khác nhau như hướng tiếp cận dựa trên tri thức, hướng tiếp cận dựa trên đặc trưng bất biến, hướng tiếp cận dựa trên so khớp mẫu, hướng tiếp cận dựa trên diện mạo… Trong đó, nhận dạng dựa vào diện mạo đối tượng chính là phương pháp tìm sự liên hệ giữa những hình ảnh được huấn luyện của một đối tượng và sử dụng mối quan hệ này cho sự phân lớp một bộ mẫu thử mới. Điều kiện tiên quyết cho sự nhận dạng tốt là những hình ảnh thử phải liên quan đến những hình ảnh huấn luyện. Hình thử phải rất giống với các dữ liệu huấn luyện, được nhận dạng và phân loại một cách chính xác. Hình ảnh chưa được huấn luyện sẽ không được xác định vì chúng không có đại diện phù hợp. Nhận dạng dựa vào diện mạo đối tượng sử dụng phương pháp trích chọn đặc trưng diện mạo của đối tượng. Đây là hướng tiếp cận dựa vào cấu trúc phân bổ cường độ sáng của điểm ảnh trên bề mặt đối tượng để trích chọn các đặc trưng. Diện mạo của các đối tượng phản chiếu được xác định bằng bề mặt đối tượng phản chiếu ánh sáng. Trích chọn những đặc trưng của diện mạo nhằm phát hiện ra những thay đổi bên ngoài của đối tượng, qua đó có thể phát hiện và nhận dạng đối tượng một cách chính xác hơn. Nghiên cứu nhận dạng đối tượng dựa vào diện mạo đi theo hướng tìm kiếm các đặc trưng diện mạo có khả năng phân biệt giữa các đối tượng. Tuy nhiên phương pháp này phải đối mặt với vấn đề là một khi các đặc trưng có sẵn từ một quan sát hay từ một ảnh đơn nhất là không đủ để xác định định danh của đối tượng quan sát, một khó khăn khác là khi cơ sở dữ liệu đối tượng lớn. Nhằm khắc phục những hạn chế trên, luận văn này nghiên cứu một giải pháp cho vấn đề này là sử dụng các thông tin chứa trong nhiều quan sát khác nhau của đối tượng sử dụng phương pháp trích chọn đặc trưng dựa vào phân tích thành các thành phần chính kết hợp với tiếp cận mô hình Markov ẩn cho nhận dạng đối tượng dựa vào diện mạo. Luận văn nghiên cứu về: “Nhận dạng diện mạo đối tượng sử dụng phương pháp PCA kết hợp Mô hình Markov ẩn”.

B GIO DC V O TO I HC HU TRNG I HC KHOA HC TRN TUN CNG Nghiên cứu nhận dạng diện mạo đối t-ợng sử dụng ph-ơng pháp PCA kết hợp mô hình Markov ẩn CHUYấN NGNH: KHOA HC MY TNH M S: 60.48.01.01 LUN VN THC S KHOA HC MY TNH Hu, 2015 MC LC Li cam oan Li cm n Mc lc Danh mc cỏc thut ng Danh mc cỏc t vit tt Danh mc cỏc bng Danh mc cỏc hỡnh v v th M U 1 Lý chn ti Tng quan ti liu Mc tiờu nghiờn cu i tng nghiờn cu: Phng phỏp nghiờn cu: Phm vi nghiờn cu Cu trỳc v ni dung lun vn: Chng TNG QUAN V Lí THUYT NHN DNG I TNG 1.1 Gii thiu v nhn dng 1.2 Nhn dng i tng v nhng khú khn 1.2.1 Nhn dng i tng 1.2.2 Nhng khú khn ca nhn dng i tng 1.3 Cỏc ng dng hin liờn quan n nhn dng i tng 1.4 Cỏc khỏi nim c s 1.5 Mụ hỡnh húa bi toỏn nhn dng i tng: 1.6 Cỏc phng phỏp nhn dng i tng c s dng hin 10 1.6.1 Hng tip cn da trờn tri thc 11 1.6.2 Hng tip cn da trờn c trng khụng i 14 1.6.3 Hng tip cn da trờn so khp mu 14 1.6.4 Hng tip cn da vo mụ hỡnh i tng nhn dng i tng 15 1.6.5 Hng tip cn da trờn din mo 16 1.7 ỏnh giỏ v hng tip cn da trờn din mo 17 1.8 Tiu kt chng 18 Chng NHN DNG DIN MO I TNG S DNG PHNG PHP PCA KT HP Mễ HèNH MARKOV N 19 2.1 Gii thiu v nhn dng i tng da vo din mo 19 2.1.1 Din mo i tng 19 2.1.2 Nhn dng i tng da vo din mo 20 2.2 Phng phỏp phõn tớch thnh phn chớnh PCA 21 2.2.1 Gii thiu PCA 21 2.2.2 Cỏc thut toỏn ca PCA 23 2.2.3 Xỏc nh vựng cha khuụn mt nh vi PCA 35 2.2.4 Trớch chn thnh phn c trng vi PCA 37 2.3 Mụ hỡnh Markov n 40 2.3.1 Mụ hỡnh Markov n 40 2.3.2 Xỏc sut ca chui quan sỏt 41 2.3.3 Hun luyn d liu cho cỏc mụ hỡnh HMM 46 2.3.4 Nhn dng i tng vi mụ hỡnh Markov n 47 2.4 Mụ hỡnh kt hp PCA HMM nhn dng 48 2.4.1 Giai on hun luyn h thng 50 2.4.2 Biu din d liu khuụn mt theo mụ hỡnh Markov n 51 2.4.3 Cỏc bc hun luyn HMM nhn dng khuụn mt 54 2.5 Nhn dng khuụn mt bng mụ hỡnh kt hp PCA v HMM 55 2.6 Tiu kt chng 57 Chng Mễ PHNG PHNG PHP PCA KT HP HMM NHN DN KHUễN MT 58 3.1 Thu nhp b d liu thc nghim 58 3.2 Phõn tớch, thit k h thng v ci t chng trỡnh 59 3.2.1 Phõn tớch bi toỏn 59 3.2.2 Thit k h thng 60 3.2.3 Ci t chng trỡnh 61 3.2.4 Yờu cu cu hỡnh chy chng trỡnh 63 3.3 Thc nghim, lng húa v ỏnh giỏ kt qu 64 3.3.1 Phng phỏp thc nghim, lng húa 64 3.3.2 ỏnh giỏ kt qu thc nghim 65 3.4 Tiu kt chng 66 KT LUN V HNG PHT TRIN 67 TI LIU THAM KHO 68 DANH MC CC THUT NG Gii thớch Thut ng 2D chiu 2.5D 2.5 chiu 3D chiu Principal Components Analysis Phng phỏp trớch chn c trng Hidden Markov Models Mụ hỡnh Markov n Open source Computer Vision Mó ngun m th giỏc mỏy tớnh Mean square error Trung bỡnh bỡnh phng li Eigenvalue Decompostion Phõn tớch giỏ tr riờng Singular Value Decomposition Phõn tớch giỏ tr n Minimum Description Length Mụ t chiu di ti thiu Support Vector Machine Mỏy vector h tr DANH MC CC T VIT TT Ch vit tt T nguyờn gc 2D 2-Dimensional 2.5D 2.5-Dimensional 3D 3-Dimensional CSDL C s d liu PCA Principal Components Analysis HMM Hidden Markov Models OpenCV Open source Computer Vision MSE Mean square error DCT Discrete Cosine Transform EVD Eigenvalue Decomposition SVD Singular Value Decomposition MDL Minimum Description Length SVM Support Vector Machine DANH MC CC BNG Tờn bng S hiu Bng 3.1 Kt qu thc nghim Trang 65 DANH MC CC HèNH V V TH Tờn hỡnh v v th S hiu Trang 1.1 Nhn dng mu 1.2 S tng quỏt ca h thng nhn dng 10 1.3 phõn gii ca nh 11 1.4 Mt loi tri thc ca ngi nghiờn cu phõn tớch trờn khuụn mt 12 1.5 Cỏc phng phỏp chiu 13 1.6 Chiu tng phn ng viờn xỏc nh khuụn mt 13 1.7 Nhn dng da vo mụ hỡnh i tng 16 1.8 Din mo i tng l xe hi 17 2.1 Din mo xe hi t nhiu gúc quan sỏt 19 2.2 Din mo ca i tng biu din khụng gian 20 2.3 Mụ hỡnh nhn dng i tng da vo din mo 21 2.4 2.5 2.6 Minh PCA tỡm cỏc trc ta mi cho d liu cú bin thiờn cao nht PCA gim s chiu nhng m bo c cỏc thụng tin quan trng nht Phõn tớch PCA: D liu c biu din bng kớch thc nh hn 22 22 32 2.7 Hỡnh kim tra v tỏi to ca nú 32 2.8 nh gc v khuụn mt ngi chuyn sang eigenface 39 2.9 Mụ hỡnh Markov n trng thỏi 41 2.10 Tớnh toỏn th tc tin mt thi im 42 2.11 Tớnh toỏn th tc lựi mt thi im 43 2.12 Xỏc sut chuyn t trng thỏi i ti t sang trng thỏi j ti t+1 44 2.13 Xỏc sut chuyn trng thỏi i trng thỏi t 45 2.14 S bi toỏn hun luyn d liu vi HMM 47 2.15 S bi toỏn nhn dng i tng vi HMM 48 2.16 S hot ng ca h thng PCA-HMM 49 2.17 Phng phỏp to chui cỏc eigenface 50 2.18 S hun luyn khuụn mt bng HMM 51 2.19 nh khuụn mt chuyn thnh eigenface cho hun luyn HMM 51 2.20 Tỏch mu hun luyn HxW thnh mt chui cỏc PxW 52 2.21 2.22 Mu eigenface tỏch thnh cỏc th t trỏi sang phi vi mi 32x8 pixels Mu eigenface tỏch thnh cỏc th t t trờn xung vi mi l 8x32 pixels 53 53 2.23 Dựng HMM nhn dng khuụn mt qua eigenface 56 3.1 Cỏc khuụn mt khỏc ca mt i tng 59 3.2 Hin th kt qu nhn dng 61 3.3 Giao din chớnh ca chng trỡnh 63 3.4 Cu trỳc tinh xml lu tr kt qu hun luyn ca mụ hỡnh 64 M U Lý chn ti Ngnh khoa hc nhn dng ang c nghiờn cu rng rói, cỏc h thng nhn dng ngy cng cú nhiu ng dng thc tin quan trng cuc sng Nh cỏc h thng nhn dng thụng minh, ngi gim c lng cụng vic ỏng k cng nh tng s chớnh xỏc vic a cỏc quyt nh liờn quan n x lý nhn dng trờn nhiu lnh vc: quc phũng, an ninh, k ngh húa sinh, gii phu hc, h thng giỏm sỏt, qun lý Vỡ vy, vic x lý nhanh nhn dng chớnh xỏc mt i tng c th luụn nhn c s quan tõm ln ca cỏc nh nghiờn cu khoa hc lnh vc nhn dng v th giỏc mỏy tớnh hin Trờn thc t ó cú nhiu phng phỏp nhn dng theo nhng hng tip cn khỏc nh hng tip cn da trờn tri thc, hng tip cn da trờn c trng bt bin, hng tip cn da trờn so khp mu, hng tip cn da trờn din mo Trong ú, nhn dng da vo din mo i tng chớnh l phng phỏp tỡm s liờn h gia nhng hỡnh nh c hun luyn ca mt i tng v s dng mi quan h ny cho s phõn lp mt b mu th mi iu kin tiờn quyt cho s nhn dng tt l nhng hỡnh nh th phi liờn quan n nhng hỡnh nh hun luyn Hỡnh th phi rt ging vi cỏc d liu hun luyn, c nhn dng v phõn loi mt cỏch chớnh xỏc Hỡnh nh cha c hun luyn s khụng c xỏc nh vỡ chỳng khụng cú i din phự hp Nhn dng da vo din mo i tng s dng phng phỏp trớch chn c trng din mo ca i tng õy l hng tip cn da vo cu trỳc phõn b cng sỏng ca im nh trờn b mt i tng trớch chn cỏc c trng Din mo ca cỏc i tng phn chiu c xỏc nh bng b mt i tng phn chiu ỏnh sỏng Trớch chn nhng c trng ca din mo nhm phỏt hin nhng thay i bờn ngoi ca i tng, qua ú cú th phỏt hin v nhn dng i tng mt cỏch chớnh xỏc hn Nghiờn cu nhn dng i tng da vo din mo i theo hng tỡm kim cỏc c trng din mo cú kh nng phõn bit gia cỏc i tng Tuy nhiờn phng phỏp ny phi i mt vi l mt cỏc c trng cú sn t mt quan sỏt hay t mt 55 - Khi to xỏc sut ban u cho cỏc trng thỏi cú th bt k nhng phi tha iu kin tng xỏc sut ban u ca trng thỏi phi luụn bo ton Cú ngha l N i=1 i = Bc 2: c lng v cp nht li tham s cho mụ hỡnh: , B , - Gi = (A ) - Cp nht xỏc sut chuyn trng thỏi i ti thi im t sang trng thỏi j ti thi im t+1 aij ca ma trn - Cp nht xỏc sut quan sỏt ti thi im t thuc v trng thỏi i bi (t) ca ma trn B - Cp nht trng thỏi xỏc sut ban u i , xỏc sut ny thng khụng thay i i = i Bc 3: Kim tra hi t ca thut toỏn vic hun luyn mt mụ hỡnh Markov n l hi t thỡ cn phi tha hai thuc tớnh sau: - Xỏc sut c lng mt chui quan sỏt O thuc v mụ hỡnh ang hun luyn :P(O|) l cc i qua cỏc ln lp - S khỏc gia xỏc sut c lng ti cỏc vũng lp liờn tip phi nh hn mt ngng C xỏc nh trc Nu quỏ trỡnh hun luyn mt mụt hỡnh Markov n hi t (tha hai iu kin trờn), cú ngha mt mụ Markov n vi cỏc tham s ó c c lng phự hp nht cho cỏc chui quan sỏt v chuyn sang bc Bc 4: C ch hun luyn c lp li ti bc Bc 5: Kt thỳc vi mt mụ hỡnh Markov n ó c c lng t cỏc mu khuụn mt khỏc nhng cựng v mt ngi cn nhn dng 2.5 Nhn dng khuụn mt bng mụ hỡnh kt hp PCA v HMM D liu u vo ca mụ hỡnh ny nhn dng ny l cỏc nh v khuụn mt ngi ó c trớch chn cỏc c trng bng phng phỏp PCA ó c trỡnh bi phn 2.2.4 ca lun 56 Yong dựng HMM [8] hỡnh 2.21 khai thỏc cu trỳc khuụn mt tuõn theo cỏc chuyn tip trng thỏi Cỏc vựng c trng quan trng nh trỏn, mt, mi, ming c phõn tớch theo t nhiờn t trờn xung di, mi vựng c thit k thnh mt trng thỏi mt chiu Mi nh c phõn on thnh nm vựng theo th t t trờn xung di to thnh nm trng thỏi Gi thit quan trng ca mụ hỡnh Markov n l cỏc mu cú th c c tớnh húa nh cỏc tin trỡnh ngu nhiờn cú tham s v cỏc tham s ny c c lng chớnh xỏc Khi phỏt trin HMM gii quyt cho bi toỏn nhn dng mu m c th õy l khuụn mt, phi xỏc nh rừ cú bao nhiờu trng thỏi n u tiờn cho hỡnh thỏi mụ hỡnh Sau ú, hun luyn HMM hc xỏc sut chuyn tip gia cỏc trng thỏi t cỏc mu, cỏc mu ny c mụ t nh mt chui cỏc quan sỏt Mc tiờu ca HMM l cc húa xỏc sut ca quan sỏt t d liu hun luyn nh mt ngi bng cỏch iu chnh cỏc tham s mụ hỡnh thụng qua phng phỏp phõn on Viterbi chun v cỏc thut toỏn Baum Welch Cú ngha l chia mt khuụn mt thnh nhiu vựng khỏc nh trỏn, mt, mi Hỡnh 2.23 Dựng HMM nhn dng khuụn mt qua eigenface Cú th nhn dng mu khuụn mt bng mt tin trỡnh xem cỏc vựng quan sỏt theo th t thớch hp Mc tiờu ca hng tip cn ny l kt hp cỏc vựng c trng khuụn mt vi cỏc trng thỏi ca mụ hỡnh Thụng thng, cỏc phng phỏp da vo HMM s xem xột mt mu khuụn mt nh mt chui cỏc vector quan sỏt, vi mi vector l mt dóy cỏc im nh (hỡnh 2.23), sau ú ỏp dng mt nh hng theo xỏc sut chuyn t trng thỏi ny sang trng thỏi khỏc 57 2.6 Tiu kt chng Ni dung chng ó trỡnh by v nhn dng da vo din mo i tng, phng phỏp phõn tớch thnh phn chớnh v trớch chn c trng bng PCA, mụ hỡnh Markov n nhn dng da vo din mo v trỡnh by mụ hỡnh kt hp PCAHMM nhn dng Vic ci t mụ phng th nghim, lng húa v ỏnh giỏ kt qu nhn dng ca h thng s c trỡnh by Chng 58 Chng Mễ PHNG PHNG PHP PCA KT HP HMM NHN DNG KHUễN MT Trong chng ny s trỡnh by vic to lp b d liu u vo cho quỏ trỡnh hun luyn v mt b d liu cho quỏ trỡnh nhn dng Thit k cỏc module v ci t mụ phng cho chng trỡnh bng ngụn ng lp trỡnh C# cú s dng th vin mó ngun m OpenCV, Emgu CV, Accord.Net Frame Work Mt quan trng l lng húa v ỏnh giỏ hiu sut ca h thng nhn dng trờn b d liu c to lp vi s lng trng thỏi khỏc cho tng d liu 3.1 Thu nhp b d liu thc nghim Trong ti ny, chỳng tụi thu nhp b d liu cho h thng l cỏc nh khuụn mt khỏc ca 40 i tng (ngi) cn nhn dng, ú: 30 i tng c ly t phũng thớ d ỏn nghiờn cu th giỏc mỏy tớnh - i hc Essex, Vng quc Anh (ngun: http://cswww.essex.ac.uk/mv/allfaces/); i tng c ly t internet, i tng c thu nhn t Webcam Mi i tng gm 15 n 30 nh vi nhiu t th khuụn mt v iu kin chiu sỏng khỏc nhau, b nh thc nghim ny ca cỏc i tng cú ngun gc sc tc khỏc Cú tt c l 1250 mu nh cú cha khuụn mt ca 40 i tng cho thc nghim Mi i tng cú cỏc din mo (khuụn mt) khỏc khụng gian theo thi gian thc mụ t i tng cỏc t th quan sỏt c theo tng iu kin c chiu sỏng Mi mt din mo ca mt i tng l mt chui cỏc trng thỏi ri rc ca khuụn mt c thu nhn t thit b cm bin (camera) nh Hỡnh 3.1 T chui cỏc din mo thu c ca mt i tng khụng gian, chỳng c tin x lý bng cỏch loi b nhng phn khụng cn thit, c trớch chn c trng din mo bng phng phỏp PCA v tớnh toỏn cỏc im tng ng theo tng trng thỏi k tip chui quan sỏt ca d liu nhn dng kt qu cui cựng thu c l tờn ca lp i tng (khuụn mt) ca d liu hun luyn nh ó trỡnh by Chng 59 Hỡnh 3.1 Cỏc khuụn mt khỏc ca mt i tng S lng trng thỏi N mt mụ hỡnh PCA-HMM xỏc nh s lng ca cỏc (c im) c s dng mụ t c trng khuụn mt (eigenface) Cú th s lng quan sỏt mt chui l rt ln, mt N ln cú th c la chn thu c nhiu c im hn Tuy nhiờn, phc tớnh toỏn ca thut toỏn nhn dng l N2 v ú giỏ tr ca N cng nh thỡ vic nhn dng s nhanh hn, nhng nu N quỏ nh thỡ chớnh chớnh xỏc ca quỏ trỡnh nhn dng s thp hn Cỏc tham s mụ hỡnh cú th quyt nh s thnh cụng ca mụ hỡnh Trong phn thc nghim, chỳng tụi thay i cỏc tham s tỡm kt qu nhn dng tt nht Qua ú bin minh cho vic la chn cỏc giỏ tr c bit ca mụ hỡnh PCA-HMM 3.2 Phõn tớch, thit k h thng v ci t chng trỡnh 3.2.1 Phõn tớch bi toỏn Nh ó trỡnh by Chng 2, bi toỏn cho h thng nhn dng din mo i tng s dng phng phỏp PCA kt hp mụ hỡnh Markov n c chia thnh bc chớnh vi ba module: module tin x lý v trớch chn c trng, module hun luyn v module nhn dng - Module tin x lý v trớch chn c trng: thu nhn nh t ngun d liu thc nghim c chun b sn hoc thu nhn nh t camera, chun húa d liu, trớch chn cỏc c trng bng PCA, tớnh cỏc vector c trng - Module hun luyn s c chia thnh cỏc bi toỏn sau õy: thu nhp d liu u vo cho quỏ trỡnh hun luyn; tin x lý, trớch chn c trng bng PCA v lu tin l mt eigenface; hun luyn d liu t cỏc tin d liu 60 cha cỏc cỏc vector c trng cho mi lp ng vi mụ hỡnh HMM; lu tr mụ hỡnh HMM v tin d liu s dng module nhn dng - Module nhn dng s c chia thnh cỏc bi toỏn sau õy: thu nhn d liu u vo cho quỏ trỡnh nhn dng; tin x lý v trớch chn c trng khuụn mt cho mt i tng (eigenface); da vo mụ hỡnh HMM ó c hun luyn v lu tr nhng tin d liu nhn dng chui vector c trng v phõn lp cho chui vector c trng; a kt qu nhn dng 3.2.2 Thit k h thng H thng c thit k tng bc, t xõy dng giao din cho n cỏc bc xõy dng hm, cỏc module gii quyt cỏc cụng vic chớnh cng nh cỏc bi toỏn ca h thng Giao din chng trỡnh a cỏc mc la chn chớnh sau õy: - Thu nhp d liu: Chc nng chớnh ca nú kt ni chng trỡnh vi camera ly v lu li hỡnh nh ca khuụn mt, thờm cỏc nh u vo ó c thu nhp t cỏc ngun (phũng thớ nghim, trờn internet) Trong module ny ng thi cng thc hin tin x lý v trớch chn c trng d liu tip tc lu vo th mc hun luyn c ch nh (b d liu hun luyn hoc b d liu nhn dng), mi th mc l cỏc din mo khỏc thu c ca mt i tng Sau to lp b d liu, chỳng ta chia lm hai phn, mt phn dựng hun luyn cho cỏc lp v mt phn dựng nhn dng ly kt qu cho vic ỏnh giỏ S lng trng thỏi ca mi lp i tng s nh hng n kt qu nhn dng nờn quỏ trỡnh thc nghim ca chỳng tụi, b d liu c to gm cho quỏ trỡnh hun luyn l 1000 mu v b d liu cho quỏ trỡnh nhn dng th l 250 mu kim nghim cho gi thit l s trng thỏi ca mụ hỡnh cú nh hng n kt qu nhn dng, chỳng tụi ó to d liu vi nhiu d liu khỏc vi nhng d liu cú s lng trng thỏi tng ng cho tng loi mụ hỡnh l 5, 7, 8, 10, 12 v 15 - Hun luyn d liu: T d liu vo v cỏc mu d liu ó c to trc ú v lu tr th mc ch nh, chng trỡnh s c d liu vo b nh tớnh toỏn v a cỏc tham s cho mụ hỡnh HMM Sau tớnh toỏn, mi mụ hỡnh c lu tr 61 mt tin d liu cú cu trỳc quy nh v tin d liu ny cha ton b tham s cho mụ hỡnh i din cho mt lp - Nhn dng: Chng trỡnh ny s c mt chui quan sỏt l cỏc din mo khỏc ca tng i tng ó c tin x lý v lu tr d liu nhn dng Chng trỡnh s ln lt c tng tin ca tng mụ hỡnh tớnh xỏc sut trờn mi mụ hỡnh cho chui quan sỏt ri tỡm giỏ tr xỏc sut ln nht a kt qu l tờn lp (tờn th mc cha i tng) tng ng vi giỏ tr xỏc sut ln nht ú ng thi bc ny chng trỡnh cng m s lng din mo c nhn dng ỳng v sai v lu vo tin bn x lý v thng kờ kt qu - X lý kt qu nhn dng: T kt qu nhn dng ó c lu vo tin bc trờn, chng trỡnh bc ny s hin th kt qu nhn dng trờn form ca chng trỡnh nh hỡnh 3.2 sau õy: Hỡnh 3.2 Hin th kt qu nhn dng 3.2.3 Ci t chng trỡnh Ngụn ng lp trỡnh c s dng l C# b Visual Studio 2013 ca Microsoft õy l b cụng c lp trỡnh cho phộp xõy dng cỏc ng dng cú giao din Winform tng i d dng v tin dng Ngoi ra, Visual Studio 2013 cho phộp tớch hp cỏc NET Frame Work c cung cp bi bờn th nõng cao kh nng x lý v gii quyt cỏc bi toỏn chuyờn dng nhiu lnh vc nghiờn cu khoa hc nh x lý nh, hc mỏy, logic m, khai phỏ d liu, nhn dng c ch, tng tỏc ngi mỏy HCI, cụng ngh rụ bt Trong lun ny, chỳng tụi s dng cỏc NET Frame Work sau: 62 OpenCV (Open Source Computer Vision): L th vin cha cỏc hm lp trỡnh nhm vo th giỏc mỏy tớnh thi gian thc c phỏt trin bi trung tõm nghiờn cu Intel Nga Nú l b cụng c phớ c cung cp quyn s di dng mó ngun m ca BSD OpenCV trung vo vic x lý hỡnh nh thi gian thc ti u húa tng tc x lý Emgu CV: L mt nn tng tip ni ca th vin x lý hỡnh nh ca OpenCV cho phộp cỏc hm ca OpenCV c s dng t C++, C#, VB, VC++, IronPython Gúi cụng c ny cú th biờn dch chy trờn Windows, Linux, Max OS X, cỏc h iu hnh cho cỏc thit b di ng nh iPhone, iPad v cỏc thit b di ng chy h iu hnh Android Accord.net Frame Work: L mt nn tng cho tớnh toỏn khoa hc v lp trỡnh NET Nn tng ny c xõy dng da trờn phn m rng ca Aforge.NET cho ngụn ng lp trỡnh C# Nú l gúi cụng c dựng x lý hỡnh nh, cung cp cỏc cụng c v th vin h tr nhiu ng dng tớnh toỏn khoa hc nh x lý d liu thng kờ, hc mỏy, nhn dng mu Ngoi gúi cụng c ny cũn cung cp mt s lng ln cỏc hm tớnh toỏn phõn b xỏc sut, kim tra gi thuyt v h tr gn nh hu ht cỏc k thut o lng hiu sut ph bin Mt s chc nng chng trỡnh c h tr bi cỏc NET Frame Work trờn nh: + Kt ni webcam ly hỡnh nh t th gii thc + Tin x lý v trớch chn c trng vi PCA + Hun luyn d liu mụ hỡnh HMM cho nhn dng + Nhn dng qu o chuyn ng thu nhn c t camera da trờn d liu ó hun luyn Chng trỡnh c ci t vi giao din Winform bng C# b Visual Studio 2013 kt hp vi mt s cụng c h tr OpenCV, Emgu CV, Accord.NET Giao din chớnh ca chng trỡnh c mụ t hỡnh 3.3 sau: 63 Hỡnh 3.3 Giao din chớnh ca chng trỡnh Giao din gm khung hỡnh (th t tớnh t trỏi qua phi): khung th nht cha hỡnh nh c chn t b gi liu thc nghim hoc kt qu chp t camera (hay webcam), khung th hai cha nh khuụn mt c dũ tỡm c t nh ca khung th nht v khung th ba cha eigenface ca nh khuụn mt nh khuụn mt xut hin ch h thng dũ tỡm c khuụn mt, nh eigenface xut hin sau ó hun luyn xong h thng 3.2.4 Yờu cu cu hỡnh chy chng trỡnh chy c chng trỡnh mụ phng, mỏy tớnh phi ỏp ng cu hỡnh ti thiu sau õy: Yờu cu H iu hnh v phn mm: - H iu hnh: Windows 7, Windows 8, Windows 8.1 - NET Frame Work 4.5 tr lờn - Visual Studio 2013 - Th vin: OpenCV, Emgu CV, Accord.NET Frame Work Yờu cu phn cng mỏy tớnh ti thiu: - CPU: dual core (2 x 2.0GHz) - RAM: 1GB - cng lu tr: cũn trng 2GB ó cỏi t H iu hnh, phn mm 64 3.3 Thc nghim, lng húa v ỏnh giỏ kt qu 3.3.1 Phng phỏp thc nghim, lng húa Vic thc nghim c tin hnh theo cỏc bc sau: Bc 1: Chia d liu hun luyn theo tng nhúm, mi nhúm l cỏc din mo ca mt i tng c lu mt th mc vi tờn l tờn kớ t ca nhúm ú, tờn th mc cng l tờn ca lp tng ng Cỏc din mo c lu bng mt tin nh Bc 2: Thc hin vic hun luyn cho mi lp, chng trỡnh s ln lt c tng tin d liu a vo b nh, chy module hun luyn ly kt qu v lu vo mi mụ hỡnh PCA-HMM Mi mụ hỡnh PCA-HMM l mt b d liu Markov c lu vo mt tin cú phn m rng xml, cú cu trỳc nh sau: Hỡnh 3.4 Cu trỳc tin xml lu tr cỏc kt qu hun luyn ca mụ hỡnh Bc 3: Nhn dng d liu mu, d liu nhn dng c lu mt tin nh, mi nh l mt mu d liu Khi thc hin lnh nhn dng, module nhn dng 65 ca chng trỡnh s c tng mu d liu tin nh ny vo b nh v chng trỡnh cng ln lt c b d liu ca t mụ hỡnh PCA-HMM thc hin vic tớnh xỏc sut ca chui d liu mu trờn tng mụ hỡnh PCA-HMM v chn kt qu cao nht quyt nh mu d liu nhn dng thuc lp no Sau nhn dng, mi mu d liu kt qu s c i tờn cú kớ t u thuc lp ó xỏc nh v c lu vo th mc (lp) ú phc v quỏ trỡnh ỏnh giỏ kt qu thc nghim Bc 4: Lng húa kt qu chng trỡnh th nghim: T th mc kt qu sau thc hin nhn dng trờn d liu mu, chỳng tụi thng kờ s lng cỏc din mo ó c nhn dng nm th mc kt qu v s lng ca nú Vi mi loi khuụn mt i tng chỳng tụi m s lng mu c a vo nhn dng, s lng mu nhn dng ỳng, s lng mu nhn dng sai v tớnh t l phn trm 3.3.2 ỏnh giỏ kt qu thc nghim Kt qu thc nghim b d liu mu hun luyn v nhn dng c mụ t v tớnh toỏn c th Bng 3.1 sau: S trng thỏi Hun luyn Nhn dng Sai T l ỳng 1000 220 40 81,81% 1000 220 30 86,81% 1000 200 25 87,5% 10 1000 190 23 87,89% 12 1000 180 24 86,66% 15 1000 160 22 86,25% 1000 195 27 86,15% Trung bỡnh Bng 3.1 : Kt qu thc nghim Kt qu sau thc nghim nhn dng trờn b d liu mu t bng 3.1 ta thy t l nhn dng ỳng trung bỡnh trờn tt c cỏc b d liu l 86,15% Vi s trng thỏi N=5 thỡ t l nhn dng ỳng ch t 81,81%, t l nhn dng ỳng tt s trng thỏi l N=7, N=8, N=10 v tt nht N=10 H thng nhn dng tt s trng thỏi N 10 Khi thc nghim vi s trng thỏi thp (N10) thỡ thng cú kt qu nhn dng thp hn 66 3.4 Tiu kt chng Trong chng 3, chỳng tụi ó thc hin nhng cụng vic sau: Phõn tớch h thng ca bi toỏn nhn dng khuụn mt s dng phng phỏp PCA kt hp mụ hỡnh Markov n, chia bi toỏn thnh hai module Vi mi module li tip tc chia nh thnh cỏc bi toỏn d dng vic x lý v lp trỡnh Ci t ngụn ng lp trỡnh C# b cụng c lp trỡnh Visual Studio 2013 trờn Windows 8.1, ci t v s dng cỏc b NET Frame Work c cung cp phớ nh OpenCV, EmguCV v Accord cụng c lp trỡnh õy l nhng cụng c h tr rt hiu qu cho chng trỡnh, nú lm cho mc chớnh xỏc ca chng trỡnh c nõng cao, gim thi gian v cụng sc cho vic vit mó Ci t chng trỡnh theo cỏc bc ó c ban u ca h thng v chy th nghim hai module hun luyn v nhn dng ca chng trỡnh ó to lp c 1000 mu d liu dựng hun luyn v 250 mu d liu nhn dng Kt qu nhn dng d liu da trờn b ó hun luyn ca 40 i tng t t l nhn dng ỳng l 86.15 % 67 KT LUN V HNG PHT TRIN Kt qu t c Trong lun ny chỳng tụi ó nghiờn cu v nhn dng din mo i tng s dng phng phỏp PCA kt hp mụ hỡnh Markov n Chỳng tụi ó ci t c h thng nhn dng s dng mụ hỡnh kt hp PCA-HMM nhn dng khuụn mt ngi H thng thc hin c ba chc nng c bn ca bi toỏn nhn dng i tng (khuụn mt) l: tin x lý v trớch chn c trng da trờn PCA, hun luyn c d liu cho mụ hỡnh PCA-HMM v nhn dng c khuụn mt u vo da trờn mụ hỡnh PCA-HMM trng ng vi cỏc d liu ó c hun luyn Nhn dng din mo i tng dựng PCA ht hp mụ hỡnh Markov n l phng phỏp mang li hiu qu nhn dng cao bi nú phỏt huy c u im ca phng phỏp phõn tớch thnh phn c trng PCA v mụ hỡnh Markov n H thng hot ng n nh v cú tớnh thớch nghi cao d liu u vo thay i nhiu Hng phỏt trin ca ti Kt qu nghiờn cu ca lun s c phỏt trin tng lai nhm ng dng vo vic xõy dng mt phn mm nhn dng i tng hiu qu hn iu kin gúc quan sỏt v iu kin chiu sỏng cú s thay i ln nh: cỏc h thng camera an ninh, nhn dng cỏc sn phm ca hng, nhn dng c vt kho c Khoa hc phỏt trin khụng ngng, nhng bc i u tiờn bao gi cng chp chng Chỳng tụi hy vng mt tng lai khụng xa m nhng h thng nhn dng ca chỳng ta ó t n mt tin cy nht nh thỡ nhng ng dng v nú s ph bin V nhng nghiờn cu tip theo t lnh vc ny s c nõng lờn mt cp cao hn, hon thin hn 68 TI LIU THAM KHO Michael Donoser and Horst Bischof (2006), Efcient Maximally Stable Extremal Region (MSER) Tracking, In Proc IEEE Conf on Computer Vision and Pattern Recognition, vol I, p 553560 Christopher M Bishop (2006), Pattern Recognition and Machine Learning, Microsoft Research Cambridge, U.K Frank R Hampel, Elvezio M Ronchetti, Peter J Rousseeuw, Werner A, and Stahel (1986), Robust Statistics, John Wiley & Sons Yoav Freund (1995), Boosting a weak learning algorithm by majority, Information and Computation 121(2), p 256285 Wenkai Xu and Eung-Joo Lee (2012), Continuous Gesture Recognition System Using Improved HMM Algorithm Based on 2D and 3D Space, International Journal of Multimedia and Ubiquitous Engineering, Vol.7, No.2 pp.335-340 Manuele Bicego 1, Umberto Castellani, Vittorio Murino (2004), A Hidden Markov Model approach for appearance-based 3D object recognition, Dipartimento di Informatica, Universita` di Verona Ca Vignal 2, Strada Le Grazie 15 37134 Verona, Italia Geoffrey J Mclachlan (2005), Discriminant Analysis and Statistical Pattern Recognition, the University of Queensland Nianjun Liu, Brian C Lovell, Peter J Kootsookos, and Richard I.A Davis (2004), Model Structure Selection & Training Algorithms for a HMM Gesture Recognition System, Frontiers in Handwriting Recognition, 2004 IWFHR-9 2004 Ninth International Workshop, ISSN:1550-5235, pp.100-105 Matthew Turk and Alex Pentland (1991), Eigenfaces for recognition, Journal of Cognitive Neuroscience, 3(1):7186 10 Peter M Roth, Martin Winter (2009), Survey of Appearance-basde Methods for Object Recognition, Graz University for Technology, Institute for Computer Graphics and Vision, Austria 69 11 Richard O Duda, Peter E Hart, David G Stork (2005), Pattern Classification 2nd.ed 12 Michael Kirby and Lawrence Sirovich (1990) Application of the karhunenloeve procedure for the characterization of human faces IEEE Trans on Pattern Analysis and Machine Intelligence, 12(1):103108 [...]... thống nhận dạng đối tượng, vai trò ý nghĩa mỗi giai đoạn của hệ thống nhận dạng, các thành phần và kiến trúc của hệ thống nhận dạng Chương 2 sẽ trình bày phương pháp nhận dạng dựa vào diện mạo đối tượng dựa vào mô hình kết hợp giữa PCA và mô hình Markov ẩn 19 Chương 2 NHẬN DẠNG DIỆN MẠO ĐỐI TƯỢNG SỬ DỤNG PHƯƠNG PHÁP PCA KẾT HỢP MÔ HÌNH MARKOV ẨN 2.1 Giới thiệu về nhận dạng đối tượng dựa vào diện mạo. .. Nghiên cứu phương pháp trích chọn đặc trưng vào PCA  Nghiên cứu phương pháp nhận dạng dựa vào mô hình Markov ẩn  Mô hình Markov ẩn kết hợp với PCA phù hợp cho bài toán nhận dạng diện mạo đối tượng 2D, 2.5D và 3D 4 Đối tượng nghiên cứu: Đối tượng nghiên cứu chính của đề tài là: - Dữ liệu đầu vào: ảnh, chuỗi video, thông tin thu nhận trực tiếp từ camera… - Phương pháp PCA và mô hình Markov ẩn 4 - Cơ... quan về Lý thuyết nhận dạng Tổng quan về lý thuyết nhận dạng và tổng quan về nhận dạng dựa vào diện mạo đối tượng Cung cấp cái nhìn tổng quát về các vấn đề cơ bản, hệ thống nhận dạng đối tượng, vai trò ý nghĩa mỗi giai đoạn của hệ thống nhận dạng, các thành phần và kiến trúc của hệ thống nhận dạng Chương 2: Nhận dạng diện mạo đối tượng sử dụng phương pháp PCA kết hợp mô hình Markov ẩn 5 Trình bày các... chủng loại mẫu Hình 1.1 Nhận dạng mẫu 7 1.2 Nhận dạng đối tượng và những khó khăn 1.2.1 Nhận dạng đối tượng Bài toán nhận dạng đối tượng cần xác định hai vấn đề chính: dùng thông tin nào để nhận dạng: tập ảnh mẫu về diện mạo của đối tượng, ánh sáng phân bổ trên bề mặt, mô hình đối tượng, … hay phải kết hợp các thông tin trên Điều đặc biệt là dùng phương pháp nào để huấn luyện cho máy nhận dạng dùng nguồn... tượng dựa vào diện mạo Luận văn nghiên cứu về: Nhận dạng diện mạo đối tượng sử dụng phương pháp PCA kết hợp Mô hình Markov ẩn 2 Tổng quan tài liệu Diện mạo đối tượng là hình ảnh trên bề mặt của đối tượng từ góc quan sát được thu nhận lại bằng thiết bị cảm biến (ví dụ camera, mắt người) dưới dạng các hình ảnh Chúng ta có thể thu nhận nhiều hình ảnh của đối tượng từ nhiều góc quan sát khác nhau (có thể... để xác định ứng viên này có phải là đối tượng cần nhận dạng hay không 15 1.6.4 Hướng tiếp cận dựa vào mô hình đối tượng để nhận dạng đối tượng Mô hình đối tượng là mô hình thống kế hình dạng đối tượng, nó biến đổi liên tục để phù hợp với một mẫu của đối tượng trong một hình ảnh mới, được phát triển bới Tim Cootes và Chris Taylor vào năm 1995 Mô hình thống kê hình dạng để thay đổi duy nhất trong cách... quyết định và nhận dạng một cách tốt hơn 3 Mục tiêu nghiên cứu Đề tài nhằm nghiên cứu những vấn đề sau: - Mục tiêu chung: Nghiên cứu về nhận dạng dựa vào diện mạo của đối tượng sử dụng phương pháp phân tích thành các thành phần chính (PCA) kết hợp với mô hình Markov ẩn - Các mục tiêu cụ thể:  Tổng quan về lý thuyết nhận dạng, và tổng quan về nhận dạng diện mạo đối tượng, các phương pháp tiếp cận cơ... Markov để nhận dạng, các thuật toán tối ưu trên mô hình và thuật toán nhận dạng với mô hình Markov ẩn - Mô hình markov ẩn kết hợp với PCA cho bài toán nhận dạng đối tượng dựa vào diện mạo - Đối tượng bao gồm: mặt người trong ảnh, đồ vật… 7 Cấu trúc và nội dung luận văn: Luận văn có ba phần chính: - Phần mở đầu: Trình bày lý do chọn đề tài, tổng quan tài liệu, mục tiêu, đối tượng nghiên cứu, phương pháp. .. mạo của các đối tượng biểu diễn trong không gian 2.1.2 Nhận dạng đối tượng dựa vào diện mạo Nhận dạng đối tượng dựa vào diện mạo đối tượng là phương pháp tìm sự liên hệ giữa những hình ảnh được huấn luyện của một đối tượng và sử dụng mối liên hệ này cho sự phân lớp một bộ mẫu thử mới Điều kiện tiên quyết cho sự nhận dạng tốt là những hình ảnh thử phải liên quan đến những hình ảnh huấn luyện Hình thử phải... diện mạo đối tượng Huấn luyện bằng Mô hình Markov ẩn dựa trên đặc trưng diện mạo Đánh giá và hiển thị kết quả Hình 2.3 Mô hình nhận dạng đối tượng dựa vào diện mạo 2.2 Phương pháp phân tích thành phần chính PCA 2.2.1 Giới thiệu PCA Phương pháp phân tích thành phần chính (Principal Component Analysis hay PCA) Phương pháp này được phát minh năm 1901 bởi Karl Pearson và hiện nay nó được sử dụng như một ... kết hợp PCA mô hình Markov ẩn 19 Chương NHẬN DẠNG DIỆN MẠO ĐỐI TƯỢNG SỬ DỤNG PHƯƠNG PHÁP PCA KẾT HỢP MÔ HÌNH MARKOV ẨN 2.1 Giới thiệu nhận dạng đối tượng dựa vào diện mạo 2.1.1 Diện mạo đối tượng. .. nhận dạng dựa PCA - Mô hình Markov ẩn: sử dụng mô hình Markov để nhận dạng, thuật toán tối ưu mô hình thuật toán nhận dạng với mô hình Markov ẩn - Mô hình markov ẩn kết hợp với PCA cho toán nhận. .. phần kết hợp với tiếp cận mô hình Markov ẩn cho nhận dạng đối tượng dựa vào diện mạo Luận văn nghiên cứu về: Nhận dạng diện mạo đối tượng sử dụng phương pháp PCA kết hợp Mô hình Markov ẩn Tổng