NHẬN DẠNG CỬ CHỈ BÀN TAY BẰNG PHƯƠNG PHÁP MẠNG NƠRON (MỚI NHẤT). Áp dụng cho điều khiển truyền hình và một số ứng dụng khác trong kỹ thuật điều khiển tự động như Rôbốt. Hiện tại đã và đang có sức thu hút rất lớn đối với nhiều người trong xã hội ngày nay. Nhìn chung phát triển với tốc độ rất nhanh. Gần đây được áp dụng nhiều trong các ứng dụng khoa học và kỹ thuật.
TRNG I HC S PHM K THUT TP H CH MINH KHOA IN IN T B MễN K THUT MY TNH -VIN THễNG N NHN DNG C CH BN TAY NGI BNG PHNG PHP MNG N-RON Ngnh Cụng Ngh K Thut in T Truyn Thụng Sinh viờn: NG VN THUN MSSV: 12141223 NGUYN NGC DUY LM MSSV: 12141577 Hng dn: ThS TRNG QUANG PHC TP H CH MINH 1/2016 I LI CM N ỏn mụn hc c hon thnh ti khoa in in T trng i hc S phm K thut TP H Chớ Minh Cú c ti ny l da trờn ý tng ca nhúm di s hng dn v ch bo tn tỡnh ca Thy Th.s Trng Quang Phỳc Do khong thi gian v kin thc cũn hn hp, mc dự nhúm ó c gng hon thnh ỏn mụn hc ny ỳng thi hn Nhng khụng trỏnh nhng thiu xút mong Quý thy cụ thụng cm Nhúm mong nhn c nhng ý kin úng gúp tn tỡnh ca quý thy cụ v cỏc bn Cui cựng nhúm thc hin xin gi li chõn thnh cm n n Thy Th.s Trng Quang Phỳc ó hng dn v cỏc Thy (cụ) khoa in - in T ó to iu kin cho nhúm thc hin v hon thnh ti ny Tp H Chớ Minh, thỏng nm 2016 Nhúm sinh viờn thc hin ng Vn Thun-Nguyn Ngc Duy Lõm II MC LC CHNG 1: TNG QUAN 1.1 GII THIU 1.2 Lí DO CHN TI 1.3 NHIM V CA TI 1.4 GII HN TI 1.5 CC PHNG PHP THC HIN CHNG 2: C S Lí THUYT 2.1 X Lí NH V CC VN C BN TRONG X Lí NH 2.1.1 Khỏi nim x lý nh 2.1.2 Nhng c bn h thng x lý nh 2.2 CC K THUT X Lí NH S 11 2.2.1 Mc ớch ca vic x lý nh s 11 2.2.2 K thut nõng cao cht lng nh 11 2.2.3 K thut bin i nh 12 2.2.4 K thut phõn tớch nh 12 2.2.5 K thut nhn dng nh 12 2.3 CC K THUT X Lí NH S 13 2.3.1 Gii thiu 13 2.3.2 Khụng gian mu RGB 14 2.3.3 Khụng gian mu YCrCb 15 2.3.4 Khụng gian mu HSV 16 2.3.5 Phỏt hin bn tay da trờn mu da 17 2.4 TNG QUAN V BIấN V CC K THUT TCH BIấN 20 2.4.1 Tng quan v biờn 20 2.4.2 K thut phỏt hin biờn Gradient 21 2.4.3 K thut Gradient 22 2.4.4 Toỏn t Robert 22 2.4.5 Toỏn t Sobel 23 III 2.5 TNG QUAN V Mễ HèNH MNG N-RON 23 2.5.1 Gii thiu mng n-ron 23 2.5.2 Mng Perceptron 27 2.5.3 Mng Perception a lp 31 CHNG 3: THIT K H THNG V KT QU Mễ PHNG 34 3.1 THIT K H THNG 34 3.1.1 S 34 3.1.2 Yờu cu v d liu nh 36 3.2 TIN TRèNH NHN DNG 36 36 3.2.1 Chun húa nh u vo 37 3.2.2 Trớch chn c trng nh 37 3.2.3 Hun luyn dựng mng N-ron 39 3.2.4 Xut kt qu h thng nhn dng c ch 43 3.3 KT QU 43 3.3.1 Nhn dng nh tnh 43 3.4 NH GI CHNH XC 48 CHNG 4: KT LUN V HNG PHT TRIN TI 50 4.1 KT LUN 50 4.2 NH GI H THNG NHN DNG 50 4.2.1 u im 50 4.2.2 Khuyt im 50 4.3 HNG PHT TRIN CA TI 51 PH LC M NGUN CHNG TRèNH 52 TI LIU THAM KHO 67 IV CHNG 1: TNG QUAN 1.1 GII THIU Ngy di s phỏt trin rng rói ca cỏc ng dng cụng ngh thụng tin vo cuc sng, vic tng tỏc gia ngi v thit b ngy cng tr nờn quan trng hn Trc õy, bn phớm v chut l cỏc giao din chớnh giao tip gia ngi v mỏy tớnh Trong cỏc lnh vc khỏc cn ti cỏc thụng tin 3D, chng hn nh trũ chi mỏy tớnh, robot v lnh vc thit k Cỏc thit b c khớ khỏc nh búng ln, cn iu khin hay cỏc gang tay d liu ó c s dng Tuy nhiờn ngi giao tip ch yu bi nghe v nhỡn, ú mt giao din ngi mỏy s trc quan hn nu ngi cú th iu khin mỏy tớnh bng ging núi hay c ch ging nh tng tỏc gia ngi vi ngi th gii thc m khụng cn thụng qua cỏc thit b iu khin khỏc nh chut hay bn phớm Mt u im khỏc l ngi dựng cú th giao tip t xa m khụng cn phi cú tip xỳc vi vt lý vi mỏy tớnh So vi cỏc h thng iu khin bng lnh õm thanh, mt h thng th giỏc s thớch hp hn mụi trng n o hoc trng hp õm b nhiu Phỏt hin vựng da l mt cụng c rt hu ớch vic nhn dng nh Nú cho phộp nhiu khu vc ca mt nh c loi b mt cỏch nhanh chúng v hiu qu, m khụng lóng phớ thi gian lm tng quan tn kộm hoc cỏc hỡnh thc tớnh toỏn phõn tớch t tin khỏc 1.2 Lí DO CHN TI Nhn dng cỏc c ch bn tay ngi l cỏch t nhiờn tng tỏc ngi mỏy v ngy nhiu nh nghiờn cu cỏc hc vin v ngnh cụng nghip ang quan tõm n hng ny Nú cho phộp ngi tng tỏc vi mỏy rt d dng v thun tin m khụng cn phi mang thờm bt k thit b no khỏc ó cú rt nhiu ng dng da trờn c ch bn tay nh: Thit k 3D, iu khin t xa, ngụn ng ký hiu Nhn thy tỏc dng ca nhn dng c ch nờn nhúm quyt nh chn ố ti ny nghiờn cu 1.3 NHIM V CA TI - Tỡm hiu tng quỏt v lý thuyt x lý nh Tỡm hiu phng phỏp mng n-ron tin hnh nhn dng c ch Tỡm hiu v mụ phng cỏc lnh liờn quan n ti dựng phn mm matlab 2014 Rốn luyn k nng nghiờn cu ti liu 1.4 GII HN TI Do thi gian tin hnh nghiờn cu ti v ti liu liờn quan cú hn Mc tiờu ca ti ny ch dng li mc tỡm hiu lý thuyt bn cht ca phỏt hin bn tay da trờn mu da v nhn dng dựng mng n-ron, sau ú mụ phng kim chng kt qu nờn cũn nhiu hn ch 1.5 CC PHNG PHP THC HIN Thc hin ti Phõn tớch ti, tỡm hiu lý thuyt liờn quan, tỡm hiu cỏch xỏc nh mu da, tỡm hiu cỏc hm trờn matlab v cỏch hun luyn nhn dng Vn dng kin thc ó hc v x lớ nh, mụ phng mch v h thng v cỏc mụn ó hc cú liờn quan tin hnh kim chng Ni dung chớnh: Chng 1: Tng quan v x lý nh Chng 2: C s lý thuyt - X lý nh v cỏc x lý nh - Cỏc k thut x lý nh s - Cỏc loi khụng gian mu - Tng quan v biờn v cỏc k thut tỏch biờn - Tng quan v mụ hỡnh mng n-ron Chng 3: Thit k h thng v kt qu mụ phng - Thit k h thng - Tin trỡnh nhn dng - Kt qu mụ phng Chng 4: Kt lun v hng phỏt trin ti - Kt lun - Hng phỏt trin ca ti CHNG 2: C S Lí THUYT 2.1 X Lí NH V CC VN C BN TRONG X Lí NH 2.1.1 Khỏi nim x lý nh Con ngi thu nhn thụng tin qua cỏc giỏc quan, ú th giỏc úng vai trũ quan trng nht Nhng nm tr li õy vi s phỏt trin ca phn cng mỏy tớnh, x lý nh v phỏt trin mt cỏch mnh m v cú nhiu ng dng cuc sng X lý nh v úng vai trũ quan trng tng lai ngi mỏy Quỏ trỡnh x lý nh c xem nh l quỏ trỡnh thao tỏc nh u vo nhm cho kt qu mong mun Kt qu u ca mt quỏ trỡnh x lý nh cú th l mt nh tt hn hay mt kt lun nh tt hn nh X Lí NH Kt lun Hỡnh 2.1: Quỏ trỡnh x lý nh nh cú th xem l hp cỏc im nh v mi im nh c xem nh l c trng cng sỏng hay mt du hiu no ú ti mt v trớ no ú ca i tng khụng gian v nú cú th xem nh mt hm n bin P(c1, c2,., cn) Do ú, nh x lý cú th xem nh nh n chiu Cỏc bc c bn h thng x lý nh c mụ t qua hỡnh 1.2 Hỡnh 2.2: Cỏc bc c bn mt h thng x lý nh S trờn bao gm cỏc thnh phn sau: - Thu nhn nh (Image Acquisition): nh cú th nhn qua camera mu hoc en trng Cht lng mt nh thu c ph thuc vo thit b thu, mụi trng (ỏnh sỏng, phong cnh) - Tin x lý nh (Image Processing): sau b thu nhn, nh cú th nhiu, tng phn thp nờn cn a vo b tin x lý nõng cao cht lng Chc nng chớnh ca b tin x lý l lc nhiu, nõng tng phn lm nh rừ hn, nột hn - Phõn on nh (Segmentation): tỏch mt nh u vo thnh cỏc vựng thnh phn biu din, phõn tớch, nhn dng õy l phn phc khú khn nht x lý nh v cng d gõy li, lm mt chớnh xỏc ca nh Kt qu nhn dng nh ph thuc rt nhiu vo cụng on ny - Biu din nh (Image Representation): u ca nh sau phõn on cha cỏc im nh ca vựng nh (nh ó phõn on) cng vi mó liờn kt vi cỏc vựng lõn cn Vic bin i cỏc s liu ny thnh dng thớch hp l cn thit cho x lý tip theo bng mỏy tớnh Nu s dng cng nhiu im nh thỡ bc nh cng mn v cng th hin rừ hn chi tit ca nh - Nhn dng v ni suy nh (Image Recognition and Interpretation): nhn dng nh l quỏ trỡnh xỏc nh nh Quỏ trỡnh ny thng thu c bng cỏch so sỏnh vi mu chun ó c hc (hoc lu) t trc Ni suy l phỏn oỏn theo ý ngha trờn c s nhn dng Vớ d: mt lot ch s v nột gch ngang trờn phong bỡ th cú th c ni suy thnh mó in thoi Cú nhiu cỏch phõn loi nh khỏc v nh Theo lý thuyt v nhn dng, cỏc mụ hỡnh toỏn hc v nh c phõn theo hai loi nhn dng nh c bn: Nhn dng theo tham s Nhn dng theo cu trỳc Mt s i tng nhn dng khỏ ph bin hin ang c ỏp dng khoa hc v cụng ngh l: nhn dng ký t (ch in, ch vit tay, ch ký in t), nhn dng bn (Text), nhn dng c ch, nhn dng võn tay, nhn dng mó vch, nhn dng mt ngi - C s tri thc (Knowledge Base): nh l mt i tng khỏ phc v ng nột, sỏng ti, dung lng im nh, mụi trng thu nh phong phỳ kộo theo nhiu Trong nhiu khõu x lý v phõn tớch nh ngoi vic n gin húa cỏc phng phỏp toỏn hc m bo tin li cho x lý, ngi ta mong mun bt chc quy trỡnh tip nhn v x lý nh theo cỏch ca ngi Trong cỏc bc x lý ú, nhiu khõu hin ó x lý theo cỏc phng phỏp trớ tu ngi Hỡnh 2.3: S phõn tớch v x lý nh v lu thụng tin gia cỏc 2.1.2 Nhng c bn h thng x lý nh 2.1.2.1 im nh (pixel) Gc ca nh (nh t nhiờn) l nh liờn tc v khụng gian v sỏng x lý bng mỏy tớnh (s), nh cn phi c s hoỏ S hoỏ nh l s bin i gn ỳng mt nh liờn tc thnh mt im phự hp vi nh tht v v trớ (khụng gian) v sỏng (mc xỏm) Khong cỏch gia cỏc im nh ú c thit lp cho mt ngi khụng phõn bit c ranh gii gia chỳng Mi mt im nh vy gi l im nh (PEL: Picture Element) hay gi tt l Pixel Trong khuụn kh nh hai chiu, mi pixel ng vi cp ta (x, y) nh ngha: im nh (Pixel) l mt phn t ca nh s ti to (x, y) vi xỏm hoc mu nht nh Kớch thc v khong cỏch gia cỏc im nh ú c chn thớch hp cho mt ngi cm nhn s liờn tc v khụng gian v mc xỏm (hoc mu) ca nh s gn nh nh tht Mi phn t ma trn c gi l mt phn t nh Mt file nh l hp nhiu im nh c minh hỡnh 2.1 axes(handles.axes1); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\logo.jpg'); a=imresize(anh,[92 92]); imshow(a); function varargout = giaodienn_OutputFcn(hObject, eventdata, handles) varargout{1} = handles.output; function pushbutton1_Callback(hObject, eventdata, handles) nhan_dang_cu_chi_ban_tay; function pushbutton2_Callback(hObject, eventdata, handles) nhandangcamera; 2) CHNG TRèNH NHN DNG NH TNH function varargout = nhan_dang_cu_chi_ban_tay(varargin) gui_Singleton = 1; gui_State = struct('gui_Name', mfilename, 'gui_Singleton', gui_Singleton, 'gui_OpeningFcn', @nhan_dang_cu_chi_ban_tay_OpeningFcn, 'gui_OutputFcn', @nhan_dang_cu_chi_ban_tay_OutputFcn, 'gui_LayoutFcn', [] , 'gui_Callback', []); if nargin && ischar(varargin{1}) gui_State.gui_Callback = str2func(varargin{1}); end if nargout [varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:}); else gui_mainfcn(gui_State, varargin{:}); 53 end function nhan_dang_cu_chi_ban_tay_OpeningFcn(hObject, eventdata, handles, varargin) axes(handles.axes7); imshow(1); axes(handles.axes1); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau0_1.jpg'); a=imresize(anh,[92 92]); imshow(a); axes(handles.axes2); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau1_1.jpg'); a=imresize(anh,[92 92]); imshow(a); axes(handles.axes3); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau2_1.jpg'); a=imresize(anh,[92 92]); imshow(a); axes(handles.axes4); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau3_1.jpg'); a=imresize(anh,[92 92]); imshow(a); 54 axes(handles.axes5); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau4_1.jpg'); a=imresize(anh,[92 92]); imshow(a); axes(handles.axes6); anh=imread('E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinh mau\hinhmau5_1.jpg'); a=imresize(anh,[92 92]); imshow(a); handles.output = hObject; guidata(hObject, handles); function varargout = nhan_dang_cu_chi_ban_tay_OutputFcn(hObject, eventdata, handles) varargout{1} = handles.output; function pushbutton1_Callback(hObject, eventdata, handles) global A [filename, pathname] = uigetfile({'*.jpg';'*.bmp';'*.gif';'*.*'}, 'chon anh'); A= imread([pathname,filename]); axes(handles.axes7); imshow(A); function pushbutton2_Callback(hObject, eventdata, handles) global A load('C:\Users\SONY\Documents\MATLAB\dnetwork.mat'); a=rgb2gray(A); b=edge(a,'canny',0.15); 55 imwrite(b,['temp.jpg']); a=imread('temp.jpg'); b=imresize(a,[92 92]); c=double(b>80); k=c(:); res=sim(net,k) [j k]=max(res); if j>0.5 set(handles.e_N,'string',['DAẽNG ' num2str(k)]); else set(handles.e_N,'string',['KHONG XAC ẹềNH']); end function e_N_Callback(hObject, eventdata, handles) function e_N_CreateFcn(hObject, eventdata, handles) if ispc && isequal(get(hObject,'BackgroundColor'), get(0,'defaultUicontrolBackgroundColor')) set(hObject,'BackgroundColor','white'); end 3) CHNG TRèNH NHN DNG NH QUA CAMERA function varargout = nhandangcamera(varargin) gui_Singleton = 1; gui_State = struct('gui_Name', mfilename, 'gui_Singleton', gui_Singleton, 56 'gui_OpeningFcn', @nhandangcamera_OpeningFcn, 'gui_OutputFcn', @nhandangcamera_OutputFcn, 'gui_LayoutFcn', [] , 'gui_Callback', []); if nargin && ischar(varargin{1}) gui_State.gui_Callback = str2func(varargin{1}); end if nargout [varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:}); else gui_mainfcn(gui_State, varargin{:}); end function nhandangcamera_OpeningFcn(hObject, eventdata, handles, varargin) global imainput axes(handles.axes1); imshow(1); axes(handles.axes2); imshow(1); axes(handles.axes3); imshow(1); imainput=videoinput('winvideo',1); handles.output = hObject; guidata(hObject, handles); function varargout = nhandangcamera_OutputFcn(hObject, eventdata, handles) 57 varargout{1} = handles.output; function NHANDANG_Callback(hObject, eventdata, handles) global imainput cp cp=0; load('C:\Users\SONY\Documents\MATLAB\dnetwork.mat'); while(cp==0) % lay frame anh img=getsnapshot(imainput); img=imresize(img,[320 400]); axes(handles.axes1) imshow(img); maudanguoi=xacdinhmaudanguoi(img); axes(handles.axes2) imshow(maudanguoi); tachbt=tachbantay(img); axes(handles.axes3) imshow(tachbt); % tach lay bien anh a=rgb2gray(tachbt); b=edge(a,'canny',0.15); imwrite(b,['temp.jpg']); % nhan dang anh a=imread('temp.jpg'); b=imresize(a,[92 92]); c=double(b>80); 58 d=c(:); res=sim(net,d) [k g]=max(res); if length(tachbt)>150 if res(1)>0.7 & res(2)+res(3)+res(4)+res(5)+res(6)0.7 & res(1)+res(3)+res(4)+res(5)+res(6)0.7 & res(2)+res(1)+res(4)+res(5)+res(6)0.7 & res(2)+res(1)+res(3)+res(5)+res(6)0.7 & res(2)+res(1)+res(3)+res(4)+res(6)0.7 & res(2)+res(1)+res(3)+res(4)+res(5)95).*(g>40).*(b>20).*(max(max(r,g),b)-min(min(r,g),b)>15).*(abs(rg)>15).*(r>g).*(r>b); a2=(r>220).*(g>210).*(b>170).*(abs(r-g)b).*(g>b); dkrgb=a1+a2; q=dkrgb; output=q; 5) HM TCH BN TAY function output=tachbantay(input); pic=input; pic=imresize(pic,[320 400]); a=xacdinhmauda(input); % giam phan giai low=8; x=1;y=1; b=imresize(a,1/low)>0.5; %sum(b(x:320/low,:),2) % tri trung binh max ya=sum(b,1);; [c y]=max(ya); 61 xa=sum(b,2); [c x]=max(xa); % xac dinh bien [c i] =min(sum(b(x:320/low,:),2)); y1=(i+x)*low; for i=x:-1:1 if sum(b(i,:))==0, break,end end y2=i*low; for i=y:400/low if sum(b(:,i))==0, break,end end x1=i*low; for i=y:-1:1 if sum(b(:,i))==0, break,end end x2=i*low; h=y1-y2; w=x1-x2; output=imcrop(pic,[x2 y2 w h]); 6) CHNG TRèNH CON HUN LUYN C CH, MI C CH 40 MU mt=[]; for i=1:40 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien0_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); 62 bantay=double(a>80); m=bantay(:); mt=[mt m]; end for i=1:40 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien1_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); bantay=double(a>80); m=bantay(:); mt=[mt m]; end for i=1:40 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien2_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); bantay=double(a>80); m=bantay(:); mt=[mt m]; end for i=1:40 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien3_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); bantay=double(a>80); m=bantay(:); mt=[mt m]; end for i=1:40 63 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien4_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); bantay=double(a>80); m=bantay(:); mt=[mt m]; end for i=1:40 bantay=imread(['E:\hoctap\Tai lieu tham khao\doan\ma nguon\hinhhuanluyen\bien5_' num2str(i) '.jpg']); a=imresize(bantay,[92 92]); bantay=double(a>80); m=bantay(:); mt=[mt m]; end P=mt; n1 = [1; 0; 0; 0; 0; 0]; n2 = [0; 1; 0; 0; 0; 0]; n3 = [0; 0; 1; 0; 0; 0]; n4 = [0; 0; 0; 1; 0; 0]; n5 = [0; 0; 0; 0; 1; 0]; n6 = [0; 0; 0; 0; 0; 1]; T=[ n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n1 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 64 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n2 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n3 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n4 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n5 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6 n6]; size(P) size(T) net = edu_createnn(P,T); save dnetwork net; 7) HM HUN LUYN CHO C CH function net = edu_createnn(P,T) 65 alphabet = P; targets = T; [R,Q] = size(alphabet); [S2,Q] = size(targets); S1 =21;% 40 %18 50 %S2= 20; net = newff(minmax(alphabet),[S1 S2],{'tansig' 'logsig'},'traingdx') net.LW{2,1} = net.LW{2,1}*0.01; net.b{2} = net.b{2}*0.01; net.performFcn = 'sse'; net.trainParam.goal = 0.0001; net.trainParam.show = 20; net.trainParam.epochs = 5000; net.trainParam.mc = 0.95; P = alphabet; T = targets; [net,tr] = train(net,P,T); 66 TI LIU THAM KHO [1] Klimis Symeonidis, Hand Gesture Recognition using Neural Network, University of Surrey- 2000 [2] Kyungnam Kim, Face Recognition using Principle ComponentAnalysis, Department of Computer ScienceUniversity of Maryland, College ParkMD 20742, USA [3] Howard Demuth, Mark Beale, Neural Network Toolbox, The MathWorks, 2000 [4] Ts Nguyn Thanh Hi, X Lý nh, i hc S Phm K Thut TPHCM, NXB Giỏo dc - 2014 [5] Ts Nguyn ỡnh Thỳc, Trớ tu nhõn to - Mng Nron - Phng phỏp v ng dng, NXB Giỏo dc - 2000 [6] Nguyn Quang Sn,Chng 1-3, Nghiờn cu mt s phng phỏp tỏch biờn, Lun thc s cụng ngh thụng tin, i hc Thỏi Nguyờn, 2008, trang 23-47 [7] Ts Nng Ton v Ts Phm Vit Bỡnh, X Lý nh, i hc Thỏi Nguyờn Khoa Cụng ngh thụng tin-2007 [8] PGS.TS Nguyn Quang Hoan, X Lý nh, Hc vin cụng ngh bu chớnh vin thụng-2006 67 [...]... trong những ứng dụng đó là việc phát hiện và nhận diện cử chỉ bàn tay Kỹ thuật nhận diện cử chỉ bàn tay đã và đang được nghiên cứu 17 trong những năm gần đây với nhiều giải thuật nhằm tăng tốc độ cũng như là tính chính xác của việc nhận diện Sử dụng không gian màu RGB để phát hiện bàn tay Trong không gian màu RGB, phương pháp xây dựng và xếp lớp màu da bằng cách xác định rõ ràng (thông qua một số quy... theo cấu trúc 2.2.5 Kỹ thuật nhận dạng ảnh Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người ta muốn đặc tả nó Quá trình nhận dạng thường đi sau quá trình trích chọn các đặc tính chủ yếu của đối tượng Có hai kiểu mô tả đối tượng : Mô tả tham số ( nhận dạng theo tham số) Mô tả theo cấu trúc ( nhận dạng theo cấu trúc) Người ta đã áp dụng kỹ thuật nhận dạng khá thành công với nhiều... xác vị trí bàn tay trước khi đi nhận dạng để loại bỏ các ảnh hưởng này và nó kéo theo tốc độ xử lý của hệ thống sẽ không đáp ứng được các yêu cầu về thời gian thực Do đó, cùng với sự phát triển của kỹ thuật nhận diện, kỹ thuật phát hiện bàn tay cũng yêu cầu sự nghiên cứu đề ra giải pháp nhằm tăng tốc độ hệ thống, cũng như là tìm được chính xác nhất vị trí bàn tay Các kỹ thuật phát hiện bàn tay hiện tại... nền Phương pháp chỉ dựa trên cảm nhận chung của con người về các ngưỡng, chưa có một lý thuyết, giải thuật cụ thể thống nhất để cho kết quả tổng quát và chính xác nhất 2.3.5 Phát hiện bàn tay dựa trên màu da Nhận dạng ảnh là một trong những kỹ thuật quan trọng trong xử lý ảnh số Sự phát triển của máy tính, hệ thống nhúng, mạng Nơron đã kéo theo nhiều ứng dụng dựa trên việc nhận dạng Một trong những... trình đề nghị cho kỹ thuật phát hiện bàn tay dựa trên màu dựa trên các bước sau: 18 ẢNH ĐẦU VÀO XỬ LÝ NÂNG CAO CHẤT LƯỢNG ẢNH TRÍCH CÁC THÀNH PHẦN KHÔNG GIAN RGB CỦA ẢNH SO SÁNH VỚI GIÁ TRỊ NGƯỠNG PHÙ HỢP MÀU DA XÁC ĐỊNH VỊ TRÍ TÁCH BÀN TAY Hình 2.12: Sơ đồ tổng quát quá trình phát hiện bàn tay Chức năng của các khối: Ảnh đầu vào: ảnh bàn tay cần đưa vào để nhận dạng Xử lý nâng cao chất lượng ảnh:... dự đoán, nhận dạng, … ANN được tạo nên từ một lượng các phần tử 24 (neuron) kết nối với nhau thông qua các trọng số liên kết Một ANN được cấu hình cho một ứng dụng cụ thể thông qua quá trình học từ tập các mẫu huấn luyện cho trước Trong vấn đề nhận dạng cử chỉ bàn tay, mạng nơ-ron tỏ ra ưu thế hơn các phương pháp khác (so sánh ảnh biểu tượng tệp với ảnh biểu tượng mẫu có sẵn, xác định hình dạng đường... thể được giải quyết Kiến trúc mạng MLP là kiến trúc truyền thẳng đa lớp (có từ 1 đến 3 lớp ẩn), hàm hoạt hóa có thể có nhiều dạng không phải chỉ là hàm hardlimit như ở mạng Perceptron kinh điển Nhưng các nơ-ron trong cùng một lớp thì cùng dạng hàm hoạt hóa Kiến trúc một mạng MLP 2 lớp ẩn được cho bởi hình 5.7 Hình 2.21: Mạng Perceptron đa lớp (MLP) Để chỉ ra khả năng của mạng MLP giải quyết bài toán... biết được các vùng không da để loại bỏ theo luật 19 ... “NHẬN DẠNG” Kết thu dạng tương đương với cử Hình 3.15: Kết nhận dạng cử bàn tay nắm 44 Hình 3.16: Kết nhận dạng cử bàn tay ngón Hình 3.17: Kết nhận dạng cử bàn tay hai ngón 45 Hình 3.18: Kết nhận. .. cử bàn tay hai ngón 45 Hình 3.18: Kết nhận dạng cử bàn tay ba ngón Hình 3.19: Kết nhận dạng cử bàn tay bốn ngón 46 Hình 3.20: Kết nhận dạng cử bàn tay năm ngón 47 ... ảnh gốc 34 Khối trích chọn đặc trưng bàn tay: dùng phương pháp tách biên lấy đặc trưng cử bàn tay phát trước Khối mạng nơ-ron: xử lý nhận dạng cử bàn tay mạng nơ-ron Khối định xuất kết quả: