Nghiên ứu công nghệ mạng nơron tế bào cnn và ứng dụng trong xử lý ảnh

t TS Ho nă g Mạnh Thắng, người thầy đê tận nh tì hướng dẫn vă gi p đỡ ú tôi trong suốt quâ t ìr nh lăm luận văn.. Mạng Nơron tế băo s cCNN mlă ột giả iph pâ mở đầu h c o lo iạ mâ tí vạn

TR ƯỜ N ĐẠI H G Ọ C B ÁC KHOA HÀ NỘI H

Tôi i x cam đ a : Luận văn n o n “ g N hiên cứu công nghệ mạng nơ ron ế bào t

CNN và ứng dụn g tro g xử lý ảnh” l n à công r nt ì h nghiên cứu riên của g tôi, khô g n

sao h c p từ bấ ứé t c t ià liệu n o à

thầy đã tận nh tì hướng dẫn và gi p đỡ ú tôi trong suốt quá t ìr nh làm luận văn Tôi in x

Đại học Sư phạm Hà ội, B N và ộ môn iĐ ệ ử n t Tin ọc Đại học á h B ch h K o H Nội, a à

đã tạo nh ng i u kiữ đ ề ệ tốtn nhấ tcho tô rong i t quá r nh học tập vt ì à làm luận văn Xin

động viê , v g ún à i p đỡt i tô rong thời g ai n họ tậpc và cô g vn tác ừa qua

Tôi i x gửi lời cảm ơn n sâu ắc nhất tới i s g a đình :c ah mẹ, chồng ch á, ị g i và

nhữn ngg ười t â tr ng ia đìh n o g nh đã luôn ngđộ viê , cổ vũ hn và ỗ trợ t i ô trong suốt

quá t ìr n h th ọc ập và ngh niê ứu để có được kết c quả như hôm n ya

Hà Nội , n à g y 15 h ng 1 t á 0 năm 2 0 0 9

H vọc iên

Tạ Thị im K Hu ệ

MỤC LỤC

MỤC LỤC

Danh mục c c á ký hiệu và ch ữ viết ắt t

Danh mục c c á b ng biểu .ả

Danh mục c c á h hìn vẽ

MỞ ĐẦU 1

Chươn 1g : Tìm hi uể về cấu trúc ạng N m ơron ế b o t à CNN 4

1 1 Tổ an .ng qu 4

1 2 C sơ ở to ná h c của ọ CNN 5

1 1 .2 Các chú th híc và địn hnghĩa ơ ản c b 5

1 2 .2 Biể udiễn t e ma trận v oh o ect r và điều ki b ện i n .ê 9

1 3 .2 Sự tồn tạivà đơn ị c tr ủa các nghiệm 13

1 4 .2 Giới ạn của ác h c nghiệm 17

1 5 .2 Tín b h ất biế k ô gn h n gia c n ủa CNN .18

1 6 .2 Ba hp ân lớ mạnp g n ơro t n ếb o à đơn giản 21

1 7 .2 Lược đồ lưu lượng m tả luồng ô tín hi uệ dẫn n ạp 25

1 3 Kết lu ận 26

Chươn 2 h ng : P â tích c c á đặc tính ủa mạng c CNN 27

2 1 Các đặ tính ủa ạng c c m CNN 2 chiều 27

2 1 .1 Cấu trúc ạn m g CNN ai h chiều 27

2 2 .1 Dải động c a ủ CNN 30

2 3 .1 Tín chất ổn nh đị h c ủa CNN 33

2 4 1 Động lực h cọc ủa mạng n ơro tế b o pn à h uyi t ến v ó à c .trễ 42

2 2 Hỗn độn tro g mạ g n n n ơr no t ếbào .44

2 1 .2 dVí ụ vềCNN 2 tếb o d o à a động 45

2 2 .2 dVí ụ CNN hỗn nđộ với 2 tế b oà v 1 à đầu vào ạng sin d 47

2 3 .2 Rẽ nh nhá hvà ỗn nđộ trong CNN 49

2 3 Mạ nơng ron t ếbào nhiều p lớ 50

2 4 M ối u nq a hệ ủ c a CNN với phương t ìr h v pn i â đạoh n hàm riêng à v ô t mát t ô ế bào 52

Kết lu ận 54

Chươn 3g : M phỏ g c cô n á hệ động lực CNN 55

3 1 Ph nâ tíc đị lượng v mh nh ề ặt to ná học 55

3 2 Hai đối tượng ẫu m ng iêh n cứ : c c mẫuu á EDGE và EDG GRAY E 63

3 1 .2 CNN DE GE: Các ẫu m CNN ị h nnh p â ò đườ g iên .d n b 63

3 2 .2 EDG GE RA C NY N 69

3 3 .2 bBa ước xác đị h đồ dn thị ịch chuyển iđ ểm iđ ều hi k ển 76

3 3 Hệ thốn phg ần mềm môphỏng 77

3 1 .3 Sự kết hợp c a phương nủ t ìr h vi â CNN tiê c ẩn ph n u hu 77

3 2 3 Ảnh đầu vào .78

3 3 .3 Phần mềm mô phỏng 78

3 4 Phần ứ g bộ c n gia c tố s ố 83

3 5 Thực t i CNN tương t .h ự 84

3 6 Th na g c ia tỷ lệ h c cá tín hiệu 86

3 7 Discre e- me Ct ti NN DT NN)( C .87

3 8 Kết lu ận 88

Chươn 4g : Ứ gn dụn hệ g động ực l CNN trong ử x lý nả h 89

Tổn qg an u 89

4 1 N u cầu xử h lý nh ongả tr công n hi pg ệ và an n h in qu ph nốc ò g 89

4 2 X ửl ả bằný nh g má tín hệ ly h ệnh tuần tự 92

4 3 ô C n ng ghệ CNN à h v ệthống thu ả hn x - ử l s ng s g ý o on 93

4 4 Mô ìn hệ phỏnh h g sin h h ọc tr ng o chế ạo thị t giác nh n ạoâ t 94

4 1 .4 Thị giác si h học n 94

4 2 .4 Mô ình v g mạh õn c nh nâ tạo với công nghệ ạng CNN m nhi uề ớp l 96

4 3 .4 Chi tế p b oà thị giác 101

4 4 .4 Máy tí hn thị igác (V s al co pi u m ters) .u 103

4 5 Phương p á x h p ửl ả h vâ tay sử ụý n n d ng mạng CNN 104

4 1 .5 Một số thuậ o nt t á nhận ạng n d vâ tay 105

4 2 .5 Nâng ấ ản c p h v â ta đa mứn y c xám s dử ụng CNN 106

4 3 .5 Ph nâ tíc đặc trưh ngvân tay dù ng CNN 110

4 6 Kết lu ận 111

KẾT LUẬN 112

TÀI ỆU HAM KHẢO LI T 114

PHỤ LỤC 118

Danh mục c c á ký hi u ệ và ữ ch viết ắt t

Bảng 3 1 : Ngô ngữ diễnn t ảm phỏ g hoô n c mẫ uEDG trong CSD ( rE sc i tp ) 81

B ng 3ả .2: S sá c ng n ệ xử o nh ô gh lý hản ố chuẩn x s và ử lý ảnh tương tự, thời g an i tính o n t á μs (b oa gồm c ảthời gian truyền dữliệu) 85

B ng 3 3 oả : S sán hc cá ấu tr c c ú khá h ucn a của a n ogal ic CNN .86

Danh mục c c á hình v ẽ Hìn 1h 1 Cấu ú: tr c mạng nơron tếbào ti chuẩn êu 6

Hìn 1h 2 a) r: =1 ân(l c ận 3x ) r3 , = ( ân cận 2 l 5x5) 6

Hìn 1h 3 Các e: c b ên ll i 8

Hìn 1h 4 Mạch CNN với i: đ ều ki b ện ên c i ố định 10

Hìn 1h 5 Mạch CNN với i: đ ều ki b ện êi n N um nn e a 11

Hìn 1h 6 Mạc: h CNN t o i uhe đ ề kiệ i nn bê tuầnhoàn (Tor i loda ) 11

Hìn 1h 7 3 sơ đồ đóng : gói thường d ng ù 12

Hìn 1h 8 Cấu ú: tr c băng ma trận A Bˆ và ˆ 12

Hìn 1h 9 í d v:V ụ ề một mạch ô n v ghiệm sa uth iờ gi n a giới hạn T 13

Hìn 1 0h 1 M: ạch có vô ố s nghiệm riêng với, cùng ạng há tr t ib n a đầu x(0)=0 14

Hìn 1 1h 1 M: ạch có f n e e ca i it s pe me ti 14

Hìn 1 2h 1 C N có n hi: N g ệm đơn ttrị ≥0 15

Hìn 1 3h 1 Mạch điện: tương đương 17

Hìn 1 4h 1 Cấu: trúc p â lớh n p c a ủ CNN 21

Hìn 1 5h 1 Phân lớp Ze: ro-fe dba e ck(feed o wa d ζ 0, , f r r ) ( Bz) 22

Hìn 1 6h 1 Phân lớp Zero-input : (Au no outo m s) ζ(A 0 z) , , 23

Hìn 1 7h 1 Phân lớp : Uncoupl ed(sc aal r) ζ(Aº,B z), 23

Hìn 1 8h 1 Cấu : trúc Cell ủa ột c m CNN tiêu chuẩn C( , ij) 24

Hìn 1h 19: H nh ảnh m nh họa tế ì i bào C(i j,) iđ ển h nhì nhận đầu ào từ một nơ ron v cảm biến phía b nê trái và ơ n ron lân ận phía dưới c qua ế t bào tiếp theo ương ng t ứ 25

Hìn 1 0h 2 Lược đồ : luồng tín hi u ệ h ồi tiếp kA ết hợp với mẫu A 26

Hìn 1 1h 2 Lược đồ : dòng tín hi u ệ d nẫn ạp đầu r Ba k t hợp với mẫu ế B 26

Hìn 2h 1 Lân c c: ận ủa c ell C( , ) lần li j ượt ới v r=1, r=2 ,r=3 27

Hìn 2h 2 Mô h nh của một l: ì ce l 28

Hìn 2h 3 Đường : đặc tí c nh ủa nguồ đ ều hi nn i k ể hi t ến p uy 29

Hìn 2h 4 Đặc tính của i: đ ện trở h uy np i t ế tr ng pho ương t ìr n mạch h t ếbào 39

Hìn 2h 5 Mạch tương : đươngtrạng t ihá câ bn ằng ủa một ll c ce trong CNN 39

Hìn 2h 6: a), )b , c) ác đị uy n C nh t ế động v à iđ ểm cân bằng của mạch tương đ ng ươ với c cá giá trị khác h u n a của g(t) 40

Hình 2 d) ) f6: , e , ), g ) Các định uyến độnt g v à iđ ểm â bằng của mạch tương c n đương vớicác g á ị i tr khác nh ua ủa g( ) c t 41

Hìn 2h 7 Các mẫ: u vô hướng c a áủ c c to n t t á ử ếb oà tươ g tác Đơn ị sử dụnn v g 41

Hình 2 8: a) 1x2 CNN cùng c cá tế b oà b niê với iđ ều kiệ n biên à 0, l 0 0 0 1 0 2 0 3 1 0 13 2 0 21 2 2 23 0 y =y =y =y =y =y =y =y =y =y = 45

b) Đồ th luị ồ d ng ữliệu ươ g ứn t n g 45

Hìn 2h 9 Dạng: són n hiệm g g tuần ho nà của x1( ), ( )t x2 t v qu oà ỹ đạ tương g o g ưn tr n trường hợp 2α= β=2, , x1(0)=0.1,x2(0) 0.1= 46

Hìn 2 0h 1 : Dạn ng ghiệm hỗn độn của x1(t),x2( )t quỹ ođạ tương gứn với trường hợp α=2, β -1 , = 2 x1(0)=0.1,x2(0) 0.1= 48

Hìn 2 1:Phổ ăng ượng tần số n l tính to ná số họ ừc t nghiệm hỗnloạn 1 vx ( )t à 2(t)x 49

Hình 2 12 : Bản đồ P ionc ear tr c ất từ qu í h xu ỹ đạo hấp dẫn lạ thường ở h nì h 13c được gọi h dlà “ ấp ẫn giầy nữ” 49

Hìn 2h 13 : Qu ỹ đạo hấp dẫn lạ thường ủa CNN c 3x3 ới v p 1 51= ,2 p2 1 1 3; = , ; p =1; s=3, 2; r= , 44 và giá trị a đầ ( ) (b n u x 0 = 0, ;0, ;0, ) 1 1 1 50

Hìn 3h 1 Mô phỏn: g tính toá của n CNN kích thước 4x4 58

Hìn 3h 2 6 g: á ị của ii tr đ ều kiện ởi ạo c ll C(kh t , e 2 2, ó)c gi trá ị ởi t kh ạonh nư h u 59a Hìn 3h 3 Trạng há cuối : t i cùng ương g t ứn với tr ạng há khởi tạo ht i c o hở ì h 2 .n 3 60 Hìn 3h 4 :Ch ế độ ạm t th iờ ủa e c c ll C(2 2, ) tương gứn với iđ ều kiện khở tạo h ni ở ì h 3 2 60

Hìn 3h 5 Chọn : 4 ạng há khở ttr t i i ạo b n a đầu 61

Hìn 3h 6 Trạng há kết t húc tương g: t i ứn với tr ạng hái b n t a đầu h c o h nở ì h3.5 61

Hìn 3h 7 a đầu t: / ra ương gứn với iđ ều ki ện ở tạo ở kh i h nhì 3 ,5 b/ iĐ ểm cân ằng b ổ địn nh h ệthố tươnng g ứn với trg ọng há t ikhởi ạo ở t hình 3 5 61

Hìn 3h 8 Đ ều ki n kh: i ệ ở ti ạo h k ác 62

Hìn 3h 9 Đầu c: ra ủa CNN ới v quy ậ hay đổ của lu t t i nó đối ới v các ẫu h m vô ướng h h 2 7ìn (a), ) à v(b v ới iđ ều kiệ an đầ c o b n b u h ởi ìn h h3 8 62

Hìn 3 0:Trạng hái kết t húc tương ứng với đầut ra ở hì h n 39 62

Hìn 3 1:Các ce tức thời tại vll 3 ị t ír khác trong tro g hn ản : trạng h t ái

bi n ế x , ij :Biến đầu ra y , ij ***: đầ ra và trạng t iu há là như n u ha 65

Hìn 3 2h 1 Định uy n : t ế động tương gứn với mẫu dò đườn bg iên 67

Hìn 3h 13: Tế b oà trạng t ihá và đầu ra ức t th iờ trong 30 ấc tại v n 3 ị trí khác n u ha của ảnh tr ng í d o v ụ3 bi u di n 5 ể ễ c c đá ường m mđậ và ỏng tương ứng 71

Hình 3 14 : Định uy n t ế ạng há độtr t i ng v à u ra động rong ường hợp đặc biệt đầ t tr mức bbù ằng 0, ω = ij 0 74

Hìn 3 5:Trạng ht ái đị h uyến tĩnh với n t ω ≠ ij 0 75

Hìn 3 6h 1 Đồ ị dịch chuyển i: th đ ểm iđ ều hi k ển DP ( )Γx ωij 76

Hìn 3 6:Các ộ v xử v b i lý ật l ýcho hi un ề tế à b oCNN ảo 84

Hìn 3 7h 1 G á trị hạn: i chế hông đổi k fh(.) 87

Hìn 4h 1 :Thực hi nệ eros oi n v à at on n nh pdil i ả h ị hân .93

Hìn 4h 2 Cấu ú: tr c mắt ngườivà á c c h nh ph nt à ầ c ủa võn mạc g 94

Hìn 4h 3 Các : kiểu iên kết nơl ron t ong õr v ng m c àạ v mô n hì h CNN 97

Hìn 4h 4 Cấu trúc xử lý c mủa ộtmô h nh võì ng mạc 99

Hìn 4h 5 Cấu ú: tr c mô ỏ của v ng mạc ph ng õ CNN 100

Hìn 4h 8 Mạn: g CNN 2D 101 Hìn 4h 9 Mô h nh kết nố ủ: ì i c a mạng nơron tế b o 102

Hìn 4 0h 1 Q : uá r nh nh oát ì tí t n củ mạa ng n ron tế ơ bào 102

Hìn 4 1h 1 Kiến: trúc b nê tr ng c mo ủa ột tế b oà xử lý 103

Hìn 4 2h 1 Sơ: đồ khối c aủ máy tín hthị i c gá 104

Hìn 4 3:Máy nh ị g ác rtí th i t ên P 1 4C 0 p us - l và Máy ính ị g ác rt th i t ên P để b n.C à 104

Hìn 4 1h 1 M : ẫu vân ay t 105

Hìn 4 4h 1 M : ẫu vân ay t 105

Hìn 4 5h 1 Một s : ốkiểu của â a v n t y 105

Hìn 4 6h 1 H : ệ ốn nhth g ận dạng n vâ tay 106 Hìn 4 7h 1 N: âng ấp ản c h v â ta d ng nn y ù câ bằng Hi ts ogram 107

Hìn 4 8:Các ẫu củ m a á c c iđ ểm đường viề c t am s n ó h ốCNN (A , ., B z) 108

Hìn 4 9h 1 Sơ đồ : khối l àm ản m h đỉn hvân 1 08

Hìn 4 0h 2 Sơ: đồ khối c a ủ tìm kiếm iđ ểm đườngviền 108

Hìn 4 1h 2 Cửa s : ổ3x3 để t ír c đặc trưng h 109

Hìn 4 2h 2 Sơ đồ : khốiquá t ìrnh ma ch n â at i g v n t y ùng d CNN 110

Hình 4 23 : Kết quả ử th nghiệm ủa một số c ph nươ g ph pá xử lý nh vả ân ay ằng t b CNN 110

M Ở ĐẦU

Mục c đ í h, đối tượng và ph ạm vi n h g iên ứu c

sinh vật sống

Các á m y tín số hiện n yh a về cơ bản là lo iạ máy l ic với og c cá dữ liệu rời rạc

to ná h ot e chương r nh được lưut ì tro g bộ nhớ Đâ àn y l lo iạ máy nh tí vạn năng xử lý trên c c số á n u ng yê (Un vi e sal Macr h ni on ne I t g rs) h y òn gọi le e a c à á m y u T r ng i( rTu ing Mac i e h n ) Các ph pé tính ơ bản của c nó là á ph p số học àc c é v l iog c Thuật

to ná à c c cl á huỗ og c của ái l i c c ph p né tí h cơ bản n yà

Sự ra đời của b nó g b ná dẫn năm 19 84 và của c c á mvi ạch tí h hợp IC c(Integ a er t d Cir uit năm 1 0 c ) 96 đã tạora c ác má tín số y h có tính ực tiễn cao ới ith v g á

th nà h rẻ và hi nệ n y a đã trở th nà h ột loại m h nà g h a h nó t ô g dụng Trước kia nhi u ề

n o onã c người Tuy nh êi nhi nệ nay vấn đề đ ã trở n nê rõ ràng là nơro v n à c c á tế bào

thần k nh ói c c ơchếhoạt động h n o n kh oà t à ác

Hệ nơron nh o n tí t á thường xử mlý ảng tín hi uệ ương tự t (a an log có tính liên ) tục về thời g ai n v b n à iê độ ấu ú C tr c gồm nhi uề ớp mảng 2 hi u l c ề nơron ó c c cá kết nối mạng cục bộ (loca là chủ yếu, kl) và ết nối toàn cục (glob l la à) kh gôn nhi uề Có

nơ ron được tích ợp với h c cá tế b oà cảm bi nế (se sin ) và ế n g t b oà tác động (ac atu ting ác nơro) C n ho ạt độ g với n độ ễ th y tr a đổ ci và có ơ chế hoạt động dạng

sóng k h íc ạt ho Các ữ d liệu và ự s kiện (e ev nt là các mản) g tín ệu ph huhi ụ t ộc kh ng ô

gian v à hoặc thời i/ g an

R rõ àng vớic cá tính chất cơ bản nê trên má tín số u y h hiện n ya không có kh ả

n găn tiếp cận n khđế ả năng xử clý ủa ã n o ng ười, đến khả năng xử clý ủa á c c sinh

như hệ thần k ni h n y òà , đ i ỏi h phả h y i t a đổ về kii ến tr c, về ú thuậ to nt á về công ngh ệ

v khà ả năng xử lý song song ủa à c h ng vạn ho ặc à triệu bộ xử h ng lý trên ột m ch p iHiện n ay hầu hếtcác bà itoán ử x lý nả h đều có th ể được gi i quy t được b ng CNN ả ế ằvới bộ công c phát t riển ùụ c ng h ệthốngc cá thư ện ho nvi à chỉn h

Ý nghĩa k a ho họ c v à thực tiễn a đề tài c ủ

CNN mlà ột giả iph pá mở đầu h c o lo iạ má tí vạn năng xử y nh lý dòng mảng dữ liệu Trong n hiềubài t á o nthực ế việc ử lý n t , x ả htrong th iờ gian ực là y uth ê ầ b c u ắtbuộc Tuy nh n iê các phươ g p á xử n h p lý hản truyền thống lại iđò hỏinhi uề th i iờ g an xử lý nhất l à với nh g nữn ả h có k ch ước lớn í th Để đ áp ứ g y un ê cầu đó ng ười t a ãđ và

những c ng cụ xử lý nô ả h thời gian ực ữu hith h ệu và đa g được u nn q a tâm ngh n iêcứu rộng rãi trê nthế ới d c n ề ư đ ểm tr ng đ c b gi o ó hi u u i o ó ó ản chất xử lý song song

Nộ i d g un c a ủ luận ăn v

Phầnn yà t ìr h à tổn qu nn b y g a về sự h hìn th nà h và phát triển công nghệ mạng nơ-ron t ếb oà NN, cơ s C ởto ná học â x y dựn vg à ki nế trúc ủa ạng CNN c m

Đưa mra ột số tính chất liên qu n na đế dải đặc t nh động và ạng há ổn nh í tr t i đị

ph uyi t ến và c , ótrễ tí h hỗ độ trn n n ong mạng nơ r t on ếb oà mvà ối qu na hệ ủ c a CNN với phương n t ìr h vi ph n â đạo hàm riê g và n ôtô mát ế bào t

Ph nâ tíc à m phỏ g h v ô n các ệ h động ực l CNN định ượng về mặt t oán học và l

ph nầ mềm sử dụng một t rong c cá phươn há số học để g p p giải q ết ệc tuy vi hiế ập t l

c cá ODE ủa c c c á hệ động lực CNN Giới t hiệu ề v ph nầ mềm CNN Simu ol ta r- CANDY

nhi uề triển vọng c o nh hiều ứng dụng đột phá Mục tiêu ủa ch c ương n yà là ới t hi u gi ệ

Giới t hi u hệ ai ứng dụng cụ th lể à Xây ựng d mô ì hh n th iị g ácnh nâ tạo v à nhậ dạng n

Kết luận

Chươn g 1: T hiểu về cấu ìm trúc ạng m

Phầnn yà t ìr h à tổn qu nn b y g a về sự h hìn th nà h và phát triển công nghệ mạng nơ-ron t ếb oà NN, cơ ởC s to ná học à v ki nế trúc ủa mạ c ng n ron t ơ ếbào CNN

1 T1 ổng q au n

Sự phát triển ủa c công nghi p iệ đ ệ ử n t và máy tính được em xét bằn 3x g tiến

t ìr nh c cá mạng về h cô gn nghệ1 Cuộc c cá h mạngthứ nhất, má tín c ệ năng y h ó hi u

tính o nt á cao, g á rẻ sử dụng vi i xử lý v ào những năm 1 79 0, ản xu s ất PC à lo t h ng ạvào nh g ữn năm 19 08 ới V công ghệ Lan ser và sợi qu na g g á rẻ, i giảm chi phí ề vbăng th ng vô à o cuối thậ kỷ p 19 08 ạo nền tảng t ch sự o phát triển ủa c ngh nà h ôn c g nghi p n n pệ I ter et hát t riển vào ững năm nh 19 09 Cuộc c cá h mạng thứ 3là cuộc c cá h mạng về công nghệ cảm biến và cuo ối th ập ỷ 1 9 k 9 0 o tạ ra các ộ cảm b biến giá ẻ và r mảng kỹ thuậ v đ ện ử t i i t MEMS (mic e cr -o le otr -mec a i lh nca s sy tem) ăn t g lê n an h nh

giác, h nh iác, t í g khứu iác vị g giác nh nâ ạo và đo được tất cả t các th nô g ố vật l s ý, hóa học sinh ọc h Hàng nghì n vàtriệu tín hi u ệ n og a al được tạo ra và đợi xử clý, ần

thiế mộtt mô h nh nh o nì tí t á mới Để xử mlý ảng n hi u n og ô nh n tí ệ a al m hì A l iog c

Cell lu o par C m ute mr là ột ứng cử viên nặng k ý Lõi ủa c máy tính là ột Mạng tế m

b o hà p i t uyến/nơron2, một mảng xử lý tín hiệu n o a al g độ g hon ặc à ác l c tế à Kiến b o

trúc á m n ny tí h ày à mộtl máy nh vạn năng CNNtí 3, máy tính Analo ic CNN ắt g b

tử và ph nâ ử t

phá a át r c c tí hiệu n on a al g, thời i g an ên tục à c áli v cá gi trị tương ctác ũng là c cá iá g

là một cơ cấu tổ ch cứ nghiêmngặt với một hệ thốn phg ức tạp Ýnghĩa của á c c mẫu

ph p h gé k ôn chỉ môph gỏn mà c n t ết k ò hi ếc cá hệ thống phức ạp t

S tore ro r mma ility d p g a b (Chương t ìr nh được ưu l trữ) do Jo n v n h o Ne mau n

phát i m h là ư đ ểm của n u i máy tính ố với s khả ăng n kh n giới hạn của ô g việc ố hóa s

vậy h o guy n ý t e n ê l Tu nri - Cg hu hrc bất kỳ thuật t o ná trên số nguy n ê được q n ua

niệm b ởi c n ười c o ng óthể mô ả ằn h t b g àm Đệ q yu /K tỹ huậ Tu ngt ri /Grammars Máy tín vạn năng CNNh 4 là một mảng n tí ệu a al g hi n o Là máy nh tí lưu gi ữchương t ìr n h như ột người t m hông m n kh n gii h ô g ớ hạn u gi d n lượng mảng c cá tín

hi uệ a an log ạn năng, tới v các thuậ to n kt á h nô gi n-th ig a ờ g nia tương tự và phần mềm Thuật ngữ kiểu n tí toá An oh n al gic CNN à ực tế l th Có c cá to ná ử thực t i t bh ởi

vi x ửlý ảo v ới 4 96 ho 160 ặc 000 bộ xử , llý ưu trữ, ập l t ìr n h

Ch pi vạn năng CNN là ột m ch pi xử mlý ảng, tương tự t ír tuệ nh nâ ạo, lập t

t ìr nh và c ó chương t ìr lưunh trữ Má tín oà chy h h n ỉ trê mộtnh n ch pi ba gồm một omản 64 6g x 4 0 5 micr on CMOS các ộ xử t b lý ế b oà , ỗi tế m bào cung ấp bằng bộ ccảm biến nh hả c o c c á đầ u ra q ang học u trực ếp ủa ác ti c c ản hoh ặ cc cá vid o òn e c

giao ếp vti à iđ ều hi nk ể mạch như ột bộ m nh og vớ l ic à ộ nhớ tương tự nội bộ Mỗi b

( rt ong ch ế độ tương tự) Thuật ngữ đ o lường SPA (s ee , op d p wer r, a a ce ) i vạn hp

của á c c C lle C( , ) vớii j c c cá hiều ( , i j i), = 1, 2, , M, , (j= 1 2, , N Hình 1 .1)

copy

Hìn 1 h C 1: ấ u trúc m ng n ạ ơ ron ế b o t à tiêu chuẩn

Hiệu ứng cầu của tế bào, S i j r( , ) có b n k nhá í cr ủa e C ll C( , ) đượ định i j c ngh nhĩa ư sau ất c c c c, t á á cell lâ cậnn thỏa mã đ ều kiệ san i n u

Ta thu được S i j r( , )l là ân cận ( r )2 +1 ( r ) x 2 +1 h n 1 ì h 2

+ Trong IC, mỗi ll ce nố tớ ấi i t t c ảc cá lân ận c S i j r( , ) qua ạch “dẫn n p m ạ ”

tớic cá ce kll hác à v S i j r( , ) mlà ột mảng h à chỉn o n h

Định n ghĩa 3: Các ế t b oà th ngô thường (Regul Car ells , và c c) á ế b o b n t à iê(Bo nu dar ells yC )

Một tế b oà C( ) i j, được ọi l g à e r gu a el r c nếu và ll chỉ ếu tất cả n c cá cell lân

b n piê hía goài c ng a ất được gọi ln ù x nh à Ce l cạnh (e e el dg c lls) Kh ngô phải ất cả t

c c cá ell bi n uê đề là ell cc ạnh ếu r>1 n

Định n ghĩa 4:CNN t í ci u huẩn

mảng chữ nhật í k c h thước M N của âc ex c c ll C( , ) i j xâc định ại vị t t ír (i j,),

i=1 2 3, , …M, =1, ,j 2 …N Mỗi ll ce C( , ) i j xâc định ở b icông ức o nth t â học sau:

1 Phương t ìrnh trạn t âg h i t (s a et u oeq ati ) n

(1 2) Khi xij∈R y, k l∈R u, kl∈R v ă zij∈R được gọi l tr ă ạng hâ (st tet i a ), đầu a r

( , ; , ) ă B( ; , ),

dẫn nhập đầu o vă (input sy an p ) được đị h ghĩatic n n dưới đđy

2 Phương t ìrnh đầu ra

(1 3 )

3 Câc iđ ều kiệ ií n b n

Điều ki ện b n x ií âc định y kl vă u klvới c câ ế t b oă thuộc S i j r( , ) của â c c ce ll

4 Trạ t âing h khở tạ i o

(1.4)

“trắng” được ê m h a ẳ l “-1 vă đe ” n được ê m hó ală +1 Đối ới ảnh tĩnh, v u lă hằng kl

số với th i ờ gian, đố với i ảnh ng vđộ ( d oi e ) u lă một kl hăm heo ờ t th i gian Câc biến

khâc ( ( )x 0 , c,yz) ũn đặc trưn g gcho nả h

A(i j l, ;k, , B i j;) (, k v,l) ă th y a đổ theo vị , i t ír (i j) vă th i iờ g an t Tro g n một s ốtrường hợp khâc cũng ó c thể c io A( , ;k, ) B(i j l , i j; l, k, ) vă zij kh g ôn đổi t e h ng h o k ô

gian ă v th iờ gian Trong hầu hết câc trường ợp h h c ung A(i j l, ;k, , i j;) B(, ,l lk ) ă câc

to nâ t ửph uyến i t Câc oân t t ử x k l(t),y k l(t u t x), kl( ), ij(t), ( ), ă yij t v u tij( ),0≤ ≤t t0

Thu được c cá mẫu ô v hướ g n

(A i( , ; , ) )( ), ( , ; , ) ) )j k l o y k l t (B i j k l o u kl ( ,0t ≤ ≤t t

Hì n 1 h 3: C c c á e b ên ll i

Quy lu tậ tiế p th oe phụ thuộc à trạ g t iv o n há (mẫ u C) và các bi nế hỗn hợp (mẫu D t) ương ứ g n

Khi đó ( (C i, ; , ) j k l o x )( ),(k l t0 D(i, ; , ) j k l o u x y ( , ,k l k l kl)( )t0 là àm h phi tuyến của trạng t ihá , đầu v ào u cđầ ra ủa e c ll C( , ) v ij àC( )k,l b oa hàm nhiều nứ g dụng với

hệ số thực và có thể liên qu n a đến thời gian tr ễ(time delays)

Một CNN ất b bi nế kh nô g agi n v đẳng hướng nếu à và chỉ ếu c n ác to n tử áA(i j l, ;k, , B i j; l) (, k, )và to ná ử ngưỡng t zij khôn đổi g theo h nk ô g igan Tro ường ngtrhợp n yà ta có

(1.5)

CNN tiêu chu nẩ (với t o ná tử tiếp ợp uy h t ến tí h) c phương nhn ó trì trạ t ái ng h

như sau đ ề ện t ( i u ki ương ự t phương t ìrnh 2 1 )

(1 *.2 )

1 2 2 Biểu diễn h t eo ma trậ v c n e to r và i đ ề u ện biên ki

Equa oti n ns) =MN ác đị h mộtx n CNN ê cti u hu n ẩ được viế lại như sau t

(1.6)

Kh ói đ

~

ij

X là e tor ó hi uc c ề dài (2r +1)2 c c àá th nh ph ần của e v ctor b o gồm toàn a

bộ bi n ế x kl∈S i j r( , ) với {x kl :k i r l j r− ≤ , − ≤ } Biểu di nễ phương t ìrnh (2 6) bằng

ph ngươ t ìr h vi h nn p â ma trậ M N được ể n x bi u di nễ với cấutrúc CNN 1 1- ( ne-to

o-one) tương gứn

(1.7)

Định n ghĩa 6: Các cell ảo (v r u l cells) i t a

Bất kỳ cell C( )k,l với iđ ều kiện k i− ≤r l, − ≤j r, và k∉{1, , ,2 M} và/hoặc

{1, 2, , }

l∉ N được gọi là ce ảo, ll x y uij, k l, và kl zij tương gứn là trạ g t án h i ảo, đầu vào

Đ i ề u kiện biên

Bất kỳ biế ản o xijở phương t ìr h 1 6 xn ( ) ác đị q a inh u đ ềukiện b n iê thường sử

1 Đ ề ện iê c i u ki b n ố định ( rDi ic let) h

Cá cc ell ảo b n t ái: ê r y i,0=α1, u i,0= β1, i=1,2, M

Cá cc ell ảo b n phải: ê y i,N+1=α2, u i N, +1=β2, 1 2, i= , M

Hìn 1 h M 4: ạc CNN với đ ề h i u kiệ n b n iê ố định c

2 Đ ề ện iê Zer -fl xi u ki b n o u (Ne ma ) u nn

Cá cc ell ảo b n t ái: ê r y i,0=y i,1, u i,0=u i,1, i=1,2, M

Cá cc ell ảo b n phải: ê y i,N+1=y i N, , u i,N+1=u i N, , 1, 2,i= M

Cá cc ell ảo ở đỉnh: y0,j =y1,j, u0,j=u1,j, j 1 2, = , N

Cá cc ell ảo ở đáy: y M+1,j =y M j, , u M+1,j=u M j, , j 1 2, = , N

Điều ki ện iê à b n n y thường áp ụng d tro ngc cá trườ hợp khng ông c đầu ào ó v

ví d ụ uij=0 với mọi i j ( , )

Bởi bvì ất kỳ đầu v o nà ào đề có thể tạou nra ă g lượng từ n b nê ngoài làm cho

au on t o o m s CNN, u là lo iạ CNN qu na trọng với nhi u ngề ứ dụng rộn rãi g

3 Đ ề ện iê i u ki b ntuần o nh à (T i al) o d

Cá cc ell ảo b n t ái: ê r y i, 0=y i N, , u i, 0=u i N, , i=1,2, M

Cá cc ell ảo b n phải: ê y i,N+1=y i,1, u i,N+1=u i,1, 1, 2,i= M

Hình 1 5 : Mạc h CNN ới i v đ ều kiệ i n n b ê Neum n an

Cá cc ell ảo ở đỉnh: y0,j =y M,j, u0,j=u M j, , j 1 2, = , N

Cá cc ell ảo ở đáy: y M+1,j= y1,j, u M+1,j=u1,j, j 1 2, = , N

Hìn 1 h M 6: ạc h CNN th o i e đ ều ki ện bi n ê tuần o (Tor idal) h àn o

d nạ g cell từ ột c b nê rá tương gt i ứn với ll ce ở cộtb nê phả i

Phươn g t ì r nh vi phâ v c n e tor

thường đề đưu a về công thức ạn d g v o ect r, c nghú ta ết lạivi phương r nh v p n t ì i hâ

y uê c ầu ế đổibi n trên 3 c c, á h ườn dùth g ng đ à ól

Hìn 1 h 7: sơ đồ đ 3 óng gói thường dùn g

Sau khi o óba g i lại t hu được h ệ ốn phth g ương tr nì h dạ g vec or n=MN n t

(1 8 ) Haima ận tr A và Bˆ ˆ là a m ận tr n n× gồm c cá phần ử t khác không ần lượt với l

trọng s ố ếp hợti p A(i j;k l) và B(i j; l, , , k, ) ươ t ng đ ng v i 3 sơ đồ đươ ớ ón góg i tở rên

Hình 8 1 : Cấ u trúc b ă n g m a trậ n A Bˆ và ˆ

băn nh g ư h h ìn .8 1 M=N với băng thôn g

Dải tương ứ g với ln 3 ược đồ đóng g i tó ở rê cn o thể ph nâ chia th nhà 2 hoặc nhi uề băn nhg ỏ mỗi băng nhỏ là một ma ận ưa tr th A Bˆ và ˆ là á c c ma trận lớn v, í dụ

góiduyệt h ot e àng, h chỉ c ó0.2% L=106 b(L là ăn hôg t ng của a m trận yđầ iĐ ềunày

ch aỉ r rằng A Bˆ và ˆ là c cá ma trận ất r thưa

1 2 3 S t ự ồ n tại và đơn c trị ủa á g c c n hiệm

Một câu hỏi qu na ọng về “sự tồn tạitr và đơ ị của ácn tr c nhiệm” ho một c

tuy nế n xtí h, em ét mạc x 3 h phi t uy n ế đơn giả sa đân u y

M hạc như h h 1 9a ìn ph ng nươ t ìr h trạ g t ái của nó được đưn h a ra nh sau ư

1

, 0 (1.9) 2

x

= − ≥

Đặc tính phía b nê tay phải trong h h 1 9 b ìn ( ), n hig ệm của phương t ìr nh (1 9 )

Đặc tính phía n t y bê a phải h ình 1 10b, nghiệm ủa c phương t ìr nh (1 11 ) với

đ ềi u ki ện đầ x( )=0 được đưa u 0 ra như sau:

0, 0 ( )

Với mọi T ∈ R Nghiệm n y à được thể hi nệ trên h h 1 0c ìn .1 với nhi uề lựa

chọn kh á cnh ua của T T T= 1, , ,2 T N, với T nhận giá trị ất kỳ mạc c b h ó vô số nghiệm riêng

H ình 1 10: ạch có vô ố n hi M s g ệm riêng, với cùng trạn g thái a đầu 0 b n x( )=0

Xem x t mạch nh é ưh ình 1 1 1a, phương n t ìr h trạ g t ái ư sau n h nh

2

(1 13)

Đặc tính phía n t y bê a phải h ình 1 11b nghiệm ủa c phương t ìr nh (1 13 ) với

đ ềi u ki ện đầ x( )=1 được đưa u 0 ra như sau

1

(1 14)1

tuy n óế c ể th không ó c nghiệm, ặc có nghiệm tồn tại ho nh ngư không phải là duy

nhất hoặc nghiệm kh n liê tục i t≥ bằn c cô g n kh 0 g á hn oà ch n ú gta ác đị h được ay x n h

kh nô g mạch p hi tuyến ó gi c á trị n hig ệm đơn trị ới mọi t≥0 Đây là cơ sở q n v ua

trọng để xác địn ệm cận khhti i t→∞

Địn h lý : Sự t t 1 ồn ại to n à cục và định lý đơ tr ị n

CNN tiê cu huẩn ô m tả bởi phương n 1 t ìr h ( 2) thỏa mãn giả t uy3 h ết sa đây u

[ ( ), , ( )1 n ]T

y= f x f x do ó đ y′= f x( ) và ′ y′′= f x( )′′

(1 7.1 ) Thu được

(1 8.1 ) Kết h ợp phương t ìrnh 1 1 ( 8) và ) (1 17 ta có

đó ˆLđộc lập với x t a0 0, , và b Ch ngú ta có thể ử dụng thủ tục tương tự để chỉ ra snghiệm đơ trị tồn tạin sau 1 L( )/ s hoặc ại b k t ất ỳ th i iờ đ ểm n o à

1 2 4 Giới hạn của á g c c n hiệm

Trongtrường ợ đặc biệt khi h p f( )τ = f0 là một hằng s , ố ta có

Mạch i nđ ệ tương đương đượ cthể hiện trê h nh 13n ì 1

Phần n lớ c c á ứng ụ của d ng CNN ỉ s dch ử ụng CNN tiêu chuẩn ất biến h ng b k ôgian với l ân n 3 3 cậ x (r )=1 Cá e l C( , ) c c l i j ∈ S i j r( , ) v ới c cá mẫunhư sau

Ma trận A k ch thước 3 3 í x được ọi l g à mẫu ô v hướng hồi tiếp v ký à tự

b oa hàm ổng của á t c c c tí h iđ ểm, n n được gọiê là ch ití đ ểm mẫu Tro g t án rời n o

rạc, o nt á tử n y à được ọi l t g à o ná tử “xoắn không gia ” ( a c gọi l tn h y òn à “ ích chậ ” p

trong x ửlý số tín hi u ệ )

Ma trận x 3 3 Y ij trong 1 1( 3 hu được bởi )t việc di ch uyển một mặt nạ mờ với

kích ước cửa sổ 3 3 nth x đế vị t ír ( )i j, ủa c ma trận MxN đầ ra ảnh Y do vậy được u gọi l à ảnh đầu tra ại C( , ) Một i j ph nầ ử t a kl là phần tử trung tâm, trọng ố s hoặc ệ h

số, c mủa ẫu h i tiếp nồ A, ếu v à chỉ nếu ( ) (k,l = , 00)

Để thuận tiện p nhâ tích ẫu m A như sau, kh ói đ Aº và A lần lượ ượ t đ c gọi l à

c cá th nhà ph nầ m ẫu tr ng tâm và đường b n u iê

vào v, à U ij là mặ nạ b nt iê dịch nh ả đầu v oà , tươ g t n ựt acó thể viết

(1 5.3 )

Bº và Bgọi l à mẫu dẫn nhậ ptrung tâm v đườ g iêà n b n

3 Vai tr òtham ố ngưỡng s z ij= z

Tính chất ất ế b bi n không ian c g ủa CNN được mô tả ho nà chỉn nhh ư sau

(1 6.3 )

Ph nâ tích ( 3 ) ta được 1 6

(1 37)

Đặt

(1 38 )

hij: gọi l à a r e fun o ht ti n ( àm tỷ lệ), gij: ọi g là i m iđ ể đ ều khi nể ( rd iv ng poi i t-n

DP), ij:w hàm bù( ffo se e et l v ) l

1 2 6 Ba hân lớp mạng nơ p ron ế b o t à đơn ản gi

vô số mẫu CNN riêng r , ẽ sa đâ là u y 3 h np â lớp n n gi n nh co đơ ả ất và d ễtín toá h n

Định n gh 7:ĩa Trọng số dẫn nạp kích th híc (E txci a ot ry) và trọn ố dẫn nạp g strễ (Inhibitory)

Trọng số dẫn nạp hồi tiếp a kl là hệ số kích t íh ch nếu v à chỉ ếu ó ó n n c gi tr á ịdương Trọn số dẫn nạpg là “k c í h t íh c ”h làm c h o hàm ỷ lệ t h x w ij( ,ij ij)luôn dương với đầu v ào dương và do ó ng gđ tă iá tr ịx ijtăng àm tỷ ệh l x t ij( )

Hìn 1 4 h 1 : Cấu ú tr c ph n lớp của CNN â

( )a Cấu ú tr c luồng tín hi uệ của CNN ới lân cận 2 ó v : b ng ìn n tượng h h nó

trưng c o ọng số tậph tr tru g của in đ ện th ế đầu v ào (i p tn u vo age) à ilt v đ ện th ếđầu ra (ou u otp t v lta eg c ) ủa cell (k, l Є N1 i, C ) ( j ) đến iđ ện thế trạng há ủa ct i c ellC( )i j,

( )b Cấu trúc ủa e c c ll C( , Mi j ): ũi t ên được n đậm đánh dấu i đường dữ liệu

song ong từ đầu vs ào tới đầu cra ủa các cell đường biên tương g ứn u kl và y Mũi kl

tên nh ạt hơn bi u ể di nễ mức ngưỡn , đầ vào, trạng th i, v đầu ra tương ứng là g u á à , ij, và ij

z x y

Định n ghĩa 8: Phân lớp Zero-feedba (fck eed r r ) fo wa d ζ( B ) 0, ,z Hình 1 15 ( )

như sau:

(1 9.3 )

Hìn 1 5 h 1 : Ph lớ ân p Ze ro-fe dback e ( f eed o a f rw rd ζ 0 B z) ) ( , ,

Hìn nh ón tượng trưng trọng ố tập s trung i nđ ệ th ế đầu vào và đầ cura ủa c ells

C(k, l Є N1 i j) (, ) đến ce l i jl C(, M) ũi t ên n dậm i thể hi nệ tín hi u ệ đầu vào ừ c c t á

cell đường biên Tr ng trườ g hợpo n n yà , không có tí ệ tự hồi tiếp về n hi u cell C(i j,)

v kà h nô g kết hợp v i đầu cớ ra a c c eủ á c ll đường b ên i

Định n ghĩa 9: Phân lớp Zero-input (Aut n oo om s) (u ζ A, , 0 z (Hìn 1) h 16) CNN thuộc ề lớp v zer -o in ut lp c ass ζ(A, , n0 z) ếu và chỉ nếu tất cả các th nh à

ph nầ mẫu fee f r rd o wa bằn 0d g , B ≡ Mỗi l0 ce l của lớp zer -o in up NN đượ tC cmô ả tbằn phg ươn t ìg n nhr h ư sau

(1 0.4 )Hìn nh ón tượng trưn c og h trọ số tậpng tru g in đ ện th ế đầu ra cells C(k, l) ЄN1(i j, đến ) cell C(i j ),

Mũi tên n đậm i chỉ n hiệu hồtí i ti ếp t ừđầu ra của c c e á c ll đườn bg iên Trong

trườn hợ pn yà kh ng c n hiệu đầu o ô ótí và

Hìn 1 6 h 1 : Phâ lớp n Zero-input (Aut o o on m s) ( u ζ A, 0, z )

Định n ghĩa 0 1 : Phân lớp Uncou led p (sca al ) ζ (r Aº, z) hB, , ình 1 17

CNN thuộc lớp h k ông liê kết ζ n (Aº, B z) ếu và chỉ ếu aij = 0 tại i j, n n = , A

≡ M0 ỗi ll ce của CNN kh n( ô g liên ết k ) un o pc u el d đượ cmô ả ằn ph t b g ương n t ìr h vi

ph nâ gốc phi tuyến vô hướn , kh ng cặp đôi với g ô c c cá ell lân ận ủa nó c c

(1 41 )

Hình 1 7 h n p .1 : P â lớ Uncoupled ( scalar ζ (A B ) º, , z)

Hìn nh ón tượng trư ch ng o trọng ố tập s tru của ing đ ện p đầu cá ra ủa á e c c c ll

C(k, l Є S1 i, j đến ) ( ) cell C(i, j M) ũi t ên đậm ỉ tín ch hi u uệ đầ vào ừ c c ce t á ll đường b n oiê tr ng trường n y à , c cá d ng dữ ò liệu được đơ ả hóa ằm n gi n n trong c c á

dòng đượ đc án đấ bởi các mũi th u ên mờ chỉ tồn tại sự tự phản hồi hvô ướng, và

kh nô g kết hợp v i đầu ra c a ác eớ ủ c c ll đườn bg ên i

Chúng ta không đề cập h c i ti t ế nghĩa vậtý lý và s nh học của ác ai c th m số

được một mạch i nđ ệ thự tế c c ủa c cá cell Trong h h 18 ìn 1 nguồ dn òng iđ ều khiển p áđược sử dụng để thực t i h c cá cặp tham ố khác s nh u Từ đó óa c thể ễ d d ngà thiế ế t k

Hìn 1 18 h : Cấ u trúc Cell c ủ a m t ộ C N N t ê c i u huẩn C( , ) i j

Biểu tượng h h h ìn t oi là guồn dn ng iò đ ều khi n p gể á , i trá ị dòng được đưa ra tương g ứn để đ ề i u khiển u k l vày kl, a k l orb kl, lo iạ trừ h hìn t iho ph a ngoài cùng bên íphải f x( )ij của l iõ bên trong l à nguồ d nn ò g i u kđ ề hiển áp h uyp i t ến, kết quả cho điện th ếđầu ra y ij = f x( )ij

Hì n 1 9 h 1 : H nh ản ì h mi họ ế n h a t b o à C(i j) i , đ ển h h ìn nhận đầu vào ừ mộ ơ t t n ron

c ảm ế p í ê bi n h a b n trái và ơ ro lâ cận p a n n n hí dưới q a u ế bà t o tiế t e tương n p h o ứ g

1 2 7 Lược đồ lưu lượng ô m tả luồng tín hi u ệ d ẫ n n p ạ

n pạ ch các mẫuo A và B h h 1 0 ìn .2 và 1 , có lược đồ ể 21 2 bi u di nễ chí h xn ác

và

k l kl

a b tương gứn Loại trừ c c á t ký ự {a a đối với lược đồ lu00, kl} ồng n hiệu A, và tí

{b b đối với lược đồ00, kl} luồng tín hi u l ệ B, 2 ược đồluồng tín hi u n y ệ à là như n u ha

hi u ệ đi và ocell C )(i,j ,ngược lại đường b n iê m chỉ ờ thị luồng tín hiệu đi ra khỏ cei ll

Ví dụ, hệ ố s a−10kết hợp với 2 đườn b ng iê b t đầu t ắ ừCell phía c bắ ( )N v kết à

thúc ở c l ph a ael í n m ( )S ởi ì B v ce C( -ll i 1, ) rên j t đỉn à ceh l ll phía ắc v B so ới cell

trung âm C( , ) , t i j và ce ở đáy à C( +1 ) Cll l i j ùng q a sá u n tcác ứng ụn d g đế n c cá ặp c

th oe chiề an và và tất cả u ng g c cá cặp h o t e đường c é trê c g một hướng của h o n ùn

b niê sẽ kh nô g xuất hi nệ trên ược đồ l luồng tín hi u ệ , do đ đối với ó các ẫu m n yà ch ỉ

Hìn 1 1 h 2 : Lược đồ d n ò g tín hi ệu ẫn ạp đầu d n ra B kết hợ ớ p v i mẫu B

a) M ẫu v B ới trọ s tng ố ự dẫn nạp đầ vào u b00

b) L ược đồ luồng tín hi uệ B

1 K 3 ết luận

giới t hi uệ ến ki trúc tiê uchuẩn ủa c CNN Các kiến trúc li n kết ê c cá ế t bào, các ớp lkết nối nội bộ, c cá hàm to ná học tương ứng à ữ g c ú t íc th n dv nh n h h h ườ g ùng, dạng

dẫn p nạ ” c c, á mẫu ô v hướng ho ặc á c c ge được ấ mạnh n nh n

Chươn g 2: Phâ tíc các đặc n h tính ủa c

mạng CNN

Về lý thuyết có thể địn n h ghĩa một mạngCNN c hi u hi uón ề c ề , ưng nh ở đây

chúng t tập ua tr ng tr ngo trườn hợp mạng g CNN ai c ềuh hi ch o bài to ná xử lý nh ả

nh na h Từ kếtquả n yà có ể m r th ở ộng ra các ứng ụ d ng c aủ CNN nhi uề hiều c

Một số tính chất l iên q u n na đế dải đặc ính động và trạnt g h t ái ổ địn của n hmạng nơ ron ế t b o à được đề cập Tín hchất ương t tác ữa tế gi b oà với c cá ế t b oà lân cận gần nhất ủa mạng nơ c ron tếb o ó khà c ả nă g ễ n d dàng thực hi nệ bằng cô g gh n n ệ

bộ với c cá ế t b oà lân ận gần nhất, c nh ngư mạng CNN ũng c có nhi u ề đặc iđ ểm toàn cục b ởi tính l tan ruy nề của mạng

2 1 1 Cấ u ú tr c m ng ạ CNN hai chi u ề

Mạng CNN hai c ều hi ởh h ìn .1 2

H ình 2 1: Lân ận của c cell C( , ) ầ lượt i j l n vớ i r=1 r=2 r=3 , ,

C uấ trúc c ủa NN cũnC g gi g ốn ư nh Ôtôma tế b ot à , bất ỳ k cell n oà tron CNN gchỉ kết nối tới cel ân cận, l l các ế t b oà liền ề lại k có những ảnh hưởng tương ltác ẫn

nh ua Các cell không kết nối tr ực ếp với nh u óti a c thể ảnh hưởng giá tiế đến các n p

Cell ở h ngà th jứ cvà ộ ứ gọi lt th i à cell i j ( , , ký hiệ C( , ) u i j

Địn n h gh a ĩ : L n cận r-của 1 â cell C(i j) đ , ược địn n h gh a ĩ nh ư sau

r- là số nguy nê dương Hìn 2 h 1 chỉ ra 3 lân ận của c cùng ột ll m ce

Thông thườn i r=1 được gọi l lgkh à ân cận 3×3, r= 2là lân ận 5 c ×5 và r= là 3

( , )

r

ví dụ về c ấu trúc cell C(i,j) ới v các ký hi u ệ đầuvào trạng t i, há và đầ lura ần lượt l à , u

x v à c c y á t inú đ ện th ế v xij của C(i j) , đượ gọc i l à trạng há c a ct i ủ ell v đ ềuà i kiệ n n bađầu của v xij được gi t ết cả hi có ường độ nh hơn hoặc bằn 1ỏ g Các út in đ ện th ế v xij

được gọi là đầu vào ủa C(i j) c , Các ú n t iđ ện th ế vyij được gọi l à đầu ra

dòng độc lập mI, ột iđ ện ở uyến ntr t tí h C, ai ih đ ện trở t ếnuy tính R x và R y và tối đa

2m n ồn p gu á điều khiển ò g d n tuy nế tín é t à h mộ ặ ớh gh p h n t c p t icác ce l ân cận qul l a điều khi nể iđ ệnth ế đầu vào vuij, và phản hồi từ điện th ế đầu ra vyij của mỗi cel ân l l

c nậ C(k,l), k i đ sh óm là ố lượng cá cc ell lân cận I x y, ( , , , )i j k l và I x u, ( , , , )i j k l là a h i nguồn ònd g iđ ều hi n p k ể á t ến tí h, uy n thỏa mãn I x y, (i j, , , )k l =A i j k(, , , )l v ykl và

, ( , , , ) ( , , ),

Hình 2 2 : Mô hì h củ n a m t cell ộ

Chỉ có các phần ử t ph uy ni t ế trong ỗi m ce àll l nguồn d ng iò đ ều khi nể p á

tuy nế ntí h p ân o n h đ ạ Iyx =(1/R f v y) ( )xij với đặc tính f(.) nh ư h n 2 ì h 3 Tro g đó n

hàm f( ) là hàm ã h a có đặc tí h được m t b o ò n ô ảtrong h h 2 ìn .3

Hì nh 2 .3: Đườ ng đặc nh của gu tí n ồn đ ề i u khi n ph uy ể i t ến

đồn nhg ất, b oa gồm phương t ìr nh trạng t ihá ph n, ươ g trình đầ vào, một số đu iều ki ện ràn bug ộc, và một s ốthông số gi ả định

Phương n t ìr htrạng t ái h

(2.2a) Phương n t ìr h đầ ra u

(2 2b ) Phương n t ìr h đầ ào u v

(2.2c)

Đ ềi u kiệ iàn ộc n g bu

(2 d.2 )và 2.2e( ) Các th ngô số gi ả định

(2.2 f)

Động lực học của á c c tế bào CNN có ả cơ c chế liên ệ ngược h (fe dba k) từ e cđầu ra và liê hệ n thuận (feed o wa d quf r r ) a đầ vu ào i uđ ề hi nk ể Ảnh hưởng ủa đầ ra c u

liên h ệngược ồ ếp h i ti phụ hut ộc à v ọng số tươotr ngtác A( j; ,l) à đ c i, k v ượ coi l à to n á

tử liên ệ ngược á h T c động của đầ vào ụu ph thu c ộ vào trọn số B(i j lg , ;k, ) được gọi là

to ná t dử ẫn n p đầu vạ ào M t số ộ nhận xét chung:

a) Tất cả c cá ế b t à co( ell) ê tro của mạng nơ b n ng ron ế t b oà c có ùng ấu trúc cmạch và gi trá ị các ph nầ ử trong mạch t Những ế t b oà b nê trong n yà có (2r+1)2 tế

b o nà lâ cận, tro g n đó rlà ùn v glân ận, c đã định nghĩ ở tr n a ê Các ế bà t o kh á được c gọi l à tế b oà b oa qu nha ạ M ng n ơron ế t b oà là p h p của ác tậ ợ c ph nươ g t ìrnh vi p n hâ

ph uyi t ến c ủa c cá ế ào tr t b ong mạng

b) Đặc tí h động của mạng nơ n ron ế t bào b oa gồm cả h phai ần iđ ều khiển

đầu v ào vàphản hồi đầu Kra ết qu ph nả ả hồi đầu raphụ thu vộc ào ọng số liên kết trA(i j, , , k kl), ết quả ủa i c đ ều hi n k ể đầu và ụ thuộc ào ph v o trọng số B(i, j, k, l) Do

đó A(i, j, , l) ược k đ coi như toán ử t phản ồi h , B( , i j, k, ) à oán tử điều khi nl l t ể Ta còn gọi A và B à ál c c mẫu (tem late) của mạngp Ngoài ra ng n ưỡ g I cbias òn đượ ký c

hi uệ là ệu dịch hi z cũn i g đ ng vó ai t r a ò qu n trọng tr g đặon c tính ng của mạng độCNN

c) Giá trị ủa c c cá ph nầ ử trong mạc c t h ó th ể được chọn y tù ý Tr ng o thực ế, t

10− ÷10− s

2 1 2 Dả i động c a CNN ủ

Trước khi thiế kế mạn n ut g e ral tế b oà vật l ý cần thiết phả biế tới dải động i t

để đả m bảo đáp ứ g giả t uyết về đn h iều ki ện về phươn t ìg r nh độ g ực tế b o n l à được

đề c ập trong ph n trước ầ

Địn h lý : 1

t>0 được c xá địn như sau h

Khi

1

ij

u ≡ E  ×M N xác địn v oh ect r đầ và c ề k ôu o 2 hi u h ng đổi Phương

t ìr n 4h ( a) à ph ngl ươ r nh sa t ì iph n â được nh tí như sau

(2.5) Suy ra

(2.6)

Kh ó i đ

(2.7a)

Và

(2 7b ) Khi v xij(0) và vuij thỏa ã m n iđ ều kiệ (2 ) v (2 ) kh ó n d à e i đ v tyij( ) 1≤ (2.8 với )mọi t T ừphương t ìr n ( 2 ) c ng vớih 2 b ù (2 6 và (2 7) a c) t ó

ph ng n 2ươ t ìr h( 3)