Luận án Tiến sĩ Kỹ thuật: Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

Trang 1

NGUYỄN TÀI TUYÊN

PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Trang 2

NGUYỄN TÀI TUYÊN

PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG

CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203

LUẬN ÁN TIẾN SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC

1 PGS.TS NGUYỄN QUANG HOAN 2 TS NGÔ VĂN SỸ

Trang 3

DANH MỤC CÁC TỪ VIẾT TẮT .ii

DANH MỤC CÁC KÝ HIỆU TOÁN HỌC v

DANH MỤC BẢNG vii

DANH MỤC HÌNH VẼ viii

MỞ ĐẦU 1

1 Tính cấp thiết của luận án 1

2 Mục tiêu nghiên cứu của luận án 3

3 Đối tượng và phạm vi nghiên cứu 3

4 Phương pháp nghiên cứu .3

5 Đóng góp của luận án 3

6 Cấu trúc của luận án 4

CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 5

1.1 Tổng quan về mạng nơron nhân tạo 5

1.1.1 Mô hình cấu trúc mạng nơron nhân tạo 5

1.1.1.1 Mơ hình một nơ ron Mc.Culloch Pitts's 5

1.1.1.2 Phân loại mạng nơron nhân tạo 8

1.1.2 Học trong mạng nơron nhân tạo 13

1.1.2.1 Học có tín hiệu chỉ đạo 13

1.1.2.2 Học khơng có tín hiệu chỉ đạo 14

1.2 Mạng nơron tế bào chuẩn của Leon O Chua 15

1.2.1 Láng giềng r 16

1.2.2 Sơ đồ nguyên lý hoạt động 16

1.2.3 Mơ hình tốn học của mạng nơron tế bào 18

1.2.4 Mạch điện của một tế bào 19

1.2.5 Mơ hình hình học của nơron tế bào chuẩn 21

Trang 4

1.2.6.5 Xác định của hàm Lyapunov E(t) 25

1.3 Tình hình nghiên cứu CNN trên thế giới và Việt Nam 26

1.3.1 Nghiên cứu về cấu trúc của CNN 26

1.3.1.1 Mạng nơron tế bào một lớp và có trễ 26

1.3.1.2 Mạng nơron tế bào nhiều lớp 26

1.3.1.3 Mạng nơron tế bào lai mờ 26

1.3.1.4 Mạng nơron tế bào bậc cao 27

1.3.2 Ổn định của mạng nơron tế bào 28

1.3.3 Học trong mạng nơron tế bào 29

1.3.3.1 Học tìm A, B, RPLA 29

1.3.3.2 Bộ nhớ liên kết 29

1.3.4 Ứng dụng mạng nơron tế bào 29

1.3.4.1 Ứng dụng mạng nơron tế bào trên thế giới 30

1.3.4.2 Ứng dụng mạng nơron tế bào tại Việt Nam 30

1.3.5 Nhận xét 31

1.4 Phát biểu bài toán nghiên cứu 31

1.5 Kết luận chương 1 32

CHƯƠNG 2 PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠ RON TẾ BÀO BẬC CAO 34

2.1 Mạng nơron tế bào bậc hai 34

2.1.1 Mơ hình tốn học của mạng nơron tế bào bậc hai 34

2.1.2 Ổn định mạng nơron tế bào bậc hai 36

2.1.3 Chứng minh hàm E(t) là hàm bị chặn 37

2.1.4 Chứng minh đạo hàm của hàm E(t) khơng dương 38

2.1.5 Tính ổn định trạng thái xij(t) và đầu ra yij(t)của CNN bậc hai 41

Trang 5

2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương 49

2.2.5 Ổn định trạng thái xij(t)và ổn định đầu ra yij(t) của CNN bậc cao 54

2.3 Mơ phỏng cấu trúc và xác định tính ổn định của CNN bậc cao 56

2.3.1 Bài tốn mơ phỏng 56

2.3.2 Kịch bản mơ phỏng 57 2.3.3 Công cụ mô phỏng 58 2.3.4 Thuật tốn 58 2.3.5 Kết quả mơ phỏng CNN 59 2.3.6 Nhận xét 61 2.4 Kết luận chương 2 62

CHƯƠNG 3 BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 63

3.1 Bộ nhớ liên kết 63

3.2 Bộ nhớ liên kết trong mạng nơron tế bào 63

3.2.1 Bộ nhớ liên kết của CNN chuẩn 63

3.2.1.1 Mơ hình tốn học cấu trúc bộ nhớ liên kết 63

3.2.1.2 Bộ nhớ lên kết A(i, j;k,l) 65

3.2.1.3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm bộ nhớ liên kết 70

3.2.2 Bộ nhớ liên kết sử dụng CNN bậc hai 73

3.2.2.1 Mơ hình tốn học cấu trúc bộ nhớ liên kết bậc hai 73

3.2.2.2 Mơ hình học hay bộ nhớ lên kết bậc hai 74

3.2.2.3 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm bộ nhớ liên kết 80

3.2.3 Kết luận 84

3.3 Mơ hình ứng dụng thử nghiệm CNN bậc cao 85

3.3.1 Mơ hình tích hợp CNN bậc hai với STM32 và FPGA 85

Trang 6

3.3.2.1 Ứng dụng CNN bậc hai trong bài tốn ni trồng 88

3.3.2.2 Ứng dụng CNN bậc hai trong cảnh báo sớm cho bệnh nhân dung thuốc kháng Vitamin K 91

3.4 Kết luận chương 3 95

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 96

1 Kết luận 96

2 Hướng phát triển của luận án 96

CƠNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 97

TÀI LIỆU THAM KHẢO 98

PHỤ LỤC 1 107

PHỤ LỤC 2 116

PHỤ LỤC 3 118

Trang 7

công bố với các tác giả khác đều được sự đồng ý của các đồng tác giả trước khi đưa vào luận án Các kết quả trong luận án là trung thực và chưa từng được công bố trong bất kỳ cơng trình nào khác

Tác giả luận án

Trang 8

Tơi xin bày tỏ lịng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, TS Ngô Văn Sỹ người đã động viên, trao đổi nhiều kiến thức và chỉ bảo tơi vượt qua những khó khăn để hồn thành luận án này

Tơi cũng xin gửi lời cảm ơn chân thành tới Viện trưởng, TS Nguyễn Thế Truyện, PGS.TSKH Nguyễn Hồng Vũ và các nhà khoa học khác tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), bộ Cơng Thương đã có những trao đổi, góp ý để tơi hồn thiện luận án và giúp đỡ tơi trong quá trình học tập, nghiên cứu

Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Công nghệ Bưu chính Viễn thơng đã tạo điều kiện, quan tâm giúp đỡ để tơi có thể hồn thành luận án

Cuối cùng, tôi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, những người đã ln ủng hộ, giúp đỡ và hỗ trợ tôi về mọi mặt để tơi hồn thành luận án

Tác giả luận án

Trang 9

BAM CNN CNN-UM CMOS IEEE FIRDDCNNs FPGA HiCNN HSYNC IO INR LUT MCNN MCUs MLP MTA PC PE RAM RC

Bidirectional Associative Memory Cellular Neural Networks

CNN Universal Machine Complementary Metal Oxide Semiconductor

Institute of Electrical and Electronics Engineers

Fuzzy Delayed Reaction-Diffusion Cellular Neural Networks

Field Programmable Gate Array

Higher-order Cellar Neural Network Horizontal SYNChronization

Input Outside

International Normalized Ratio

Look Up Table

Multi-Layer Cellular Neural Networks

Microcontroller Unit Multi-Layer Perceptron

Magyar Tudományos Akadémia Personal Computer

Processing Element Random Access Memory Resistor, Capacitor

Bộ nhớ liên kết hai chiều Mạng nơron tế bào Máy tính vạn năng CNN Chất bán dẫn ôxit kim loại bù

Viện Kỹ sư Điện và Điện tử

Mạng nơron tế bào khuếch tán mờ có trễ

Mảng cổng logic có thể lập trình được

Mạng nơron tế bào bậc cao Đồng bộ ngang

Đầu vào bên ngồi

Tỷ lệ chuẩn hóa quốc tế về đơng máu

Bảng dị tìm

Mạng nơron tế bào nhiều lớp

Bộ vi điều khiển Perceptron nhiều lớp

Viện Hàn lâm Khoa học Hungary Máy tính cá nhân

Phần tử xử lý

Trang 10

SC-CNN SOM STM32 TCP/IP UART VLSI VSYNC Algorithm

State Controlled Cellular Neural Network

Self-Organizing Feature Maps ST Microelectronic 32

Transmission Control Protocol/ Internet Protocol

Universal Asynchronous Receiver/ Transmitter

Very-Large-Scale Integration Vertical Synchronization

Mạng nơron tế bào điều chỉnh trạng thái

Bản đồ tự tổ chức

Mạch tích hợp vi điều khiển 32 bit của STMicroelectronics Giao thức điều khiển truyền nhận/ Giao thức liên mạng

Bộ truyền nhận dữ liệu nối tiếp không đồng bộ

Trang 11

A(i,j; k,l;…;q,z) B(i,j; k,l;…;q,z) C C(i,j); C(k,l) maxE(.)F(.)G(.)ig( j)g xI hoặc W0ijIMN( , ); ( , )rrN i j N k l, x, yR R Ru,;ijk luu( )tvivijWijwjkw

Các tham số phản hồi đến tế bào thứ (i,j) từ các đầu ra (k,l;…;q,z) của mạng nơron tế bào bậc cao

Các tham số đầu vào ngoài đến tế bào thứ (i,j) từ các đầu vào (k,l;…;q,z) của mạng nơron tế bào bậc cao

Tụ điện của tế bào (i,j) Tế bào tại (i,j); (k,l)

Giá trị lớn nhất của hàm Lyapunov hoặc hàm năng lượng Hàm mô tả cấu trúc

Vectơ hàm tương tác đầu ra

Hàm tương tác đầu ra của nơron thứ i

Hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation Function) hay hàm chặn (Squashing Function) của nơron j

Độ lệch (Bias) hoặc ngưỡng (Threshold) của nơron Ngưỡng, xác định ngưỡng kích thích hay ức chế (hằng số)Số hàng của mảng (ma trận) nơron tế bào

Số cột của mảng (ma trận) nơron tế bào

Các tế bào láng giềng N của tế bào (i,j); (k,l) với bán kính r

Điện trở tương ứng với tế bào (i,j), với trạng thái x, đầu ra y

Vectơ đầu vào ngoài

Biến vào (ij) và (kl) của nơron tế bào

Tổng các đầu vào mô tả thế năng tác động ở thân nơron

Tổng các đầu vào của nơron j

Độ lệch trọng số kết nối nơron thứ j tới nơron thứ iTrọng số ngoài đến tế bào (ij)

Trang 12

 ( )t ;ijIxHệ số chỉ tốc độ họcTích phân

Trang 13

Bảng 3.3 Ma trận A( , ; , )i j k l , vectơ Y và trạng thái X 66

Bảng 3.4 Gọi lại mẫu đã được học của bộ nhớ liên kết CNN chuẩn 71

Bảng 3.5 Bộ nhớ liên kết CNN chuẩn nhận mẫu sai 1 bit 72

Bảng 3.6 Ma trận A( , ; , ; , )i j k l m n của bộ nhớ liên kết CNN bậc hai 75

Bảng 3.7 Pha học của bộ nhớ liên kết CNN bậc hai 75

Bảng 3.8 Tính vectơ trạng thái của bộ nhớ liên kết CNN bậc hai 76

Bảng P3.1 Tính số đầu vào ngồi của một tế bào với bán kính r 120

Trang 14

Hình 1.3 Hàm bước nhảy đơn cực 6

Hình 1.4 Hàm Sigmoid đơn cực 7

Hình 1.5 Hàm Sigmoid lưỡng cực 7

Hình 1.6 Phân loại mạng nơron nhân tạo 8

Hình 1.7 Năng lượng mạng E(x) 11

Hình 1.8 Minh họa cấu trúc mạng liên kết hai chiều 12

Hình 1.9 Mạng nơron tế bào có kích thước M N 15

Hình 1.10 Sơ đồ nguyên lý của một tế bào 16

Hình 1.11 Sơ đồ khối của một tế bào 17

Hình 1.12 Hàm đầu ra tương ứng với phương trình (1.33b) 19

Hình 1.13 Mạch điện của một rơron tế bào 19

Hình 1.14 Sơ đồ của CNN chuẩn trên Matlab 21

Hình 1.15 Mẫu [A B I] của CNN chuẩn 22

Hình 1.16 Một số kiểu lưới điển hình của CNN 22

Hình 1.17 Mơ hình đa tương tác tương ứng cơng thức 1.50 32

Hình 2.1 Cấu trúc của nơron tế bào bậc 2 trên Matlab với r=1, M=3, N=3 44

Hình 2.2 Sơ đồ cấu trúc mạng nơron tế bào bậc 2 trên Matlab ghép theo mảng A và B của tế bào có kích thước (44) 45

Hình 2.3 Kết quả đầu ra x11,x22 theo (kịch bản 1) trên Matlab 59

Hình 2.4 Kết quả đầu ra y11,y22 theo (kịch bản 1) trên Matlab 60

Hình 2.5 Kết quả đầu ra x11,x22 theo (kịch bản 2) trên Matlab 60

Hình 2.6 Kết quả đầu ra y11,y22 theo (kịch bản 2) trên Matlab 60

Hình 2.7 Kết quả đầu ra x11,x22 theo (kịch bản 3) trên Matlab 61

Hình 2.8 Kết quả đầu ra y11,y22 theo (kịch bản 3) trên Matlab 61

Trang 15

Hình 3.6 Sơ đồ kết nối của CNN bậc hai làm bộ nhớ liên kết 79

Hình 3.7 Kiến trúc của FPGA 85

Hình 3.8 Hệ thống thu thập và xử lý ảnh dùng vi điều khiển 86

Hình 3.9 Sơ đồ hệ thống thu thập xử lý ảnh trên nền tảng FPGA và STM32 87

Hình 3.10 Mối quan hệ trong hệ thống ni trồng thơng minh 89

Hình 3.11 Tính tương tác đa chiều của CNN bậc hai trong hệ thống 89

Hình 3.12 Sơ đồ hệ thống Smart Farm sử dụng HiCNN và STM32 90

Hình 3.13 Sơ đồ khối gửi thơng tin cảnh báo sớm cho bệnh nhân sử dụng thuốc kháng Vitamin K 92

Trang 16

Mạng nơron tạo nên sức mạnh nổi trội nhờ khả năng tính tốn song song [7, 16, 48] và khả năng học [21, 31, 35, 90] Trong ứng dụng, mạng nơron rất hiệu quả cho tính tốn thơng minh [68, 71], đặc biệt cho lớp các bài toán nhận mẫu (nhận dạng) và xử lý ảnh [12, 17, 18] Mạng nơron học sâu, tích chập [35, 52, 53] là một mạng nơron nhiều lớp mang lại hiệu quả cao và đang là vấn đề nóng trên thế giới Một nhóm mạng khác là mạng hồi quy, điển hình và phát triển nhất là CNN [15, 22, 59, 75] đã được chế tạo thành máy tính nơron mảng đa năng [64] và được coi là thân thiện với mạng nơron học sâu [25] Luận án hướng về CNN đa tương tác (CNN bậc cao), phát triển từ CNN chuẩn của Leon O Chua [11] được đề xuất năm 1988 Leon O Chua là người đạt giải thưởng thường niên đầu tiên của IEEE Gustav Robert Kirchhoff năm 2005 về phát minh ra mạng CNN và thành cơng trong chế tạo máy tính nơron đầu tiên trên thế giới

1 Tính cấp thiết của luận án

a) Những ưu điểm nổi bật của mạng CNN

- Thứ nhất, điều hấp dẫn nhất với tác giả khi nghiên cứu CNN là mạng này đã được chế tạo thành máy tính nơron mảng tương tự [64] đầu tiên trên thế giới Đây là một kết quả đạt được từ mơ ước con người muốn có một máy tính nơron phỏng theo hoạt động giống bộ não của con người Trước Leon O Chua, Hopfield [14, 24] đã thử nghiệm mạng nơron Hopfield trên mạch khuếch đại toán tử nhưng chưa xây dựng các thiết bị đó thành máy tính Mặt khác, máy tính CNN là loại máy tính mảng nơron tương tự, phải chăng đây là thời kỳ máy tính mảng tương tự [64] hiện diện trong vịng xốy trơn ốc kế tiếp thời kỳ rực rỡ của máy tính số

Trang 17

- Thứ tư, thực tế chỉ ra rằng khi nghiên cứu CNN ở viện Hàn lâm Khoa học Việt Nam [51, 61, 69] cho thấy máy tính mảng nơron tương tự cho kết quả xử lý ảnh với tốc độ cao Minh chứng được thể hiện với bài toán đếm số lượng tà vẹt trên đường ray tàu hoả cao tốc của Việt Nam với độ chính xác đáng khâm phục

b) Những vấn đề mà CNN chưa được quan tâm

- Cấu trúc CNN có độ phức tạp lớn Nhưng với cơng nghệ hiện nay có thể giải quyết được bằng phần cứng và phần mềm, cơ sở dữ liệu lớn (Big data) Bằng chứng là mạng nơron học sâu với hàng trăm lớp đã khơng cịn là vấn đề trở ngại trên cơ sở điện toán đám mây Đây là lợi thế cho tác giả triển khai CNN bậc cao với độ phức tạp lớn

- Bộ nhớ liên kết dùng CNN hiện nay ít được đề cập tới, trong khi mạng Hopfield và mạng BAM đã có tổng kết và đánh giá về khả năng nhớ [58] Đây là vấn đề sẽ được đề cập đến trong chương 3 của luận án

- Mặc dù cấu trúc của CNN đã tiến tới cấu trúc CNN nhiều lớp Nhưng đang dừng lại ở liên kết tuyến tính cho đầu vào và cho phản hồi (được trình bày ở chương 1) Trong các cơng trình nghiên cứu, hầu như chưa thấy liên kết đầu vào và phản hồi dạng đa thức bậc 2 và bậc 3 v.v… Trong thực tế, khi áp dụng giải hệ phương trình vi phân khơng chỉ có mảng đầu vào và mảng phản hồi tuyến tính mà tồn tại các đầu vào và phản hồi dạng đa thức

c) Lý do chọn đề tài

Trang 18

sử dụng tiêu chuẩn ổn định đầy đủ

c) Thử nghiệm cấu trúc CNN đa tương tác dùng làm bộ nhớ liên kết và một vài khả năng ứng dụng khác

3 Đối tượng và phạm vi nghiên cứu

a) Về lý thuyết

- Tác giả sử dụng phương pháp quy nạp để xây dựng mơ hình và chứng minh tính ổn định cho CNN bậc hai sau đó suy diễn cho CNN bậc cao

- Tác giả tập trung phát triển cấu trúc CNN bậc cao (đa tương tác), xét tính ổn định CNN bậc cao

b) Về ứng dụng

- Sử dụng phần mềm Matlab và Java để mơ phỏng và kiểm chứng tính ổn định của mạng CNN bậc cao

- Sử dụng CNN bậc cao làm bộ nhớ liên kết

- Kiểm chứng khả năng thực hiện CNN trên các mạch điện tử (FPGA) và các ứng dụng khác

4 Phương pháp nghiên cứu

a) Kế thừa mơ hình chuẩn của Leon O Chua và tiêu chuẩn ổn định đầy đủ Phát triển mơ hình tuyến tính thành mơ hình liên kết dạng đa thức và tìm điều kiện để mạng CNN ổn định

b) Mô phỏng, thử nghiệm một số ứng dụng

5 Đóng góp của luận án

Trang 19

Nội dung của luận án được kết cấu như sau:

Chương một, trình bày quá trình phát triển mạng nơron nhân tạo; phân loại

mạng nơron; học và xấp xỉ mạng nơron; một số ứng dụng mạng nơron…; trình bày các khái niệm về CNN chuẩn của Leon O Chua

Trên cơ sở nghiên cứu tổng quan, tác giả đưa ra hướng nghiên cứu CNN bậc cao

Chương hai, trên cơ sở mạng chuẩn của Leon O Chua, tác giả đề xuất mơ

hình CNN bậc cao; đề xuất hàm E(t) cho mạng được phát triển; chứng minh tính ổn

định của CNN bậc cao; mô phỏng CNN bậc hai trên mơi trường Matlab

Chương ba, trình bày kết quả thử nghiệm CNN bậc cao cho bộ nhớ liên kết;

Trang 20

Chương này, tác giả trình bày nghiên cứu tổng quan mạng nơron tế bào (CNN), gồm bốn nội dung chính: i) Tổng quan về mạng nơron nhân tạo; ii) Mạng nơron tế bào; iii) Tình hình nghiên cứu CNN tại Việt Nam và thế giới; iv) phát biểu bài toán nghiên cứu trong luận án

1.1 Tổng quan về mạng nơron nhân tạo

CNN là một trong hàng trăm cấu trúc đi kèm với luật học khác nhau của mạng nơron nhân tạo Nó có những đặc điểm chung và riêng so với các cấu trúc, luật học và có tính kế thừa từ mạng nơron khác Do vậy, tác giả điểm qua các cấu trúc và luật học của mạng nơron

1.1.1 Mơ hình cấu trúc mạng nơron nhân tạo

1.1.1.1 Mơ hình một nơron của Mc.Culloch Pitts's

Năm 1943, McCulloch-Pitts đề xuất mơ hình một nơron nhân tạo (Hình 1.1) [60] và sau này tên của tác giả được sử dụng đặt tên cho nơron Nơron McCulloch-Pitts còn được gọi là đơn vị (phần tử) xử lý (Processing Element: PE), một nút (Node) hay một tế bào (tên được dùng trong mạng CNN) là mơ hình đánh dấu mốc khởi đầu

cho sự phát triển của các thế hệ mạng nơron nhân tạo Trong (Hình 1.1) nơron j nhận

nhiều tín hiệu vào ujk(với k=1 n) từ các nơron khác hoặc từ phía phản hồi tới nơron

j và xử lý chúng để thu được tín hiệu ra vj Như vậy, một nơron có thể coi là một hệ thống nhiều đầu vào (Multi-Input), một đầu ra (Single Output)

H(vj)vjjxyj  jkw 1jwjnw( j)g x1 jjkjnuuu

Hình 1.1 Mơ hình nơron McCulloch-Pitts

Ij

Trang 21

trong đó:

jk

u : đầu vào thứ k tới nơron j; k=1 n; n là số lượng các đầu vào;

jk

w : các trọng số tương ứng với các đầu vào thứ k tới nơron j;

j

I : ngưỡng (Threshold) hay độ lệch (Bias) của nơron j;

j

y : đầu ra của nơron j;

j

v : tổng hợp các đầu vào của nơron j;

j

x : đầu ra tương tự hay trạng thái của nơron j;

( j)

g x : hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation

Function) hay hàm chặn (Squashing Function) của nơron j

Đầu ra thường được mô phỏng bởi một hàm chặn dạng bước nhảy hoặc hàm chặn Sigmoid Điều này phỏng theo cơ chế hoạt động của nơron sinh học là: i) nếu xung thần kinh (nơron) vượt quá ngưỡng trên nào đó thì con người biểu hiện dạng q khích bất thường (bị quá khích); ii) Nếu xung thần kinh vượt quá ngưỡng dưới thì con người biểu hiện trầm cảm Trong thực tế, việc mơ phỏng nơron có một số trường hợp không nhất thiết hàm đầu ra g x( j) là bị chặn Xét một số dạng hàm

( j)g x sau: - Hàm tuyến tính (Hình 1.2) hay hàm đồng nhất g x( j)=xj (1.2) 1 0 Ij xj 3

Hình 1.2 Hàm tuyến tính Hình 1.3 Hàm bước nhảy đơn cực

xj

Trang 22

( jj) jj

Ngưỡng chặn trên và dưới ứng với hai ngưỡng: 0 và 1 như (Hình 1.3) - Hàm dấu (Sign Function)

()() 11jjjjjjjjxIg xIsgn xIxI− = − =−

Hình 1.4 Hàm Sigmoid đơn cực Hình 1.5 Hàm Sigmoid lưỡng cực

- Hàm dạng chữ S (Sigmoid) đơn cực (Hình 1.4) Hàm Sigmoid là hàm liên tục,

khả vi, đơn điệu không giảm và xác định trong khoảng [0, 1] 1()1 xjjg xe−=+ (1.5) - Hàm Sigmoid lưỡng cực (hình 1.5) 1()1x jxjjeg xe−−−=+ (1.6) là hàm liên tục, khả vi, đơn điệu không giảm, xác định trong khoảng [-1, 1]

Trong phần mềm mô phỏng Matlab, hàm bước nhảy đơn cực (Hình 1.3) được

gọi là hàm giới hạn cứng (Hard Limit Function), "hàm ngưỡng" (Threshold

Function) hay hàm bậc thang (Heaviside Function)[24]

Trang 23

lớp (Layer) Cấu trúc của mạng khi đó được xác định bằng số lớp và số phần tử nơron trong mỗi lớp

- Dựa vào hướng truyền tín hiệu, mạng có thể được phân thành mạng truyền thẳng và mạng hồi quy (hay phản hồi)

Hình 1.6 Phân loại cấu trúc mạng nơron nhân tạo

MẠNG NƠRON NHÂN TẠO

Trang 24

24], mạng Cohen-Grossberg, mạng BAM [32, 41, 46] và CNN [17, 18, 22, 25] Nhóm mạng này đều có nguồn gốc từ mạng Hopfield, vì thế cịn được gọi là lớp mạng Hopfield:

a) Mạng Hopfield rời rạc

Tư tưởng xây dựng mạng hồi quy đầu tiên được Kohonen, Anderson và Nakano đề ra năm 1972 [87] Mười năm sau (năm 1982), Hopfield đã hiệu chỉnh mạng đó thành mạng Hopfield rời rạc hoàn chỉnh Đầu ra g x t( i( )) của các nơron này được phản hồi về làm đầu vào cho mạng nơron Hàm tương tác đầu ra của nơron Hopfield là hàm bước nhảy đơn cực (1.3) hoặc hàm dấu (1.4) Cấu trúc của mạng được mô tả [24]: 1( ) n ( )iij jijx tw y tI==  − i =1 n (1.7) ( ( ))( 1)( )iiig x ty ty t+ = (1.8) 10( ( ))ig x t  (1.9) 1 ,0(2 1)(2 1)hp ipjpijwyy== − − (1.10) (1.11)

trong đó: p là phần tử đang được tính, p = 1,…, h Ở đây h là số lượng mẫu được cất

Trang 25

Với điều kiện ràng buộc trọng số (tham số) wij= 0 và wij=wji (tính đối xứng của ma

trận W) nên mỗi một thay đổi không đồng bộ của y thì năng lượng của mạng sẽ p

giảm thể hiện bằng tốc độ âm (đạo hàm nhận giá trị âm của E), chứng tỏ mạng ổn

định [24] 1( 1) ( ) npppj jpjdEytytw ywdt =      = − + −  − , p=1 h (1.13) b) Mạng Hopfield liên tục

Năm 1984, trên cơ sở mơ hình rời rạc, Hopfield đã nêu mơ hình nơron liên tục được mơ tả bằng tập các phương trình sau [24]:

1niiijjijixdECw yIdt = −R + = − (1.14) ( );ijiy=g x và 1()ijix =g − y (1.15)

trong đó: Ci, Rilà các tụ điện, điện trở của nơron thứ i, Ii là ngưỡng của nơron thứ

i; i = 1 n

wij là trọng số liên kết từ nơron thứ j tới nơron thứ i

xi là trạng thái thứ i của mạng

gi(.) là hàm Sigmoid, khả vi, bị chặn và đơn điệu tăng, với hàm ngược của nó là xi = gj−1(yi) cũng bị chặn và đơn điệu tăng

Hopfield đã đề xuất hàm Lyapunov xác định dương [24] nnnyi-1(ς) ς -n

ij ij0ii i

i=1 j=1i=1ii=1

11

+()d

2R

Trang 26

Như vậy, sau một thời gian t0, xi( )t chuyển động trong không gian trạng thái, sẽ tìm được cực tiểu trong một miền xác định và dừng ở điểm đó, với dE= 0

dt ,

i

dy= 0

dt tức yi( )t = constant với mỗi i Với hệ này, tồn tại nhiều điểm cân bằng ứng

với mức năng lượng cực tiểu (hay là đáy năng lượng) trên một siêu phẳng năng lượng

của siêu diện n chiều Giả sử các mẫu vào (Input Patterns) tuỳ ý được đưa vào mạng

nơron như trạng thái ban đầu, hệ sẽ đạt đến điểm cân bằng gần nhất ứng với điểm ổn định [24]

Hình 1.7, phác họa về năng lượng E trong không gian một chiều để minh họa Nếu E là một hàm vô hướng của x với các cực tiểu địa phương, thì các điểm cực tiểu

địa phương được gắn vào mạng làm các đặc trưng xử lý thông tin Nếu hệ thống xuất

phát ở trạng thái ban đầu x(0) (Hình 1.7), thì theo thời gian hệ trượt xuống đáy năng lượng của điểm cực tiểu gần nhất Với đặc trưng như vậy, mạng Hopfield có khả năng dùng làm bộ nhớ các mẫu, để có thể gọi lại Dựa trên ngun lý đó, mạng Hopfield

Hình 1.7 Năng lượng mạng E(x)

E(x0)

x0 x1 x2 x3 x4

x

E(x) Cực tiểu địa phương

Cực tiểu toàn cục

Trang 27

Hopfield [14, 32, 41] Mạng BAM gồm hai lớp: lớp thứ nhất là lớp truyền thẳng, lớp thứ hai là lớp phản hồi Cấu trúc của mạng như sau:

- Đầu ra của lớp mạng thứ nhất : y k =i*( ) nw xij jj=1 (1.17) 1(1)( )0iy ky k+ = (1.18)

- Đầu ra của lớp mạng thứ hai: i* mji j

x (k +1)=w yj=1 (1.19) 1(1)( )0ix kx k+ =

Hình 1.8 Minh họa cấu trúc mạng liên kết hai chiều Hàm năng lượng dùng để xét tính ổn định của mạng được mơ tả như sau:

Trang 28

W1)(2 1)pkTkx=(2yk=1 − − 

Mạng BAM được dùng làm bộ nhớ Bộ nhớ đó liên kết các vectơ vào x và vectơ ra y Khi mạng đã nhớ cặp liên kết x-y nào đó, nếu cho đầu vào x sẽ nhận được đầu ra y Nếu cho đầu vào y thì nhận được đầu ra là x Mạng BAM thường được sử

dụng cho bài toán nhận mẫu Trong đó các mẫu được nhớ trong W

1.1.2 Học trong mạng nơron nhân tạo

Hoạt động của mạng nơron gồm hai pha, pha học và pha thử Học (Learning)

trong mạng nơron về ý nghĩa là xác định (tìm) cấu trúc hoặc tham số chưa biết của mạng Theo nghĩa như vậy, học trong mạng nơron được chia thành hai nhóm đó là: học có cấu trúc (xác định một cấu trúc chưa rõ) gồm xác định số lớp nơron, số nơron trong một lớp Học tham số (xác định các giá trị của trọng số Wij), lý do tìm tham số khi thiết kế mạng nơron do ta chỉ biết sự hiện diện của tham số đó, cịn giá trị của nó chưa biết Vì vậy xác định giá trị của tham số được gọi là học tham số Học tham số bao hàm ba loại: Học có tín hiệu chỉ đạo (Supervised Learning) hay học có thầy; học khơng có tín hiệu chỉ đạo (Unsupervised Learning) và học củng cố (là loại học lai cả hai loại trên) [90]

1.1.2.1 Học có tín hiệu chỉ đạo

a) Luật học Delta

Luật sai số bình phương tối thiểu, hoặc luật học Gradient Luật học điển hình Hoặc ở dạng chi tiết

1 ;1 1)(21)1 pk kijk=1ijpkkiik=1injmWiny x=(2yx = = − − = (1.22) cho vectơ không lưỡng cực

(1.23) cho x yi, i lưỡng cực

Trang 29

1 2 1 ( )22 2nniiii=1i=1E =  e =  d −y (1.25) trong đó : hằng số học thể hiện tốc độ học; di: tín hiệu chỉ đạo thứ i

b) Luật học Perceptron

Frank Rosenblatt (1953) đề xuất luật học Prceptron dựa trên sai số ei =di − yi

của đầu ra di và đầu ra tính được yi[21]

wij (di y xi) i e xi i

=−= (1.26) Trong đó:  là hằng số học thể hiện tốc độ học (thường chọn 0 <   1) xijlà đầu vào thứ j; wij là trọng số liên kết giữa đầu vào tới nơron thứ i

Trong hai luật học trên, di là một hằng số ấn định một đầu ra mong muốn (còn gọi là nhãn - Label) giống như một tín hiệu chỉ đạo để đầu ra yi được tính sao cho (bằng cách thay đổi trọng số) bám được di, với sai số ei =di−yi

Một loạt các luật học khác cũng dựa trên hoặc cải biên tư tưởng này, luật Oja là cải tiến và nâng cấp của luật Delta, luật truyền ngược là luật mở rộng của luật Delta cho mạng nhiều lớp truyền thẳng [31]

1.1.2.2 Học khơng có tín hiệu chỉ đạo

Luật học khơng có tín hiệu chỉ đạo điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên kết [87] Luật học Hebb [31], là luật có nguồn gốc từ tiên đề của Hebb cho rằng: giữa hai phần tử nơron có quan hệ và có thay đổi thế năng thì giữa chúng có sự thay đổi trọng liên kết Như vậy, luật Hebb là luật tương quan Dạng cơ bản của nó có thể mơ tả như sau [24]:

iji j

WY Y

Trang 30

Trong đó: Wijlà thay đổi của trọng số cho phần tử nơron thứ i từ phần tử nơron j Y Y là các mức tác động của các phần tử nơron tương ứng [24] i j

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng nơron mà không cần tín hiệu chỉ đạo từ ngồi như tín hiệu có chỉ đạo di ở luật Delta và luật Perceptron Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết dùng để nhớ mẫu Luật Hebb có thể cải tiến thành nhiều dạng khác nhau, ví dụ: Luật đối Hebb, Luật Hopfield, luật đối Hopfield…

Như vậy, ứng với các nhóm mạng khác nhau thường áp dụng một số luật học nhất định Nếu tồn tại hàng trăm loại cấu trúc mạng khác nhau thì các luật học dùng trong mạng nơron có thể liệt kê gấp nhiều lần, do một mạng có thể áp dụng nhiều luật học khác nhau

Nếu cấu trúc mơ hình mạng được coi là phần khung (thể xác, phần cứng) thì các luật học được coi như là phần mềm của mạng nơron Các cơng trình nghiên cứu về luật học chiếm số lượng rất lớn trong nhiều thập kỷ qua

1.2 Mạng nơron tế bào chuẩn của Leon O Chua

Mạng nơron tế bào có cấu trúc giống mạng Hopfield nhưng được ghép nối để đưa vào thành một bảng (một mảng hay ma trận hai chiều) Nó là một mảng các bộ xử lý song song gọi là phần tử mảng, mỗi phần tử mảng là một tế bào (Cell) Trong (Hình1.9) cho thấy một CNN hai chiều có kích thước (MN) tế bào đặt trong hệ

tọa độ Đề các, trong đó C(i,j) là một tế bào của mạng [11]

Trang 31

với i= 1 N; j=1…M Mỗi tế bào C(i,j) đều có các tế bào lân cận hay láng giềng r

1.2.1 Láng giềng r Định nghĩa 1

Láng giềng r của một tế bào C(i,j) (Hình 1.8) trong một mạng nơron tế bào

được xác định bởi biểu thức sau [11]:

N (i, j)= C k l max k i lr  ( , ) |  − , − j (1.28) r1 ≤ k ≤ M ; 1 ≤ l ≤ N (1.29)

trong đó r là một số nguyên dương

1.2.2 Sơ đồ nguyên lý hoạt động

Leon O Chua đề xuất sơ đồ nguyên lý của một tế bào nơron C(i,j) dựa trên

mơ hình mạch điện (Hình 1.10) [11]

Trong (Hình 1.10), uij, xij, yij lần lượt là các tín hiệu đầu vào, trạng thái, đầu ra của nơron ( )i, j Trạng thái xij chuẩn hóa với giá trị trong khoảng 0 ≤xij≤ 1 Điện áp đầu vào uij được giả định là hằng số với giá trị nhỏ hơn hoặc bằng 1 (0 ≤ uij≤ 1) Mỗi một tế bào C i, j( ) chứa một nguồn điện áp E( )i, j, nguồn dòng I, tụ điện C, điện

trở R ở mạch trạng thái và xRy ở mạch ra Ixu( , ; , )i j k l và Ixy( , ; , )i j k l là các nguồn

dòng đầu vào và nguồn dòng đầu ra, dòng điện được điều khiển bằng điện áp tuyến tính ở mạch ra, được xác định như sau [11]:

( , ; , ) ( , ; , )

xuukl

Ii j k l =B i j k l v (1.30a)

Trang 32

Để hiểu rõ độ đo của B trong (1.30a) ta có v là điện áp được mặc định Vì vậy

ijkl

u =E , với E là nguồn áp một chiều (là hằng số) Dựa vào công thức này để xác kl

định được đơn vị đo S thông qua (1.30) và (1.31), đây là độ dẫn (độ dẫn G: là đại lượng nghịch đảo của điện trở R có đơn vị đo là S - Siemen) như sau:

( , ; , ) xu( , ; , ) 1 1uklIi j k lB i j k lGuR= = = = (1.30b) và tương tự (1.30a) ( , ; , ) ( , ; , )xyklIi j k l =A i j k l y (1.31a) ( , ; , ) xy( , ; , ) 1 1yklIi j k lA i j k lGyR= = = = (1.31b) ()()1 1 1 11 1 1 1 ( )2RyijijRy 2 ijijRyfijIyx = x + − x − =  x + − x − = x   (1.32) với mọi C k,l( )Nr i, j( )

Mỗi phần tử phi tuyến (mỗi tế bào nơron) là một nguồn dòng được điều khiển bằng điện áp có xy 1 ( ij)

y

If x

R

= Các hệ số A i j k l( , ; , ) và B i j k l( , ; , ) được gọi là

các hệ số mẫu hồi tiếp và hệ số mẫu điều khiển tương ứng Trong (Hình 1.11) cho thấy phần tử của tế bào được tạo bởi mảng phản hồi ngoài A=(2r+1)2, phản hồi trong 1

R





− , mảng điều khiển B=(2r+1)2phần tử và ngưỡng I

Trang 33

Mỗi phần tử trong mạng có bán kính r =1 được ký hiệu tương ứng A11,A12,

đến A43,A44và B11,B12, đến B43,B44, số đầu vào ngoài từ mảng A và mảng B của

nơron tế bào tương ứng là tổng các tế bào của mạng là: ()2

2 2 1 1 + + + = 20 đầu 1 1

vào, trong đó phần tử phản hồi ngoài A=9; phần tử điều khiển B=9; phần tử phản hồi

trong 1

R

 

 

− = 1; phần tử ngưỡng I =1

1.2.3 Mơ hình tốn học của mạng nơron tế bào

Phương trình động học của mạng nơron tế bào [11]

Phương trình hệ thống (1.33a, 1.33b, 1.33c) mơ tả trên (Hình 1.11), trong đó ( , )

C k l là tế bào của ô giao bởi hàng k và cột l, C là tụ điện, R là điện trở trong mạch trạng thái tương ứng với x ta có C và xR x

Phương trình trạng thái: C( )ijdxtdt = 1 ij( )xxtR− +()()( ) ( )klC k,lN i, jrA i, j;k,l y t∈ + + ( )()( )klC k,lN i, jrB i, j;k,l u ∈ + I 1 ≤ i,k ≤ M ; 1 ≤ j,l ≤ N (1.33a)

Trong (1.33a), ký hiệu

( ) ( )

C k,l N i, jr

∈ trong luận án kể từ điểm này trở đi được ký hiệu là

( , )k l Đây là điều kiện của Leon O Chua [11] Phương trình đầu ra:

( ) ( ( ) ( ) ) ( ))ijijijij1y t =| x t +1| - | x t - 1| = f(x t21 ≤ I ≤ M ; 1 ≤ j ≤ N (1.33b)

Phương trình đầu vào:

ijij

u =E 1 ≤ i ≤ M ; 1 ≤ j ≤ N (1.33c)

Phương trình ràng buộc và giả định

Trang 34

( )| 1ij| x 0  1 ≤ i ≤ M ; 1 ≤ j ≤ N (1.33d) | 1ij|u  1 ≤ i ≤ M ; 1 ≤ j ≤ N (1.33e)

Các thông số giả định (chọn “1” với nghĩa chuẩn hóa về đơn vị):

A(i,j;k,l)=A(k,l;i,j) 1 ≤ i,k ≤ M ; 1 ≤ j,l ≤ N (1.33f)

0

x

C > 0 R  (1.33g)

Hình 1.12 Hàm đầu ra tương ứng với phương trình (1.33b)

1.2.4 Mạch điện của một tế bào

Trong (Hình 1.13) là mơ hình nơron tế bào được mô phỏng trên mạch điện,

điện áp điều khiển nguồn dòng Ixy(i, j; k, l) được xác định bởi phần tử khuếch đại

thuật toán A1 và điện trở R1,R2, ,R5:

Ixy(i j k, ; ,l) = 251 klRyR R− (1.34)

Trang 35

với điều kiện 21RR = 543RRR+ (1.35) Điện trở đầu ra liên quan với Ixy(i j k, ; ,l) là vô hạn, được xác định bởi (1.34) Hàm tuyến tính từng đoạn (piecewise linear function) yij(xij)là phần tử khuếch đại thuật toán A2,A3 và điện trở R6,R7,R R8, 9 thỏa mãn điều kiện (1.35) là:

676RRR+= 899ccRRVR++ (1.36)

Ở đây V là điện áp nguồn cung cấp Một CNN có thể mơ phỏng bằng một cc

mạch điện phi tuyến (Hình 1.13) được tạo nên từ việc ghép nối các liên kết cục bộ theo không gian bởi các khối mạch điện giống nhau, mỗi khối mạch điện được gọi là

một tế bào (ở đây với r=1 và MN=3…)

Từ sơ đồ khối ở hình (1.10) và sơ đồ CNN trong Matlab được xây dựng theo

phương trình (1.36a) có thể biểu diễn mẫu CNN [A B I] như (Hình 1.14), trong đó

các giá trị được giả định

Định nghĩa 2

Mạng nơron tế bào được tạo thành từ một mảng có 2 hoặc 3 hoặc n chiều có

hệ thống động học giống nhau và thỏa mãn hai thuộc tính sau:

- Ảnh hưởng cục bộ trong phạm vi bán kính hữu hạn r

Trang 37

Hình 1.15 Mẫu [A B I] của CNN chuẩn

CNN được tạo thành với nhiều kiểu lưới liên kết khác nhau, các kiểu liên kết có dạng lưới hình vng, hình tam giác, hình lục giác, hình ngũ giác, hình trịn như

(Hình 1.16) v.v với (M N) chiều được mơ tả bởi các đặc tính tốn học như (1.33)

Hình 1.16 Một số dạng lưới điển hình của CNN

1.2.6 Động học của mạng nơron tế bào

Trang 38

1.2.6.1 Giới hạn trạng thái xij của mạng nơron tế bào chuẩn

Định lý 1

Tất cả các trạng thái xij trong CNN đều bị giới hạn với mọi thời gian t >0 và

giá trị giới hạn vmax được tính theo công thức (1.37) cho CNN bất kỳ [11]

()( , )1 ( , ; , ) ( , ; , )maxxx(i, j)k lvR IR max A i j k lB i j k l   + +  += (1.37) Chứng minh

Nội dung chứng minh (xem phụ lục 1)

1.2.6.2 Hàm Lyapunov của mạng nơron tế bào chuẩn

Định lý 2

Cho hàm E(t) vô hướng [11]:

() ()() ()()(t) ( ) ( ) ( ) ( )( ) ( ) ( )2ijkliji, j k,lx(i, j)ijkliji, j k,li, j11E= -A i, j;k,l y t yt +y t -22R -B i, j;k,l y t u -Iy t     (1.38)

trong đó A i, j;k,l() là mảng phản hồi,B i, j;k,l() là mảng đầu vào,y , yijkl là đầu ra

của tế bào trung tâm (i, j) và đầu ra của tế bào lân cận (k, l) thì giá trị tuyệt đối lớn

nhất của E t( )nhỏ hơn hoặc bằng một giá trị Emax, trong đó Emaxđược xác định theo

cơng thức sau: max | ( ) |E tEmaxt  (1.39a) với ( ) ( ) ( ) ( )()()maxi, j k,li, j k,lx11E=| A i, j;k,l |+| B i, j;k,l |+ MN+| I |2 2R       (1.39b) cho CNN (M N)

1.2.6.3 Phương pháp xây dựng hàm E(t)

Trang 39

Bước 1 Đổi dấu vế phải của phương trình (1.33a), cho kết quả: ()()1( ) ( ) kl ( ) ( ) klijk, lk, lxxtA i, j;k,l y tB i, j;k,l u IR −  −  − (1.40)

Bước 2 Nhân phương trình (1.41) với

( )( )iji, jy t , cho kết quả: ()()()1( ) ij ( ) ( ) kl( ) ij ( )iji, jk, li, jxxty tA i, j;k,l y ty tR  −   − ()()()( ) ij ( ) ij ( )klk,li, ji, jB i, j;k,l u y tIy t−   −  (1.41)

Bước 3: Theo (1.36b), trong khoảng -1 x ij 1 thì xij =y ij , thay vào phương trình (1.42), cho kết quả:

()()()1( ) ( ) ( ) ( ) ( )iji, jijk, lkli, jijxyty tA i, j;k,l y ty tR  −   ()()()( ) klij ( ) ij ( )k,li, ji, jB i, j;k,l u y tIy t−   −  (1.42) = 2()() ()1( ) ( ) ( ) ( )ijkliji, ji, jk, lxytA i, j;k,l y t y tR  −   - () ()()( ) klij ( ) ij ( )i, jk, li, jIB i, j;k,l u y t − y t   (1.43) Bước 4 Thêm 12 cho 2(i, j) y ij , cho kết quả: 2() ()1 1( ) ( ) ( ) ( )2( ) ij i, jk, lklijxytA i, j;k,l y t y t2Ri, j  −   −() ()()( ) ij( ) ij( ) ( )kli, jk,li, jB i, j;k,l u y tIy tE t−   −  = (1.44)

Đây là phương trình xác định hàm E(t) của CNN [11], được chứng minh trong

(phụ lục 1)

1.2.6.4 Chứng minh đạo hàm của hàm E(t) không dương

Định lý 3

Hàm vô hướng E(t) được cho trong (1.38) là một hàm đơn điệu giảm, nghĩa là

Trang 40

( )0

dE t

dt  (1.45)

Chứng minh

Nội dung chứng minh (xem phụ lục 1)

1.2.6.5 Xác định của hàm Lyapunov E(t)

Định lý 4

Cho vectơ đầu vào u và vectơ trạng thái khởi tạo x bất kỳ được mô tả theo

các công thức từ (1.33a) đến (1.33g) thì chúng ta có E(t) hội tụ về một hằng số dương hoặc âm và đạo hàm của nó hội tụ về 0 khi t →  [11], tức là:

lim ( )t→E t =constant (1.46a) và ( )lim 0tdE tdt→ = (1.46b) Chứng minh

Nội dung chứng minh (xem phụ lục 1)

Do đó, định lý dưới đây của Angela Slavova đưa ra năm (2003) là đúng:

Định lý 4a Định lý của Angela Slavova [66]

Sau thời gian quá độ của CNN mô tả từ công thức (1.33a) đến công thức (1.33g) giảm về 0, chúng ta luôn thu được đầu ra của CNN yij( )t là một hằng số Nói cách khác chúng ta có:

limt→E t( )=constant, 1 i M, 1 jM (1.47) Loại ổn định này được gọi là ổn định đầy đủ theo nghĩa là mỗi quỹ đạo hướng tới điểm cân bằng

Nhận xét

Từ định lý 4 [11] và định lý 4a của Angela Slavova [66] ln tìm được hàm

E(t) hội tụ về hằng số (âm hoặc dương), trong khi tiêu chuẩn ổn định của Lyapunov