Phát triển mạng nơ ron tế bào đa tương tác và khả năng ứng dụng

Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.

i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI, NĂM 2022 ii BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS NGUYỄN QUANG HOAN TS NGÔ VĂN SỸ HÀ NỘI, NĂM 2022 i MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT .iii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC v DANH MỤC BẢNG vi DANH MỤC HÌNH VẼ vii MỞ ĐẦU 1 Tính cấp thiết luận án Mục tiêu nghiên cứu luận án Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu .3 Đóng góp luận án Cấu trúc luận án CHƯƠNG TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1.1 Tổng quan mạng nơron nhân tạo 1.1.1 Mơ hình mạng nơron nhân tạo 1.1.2 Học mạng nơron nhân tạo 13 1.2 Mạng nơron tế bào chuẩn Leon O Chua 15 1.2.1 Láng giềng r 16 1.2.2 Sơ đồ nguyên lý hoạt động 16 1.2.3 Mơ hình tốn học mạng nơron tế bào 18 1.2.4 Mạch điện tế bào 19 1.2.5 Mơ hình hình học nơron tế bào chuẩn 21 1.2.6 Động học mạng nơron tế bào 22 1.3 Tình hình nghiên cứu CNN giới Việt Nam 26 1.3.1 Nghiên cứu cấu trúc CNN 26 1.3.2 Ổn định mạng nơron tế bào 28 1.3.3 Học mạng nơron tế bào 29 ii 1.3.4 Nghiên cứu ứng dụng mạng nơron tế bào 29 1.3.5 Nhận xét 31 1.4 Phát biểu toán nghiên cứu 31 1.5 Kết luận chương 33 CHƯƠNG PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 35 2.1 Mạng nơron tế bào tương tác bậc hai 35 2.1.1 Mơ hình tốn học mạng nơron tế bào tương tác bậc hai 35 2.1.2 Ổn định mạng nơron tế bào tương tác bậc hai 37 2.1.3 Chứng minh hàm E(t) hàm bị chặn 38 2.1.4 Chứng minh đạo hàm hàm E(t) không dương 39 2.1.5 Ổn định trạng thái xij (t) CNN tương tác bậc hai 43 2.1.6 Mơ hình hình học mạng nơron tế bào bậc hai 46 2.2 Mạng nơron tế bào tương tác bậc cao 49 2.2.1 Mơ hình tốn học mạng nơron tế bào tương tác bậc cao 49 2.2.2 Ổn định mạng nơron tế bào tương tác bậc cao 51 2.2.3 Chứng minh hàm E(t) CNN tương tác bậc cao hàm bị chặn 52 2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN tương tác bậc cao không dương 54 2.2.5 Ổn định trạng thái xij (t) CNN tương tác bậc cao 58 2.3 Mô cấu trúc xác định tính ổn định CNN tương tác bậc cao 61 2.3.1 Bài tốn mơ 61 2.3.2 Kịch mô 62 2.3.3 Công cụ mô 63 2.3.4 Thuật toán 63 2.3.5 Kết mô mạng nơron tế bào 64 2.3.6 Nhận xét 66 2.4 Kết luận chương 67 CHƯƠNG BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 69 iii 3.1 Bộ nhớ liên kết 69 3.2 Bộ nhớ liên kết mạng nơron tế bào 69 3.2.1 Bộ nhớ liên kết CNN chuẩn 69 3.2.2 Bộ nhớ liên kết sử dụng CNN tương tác bậc hai 79 3.2.3 Nhận xét 90 3.3 Mơ hình ứng dụng thử nghiệm mạng nơron tế bào tương tác bậc cao 91 3.3.1 Mơ hình tích hợp CNN tương tác bậc hai với STM32 FPGA 91 3.3.2 Một số ứng dụng CNN tương tác bậc cao 94 3.4 Kết luận chương 101 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 102 Kết luận chung 102 Hướng phát triển luận án 103 DANH MỤC CÁC CÔNG BỐ CỦA LUẬN ÁN 104 Cơng trình cơng bố tạp chí 104 Cơng trình cơng bố hội nghị 104 TÀI LIỆU THAM KHẢO 105 PHỤ LỤC 114 PHỤ LỤC 122 PHỤ LỤC 123 PHỤ LỤC 126 i LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác NGHIÊN CỨU SINH Nguyễn Tài Tuyên ii LỜI CẢM ƠN Luận án thực Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, hướng dẫn PGS TS Nguyễn Quang Hoan TS Ngô Văn Sỹ Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, TS Ngô Văn Sỹ người động viên, trao đổi nhiều kiến thức bảo vượt qua khó khăn để hồn thành luận án Tơi xin gửi lời cảm ơn chân thành tới Viện trưởng, TS Nguyễn Thế Truyện, PGS.TSKH Nguyễn Hồng Vũ nhà khoa học khác Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), Cơng Thương có trao đổi, góp ý để tơi hồn thiện luận án giúp đỡ tơi q trình học tập, nghiên cứu Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Cơng nghệ Bưu Viễn thơng tạo điều kiện, quan tâm giúp đỡ để hồn thành luận án Cuối cùng, tơi xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người ủng hộ, giúp đỡ hỗ trợ tơi mặt để tơi hồn thành luận án NGHIÊN CỨU SINH Nguyễn Tài Tuyên iii DANH MỤC CÁC TỪ VIẾT TẮT ARM Advanced RISC Machine Máy RISC nâng cao ART Adaptive Resonance Theory Lý thuyết cộng hưởng thích nghi BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CNN Cellular Neural Networks Mạng nơron tế bào CNN-UM CNN Universal Machine Máy tính vạn CNN CMOS Complementary Metal Oxide Chất bán dẫn ôxit kim loại bù Semiconductor IEEE Institute of Electrical and Electronics Viện Kỹ sư Điện Điện tử Engineers FPGA Field Programmable Gate Array Mảng phần tử logic lập trình HiCNN Higher-order Cellular Neural Mạng nơron tế bào bậc cao Network HSYNC Horizontal SYNChronization Đồng ngang IO Input Outside Đầu vào bên INR International Normalized Ratio Tỷ lệ chuẩn hóa quốc tế (về đơng máu) LCD Liquid Crystal Display Màn hình tinh thể lỏng LUT Look Up Table Bảng dị tìm MCNN Multi-Layer Cellular Neural Mạng nơron tế bào nhiều lớp Networks MCUs Microcontroller Unit Bộ vi điều khiển MLP Multi-Layer Perceptron Perceptron nhiều lớp MTA Magyar Tudományos Akadémia Viện Hàn lâm Khoa học Hungary PC Personal Computer Máy tính cá nhân PDE Partial Differential Equations Phương trình vi phân phần PE Processing Element Phần tử xử lý RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên iv RC Resistor, Capacitor Điện trở, tụ điện RBF Radial Basis Function Hàm sở xuyên tâm RISC Reduced Instruction Set Computer Máy tính có tập lệnh rút gọn ROM Read Only Memory Bộ nhớ đọc RPLA Recurrent Perceptron Learning Thuật toán học Perceptron hồi Algorithm quy State Controlled Cellular Neural Mạng nơron tế bào điều chỉnh Network trạng thái SOM Self-Organizing Feature Maps Bản đồ tự tổ chức STM32 ST Microelectronic 32 Mạch tích hợp vi điều khiển 32 SC-CNN bit STMicroelectronics TCP/IP Transmission Control Protocol/ Giao thức điều khiển truyền nhận/ UART Internet Protocol Giao thức Internet Universal Asynchronous Receiver/ Bộ truyền nhận liệu nối tiếp Transmitter khơng đồng VLSI Very-Large-Scale Integration Tích hợp cỡ lớn VSYNC Vertical Synchronization Đồng dọc v DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Diễn giải  Tích phân  Hằng số học (tham số tốc độ học) ,,  ,  Tổng tế bào nơron thứ (i,j), (k,l), (m,n), (q,z) Wij Sai số (độ lệch) trọng số kết nối nơron thứ j tới nơron thứ i xij (t ) ; I Giá trị tuyệt đối xij (t ); I i, j k ,l m,n q, z A(i,j; k,l;…;q,z) Các tham số phản hồi đến nơron tế bào thứ (i,j) từ đầu (k,l;…;q,z) mạng nơron tế bào bậc cao B(i,j; k,l;…;q,z) Các tham số đầu vào đến nơron tế bào thứ (i,j) từ đầu vào (k,l;…;q,z) mạng nơron tế bào bậc cao C Tụ điện nơron tế bào (i,j) C(i,j); C(k,l) Tế bào (i,j); (k,l) Emax Giá trị lớn hàm Lyapunov (còn gọi hàm lượng) gi (.) Hàm tương tác đầu nơron tế bào thứ i I Độ lệch (Bias) nơron tế bào M Số hàng mảng nơron tế bào N Số cột mảng nơron tế bào N r (i, j ); N r (k , l ) Các tế bào láng giềng nơron tế bào (i,j); (k,l) có bán kính r R , Rx , R y Điện trở tế bào (i,j), tương ứng với trạng thái x, đầu y U Đầu vào uij ; ukl ; umn ; uqz ; Biến vào ij kl mn qz nơron tế bào v (t ) Tổng đầu vào mô tả tác động thân nơron x (t ) ; y ( t ) Trạng thái; đầu xij (t ) ; xkl (t ) Biến trạng thái tế bào ij; kl yij (t ) ; ykl (t ) Đầu nơron tế bào ij; kl W0 Ngưỡng (Threshold) nơron tế bào 114 PHỤ LỤC CHỨNG MINH CÁC ĐỊNH LÝ CỦA MẠNG NƠRON TẾ BÀO [10] Trước thiết kế CNN vật lý, việc cần phải biết phạm vi động học mạng để đảm bảo mạng thỏa mãn giả định phương trình động học, yêu cầu đặt phải thỏa mãn điều kiện trình bày (1.33) chương Để đảm bảo tảng cho việc thiết kế CNN, NCS tiến hành xem xét định lý [10], sau Định lý 1: Giới hạn trạng thái xij mạng nơron tế bào chuẩn Định lý Leon O Chua phát biểu [10] Tất trạng thái xij CNN bị giới hạn với thời gian t > điều kiện ràng buộc liên kết xmax tính theo cơng thức (P1.1) cho CNN (1.37) mục (1.2.6.1)   xma x = + Rx I + Rx max   ( A(i, j; k , l ) + B(i, j; k , l ) ) (i, j) (k ,l )  (P1.1) Chứng minh Để chứng minh, ta viết lại phương trình động động học CNN sau: dxij (t ) dt =− xij (t ) + fij (t ) + gij (u) + I ' Rx C 1 i  M 1 j  N (P1.2a) đó: fij (t ) =  A(i, j; k , l ) ykl (t ) ; C (k ,l ) gij (u ) =  B(i, j; k , l )ukl ;  i  M C (k ,l ) I' = Cho U  Eij (t ) 1MN 1 i  M 1 j  N 1 j  N I C (P1.2b) (P1.2c) (P1.2d) ma trận M  N chiều có phương trình vectơ đầu vào khơng đổi (P1.2a) phương trình bậc cho bởi: 115 xij (t ) = xij (0)e −t t −(t − ) R C x  f ( ) + h ( ) + g (u ) + p (u ) + I '  d + + e ij ij ij  ij  RxC  (P1.3)  Theo ta có: xij (t )  xij (0)e −t t + e − ( t − ) RxC  f ( ) + g (u ) + I '  d ij  ij  RxC  f ( ) + g (u) + I '  d ij   ij  xij (0) e  xij (0) e RxC −t −t RxC t + e − (t − ) RxC t +  Fij + Gij + I '   e   − (t − ) RxC d  xij (0) + Rx C  Fij + Gij + I '    Ở đây: Fij = max fij (t )  ykl (t )  A(i, j; k , l ) max t t C (k ,l ) Gij = max gij (u)  u (P1.4a) ukl  B(i, j; k , l ) max u C (k ,l ) (P1.4b) Từ xij (0) uij thỏa mãn điều kiện trong (2d) (2e) yij (t ) thỏa mãn điều kiện: yij (t )  cho thời gian t Với đặc trưng trình bày (2b) [10], (P.3) (P.4) ta có: xij (t )  xij (0)  + Rx   A(i, j; k , l ) max ykl (t ) + B(i, j; k , l ) max ukl + I  t u  (k ,l )   ( A(i, j; k , l ) + B(i, j; k , l) ) + I  (k ,l )  + Rx     1 i  M, 1 j  N (P1.5) Dễ thấy:  vmax = max 1 + Rx I + Rx  (i, j )  (k ,l )  ( A(i, j; k , l ) + B(i, j; k , l ) )  (P1.6) 116 Do vmax không phụ thuộc vào thời gian t tế bào C (i, j ) với i j, ta có: max xij  vmax t 1 i  M, 1 j  N (P1.7) Với CNN, tham số Rx , C, I, A(i, j; k , l ) , B(i, j; k , l ) số hữu hạn ràng buộc trạng thái tế bào, vmax hữu hạn tính (P1.1) Nhận xét Thiết kế mạch điện cho CNN, tham số lựa chọn cho Rx I  , Rx ( A i, j; k , l )  Rx ( B i, j; k , l )  với tất i, j, k l Do ước tính giới hạn động học cho CNN Ví dụ: Nếu vùng lân cận CNN (3  3) mạng có vmax =20 vôn, điện áp khoảng điện áp cung cấp cho mạch điện Định lý 2: Hàm Lyapunov CNN chuẩn hàm có giới hạn Theo Leon O Chua phát biểu hàm Lyapunov, E(t) CNN hàm vô hướng E(t)= - 1   A(i, j;k,l ) yij (t)ykl (t)+  yij2 (t) (i, j ) (k,l ) 2Rx (i,j ) -   B(i, j;k,l)yij (t)ukl -  Iyij (t) (i,j ) (i,j )(k,l ) (P1.8) Hàm lượng E(t) (P1.8) thỏa mãn điều kiện ràng buộc bởi: max E (t )  Emax t (P1.9a) với: Emax =   + I   A(i, j;k,l ) +   B(i, j;k,l ) + MN  (i, j ) (k,l ) (i, j ) ( k,l )  2Rx  Cho mạng nơron tế bào M  N Chứng minh Để chứng minh định lý, thực theo bước sau: Bước 1: Bỏ dấu (dương hóa, thay dấu trừ thành dấu +) (P1.9b) 117 Bước 2: Lấy giá trị tuyệt đối , Bước 3: Gán giá trị cho yij (t ) uij Để (P1.9a) max E (t )  Emax t Bước Thay dấu (-) thành dấu (+) gọi dương hóa (P1.8) thỏa mãn điều kiện (P1.9a), ta có: E(t)  + 1   A(i, j;k,l)yij (t)ykl (t) +  yij (t) + (i, j ) (k,l ) 2Rx (i, j ) +   B(i, j;k,l)yij (t)ukl +  Iyij (t) (i,j ) (k,l ) (i,j ) Bước 2: Lấy giá trị tuyệt đối E(t)  + (P1.10) , 1   A(i, j;k,l) yij (t) ykl (t) +  yij (t) + (i, j ) (k,l ) 2Rx (i, j ) +   B(i, j;k,l) yij (t) ukl +  I yij (t) (i,j ) (k,l ) (i,j ) (P1.11) Với điều kiện ràng buộc yij (t )  uij với  i  M;  j  N (1.33d; 1.33e) trình bày chương (2d; 2e [10]) Bước 3: Gán yij (t ) uij Ta có: E (t )  1   A(i, j; k , l ) + MN  yij (t) +   B(i, j; k , l ) + MN I = Emax (P1.12) (i, j ) (k ,l ) 2Rx (i, j ) (i, j ) ( k ,l ) Theo (P1.9b) (P1.12) cho thấy E(t ) hàm bị chặn (P1.9a), khơng bị chặn mà cịn hàm đơn điệu giảm Đây điều phải chứng minh Định lý 3: Đạo hàm hàm E(t) không dương Hàm vô hướng E(t) Leon O Chua đưa [10] CNN viết lại (P1.8) hàm đơn điệu giảm, đó: dE (t ) 0 dt E(t)= - 1   A(i, j;k,l)yij (t)ykl (t)+  y (t) (i, j ) (k,l ) 2Rx (i, j ) ij 118 -   B(i, j;k,l)yij (t)ukl -  Iyij (t) (i,j ) (k,l ) (P1.13) (i,j ) Lấy đạo hàm vế theo (t) ta có: dE(t) d  1 = -   A(i, j;k,l)yij (t)ykl (t)+  y (t) dt dt  (i, j ) (k,l ) 2Rx (i, j ) ij  −   B(i, j;k,l)yij (t)ukl -  Iyij (t) (i, j ) ( k,l ) (i, j )  =  d  d    yij (t) −  −   A(i, j;k,l)yij (t)ykl (t) +  dt  (i, j ) (k,l)  dt  2Rx (i, j )  − Đặt (P1.14) Eq1   d   d     B(i, j;k,l)yij (t)ukl  −   Iyij (t) dt (i, j ) (k,l )  dt (i, j )   d −   A(i, j;k,l ) yij (t ) ykl (t )  ; dt  (i, j ) (k,l )  Eq3  −  d     B(i, j;k,l)yij (t)ukl  ; dt (i, j ) (k,l )  Eq2  Eq4  − d   yij (t )  ;  dt  2Rx (i, j )   d   Iyij (t )  ; dt (i, j )  Đạo hàm phần, ta có:  yij (t ) dxij (t ) y (t ) dxkl (t ) 1 Eq1 = −    A(i, j;k,l) ykl (t)+   A(k, l;i, j) kl yij (t) (i, j ) (k,l ) xij (t ) dt xkl (t ) dt  (i, j ) (k,l )   theo điều kiện A(i, j;k,l)= A(k, l;i, j)  yij (t ) dxij (t ) 1  = −   A(i, j;k,l) ykl (t )  =  (i, j ) (k,l ) xij (t ) dt   = −   A(i, j;k,l) (i, j ) ( k,l )  yij (t ) dxij (t ) xij (t ) d (t ) Eq1 = −   A(i, j;k,l) (i, j ) ( k,l ) Ta có Eq = = yk,l (t ) yij (t ) dxij (t ) xij (t ) dt ykl (t) d    yij (t )   dt  2Rx (i, j )  yij (t ) dxij (t ) yij (t ) dxij (t ) 1 y = y (t )   ij 2Rx (i, j ) ij xij (t ) dt Rx (i, j ) xij (t ) dt 119 Eq = yij (t ) dxij (t ) y (t )  ij Rx (i, j ) xij (t ) dt Ta có Eq3 = −  d    B(i , j;k,l ) yij (t )ukl  dt (i, j ) (k,l )   yij (t ) dxij (t ) (i, j ) (k,l ) xij (t ) = −    B(i, j;k,l) (i, j ) ( k,l ) Ta có Eq = −  dt Eq3 = −   B(i, j;k,l)  ukl (t) = −   B(i, j;k,l) (i, j ) (k,l ) yij (t ) dxij (t ) u xij t dt kl yij (t ) dxij (t ) u xij (t ) dt kl  yij (t ) dxij (t )  yij (t ) dxij (t )  d  =−  I   Iyij (t) = −   I dt (i, j ) (i, j ) xij (t ) dt  (i, j ) xij (t ) dt    Từ phương trình (P1.17) ta có hàm vơ hướng có dạng: yij (t ) dxij (t ) yij (t ) dxij (t ) dE (t ) = −   A(i, j;k,l) ykl (t) + y (t ) −  ij d (t ) xij (t ) dt Rx (i, j ) xij (t ) dt (i, j ) (k,l ) −   B(i, j;k,l) (i, j ) ( k,l ) =−  yij (t ) dxij (t ) yij (t ) dxij (t ) ukl −  I xij (t ) dt (i, j ) xij (t ) dt (P1.15) yij (t ) dxij (t )  (i, j ) xij (t ) dt  y (t ) −  B(i, j;k,l)ukl − I    A(i, j;k,l)ykl (t ) + Rx ij ( k,l ) (k,l )  Ta có 1   yij =  xij  −1 khi xij  −1  xij  xij  −1 1  đạo hàm = xij (t ) 0  yij (t ) xij = yij , khi xij  xij  −1 cho xij  Trường hợp thứ  xij  −1 (P1.16a) (P1.16b) yij (t ) xij (t ) = ta có 120 A(i, j;k,l) = B(i, j;k,l) = cho C ( k , l )  N r ( i, j ) (P1.16c) xij (t )   dE (t ) = −  y (t ) −  B(i, j;k,l)ukl − I  =   A(i, j;k,l)ykl (t) + d (t ) dt (k, l ) Rx ij (i, j ) (k,l )  Vì (P1.17) dE (t ) = nên thỏa mãn điều kiện định lý Leon O Chua đề xuất [10] dt Trường hợp lại, với dE(t ) = , lúc ta có dt xij (t )   dE (t ) = −  y (t ) −  B(i, j;k,l )ukl − I  (P1.18)   A(i, j;k,l ) ykl (t ) + dt dt (k, l ) Rx ij (i, j ) ( k,l )  theo phương trình trạng thái (2a) [10] phần ngoặc vuông:   dxij (t ) A ( i, j;k,l ) y (t) + y (t) − B ( i, j;k,l ) u − I , nên ta có    = kl kl Rx ij dt (k,l ) (k, l )  xij (t )  dxij (t )   dxij (t )  dE (t ) dE (t ) =−    == −    = dt dt (i, j ) dt  dt  (i, j )  dt  thỏa mãm điều kiện (P1.16a) Định lý Leon O Chua đề xuất [10] có dE (t )  dt Đây điều cần chứng minh Định lý 4: Hàm E(t) hội tụ số đạo hàm hội tụ Trong [10], Leon O.Chua phát biểu sau: Cho đầu vào uij trạng thái ban đầu xij CNN, có: lim E (t ) = số t → lim dE(t ) t → dt =0 (P1.19a) (P1.19b) Chứng minh Từ định lý định lý 3, E(t) hàm đơn điệu giảm theo thời gian t E(t) giới hạn đạo hàm tiến tới 121 Sau mạng nơron tế bào phân rã tiến tới 0, thu đầu chiều (DC) khơng đổi Bằng cách khác, có: 1 i  M, 1 j  N (P1.20a) 1 i  M, 1 j  N (P1.20b) lim E (t ) = số t → lim dE(t ) t → dt =0 Chúng ta xét trạng thái ổn định mạng nơron tế bào Từ chứng minh định lý với điều kiện dE (t ) = , có ba trạng thái tế bào: dt (1) (2) (3) dxij (t ) dt dxij (t ) =0 xij (t )  (P1.21a) =0 xij (t )  (P1.21b) 0 xij (t )  (P1.21c) dt dxij (t ) dt Bởi đặc tính hàm đầu (2.2b) [10] cho thấy: Khi xij (t )  có yij (t ) = xij (t ) dyij (t ) dt = dxij (t ) dt từ định lý hệ quả, theo trường hợp (P1.21a) Nhưng cho xij (t )  , yij (t )  xij (t ) với yij (t ) = 1 khơng đổi, khơng có dạng sóng xác xij (t ) Trong trường hợp xij (t ) số, có trường hợp (P1.21b) Mặt khác áp dụng trường hợp (P1.21c) xij (t ) hàm tuần hoàn chu kỳ giới hạn thời gian t trình bày định lý 122 PHỤ LỤC CHỨNG MINH DẠNG TƯƠNG ĐƯƠNG CỦA PHƯƠNG TRÌNH ĐẦU RA Từ phương trình đầu 2b [10] nhắc lại chương (1.33b) luận án, cho thấy: yij (t ) = (| xij (t ) +1|+| xij (t ) - 1|) Miền xác định | xij (t ) +1| a) Nếu xij (t ) +1  , tức xij (t )  | xij (t ) +1| = xij (t ) +1 (P2.1) b) Nếu xij (t ) +1  , tức xij (t )  −1 , | xij (t ) +1| = -xij (t ) - (P2.2) Miền xác định | xij (t ) - 1| a) Nếu xij (t ) - > , tức xij (t )  | xij (t ) - 1| = xij (t ) - (P2.3) b) Nếu xij (t ) - < , tức xij (t )  | xij (t ) - 1| = -xij (t ) +1 (P2.4) Kết hợp miền xác định | xij (t ) +1| | xij (t ) - 1| a) Nếu xij (t ) > , dùng (P2.1) kết hợp (P2.3) ta có yij (t ) = ( )( 1 | xij (t ) +1| - | xij (t ) - 1| =  xij (t ) +1 - xij (t ) -  2 2 ) = (P2.5) b) Nếu xij (t )  (P2.4) xij (t )  −1 (P2.1), kết hợp (P2.1) (P2.4) ta có ( )( 1 yij (t ) = | xij (t ) +1| - | xij (t ) - 1| =  xij (t ) +1 - xij (t ) -    ) = x (P2.6) c) Nếu xij (t )  −1 , | xij (t ) +1|= -xij (t ) - (P2.2) | xij (t ) − 1|= -xij (t ) +1 (P2.4) kết hợp (P2.2) (P2.4) ta có ( )( ) yij (t ) =  -xij (t ) − - -xij (t ) +  = −1 2  (P2.7) kết hơp (P2.5) với (P2.6) với (P2.7) ta có 1 x(t )  1  yij (t ) = | xij (t ) +1| - | xij (t ) - 1| =  x -  x     -1 x(t )  −1 (P2.8) 123 PHỤ LỤC TÍNH SỐ KẾT NỐI CỦA MẠNG NƠRON TẾ BÀO Để mô phỏng, NCS xem xét số đầu vào tới tế bào CNN với bậc khác Số kết nối nơron tế bào bậc Theo Leon O Chua [10] dựa theo Hình 1.11 số đầu vào CNN bậc với: a) Bán kính r = Số lượng kết nối đến tổng tế bào CNN bậc gồm 19 phần tử: • Số lượng kết nối từ mảng phản hồi A, (2r+1)2 = • Số lượng kết nối từ mảng đầu vào B, (2r+1)2 = • Số Kết nối từ ngưỡng I nơron, Tổng số kết nối CNN ký hiệu IO IO= ( 2r + 1) +1 = 19 đầu vào b) Bán kính r = Tương tự cách tính trên, thay r có bán kính 2, ta có số lượng kết nối tế bào là: • Số lượng kết nối từ mảng phản hồi A, (2r+1)2 = 25 • Số lượng kết nối từ mảng đầu vào B, (2r+1)2 = 25 • Số Kết nối từ ngưỡng I nơron, Tổng số kết nối CNN có bán kính r= là: ( 2r + 1) +1 = 51 c) Nơron có bán kính r = Từ cách tính số kết nối CNN với r =1 r = 2, ta có số lượng kết nối số lượng kết nối CNN có r = 3: • Số lượng kết nối từ mảng phản hồi A, (2r+1)2 = 49 • Số lượng kết nối từ mảng đầu vào B, (2r+1)2 = 49 • Số Kết nối từ ngưỡng I nơron, Tổng số kết nối CNN có bán kính r= ( 2r + 1) +1 = 99 đầu vào 124 Với cách tính số kết nối vào nơron tế bào với bán kính r=1, r=2, r=3, …, N với hệ chuẩn Leon O Chua [10] (với N=M), NCS đề xuất cơng thức tính số đầu vào ngồi tế bào với bán kính r khác sau: Bảng P3.1 Tính số đầu vào ngồi tế bào với bán kính r Kích thước ma trận Số đầu vào cho tế bào A B IO=2(2r+1)2+1 = A+B+I r=1 (2r+1)2=3  9+9+1 = 32+32+1=2  32+1 r=2 (2r+1)2=5  52+52+1=25+25+1=2  52+1 r=3 (2r+1)2=7  72+72+1=49+49+1=2  72+1 r=4 (2r+1)2=9  92+92+1=81+81+1=2  92+1 … … … r=R (2R+1)2=(2R+1)  (2R+1) =  (2R+1)2+1 Bán kính r Số lượng kết nối CNN có tương tác bậc cao CNN đa tương tác (bậc hai) có bán kính r =1 gồm phần bậc bậc hai: - Số lượng kết nối phần bậc ( 1) 2 - Số lượng kết nối phần bậc hai  ( ( 1) + 1)    Tổng số kết nối CNN tương tác bậc hai: 2 IO = ( 1) +2  ( ( 1) + 1)  + = 181 đầu vào   Với mạng nơron tế bào bậc 3, tương tự cách tính với mạng bậc 2, có cách tính sau: Số đầu vào mạng gồm: - Chuẩn (bậc 1) có (r=1) = 1+ (  + 1) =19 - Phần bậc = + ( 1 + 1) + (  + 1) = 181 - Phần bậc = + ( 1 + 1) + ( 1 + 1) + ( 1 + 1) = 1639 số đầu vào nơron bậc h có r =1 là: 125 IO = + ( 2r + 1) + ( 2r + 1) + ( 2r + 1) + + ( 2r + 1) 2(h-1) + ( 2r + 1) 2h Từ cách tính trên, NCS đề xuất cơng thức tính số đầu vào ngồi tế bào với bán kính r khác sau: Dạng tổng quát cho mạng nơron tế bào bậc cao Bảng P3.2 Tính số đầu vào ngồi tế bào dạng tổng quát với bán kính r Bậc Số đầu vào Số đầu vào nơron Tổng đầu vào của nơron ( 2r + 1) 2 ( 2r + 1) … h-1 h nơron 2 ( 2r + 1) +1 19 ( 2r + 1) +1 181 ( 2r + 1) ( 2r + 1) +1 … ( 2r + 1) 2(h-1) ( 2r + 1) 2h ( 2r + 1) … 2(h-1) +1 ( 2r + 1) ( 2r + 1) +1 2h 2(h-1) +1 ( 2r + 1) +1 2h Điều cho thấy số đầu vào cho mạng rơron tế bào có bậc đa thức tăng dẫn đến số đầu vào kết nối lớn Do luận án, NCS chọn bậc hai làm đại diện việc mơ phịng chứng minh tính ổn định mạng 126 PHỤ LỤC KẾT QUẢ CỦA A( j, j; k , l; m, n) 127 128