Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng

i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI, NĂM 2022 ii BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TS TS HÀ NỘI, NĂM 2022 i MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC KÝ HIỆU TOÁN HỌC iii v DANH MỤC BẢNG vii DANH MỤC HÌNH VẼ viii MỞ ĐẦU 1 Tính cấp thiết luận án Mục tiêu nghiên cứu luận án 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Đóng góp luận án Cấu trúc luận án CHƯƠNG TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1 Tổng quan mạng nơron nhân tạo 1 Mơ hình cấu trúc mạng nơron nhân tạo 1 1 Mơ hình nơ ron Mc Culloch Pitts's 1 Phân loại mạng nơron nhân tạo 1 Học mạng nơron nhân tạo 13 1 Học có tín hiệu đạo 13 1 2 Học tín hiệu đạo 14 Mạng nơron tế bào chuẩn Leon O Chua 15 Láng giềng r 16 2 Sơ đồ ngun lý hoạt động 16 Mơ hình toán học mạng nơron tế bào 18 Mạch điện tế bào 19 Mơ hình hình học nơron tế bào chuẩn 21 Động học mạng nơ ron tế bào 22 ii Giới hạn trạng thái xij mạng nơ ron tế bào chuẩn 23 Hàm Lyapunov mạng nơron tế bào chuẩn 23 Phương pháp xây dựng hàm E(t) 23 Chứng minh đạo hàm hàm E(t) không dương 24 Xác định hàm Lyapunov E(t) 25 Tình hình nghiên cứu CNN giới Việt Nam Nghiên cứu cấu trúc CNN 26 26 1 Mạng nơron tế bào lớp có trễ 26 Mạng nơron tế bào nhiều lớp 26 3 Mạng nơron tế bào lai mờ 26 Mạng nơron tế bào bậc cao 27 Ổn định mạng nơron tế bào 28 3 Học mạng nơron tế bào 29 3 Học tìm A, B, RPLA 29 3 Bộ nhớ liên kết 29 Ứng dụng mạng nơron tế bào 29 Ứng dụng mạng nơron tế bào giới 30 Ứng dụng mạng nơron tế bào Việt Nam 30 Nhận xét 31 Phát biểu toán nghiên cứu 31 Kết luận chương 32 CHƯƠNG PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠ RON TẾ BÀO BẬC CAO Mạng nơron tế bào bậc hai 34 34 1 Mơ hình tốn học mạng nơron tế bào bậc hai 34 2 Ổn định mạng nơron tế bào bậc hai 36 Chứng minh hàm E(t) hàm bị chặn 37 Chứng minh đạo hàm hàm E(t) khơng dương 38 Tính ổn định trạng thái xij (t) đầu yij (t) CNN bậc hai 41 Mơ hình hình học mạng nơron tế bào bậc hai 43 iii 2 Mạng nơ ron tế bào bậc cao 46 2 Mơ hình mạng nơron tế bào bậc cao 46 2 Ổn định mạng nơ ron tế bào bậc cao 47 2 Chứng minh hàm E(t) cho CNN bậc cao hàm bị chặn 47 2 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương 49 2 Ổn định trạng thái xij (t) ổn định đầu yij (t) CNN bậc cao 54 Mơ cấu trúc xác định tính ổn định CNN bậc cao 56 Bài toán mô 56 Kịch mô 57 3 Công cụ mô 58 Thuật toán 58 Kết mô CNN 59 Nhận xét 61 Kết luận chương 62 CHƯƠNG BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 63 Bộ nhớ liên kết 63 Bộ nhớ liên kết mạng nơron tế bào 63 Bộ nhớ liên kết CNN chuẩn 63 1 Mơ hình toán học cấu trúc nhớ liên kết 63 2 Bộ nhớ lên kết A(i, j;k,l) 65 3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm nhớ liên kết 70 2 Bộ nhớ liên kết sử dụng CNN bậc hai 73 2 Mơ hình tốn học cấu trúc nhớ liên kết bậc hai 73 2 Mơ hình học hay nhớ lên kết bậc hai 74 2 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm nhớ liên kết 80 3 Kết luận 3 Mơ hình ứng dụng thử nghiệm CNN bậc cao 3 Mơ hình tích hợp CNN bậc hai với STM32 FPGA 3 1 Kiến trúc FPGA 84 85 85 85 iv 3 Xử lý ảnh STM2 86 3 CNN bậc hai tảng FPGA STM2 87 3 Bàn luận đánh giá 88 3 Một số ứng dụng khác CNN bậc cao 3 Ứng dụng CNN bậc hai tốn ni trồng 88 88 3 2 Ứng dụng CNN bậc hai cảnh báo sớm cho bệnh nhân dung thuốc kháng Vitamin K 91 Kết luận chương 95 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 96 Kết luận 96 Hướng phát triển luận án 96 CƠNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH 97 TÀI LIỆU THAM KHẢO 98 PHỤ LỤC 107 PHỤ LỤC 116 PHỤ LỤC 118 PHỤ LỤC 123 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác Tác giả luận án ii LỜI CẢM ƠN Luận án thực Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, hướng dẫn PGS TS Nguyễn Quang Hoan TS Ngô Văn Sỹ Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, TS Ngô Văn Sỹ người động viên, trao đổi nhiều kiến thức bảo vượt qua khó khăn để hồn thành luận án Tơi xin gửi lời cảm ơn chân thành tới Viện trưởng, TS Nguyễn Thế Truyện, PGS TSKH Nguyễn Hồng Vũ nhà khoa học khác Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), Cơng Thương có trao đổi, góp ý để tơi hồn thiện luận án giúp đỡ tơi q trình học tập, nghiên cứu Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Cơng nghệ Bưu Viễn thông tạo điều kiện, quan tâm giúp đỡ để tơi hồn thành luận án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người ln ủng hộ, giúp đỡ hỗ trợ mặt để hoàn thành luận án Tác giả luận án iii DANH MỤC CÁC TỪ VIẾT TẮT ART Adaptive Resonance Theory Lý thuyết cộng hưởng thích nghi ARM Advanced RISC Machine Bộ xử lý dựa kiến trúc RISC BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CNN Cellular Neural Networks Mạng nơron tế bào CNN-UM CNN Universal Machine Máy tính vạn CNN CMOS Complementary Metal Oxide Chất bán dẫn ôxit kim loại bù Semiconductor IEEE Institute of Electrical and Electronics Viện Kỹ sư Điện Điện tử Engineers FIRDDCNNs FPGA Fuzzy Delayed Reaction-Diffusion Mạng nơron tế bào khuếch tán mờ Cellular Neural Networks có trễ Field Programmable Gate Array Mảng cổng logic lập trình HiCNN Higher-order Cellar Neural Network Mạng nơron tế bào bậc cao HSYNC Horizontal SYNChronization Đồng ngang IO Input Outside Đầu vào bên INR International Normalized Ratio Tỷ lệ chuẩn hóa quốc tế đơng máu LUT Look Up Table Bảng dị tìm MCNN Multi-Layer Cellular Neural Mạng nơron tế bào nhiều lớp Networks MCUs Microcontroller Unit Bộ vi điều khiển MLP Multi-Layer Perceptron Perceptron nhiều lớp MTA Magyar Tudományos Akadémia Viện Hàn lâm Khoa học Hungary PC Personal Computer Máy tính cá nhân PE Processing Element Phần tử xử lý RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RC Resistor, Capacitor Điện trở, tụ điện iv RBF Radial Basis Function Hàm sở xuyên tâm RISC Reduced Instruction Set Computer Máy tính có tập lệnh đơn giản hóa ROM Read Only Memory Bộ nhớ đọc RPLA Recurrent Perceptron Learning Thuật toán học perceptron hồi quy Algorithm State Controlled Cellular Neural Mạng nơron tế bào điều chỉnh Network trạng thái SOM Self-Organizing Feature Maps Bản đồ tự tổ chức STM32 ST Microelectronic 32 Mạch tích hợp vi điều khiển 32 SC-CNN bit STMicroelectronics Transmission Control Protocol/ Giao thức điều khiển truyền nhận/ Internet Protocol Giao thức liên mạng Universal Asynchronous Receiver/ Bộ truyền nhận liệu nối tiếp Transmitter không đồng VLSI Very-Large-Scale Integration Mạch tích hợp cỡ lớn VSYNC Vertical Synchronization Đồng dọc TCP/IP UART 111 Định lý Hàm vô hướng E(t) Leon O Chua đưa [11] CNN viết lại (P1 8) hàm đơn điệu giảm, đó: dE(t) 0 dt E(t)= -  A(i, j;k,l)yij1 (t) (t)ykl ij(t)+ (i, j) (k,l) 2Rx (i, j) y (P1 13) - B(i, j;k,l)yij (t)ukl - Iyij (t) Lấy đạo hàm vế theo (t) ta có: = dt dt (i, j) (k,l ) 2Rx (i, j) dE(t)1 -  yij (t) -  A(i, j;k,l)yij (t)ykl (t)+   B(i, j;k,l)yij (t)ukl - Iyij (t) (i, j) (k,l ) (i, j) = Đặt (P1 14) d 1 d 1   A(i, j;k,l)yij (t)ykl (t)   y ij (t) dt (i, j) (k,l) 2Rx (i, j) dt  d d  Iy (t)  B(i, j;k,l)yij (t)ukl dt(i, j) (k,l) dt(i, j) ij A d 1   A(i, j;k,l) yij (t) ykl (t ) ; dt (i, j) (k,l) B d 1   yij (t) ; dt 2Rx (i, j) C d  B(i, j;k,l)yij (t)ukl ; dt(i, j) (k,l) D d  Iyij (t) dt(i, j) Đạo hàm phần: Ta có A A(i, j;k,l)  theo điều kiện (t) dxij ij (t) 1y ykl (t)+ A(k, l;i, j) 2(i,j)(k,l)  xij (t) (i,j)(k,l)  xkl(t)   dt (t) dx yij (t) dt ykl kl (t)  112 xij (t) xkl (t); yij (t) ykl (t) A(i, j;k,l)= A(k, l;i, j) (t) dxij 1y ij (t) ykl (t) 2 (i, j) (k,l)    xij (t)      dt 2 A(i, j;k,l)  yij (t)ijdx(t)  A(i, j;k,l) (i, j) (k,l ) xij (t ) d (t ) A A(i, j;k,l) yij (t )ij dx (t ) xij (t ) dt (i, j) (k,l )  yk,l (t ) ykl (t) d 2   yij (t) dt 2Rx (i, j) Ta có B =  B= dx ij (t)ijdx(t) yij ij(t)(t)y 1   yij 2Rx (i, j) xij (t) dt ijRx(t)(i, j)x yij (t )ijdx (t ) Rx (i, j)xij (t ) dt Ta có C=  ij y (t) ij d  B(i, j;k,l) yij (t)ukl dt(i, j) (k,l)   B(i, j;k,l) (i, j) (k,l) yij (t)ijdx(t) xij (t) dt C B(i, j;k,l) (i, j) (k,l ) Ta có D y (t) dt  ukl (t) B(i, j;k,l)  (i, j) (k,l ) yij (t) ijdx(t) ukl xij t dt yij (t)ijdx (t) ukl xij (t) dt  (t) ydx ij  ij (t) d  Iyij (t) I (i, j) dt (i, j)xij (t) dt    yij (t )ij dx (t ) D I dt (i, j)xij (t ) Từ phương trình (P1 17) ta có hàm vơ hướng có dạng: dE(t)  A(i, j;k,l) d (t) (i, j) (k,l) yij (t) dxij (t) xij (t) dt yij (t)ijdx (t) ykl (t) Rx (i, j)xij (t) dt  y (t) ij 113 yij  B(i, j;k,l) (i, j) (k,l ) ij(t ) dx (tij )y ij (t ) (t ) dx ukl I (P1 15) xij (t ) (i, j)xij (t ) yij ij (t)(t)       dx   A(i, j;k,l)ykl (t ) y (t ) B(i, j;k,l)uklI Rx ij (k,l ) (i, j)xij (t) dt (k,l)  Ta có 1   yij xij  1 khi xij 1 xij xij1 đạo hàm xij ij y , 1   xij (t) 0  yij (t) xij xij1 (P1 16a) (P1 16b) cho xij Trường hợp thứ 1 xij1 yij (t) xij (t)  ta có A(i, j;k,l) = B(i, j;k,l) = cho C k , l Nri, j dE(t)  d (t) (i, j) Vì xij (t) 1 y I(t)  A(i, j;k,l)yB(i, kl (t) j;k,l)ukl  (P1 17) dt (k, l) Rx ij (k,l) dE(t)  nên thỏa mãn điều kiện định lý Leon O Chua đề xuất [11] dt Trường hợp lại, với dE  dt (i, j) (P1 16c) dE(t)  1, lúc ta có dt xij (t) 1  A(i, j;k,l) ykl klI (P1 18) dt (k, l)  Rx ij (k,l) theo phương trình trạng thái (2a) [11] phần ngoặc vng: y (t) A(i, j;k,l) ykl (t) klIB(i,  j;k,l )u (k, l ) Rx ij (k,l )  dxij (t) , nên ta có dt 114 xij (t) ij dx (t ) ij dE (t )(t )dx dE(t)   dt (i, j) dt dt  dt(i, j) dt thỏa mãm điều kiện (P1 16a) Định lý Leon O Chua đề xuất [11] có dE(t) 0 dt Đây điều cần chứng minh Định lý Trong [11], Leon O Chua phát biểu sau: Cho đầu vào uij trạng thái ban đầu xij CNN, có: lim E(t ) constant (P1 19a) dE(t) 0 tdt (P1 19b) t lim Chứng minh Từ định lý định lý 3, E(t) hàm đơn điệu giảm theo thời gian t E(t) giới hạn đạo hàm tiến tới Sau mạng nơron tế bào phân rã tiến tới 0, thu đầu chiều (DC) không đổi Bằng cách khác, có: lim E(t ) constant 1 i M , 1 j N (P1 20a) dE(t) 0 tdt 1 i M , 1 j N (P1 20b) t lim Chúng ta xét trạng thái ổn định mạng nơron tế bào Từ chứng minh định lý với điều kiện dE(t)  , có ba trạng thái tế bào: dt (1) (2) (3) dxij (t ) dt dxij (t ) dt dxij (t ) dt 0 xij (t) (P1 13a) 0 xij (t) (P1 21b) 0 xij (t) (P1 21c) 115 Bởi đặc tính hàm đầu (2 2b) [11] cho thấy: Khi xij (t) có yij (t ) ij (tx) dyij (t ) dt (P1 13a) Nhưng cho xij (t) , yij  dxij (t ) từ định lý hệ quả, theo trường hợp dt x không đổi, chúng ij (t ) với yij(t(t) )1 ta khơng có dạng sóng xác xij (t ) Trong trường hợp xij (t ) constant có trường hợp (P1 21b) Mặt khác áp dụng trường hợp (P1 21c) xij (t ) hàm tuần hoàn chu kỳ giới hạn thời gian t trình bày định lý 116 PHỤ LỤC CHỨNG MINH DẠNG TƯƠNG ĐƯƠNG CỦA PHƯƠNG TRÌNH ĐẦU RA Từ phương trình đầu vào 2b [11] nhắc lại chương (1 33b) luận án, cho thấy: x (t) +1|+| x yij (t)ij(| ij (t) - 1|) -( x- 1(t)