Phát triển mạng nơ ron tế bào đa tương tác và khả năng ứng dụng

Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.Phát triển mạng Nơ ron tế bào đa tương tác và khả năng ứng dụng.

i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI, NĂM 2022 ii BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA *** NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ MÃ SỐ: 9520203 LUẬN ÁN TIẾN SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS NGUYỄN QUANG HOAN TS NGÔ VĂN SỸ HÀ NỘI, NĂM 2022 i MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC v DANH MỤC BẢNG vi DANH MỤC HÌNH VẼ vii MỞ ĐẦU 1 Tính cấp thiết luận án Mục tiêu nghiên cứu luận án Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Đóng góp luận án .3 Cấu trúc luận án .3 CHƯƠNG TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1.1 Tổng quan mạng nơron nhân tạo .5 1.1.1 Mơ hình mạng nơron nhân tạo 1.1.2 Học mạng nơron nhân tạo 13 1.2 Mạng nơron tế bào chuẩn Leon O Chua 15 1.2.1 Láng giềng r .16 1.2.2 Sơ đồ nguyên lý hoạt động 16 1.2.3 Mơ hình tốn học mạng nơron tế bào .18 1.2.4 Mạch điện tế bào 19 1.2.5 Mơ hình hình học nơron tế bào chuẩn 21 1.2.6 Động học mạng nơron tế bào 22 1.3 Tình hình nghiên cứu CNN giới Việt Nam 26 1.3.1 Nghiên cứu cấu trúc CNN 26 1.3.2 Ổn định mạng nơron tế bào 28 1.3.3 Học mạng nơron tế bào .29 ii 1.3.4 Nghiên cứu ứng dụng mạng nơron tế bào 29 1.3.5 Nhận xét .31 1.4 Phát biểu toán nghiên cứu 31 1.5 Kết luận chương 33 CHƯƠNG PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 35 2.1 Mạng nơron tế bào tương tác bậc hai 35 2.1.1 Mơ hình tốn học mạng nơron tế bào tương tác bậc hai .35 2.1.2 Ổn định mạng nơron tế bào tương tác bậc hai 37 2.1.3 Chứng minh hàm E(t) hàm bị chặn 38 2.1.4 Chứng minh đạo hàm hàm E(t) không dương 39 2.1.5 Ổn định trạng thái xij (t) CNN tương tác bậc hai 43 2.1.6 Mơ hình hình học mạng nơron tế bào bậc hai 46 2.2 Mạng nơron tế bào tương tác bậc cao 49 2.2.1 Mơ hình tốn học mạng nơron tế bào tương tác bậc cao .49 2.2.2 Ổn định mạng nơron tế bào tương tác bậc cao 51 2.2.3 Chứng minh hàm E(t) CNN tương tác bậc cao hàm bị chặn 52 2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN tương tác bậc cao không dương 54 2.2.5 Ổn định trạng thái xij (t) CNN tương tác bậc cao 58 2.3 Mô cấu trúc xác định tính ổn định CNN tương tác bậc cao 61 2.3.1 Bài tốn mơ 61 2.3.2 Kịch mô .62 2.3.3 Công cụ mô 63 2.3.4 Thuật toán 63 2.3.5 Kết mô mạng nơron tế bào 64 2.3.6 Nhận xét .66 2.4 Kết luận chương 67 CHƯƠNG BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO .69 iii 3.1 Bộ nhớ liên kết 69 3.2 Bộ nhớ liên kết mạng nơron tế bào .69 3.2.1 Bộ nhớ liên kết CNN chuẩn 69 3.2.2 Bộ nhớ liên kết sử dụng CNN tương tác bậc hai 79 3.2.3 Nhận xét .90 3.3 Mơ hình ứng dụng thử nghiệm mạng nơron tế bào tương tác bậc cao .91 3.3.1 Mơ hình tích hợp CNN tương tác bậc hai với STM32 FPGA 91 3.3.2 Một số ứng dụng CNN tương tác bậc cao 94 3.4 Kết luận chương 101 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN 102 Kết luận chung 102 Hướng phát triển luận án .103 DANH MỤC CÁC CÔNG BỐ CỦA LUẬN ÁN .104 Cơng trình cơng bố tạp chí 104 Cơng trình công bố hội nghị 104 TÀI LIỆU THAM KHẢO 105 PHỤ LỤC 114 PHỤ LỤC 122 PHỤ LỤC 123 PHỤ LỤC 126 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác NGHIÊN CỨU SINH Nguyễn Tài Tuyên LỜI CẢM ƠN Luận án thực Viện Nghiên cứu Điện tử, Tin học, Tự động hóa, hướng dẫn PGS TS Nguyễn Quang Hoan TS Ngô Văn Sỹ Tôi xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Nguyễn Quang Hoan, TS Ngô Văn Sỹ người động viên, trao đổi nhiều kiến thức bảo vượt qua khó khăn để hồn thành luận án Tôi xin gửi lời cảm ơn chân thành tới Viện trưởng, TS Nguyễn Thế Truyện, PGS.TSKH Nguyễn Hồng Vũ nhà khoa học khác Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA), Cơng Thương có trao đổi, góp ý để tơi hồn thiện luận án giúp đỡ tơi q trình học tập, nghiên cứu Xin gửi lời cảm ơn đến Ban Giám đốc Học viện Cơng nghệ Bưu Viễn thông tạo điều kiện, quan tâm giúp đỡ để tơi hồn thành luận án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè, người ln ủng hộ, giúp đỡ hỗ trợ mặt để hoàn thành luận án NGHIÊN CỨU SINH Nguyễn Tài Tuyên DANH MỤC CÁC TỪ VIẾT TẮT ARM Advanced RISC Machine Máy RISC nâng cao ART Adaptive Resonance Theory Lý thuyết cộng hưởng thích nghi BAM Bidirectional Associative Memory Bộ nhớ liên kết hai chiều CNN Cellular Neural Networks Mạng nơron tế bào CNN-UM CNN Universal Machine Máy tính vạn CNN Chất CMOS Complementary Metal Oxide bán dẫn ôxit kim loại bù Semiconductor IEEE Institute of Electrical and Electronics Viện Kỹ sư Điện Điện tử Engineers FPGA Field Programmable Gate Array Mảng phần tử logic lập trình HiCNN Higher-order Cellular Neural Mạng nơron tế bào bậc cao Network HSYNC Horizontal SYNChronization Đồng ngang Đầu IO Input Outside vào bên INR International Normalized Ratio Tỷ lệ chuẩn hóa quốc tế (về đơng máu) LCD Liquid Crystal Display Look Màn hình tinh thể lỏng Bảng LUT Up Table dị tìm MCNN Multi-Layer Cellular Neural Mạng nơron tế bào nhiều lớp Networks MCUs Microcontroller Unit Bộ vi điều khiển MLP Multi-Layer Perceptron Perceptron nhiều lớp MTA Magyar Tudományos Akadémia Personal Viện Hàn lâm Khoa học Hungary PC Computer Máy tính cá nhân PDE Partial Differential Equations Phương trình vi phân phần PE Processing Element Phần tử xử lý RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RC Resistor, Capacitor Điện trở, tụ điện RBF Radial Basis Function Hàm sở xuyên tâm RISC Reduced Instruction Set Computer Máy tính có tập lệnh rút gọn ROM Read Only Memory Bộ nhớ đọc RPLA Recurrent Perceptron Learning Thuật toán học Perceptron hồi Algorithm quy State Controlled Cellular Neural Mạng nơron tế bào điều chỉnh Network trạng thái SOM Self-Organizing Feature Maps Bản đồ tự tổ chức STM32 ST Microelectronic 32 Mạch tích hợp vi điều khiển 32 bit SC-CNN STMicroelectronics TCP/IP Transmission Control Protocol/ Giao thức điều khiển truyền nhận/ UART Internet Protocol Giao thức Internet Universal Asynchronous Receiver/ Bộ truyền nhận liệu nối tiếp Transmitter khơng đồng VLSI Very-Large-Scale Integration Tích hợp cỡ lớn VSYNC Vertical Synchronization Đồng dọc DANH MỤC CÁC KÝ HIỆU TOÁN HỌC ý hiệu K Diễn giải  Tích phân  Hằng số học (tham số tốc độ học) ,, , i, j k,l m,n q,z Tổng tế bào nơron thứ (i,j), (k,l), (m,n), (q,z) Wij Sai số (độ lệch) trọng số kết nối nơron thứ j tới nơron thứ i xij (t) ; I Giá trị tuyệt đối xij (t); I A(i,j; k,l;…;q,z) Các tham số phản hồi đến nơron tế bào thứ (i,j) từ đầu (k,l;…;q,z) mạng nơron tế bào bậc cao B(i,j; k,l;…;q,z) Các tham số đầu vào đến nơron tế bào thứ (i,j) từ đầu vào (k,l;…;q,z) mạng nơron tế bào bậc cao C Tụ điện nơron tế bào (i,j) IC(i,j); C(k,l) Emax Tế bào (i,j); (k,l) gi (.) Hàm tương tác đầu nơron tế bào thứ i Giá trị lớn hàm Lyapunov (còn gọi hàm lượng) Độ lệch (Bias) nơron tế bào M Số hàng mảng nơron tế bào Số cột mảng nơron tế bào N Các tế bào láng giềng nơron tế bào (i,j); (k,l) có bán kính r Nr (i, j); Nr (k,l) Điện trở tế bào (i,j), tương ứng với trạng thái x, đầu y R, Rx , Ry U uij ;ukl ;umn ;uqz ; Đầu vào Biến vào ij kl mn qz nơron tế bào Tổng đầu vào mô tả tác động thân nơron v(t ) Trạng thái; đầu x(t) ; y(t) Biến trạng thái tế bào ij; kl xij (t) ; xkl (t) Đầu nơron tế bào ij; kl yij (t) ; ykl (t) Ngưỡng (Threshold) nơron tế bào W0