Phát triển mạng nơron tế bào đa tương tác và khả năng ứng dụng tt

Mạng nơron tế bào (CNN) được Leon O. Chua đề xuất năm 1988 và được chế tạo thành máy tính nơron mảng tương tự đầu tiên trên thế giới. Đây là một kết quả đạt được từ mơ ước con người muốn có một máy tính nơron phỏng theo hoạt động giống bộ não của con người. Nhằm kế thừa sức mạnh nổi trội nhờ khả năng tính toán song song và khả năng học của CNN, luận án hướng về CNN đa tương tác (CNN bậc cao) dạng đa thức được phát triển từ CNN chuẩn. Một số kết quả mới của luận án đạt được: Về mặt lý thuyết: Kế thừa kết quả từ CNN chuẩn của Leon O. Chua để phát triển thành CNN bậc cao trên cơ sở: - Luận án phát triển mô hình CNN chuẩn thành mô hình CNN bậc hai, mô hình CNN bậc cao với các điều kiện ràng buộc nhất định. - Đề xuất hàm E(t) làm cơ sở chứng minh mạng CNN bậc cao ổn định đầy đủ. Tiến hành mô phỏng và kiểm chứng tính ổn định CNN bậc hai (đại diện cho bậc cao) trên Matlab và Java Về ứng dụng: Dựa trên kết quả nghiên cứu mô hình CNN bậc cao, tác giả đã thử nghiệm bậc hai cho các bài toán điển hình bao gồm: - Thử nghiệm CNN bậc hai trong nhận mẫu. Mỗi mẫu có số bit tương ứng là 9 bit và 81 bit cho nhận mẫu đã được học và các mẫu không được học có số bit sai đến 44% để kiểm chứng bộ nhớ CNN bậc cao làm bộ nhớ liên kết. - Thực hiện trên phần cứng FPGA và và STM32 thử nghiệm cho bài toán xử lý ảnh, nuôi trồng và một số các ứng dụng khác.

1 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ CÔNG THƯƠNG VIỆN NGHIÊN CỨU ĐIỆN TỬ, TIN HỌC, TỰ ĐỘNG HÓA NGUYỄN TÀI TUYÊN PHÁT TRIỂN MẠNG NƠRON TẾ BÀO ĐA TƯƠNG TÁC VÀ KHẢ NĂNG ỨNG DỤNG TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2022 Cơng trình hồn thành tại: Viện nghiên cứu Điện tử, Tin học, Tự động hóa Người hướng dẫn khoa học: PGS.TS Nguyễn Quang Hoan PGS TS Nguyễn Quang Hoan TS.2.Ngô TS.Văn NgôSỹVăn Sỹ Phản biện 1: PGS.TS Ngô Quốc Tạo Phản biện 2: PGS.TS Nguyễn Quang Hùng Phản biện 3: PGS.TS Trần Đức Thuận Luận án bảo vệ hội đồng đánh giá luận án cấp viện Nghiên cứu Điện tử, Tin học, Tự động hóa họp hội trường vào hồi ngày tháng năm 2022 Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Thư viện Viện nghiên cứu Điện tử, Tin học, Tự động hóa PHẦN MỞ ĐẦU Tính cấp thiết luận án a) Những ưu điểm bật CNN Mạng nơron tế bào (CNN) có khả phát triển thành máy tính nơron mảng tương tự, theo hoạt động giống não người; CNN dùng làm nhớ tự liên kết; CNN mơ hình hệ phương trình vi phân giải phần cứng phần mềm b) Những vấn đề mà CNN chưa quan tâm CNN tiến tới cấu trúc CNN nhiều lớp Nhưng dừng lại liên kết tuyến tính cho đầu vào cho phản hồi Các cơng trình nghiên cứu, chưa thấy liên kết đầu vào phản hồi dạng đa thức bậc bậc v.v… Trong thực tế, áp dụng giải hệ phương trình vi phân khơng có mảng đầu vào mảng phản hồi tuyến tính mà tồn đầu vào phản hồi dạng đa thức Mục tiêu nghiên cứu luận án - Kế thừa cấu trúc CNN chuẩn Leon O Chua, tác giả phát triển thành cấu trúc CNN bậc cao (đa tương tác đầu vào đa tương tác đầu ra) - Xây dựng chứng minh điều kiện đảm bảo cho CNN bậc cao đa tương tác ổn định sử dụng tiêu chuẩn ổn định đầy đủ - Thử nghiệm cấu trúc CNN đa tương tác dùng làm nhớ liên kết vài khả ứng dụng khác Đối tượng phạm vi nghiên cứu - Về lý thuyết: Tác giả sử dụng phương pháp quy nạp để xây dựng mơ hình chứng minh tính ổn định cho CNN bậc hai sau suy diễn cho CNN bậc cao; tác giả tập trung phát triển cấu trúc CNN đa tương tác (bậc cao), xét tính ổn định CNN đa tương tác - Về ứng dụng: Sử dụng phần mềm Matlab Java để mơ kiểm chứng tính ổn định mạng CNN bậc cao; sử dụng CNN bậc cao làm nhớ liên kết; kiểm chứng khả thực mạch điện tử (FPGA) ứng dụng khác Phương pháp nghiên cứu - Kế thừa mơ hình chuẩn Leon O Chua tiêu chuẩn ổn định đầy đủ Phát triển mơ hình tuyến tính thành mơ hình liên kết dạng đa thức tìm điều kiện để mạng CNN ổn định - Mô phỏng, thử nghiệm số ứng dụng Đóng góp luận án Luận án đặt ba vấn đề cần phải giải bao gồm: - Thứ nhất, đề xuất mơ hình CNN bậc cao (đa tương tác) - Thứ hai, tìm hàm E(t) (tương tự hàm Lyapunov) để chứng minh mạng đề xuất ổn định đầy đủ - Thứ ba, chứng minh khả ứng dụng CNN bậc cao Cấu trúc luận án Toàn luận án gồm 106 trang trình bày chương, 39 hình vẽ, 10 bảng biểu chia thành chương, mục bố cục sau: Mở đầu; Chương 1, trình bày trình phát triển mạnmg nơron nhân tạo; phân loại mạng nơron; học xấp xỉ mạng nơron; số ứng dụng mạng nơron…; trình bày khái niệm CNN chuẩn Leon O Chua Trên sở nghiên cứu tổng quan, tác giả đưa hướng nghiên cứu CNN bậc cao Chương 2, sở mạng chuẩn Leon O Chua, tác giả đề xuất mơ hình CNN bậc cao; đề xuất hàm E(t) cho mạng phát triển; chứng minh tính ổn định CNN bậc cao; mô CNN bậc hai môi trường Matlab Chương 3, trình bày kết thử nghiệm CNN bậc cao cho nhớ liên kết; thử nghiệm CNN đa tương tác tảng STM32 FPGA Kết thử nghiệm môi trường Matlab số khả ứng dụng khác Kết luận hướng phát triển luận án Chương TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1.1 Tổng quan mạng nơron nhân tạo CNN hàng trăm cấu trúc kèm với luật học khác mạng nơron nhân tạo Nó có đặc điểm chung riêng so với cấu trúc, luật học có tính kế thừa từ mạng nơron khác Do vậy, tác giả điểm qua cấu trúc luật học mạng nơron nói chung 1.1.1 Mơ hình cấu trúc mạng nơron nhân tạo 1.1.1.1 Mơ hình nơron Mc.Culloch Pitts's Năm 1943, Mc.Culloch Pitts's đề xuất mơ hình nơron nhân tạo gọi đơn vị (phần tử) xử lý (Processing Element: PE), nút (Node) hay tế bào (tên dùng mạng CNN) mô hình đánh dấu mốc khởi đầu cho phát triển hệ mạng nơron nhân tạo 1.1.1.2 Phân loại mạng nơron nhân tạo Nhiều nơron kết nối với theo cách gọi mạng nơron Về tổng thể, cấu trúc mạng nơron chia thành hai loại chính: - Dựa vào cách kết nối, mạng phân thành mạng lớp mạng nhiều lớp (Layer) Cấu trúc mạng xác định số lớp số phần tử nơron lớp - Dựa vào hướng truyền tín hiệu, mạng phân thành mạng truyền thẳng mạng hồi quy (hay phản hồi) Khởi điểm mạng phản hồi mạng Hopfield, có hai loại: rời rạc liên tục mạng sở CNN Năm 1984, sở mơ hình rời rạc, Hopfield nêu mơ hình nơron liên tục mơ tả tập phương trình sau: Ci n x = − i +  wij y j − Ii (1.14); dt Ri j =1 dE yi = gi(xi); xi = gi-1 (yi) (1.15) đó: Ci, Ri tụ điện, điện trở nơron thứ i, Ii ngưỡng nơron thứ i; i = n Trong wij trọng số liên kết từ nơron thứ j tới nơron thứ i; xi trạng thái thứ i mạng; gi(.) hàm Sigmoid, khả vi, bị chặn đơn điệu tăng, với hàm ngược xi = gi-1(yi) bị chặn đơn điệu tăng Hopfield đề xuất hàm Lyapunov xác định dương E=- n y -1 n n n   wij yi y j +  ( ) 0 g (ς)dς -  Ii yi i i=1 Ri i=1 i=1 j=1 dE (1.16) (1.17) 0 dt đảm bảo mạng nơron Hopfield liên tục phi tuyến ổn định theo tiêu chuẩn Lyapunov Như vậy, sau thời gian t  , xi (t ) chuyển động khơng gian trạng thái, tìm cực tiểu miền xác định dừng điểm dyi dE = tức yi (t ) =constant với i Với hệ này, tồn đó, với  0, dt dt nhiều điểm cân ứng với mức lượng cực tiểu (hay đáy lượng) siêu phẳng lượng siêu diện n chiều Giả sử mẫu vào (Input Patterns) tuỳ ý đưa vào mạng nơron trạng thái ban đầu, hệ đạt đến điểm cân gần ứng với điểm ổn định 1.1.2 Học mạng nơron nhân tạo Học (Learning) nguyên tắc chung xác định (tìm) tham số chưa biết Theo nghĩa vậy, học xác định giá trị tham số gọi học tham số Học tham số bao hàm ba loại: Học có tín hiệu đạo (Supervised Learning) chứng minh rằng: hay học có thầy; học khơng có tín hiệu đạo (Unsupervised Learning) học củng cố (là loại học lai hai loại trên) 1.1.2.1 Học có tín hiệu đạo Luật học Delta: Luật học điển hình nhóm luật học Delta Widrow nêu dùng để xấp xỉ trọng mạng Adaline dựa nguyên lý hạ Gradient Luật học Perceptron Về thuật học Perceptron giống thuật học Delta Điểm khác luật Delta thay đổi giá trị trọng thời gian học, luật học Perceptron thêm bỏ trọng tuỳ theo giá trị sai số đầu dương âm 1.1.2.2 Học tín hiệu đạo Luật học Hebb: luật sinh học xuất phát từ tiên đề Hebb cho rằng: hai phần tử nơron có quan hệ có thay đổi chúng có thay đổi trọng liên kết 1.2 Mạng CNN chuẩn Leon O Chua CNN mảng xử lý song song tương tự gọi tế bào (Cell), hình 1.9 cho thấy CNN hai chiều có kích thước (M x N), Cij Hình 1.9 Mạng nơron tế bào có kích thước M  N tế bào mạng với i=1…N; j=1…M Mỗi tế bào Cij có tế bào lân cận hay láng giềng r 1.2.1 Láng giềng r Định nghĩa 1: Láng giềng r (hình 1.9) tế bào C(i,j) CNN định nghĩa sau: Nr (i, j) = {C (k, l)| max {| k - i |,| l - j|} ≤ r ; ≤ k ≤ M ; ≤ l ≤N r số nguyên dương 1.2.2 Sơ đồ nguyên lý hoạt động Hình 1.10 Sơ đồ nguyên lý nơron tế bào Trong (Hình 1.10), uij , xij , yij tín hiệu đầu vào, trạng thái, đầu nơron (i, j) Trạng thái xij chuẩn hóa với giá trị khoảng ≤ xij ≤ Điện áp đầu vào uij giả định số với giá trị nhỏ (0 ≤ uij ≤ 1) Mỗi tế bào C(i,j) chứa nguồn điện áp E(ij), nguồn dòng I, tụ điện C, điện trở Rx mạch trạng thái Ry mạch I xu (i , j; k , l ) I xy (i , j; k , l ) nguồn dòng đầu vào nguồn dòng đầu ra, dòng điện điều khiển điện áp tuyến tính mạch ra, xác định sau: (1.30a) I xu (i, j; k , l ) = B(i, j; k , l )vukl Để hiểu rõ độ đo B (1.30a) ta có v điện áp mặc định Vì vukl = Ekl , với Ekl nguồn áp chiều (là số) Dựa vào công thức để xác định đơn vị đo S thông qua (1.30) (1.31), độ dẫn (độ dẫn G: đại lượng nghịch đảo điện trở R có đơn vị đo S - Siemen) sau: I (i, j; k , l ) 1 B(i, j; k , l ) = xu = = =G (1.30b) u Ru  kl I xy (i, j; k , l ) = A(i, j; k , l ) y tương tự (1.30a) (1.31a) kl A(i, j; k , l ) = I yx = (x 2R ij I xy (i, j; k , l ) y ) kl + − xij − = y = Ry =  =G ( ) (1.31b) 1  xij + − xij −  = f ( xij ) = yij = I yx R y (1.32  Ry   Ry với C(k,l) ∈ Nr(i, j) 1.2.3 Mô hình tốn học mạng nơron tế bào Phương trình động học CNN Phương trình hệ thống (1.33a, 1.33b, 1.33c) mơ tả (Hình 1.11), C(k,l) tế bào ô giao hàng k cột l, C tụ điện, R điện trở mạch trạng thái tương ứng với x ta có Cx Rx Phương trình trạng thái: C dx (t ) ij dt − R xij (t ) + A(i, j; k,l ) ykl (t ) + B (i, j; k,l )u kl + I   C ( k,l )∈ Nr (i, j ) C ( k,l )∈ N r (i, j ) x ≤ i,k ≤ M ; ≤ j,l ≤ N Trong (1.33a), ký hiệu  C (k,l) Nr (i, j) (1.33a) sử dụng luận án có dạng  ( k ,l ) Phương trình đầu ra: y (t ) = (| x (t ) +1| - | x (t ) - 1|) = f ( x ) ij ij ij ij ≤ i,k ≤ M ; ≤ j,l ≤ N Phương trình đầu vào ≤ i,k ≤ M ; ≤ j,l ≤ N u = Eij ij (1.33b) (1.33c) Phương trình ràng buộc giả định Các điều kiện ràng buộc (Constraint Conditions) | x (0)|  1 ≤ i,k ≤ M ; ≤ j,l ≤ N ij |u |1 ≤ i,k ≤ M ; ≤ j,l ≤ N ij (1.33d) (1.33e) Các thông số giả định (chọn “1” với nghĩa chuẩn hóa đơn vị): 1≤i≤M;1≤j≤N A(i,j;k,l)=A(k,l;i,j) C >0 R 0 x (1.33f) (1.33g) 1.2.4 Mạch điện tế bào Một CNN mơ mạch điện phi tuyến tạo nên từ việc ghép nối liên kết cục theo không gian khối mạch điện giống nhau, khối mạch điện gọi tế bào có kích thước (M  N) 1.2.5 Động học mạng nơron tế bào 1.2.5.1 Giới hạn trạng thái xij CNN chuẩn Định lý Tất trạng thái xij CNN bị giới hạn với thời gian t>0 điều kiện ràng buộc liên kết vmax tính theo cơng thức (1.37) cho tất CNN  ( vmax = + Rx I + Rx max  A(i , j ; k , l ) + B (i , j ; k , l ) ( i , j ) ( k ,l )  ) Chứng minh: Nội dung chứng minh (xem phụ lục 1) 1.2.5.2 Hàm Lyapunov CNN chuẩn Định lý Cho hàm E(t) vô hướng (1.38) E(t) = - 1   A(i, j; k,l)yij (t)ykl (t)+  yij (t) (i, j)(k,l ) 2Rx (i, j) (1.38) -   B(i, j; k,l)yij (t)ukl -  Iyij (t) (i, j ) (k,l ) (i, j ) A(i, j;k,l) mảng phản hồi, B(i, j;k,l) mảng đầu vào, yij ; y kl đầu tế bào trung tâm ij đầu tế bào lân cận kl 1.2.5.3 Chứng minh đạo hàm hàm E(t) không dương Định lý Hàm vô hướng E(t) cho (1.38) hàm đơn điệu giảm, nghĩa đạo hàm khơng dương (1.45) dE (t ) (1.45) 0 dt Chứng minh: Nội dung chứng minh (xem phụ lục toàn văn luận án) 1.2.5.5 Xác định hàm Lyapunov E(t) Định lý Cho vectơ đầu vào u, vectơ trạng thái ban đầu x CNN mô tả theo công thức từ (1.33a) đến cơng thức (1.33g), có E(t) hội tụ số dương âm đạo hàm hội tụ t →  , tức là: dE (t ) (1.46a); lim (1.46b) =0 lim E (t ) = constant t → t → dt Chứng minh: Nội dung chứng minh (xem phụ lục toàn văn luận án) Định lý 4a Định lý Angela Slavova Năm (2003), Angela Slavova dựa định lý rút định lý ổn định cho CNN gọi ổn định đầy đủ (Complete Stability) phát biểu: Sau trình q độ CNN mơ tả đảm bảo điều kiện đưa từ công thức (1.33a) đến công thức (1.33g), CNN suy giảm 0, thu đầu CNN yij(t) số (1.47a) lim E (t ) = constant, 1 i  M, 1 j  M t → lim t → dE (t ) dt =0 (1.47b) 10 Nhận xét: Từ định lý định lý 4a Angela Slavova ln tìm hàm E(t) hội tụ số (âm dương), tiêu chuẩn ổn định Lyapunov đòi hỏi E(t) phải xác định dương Điều hiểu tiêu chuẩn ổn định Lyapunov điều kiện đủ Một khái niệm ổn định đầy đủ để hệ ổn định phải đảm bảo hai tiêu chuẩn theo công thức (1.46a) (1.46b) 1.3 Tình hình nghiên cứu CNN giới Việt Nam 1.3.1 Nghiên cứu CNN Việt Nam Năm 2006, có dự án hợp tác nghiên cứu CNN Viện Công nghệ Thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam với Viện Nghiên cứu Máy tính Tự động, Viện Hàn lâm Khoa học Hungary (MTA SzTAKI) Dự án nhập máy tính nơron tế bào cho đào tạo thạc sĩ, nghiên cứu sinh về: giải phương trình vi phân, xử lý đo đếm ảnh đối tượng chuyển động tốc độ cao Những năm gần đây, CNN sở đào tạo khác Trường đại học Bách khoa Hà Nội, Học viện Cơng nghệ Bưu Viễn thông, Trường đại học Thái Nguyên, Viện Điện tử Tin học Tự động hóa (Bộ Cơng Thương)… tập trung nghiên cứu phát triển cấu trúc, thuật học ứng dụng CNN 1.3.2 Tình hình nghiên cứu CNN giới Trong năm gần đây, CNN bậc cao có số nghiên cứu bậc cao ý nghĩa “bậc cao” có nhiều quan niệm khác i) Mạng bậc cao đa biến bậc cao nghiên cứu hàm biến đầu vào như: bậc chứa biến (x), bậc chứa biến (x, y) bậc ba chứa biến (x, y, z); ii) CNN bậc cao độ trễ bậc cao sử dụng bậc trễ có thời gian thay đổi 1.4 Phát biểu toán nghiên cứu a) Mạng CNN chuẩn Leon O Chua có đầu vào dạng tuyến tính (hay bậc nhất) uij (1.48) phản hồi tuyến tính (bậc nhất) yij (1.49)  B(i, j; k , l )ukl ( k ,l ) (1.48);  A(i, j; k , l ) ykl (t ) (1.49) ( k ,l ) b) Vấn đề đặt ra: Điều xảy đầu vào phản hồi khơng phải đơn (tuyến tính) mà dạng đa tương tác (dạng đa thức hay bậc cao) đầu vào phản hồi tương ứng (1.50) (1.51)  B ' (i, j; k , l )u k +  B '' (i, j; k , l )ukl umn uqz (1.50) kl ( k ,l ) ( k ,l ) 13 E (t ) = − + 1   A(i, j; k , l ) yij (t ) ykl (t ) −   B(i, j; k , l ) yij (t )ukl −  Iyij (t ) (i , j ) ( k ,l ) (i , j ) (i, j ) ( k ,l )     A(i, j; k , l ; m, n) yij (t ) ykl (t ) ymn (t ) −  (i, j ) ( k ,l ) ( m,n)  −    B(i, j; k , l ; m, n) yij (t )ukl umn  (i , j ) ( k ,l ) ( m,n )   yij (t ) +  − Rx (i, j )  i,k,m  M ;  j,l,n  N (2.2) ta nói CNN mơ tả theo phương trình (2.1a) đến (2.1g) ổn định đầy đủ đảm bảo hai điều kiện E(t) liên tục, khả vi, giới hạn, tức là: dE (t ) lim E ( t ) = Constant (có thể dương âm); lim t→ t → dt 0 Nhận xét: Ổn định đầy đủ (Complete Stability) CNN bậc rút từ định lý 4a chương (1.47) Khái niệm ổn định đầy đủ mở rộng ổn định Lyapunov theo nghĩa xác định dương âm Để đảm bảo cho (2.2) ổn định đầy đủ, mục tác giả chứng minh hai điều kiện 2.1.3 Chứng minh hàm E(t) hàm bị chặn Bổ đề 2.1 Cho hàm E(t) theo (2.2) trị tuyệt đối lớn E(t) nhỏ giá trị cố định Emax (hay bị chặn) [A.1, A.7] tức là: max E (t )  Emax ; (t ) Với Emax = + (2.3)    A ( i, j; k, l ) +   B ( i, j; k, l ) + MN  (i, j ) ( k, l )  Rx (i, j ) ( k, l )  + I +     A(i, j; k, l; m, n) +    B(i, j; k, l; m, n) (i, j ) ( k, l ) ( m, n) (i, j ) ( k, l ) ( m, n)  i, k, m  M ;  j, l, n  N Chứng minh: Nội dung (xem toàn văn luận án) (2.4) 2.1.4 Chứng minh đạo hàm hàm E(t) không dương Bổ đề 2.2: Cho hàm vơ hướng E(t) xác định phương trình (2.2) dE (t ) E(t) hàm đơn điệu giảm Nói cách khác, lim 2.7) 0 t → dt Chứng minh: Xem tồn văn luận án 2.1.5 Tính ổn định trạng thái xij (t ) đầu yij (t ) CNN bậc hai 14 Bổ đề 2.3: Tất trạng thái xij (t ) CNN đa tương tác bậc hai giới hạn với t > xmax giới hạn xác định [A.2, A.7]:  ( ) xmax = 1+ Rx I + Rx max   A(i, j; k,l) + B(i, j; k,l) + (i, j )  ( k,l ) + ( A(i, j; k , l; m, n) + B(i, j; k , l; m, n) ) (2.20) ( k ,l ) Chứng minh: Nội dung (xem tồn văn luận án) 2.1.6 Mơ hình hình học mạng nơron tế bào bậc hai Mơ hình CNN bậc hai Matlab với bán kính r=1, M=3, N=3 sơ đồ cấu trúc CNN bậc Matlab ghép theo mảng A B tế bào có kích thước (4 x 4) [A.7] (xem tồn văn luận án) 2.2 Mạng CNN đa tương tác bậc cao 2.2.1 Mơ hình mạng CNN bậc cao Từ CNN bậc (2.1a), tác giả theo phương pháp quy nạp để phát triển thành CNN bậc cao sau [A.2, A.7]: Phương trình trạng thái: dxij (t ) C =  A(i, j; k , l ) ykl (t ) +  B(i, j; k , l )ukl + I − xij (t ) ( k ,l ) ( k ,l ) dt Rx +   A(i, j; k , l ; m, n) ykl (t ) ymn (t ) + +  ( k ,l ) ( m,n) +   B(i, j; k , l ; m, n)ukl umn + ( k ,l ) ( m,n)   A(i, j; k , l; m, n; ; q, z ) ykl (t ) ymn (t ) yqz (t ) ( k ,l ) ( m,n) ( q, z ) +    B(i, j; k , l ; m, n; ; q, z )ukl umn uqz (k ,l ) ( m,n) ( q, z ) Phương trình đầu vào, đầu ra, điều kiện ràng buộc giống mạng bậc hai Các thông số giả định: A(ij; kl) = A(kl;ij) ; A(ij; kl; mn) = A(ij; mn; kl ) = A(kl;ij; mn) = A(kl; mn;ij) = A(mn;ij; kl) = A(mn; kl;ij) = = A( kl ; ij; mn; ; qz ) = A(kl ; mn; ij ; ; qz ) = A(mn; ij ; kl ; ; qz ) = A(mn; kl ; ij ; ; qz ) = = A( qz; ; kl ; ij; mn) = A(qz; ; kl ; mn; ij ) = A(qz ; ; mn; ij ; kl ) = A(qz ; ; mn; kl ; ij ) ≤ i,k,m,…,q ≤ M; 1≤ j,l,n,…,z ≤ N (2.28f); C  Rx  (2.28g) 2.2.2 Ổn định CNN đa tương tác bậc cao Định nghĩa Cho hàm vô hướng E(t) xác định tương ứng với 15 CNN bậc cao (2.29) Các điều kiện để đảm bảo CNN bậc cao cho tương tự CNN bậc [A.2, A.7] (xem toàn văn luận án) 2.2.3 Chứng minh hàm E(t) cho CNN bậc cao hàm bị chặn Bổ đề 2.4: Từ phương trình (2.6) cho thấy E(t) hàm bị chặn dựa điều kiện  i, k, m M ;  j, l, n  N cho CNN bậc hai Sử dụng phương pháp quy nạp hồn tồn suy cho mạng bậc cao [A.2, A.7] max E (t )  Emax Emax = + (2.30)   A(i, j; k , l ) +   B (i, j; k , l ) + MN ( (i, j ) ( k ,l ) (i , j ) ( k ,l ) 2R )+ I    A(i, j; k , l ; m, n) +    B(i, j; k , l ; m, n) + (i , j ) ( k ,l ) ( m, n) (i , j ) ( k ,l ) ( m,n) + +     A(i, j; k , l ; m, n q, z ) + K + (i , j ) ( k ,l ) ( m,n) ( q, z ) +     B(i, j; k , l ; m, n q, z ) (i , j ) ( k ,l ) ( m,n) ( q, z )  i, k, m,…,q  M ;  j, l, n,…, z  N, cho (M x N) mạng bậc cao thứ K Ở K số bậc CNN Chứng minh: Nội dung (xem toàn văn luận án) 2.2.4 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương Bổ đề 2.5 Hàm vô hướng E(t) xác định (2.29) hàm liên tục, đơn điệu giảm, đảm bảo điều kiện: dE (t ) (2.34) 0 dt Chứng minh: Nội dung (xem toàn văn luận án) Hệ 2.3: Nội dung (xem toàn văn luận án) 2.2.5 Ổn định trạng thái xij (t) ổn định đầu yij (t) CNN bậc cao Bổ đề 2.6 Tất trạng thái xij (t ) CNN đa tương tác (bậc K) bị chặn với t > xmax tính cho CNN bậc K  ( ) xmax = 1+ Rx I + Rx max   A(i, j; k,l) + B(i, j; k,l) + (i , j )  ( k,l ) +  ( k ,l ) ( m,n ) ( A(i, j; k , l; m, n) + B(i, j; k , l; m, n) ) + 16 +  A(i, j; k , l ; m, n; ; q, z ) + B (i, j; k , l ; m, n; ; q, z ) )  ( ( q, z )   ( k ,l ) ( m,n )  Chứng minh: Nội dung (xem toàn văn luận án) Hệ 4: Nội dung (xem tồn văn luận án) 2.3 Mơ cấu trúc xác định tính ổn định CNN bậc cao Trong phạm vi luận án, tác giả chọn bậc đại diện cho CNN bậc cao để mô 2.3.1 Bài tốn mơ phỏng: Cho đầu vào (Input) - CNN mô với giá trị ban đầu gồm mảng phản hồi A, mảng điều khiển B, mảng trạng thái ban đầu u, ngưỡng I với bán kính r =1 (mạng CNN chuẩn) - Kích thước mạng M  N=  4; k,l =m,n=3  3; bán kính r=1; tụ điện C=10-9F; Điện trở R=10 Ω 3; Các hệ số: A(i, j; k, l)=[0 1.0 0; 1.0 2.0 1.0; 1.0 0]; B(i, j; k, l)=[0 0; 0 0; 0 0]; Các hệ số A(i,j; k,l; m,n) B(i, j; k, l;m,n) - Mảng tín hiệu đầu vào (u) = [0 0 0; 0 0; 0 0; 0 0] - Mảng khởi tạo trạng thái (x) = [0.8 0.7 1.0 -0.1; 1.0 1.0 1.0 1.0; 1.0 0.9 0.7 0.8; -0.1 1.0 0.8 1.0] - Thời gian: 20 bước (t=20 µs); Output: xác định x(t); y(t) 2.3.2 Kịch mô a) Kịch một: Mảng đẩu vào B(i,j;k,l)=B(k,l;i,j)=0, trường hợp tham số đầu vào có nghĩa khơng có đầu vào A(i,j;k,l) = A(i,j;k,l;m,n) = [0 1.0 0; 1.0 2.0 1.0; 1.0 0] - Giống mô mạng chuẩn Leon O Chua - Lý giải: có tác động loại phản hồi b) Kịch hai: Mảng đầu vào B: [0.5 0.5 0.5; 0.5 0.5 0.5; 0.5 0.5 0.5]; u = [1 1; 1 1; 1 1] Các thơng số cịn lại cho c) Kịch ba : Mảng đầu vào B: [0.5 0.5 0.5; 0.5 0.5 0.5; 0.5 0.5 0.5]; u = [-1 -1 -1; -1 -1 -1; -1 -1 -1] Các thông số lại cho 2.3.3 Kết mô mạng nơron tế bào a Kết theo kịch ta có: 17 Hình 2.3 Kết đầu x11, x12 theo (kịch 1) Matlab Hình 2.4 Kết đầu Y11, Y12 theo (kịch 1) Matlab b) Kết theo giả định 2.3.2 b (kịch 2) ta có Hình 2.5 Kết đầu x11, x12 theo (kịch 2) Matlab 18 Hình 2.6 Kết đầu Y11, Y12 theo (kịch 2) Matlab c) Kết theo giả định 2.3.2 c (kịch 3) ta có Hình 2.7 Kết đầu x11, x12 theo (kịch 3) Matlab Hình 2.8 Kết đầu Y11, Y12 theo (kịch 3) Matlab Kết đầu y(t) x(t) với thời gian 20  s tương ứng 20 bước vị trí C11 (tế bào đầu tiên) C22 (trung tâm) làm đại diện mảng CNN tương ứng với A22, B22, u22 cho thấy trạng với mạng bậc cao giảm thời gian 19 độ, sớm vào ổn định ổn định toàn mạng sớm 2.3.4 Nhận xét Với ba kịch sử dụng để mô cho thấy giá trị tế bào C22 mạng chuẩn mạng bậc hai tác giả đề xuất cho kết quả: Kết mô mạng bậc giống kết Leon O Chua, đầu y(t) xuất thời gian độ; Kết mô mạng bậc hai cho đầu y(t) liên tục, không xuất thời gian độ; Mạng CNN bậc hai hội tụ toàn cục sớm so với CNN chuẩn Leon O Chua sau 20 bước; Mạng CNN bậc hai có q trình độ đường dốc, khác với CNN bậc 2.4 Kết luận chương (xem toàn văn luận án) Chương BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 3.1 Bộ nhớ liên kết Một câu hỏi đặt là, mạng nơron nhân tạo có khả nhớ người khơng? Câu trả lời có Mạng truyền thẳng có khả nhớ, thể rõ khả nhớ mạng nơron hồi quy Trong mạng nơron hồi quy tồn loại nhớ gọi nhớ liên kết Bộ nhớ liên kết nhớ đặc trưng mẫu học Từ đó, nảy sinh vấn đề áp dụng khả nhớ CNN để giải toán nhận dạng (giống khả người) Đầu tiên tác giả làm rõ khả nhớ theo kiểu liên kết mạng CNN chuẩn, sau nghiên cứu khả nhớ nhận dạng CNN bậc hai (đại diện cho CNN bậc cao) 3.2 Bộ nhớ liên kết 3.2.1 Bộ nhớ liên kết CNN chuẩn 3.2.1.1 Mơ hình tốn học cấu trúc nhớ liên kết Trong phạm vi luận án, với mục đích làm rõ khả ứng dụng CNN, tác giả giới hạn xác định ma trận A (temp A) luật Hebb, luật học khơng có tín hiệu đạo, ứng với giá trị ma trận điều khiển B ma trận ngưỡng I Với giả thiết mơ hình CNN (1.33a) chương trở thành dạng sau: 20 dx (t ) ij =− xij (t ) +  A(i, j; k,l)ykl (t ) (3.1) ( k,l ) dt Rx Cho Rx =1 (một) Khi xij (t ) xác định giá trị, trở thành số, lúc đạo hàm số 0, phương trình (3.1) có dạng: (3.2) C.0 = − xij (t) +  A(i, j; k,l)y (t) C kl ( k,l ) từ (3.2), viết lại sau: xij (t ) =  A(i, j;k,l)ykl (t ) (3.3) ( k,l ) mơ hình hình học có dạng (Hình 3.1): Hình 3.1 Bộ nhớ liên kết CNN chuẩn có đầu vào B ngưỡng I 3.2.1.2 Bộ nhớ lên kết A(i, j; k,l) Để xây dựng nhớ liên kết cho CNN, tác giả dựa vào luật Hebb trình bày chương (1.27) Cơng thức tính tham số p ( ) A(i, j;k,l)=  Yklh Yklh h=1 A(i, j;k,l) sau: T (3.5) a) Tính vectơ trạng thái X = A( j, j; k , l )Ykl ( Ykl mẫu sử dụng cho CNN học) b) Tính đầu Yij : Nội dung (xem toàn văn luận án) 3.2.1.3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm nhớ liên kết a) Phát biểu toán - Giả sử có mẫu người (Men Pattern) tương ứng mẫu 1, mẫu mẫu 3, mẫu với đặc điểm để nhận dạng như: Mắt hai mí, mũi cao, tay dài, chân dài, giọng nói trong, mặt trái xoan, mơi trái tim, tóc đen, da vàng, mẫu 21 mã hóa Ngược lại (Ví dụ: Mũi khơng cao -1, có đặc trưng kiểu cho mạng nơron mô tả sau: - Cho mẫu tương ứng với: Y =  y11 y12 y13 y21 y22 y23 y31 y32 y33  T Mẫu (Pattern 1) Y = 1 1 1 1 1 Mẫu (Pattern 2) Y = -1 -1 -1 -1 -1 -1 -1 -1 -1T ; Mẫu (Pattern 3) Y = 1 1 1 -1 -1 -1 -1T ; b) Bài toán đặt Trường hợp 1: Thể mẫu nhớ ma trận trọng số A(i,j;k,l); Trường hợp Giả sử có người có đặc điểm mẫu Y1 Y2 Y3 đưa vào mạng nơron CNN Nếu thực A(i,j;k,l) nhớ mạng CNN phải gọi người nhớ A(i,j;k,l) Đây trình gọi lại (Recall); Trường hợp Thử nghiệm mẫu sai bit, bit, bit tức người (đối tượng) thay đổi từ sang -1 (Ví dụ: Mũi cao bị thay đổi thành mũi thấp lý đó) CNN có nhận người khơng? c) Giải tốn - Trường hợp 1: Tính nhớ A(i,j;k,l) giải (3.2.1.2) p ( ) - Trường hợp 3: Theo (3.5), A(i, j;k,l ) =  Yklh Yklh h=1 T - Trong trường hợp sai bit, bit, bit mạng cho kết 3.2.2 Bộ nhớ liên kết sử dụng CNN bậc hai 3.2.2.1 Mô hình tốn học cấu trúc nhớ liên kết bậc cao Theo điều kiện áp dụng CNN chuẩn cho nhớ liên kết trình bày mục (3.2.1), tác giả tiến hành xây dựng nhớ liên kết sử dụng CNN bậc cao (sử dụng CNN bậc làm đại diện) Từ (2.1a) (3.5), tac giả đề xuất phương trình áp dụng CNN bậc hai cho nhớ liên kết gồm hai thành phần sau: (3.6) xij (t) =  A(i, j; k , l ) y (t ) +  A(i, j; k , l ; m, n) ykl (t ) ymn (t ) ( k ,l ) kl ( k ,l ; m , n ) Trong phương trình (3.6) bao gồm hai thành phần: 22 - Bậc xij (t) =  A(i, j; k , l ) ykl (t ) A(i, j; k,l) tính cho nhớ ( k ,l ) liên kết CNN chuẩn NCS trình bày (3.5) - Bậc hai sử dụng làm nhớ liên kết cho CNN bậc hai, từ (3.6) viết lại sau: xij (t) =  A(i, j; k , l ) ykl (t ) + ( k ,l )  ( k ,l ;m,n ) A(i, j; k , l; m, n) ykl (t ) ymn (t ) (3.7) mơ hình, hình học có dạng hình 3.4 Hình 3.4 CNN bậc hai sử dụng làm nhớ liên kết 3.2.2.2 Mơ hình học hay nhớ liên kết bậc cao Để xây dựng nhớ liên kết cho CNN, NCS dựa vào luật Hebb trình bày chương (1.27) để xây dựng cơng thức tính tham số A(i, j;k,l;m,n) p ( )  h A(i, j;k,l;m,n) =  Yklh  Ymn  h=1  T T T ( )  Y h  Y h mn   kl  (3.9) Các bước thực (Xem toàn văn luận án) 3.2.2.3 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm nhớ liên kết a) Phát biểu toán Giả sử có mẫu người (Men Pattern) gồm mẫu 1, mẫu 2, mẫu Mỗi mẫu có 81 đặc điểm để nhận dạng như: Mắt hai mí, mũi cao, tay dài, chân dài, giọng nói trong, mặt trái xoan, mơi trái tim, tóc đen, da vàng , mẫu mã hóa Ngược lại (Ví dụ: Mũi khơng cao -1, có 81 đặc trưng kiểu cho mạng nơron mô tả sau: Cho mẫu tương ứng với: Y =  y11 b) Bài toán đặt y12 y13 y79 y80 y81  23 Trường hợp 1: Thể mẫu nhớ ma trận trọng số A(i,j;k,l;m,n); Trường hợp 2: Giả sử có người có đặc điểm mẫu tương ứng mẫu mẫu mẫu đưa vào CNN bậc hai Nếu thực A(i,j;k,l;m,n) nhớ mạng CNN bậc hai phải gọi người nhớ A(i,j;k,l;m,n) Đây q trình gọi lại (Recall); Trường hợp 3: Thử nghiệm mẫu sai bit, bit, bit tức đối tượng người biến dạng từ sang -1 (Ví dụ: Mũi cao bị thay đổi thành mũi thấp lý đó) CNN có nhận người khơng? c) Giải tốn Trường hợp 1: Tính nhớ A(i,j;k,l,m,n) giải (3.2.2.1) Trường hợp 3: Theo (3.9) p ( )  h A(i, j;k,l;m,n) =  Yklh  Ymn h=1   T T T ( )  Y h  Y h mn   kl  Nội dung (Xem toàn văn luận án) 3.2.3 Kết luận Mạng có khả xử lý lỗi (chịu lỗi tốt) Kết cho thấy khả nhận mẫu cao nhiều so với mơ hình nhớ liên kết trước Theo Michael Negnevitsky (trang 196) [58] dung lượng nhớ liên kết tối đa là: n Hopfiel , n số phần tử nơron M max = 4lnn Với nhớ liên kết CNN sử dụng đầu vào chiều nên số nhớ đạt tới: CNNChua M max  n  =   ln n  Như số mẫu nhớ mạng liên kết tăng dạng hàm mũ Nếu sử dụng CNN bậc số liên kết đạt tới: CNNbac M max   n 2  =     ln n     Như liên kết bậc cao cho khả nhớ mẫu tăng theo hàm mũ 3.3 Mơ hình ứng dụng thử nghiệm CNN bậc cao 3.3.1 Mơ hình tích hợp CNN bậc hai với STM32 FPGA 24 3.3.1.1 Kiến trúc FPGA Kiến trúc FPGA cho phép tích hợp số lượng lớn phần tử bán dẫn vào vi mạch, kiến trúc mảng khối logic 3.3.1.2 Xử lý ảnh STM32 Xử lý ảnh STM, hệ thống thu thập xử lý ảnh dùng vi điều khiển có sơ đồ khối Hình 3.8 Hình 3.8 Hệ thống thu thập xử lý ảnh dùng vi điều Camera ảnh số: cảm biến biến đổi pixel điểm ảnh (màu xám) thành từ số liệu Tốc độ biến đổi phải đủ nhanh để đáp ứng với yêu cầu xử lý theo thời gian thực Mạch ghép nối: làm tương thích camera vi điều khiển Vi điều khiển: có nhiệm vụ tạo xung nhịp để đồng tín hiệu (VSYNC and HYSNC) cho camera, thu thập liệu Hình ảnh đưa vào nhớ đệm hình (hoặc truyền kênh thơng tin, VD: cổng USART PC, kênh Wifi-TCP/IP, v.v…) Màn hình: có nhiệm vụ hiển thị hình ảnh Nếu luồng video thi cho tốc độ cao STM32 vi điều khiển hãng ST Microelectronic sản xuất dựa tảng lõi vi xử lý ARM Cortex®-M Là dòng sản phẩm vi xử điều khiển 32 bit kết hợp ưu điểm hiệu suất cao, khả xử lý thời gian thực, xử lý tín hiệu số, tiêu thụ lượng, hoạt động điện áp thấp, trì khả tích hợp đầy đủ dễ dàng phát triển ứng dụng 3.3.1.3 CNN bậc hai tảng FPGA STM32 a Sơ đồ hệ thống Dựa sơ đồ CNN bậc 2, nghiên cứu sinh xây dựng mơ hình thu thập xử lý ảnh tảng FPGA STM32 hình 3.10 Hình 3.9 Sơ đồ hệ thống thu thập xử lý ảnh FPGA STM32 25 B1 Camera (ma trận 3x3) cảm biến hình ảnh B2 Chuyển chuyển đổi sang ảnh số B3 Ghép nối FPGA nhận dạng tín hiệu theo ma trận MiCNNs, tín hiệu gửi đồng thời từ mận Camera đến FPGA để xử lý B4 Ghép nối tín hiệu sang STM B5 STM xử lý chuyển tín hiệu sang hình hiển thị, PC, Wifi Trong hình 3.10, ta có khối tín hiệu hình ảnh đầu vào hệ thống Khối khối Camera CMOS thiết lập theo cấu trúc CNN có kích thước  camera, camera thu nhận tín hiệu ảnh gửi xử lý FPGA (khối 3), xử lý thiết lập theo cấu trúc CNN đa tương tác bậc cao Khối có nhiệm vụ đưa tín hiệu có ảnh hưởng lớn từ tín hiệu vùng lân cận, sau liệu hình ảnh xếp lại đưa vào nhớ tạm thời trước đưa đến xử lý STM32 (khối 4) Ở khối 4, STM32 nhận liệu hình ảnh gửi từ FPGA sang đồng tín hiệu trước đưa đến thiết bị liệu máy tính để lưu trữ xử lý phục vụ cho công việc khác qua cổng ghép nối quang đưa đến hình hiển thị để quan sát hình ảnh xử lý phát tín hiệu Wifi để ghép nối thiết bị khác gồm cấu chấp hành, lưu trữ (khối 5).v.v… Với ứng dụng CNN đa tương tác bậc hai xử lý ảnh tảng FPGA kết hợp với STM32 sở ứng dụng ảnh hưởng đa chiều tế bào trung tâm đến tế bào láng giềng lân cận hay gọi ảnh hưởng trực tủy lệ ½ (50%) ¼ (25%) để bù điểm ảnh có tỷ lệ màu tương ứng vùng láng giềng lân cận 3.3.1.4 Bàn luận đánh giá Bài toán thử nghiệm thuật toán CNN bậc hai tảng FPGA kết hợp với STM32 dựa việc áp dụng hiệu ứng đa chiều tế bào trung tâm đến tế bào lân cận Sự ảnh hưởng cịn gọi ảnh hưởng trực tiếp ½ (50%) ¼ (25%) để bù cho tỷ lệ màu tương ứng vùng với láng giềng với r =1 láng giềng với r =2 Kết cho thấy hình ảnh thu thập bù ảnh từ láng giềng cho kết tốt 3.3.2 Một số ứng dụng khác CNN bậc cao 3.3.2.1 Ứng dụng CNN bậc hai tốn ni trồng (xem tồn văn luận án) 3.3.2.2 Ứng dụng CNN bậc hai cảnh báo sớm cho bệnh nhân sử dụng thuốc kháng Vitamin K (xem toàn văn luận án) 3.4 Kết luận chương Dựa kết nghiên cứu mơ hình CNN bậc cao, tác giả thử nghiệm 26 bậc hai cho tốn điển hình bao gồm: i) Thử nghiệm CNN bậc hai nhận mẫu tương ứng với mẫu Y , Y , Y số bit tương ứng bit 81 bit cho nhận mẫu học mẫu không học có số bit sai đến 44% để kiểm chứng nhớ CNN bậc cao làm nhớ liên kết; ii) Thực phần cứng FPGA thử nghiệm cho ni trồng, đóng góp gồm có báo [A.3], [A.4] cơng trình khoa học tác giả; iii) Thực nghiệm CNN bậc hai với số ứng dụng khác, đóng góp gồm báo [A.5], [A.6] cơng trình khoa học tác giả KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẠN ÁN Đóng góp luận án Với mục tiêu nghiên cứu phát triển cấu trúc CNN bậc cao sở CNN chuẩn Leon O Chua xem xét số tính chất chúng, luận án thực nội dung nghiên cứu: Nghiên cứu CNN mơ hình phát triển mạng; phân tích số hạn chế giải pháp nhà nghiên cứu sử dụng để khắc phục, sở đề xuất cấu trúc CNN bậc cao (đa tương tác) dạng hàm mũ (bậc đa thức) Đây sở để phát triển hướng nghiên cứu luận án Các đóng góp luận án gồm ba vấn đề: i) Đề xuất mơ hình CNN bậc cao hay đa tương tác gồm phương trình mơ tả trạng thái, phương trình đầu giới hạn mạng; ii) Chứng minh mơ hình mạng bậc cao ổn định đầy đủ thông qua bổ đề mặt lý thuyết, mô Matlab để kiểm nghiệm; iii) Ứng dụng CNN bậc cao dùng làm nhớ liên kết, dựa mạng nơron bậc hai (đại diện cho mạng nơron bậc cao) Hướng phát triển luận án Các nội dung nghiên cứu luận án tiếp tục hồn thiện phát triển, số hướng phát triển sau: i) Mở rộng nghiên cứu thử nghiệm nhận dạng với mơ hình mạng tự điều chỉnh cấu hình mạng, tự điều chỉnh tham số đầu vào, số lượng tham số thích nghi; ii) Nghiên cứu thử nghiệm với mơ hình lai ghép với mạng nơron tích chập thẻ sinh trắc học; iii) Tiếp cận hướng nghiên cứu nhằm đảm bảo độ xác nhận dạng ngữ liệu mơi trường thực khơng hồn tồn liệu học; iv) Kết hợp việc nhận dạng hình ảnh, hành vi, tiếng nói giác quan để góp phần hướng tới xây dựng hệ thống thơng minh hoạt động hiệu quả; v) Tiến tới xây dựng thuật toán học đầy đủ tham số [A, B, I] cho mạng nơron tế bào bậc cao 27 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CĨ LIÊN QUAN Nguyen Tai Tuyen, Nguyen Quang Hoan, Ngo Van Sy (2016), Stability of Multi- Interactive Cellular Neural Networks Using Lyapunov Function, Hội thảo toàn quốc Điện tử, Truyền thông Công nghệ thông tin REV Nguyễn Tài Tuyên (2016), On a Structure of the High Order Interaction Cellular Neural Network, International Journal of Advanced Computational Engineering and Networking, ISSN: 2320-2106, Volume-4, Issue-2, Feb Tuyen Nguyen Tai (2017), Application of Multi-interaction Cellular Neural Network in Smart Farms Systems, International Journal of Electrical, Electronics and Data Communication, ISSN: 2320-2084 Volume-5, Issue7, Jul Nguyen Tai Tuyen, Nguyen Quang Hoan (2018), An Application of MultiInteraction Cellular Neural Network on the Basis of STM32 and FPGA, International Journal for Research in Applied Science & Engineering Technology, Volume Issue I, January Tuyen Nguyen Tai, Hoan Nguyen Quang (2018), An Application of Highorder Multi-Interaction Cellular Neural Network in Early Warning for Cardiovascular Disease Patients with Anti-Vitamin K, International Journal of Research in Technology and Management, Volume Issue 1, FEB Nguyen Tai Tuyen, Nguyen Quang Hoan, Ngo Van Sy (2019), On An Application of High Order MultiInteraction Cellular Neural Network in the Early Fire Warning System, International Journal of Latest Engineering Science, Volume: 02 Issue: 06 November to December Nguyễn Quang Hoan, Nguyen Tai Tuyen, Duong Duc Anh (2020), Architecture and stability of the Second-Order Cellular Neural Networks, UTEHY Journal of Science and Technology, pp 91-97, Volume-27 ... nghiệm CNN đa tương tác tảng STM32 FPGA Kết thử nghiệm môi trường Matlab số khả ứng dụng khác Kết luận hướng phát triển luận án Chương TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 1.1 Tổng quan mạng nơron nhân... KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 3.1 Bộ nhớ liên kết Một câu hỏi đặt là, mạng nơron nhân tạo có khả nhớ người khơng? Câu trả lời có Mạng truyền thẳng có khả nhớ, thể rõ khả nhớ mạng. .. Hình 1.9 Mạng nơron tế bào có kích thước M  N tế bào mạng với i=1…N; j=1…M Mỗi tế bào Cij có tế bào lân cận hay láng giềng r 1.2.1 Láng giềng r Định nghĩa 1: Láng giềng r (hình 1.9) tế bào C(i,j)