Nội dung của bài viết trình bày tóm tắt cấu trúc, luật học, điều kiện ổn định và khả năng nhớ mẫu của các mạng nơron Hopfield, BAM (Bidirectional Associative Memory), hai trong các mạng nơron hồi quy điển hình; thử nghiệm khả năng nhớ mẫu, khả năng chịu lỗi ở các mức độ sai số khác nhau.
ISSN 2354-0575 KHẢ NĂNG NHỚ MẪU CỦA CÁC MẠNG NƠRON HỒI QUY Nguyễn Quang Hoan1, Vũ Thị Thềm2, Bùi Đình Quân3 Trường Đại học Sư phạm Kỹ thuật Hưng Yên Trung tâm GDTX-HN Gia Lộc UBND Huyện Đông Hưng Ngày nhận: 05/01/2017 Ngày sửa chữa: 10/02/2017 Ngày xét duyệt: 02/03/2017 Tóm tắt: Mạng nơron nhân tạo mô dựa theo não người Mạng nơron nhân tạo có khả nhớ giống não người khơng? Bài báo cho tóm tắt cấu trúc, luật học, điều kiện ổn định khả nhớ mẫu mạng nơron Hopfield, BAM (Bidirectional Associative Memory), hai mạng nơron hồi quy điển hình Tiếp đó, báo tiến hành thử nghiệm khả nhớ mẫu, khả chịu lỗi mức độ sai số khác Ví dụ ứng dụng mạng hồi quy cho tốn nhận mẫu gán nhãn trình bày Từ khóa: Mạng nơron hồi quy, mạng nơron Hopfield, mạng nơron BAM, nhớ mẫu, luật học Giới thiệu Mạng nơron nhân tạo phân làm hai nhóm chính: mạng truyền thẳng phản hồi (hay mạng hồi quy) Nhiều cơng trình nghiên cứu tính ổn định mạng hồi quy [1, 2, 3, 5] nhằm xác định miền tham số tránh phản hồi dương làm tính ổn định Một số nghiên cứu cho biết mạng nơron Hopfield, có khả thực nhớ tự-liênkết (Auto-Associative Memory) - khả phục hồi phần liệu học [1] Hopfield (năm 1982) thực nghiệm cho biết dung lượng nhớ C = 0.15n (n số nơron Theo McEliece, 1987): C = (1-2µ)2/4lnn; 0#µ[1 1 1] = D Đây mẫu học (bảng 1); - Khi mẫu vào sai số bit: D1 = [0 1 1] (sai với gốc bit đầu tiên); đầu Y1 = D1WT = [0 1 1]WT = [0 5 -3 5]=>[1 1 1]≠ D Tính tốn tương tự cho tất 96 mẫu, thu Bảng khả nhận mẫu Bước Đánh giá Từ Bảng 1, mẫu vào: • Trùng với mẫu học, tỷ lệ nhận mẫu 100%, cho độ xác cao • Khác với mẫu gốc đặc trưng (1 bit), tỷ lệ nhận mẫu đạt từ (40%-60%) • Khác với mẫu gốc đặc trưng (2 bit), tỷ lệ nhận mẫu đạt từ (0%-30%) • Khác với mẫu gốc đặc trưng (3 bit) trở lên, tỷ lệ nhận mẫu 0% Một vài trường hợp biệt, có khả nhận Journal of Science and Technology 45 ISSN 2354-0575 2.2 Mạng nơron BAM 2.2.1 Cấu trúc mạng nơron BAM Cấu trúc mạng BAM gồm hai tầng tương tác X (đầu vào), Y (đầu ra) mô tả như: m y' = g (Wx); y 'i = g ( / wij x j ); i = 1, n j=1 (9) n T ' ' ' x = g (W y ); x j = g ( / w ji y j ); j = 1, m j=1 • yi(k) = yi(k+1) → ∆yi = Do đó, ∆Eyi = b) ∆E gây bới thay đổi ∆x Theo (11): m 2E (13) TExi = 2x Txi = WyTxi =- ( / wij y j ) Txi j=1 i Lập luận tương tự ∆y, dẫn đến ∆Exi < Điều chứng tỏ: sau số bước, hàm E (dương) giảm dần (do ∆Exi < ∆Eyi < 0) giá trị cực tiểu, dẫn tới mạng ổn định 2.2.4 Khả nhớ mẫu mạng BAM Để xác định khả nhớ mẫu BAM, thực nghiệm, ta tiến hành sau [8]: Bước 1: cho cặp liệu học {X, Y} với ba mẫu đầu vào (Vectơ đặc trưng): A, B, C tương ứng với ba mẫu đầu (Vectơ nhãn): D, E, G Bảng 2: Bảng Dữ liệu vào/ra cho mạng BAM Hình Cấu trúc mạng BAM đó, g(.) hàm tương tác đầu ra, bị chặn theo (2) (3) Vectơ y’ làm đầu vào cho lớp X vectơ x’ dùng làm đầu vào cho lớp Y Quá trình tiếp tục việc cập nhật x y dừng (ổn định) Trạng thái cập nhật đồng khơng đồng Vectơ đặc trưng Vectơ nhãn A=[1 1] A’=[1 -1 -1 1] B=[1 0] B’=[1 -1 -1 -1] C=[0 1 1] C’=[-1 -1 1] D=[1 1 1] D’=[1 1 1] E=[0 1 1] E’=[-1 1 -1 1] G=[1 0 0] G’=[1 -1 -1 -1] Bước 2: Học (ma trận trọng số) W theo (10) W = D’TA’+E’TB’+G’TC’ RS V WW SS- 1 - 1 SS - 3 - - 1WWW W S W= SS - 3 - - 1WW SS W WW SS- 1 - 1 SS - 3 - - 1WWW T X Bảng Nhận mẫu sử dụng mạng BAM 2.2.2 Luật học mạng BAM Với p cặp vectơ liên kết lưu trữ BAM: {(x1,y1), (x2, y2), …, (xp, yp)}, luật học trọng số xác định theo [8, 9]: P Wij = / y ik x kj (10) So sánh luật học mạng BAM (10) với luật học mạng Hopfield (4) cho thấy liệu học BAM cặp liệu vào/ra Cả hai luật học dựa tiên đề học Hebb thuộc loại học khơng có tín hiệu đạo k=1 2.2.3 Ổn định mạng BAM Tương tự mạng Hopfield, ổn định BAM đảm bảo, thông qua hàm lượng [4]: 1 E (x, y) =- x T W T y - y T Wx =- y T Wx (11) Hồn tồn chứng minh BAM ổn định: a) ∆E gây bới thay đổi ∆y Theo (11): m 2E TEyi = 2y Tyi = WxTyi =- ( / wij x j ) Tyi (12) j=1 i Xét ba trường hợp sau: • yi(k) = -1 yi(k+1) = +1→ = 2; ∆Eyi < • yi(k) = +1 yi(k+1) = -1→ = -2 Do đó, ∆Eyi < 46 m / wij x j j=1 m / wij x j j=1 > 0, ∆yi < 0, ∆yi Vectơ đặc trưng Số lượng mẫu Số mẫu nhận A0 1 0 100 0 A1 80 20 A2 10 0 10 0 100 A3 10 60 40 A4 0 0 100 A5 0 0 100 B0 1 0 100 0 B1 80 20 B2 10 0 10 0 100 B3 10 0 10 0 100 Khoa học & Công nghệ - Số 13/Tháng - 2017 Số mẫu không nhận Số mẫu nhận nhầm (%) mẫu nhận (%) mẫu không nhận (%) mẫu nhận nhầm Journal of Science and Technology ISSN 2354-0575 B4 B5 C0 C1 C2 C3 C4 C5 1 10 10 0 10 0 0 0 0 0 0 100 100 100 10 0 0 0 0 100 100 0 100 100 100 Bước 3: Khả nhớ mạng BAM Tính tương tự mạng Hopfield cho 96 cặp mẫu, ta có khả nhớ mạng BAM (Bảng 3) với sai số Ví dụ: • Vào: A1=[0 1];A1.WT=[0 10 1].WT =[2 2 2] => [1 1 1]=D; • Vào: A2=[0 1 1]; A2.WT=[0 1 1].WT =[3 -1 -1 -1] => [1 0 0]≠ D Bước Đánh giá Từ Bảng 3, mẫu vào: • Trùng với mẫu học, tỷ lệ nhận mẫu 100%, cho độ xác tuyệt đối; • Khác với mẫu gốc đặc trưng (1 bit), tỷ lệ nhận mẫu đạt (80%-100%); • Khác với mẫu gốc đặc trưng (2 bits), tỷ lệ nhận mẫu đạt (0%-100%); • Khác với mẫu gốc đặc trưng (3 bits) trở lên, tỷ lệ nhận mẫu đạt (0%-60%); • Khác với mẫu gốc đặc trưng (4 bits) trở lên, tỷ lệ nhận mẫu 0% 2.3 So sánh khả nhớ hai mạng • Hai mạng Hopfield, BAM thuộc nhóm nơron hồi quy, cần điều kiện ổn định; • Khả nhớ chịu lỗi mạng nơron BAM cao mạng nơron Hopfield; • Ma trận học mạng Hopfield vuông, nhận mẫu (tự liên kết) Ma trận học mạng BAM (hai lớp) có dạng chữ nhật; mẫu vào (đặc trưng) mẫu (nhãn) phân biệt, tiện cho nhận dạng gán nhãn Ứng dụng BAM nhận dạng khuôn mặt Bảng Dữ liệu cho nhận dạng, gán nhãn D’=[-1 1 -1 1] E=[1 0 0] E’=[1 -1 -1 -1] F=[0 1 1] F’=[-1 -1 1] G=[1 0 0] G’=[1 -1 -1 -1] K’=[-1 -1 -1 1] L=[1 1 0] L’=[1 1 -1] M=[0 1] M’=[-1 -1 1] N=[1 1 1] N’=[1 1 1] Bài tốn nhận dạng khn mặt, gán nhãn: Cho (dạng) mẫu (vào) khuôn mặt để học: A=“Mặt thuôn”; B=“Mặt trái tim”; C=“Mặt chữ điền”; D=“Mặt trái xoan”; E=“Mặt tròn”; F=“Mặt tam giác”; G=“Mặt kim cương”; mẫu vào gồm đặc trưng: (1: Chiều cao; 2: Chiều rộng khn mặt; 3: Kích thước trán; 4: Hai góc phía khn mặt trịn (nhận giá trị 1; không, nhận giá trị 0); 5: Hai góc phía khn mặt trịn (nhận giá trị (nếu khơng trịn, nhận giá trị 0)); mã hóa nhị phân Bảy mẫu vào A,B,C,D,E,F,G tương ứng với mẫu H,I,J,K,L,M,N, tức tên người (hay nhãn) nhị phân hóa Bảng Cần sử dụng mạng nơron BAM để nhận dạng gán nhãn Bảng Nhận dạng gán nhãn dùng BAM Vectơ đặc trưng Số lượng mẫu Số mẫu nhận Số mẫu không nhận Số mẫu nhận nhầm (%) mẫu nhận (%) mẫu không nhận (%) mẫu nhận nhầm A0 1 0 100 0 A1 20 80 A2 10 20 80 A3 10 20 80 A4 20 80 A5 0 0 100 B0 1 0 100 0 B1 1 20 20 60 B2 10 10 90 B3 10 20 80 B4 20 80 Vectơ đặc trưng Vectơ nhãn B5 0 0 100 A=[1 0 1] H=[0 1 1] C0 1 0 100 0 A’=[1 -1 -1 1] H’=[-1 1 C1 80 20 B=[0 1 0] I=[1 1] C2 10 2 20 20 60 B’=[-1 -1 -1] I’=[1 -1 1] C3 10 10 90 C=[1 1] C’=[1 -1 -1 1] J=[0 1] J’=[-1 -1 1] C4 20 80 C5 0 0 100 K=[0 0 1] D0 1 0 100 0 Journal of Science and Technology 47 D=[0 1 1] Khoa học & Công nghệ - Số 13/Tháng - 2017 ISSN 2354-0575 D1 D2 10 4 1 80 40 10 20 50 D3 10 20 80 D4 40 60 D5 0 0 100 E0 E1 1 2 100 20 40 40 E2 10 20 80 E3 10 10 90 E4 0 0 100 E5 0 0 100 F0 1 0 100 0 F1 20 80 F2 10 10 90 F3 10 10 90 F4 F5 0 0 40 100 60 G0 1 0 100 0 G1 20 80 G2 10 20 10 70 G3 10 30 70 G4 20 80 G5 0 0 100 Bước 1: Đổi (Bảng 4) giá trị thành -1: A’,B’,C’,D’,E’,F’,G’ H’,I’,J’,K’,L’,M’,N’; Bước 2: Học (ma trận trọng số) W theo (10) W=H’TA’+I’TB’+J’TC’+K’TD’+L’TE’+M’TF’+N’TG’ RS V -3 - 7WW SS1 W SS7 - - - - 1WW W W= SS1 -7 - 3WW SS W SS- - - WW T X Khác với 2.2.3, chiều ma trận W trường hợp 4x5 Bước 3: Khả nhớ mạng BAM Tính 224 cặp mẫu bước 3, mục 2.2.4; kết đưa vào Bảng Bước Đánh giá Từ Bảng 5, mẫu vào: • Trùng với mẫu học, tỷ lệ nhận mẫu 100%, cho độ xác tuyệt đối; • Khác với mẫu gốc đặc trưng (1 bit), tỷ lệ nhận mẫu đạt (20%-100%); • Khác với mẫu gốc đặc trưng (2 bits), tỷ lệ nhận mẫu đạt (0%-40%); • Khác với mẫu gốc đặc trưng (3 bits) trở lên, tỷ lệ nhận mẫu đạt 0%; Điều đặc biệt với tính hai chiều BAM cho tên, hoàn toàn xác định xác đặc trưng người Ví dụ người có tên “L”=[1 1 0]; đặc trưng người C=L.W=[1 1 0].W=[9 -3 -11 -11]=>[1 0 0]=C Kết luận hướng phát triển Đóng góp báo thực nghiệm, chứng minh xác định khả nhớ mẫu mạng Hopfield mạng BAM; tính tốn khả chịu lỗi mạng mẫu vào có sai số 1, 2, 3, 4, đặc trưng Kết mạng có khả nhớ mẫu học 100%; mẫu đầu vào có sai số từ 1÷5 đặc trưng, khả nhận giảm dần (hợp lý) Đóng góp khác đề xuất ứng dụng cho lớp toán dùng mạng BAM nhận dạng gán nhãn Bài báo cứng tỏ:mạng BAM xử lý hai chiều: chiều thuận: cho đặc trưng đầu vào, xác định nhãn ngược lại: cho nhãn (tên đối tượng) hoàn tồn xác định đặc trưng đối tượng với độ xác 100% đặc trưng (hoặc nhãn) đưa vào đặc trưng (hoặc nhẫn) học Hướng phát triển báo nghiên cứu khả nhớ mẫu mạng BAM lớp, mạng nơron tế bào, lớp mạng nơron truy hồi bậc cao Mặt khác, đangnghiên cứu mức sai lệch mẫu vào xác định chuẩn khoảng cách để rút quy luật chịu lỗi lớp mạng nơron hồi quy; kết báo cáo cơng trình Tài liệu tham khảo [1] Nguyễn Quang Hoan (2007), Mạng nơron nhân tạo, Học viện Cơng nghệ Bưu Viễn thơng [2] Chin Teng Lin, C.S George Lee (2002), Neural Fuzzy Systems, A Neural-Fuzzy Synergism to Intelligent Systems, Prentice Hall International, Inc [3] Michael Negnevitsky (2002), Artificial Intelligence A Guide to Intelligent Systems Addison Wesley Pearson Education [4] Xiaomei Wang, Shouming Zhong (2010), Globally Exponential Stability of Periodic Solution of BAM Neural Network with Distributed Time Delays and Impulses, 2010 International Conference on Computer and Computational Intelligence (ICCCI 2010) 48 Khoa học & Công nghệ - Số 13/Tháng - 2017 Journal of Science and Technology ISSN 2354-0575 [5] Lejie Yu (2010), The New Research of Associative Memory Neural Networks, 2010 International Conference on Computer and Computational Intelligence (ICCCI 2010) [6] Bart Kosko (1988) Bidirectional Associative Memories IEEE Trans On System, Man, and Cybernetics, vol 18, No.1, January/February [7] Nathan John Burles (2014) Pattern Recognition using Associative Memories PhD Dissertation, University of York [8] Hui Wang, Yue Wu, Biaobiao Zhang and K -L Du (2011) Recurrent Neural Networks: Associative Memory and Optimization, J Inform Tech Soft Eng 1:104: 10.4172/2165-7866.1000104 [9] Nguyen Quang Hoan The Stability of the High-Order Hopfield Neural Networks and Their Application Abilities for Robot PhD Dissertation, 1996 PATTERN RECOGNITION ABILITIES OF RECURRENT NEURAL NETWORKS Abstract: The artificial neural networks are simulating the human brain Could artificial neural networks memorize as the human brain? The paper presents the structures, the learning rules and the stability of the Hopfield, Bidirectional Associative Memory (BAM), two main recurrent neural networks We also perform the experiments on their memory abilities, ability of fault isolation for several of failure bits An example of pattern recognition of image faces and corresponding their labels are also represented Keywords: Recurrent neural networks, Hopfield, BAM neural networks, Liapunov stability, pattern recognition, learning rule Khoa học & Công nghệ - Số 13/Tháng - 2017 Journal of Science and Technology 49 ... xác định khả nhớ mẫu mạng Hopfield mạng BAM; tính tốn khả chịu lỗi mạng mẫu vào có sai số 1, 2, 3, 4, đặc trưng Kết mạng có khả nhớ mẫu học 100%; mẫu đầu vào có sai số từ 1÷5 đặc trưng, khả nhận... cứu khả nhớ mẫu mạng BAM lớp, mạng nơron tế bào, lớp mạng nơron truy hồi bậc cao Mặt khác, chúng tơi đangnghiên cứu mức sai lệch mẫu vào xác định chuẩn khoảng cách để rút quy luật chịu lỗi lớp mạng. .. thuyết mạng nơron 2.1.4 Khả nhớ mạng Hopfield Mạng Hopfield có khả nhớ, hồi phục mẫu [7] theo nguyên tắc không đồng Giả sử cho vectơ mẫu xk với giá trị lưỡng cực cần lưu trữ (k = 1, 2, , p: mẫu)