LUẬN VĂN TỐT NGHIỆP: Tìm hiểu mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM)

Luận văn tốt nghiệp Tìm hiểu mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM) -1- MỤC LỤC MỤC LỤC CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN THUẬT NGỮ TIẾNG ANH Lời cảm ơn Chương Giới thiệu mạng nơron nhân tạo 1.1 Cấu trúc mơ hình mạng nơron 1.1.1 Mơ hình nơron sinh học 1.1.2 Cấu trúc mơ hình nơron nhân tạo 10 1.2 Cấu tạo phương thức làm việc mạng nơron 13 1.2.1 Mạng nơron lớp 15 1.2.2 Mạng nơron truyền thẳng nhiều lớp 16 1.2.3 Mạng nơron phản hồi 17 1.2.4 Mạng nơron hồi quy 17 1.2.5 Mạng Hopfield 17 1.2.6 Mạng BAM 19 1.3 Các luật học 20 1.3.1 Học có giám sát 21 1.3.2 Học củng cố 22 1.3.3 Học khơng có giám sát 22 1.4 Thuật toán lan truyền ngược 24 1.5 Kết luận 30 Chương Tìm hiểu mạng nơron Kohonen 32 2.1 Giới thiệu 32 2.2 Mạng nơron Kohonen 33 2.2.1 Mạng nơron Kohonen nhận dạng 35 2.2.2 Cấu trúc mạng nơron Kohonen 35 2.2.3 Chuẩn hóa liệu đầu vào 36 2.2.4 Tính tốn liệu đầu nơron 37 -2- 2.2.5 Ánh xạ lưỡng cực 37 2.2.6 Chọn nơron thắng 38 2.2.7 Quá trình học mạng Kohonen 39 2.2.8 Tỉ lệ (tốc độ) học 40 2.2.9 Điều chỉnh trọng số (cập nhật trọng số) 41 2.2.10 Tính tốn sai số 41 2.3 Thực thi mạng nơron Kohonen 42 2.3.1 Thực thi mạng nơron truyền thẳng 42 2.3.2 Thực thi lan truyền ngược 47 2.3.3 Các tập huấn luyện 48 2.3.4 Báo cáo tiến trình 49 2.3.4.1 Lớp mạng sở 49 2.3.4.2 Lớp KohonenNetwork 51 2.4 Kết luận 59 Chương Nhận dạng ký tự quang sử dụng mạng nơron Kohonen 61 3.1 Giới thiệu chung 61 3.2 Huấn luyện mạng 62 3.3 Thử nghiệm sử dụng mạng nơron Kohonen để nhận dạng ký tự quang 63 3.4 Trường hợp ngoại lệ 66 3.5 Kết luận 66 KẾT LUẬN 68 Tài tham khảo 69 -3- CÁC HÌNH VẼ, BẢNG BIỂU TRONG LUẬN VĂN Hình 1.1 Một nơron sinh học 10 Hình 1.2 Sự liên kết nơron 10 Hình 1.3 Mơ hình nơron nhân tạo 11 Hình 1.4 Đồ thị dạng hàm kích hoạt 13 Hình 1.5 Mạng nơron ba lớp 14 Hình 1.6 Một số dạng mạng nơron 16 Hình 1.7 Cấu trúc mạng Hopfield 18 Hình 1.8 Cấu trúc BAM 19 Hình 1.9: Cấu trúc huấn luyện mạng nơron 20 Hình 1.10: Học có giám sát 22 Hình 1.12: Học khơng có giám sát 22 Hình 1.13: Sơ đồ cấu trúc chung trình học 23 Hình 1.14: Mạng lớp lan truyền ngược 25 Hình 2.1: Một dạng mạng nơron Kohonen 36 Hình 2.2: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen 40 Hình 3.1:Mơ hình chung nhận dạng chữ viết 62 Hình 3.2: Sơ đồ huấn luyện mạng 62 Hình 3.4: Biểu diễn ký tự e theo ma trận 5x7 pixcel 64 Hình 3.5: Biểu diễn ký tự e theo ma trận 5x7 giá trị 64 Hình3.6: Biểu diễn ký tự e vector đầu vào 64 Hình 3.7 Vẽ gán ký tự 65 Hình 3.8 Kết mạng nơron Kohonen nhận dạng ký tự e ký tự c 65 Hình 3.9 Đưa chữ ký vào mạng gán tên 65 Hình 3.10 Kết mạng nơron Kohonen nhận dạng chữ ký 66 THUẬT NGỮ TIẾNG ANH -4- ANN Mạng nơron cần huấn luyện BAM Mạng BAM (Bidirectional Associative Memory) SOM Mạng nơron tự tổ chức (Self Organizing Maps) PE Phần tử xử lý (Processing Element) OCR Nhận dạng ký tự quang (optical character recognition) Lời cảm ơn Chúng ta biết rằng, não người sản phẩm hồn hảo tạo hóa, có khả tư sáng tạo Hiện nay, người nghiên cứu -5- phương thức hoạt động não, sau áp dụng cho cơng nghệ đại Để tiếp cận khả học, người ta đưa mơ hình mạng nơron gồm nơron liên kết với thành mạng theo cấu trúc mạng thần kinh người Mỗi nơron riêng lẻ có khả xử lý thơng tin yếu, chúng ghép với thành mạng, khả xử lý thông tin mạnh nhiều Mỗi cấu trúc mạng có ưu điểm đặc thù, chúng cho ta công cụ mạnh lĩnh vực kỹ thuật điều khiển kỹ thuật thông tin Một mạng nơron nhân tạo tập hợp số lớn phần tử xử lý (các nút hay khối), thường tổ chức song song cấu hình theo kiến trúc đệ quy Cách ứng sử mạng nơron nhân tạo giống não người, chứng tỏ khả học, nhớ lại, tổng quát hóa từ liệu huấn luyện Mạng nơron nhân tạo công cụ tốt việc giải toán như: hợp phân lớp đối tượng, xấp xỉ hàm, tối ưu hóa, định lượng vector, phân cụm liệu, Nó thay hiệu cơng cụ tính tốn truyền thống để giải tốn Nhận dạng lĩnh vực đóng vai trị quan trọng khoa học kỹ thuật Trong hầu hết vấn đề kỹ thuật ngày nay, ta phải xác định, nhận dạng mơ hình đối tượng liên quan, để từ tìm giải pháp Nhận dạng mơ hình tốn quan trong lý thuyết hệ thống Lý đơn giản khơng thể phân tích, tổng hợp hệ thống khơng có mơ hình tốn học mơ tả hệ thống Trong q trình xây dựng mơ hình hệ thống phương diện lý thuyết, người ta thường không khảo sát ảnh hưởng mơi trường đến tính động học hệ thống, tác động qua lại bên hệ thống cách xác tuyệt đối Rất nhiều yếu tố bị bỏ qua, xem xét đến tác động ngẫu nhiên Bởi vậy, nói cách chặt chẽ hiểu biết lý thuyết ban đầu hệ thống, giúp ta khoanh lớp mơ hình thích hợp Để có mơ hình cụ thể có chất lượng phù hợp với cụ thể toán đặt lớp mơ hình thích hợp đó, phải sử dụng phương pháp nhận dạng Cịn tốn nhận dạng, phân tích phân cụm liệu, toán hay gặp -6- thực tế, nhìn thấy vật đó, câu hỏi thường trực người là; vật có máy loại, thuộc loại loại có Để giải toán nhận dạng, người ta đưa vào cách tiếp cận khác nhau, phương pháp tiếp cận toán cụ thể có ưu, nhược điểm riêng Phương pháp ứng dụng mạng nơron nhận dạng cách tiếp cận đại Nó cơng cụ mạnh để giải toán lĩnh vực Nội dung đề tài vào tìm hiểu xây dựng phần tử nơron bản, xem xét nghiên cứu cấu trúc mạng nơron, giới thiệu mạng nơron nhiều lớp với thuật toán lan truyền ngược Trọng tâm đề tài vào tìm hiểu mạng nơron Kohonen (hay mạng nơron tự tổ chức – SOM) Đề tài gồm ba chương Chương 1, trình bày cấu trúc phần tử nơron bản, cấu trúc mạng nơron nhân tạo thường gặp, thuật tốn học, phân tích ưu nhược điểm chúng, giới thiệu thuật toán lan truyền ngược Chương 2, tìm hiểu mạng nơron Kohonen Chương 3, nhận dạng ký tự quang sử dụng mạng nơron Kohonen Cuối em xin cảm ơn thày cô giáo, đặc biệt PGS.TSKH Bùi Cơng Cường tận tình dẫn cho em suốt thời gian làm đề tài Xin cảm ơn bạn lớp tạo điều kiện cho học tập nghiên cứu môi trường tốt Hà nội, tháng 12 năm 2009 Chương Giới thiệu mạng nơron nhân tạo Học máy ngành khoa học nghiên cứu thuật toán cho phép máy tính học khái niệm -7- Phân loại: Có hai loại phương pháp học máy  Phương pháp quy nạp: Máy học/phân biệt khái niệm dựa liệu thu thập trước Phương pháp cho phép tận dụng nguồn liệu nhiều sẵn có  Phương pháp suy diễn: Máy học/phân biệt khái niệm dựa vào luật Phương pháp cho phép tận dụng kiến thức chuyên ngành để hỗ trợ máy tính Hiện nay, thuật tốn cố gắng tận dụng ưu điểm hai phương pháp Các ngành khoa học liên quan:  Lý thuyết thống kê: kết xác suất thống kê tiền đề cho nhiều phương pháp học máy Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số phương pháp học máy  Các phương pháp tính: thuật tốn học máy thường sử dụng tính tốn số thực/số ngun liệu lớn Trong đó, tốn như: tối ưu có/khơng ràng buộc, giải phương trình tuyến tính v.v… sử dụng phổ biến  Khoa học máy tính: sở để thiết kế thuật toán, đồng thời đánh giá thời gian chạy, nhớ thuật toán học máy Ứng dụng: Học máy có ứng dụng rộng khắp ngành khoa học/sản xuất, đặc biệt ngành cần phân tích khối lượng liệu khổng lồ Một số ứng dụng thường thấy như:  Xử lý ngôn ngữ tự nhiên: xử lý văn bản, giao tiếp người – máy, …  Nhận dạng: nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) … -8-  Tìm kiếm  Chẩn đốn y tế: phân tích ảnh X-quang, hệ chuyên gia chẩn đoán tự động  Tin sinh học: phân loại chuỗi gene, trình hình thành gene/protein  Vật lý: phân tích ảnh thiên văn, tác động hạt …  Phát gian lận tài (financial fraud): gian lận thẻ tỉn dụng  Phân tích thị trường chứng khốn (stock market analysis)  Chơi trị chơi: tự động chơi cờ, hành động nhân vật ảo  Rôbốt: tổng hợp nhiều ngành khoa học, học máy tạo nên hệ thần kinh/bộ não người máy  Các nhóm giải thuật học máy: Học có giám sát, học khơng giám sát, học nửa giám sát, học tăng cường,… 1.1 Cấu trúc mơ hình mạng nơron 1.1.1 Mơ hình nơron sinh học Phần tử xử lý mạng nơron sinh học nơron, phần tử chia làm bốn thành phần sau: dendrites, soma, axon, synapses - Dendrites: phần nhận tín hiệu đầu vào - Soma: hạt nhân - Axon: phần dẫn tín hiệu xử lý - Synapses: đường tín hiệu điện hóa giao tiếp nơron Kiến trúc sở não người có vài đặc tính chung Một cách tổng quát, nơron sinh học nhận đầu vào từ nguồn khác nhau, kết hợp chúng với nhau, thực thi tổ hợp phi tuyến chúng kết cuối đầu Hình 1.1 mối quan hệ bốn phần tử nơron sinh học -9- Hình 1.1 Một nơron sinh học Một nơron sinh học có số chức vậy, ta nhận thấy khả xử lý thơng tin yếu Để có khả xử lý thơng tin hồn hảo não người, nơron phải kết hợp trao đổi thơng tin với Ta hình dung sơ đồ liên kết, trao đổi thông tin hai nơron hình 1.2 Hình 1.2 Sự liên kết nơron 1.1.2 Cấu trúc mơ hình nơron nhân tạo Mơ hình tốn học mạng nơron sinh học đề xuất McCulloch Pitts, thường gọi nơron M-P, ngồi cịn gọi phần tử xử lý ký hiệu PE (Processing Element) Mơ hình nơron có m đầu vào x1, x2, , xm, đầu yi sau: - 10 - Hình 1.3 Mơ hình nơron nhân tạo Giải thích thành phần bản: - Tập đầu vào: Là tín hiệu vào nơron, tín hiệu thường đưa vào dạng vector m chiều - Tập liên kết (các trọng số): Mỗi liên kết thể trọng số (thường gọi trọng số liên kết) Trọng số liên kết tín hiệu vào thứ j cho nơron i thường ký hiệu wij Thông thường trọng số khởi tạo ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng - Bộ tổng (Hàm tổng): Thường dùng để tính tổng tích đầu vào với trọng số liên kết - Ngưỡng: Ngưỡng thường đưa vào thành phần hàm truyền - Hàm truyền: Hàm dùng để giới hạn phạm vi đầu nơron Nó nhận đầu vào kết hàm tổng ngưỡng cho Thông thường, phạm vi đầu nơron giới hạn đoạn [0,1] [-1,1] Các hàm truyền đa dạng, hàm tuyến tính phi tuyến Việc lựa chọn hàm truyền tùy thuộc vào toán kinh nghiệm người thiết kế mạng - 11 - - Đầu ra: Là tín hiệu đầu nơron, với nơron có tối đa đầu Về mặt toán học, cấu trúc nơron i mô tả cặp biểu thức sau: n y i  f (neti   i ) neti   wij x j j 1 đó: x1, x2, …xm tín hiệu đầu vào, wi1, wi2,…,wim trọng số kết nối nơron thứ i, neti hàm tổng, f hàm truyền,  i ngưỡng, yi tín hiệu đầu nơron Như vậy, tương tự nơron sinh học, nơron nhân tạo nhận tín hiệu đầu vào, xử lý (nhân tín hiệu với trọng số liên kết, tính tổng tích thu gửi kết đến hàm truyền), cho tín hiệu đầu (là kết hàm truyền)  Hàm truyền có dạng sau: 1 x  y 0 x  - Hàm bước - Hàm giới hạn chặt (hay gọi hàm bước) (1.6)  x  y  sgn( x)    x  - Hàm bậc thang x 1 1  y  sgn( x)   x  x  0 x0  - (1.8) Hàm ngưỡng đơn cực y - (1.7) 1  e x với λ>0 (1.9) Hàm ngưỡng hai cực y 1  e x với λ>0 - 12 - (1.10)  Đồ thị dạng hàm truyền biểu diễn sau: Hình 1.4 Đồ thị dạng hàm truyền 1.2 Cấu tạo phương thức làm việc mạng nơron Dựa phương pháp xây dựng nơron trình bày mục trên, ta hình dung mạng nơron hệ truyền đạt xử lý tín hiệu Đặc tính truyền đạt nơron phần lớn đặc tính truyền đạt tĩnh Khi liên kết đầu vào/ra nhiều nơron với nhau, ta thu mạng nơron, việc ghép nối nơron mạng với theo nguyên tắc Vì mạng nơron hệ truyền đạt xử lý tín hiệu, nên phân biệt loại nơron khác nhau, nơron có đầu vào nhận thơng tin từ mơi trường bên ngồi khác với nơron có đầu vào nối với nơron khác mạng, chúng phân biệt với qua vector hàm trọng số đầu vào w Nguyên lý cấu tạo mạng nơron bao gồm nhiều lớp, lớp bao gồm nhiều nơron có chức mạng Hình 1.5 mơ hình hoạt động mạng nơron lớp với phần tử nơron Mạng có ba đầu vào x1, x2, x3 hai đầu y1, y2 Các tín hiệu đầu vào đưa đến nơron đầu vào, nơron làm thành lớp đầu vào mạng Các nơron lớp gọi nơron đầu vào Đầu - 13 - nơron đưa đến đầu vào nơron tiếp theo, nơron không trực tiếp tiếp xúc với môi trường bên ngồi mà làm thành lớp ẩn, hay cịn gọi lớp trung gian Các nơron lớp có tên nơron nội hay nơron ẩn Đầu nơron đưa đến nơron đưa tín hiệu mơi trường bên ngồi Các nơron lớp đầu gọi nơron đầu Hình 1.5 Mạng nơron ba lớp Mạng nơron xây dựng mạng gồm lớp mắc nối tiếp từ đầu vào đến đầu Trong mạng không tồn mạch hồi tiếp Một mạng nơron có cấu trúc gọi mạng hướng hay mạng truyền thẳng hướng (Feed forward network), có cấu trúc mạng ghép nối hồn tồn (vì nơron mạng nối với vài nơron khác) Mạng nơron bao gồm hay nhiều lớp trung gian gọi mạng Multilayer Perceptrons) (MLP-Network) Mạng nơron hình thành chưa có tri thức, tri thức mạng hình thành sau trình học Mạng nơron học cách đưa vào kích thích, mạng hình thành đáp ứng tương ứng, đáp ứng tương ứng phù hợp với loại kích thích lưu trữ Giai đoạn gọi giai đoạn học mạng Khi hình thành tri thức mạng, mạng giải vấn đề cách đắn Đó vấn đề ứng dụng khác - 14 - nhau, giải chủ yếu dựa tổ chức hợp thông tin đầu vào mạng đáp ứng đầu  Nếu nhiệm vụ mạng hoàn chỉnh hiệu chỉnh thông tin thu không đầy đủ bị tác động nhiễu Mạng nơron kiểu ứng dụng lĩnh vực hoàn thiện mẫu, có ứng dụng cụ thể nhận dạng chữ viết  Nhiệm vụ tổng quát mạng nơron lưu giữ động thông tin Dạng thông tin lưu giữ quan hệ thông tin đầu vào đáp ứng đầu tương ứng, để có kích thích tác động vào mạng, mạng có khả suy diễn đưa đáp ứng phù hợp Đây chức nhận dạng theo mẫu mạng nơron Để thực chức này, mạng nơron đóng vai trị phận tổ chức nhóm thơng tin đầu vào, tương ứng với nhóm đáp ứng đầu phù hợp Như vậy, nhóm bao gồm loại thơng tin đầu vào đáp ứng đầu Các nhóm hình thành q trình học, khơng hình thành q trình học Hình 1.6 số liên kết đặc thù mạng nơron Nơron vẽ vòng tròn xem tế bào thần kinh, chúng có mối liên hệ đến nơron khác nhờ trọng số liên kết Tập hợp trọng số liên kết lập thành ma trận trọng số tương ứng 1.2.1 Mạng nơron lớp Mỗi nơron phối hợp với nơron khác tạo thành lớp trọng số Mạng lớp truyền thẳng hình 1.6a Một lớp nơron nhóm nơron mà chúng có trọng số, nhận tín hiệu đầu vào đồng thời Trong ma trận trọng số, hàng thể nơron, hàng thứ j đặt nhãn vector wj nơron thứ j gồm m trọng số wji Các trọng số cột thứ j (j=1,2, ,n) đồng thời nhận tín hiệu đầu vào xj wj = [wj1, wj2, , wjm] - 15 - Tại thời điểm, vector đầu vào x = [x1, x2, , xn] nguồn bên cảm biến thiết bị đo lường đưa tới mạng (a) Mạng truyền thẳng lớp (b) Mạng hồi tiếp lớp (c) Mạng truyền thẳng nhiều lớp (d) Mạng nơron hồi quy Hình 1.6 Một số dạng mạng nơron 1.2.2 Mạng nơron truyền thẳng nhiều lớp Mạng nơron nhiều lớp (Hình 1.6.c) có lớp phân chia thành loại sau đây: - 16 -  Lớp vào lớp nơron nhận tín hiệu vào xi (i = 1, 2, , n) Mỗi tín hiệu xi đưa đến tất nơron lớp đầu vào Thông thường, nơron đầu vào khơng làm biến đổi tín hiệu vào xi, tức chúng khơng có trọng số khơng có loại hàm chuyển đổi nào, chúng đóng vai trị phân phối tín hiệu  Lớp ẩn lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với giới bên lớp nơron vào/ra  Lớp lớp nơron tạo tín hiệu cuối 1.2.3 Mạng nơron phản hồi Mạng nơron phản hồi mạng mà đầu nơron quay trở lại nối với đầu vào nơron lớp gọi mạng Laeral hình 1.6b 1.2.4 Mạng nơron hồi quy Mạng nơron phản hồi thực đóng vịng gọi mạng nơron hồi quy hình 1.6d Mạng nơron hồi quy có trọng số liên kết đối xứng mạng Hopfield, mạng hội tụ trạng thái ổn định (Hình 1.6.b) Mạng BAM thuộc nhóm mạng nơron hồi quy, gồm lớp liên kết chiều, khơng gắn với tín hiệu vào/ra Nghiên cứu mạng nơron hồi quy mà có trọng số liên kết khơng đối xứng, gặp phải vấn đề phức tạp nhiều so với mạng truyền thẳng mạng hồi quy có trọng số liên kết đối xứng 1.2.5 Mạng Hopfield Mạng Hopfield mạng phản hồi lớp, hình 1.6.b Cấu trúc chi tiết thể hình 1.7 Khi hoạt động với tín hiệu rời rạc, gọi mạng Hopfield rời rạc, cấu trúc gọi mạng hồi quy - 17 - Hình 1.7 Cấu trúc mạng Hopfield Như mạng Hopfield vẽ trên, ta thấy nút có đầu vào bên xj giá trị ngưỡng  j (j = 1,2, n) Một điều quan trọng cần nói nút khơng có đường phản hồi Nút đầu thứ j nối tới đầu vào nút khác qua trọng số wij, với i  j, (i = 1,2, ,n), hay nói cách khác wii = 0, (với i = 1,2, ,n) Một điều quan trọng trọng số mạng Hopfield đối xứng, tức wij = wji, (với i,j = 1,2, ,n) Khi đó, luật cập nhật cho nút mạng sau: y ( k 1) i  n    (k )  sgn   wij y j  xi   ,  jj 1i    i = 1,2, ,n (1.11) Luật cập nhật tính tốn cách thức khơng đồng Điều có nghĩa là, với thời gian cho trước, có nút mạng cập nhật đầu Sự cập nhật nút sử dụng đầu cập nhật Nói cách khác, hình thức hoạt động khơng đồng mạng, đầu cập nhật độc lập - 18 - Có khác biệt luật cập nhật đồng luật cập nhật không đồng Với luật cập nhật khơng đồng có trạng thái cân hệ (với giá trị đầu xác định trước) Trong đó, với luật cập nhật đồng làm mạng hội tụ điểm cố định vòng giới hạn 1.2.6 Mạng BAM Mạng BAM bao gồm hai lớp xem trường hợp mở rộng mạng Hopfield Ở ta xét mạng rời rạc, đơn giản dễ hiểu Hình 1.8 Cấu trúc BAM Khi mạng nơron tích cực với giá trị đầu vào vector đầu vào lớp, mạng có hai mẫu trạng thái ổn định, với mẫu đầu lớp Tính động học mạng thể dạng tác động qua lại hai lớp Cụ thể hơn, giả sử vector đầu vào x cung cấp cho đầu vào lớp nơron y Đầu vào xử lý truyền tới đầu lớp y sau: y’ = a(wx) ;   yi'  a   wij x j  ;   với i = 1,2, ,n (1.12) Ở a(.) hàm truyền, vector y’ lại nuôi trở lại lớp nơron X tạo nên đầu sau: x’ = a(wTy’);  n  x j  a  wij yi  ;  i 1  với j = 1,2, ,m - 19 - (1.13) Sau x’ nuôi trở lại đầu vào lớp y tạo hàm y’’ theo phương trình (1.12) Quá trình tiếp tục, bao gồm bước sau: y(1) = a(wx(0)) (truyền thẳng lần thứ nhất) x(2) = a(w(T)y(1)) (truyền ngược lần thứ nhất) y(3) = a(wx(2)) (truyền thẳng lần thứ hai) x(4) = a(w(T)y(3)) (truyền ngược lần thứ hai) (1.14)  y(k-1) = a(wx(k-2)) (truyền thẳng lần thứ k/2) x(k) = a(w(T)y(k-1)) (truyền ngược lần thứ k/2) Chú ý trạng thái cập nhật phương trình (1.14) đồng theo phương trình (1.12) (1.13) Trạng thái cập nhật khơng đồng theo phương trình (1.12) (1.13) với nút i, j chọn tự Người ta rằng, hệ thống ổn định cho hai chế độ đồng không đồng Tuy nhiên, chế độ đồng làm cho hệ thống hội tụ nhanh nhiều 1.3 Các luật học Thông thường, mạng nơron điều chỉnh huấn luyện để hướng đầu vào riêng biệt đến đích đầu Cấu trúc huấn luyện mạng hình Ở đây, hàm trọng số mạng điều chỉnh sở so sánh đầu với đích mong muốn (taget), đầu mạng phù hợp với đích Những cặp vào/đích (input/taget) dùng để giám sát cho huấn luyện mạng Đích ANN Dữ liệu vào Trọng số wi So sánh Điều chỉnh Hình 1.9: Cấu trúc huấn luyện mạng nơron - 20 -