Xác định quan hệ mở bằng mạng nơron nhân tạo

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN - BÁO CÁO NGHIÊN CỨU KHOA HỌC Tên đề tài: XÁC ĐỊNH QUAN HỆ MỜ BẰNG MẠNG NƠRON NHÂN TẠO Giáo viên hướng dẫn : T.S Nguyễn Tân Ân Sinh viên thực : Nguyễn Thị Thuý Chinh Lớp : C-K54-CNTT Hà Nội 4/2008 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học PHẦN MỞ ĐẦU Tên đề tài Xác định quan hệ mờ mạng nơron nhân tạo Lý chọn đề tài Từ 20 năm nay, lý thuyết tập mờ mạng nơron nhân tạo phát triển nhanh đa dạng Công nghệ mờ công nghệ mạng nơron cung cấp công nghệ cho ngành công nghiệp làm nhiều sản phẩm thông minh, đáp ứng nhu cầu thị trường cần có điều khiển linh hoạt Hệ mờ mạng nơron kết hợp với để phát huy ưu điểm chúng Một dạng kết hợp mạng nơron mờ, nhờ có mà giải nhiều toán khó mà với thuật giải thơng khơng thực có phức tạp nhiều thời gian Với toán xác định quan hệ không gian vào không gian dựa cặp phần tử vào biết Cụ thể cho không gian vào X , không gian Y cặp phần tử vào (x, y)đã biết , tức cho phần tử x Ỵ X có phần tử tương ứng y Î Y Yêu cầu toán đặt xác định quan hệ R X Y Một phương pháp thường sử dụng để giải tốn phương pháp bình phương bé Để giảm độ phức tạp thời gian tính tốn báo cào tơi sử dụng phương pháp dùng mạng nơron nhân tạo Và quan hệ không gian vào xác định khơng phải quan hệ bình thường mà quan hệ mờ Bài nghiên cứu gồm phần sau: I Tổng quan lý thuyết tập mờ quan hệ mờ Giới thiệu khái niệm tập mờ, phép toán tập mờ, quan hệ mờ II Giới thiệu mạng nơron nhân tạo Giới thiệu cấu trúc nơron, định nghĩa phân loại mạng nơron, thủ học mạng nơron, thuật toán lan truyền ngc Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học III Bi toỏn xỏc định quan hệ mờ mạng nơron nhân tạo Ánh xạ toán xác định quan hệ mờ lên mạng nơron nhân tạo, đưa cách huấn luyện mạng Cuối demo thuật toán xác định quan hệ mờ mạng nơron nhân tạo I Tổng quan lý thuyết tập mờ quan hệ mờ 1.1 Khái niệm tập mờ Tập mờ xem mở rộng trực tiếp tập kinh điển Bây ta xét khái niệm hàm thuộc tập kinh điển Định nghĩa 1.1 Cho tập hợp A Ánh xạ m: U ® {0,1} định nghĩa sau: ìï nÕu x ẻ A mA (x )= ùớ ùùợ x Ï A (1.1) gọi hàm thuộc tập A Tập A tập kinh điển, U không gian Như hàm thuộc tập cổ điển nhận hai giá trị Giá trị hàm thuộc mA (x ) gọi giá trị đúng, ngược lại giá trị sai mA (x ) Một tập U ln có mU (x )= , với x gọi không gian (tập nền) Một tập A có dạng A = {x Ỵ U x thoả mÃn số tính chất đó} thỡ c gọi có tập U , hay định nghĩa tập U Ví dụ tập A = {x ẻ Ơ < x < 12} cú tập tập số tự nhiên ¥ Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com B¸o cáo nghiên cứu khoa học Hm thuc mA (x ) định nghĩa tập A , khái niệm kinh điển có hai giá trị x Î A x Ï A Hình 1.1 mô tả hàm thuộc hàm mA (x ), tập A định nghĩa sau: A = {x Ỵ ¡ < x < 6} (1.2)  A (x) x Hình 1.1 Hàm thuộc mA (x ) tập kinh điển A Cách biểu diễn hàm phụ thuộc không phù hợp với tập mô tả “mờ” tập B gồm số thực dương nhỏ nhiều so với B = {x Ỵ ¡ x = 6}, (1.3) có tập ¡ , tập C gồm số thực gần có tập ¡ C = {x Ỵ ¡ x » 3} (1.4) Tập B , C gọi tập mờ Lý với định nghĩa “mờ” chưa đủ để xác định số chẳng hạn x = 4,5 có thuộc B x = 2,5 có thuộc C hay khơng Nên dùng hàm thuộc tập cổ điển có hai giá trị để định nghĩa tập B C trường hợp Vì người ta nghĩ rằng: lại không mở rộng miền giá trị cho hàm thuộc tập cổ điển, tức hàm thuộc có nhiều hai giá trị Khi thay việc trả lời câu hỏi x = 4,5 có thuộc B hay khơng, ngưịi ta trả lời câu hỏi là: x = 4,5 thuộc B phần trăm? Gi s rng cú Sinh viên: Nguyễn Thị Thuý Chinh – K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học cõu trả lời lúc hàm thuộc mB (x ) điểm x = 4,5 phải có giá trị đoạn [0,1], tức £ mB (x )£ (1.5) Nói cách khác hàm mB (x ) khơng hàm hai giá trị tập kinh điển mà ánh xạ (hình 1.2) mB : U ® [0,1], (1.6) U tập tập “mờ” Hình 1.2 a, Hàm phụ thuộc tập “mờ” B b, Hàm phụ thuộc tập “mờ” C Định nghĩa 1.2 Tập mờ F xác định tập kinh điển U tập mà phần tử cặp giá trị (x, mF (x )) x Ỵ U mF ánh xạ mF : U ® [0,1] (1.7) Ánh xạ mF gọi hàm thuộc (hàm phụ thuộc hay hàm thành viên ) tập mờ F Tập kinh điển U gọi tập (hay tập vũ trụ) tập mờ F Ví dụ tập mờ F số tự nhiên nhỏ với hàm phụ thuộc mF (x ) có dạng hình 1.2a định nghĩa U chứa phần tử sau Sinh viªn: Ngun ThÞ Th Chinh – K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cøu khoa häc F= {(1, 1),(2, 1),(3, 0,8),(4, 0,07)} Số tự nhiên có độ phụ thuộc mF (1)= mF (2)= , số tự nhiên có độ phụ thuộc nhỏ mF (3)= 0,8 mF (4)= 0,07 , Những số tự nhiên khơng liệt kê có độ phụ thuộc 1.2 Các phép toán tập mờ Giống định nghĩa tập mờ phép toán tập mờ định nghĩa thông qua hàm thuộc Nói cách khác, khái niệm xây dựng phép toán tập mờ việc xác định hàm thuộc cho phép hợp, giao , bù từ tập mờ Một nguyên tắc việc xây dựng phép tốn tập mờ khơng mâu thuẫn với phép tốn có lý thuyết tập hợp kinh điển 1.2.1 Phép hợp Cho hai tập hợp mờ A B có khơng gian U với hai hàm thuộc tương ứng mA (x ) mB (x ) Hợp A B tập mờ xác định U , kí hiệu A È B có hàm thuộc mAÈ B (x ) thoả mãn: i mAÈ B (x ) phụ thuộc vào mA (x ) mB (x ) ii mB (x )= với " x Þ mAÈ B (x ) = mA (x ) iii Tính giao hốn, tức mẰ B (x )= mBÈ A (x ) iv Tính kết hợp, tức m( AÈ B )ÈC (x )= mAÈ( BÈ C ) (x ) v Là hàm không giảm: mA1 (x )£ mA2 (x ) Þ mA1 È B (x )£ mA2 È B (x ) Để tính hàm thuộc mẰ B (x ) có nhiều cách khác nhau, sau cơng thức dùng báo cáo này: mẰ B (x )= max {mA (x ), mB (x )} (Luật ly max) Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT (1.8) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học  B ( x)  A ( x) a) x x   A ( x)  B ( x) b) x Hình 1.3 Hàm thuộc hai tập mờ có khơng gian a) Hàm thuộc hai tập mờ A B b) Hợp hai tập mờ A B theo luật max Một cách tổng qt ánh xạ dạng mẰ B (x ): U ® [0,1] thoả mãn tiêu chuẩn nêu định nghĩa hợp hai tập mờ xem hợp hai tập mờ A B có chung khơng gian U Công thức mở rộng để áp dụng cho việc xác định hợp hai tập mờ không không gian nền, cách đưa hai tập mờ chung khơng gian tích hai tập cho Ví dụ cho tập mờ A xác định không gian M tập mờ B xác định không gian N Do hai tập M N độc lập với nên hàm thuộc mA (x ), x Ỵ M tập mờ A không phụ thuộc vào N ngược lại mB (x ), y Ỵ N tập B không phụ thuộc vào M Điều thể chỗ khơng gian tập tích M ´ N hàm mA (x ) phải mặt “cong” dọc theo trục y mB (x ) mặt “cong” dọc theo trục x (hình 1.4) Tập mờ A định nghĩa hai không gian M Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com B¸o cáo nghiên cứu khoa học M N phân biệt chúng, sau kí hiệu A dùng để tập mờ A không gian M ´ N Đối với tập mờ khác kí hiệu tương tự Với kí hiệu mA (x , y)= mA (x ) với y Ỵ N mB (x, y )= mB (x ) với x Ỵ M a   ( x)   ( x) A B   ( x, y ) x   ( x, y ) y B A b x x M×N y  c M×N y ( x , y )  A B M×N x y Hình 1.4 Phép hợp hai tập mờ không a Hàm thuộc hai tập mờ A B b Đưa hai tập mờ chung M ´ N c Hợp hai tập mờ M ´ N Sinh viªn: Ngun ThÞ Thuý Chinh – K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc Sau đưa hai tập mờ A B chung không gian M ´ N thành A B hàm thuộc mAÈ B (x , y ) tập mờ A È B xác định theo công thức (1.8) Hợp hai tập mờ theo luật max Cho tập mờ A xác định không gian M tập mờ B xác định khơng gian N , có hàm thuộc mA (x ), mB (x ) Hợp hai tập mờ A B theo luật max tập mờ xác định không gian M ´ N với hàm thuộc mAÈ B (x , y)= max {mA (x, y ), mB (x, y )} (1.9) mA (x , y)= mA (x ) với y Ỵ N mB (x, y )= mB (x ) với x Ỵ M Một cách tổng quát, hàm thuộc mAÈ B (x , y ) hợp hai tập mờ A , B không không gian phụ thuộc vào mA (x )Ỵ [0,1] mB (x )Ỵ [0,1] nên ta xem mẰ B (x , y ) hàm hai biến mA , mB định nghĩa sau mAÈ B (x , y)= m(mA , mB ): [0,1] ® [0,1] (1.10) Ta đến định nghĩa hàm thuộc m(mA , mB ) hợp hai tập mờ không không gian nền: Định nghĩa 1.3 Hàm thuộc hợp hai tập mờ A với mA (x ) định nghĩa không gian M B với mB (x ) định nghĩa không gian N hàm hai biến m(mA , mB ): [0,1] ® [0,1] xác định M ´ N thoả mãn: a) mB = Þ m(mA , mB )= mA Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com B¸o c¸o nghiªn cøu khoa häc b) m(mA , mB )= m(mB , mA ), tức có tính giao hốn c) m(mA , m(mB , mC ))= m(m(mA , mB ), mC ), tức có tính kết hợp d) m(mA , mB )£ m(mC , mD ), " mA £ mC , mB £ mD , tức có tính không giảm Một hàm hai biến m(mA , mB ): [0,1] ® [0,1] thoả mãn điều kiện định nghĩa gọi hàm t-đối chuẩn (t-conorm) 1.2.2 Phép giao Cho hai tập hợp mờ A B có khơng gian U với hai hàm thuộc tương ứng mA (x ) mB (x ) Giao A B tập mờ xác định U , kí hiệu A I B có hàm thuộc mAI B (x ) thoả mãn: i mAI B (x ) phụ thuộc vào mA (x ) mB (x ) ii mB (x )= với " x Þ mAI B (x ) = mA (x ) iii Tính giao hốn, tức mAI B (x )= mB I A (x ) iv Tính kết hợp, tức m( AI B )I C (x )= mAI ( B I C ) (x ) v Nếu A1 Í A2 A1 Ç B Í A2 Ç B hay mẰ B (x ) có tính chất khơng giảm, tức mA1 (x )£ mA2 (x ) ị mA1 ầB (x )Ê mA2 ầB (x ) Tương tự trình bày phép hợp hai tập mờ, có nhiều cơng thức khác để tính hàm thuộc mAI B (x ) giao hai tập mờ ánh xạ mAI B (x ): U ® [0,1] thoả mãn tiêu chuẩn nêu định nghĩa xem hàm thuộc giao hai tập mờ A B có chung khơng gian U Sau cơng thức để tính hàm thuộc mAI B (x ) phép giao gồm: Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com B¸o cáo nghiên cứu khoa học Mng nron nhõn to cú thể chế tạo nhiều cách khác thực tế tồn nhiều kiểu mạng nơron nhân tạo Dựa vào số lớp hay liên kết lớp mạng mà người ta phân mạng nơron nhân tạo thành nhóm khác * Phân loại theo số lớp Phân loại theo số lớp mạng nơron nhân tạo gồm có hai nhóm: mạng lớp mạng nhiều lớp - Mạng lớp Mạng lớp cấu thành từ lớp mạng, vừa lớp vào vừa lớp trung gian lớp Một lớp mạng bao gồm nhóm nơron tổ chức theo cách cho tất chúng nhận véc tơ đầu vào để xử lý thời điểm Việc sản sinh net đầu vào, biến đổi thành tín hiệu đầu out xuất lúc tất nơron y1 x1 y2 x2 M ym M xn Hình 2.5 Mơ hình mạng lớp - Mạng nhiều lớp Mạng nhiều lớp cấu thành từ nhiều lớp liên kết với nhau, bao gồm lớp vào, lớp ẩn lớp Trong đó, lớp nhận tín hiệu đầu vào gọi lớp vào Các tín hiệu đầu mạng sản sinh lớp mạng Các lớp nằm lớp vào lớp gọi lớp ẩn Lớp ẩn thành phần nội mạng, khơng có tiếp xúc với mơi trường bên ngồi Số lượng lớp ẩn dao động từ đến vài lớp Tuy nhiên thực tế cho thấy cần lớp ẩn mạng đủ để giải lớp toán phức tạp no Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học x1 y1 x2 y2 M M M M xn M ym lớp vào lớp ẩn lớp Hình 2.6 Mơ hình mạng lớp truyền thẳng * Phân loại theo liên kết lớp Sự liên kết mạng nơron tuỳ thuộc vào nguyên lý tương tác đầu nơron riêng biệt với nơron khác tạo cấu trúc mạng nơron Về nguyên tắc có nhiều kiểu liên kết nơron, có số cấu trúc hay gặp ứng dụng sau: - Mạng truyền thẳng (Feedforward neural networks) Dòng liệu đầu vào từ nơron đầu vào đến nơron đầu truyền thẳng Việc xử lý liệu mở rộng nhiều lớp, khơng có liên kết ngược Tức là, khơng có liên kết từ đơn vị đầu tới đơn vị đầu vào lớp hay lớp trước Nếu mơ hình hố mạng truyền thẳng đồ thị, đồ thị có hướng hữu hạn khơng chu trình Trong đó, nơron nút, liên liên kết nơron cung đồ thị Hình 2.6 minh họa mạng truyền thẳng nhiều lớp - Mạng hồi quy (mạng nối ngược) (Recurrent neural network) Khác với mạng truyền thẳng, mạng hồi quy có chứa liên kết ngược Mơ hình hố mạng hồi quy đồ thị đồ thị có hướng hữu hạn có chu trình Hình 2.7 minh họa cho mt mng hi quy Sinh viên: Nguyễn Thị Thuý Chinh – K54C - CNTT 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học x1 y1 x2 y2 M M M M xn M ym Hình 2.7 Mơ hình mạng nơron nhiều lớp hồi quy 2.3 Thủ tục học mạng nơron nhân tạo Mạng nơron hình thành chưa có tri thức, để giải tốn cụ thể phải cho mạng nơron học Mạng nơron học thơng qua q trình huấn luyện mạng tập liệu (training data) Tiến trình điều chỉnh trọng số để mạng “nhận biết ” mối quan hệ đầu vào đích mong muốn gọi học (learning) hay huấn luyện (training) Rất nhiều thuật tốn học phát minh để tìm tập trọng số tối ưu làm giải pháp cho toán Các nhân tố định tới khả mạng nơron gồm: cấu trúc mạng (số lớp, số nơron lớp, cách mà lớp liên kết với nhau) trọng số liên kết bên mạng Dựa vào điều này, người ta phân thuật toán học mạng nơron thành hai nhóm chính: học cấu trúc học tham số 2.3.1 Học tham số Học tham số quan tâm đến chiến lược hiệu chỉnh trọng số nơron mạng Giả sử có n nơron, nơron có m trọng số Chúng ta kết hợp lại tạo thành ma trận dạng sau: Sinh viªn: Ngun ThÞ Thuý Chinh – K54C - CNTT 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc éw11 w12 ê êw21 w22 W = êê M êM êw ë m wm K K K K w1n ù ú w2 n ú ú M úú wmn úû (2.7) Trong đó, wij trọng số liên kết từ nơron i đến nơron j Các thủ học tham số nhằm tìm kiếm ma trận trọng só W cho mạng có khả đưa dự báo sát với thực tế Các thủ học có tham số chia thành ba lớp nhỏ hơn: học có đạo (học có thầy), học tăng cường, học khơng đạo (học khơng có thầy hay học tự tổ chức) - Học có đạo Tín hiệu out Véc tơ vào Mạng nơron Sản sinh sai số Hình 2.8 Sơ đồ học có đạo Mỗi lần véc tơ tín hiệu vào X cấp cho mạng, ta cấp cho mạng véc tơ đầu mong muốn Y Mạng phải sản sinh tín hiệu đầu out cho gần với Y Cụ thể, ta cấp tập ngẫu nhiên M = (X i , Yi ) Khi véc tơ X i vào mạng, véc tơ đầu Yi cung cấp (Hình 2.8) Độ lệch tín hiệu đầu outi véc tơ đầu Yi sản sinh sai số thu nhận sản sinh tín hiệu sai số Tín hiệu sai số vào mạng mạng hiệu chỉnh trọng số cho tín hiệu đầu outi gần với véc tơ đầu mong muốn Yi Nếu tín hiệu out = Y lúc mạng nơron bão hồ, ta nói thủ tục học mạng hi t - Hc tng cng Sinh viên: Nguyễn Thị Thuý Chinh – K54C - CNTT 24 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc Tín hiệu out Véc tơ vào Mạng nơron Tín hiệu tăng cường Sản sinh tín hiệu tăng cường Hình 2.9 Sơ đồ học tăng cường Học tăng cường dạng học có đạo mạng nơron nhận tín hiệu ngồi mơi trường Tuy nhiên, tín hiệu ngồi mơi trường tín hiệu mang tính phê phán, khơng phải dẫn cụ thể học có đạo Nghĩa là, tín hiệu tăng cường nói cho mạng biết tín hiệu vừa sản sinh hay sai, khơng cho mạng biết tín hiệu phải Tín hiệu tăng cường xử lý xử lý tín hiệu tăng cường (Hình 2.9), nhằm mục đích giúp mạng hiệu chỉnh trọng số với hi vọng nhận tín hiệu tăng cường tốt tương lai Các thủ tục học tăng cường thường biết đến thủ tục học với nhà phê bình khơng phải học với thầy thủ tục học có đạo - Học khơng đạo Tín hiệu out Véc tơ vào Mạng nơron Hình 2.10 Sơ đồ học khơng đạo Trong thủ tục này, khơng có thơng tin từ ngồi mơi trường tín hiệu đầu out phải hay sai Mạng nơron phải tự khám phá đặc điểm, mối quan hệ quan tâm như: dạng đưòng nét, có chuẩn – có bình thường hay khơng, hệ s tng quan, tớnh cõn xng, Sinh viên: Nguyễn Thị Thuý Chinh – K54C - CNTT 25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc tính chạy, … mẫu học sau chuyển quan hệ tìm thấy qua đầu Trong trình học, trọng số mạng thay đổi để thể đặc tính phát Do thủ tục cịn gọi tự tổ chức (Hình 2.10) 2.3.2 Học cấu trúc Học cấu trúc thuật tốn tìm kiếm tham số cấu trúc mạng để tìm cấu trúc mạng hoạt động tốt Trong thực tế, việc học cấu trúc việc tìm số lớp ẩn số nơron lớp 2.4 Thuật tốn lan truyền ngược vqj wiq q = 1, 2, , l i = 1, 2, , n j = 1, 3, , m q = 1, 3, , l y%1 x1 y%2 x2 M M M M y%n xm Hình 2.11 Mạng nơron hai lớp truyền thẳng Từ mẫu học cụ thể x ( ), y ( ) trọng số có mạng Chẳng k k k k k hạn w( ), v ( ) mạng hai lớp, người ta xác định đầu thực y%( ) Sau sở so sánh với mẫu học y ( ), trọng số lớp nơron đầu ra, ví dụ k w( ), hiệu chỉnh thành w( k k + 1) Tiếp tục từ trọng số w( k + 1) người ta lại hiệu chỉnh trọng số nơron thuộc lớp phía trước, ví dụ v ( ) thành k v( k+ 1) Cứ trọng s ca lp nron u vo Sinh viên: Nguyễn Thị Thuý Chinh – K54C - CNTT 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc Để phần giải thích chi tiết thuật tốn lan truyền ngược đơn giản, sau ta lấy mạng hai lớp hình 2.11 làm ví dụ Với sai lệch cho riêng mẫu học thứ k v ( ) - y%( ) , giá trị gia tăng k k D wiq( ) xác định theo công thức cải tiến Widnow từ (7.12) sau k k k k da D wiq( ) = s éêyi( ) - y%i( )ùú ë ûdci zq = sdoi zq (2.8) (k ) ci Trong số k k da doi = éêyi( ) - y%i( )ùú ë ûdci (2.9) (k ) ci (k) Có tên gọi tín hiệu sai lệch nơron đầu thứ i Rõ ràng D wiq phụ thuộc vào zq Để tính zq ta sử dụng trọng số cũ có mạng v ( ) k sau: æ m (k) (k )ửữ = a ỗỗỗồ vqj x j ữ ữ ỗố j= ứữ ( ) (k) zq = a cq (2.10) Cùng với D wiq( ) , trọng số cũ wiq( ) hiệu chỉnh thành k wiq( k + 1) k = wiq( ) + D wiq( ) k Sau có wiq( k k + 1) (2.11) , ta xác định giá trị gia tăng D v(qj ) cho trọng số cũ v(qj ) k k nơron thuộc lớp đầu vào nhờ công thức cải biên theo tư tưởng Widnow: é k ù k da k + da D vqj = så ê yi( ) - y%i( ) wiq( )ú x j = sdhq x j ê údcq dci i= ë û n (k) ( ) (2.12) Trong n dhq = é (k) ù ê yi - y%i(k ) da wiq(k + 1)úda ê údcq dci ë û å ( i= ) da = dcq (k ) cq n å doi wiq( k + 1) (2.13) (k ) i= cq Từ D v(qj ) ta k Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học vqj( k + 1) = vqj( ) + D vqj( ) k k (2.14) Ví dụ: Xét mạng hai lớp hình 2.12 với hai nơron lớp đầu vào nơron lớp đầu Các nơron mạng nơron Fermi 1 + e- c y = a (c)= da = y (1 - y ) dc Þ Giả sử mạng có trọng số: v(qj ) q = 1,2; j = 1, wiq( ), q = 1,2 k k Khi có thêm mt mu hc mi x (k) ổx(k )ửữ ỗ k , y( ) trước hết trọng số cũ = çç 1(k )÷ ÷ ÷ çèx ø÷ wiq( ) nơron lớp hiệu chỉnh thành k wiq( k + 1) = wiq( ) + D wiq( ) k k Trong ỉ2 k k k ữ D wiq( ) = sdo1zq = sdo1 a ỗỗỗồ vqj( )x (j )ữ ữ ữ ỗố j= ứ 1444442 444443 zq ( (k) (k ) ) ( (k) (k ) do1 = y - y% y% - y% ) ỉ (k) ư÷ với y% = a çççå wiq zq ÷ ÷ çè q= ø÷ (k) Sau hiệu chỉnh xong lớp để có wiq( k + 1) , trọng số v(qj ) lớp đầu k vào sửa đổi thành vqj( k + 1) Trong đó: = vqj( ) + D vqj( ) = vqj( ) + sdhq x j k k k dhq = zq (1 - zq )do1wiq( k + 1) Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học x1 v11 w11 v21 y% v12 x2 v22 w12 Hình 2.12 Minh hoạ cho ví dụ 2.5 Mạng nơron mờ Sự kết hợp trực quan trực tiếp suy rộng mạng nơron cách đưa khái niệm mờ đặc biệt tập mờ số mờ vào mạng nơron xem xét xem toán nào, thuật toán cịn Tác động lớp thuật tốn sao? Hoàn toàn tự nhiên người ta nghĩ tới nghiên cứu bốn loại suy rộng sau: 1) Loại 1: Tín hiệu vào số thực, trọng số mờ 2) Loại 2: Tín hiệu vào tập mờ, trọng số số thực 3) Loại 3: Cả tín hiệu vào trọng số số mờ 4) Loại mở rộng: Khai thác phép toán t-chuẩn, t-đối chuẩn III Bài toán xác định quan hệ mờ mạng nơron nhân tạo 3.1 Bài tốn Cho khơng gian vào X không gian Y Yêu cầu đặt xác định quan hệ mờ R không gian vào Việc xác định quan hệ mờ R thực thơng qua việc tìm lời giải cho phương trình quan hệ mờ mạng nơron mờ Chúng ta cho r s phương trình quan hệ mờ X Å R = Y , X ẻ [0,1] , Y ẻ [0,1] , Sinh viên: Ngun ThÞ Th Chinh – K54C - CNTT 29 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cøu khoa häc r´ s R Ỵ [0,1] Chúng ta giới hạn trường hợp Å = max-min Chúng ta giả sử có tập mẫu éêëX i , Y i : i = 1, , p ù úû, để tìm R sử dụng mạng nơron mờ để nhận dạng Vấn đề đặt thiết kế mạng nơron ( tơpơ nó) thủ tục học w11 x1 Out1 w12 w1s w21 x2 w22 Out2 w2s M M wr wr xr Outs wrs Hình 3.1Mơ hình mạng nơron 3.2 Tôpô mạng Chúng ta coi mạng nơron mờ có tơpơ sau: Các cặp đầu vào đầu (x1, ,xi , , xr ) (Out1 , ,Out j , , Outs ), Out j xác định Out j = max[min (xi , wij )], wij phần tử ma trận trọng số W định số lượng kết nối (xem hình 3.1) Vì vậy, xem xét mạng nơron khơng có lớp ẩn, r s đầu vào giá trị X Ỵ [0,1] đầu Y Ỵ [0,1] thu Y = max(min( W , X )), W ma trận trọng số Nếu X = (x1 , ,xi , , xr ), Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 30 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học Y = (Out1 , ,Out j , , Outs ) phần tử ma trận W wij đầu tính sau Out1 = max[min (x1 , w11 ), (x2 , w21 ), …, (xr , wr1 )], M Outs = max[min (x1 , w1s ), (x2 , w2 s ), …, (xr , wrs )], 3.3 Thủ tục học thuật tốn huấn luyện mạng Mục đích việc huấn luyện mạng điều chỉnh trọng số cho ứng dụng đưa tập đầu vào đem lại tập đầu mong muốn Điều định hướng cách tối thiểu bình phương độ sai khác đầu mong muốn Tj đầu thực Oj cho tất mẫu học, E= å (T j ( ( Oj ) , Oj = maxi xi , wij )) Bước 1: Khởi tạo ma trận trọng số W , wij = với i = 1,2, , r; j = 1,2, , s Bước 2: Xác định ma trận trọng số qua mẫu học D wij = mdj C , dj = Tj - Oj , m bước học C xác định sau: ìï ïìï x s ³ Max ( Min (xi , wij )® C = xs , ïï i ¹ s ïï x s < wsj ïí ïï x < Max ( Min (x , w )® C = x * x , ïï i ij s s ïỵ s i ¹ s C = ïí ïï ìï w ³ Max ( Min (x , w )® C = 1, i ij ïï sj ïï i¹ s x ³ w í ïï s sj ïï w < Max ( Min (x , w )® C = w ïï i ij sj iạ s ợù sj ợ S dng thuật toán lan truyền ngược, sau lần học ma trận trọng số tính lại nhằm tối thiểu bình phương độ sai khác đầu mong muốn Tj đầu thực Oj cho tất cỏc mu hc Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 31 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học wij ( míi ) = wij ( cị ) + D wij 3.4 Ví dụ Với tập giá trị thích hợp X t Ỵ [0,1] , giá trị mong muốn Yt thu tổng hợp max-min Yt = X t Å R , t = 1, , X = (1, 0, 0, 0, 0) ® Y1 = (0.6, 0.5, 0.8, 0.3, 0.2), X = (0, 1, 0, 0, 0) ® Y2 = (0.4, 0.1, 0.9, 0.6, 0.4), X = (0, 0, 1, 0, 0) ® Y3 = (0.1, 0.1, 0.9, 0.8, 0.5), X = (0, 0, 0, 1, 0) ® Y4 = (0.9, 0.2, 0.9, 0.1, 0.5), X = (0, 0, 0, 0, 1) ® Y5 = (0.4, 0.5, 0.3, 0.8, 0.9) Mạng với tôpô biểu diễn phần 3.2 huyến luyện với cặp {(X t , Yt ), t = 1, , 5} Kết thu được: - Vi m= 0.5 , s ln lp 19 ổ0.599999 ỗỗ çç0.399999 çç çç0.100000 çç çç0.899999 çç è0.399999 0.499999 0.799999 0.299999 0.199999ư÷ ÷ ÷ 0.100000 0.899999 0.599999 0.399999÷ ÷ ÷ ÷ 0.100000 0.899999 0.799999 0.499999÷ ÷ ÷ ÷ 0.200000 0.899999 0.100000 0.499999÷ ÷ ÷ ÷ 0.499999 0.300000 0.799999 0.899999ø÷ - Với m= , s ln lp ổ0.600000 ỗỗ ỗỗ0.400000 çç çç0.100000 çç çç0.900000 çç è0.400000 0.500000 0.800000 0.300000 0.200000ư÷ ÷ ÷ 0.100000 0.900000 0.600000 0.400000÷ ÷ ÷ ÷ 0.100000 0.900000 0.800000 0.500000÷ ÷ ÷ ÷ 0.200000 0.900000 0.100000 0.500000÷ ÷ ÷ ÷ 0.500000 0.300000 0.800000 0.900000ø÷ Sinh viªn: Ngun ThÞ Thuý Chinh – K54C - CNTT 32 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa häc 3.5 Xây dựng chương trình ứng dụng Sử dụng ngơn ngữ C# để xây dựng chương trình minh hoạ cho thuật tốn trình bày để giải toán xác định quan hệ mờ mạng nơron nhân tạo KẾT LUẬN - Bộ não người máy kĩ thuật diệu kì Các nhà khoa học xây dựng mơ hình tính tốn mô hoạt động não người như: khả học cao, khả dung thứ lỗi - Sử dụng mạng nơron nhân tạo giúp giảm độ phức tạp thời gian tính tốn, đặc biệt với toán cần xử lý với khối lượng liệu lớn Nó khơng xử lý liệu đầu vào rõ mà xử lý với liệu mờ Điều phù hợp với việc giải toán đặt thực tế Tuy nhiên giải mạng nơron phương pháp xấp xỉ, cho kết phù hợp với sai số chấp nhận Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 33 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com B¸o c¸o nghiªn cøu khoa häc MỤC LỤC Phần mở đầu……………………………………………………………….1 Tên đề tài…………………………………………………………….1 Lý chọn đề tài……………………………………………………1 I Tổng quan lý thuyết tập mờ quan hệ mờ………………………… 1.1 Khái niệm tập mờ…………………………………………………2 1.2 Các phép toán tập mờ………………………………………….6 1.2.1 Phép hợp………………………………………………… 1.2.2 Phép giao……………………………………………… 10 1.2.3 Phép bù………………………………………………… 13 1.3 Quan hệ mờ…………………………………………………… 14 II Giới thiệu mạng nơron nhân tạo………………………………….15 2.1 Mạng nơron sinh học………………………………………….15 2.2 Mạng nơron nhân tạo…………………………………………17 2.2.1 Mô hình nơron nhân tạo………………………………… 17 2.2.2 Định nghĩa phân loại mạng nơron nhân tạo………… 20 2.3 Thủ tục học mạng nơron nhân tạo…………………… 23 2.3.1 Học tham số…………………………………………… 23 2.3.2 Học cấu trúc…………………………………………… 26 2.4 Thuật toán lan truyền ngược………………………………….26 2.5 Mạng nơron mờ……………………………………………….29 III Bài toán xác định quan hệ mờ mạng nơron nhân tạo …… 29 3.1 Bài tốn ……………………………………………………… 29 3.2 Tơpơ mạng…………………………………………………… 30 3.3 Thủ tục học thuật toán huấn luyện mạng…………………31 3.4 Vớ d34 Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 34 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Báo cáo nghiên cứu khoa học 3.5 Xõy dựng chương trình ứng dụng………………………… 33 Kết luận…………………………………………………………… 33 Tài liệu tham khảo…………………………………………………35 TÀI LIỆU THAM KHẢO [1] Neural Networks by Christos Stergiou and Dimitrios Siganos [2 ] Introduction to Neural Networks – by Genevieve Orr &Willamette University, Cummins prepared by Genevieve Orr, Nici Schraudolph, Fred [3] Lý thuyết điều khiển mờ - Phan Xuân Minh & Nguyễn Doãn Phước Và số website ANN hệ mờ Sinh viên: Nguyễn Thị Thuý Chinh K54C - CNTT 35 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... xác định quan hệ mờ mạng nơron nhân tạo Ánh xạ toán xác định quan hệ mờ lên mạng nơron nhân tạo, đưa cách huấn luyện mạng Cuối demo thuật toán xác định quan hệ mờ mạng nơron nhân tạo I Tổng quan. .. hình mạng nơron nhân tạo 2.2 Mạng nơron nhân tạo 2.2.1 Mơ hình nơron nhân tạo Một nơron nhân tạo phản ánh tính chất nơron sinh học Mỗi nơron nhân tạo đơn vị xử lí thông tin làm sở cho hoạt động mạng. .. tài Xác định quan hệ mờ mạng nơron nhân tạo Lý chọn đề tài Từ 20 năm nay, lý thuyết tập mờ mạng nơron nhân tạo phát triển nhanh đa dạng Công nghệ mờ công nghệ mạng nơron cung cấp công nghệ cho