Mạng nơron nhân tạo

MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG I TỔNG QUAN VỀ LOGIC MỜ VÀ MẠNG NƠRON NHÂN TẠO 1.1 LOGIC MỜ 1.1.1 Quá trình phát triển .5 1.1.2 Khái niệm tập mờ .5 1.1.3 Các phép toán tập mờ 1.1.4 Biến ngôn ngữ 10 1.1.5 Luật mờ if – then .11 1.1.6 Suy diễn mờ 12 1.1.7 Giải mờ .13 1.2 Mạng Nơron Nhân Tạo 17 1.2.1 Mạng Nơron Nhân Tạo Và Một Số Khái Niệm 17 1.2.1.1 Mô hình Nơron sinh học .17 1.2.1.2 Mô hình mạng Nơron nhân tạo .18 1.2.1.3 Mạng Nơron nhân tạo 20 1.2.2 Phương pháp học mạng nơron nhân tạo 23 1.2.2.1 Định nghĩa học 23 1.2.2.2 Tiến trình học .24 CHƯƠNG II 28 HỆ SUY DIỄN MỜ VÀ ANFIS 28 2.1 Hệ suy diễn mờ (fuzzy inference system) 28 2.1.1 Hệ suy diễn mờ Mamdani 30 2.1.2 Hệ suy diễn mờ Tsukamoto .31 2.1.3 Hệ suy diễn mờ Takagi-Sugeno 32 2.2 Mạng thích nghi .34 2.2.1 Kiến trúc mạng thích nghi luật học sở 34 2.2.2 Luật học lai - Học gián tiếp (Off - line learning) 37 2.2.3 Luật học lai - học trực tiếp (On - Line learning) 39 2.3 Mạng ANFIS (Adaptive Network based Fuzzy Inference System) .40 2.3.1 Kiến trúc hệ suy diễn mờ dựa mạng thích nghi .40 2.3.2 Thuật toán học lai (Hybrid Learning Algorithm) 43 2.3.3 Xác định tham số học thích nghi 45 CHƯƠNG III 47 BÀI TOÁN PHÂN LỚP DỮ LIỆU VÀ ỨNG DỤNG 47 3.1 Phân lớp liệu .47 3.1.1 Phân lớp phương pháp quy nạp định 48 3.1.2 Phương pháp phân lớp Bayesian 50 3.1.3 Phân lớp mạng lan truyền ngược .52 3.2 Bài Toán Ứng Dụng 53 3.2.1 Giới Thiệu Về ANFIS Editor 53 3.2.1.1 Mô hình học suy diễn Mờ thông qua ANFIS 54 3.2.1.2 Xác nhận liệu huấn luyện 55 3.2.2 Sử dụng soạn thảo ANFIS GUI 57 3.2.3 Nhận Xét 65 KẾT LUẬN .68 TÀI LIỆU THAM KHẢO 69 PHỤ LỤC 70 LỜI NÓI ĐẦU Trong giai đoạn nay, người đạt nhiều thành tựu khoa học rực rỡ Một thành tựu phát triển không ngừng nghành khoa học máy tính Nó tạo nhiều ứng dụng hữu ích cho nhân loại Tuy nhiên, biết tri thức loài người phong phú đa dạng Nó bao gồm hiểu biết giới vĩ mô nguyên tử, hạt nhân…, hiểu biết trái đất, thiên hà nghành khoa học, kỹ thuật khác Mặt khác, ngày công nghệ thông tin có ảnh hưởng lớn lĩnh vực đời sống người Nó phục vụ người từ việc giải trí, kinh doanh, thông tin liên lạc việc phức tạp khoa học kỹ thuật Thế có điều, máy tính có nhiều ưu việt trí “thông minh”, so với người thua xa Hơn nhu cầu ngày cao việc giải vấn đề phức tạp chất người không muốn lòng với mà muốn vươn tới hoàn thiện Chính điều mà thuật ngữ “mạng nơron” hay “mạng nơron nhân tạo” đời Các thuật ngữ nói tới một nghành kỹ thuật mà đòi hỏi kiến thức từ nhiều nghành khoa học khác toán học, vật lý học, sinh học, tâm lý học thần kinh học…tất nhằm tạo máy tính hoạt động giống não Nhiều thế, sống thường ngày gặp nhiều sản phẩm tích hợp hệ thống thông minh máy giặt, điều hòa nhiệt độ, bình nóng lạnh…Hệ thống thông minh xậy dựng dựa logic mờ (fuzzy logic) hay hệ suy mờ (fuzzy inferent system) Trong ví dụ nêu logic mờ mạng nơron nghiên cứu ứng dụng cách độc lập với Sau thời gian tìm hiểu ngiên cứu, nhà khoa học nhận thấy logic mờ có khuyết điểm mà mạng nơron nhân tạo khắc phục được, ngược lại Chính điều giúp có suy nghĩ kết hợp mạng nơron logic mờ với nhau, qua tạo nhiều sản phẩm có ứng dụng quan trọng sống ứng dụng thị trường chứng khoán, ứng dụng y học, ứng dụng dự báo thời tiết… Đồ án thực với mục đích tìm hiểu khái niệm mạng nơron nhân tạo logic mờ, đồng thời tìm hiểu kết hợp chúng với cụ thể xậy dựng hệ suy diễn mờ dựa sở mạng thích nghi, qua đưa ứng dụng toán phân lớp liệu Đó toán ứng dụng nhiều lĩnh vực sống Với lòng biết ơn sâu sắc, em xin chân thành cảm ơn cô giáo Nguyễn Thị Tuyển người trực tiếp tận tình hướng dẫn em hoàn thành đồ án Do trình độ hiểu biết hạn chế, thời gian chuẩn bị không nhiều, đồ án nhiều sai sót chưa thật đầy đủ, em mong nhận góp ý thầy, cô bạn Thái Nguyên 06/2009 CHƯƠNG I TỔNG QUAN VỀ LOGIC MỜ VÀ MẠNG NƠRON NHÂN TẠO 1.1 LOGIC MỜ 1.1.1 Quá trình phát triển Từ năm 1965 đời lý thuyết lý thuyết tập mờ (Fuzzy set theory) giáo sư Lofti A Zadeh trường đại học Califonia - Mỹ đưa Từ lý thuyết đời phát triển mạnh mẽ qua công trình khoa học nhà khoa học như: năm 1972 GS Terano Asai thiết lập sở nghiên cứu hệ thống điều khiển mờ Nhật, năm 1980 hãng Smith Co bắt đầu nghiên cứu điều khiển mờ cho lò hơi…Những năm đầu thập kỷ 90 hệ thống điều khiển mờ (Fuzzy system) nhà khoa học, kỹ sư sinh viên lĩnh vực khoa học kỹ thuật đặc biệt quan tâm ứng dụng sản xuất đời sống Tập mờ logic mờ dựa thông tin “không đầy đủ” đối tượng để điều khiển đầy đủ đối tượng cách xác 1.1.2 Khái niệm tập mờ a Khái niệm tập hợp Tập hợp coi xếp đặt chung lại vật, đối tượng có chung tính chất Các vật, đối tượng gọi phần tử tập hợp Cho tập hợp A Một phần tử x thuộc tập A ký hiệu x  A , ngược lại ký hiệu x  A để x không thuộc A Một tập hợp phần tử gọi tập rỗng, ký hiệu  b Khái niệm tập mờ Cơ sở logic mờ việc ánh xạ từ biến x đầu vào thuộc tập A thành biến y đầu thuộc tập B Nói cách khác, giá trị x = a không xác định rõ có thuộc hay không thuộc tập B, khái niệm mờ đưa để làm tảng cho logic mờ điều khiển mờ sau Trước tiên ta xem xét khác tập mờ tập kinh điển thông qua khái niệm hàm liên thuộc Hàm liên thuộc  A tập hợp kinh điển có hai giá trị xác với 1, ta biết tập hợp A xác định hàm liên thuộc  A (x) ngược lại Trong logic mờ, vấn đề lại khác, hàm liên thuộc tập mờ không nhận hai giá trị 0, mà toàn giá trị từ tới tức   B ( x)  Như vậy, logic mờ suy luận thuận ngược với tập hợp kinh điển Vì định nghĩa tập mờ phải nêu thêm hàm liên thuộc vai trò làm rõ tập mờ Định nghĩa tập mờ: Tập mờ A xác định tập kinh điển M tập mà phần tử cặp giá trị A  x,  A ( x) x  M ,   A ( x)  Ánh xạ  A : M  0,1 gọi hàm liên thuộc tập mờ A Tập kinh điển M gọi sở tập mờ A 1.1.3 Các phép toán tập mờ Tương tự tập kinh điển, phép toán tập mờ phép hợp, phép giao phép phủ định định nghĩa thông qua hàm liên thuộc a Phép hợp hai tập mờ Phép hợp hay toán tử logic OR thông thường cần thỏa mãn tiên đề sau:  v(P1 or P2) phụ thuộc vào v(P1) v(P2)  Nếu v(P 1)=0 v(P1 or P2) = v(P2) với mệnh đề P  Giao hoán: v(P1 or P2) = v(P2 or P1)  Nếu v(P 1)  v(P2) v(P1 or P3)  v(P2 or P3) với P3  Kết hợp: v(P1 or (P2 or P3)) = v(P1 or P2 ) or P3) Phép toán kết hợp tập mờ xác định khái quát ánh xạ nhị phân S  AB  S  A ( x),  B ( x) (1.1) Phép hợp hai tập mờ thể hình (1.1) Hình 1.1: Phép hợp hai tập mờ Những toán hạng kết hợp mờ thường coi toán hạng không tiêu chuẩn T (hoặc tiêu chuẩn S), chúng phải thỏa mãn yêu cầu sau: Toán hạng không tiêu chuẩn T (hoặc tiêu chuẩn S) ánh xạ bậc hai S(.) thỏa mãn:  Đường biên: S(1,1) = 1; S(a,0) = S(0,a) = a  Đơn điệu: S(a,b)  S(c,d) a  c b  d  Giao hoán: S(a,b) = S(b,a)  Kết hợp: S(a, S(b,c)) = S(S(a,b),c) Trên sở đó, người ta thường sử dụng số phép toán thỏa mãn chuẩn S sau:  Max (Zadeh 1965): S(x,y) = max(x,y)  Dạng tích: S(x,y) = x + y – xy  Chuẩn Lukasiewicz: T(x,y) = min{x + y, 1}  Min nilpotent: max( x, y ) x  y  S ( x, y )   x  y 1 1  S chuẩn yếu nhất: max( x, y ) Z ( x, y )   1 min( x, y )  min( x, y )  b Phép giao hai tập mờ Phép giao phép toán Nó sở để định nghĩa phép giao hai tập mờ Chúng ta cần xem xét tiên đề sau:  v(P1 or P2) phụ thuộc vào v(P1) v(P2)  Nếu v(P 1)=0 v(P1 and P2) = v(P2) với mệnh đề P2  Giao hoán: v(P1 and P2) = v(P2 and P1)  Nếu v(P 1)  v(P2) v(P1 and P3)  v(P2 and P3) với P3  Kết hợp: v(P1 and (P2 and P3)) = v(P1 and P2 ) and P3) Điểm giao hai tập mờ A B xác định tổng quát ánh xạ nhị phân T, tập hợp hai hàm liên thuộc biểu diễn sau:  AB  T  A ( x),  B ( x) (1.2) Hình 1.2 biểu diễn phép giao hai tập mờ Hình 1.2: Phép giao hai tập mờ Điểm giao phép toán mờ thường coi phép toán tiêu chuẩn T (tiêu chuẩn tam giác), ta có yêu cầu sau: Toán hạng chuẩn T ánh xạ bậc hai T(.) thỏa mãn:  Đường biên: T(0,0) = 0; S(a,1) = S(1,a) = a  Đơn điệu: T(a,b)  T(c,d) a  c b  d  Giao hoán: T(a,b) = T(b,a)  Kết hợp: T(a, T(b,c)) = T(T(a,b),c Yêu cầu tác động cách khái quát tới tập xoắn Yêu cầu thứ hai làm giảm giá trị liên thuộc A B, đưa kết làm tăng giá trị liên thuộc điểm giao A, B Yêu cầu thứ ba thứ tự toán hạng bên tập mờ không khác Cuối cung, yêu cầu thứ tư cho phép đưa điểm giao phần tử tập bên thứ tự cặp Trên sở đó, người ta thường sử dụng số phép toán giao thỏa mãn chuẩn T-norm sau:  Max (Zadeh 1965): T(x,y) = min(x,y)  Dạng tích: T(x,y) = xy  Chuẩn Lukasiewicz: T(x,y) = max{x + y – 1, 0}  Min nilpotent: min( x, y) x  y  T ( x, y )   x  y 1 0  S chuẩn yếu nhất: min( x, y ) Z ( x, y )   0 max( x, y )  max( x, y)  c Phép phủ định Phủ định (Negation) phép toán logic Để suy rộng cần tới toán tử N gọi toán tử phủ định mờ Toán tử thỏa mãn điều kiện sau: Hàm N: [0, 1]  [0, 1] không tăng gọi hàm phủ định mờ Toán tử thỏa mãn điều kiện sau:  Điều kiện biên: N(0) = N(1) =  Đơn điệu: N(A)  N(B) A  B Chúng ta có số tiên đề: Hàm phủ định N(A) phủ định chặt hàm liên tục giảm chặt Hàm phủ định mạnh chặt thỏa mãn N(N(A))=A Trên sở đó, người ta thường sử dụng số phép toán phủ định sau:  Zadeh: N(x) = – x  Sugeno: N S ( x)   Yager: N W 1 x  sx ( x)  (1  x W 1/ W ) d Phép bù tập mờ Bù tập mờ A có sở M hàm liên thuộc  A (x) tập mờ Ac xác đinh sở M với hàm liên thuộc:  AC ( x)    A ( x ) (1.3) Phép bù tập mờ thể (hình 1.3) Hình 1.3: Phép bù tập mờ ngữ biến điều khiển như: vận tốc, nhiệt độ, vị trí…biến ngôn ngữ có giá trị ngôn ngữ như: chậm, chậm, trung bình, nhanh, nhanh…âm, zero, dương… Giả sử biến ngôn ngữ tốc độ mô tả tập mờ 1.1.4 Biến ngôn ngữ Một biến ngôn ngữ đặc trưng tập yếu tố (x, T(x), X, G, M) x tên biến; T(x) tập hơp thuật ngữ x, giá trị ngôn ngữ hay thuật ngữ ngôn ngữ; X không gian nền; G luật cú pháp tạo thuật ngữ T(x); M luật ngữ nghĩa liên kết giá trị ngôn ngữ A với nghĩa M(A) nó, M(A) xác định tập mờ X 10  Trong ô Epochs GUI, đặt số kỳ huấn luyện 300 (giá trị mặc định 3)  Chọn Train now, lúc trình huấn luyện bắt đầu Sau chương trình huấn luyện song hình vẽ sau xuất hình (hình 3.6) Hình 3.6: Quá trình đào tạo FIS Từ hình cho ta thấy việc kiểm tra lỗi xuất đầu trang Công tác đào tạo báo lỗi xuất * * phía Việc kiểm tra lỗi giảm đến mức độ định trình huấn luyện sau lại tăng lên Sự tăng thể điểm mà việc điều chỉnh mẫu vượt giới hạn Anfis chọn tham số mô hình có liên quan đến sai số kiểm tra tối thiểu + Thử liệu tương phản với FIS huấn luyện Để thử FIS tương phản với liệu kiểm tra, chọn hộp kiểm tra Checking data phần Test FIS GUI, bấm Test now Ta kiểm tra liệu kiểm tra tương phản với FIS (hình 3.7) 64 Hình 3.7: Kiểm tra FIS với liệu ChkData 3.2.3 Nhận Xét Từ hình 3.7 nhận thấy mạng ANFIS huấn luyện sau 300 kỳ huấn luyện (epochs), với số mẫu huấn luyện 500 số mẫu kiểm tra 150 mẫu Từ hình vẽ này, cách trực quan nhận thấy có số FIS đầu lệch nhiều với đầu mong muốn Tính cách cụ thể nhận tỷ lệ lỗi 0.067 Tỷ lệ lỗi giảm tăng số kỳ huấn luyện lần huấn luyện thứ hai Bài toán bệnh tiểu đường phân lớp theo mạng ANFIS đem lại cho kết xác Để thấy rõ điều này, so sánh kết với kết chương trình khai phá liệu khác 65 Hình 3.8: Kết khai phá liệu phần mềm NeuNetPro Hình 3.8 ma trận kết thực thực phân lớp toán bệnh tiểu đường với tập mẫu huấn luyện 500 mẫu tập mẫu kiểm tra 150 mẫu mạng ANFIS phần mềm NeuNetPro Chúng ta nhận thấy chương trình đem lại cho kết với giá trị đầu hai giá trị rõ Điều thể cho mắc bệnh không mắc bệnh Mà nhận biết người mắc bệnh nặng hay nhẹ mức độ Với mạng ANFIS lại khác, tập liệu kiểm tra đưa vào hệ thống cho kết giá trị thể cho mắc bệnh nặng hay nhẹ mức độ Có điều mạng ANFIS sử dụng giải thuật học lai, kiến trúc tinh chỉnh đưa luật mờ if - then thay chúng cung cấp từ chuyên gia hệ thống phức tạp Nếu sẵn tri thức chuyên gia, khởi tạo hàm thành viên trực giác hợp lý bắt đầu trình học để sinh tập luật mờ if - then nhằm xấp xỉ tập liệu mong muốn sử dụng luật học lai làm cho hệ thống hội tụ nhanh đảm bảo độ xác mong muốn Ngoài ra, mạng ANFIS dựa vào kết nhứng lần huấn luyện trước để điều chỉnh số lần huấn luyện (epoch) lần huấn luyện để thu kết xác Một hạn chế mà gặp phải sử dụng ANFIS kiểm tra với liệu đầu vào tập mẫu, biết kết đầu mẫu Để biết kết xác mẫu cụ thể 66 phải kiểm tra với liệu đầu vào mẫu riêng lẻ Với kết đầu phần mềm NeuNetPro cung cấp cho kết cụ thể mẫu liệu Đây hạn chế mà mạng ANFIS cần khắc phục Vậy chương III này, chúng áp dụng ví dụ cụ thể vào mạng ANFIS, từ thấy rõ hoạt động Anfis hiệu so với loại mạng khác Qua giúp có hiểu biết sâu mạng anfis từ xây dựng thêm nhiều ứng dụng lĩnh vực khác nhau, thúc đẩy phát triển nghành khoa học máy tính khẳng định nghành thiếu sống 67 KẾT LUẬN Tin học công cụ đắc lực, lĩnh vực có nhiều ứng dụng phục vụ cho nhiều ngành khác đời sống xã hội Cho nên việc nghiên cứu đề ứng dụng cho tin học việc nghiên cứu ứng dụng giải máy tính Có nhiều toán ứng dụng giải tốt có hiệu Qua trình tìm hiểu tài liệu, em nhận thấy mạng nơron nhân tạo logic mờ có nhiều ứng dụng quan trọng thiết thực sống Đặc biệt kết hợp hai lĩnh vực với tạo hiệu lớn lĩnh vực trí tuệ nhân tạo, giúp người tạo nhiều ứng dụng quan trọng ứng dụng toán phân lớp liệu xây dựng nên nhiều hệ thống thông minh ứng dụng lĩnh vực y học, dự báo thời tiết…Qua đồ án em đạt số kết quả: + Có kiến thức mạng nơron nhân tạo logic mờ + Hiểu kết hợp hệ suy diễn mờ dựa sở mạng thích nghi + Ứng dụng mạng ANFIS toán phân lớp liệu, qua so sánh đánh giá kết với phần mềm khai phá liệu khác Trong đồ án này, trình bày ứng dụng gói ANFIS phần mềm Matlab vào toán phân lớp liệu, cụ thể toán bệnh tiểu đường Hy vọng tương lai mô hình mạng ANFIS xây dựng thành ứng dụng cụ thể lĩnh vực y học, phân tích hiệu điều trị…và xây dựng nhiều ứng dụng lĩnh vực khác 68 TÀI LIỆU THAM KHẢO Bùi Công Cường & Nguyễn Doãn Phước “Hệ mờ mạng nơron ứng dụng” NXB Khoa học Kỹ thuật, 2001 Nguyễn Như Hiển & Lại Khắc Lãi “Hệ Mờ Nơron kỹ thuật điều khiển” NXB Khoa học Tự nhiên Công nghệ, 2007 Phan Xuân Minh & Nguyễn Doãn Phước “Lý thuyết điều khiển mờ” NXB Khoa học Kỹ thuật, 1999 Roger Jang “ANFIS: Adaptive Network based Fuzzy Inference System” Electrical Egineering and Computer Science, University Califonia, 1993 Matlab 7.4 Một số trang web: http://www.mathworks.com/ http://www.cormactech.com/neunet 69 PHỤ LỤC Cơ sở liệu bệnh tiểu đường (Diabetics Database) Tập liệu mẫu huấn luyện (TrnData) 70 71 72 73 74 75 76 Tập liệu mẫu kiểm tra (ChkData) 77 78