Nghiên cứu giải thuật lai mờ nơ ron và ứng dụng trong xấp xỉ mô hình mờ

1 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÙI TRUNG MINH NGHIÊN CỨU GIẢI THUẬT LAI MỜ - NƠ RON VÀ ỨNG DỤNG TRONG XẤP XỈ MƠ HÌNH MỜ Chun ngành: Khoa học máy tính Mã số : 60 48 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Phạm Thanh Hà Thái Nguyên, năm 2014 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc tới TS Phạm Thanh Hà, thầy định hướng, hướng dẫn, dạy tận tình để em hồn thành luận văn Em xin chân thành cảm ơn thầy, cô giáo trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên thầy giáo Viện Công nghệ thông tin - Viện Hàn lâm Khoa học Cơng nghệ Việt Nam nhiệt tình truyền thụ kiến thức cho em suốt trình học tập vừa qua Tôi xin chân thành cảm ơn quan nơi công tác, bạn bè đồng nghiệp, gia đình người thân chia sẻ, giúp đỡ, động viên, tạo điều kiện thuận lợi để tơi học tập hồn thành luận văn Tuy có cố gắng định thời gian trình độ có hạn nên chắn luận văn cịn có nhiều thiếu sót hạn chế Rất mong nhận góp ý Q thầy bạn./ Thái Nguyên, ngày 20 tháng năm 2014 HỌC VIÊN Bùi Trung Minh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm nghiên cứu, tìm hiểu riêng cá nhân tơi Trong tồn nội dung luận văn, điều trình bày cá nhân tơi tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan mình./ Thái Nguyên, ngày 20 tháng năm 2014 HỌC VIÊN Bùi Trung Minh Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MỤC LỤC DANH MỤC BẢNG DANH MỤC TỪ VIẾT TẮT MỞ ĐẦU Đặt vấn đề, lý chọn đề tài Đối tượng phạm vi nghiên cứu 10 Hướng nghiên cứu đề tài 10 Phương pháp nghiên cứu 11 Ý nghĩa khoa học đề tài 11 Chƣơng 1: TẬP MỜ VÀ LOGIC MỜ 12 1.1 Tập mờ 12 1.2 Một số khái niệm liên quan 14 1.3 Các phép toán tập mờ 15 1.3.1 Các phép toán chuẩn tập mờ 15 1.3.2 Các phép toán khác tập mờ 17 1.3 Quan hệ mờ 21 1.3.1 Quan hệ mờ 21 1.3.2 Hợp thành quan hệ mờ 22 1.4 Logic mờ 24 1.4.1 Biến ngôn ngữ 24 1.4.2 Mệnh đề mờ 25 1.4.3 Các mệnh đề hợp thành 27 1.4.4 Kéo theo mờ - Luật if - then mờ 28 1.5 Luật Modus - Ponens tổng quát 31 1.6 Vấn đề mờ hoá 34 1.7 Vấn đề khử mờ 35 Chƣơng 2: MẠNG NƠ RON NHÂN TẠO 36 2.1 Cấu trúc mơ hình mạng nơ ron 36 2.2 Phân loại theo cấu trúc mạng nơ ron 40 2.2.1 Mạng nơ ron lớp: 40 2.2.2 Mạng nơ ron truyền thẳng nhiều lớp: 41 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 2.2.3 Mạng nơ ron hồi quy: 42 2.3 Các luật học: 42 2.4 Mạng nơ ron truyền thẳng 45 2.4.1 Mạng Perceptron lớp đơn 45 2.4.2 Thuật toán huấn luyện lan truyền ngược sai số 46 2.5 Mạng nơ ron RBF (Radial Basis Function) 48 Chƣơng 3: ỨNG DỤNG MẠNG NƠ RON XẤP XỈ MƠ HÌNH MỜ 53 3.1 Phương pháp xấp xỉ mơ hình mờ 53 3.2 Ứng dụng mạng nơ ron RBF giải toán xấp xỉ mơ hình mờ 58 3.3 Ứng dụng tốn xấp xỉ mơ hình mờ Cao - Kandel 59 3.3.1 Bài tốn xấp xỉ mơ hình mờ EX1 59 3.3.2 Ứng dụng mạng nơ ron RBF giải tốn xấp xỉ mơ hình EX1 62 3.4 Ứng dụng mạng nơ ron RBF xấp xỉ mơ hình mờ hình chng 69 3.4.1 Bài tốn xấp xỉ mơ hình mờ hình chng 69 3.4.2 Ứng dụng mạng nơ ron xấp xỉ mơ hình mờ hình chng 71 KẾT LUẬN 78 TÀI LIỆU THAM KHẢO 78 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC HÌNH Hình 1.1 Các tập mờ "tốc độ chậm", "tốc độ trung bình", "tốc độ nhanh" 12 Hình 1.2 Giá đỡ, nhân biên tập mờ 13 Hình 1.3 Các tập mờ biểu diễn giá trị ngôn ngữ "chậm", "nhanh", "trung bình" 24 Hình 1.4 Tập mờ "tuổi trẻ" 26 Hình 1.5 Phương pháp cực đại 34 Hình 1.6 Phương pháp điểm trọng tâm 34 Hình 2.1 Một mạng nơ ron đơn giản gồm hai nơ ron 35 Hình 2.2 Mơ hình nơ ron 36 Hình 2.3 Cấu trúc nơ ron 37 Hình 2.4 Các hàm kích hoạt: (a) hàm bước nhẩy; (b) hàm dấu; (c) hàm dốc; (d) hàm sigmoid đơn cực; (e) hàm sigmoid lưỡng 39 Hình 2.5 Một số liên kết đặc thù mạng nơ ron 40 Hình 2.5.1 Mạng nơ ron lớp 40 Hình 2.5.2 Mạng nơ ron hồi quy 40 Hình 2.5.3 Mạng nơ ron nhiều lớp 40 Hình 2.6 Học có giám sát 42 Hình 2.7 Học khơng giám sát 42 Hình 2.8 Cấu trúc chung trình học 43 Hình 2.9 Mạng Perceptron đơn 44 Hình 2.10 Cấu trúc mạng RBF 47 Hình 3.1 Đường cong thực nghiệm mơ hình EX1 60 Hình 3.2 Các giá trị đầu vào tập mờ tương ứng 62 Hình 3.3 Mơ hình EX1 xấp xỉ 62 Hình 3.4 Bề mặt hàm gốc hình chng 68 Hình 3.5 Các tập mờ biến đầu vào x, y 69 Hình 3.6 Hàm thuộc biến đầu z 69 Hình 3.7 Bề mặt hàm hình chng xấp xỉ hệ mờ 70 Hình 3.8 Đầu vào x, y rời rạc tập mờ tương ứng 72 Hình 3.9 Kết xấp xỉ mơ hình mờ hình chng 73 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC BẢNG Bảng 1.1 Hàm thuộc tập mờ A, B, C 11 Bảng 3.1 Mô hình mờ EX1 Cao - Kandel …………………………… 58 Bảng 3.2 Hàm thuộc tập mờ biến I ………………………… 59 Bảng 3.3 Hàm thuộc tập mờ biến ngôn ngữ N ……………… 59 Bảng 3.4 Các kết xấp xỉ mơ hình EX1 tốt Cao - Kandel 61 Bảng 3.5 Mơ hình FAM xấp xỉ hình chng …………………………… 69 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC TỪ VIẾT TẮT Từ viết tắt Ý nghĩa BP Back Propagation RBF Radial Basis Function BPN Back Propagation Network Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Đặt vấn đề, lý chọn đề tài Bài tốn xấp xỉ mơ hình mờ tốn quan trọng ứng dụng nhiều thực tiễn, tốn phát biểu sau: Cho trước mơ hình mờ If X1 = A11 and and Xn = A1n then Y = B1 If X1 = Am1 and and Xn = Amn then Y = Bm Trong Aij Bi, i = 1, , m, j = 1, , n từ ngôn ngữ mô tả đại lượng biến ngôn ngữ Xj Y Ứng với giá trị (hoặc giá trị mờ, giá trị thực) biến đầu vào cho, tính giá trị đầu biến Y Dựa cách tiếp cận lý thuyết tập mờ, phương pháp xấp xỉ mơ hình mờ dựa ý tưởng sau: - Ngữ nghĩa giá trị ngôn ngữ biến ngôn ngữ mơ hình mờ biểu thị tập mờ - Khi mơ hình mờ mô quan hệ mờ hai R - Ứng với vectơ đầu vào A0, giá trị biến đầu tính theo cơng thức B0 = A0 o R, o phép tích hợp Hiệu phương xấp xỉ mơ hình mờ nói chung phụ thuộc nhiều yếu tố chẳng hạn lựa chọn tập mờ (bài toán xây dựng hàm thuộc), xây dựng quan hệ mờ mô tốt mơ hình mờ (tri thức) toán lựa chọn phép kết nhập, … Đây khó khăn khơng nhỏ xây dựng phương pháp xấp xỉ mơ hình mờ [1,3] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 10 Mạng nơ ron nhân tạo có khả tiềm tàng, khả huấn luyện để xấp xỉ hàm phi tuyến từ tập mẫu cho trước với độ xác tùy ý Như vậy, đưa luật mơ hình mờ điểm khơng gian, ta có tập mẫu cho trước ta khai thác khả xấp xỉ hàm mạng nơ ron để xấp xỉ mơ hình mờ [2] Ý tưởng động lực để học viên nghiên cứu sâu phương pháp lập luận mờ truyền thống, ứng dụng mạng nơ ron để xấp xỉ mơ hình mờ lý để học viên chọn đề tài “Nghiên cứu giải thuật lai mờ - nơ ron ứng dụng xấp xỉ mơ hình mờ” định hướng, hướng dẫn thầy giáo TS Phạm Thanh Hà Đối tƣợng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu: tập mờ, logic mờ mạng nơ ron - Nghiên cứu lý thuyết tập mờ logic mờ đặc biệt phương pháp lập luận mờ - Nghiên cứu mạng nơ ron nhân tạo phương pháp huấn luyện mạng nơ ron, đề cập sâu tới mạng nơ ron truyền thẳng - Phạm vi nghiên cứu tập trung vào việc sử dụng mạng nơ ron phương pháp lập luận mờ, thay cho bước kết nhập đầu vào, phép kéo theo - Cài đặt giải thuật mờ - nơ ron ứng dụng xấp xỉ mơ hình mờ Phân tích, đánh giá kết đạt Hƣớng nghiên cứu đề tài - Nghiên cứu lý thuyết tập mờ, logic mờ - Nghiên cứu lý thuyết mạng nơ ron - Sử dụng công cụ để mô tốn Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 65 vongquayr(10)=1180; vongquayr(11)=1040; vongquayr(12)=970; vongquayr(13)=900; vongquayr(14)=800; vongquayr(15)=710; vongquayr(16)=655; vongquayr(17)=600; vongquayr(18)=555; vongquayr(19)=510; vongquayr(20)=495; vongquayr(21)=480; x_null= [1,0.75,0.5,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]; x_zero= [0,0.25,0.5,0.75,1,0.75,0.5,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0]; x_small= [0,0,0,0,0,0.25,0.5,0.75,1,0.75,0.5,0.25,0,0,0,0,0,0,0,0,0]; x_medium= [0,0,0,0,0,0,0,0,0,0.25,0.5,0.75,1,0.75,0.5,0.25,0,0,0,0,0]; x_large= [0,0,0,0,0,0,0,0,0,0,0,0,0,0.25,0.5,0.75,1,0.75,0.5,0.25,0]; x_verylarge=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0.25,0.5,0.75,1]; t_zero= [1,0.75,0.5,0.25,0,0,0,0,0,0,0,0,0,0,0,0,0]; t_small= [0,0.25,0.5,0.75,1,0.75,0.5,0.25,0,0,0,0,0,0,0,0,0]; t_medium= [0,0,0,0,0,0.25,0.5,0.75,1,0.75,0.5,0.25,0,0,0,0,0]; t_large= [0,0,0,0,0,0,0,0,0,0.25,0.5,0.75,1,0.75,0.5,0.25,0]; t_verylarge=[0,0,0,0,0,0,0,0,0,0,0,0,0,0.25,0.5,0.75,1]; x1=x_null;t1=t_verylarge; x2=x_zero;t2=t_large; x3=x_small;t3=t_medium; x4=x_medium;t4=t_small; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 66 x5=x_large;t5=t_zero; x6=x_verylarge;t6=t_zero; for i=1:1:21 xn(1,i)=x1(i); xn(2,i)=x2(i); xn(3,i)=x3(i); xn(4,i)=x4(i); xn(5,i)=x5(i); xn(6,i)=x6(i); end; for i=1:1:17 zn(1,i)=t1(i); zn(2,i)=t2(i); zn(3,i)=t3(i); zn(4,i)=t4(i); zn(5,i)=t5(i); zn(6,i)=t6(i); end; for i=1:1:m for j=1:1:m %duyet m mau %xet m tam mang u=0; for k=1:1:ins u= u+(xn(i,k)-xn(j,k))*(xn(i,k)-xn(j,k)); end; hh(i,j)= exp(-u/(sma(j,r)*sma(j,r)));% dau cua no ron an j ung voi mau i %fprintf('%f ',hh(i,j)); end; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 67 %fprintf('\n'); end; for i=1:1:m % m tam mang for k=1:1:outs %outs dau w(i,k)=0; end; end; l=1; while for k=1:1:outs %tinh cac gia tri dau for i=1:1:m zz(i,k)=0; for j=1:1:m zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); end; end; end; for i=1:1:m dta=0; for k=1:1:outs for j=1:1:m dta=dta+hh(i,j)*(zn(j,k)-zz(j,k)); end; w(i,k)=w(i,k)+alpha*dta; zz(i,k)=0; for j=1:1:m zz(i,k)=zz(i,k)+w(j,k)*hh(i,j); Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 68 end; end; end; E=0; for i=1:1:m for k=1:1:outs E=E+(zn(i,k)-zz(i,k))*(zn(i,k)-zz(i,k)); end; end; E=E/2; fprintf('\n%f',E); if (E