nghiên cứu giải thuật lai mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ

1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÙI TRUNG MINH NGHIÊN CỨU GIẢI THUẬT LAI MỜ - NƠ RON VÀ ỨNG DỤNG TRONG XẤP XỈ MÔ HÌNH MỜ Chuyên ngành: Khoa học máy tính Mã số : 60 48 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. Phạm Thanh Hà Thái Nguyên, năm 2014 2 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc tới TS. Phạm Thanh Hà, thầy đã định hướng, hướng dẫn, chỉ dạy tận tình để em có thể hoàn thành luận văn này. Em xin chân thành cảm ơn các thầy, cô giáo ở trường Đại học Công nghệ thông tin và Truyền thông - Đại học Thái Nguyên cùng các thầy giáo ở Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã nhiệt tình truyền thụ kiến thức cho em trong suốt quá trình học tập vừa qua. Tôi cũng xin chân thành cảm ơn cơ quan nơi tôi công tác, bạn bè đồng nghiệp, gia đình và những người thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi nhất để tôi có thể học tập và hoàn thành cuốn luận văn này. Tuy đã có những cố gắng nhất định nhưng do thời gian và trình độ có hạn nên chắc chắn luận văn còn có nhiều thiếu sót và hạn chế. Rất mong nhận được sự góp ý của Quý thầy cô và các bạn./. Thái Nguyên, ngày 20 tháng 6 năm 2014 HỌC VIÊN Bùi Trung Minh 3 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên cứu, tìm hiểu của riêng cá nhân tôi. Trong toàn bộ nội dung luận văn, những điều được trình bày hoặc là của cá nhân tôi hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Tôi xin hoàn toàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình./. Thái Nguyên, ngày 20 tháng 6 năm 2014 HỌC VIÊN Bùi Trung Minh 4 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MỤC LỤC DANH MỤC BẢNG 7 DANH MỤC TỪ VIẾT TẮT 8 MỞ ĐẦU 9 1. Đặt vấn đề, lý do chọn đề tài 9 2. Đối tượng và phạm vi nghiên cứu 10 3. Hướng nghiên cứu của đề tài 10 4. Phương pháp nghiên cứu 11 5. Ý nghĩa khoa học của đề tài 11 Chƣơng 1: TẬP MỜ VÀ LOGIC MỜ 12 1.1. Tập mờ 12 1.2. Một số khái niệm cơ bản liên quan 14 1.3. Các phép toán trên tập mờ 15 1.3.1. Các phép toán chuẩn trên tập mờ 15 1.3.2. Các phép toán khác trên tập mờ 17 1.3. Quan hệ mờ 21 1.3.1 Quan hệ mờ 21 1.3.2. Hợp thành của các quan hệ mờ 22 1.4. Logic mờ 24 1.4.1. Biến ngôn ngữ 24 1.4.2. Mệnh đề mờ 25 1.4.3. Các mệnh đề hợp thành 27 1.4.4. Kéo theo mờ - Luật if - then mờ 28 1.5. Luật Modus - Ponens tổng quát 31 1.6. Vấn đề mờ hoá 34 1.7. Vấn đề khử mờ 35 Chƣơng 2: MẠNG NƠ RON NHÂN TẠO 36 2.1. Cấu trúc và mô hình của mạng nơ ron 36 2.2. Phân loại theo cấu trúc mạng nơ ron 40 2.2.1. Mạng nơ ron 1 lớp: 40 2.2.2. Mạng nơ ron truyền thẳng nhiều lớp: 41 5 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 2.2.3 Mạng nơ ron hồi quy: 42 2.3. Các luật học: 42 2.4. Mạng nơ ron truyền thẳng 45 2.4.1. Mạng Perceptron một lớp đơn 45 2.4.2. Thuật toán huấn luyện lan truyền ngược sai số 46 2.5. Mạng nơ ron RBF (Radial Basis Function) 48 Chƣơng 3: ỨNG DỤNG MẠNG NƠ RON XẤP XỈ MÔ HÌNH MỜ 53 3.1. Phương pháp xấp xỉ mô hình mờ 53 3.2. Ứng dụng mạng nơ ron RBF giải bài toán xấp xỉ mô hình mờ 58 3.3. Ứng dụng trên bài toán xấp xỉ mô hình mờ của Cao - Kandel 59 3.3.1. Bài toán xấp xỉ mô hình mờ EX1 59 3.3.2. Ứng dụng mạng nơ ron RBF giải bài toán xấp xỉ mô hình EX1 62 3.4. Ứng dụng mạng nơ ron RBF xấp xỉ mô hình mờ hình chuông 69 3.4.1. Bài toán xấp xỉ mô hình mờ hình chuông 69 3.4.2. Ứng dụng mạng nơ ron xấp xỉ mô hình mờ hình chuông 71 KẾT LUẬN 78 TÀI LIỆU THAM KHẢO 78 6 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC HÌNH Hình 1.1. Các tập mờ "tốc độ chậm", "tốc độ trung bình", "tốc độ nhanh" 12 Hình 1.2. Giá đỡ, nhân và biên của tập mờ 13 Hình 1.3. Các tập mờ biểu diễn giá trị ngôn ngữ "chậm", "nhanh", "trung bình" 24 Hình 1.4. Tập mờ "tuổi trẻ" 26 Hình 1.5. Phương pháp cực đại 34 Hình 1.6. Phương pháp điểm trọng tâm 34 Hình 2.1. Một mạng nơ ron đơn giản gồm hai nơ ron 35 Hình 2.2. Mô hình của một nơ ron 36 Hình 2.3. Cấu trúc của một nơ ron 37 Hình 2.4. Các hàm kích hoạt: (a) hàm bước nhẩy; (b) hàm dấu; (c) hàm dốc; (d) hàm sigmoid đơn cực; (e) hàm sigmoid lưỡng 39 Hình 2.5. Một số liên kết đặc thù của mạng nơ ron 40 Hình 2.5.1. Mạng nơ ron 1 lớp 40 Hình 2.5.2. Mạng nơ ron hồi quy 40 Hình 2.5.3. Mạng nơ ron nhiều lớp 40 Hình 2.6. Học có giám sát 42 Hình 2.7. Học không giám sát 42 Hình 2.8. Cấu trúc chung của 2 quá trình học 43 Hình 2.9. Mạng Perceptron đơn 44 Hình 2.10. Cấu trúc mạng RBF 47 Hình 3.1. Đường cong thực nghiệm của mô hình EX1 60 Hình 3.2. Các giá trị đầu vào và các tập mờ tương ứng 62 Hình 3.3. Mô hình EX1 xấp xỉ được 62 Hình 3.4. Bề mặt của hàm gốc hình chuông 68 Hình 3.5. Các tập mờ của biến đầu vào x, y 69 Hình 3.6. Hàm thuộc của biến đầu ra z 69 Hình 3.7. Bề mặt hàm hình chuông xấp xỉ bằng hệ mờ 70 Hình 3.8. Đầu vào x, y được rời rạc và tập mờ tương ứng 72 Hình 3.9. Kết quả xấp xỉ mô hình mờ hình chuông 73 7 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC BẢNG Bảng 1.1. Hàm thuộc của các tập mờ A, B, C 11 Bảng 3.1. Mô hình mờ EX1 của Cao - Kandel ……………………………. 58 Bảng 3.2. Hàm thuộc của các tập mờ của biến I ………………………… 59 Bảng 3.3. Hàm thuộc của các tập mờ của biến ngôn ngữ N ………………. 59 Bảng 3.4. Các kết quả xấp xỉ mô hình EX1 tốt nhất của Cao - Kandel 61 Bảng 3.5. Mô hình FAM xấp xỉ hình chuông …………………………… 69 8 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH MỤC TỪ VIẾT TẮT Từ viết tắt Ý nghĩa BP Back Propagation RBF Radial Basis Function BPN Back Propagation Network 9 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ơ MỞ ĐẦU 1. Đặt vấn đề, lý do chọn đề tài Bài toán xấp xỉ mô hình mờ là một bài toán quan trọng và được ứng dụng nhiều trong thực tiễn, bài toán được phát biểu như sau: Cho trước mô hình mờ If X 1 = A 11 and and X n = A 1n then Y = B 1 . . . . . . . If X 1 = A m1 and and X n = A mn then Y = B m Trong đó A ij và B i , i = 1, , m, j = 1, , n là những từ ngôn ngữ mô tả các đại lượng của biến ngôn ngữ X j và Y. Ứng với các giá trị (hoặc giá trị mờ, hoặc giá trị thực) của các biến đầu vào đã cho, hãy tính giá trị đầu ra của biến Y. Dựa trên cách tiếp cận của lý thuyết tập mờ, các phương pháp xấp xỉ mô hình mờ được dựa trên ý tưởng sau: - Ngữ nghĩa của các giá trị ngôn ngữ của các biến ngôn ngữ trong mô hình mờ được biểu thị bằng các tập mờ. - Khi đó mỗi mô hình mờ sẽ được mô phỏng bằng một quan hệ mờ hai ngôi R. - Ứng với vectơ đầu vào A 0 , giá trị của biến đầu ra được tính theo công thức B 0 = A 0 o R, trong đó o là một phép tích hợp. Hiệu quả của phương xấp xỉ mô hình mờ nói chung phụ thuộc nhiều yếu tố rất căn bản chẳng hạn như lựa chọn tập mờ (bài toán xây dựng các hàm thuộc), xây dựng quan hệ mờ mô phỏng tốt nhất mô hình mờ (tri thức) và bài toán lựa chọn phép kết nhập, … Đây là một khó khăn không nhỏ khi xây dựng phương pháp xấp xỉ mô hình mờ. [1,3] 10 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ Mạng nơ ron nhân tạo có những khả năng tiềm tàng, một trong những khả năng đó là nó có thể được huấn luyện để xấp xỉ một hàm phi tuyến từ một tập mẫu cho trước với độ chính xác tùy ý. Như vậy, nếu có thể đưa mỗi luật trong mô hình mờ về 1 điểm trong không gian, ta sẽ có một tập mẫu cho trước và ta có thể khai thác khả năng xấp xỉ hàm của mạng nơ ron để xấp xỉ mô hình mờ. [2] Ý tưởng trên là động lực để học viên nghiên cứu sâu về phương pháp lập luận mờ truyền thống, ứng dụng mạng nơ ron để xấp xỉ mô hình mờ và đó chính là lý do để học viên chọn đề tài “Nghiên cứu giải thuật lai mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ” dưới sự định hướng, hướng dẫn của thầy giáo TS. Phạm Thanh Hà. 2. Đối tƣợng và phạm vi nghiên cứu Đối tượng và phạm vi nghiên cứu: tập mờ, logic mờ và mạng nơ ron. - Nghiên cứu về lý thuyết tập mờ và logic mờ và đặc biệt là phương pháp lập luận mờ. - Nghiên cứu về mạng nơ ron nhân tạo và các phương pháp huấn luyện mạng nơ ron, trong đó đề cập sâu tới mạng nơ ron truyền thẳng. - Phạm vi nghiên cứu tập trung vào việc sử dụng mạng nơ ron trong phương pháp lập luận mờ, thay thế cho các bước kết nhập đầu vào, phép kéo theo. - Cài đặt giải thuật mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ. Phân tích, đánh giá kết quả đạt được. 3. Hƣớng nghiên cứu của đề tài - Nghiên cứu lý thuyết về tập mờ, logic mờ. - Nghiên cứu lý thuyết về mạng nơ ron. - Sử dụng các công cụ để mô phỏng bài toán. [...]... Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm 5 Ý nghĩa khoa học của đề tài Nghiên cứu về hệ mờ, logic mờ, mạng nơ ron, các lĩnh vựng ứng dụng và cài đặt mô phỏng giải thuật lai mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 12 Chƣơng 1 TẬP MỜ VÀ LOGIC MỜ 1.1 Tập mờ Một tập mờ A trong vũ trụ... các nơ ron được liên kết truyền thông với nhau trong mạng, hình 2.1 là một phần của mạng nơ ron bao gồm hai nơ ron Nhân Rễ đầu ra của nơ ron 1 được nối với axon Axon được nối với rễ đầu vào của nơ ron 2 Axon Rễ đầu ra Chiều thông tin Nhân Hình 2.1 Một mạng nơ ron đơn giản gồm hai nơ ron Nơ ron còn có thể liên kết với các nơ ron khác qua các rễ Chính vì cách liên kết đa dạng như vậy nên mạng nơ ron. .. học Thái Nguyên http://www.lrc-tnu.edu.vn/ 14 tập mờ trong vũ trụ U là một hàm xác định trên U và nhận giá trị trong đoạn [0, 1] Các tập rõ là tập mờ, hàm thuộc của tập rõ chỉ nhận giá trị 1, 0 Khái niệm tập mờ là sự tổng quát hoá khái niệm tập rõ - Một tính chất mờ có thể mô tả các tập mờ khác nhau, trong các ứng dụng ta cần xác định các tập mờ biểu diễn các tính chất mờ sao cho phù hợp với thực tế,... - norm Trong (1.11) khi thay T bởi một toán tử T - norm, chúng ta lại nhận được một dạng hợp thành Trong các ứng dụng, tùy từng trường hợp mà chúng ta lựa chọn toán tử T - norm trong (1.11) Tuy nhiên hợp thành max - min và hợp thành max - product là hai hợp thành được sử dụng rộng rãi nhất trong các ứng dụng [1,3,5] Ví dụ: Giả sử R và S là hai quan hệ mờ như sau:   u R 1 u  2 u  3 v1 0,3 v2... 2) /x e 2  Các tập mờ được sử dụng rộng rãi nhất trong các ứng dụng là các tập mờ trên đường thẳng thực R và các tập mờ trong không gian Rn (n  2) Ví dụ: Giả sử tốc độ của một chuyển động có thể lấy giá trị từ 0 với max = 150 (km/h) Chúng ta có thể xác định 3 tập mờ “tốc độ chậm”, “tốc độ trung bình”, “tốc độ nhanh” như trong hình 1.1 Các tập mờ này được gọi là các tập mờ hình thang, vì hàm thuộc... http://www.lrc-tnu.edu.vn/ 35 1.7 Vấn đề khử mờ Khử mờ là quá trình xác định một điểm y  V từ một tập mờ B’ trên V (tập mờ B’ là đầu ra của bộ suy diễn mờ ứng với đầu vào A) Khử mờ phải thoả mãn các tính chất sau: - Điểm y là đại diện tốt nhất cho tập mờ B’, về trực quan điều này có nghĩa là y phải là điểm có mức độ thuộc cao nhất vào tập mờ B’ và y nằm ở trung tâm của giá đỡ của tập mờ B’ - Khi tập mờ B’... dữ liệu x - Phải đơn giản cho các tính toán trong bộ suy diễn [1,3] Các phƣơng pháp mờ hoá: - Mờ hoá đơn thể: Mỗi dữ liệu x được xem như một đơn thể mờ, tức là tập 1 if 0 if mờ A’ có hàm thuộc  A' (u )   ux ux - Mờ hoá Gauss: Mỗi giá trị số xi (i=1,…,n) trong véc tơ x = (x1, …,xn) được biểu diễn thành một số mờ A’i với:  A' (ui )  e  u x     i i   ai  2 trong đó ui  Ui và ai là tham... xn ) trong đó  là phép toán 1 n T- norm [1,3] 1.3 Quan hệ mờ 1.3.1 Quan hệ mờ Quan hệ mờ đóng vai trò quan trọng trong logic mờ và lập luận xấp xỉ Khái niệm quan hệ mờ là sự tổng quát hoá trực tiếp của khái niệm quan hệ (quan hệ rõ) Trước hết, học viên nhắc lại khái niệm quan hệ: Giả sử U và V là 2 tập Một quan hệ R từ U đến V (sẽ được gọi là quan hệ 2 ngôi) là một tập con của tích đề các U  V Trong. .. http://www.lrc-tnu.edu.vn/ 36 Chƣơng 2 MẠNG NƠ RON NHÂN TẠO 2.1 Cấu trúc và mô hình của mạng nơ ron Mạng nơ ron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con người Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con người đều được tái tạo, mà chỉ có những chức năng cần thiết Bên cạnh đó còn có những chức năng mới được tạo ra nhằm giải quyết một bài toán định trước Mạng nơ ron. .. Ponens tổng quát Trong logic cổ điển, luật Modus - Ponens phát biểu rằng: từ hai mệnh đề if P(x) then Q(y) và P(x), chúng ta có thể suy ra mệnh đề Q(y) Luật Modus Ponens là một trong những luật suy diễn được sử dụng rộng rãi nhất trong các lập luận Chúng ta có thể tổng quát hoá luật này cho logic mờ [1,3] Modus - Ponens trong logic mờ phát biểu rằng, từ hai mệnh đề mờ: if x là A then y là B và x là A’ chúng . 3: ỨNG DỤNG MẠNG NƠ RON XẤP XỈ MÔ HÌNH MỜ 53 3.1. Phương pháp xấp xỉ mô hình mờ 53 3.2. Ứng dụng mạng nơ ron RBF giải bài toán xấp xỉ mô hình mờ 58 3.3. Ứng dụng trên bài toán xấp xỉ mô hình. hình mờ của Cao - Kandel 59 3.3.1. Bài toán xấp xỉ mô hình mờ EX1 59 3.3.2. Ứng dụng mạng nơ ron RBF giải bài toán xấp xỉ mô hình EX1 62 3.4. Ứng dụng mạng nơ ron RBF xấp xỉ mô hình mờ hình. - Cài đặt giải thuật mờ - nơ ron và ứng dụng trong xấp xỉ mô hình mờ. Phân tích, đánh giá kết quả đạt được. 3. Hƣớng nghiên cứu của đề tài - Nghiên cứu lý thuyết về tập mờ, logic mờ. -