Xây dựng hệ suy diễn mờ trên cơ sở mạng thích nghi

NGUYỄN XUÂN THỊNH – NGÀNH CÔNG NGHỆ THÔNG TIN – KHÓA 2003 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SỸ KHOA HỌC XÂY DỰNG HỆ SUY DIỄN MỜ TRÊN CƠ SỞ MẠNG THÍCH NGHI NGÀNH: CÔNG NGHỆ THÔNG TIN NGUYỄN XUÂN THỊNH HÀ NỘI - 2005 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SỸ KHOA HỌC XÂY DỰNG HỆ SUY DIỄN MỜ TRÊN CƠ SỞ MẠNG THÍCH NGHI NGÀNH: CƠNG NGHỆ THƠNG TIN NGUYỄN XN THỊNH Người hướng dẫn khoa học: TS.TRẦN ĐÌNH KHANG HÀ NỘI - 2005 LỜI CẢM ƠN Trước tiên, em xin chân thành cảm ơn Ban giám hiệu, thầy cô trường ĐHBK Hà Nội, đặc biệt thầy cô khoa Công Nghệ Thông Tin Trung tâm đào tạo sau đại học tận tình dạy dỗ giúp đỡ chúng em suốt năm học qua Tiếp đến, em xin gửi lời cảm ơn chân thành đến thầy giáo, Ts Trần Đình Khang Thầy cho em định hướng đắn cho đề tài ln tận tình theo dõi, hướng dẫn em q trình thực đề tài Cuối cùng, em xin gửi lời cảm ơn sâu sắc tới gia đình, người thân, bạn bè, người ủng hộ tạo điều kiện cho em hoàn thành luận văn Hà Nội, tháng 11/2005 Học viên Nguyễn Xuân Thịnh MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC BẢNG DANH MỤC HÌNH VẼ MỞ ĐẦU CHƯƠNG I – TỔNG QUAN VỀ HỆ MỜ 1.1 Lịch sử phát triển 1.2 Các khái niệm dùng logic mờ 1.2.1 Định nghĩa tập mờ 1.2.2 Các phép toán đại số tập mờ .10 1.2.3 Biểu diễn hàm thuộc 11 1.2.4 Các phép toán mở rộng tập mờ .13 1.2.5 Số mờ 15 1.2.6 Nguyên lý suy rộng Zadeh 15 1.3 Suy luận xấp xỉ .16 1.3.1 Biến ngôn ngữ 16 1.3.2 Luật mờ IF-THEN 17 1.3.3 Giải mờ .18 1.4 Hệ suy diễn mờ 20 1.4.1 Hệ suy diễn mờ Mamdani 24 1.4.2 Hệ suy diễn mờ Tsukamoto 25 1.4.3 Hệ suy diễn mờ Takagi-Sugeno 26 1.4.4 Đặc tính phạm vi ứng dụng 28 1.5 Kết luận 29 CHƯƠNG II - MẠNG NƠNRON NHÂN TẠO 30 2.1 Mạng nơron 30 2.1.1 Mô hình nơron sinh học .31 2.1.2 Mơ hình nơron nhân tạo .32 2.2 Mạng nơron nhân tạo 34 2.2.1 Lớp mạng 34 2.2.2 Cấu trúc mạng nơron nhân tạo .35 2.2.3 Thủ tục học mạng 37 2.3 Sức mạnh mơ hình mạng nơron .40 2.4 Các phạm vi ứng dụng 40 2.5 Mạng thích nghi 41 2.5.1 Kiến trúc luật học sở .42 2.5.2 Luật học lai - Học gián tiếp (Off-Line Learning ) 44 2.5.3 Luật học lai - Học trực tiếp (On-Line Learning) .48 2.6 Kết luận 48 CHƯƠNG III – TÍCH HỢP MẠNG NƠRON VÀ HỆ MỜ 50 3.1 So sánh hệ mờ mạng nơron, lý tích hợp 50 3.2 Các hướng tiếp cận kết hợp mạng nơron với hệ mờ 52 3.2.1 Mạng nơron mờ 53 3.2.2 Mơ hình nơron-mờ hợp tác 57 3.2.3 Mơ hình nơron-mờ lai 58 3.3 Mơ hình nơron-mờ sở hệ suy diễn mờ 60 3.3.1 Hệ nơron-mờ sở hệ suy diễn mờ Mamdani 60 3.3.2 Hệ nơron-mờ sở hệ suy diễn mờ Takegi-Sugeno .62 3.4 Mạng ANFIS 63 3.4.1 Kiến trúc hệ suy diễn mờ dựa mạng thích nghi 64 3.4.2 Thuật toán học lai 68 3.4.3 Xác định tham số học thích nghi 70 3.5 Kết luận 71 CHƯƠNG IV - ỨNG DỤNG HỆ SUY DIỄN MỜ TRÊN CƠ SỞ MẠNG THÍCH NGHI TRONG BÀI TOÁN PHÂN LỚP 72 4.1 Phát biểu toán 72 4.2 Ứng dụng hệ ANFIS toán phân lớp 75 4.2.2 Giới thiệu chương trình mơ hệ ANFIS 76 4.2.3 Xây dựng hệ thống 80 4.2.4 Kết thử nghiệm 81 4.2.5 Đánh giá hệ thống 83 4.3 Kết luận 84 KẾT LUẬN 85 TÀI LIỆU THAM KHẢO 87 DANH MỤC BẢNG Bảng 3.1 So sánh hệ mờ mạng nơron 51 Bảng 3.2 Hai pha thủ tục học lai cho hệ ANFIS .69 DANH MỤC HÌNH VẼ Hình 1.1 Hàm thuộc: (a) Tam giác, (b) Hình thang 11 Hình 1.2 Hàm thuộc hình chng .12 Hình 1.3: Các tập mờ điển hình dùng để định nghĩa biến ngôn ngữ tuổi đời 17 Hình 1.4 Phương pháp giải mờ điểm cực đại 19 Hình 1.5 Phương pháp giải mờ điểm trọng tâm 19 Hình 1.6: Hệ suy diễn mờ 20 Hình 1.7: Sơ đồ hoạt động suy diễn hệ suy diễn mờ 22 Hình 1.8: Hệ suy diễn mờ điển hình sử dụng max cho phép toán AND OR mờ 23 Hình 1.9: Hệ suy diễn mờ sử dụng phép hợp thành Product-Max cho phép toán AND OR mờ 24 Hình 1.10: Hệ suy diễn mờ Tsukamoto 25 Hình 1.11: Hệ suy diễn mờ Takagi - Sugeno 26 Hình 1.12: Sử dụng luật mờ if-then kỹ thuật suy luận mờ 27 Hình 2.1 Cấu tạo nơron sinh học 31 Hình 2.2 Một nơron nhân tạo 32 Hình 2.3: Ví dụ lớp có nơron .35 Hình 2.4: Mạng nơron nhiều lớp .35 Hình 2.5 Mạng hồi quy 36 Hình 2.6: Sơ đồ học có giám sát .38 Hình 2.7: Sơ đồ học tăng cường 39 Hình 2.8: Sơ đồ học khơng có giám sát 39 Hình 2.9: Mạng thích nghi 42 Hình 3.1 Cấu trúc hệ nơron-mờ Mamdani 60 Hình 3.2 Cấu trúc hệ nơron-mờ Takegi-Sugeno .62 Hình 3.3: Lập luận mờ 65 Hình 3.4: Kiến trúc hệ ANFIS 65 Hình 3.5 (a) Mạng ANFIS với luật; (b) Tương ứng với khơng gian mờ .68 Hình 3.6: Hai luật heuristic cho cập nhật kích thước k .70 Hình 4.1: Lược đồ chung mơ hình nhận dạng 73 Hình 4.2: Hộp thoại cho phép mơ tả hệ ANFIS 77 Hình 4.3: Kết phân lớp hệ ANFIS .78 Hình 4.4: Hộp thoại cho phép ta lựa chọn số hàm thuộc, loại hàm thuộc cho biến 78 Hình 4.5: Cấu trúc hệ ANFIS 79 Hình 4.6: Cấu trúc luật hệ ANFIS 79 Hình 4.7: Biểu diễn tập mờ biến đầu vào .79 Hình 4.8: Kết phân lớp số liệu IRIS 82 Hình 4.9: Kết phân loại số liệu WBC 83 MỞ ĐẦU Chúng ta biết não người sản phẩm hồn hảo tạo hóa, có khả tư sáng tạo cao Hiện người cố gắng tiếp cận não theo nhiều phương pháp khác Để mô khả học, người ta đưa mô hình mạng nơron nhân tạo (nghiên cứu mặt số học – đặc tính sinh lý não) Nhằm diễn tả khả tư não, người ta sử dụng hệ mờ sở logic mờ để suy diễn (tìm hiểu việc sử dụng ngơn ngữ tự nhiên - đặc tính tâm lý não) Từ hai thập kỷ gần đây, lý thuyết mờ mạng nơron nhân tạo phát triển nhanh đa dạng Công nghệ mờ công nghệ mạng nơron cung cấp giải pháp cho ngành công nghiệp làm nhiều sản phẩm thông minh, đáp ứng nhu cầu thị trường cần có điều khiển linh hoạt hơn, thiết bị “biết” làm việc với tốn khó, phải xử lý nhiều thông tin mập mờ, không đầy đủ, thiếu xác hai trụ cột cơng nghệ tính tốn mềm Cả hai kỹ thuật có ưu điểm nhược điểm riêng, cách tiếp cận đầy hứa hẹn thu nhiều ưu điểm hệ mờ mạng nơron kết hợp chúng lại thành hệ tích hợp Có nhiều cách tiếp cận để tích hợp mạng nơron với hệ mờ, tùy thuộc vào ứng dụng quan điểm chuyên gia – điều chưa thống với Nhưng hợp hai kỹ thuật thực theo ba hướng sau:  Các hệ mờ nơron (Neural fuzzy systems): Mục đích hệ hướng vào việc cung cấp cho hệ mờ khả điều chỉnh tự động Mạng nơron dùng để học điều chỉnh tham số (luật, trọng số luật, hàm thuộc) hệ mờ Kỹ thuật học mạng nơron làm giảm đáng kể thời gian chi phí phát triển hệ mờ, đồng thời làm tăng hiệu hệ mờ  Mạng nơron mờ (Fuzzy neural networks): Là mơ hình sử dụng phương thức mờ để tăng cường khả học hiệu suất mạng nơron Thực chất, mạng nơron mờ mạng nơron mờ hóa Mỗi phần mạng nơron (các hàm kích hoạt, hàm kết hợp, trọng số, liệu vào ), mô hình mạng nơron, giải thuật học mạng nơron mờ hóa Trong mạng nơron mờ tham số điều khiển trọng số liên kết thay tham số mờ Mạng nơron mờ có tốc độ huấn luyện cao hơn, mạnh mẽ mạng nơron thông thường  Các hệ nơron-mờ lai (Hybrid neuro-fuzzy systems): Đây kiến trúc mạng nơron hệ mờ kết hợp kiến trúc Kiến trúc có nhiều mơ hình khác Một số mơ hình dùng kiểu học tăng cường (reinfocement learning), thích hợp cho nhiệm vụ điều khiển Một số khác dùng giải thuật học có giám sát (supervised learning), thích hợp cho tốn phân tích liệu Các nghiên cứu tích hợp mạng nơron với hệ mờ vấn đề mở thời Vì luận văn vào tìm hiểu, nghiên cứu hướng kết hợp hai cơng nghệ Trong tập trung sâu nghiên cứu, phân tích ưu điểm hạn chế hệ suy diễn mờ mạng thích nghi làm sở để xây dựng hệ suy diễn mờ sở mạng thích nghi Phần cuối trình bày ứng dụng hệ suy mờ sở mạng thích nghi tốn phân lớp Báo cáo trình bày chương sau:  Chương I - Tổng quan hệ mờ Chương giới thiệu kiến thức lý thuyết tập mờ sâu tìm hiểu hệ suy diễn mờ đặc tính ứng dụng hệ  Chương II - Mạng nơ ron nhân tạo Hệ thống lại kiến thức mạng nơron, kiến trúc, thuộc tính, khả học ứng dụng mạng thuật tốn học Trong đó, tập trung vào mơ tả cấu trúc thuật tốn học mạng thích nghi • Chương III – Tích hợp mạng nơron hệ mờ Chương ta phân tích ưu, nhược điểm hệ mờ mạng nơron, lý tích hợp, giới thiệu số mơ hình nơron-mờ: mạng nơơrron mờ, hệ nơron- mờ hợp tác, hệ nơron-mờ lai Trọng tâm chương nghiên cứu xây dựng hệ suy diễn mờ sở mạng thích nghi thuật tốn học lai hệ • Chương IV - Ứng dụng hệ suy diễn mờ sở mạng thích nghi toán phân lớp Chương tập trung vào việc mô tả ứng dụng hệ suy diễn mờ sở mạng thích nghi việc giải toán phân lớp liệu Luận văn tốt nghiệp Chương I: Tổng quan hệ mờ CHƯƠNG I – TỔNG QUAN VỀ HỆ MỜ Chương nhằm hệ thống lại số kiến thức lý thuyết tập mờ, đó, sâu tìm hiểu hệ suy diễn mờ Những kiến thức sử dụng chương III luận văn tốt nghiệp tìm thấy tài liệu hệ mờ [1], [2], [5] 1.1 Lịch sử phát triển Năm 1965, Lotfi Zadeh, giáo sư lý thuyết hệ thống, trường Đại học Berkeley, bang California công bố báo Logic mờ Mỹ Từ lịch sử phát triển lý thuyết mờ theo trình tự phát minh Mỹ, xây dựng hoàn chỉnh châu Âu ứng dụng vào thị trường Nhật Bản Các ứng dụng logic mờ công nghiệp châu Âu Năm 1970, Anh, Ebrahim Mamdani sử dụng logic mờ điều khiển máy phát chạy nước, mà trước điều khiển phương pháp kinh điển Ở Đức, Hans Zimmerman bắt đầu sử dụng logic mờ hệ thống hỗ trợ định Năm 1980, lý thuyết mờ ứng dụng nhiều phân tích liệu hỗ trợ định châu Âu Dù châu Âu có ứng dụng lý thuyết mờ đầu tiên, người Nhật lại dẫn đầu thương mại hoá ứng dụng lý thuyết mờ, đặc biệt lĩnh vực kỹ thuật điều khiển kể từ năm 1980 Năm 1983, công ty Fuji Electric ứng dụng lý thuyết mờ nhà máy xử lý nước Năm 1987, công ty Hitachi ứng dụng hệ thống xe điện ngầm Lý thuyết mờ phát triển mạnh Nhật lý thuyết hỗ trợ việc tạo mơ hình ngun mẫu nhanh, dễ dàng tối ưu hoá, hệ thống mờ đơn giản, dễ hiểu, lại quan tâm hỗ trợ Chính phủ Với kết nghiên cứu ứng dụng, lý thuyết mờ sử dụng lĩnh vực xử lý số liệu, điều khiển thông minh, hệ thống hỗ trợ định Các nghiên cứu gần việc kết hợp mạng nơron logic mờ bước phát triển công nghệ mở nhiều ứng dụng Luận văn tốt nghiệp 73 Chương IV: Ứng dụng hệ ANFIS Hình 4.1: Lược đồ chung mơ hình nhận dạng Trước tiên, liệu để phân lớp lấy từ mơi trường bên ngồi thơng qua tập cảm biến (phép đo) Chúng số, ngơn ngữ hai Sau q trình lựa chọn đặc trưng thường tiến hành để tìm kiếm kết cấu bên liệu thu nhận Thường bước số chiều đặc trưng bé nhiều so với số chiều khơng gian liệu ban đầu, mà kỹ thuật phân lớp áp dụng hiệu Như vậy, nhận dạng toán phức tạp để nghiên cứu thành cơng cần dựa vào nhiều ngành khoa học khác Mục đích nhận dạng tìm cấu trúc đặc trưng cho hệ thống, từ xác định hệ thống quan tâm Tuy nhiên phương pháp để xây dựng phần mềm góp phần tự động nhận dạng trình bày quy hai tốn chính: Phân lớp mẫu lựa chọn đặc trưng Trong luận văn này, tập trung vào toán phân lớp liệu Trước hết cần phân biệt số thuật ngữ để làm rõ toán mà ta nghiên cứu kỹ phần sau chương Thuật ngữ phân lớp (classification) sử dụng hiểu theo nghĩa lớp xác định trước Luận văn tốt nghiệp 74 Chương IV: Ứng dụng hệ ANFIS định vector vào thuộc vào lớp Một thuật ngữ khác với thuật ngữ phân lớp phân cụm (clustering), nghĩa có số liệu cơng việc tìm số cụm (theo tiêu chuẩn phân cụm đó) từ liệu có Như thấy phân cụm quy trình thực trước vào quy trình phân lớp Bài tốn phân lớp phát biểu sau: Cho trước m lớp ω1 , ω , , ω m Giả sử có dạng thông tin cần nhận biết, thông tin thể qua vector p, thường p ∈ ℜ n (chứa đựng đặc trưng thông tin) Nhiệm vụ phân lớp xác định p thuộc lớp ω i Thực tế thường vào giải toán cụ thể sau đây: Cho trước m lớp ω1 , ω , , ω m tập liệu mẫu L={(p(k), t(k), k=1,2, ,s)}, p ( k ) ∈ ℜ n vector mẫu t(k) giá trị biểu diễn p(k) thuộc vào m lớp nói (thường xét t ( k ) = 1,2, , m ), p ( k ) ∈ ω i t ( k ) = ω i Xét vector vào p ∈ ℜ n phân p vào m lớp nói Như nhìn tốn phân lớp dạng tốn xấp xỉ hàm tốn trở thành toán sau: Cho trước tập liệu L={(p(k), t(k), k=1,2, ,s)}, p ( k ) ∈ ℜ n t ( k ) = 1,2, , m Hãy tìm hàm ϕ , thoả mãn ϕ ( p k ) = t k , với p ∈ ℜ n ϕ ( p ) = t Bài toán phân lớp liệu nghiên cứu từ lâu có nhiều phương pháp tiếp cận để giải toán, bao gồm: - Phương pháp mạng nơron - Phương pháp rút luật từ liệu - Phương pháp nơron mờ Thuật ngữ phương pháp nơron mờ (neuro-fuzzy method) thường kết hợp mạng nơron hệ mờ Sự kết hợp thường không mang ý nghĩa mạng nơron hệ mờ sử dụng theo cách Tuy Luận văn tốt nghiệp 75 Chương IV: Ứng dụng hệ ANFIS nhiên, thuật ngữ nói đến phương pháp xây dựng hệ mờ từ liệu loại phương pháp học dựa ý tưởng thủ tục học mạng nơron Phương pháp nơron mờ biểu diễn dạng lớp mạng nơron đặc biệt Hệ sở luật hệ mờ xác định hoàn toàn cấu trúc mạng Đối với mạng nơron truyền thống thường cấu trúc mạng xác định từ trước (trong bước thiết kế mạng) có trọng số liên kết học Tuy nhiên, trường hợp hệ mờ, cấu trúc hệ phải xây dựng, chẳng hạn xây dựng hệ luật sở từ liệu Sau có cấu trúc hệ, tiến hành điều chỉnh tham số hệ (điều chỉnh tham số tập mờ) để hệ hoạt động tốt lúc ban đầu Có nhiều phương pháp khác sử dụng để xây dựng cấu trúc hệ mờ từ liệu phương pháp hướng cụm, phương pháp hướng siêu hộp, phương pháp hướng cấu trúc… phương pháp mà sử dụng dùng hệ suy diễn mờ dựa mạng thích nghi Jyh-Shing Roger Jang sử dụng luật học lai để học hàm thuộc, điều chỉnh tham số sinh tập luật mờ if-then từ hình thành lên cấu trúc mạng thích nghi nhằm xấp xỉ tập liệu mong muốn Chi tiết hệ ANFIS đề cập chương III luận văn sử dụng hệ để giải toán phân lớp dư liệu 4.2 Ứng dụng hệ ANFIS toán phân lớp Chúng ta tìm hiểu cơng cụ mơ hệ ANFIS, cấu trúc mạng liệu mà ta xét (trong phần ta xét hai liệu thường dùng việc minh hoạ lực thuật tốn phân lớp hai liệu IRIS WBC), kết phân lớp đánh giá hệ ANFIS 4.2.1 Giới thiệu phần mềm MATLAB MATLAB viết tắt MATrix LABoratory ngôn ngữ thực thi bậc cao dùng cho tính tốn kỹ thuật Nó tích hợp hỗ trợ tính tốn tốn học, mơ hình hố lập trình môi trường thuận tiện cho người sử dụng, vấn đề giải pháp diễn tả dạng cơng thức tốn học quen thuộc, Luận văn tốt nghiệp 76 Chương IV: Ứng dụng hệ ANFIS chúng bao gồm toán học, phát triển thuật toán, thu nhận liệu, mơ hình hố, mơ phỏng, phân tích, khai phá liệu, kỹ thuật đồ hoạ triển khai ứng dụng bao gồm việc xây dựng giao diện người sử dụng MATLAB cho phép bạn giải nhiều vấn đề tính tốn kỹ thuật phức tạp đặc biệt với ma trận công thức véc tơ Ngồi ra, cịn có nhiều cơng cụ đặc tả giải pháp công nghệ kết hợp với MATLAB gọi toolboxs Đây yếu tố quan trọng cho hầu hết người sử dụng MATLAB Toolboxs cho phép bạn học áp dụng công nghệ chuyên biệt để nghiên cứu, mô triển khai ứng dụng cách nhanh chóng, hiệu điều kiện chi phí vật chất thời gian thấp Toolboxs tập hợp hàm nhằm mở rộng môi trường làm việc MATLAB để giải lớp vấn đề riêng biệt Những Toolboxs sẵn có MATLAB bao gồm xử lý tín hiệu, mạng nơron, logic mờ, mô Toolboxs logic mờ mạng nơron cung cấp nhiều hàm, người sử dụng gọi để mơ hệ logic mờ mơ hình mạng nơron tương ứng Trong phần sử dụng Toolbox logic mờ để thiết kế mô hệ suy diễn mờ mạng nơron, tập trung mô tả việc sử dụng hệ mờ nơron ANFIS giới thiệu ứng dụng toán phân lớp liệu Toolbox dùng để mô hệ ANFIS chương trình tích hợp phần mềm MATLAB, chương trình có giao diện thân thiện dễ dàng cho người sử dụng Sau ta giới thiệu chi tiết phần mềm 4.2.2 Giới thiệu chương trình mơ hệ ANFIS Một số giao diện chương trình: Luận văn tốt nghiệp 77 Chương IV: Ứng dụng hệ ANFIS Hình 4.2: Hộp thoại cho phép mơ tả hệ ANFIS Chương trình cho phép ta nạp xem mẫu liệu huấn luyện, thay đổi khả chịu lỗi, số lần huấn luyện, lựa chọn số hàm thuộc dạng hàm thuộc tự động xác định hàm thuộc giải thuật phân cụm cho biến đầu vào biến đầu Chương trình cho phép ta xem mẫu liệu kiểm tra kiểm tra khả phân lớp hệ mẫu liệu dựa quan sát trực quan Sau kết thúc qua trình huấn luyện mạng, ta nạp liệu kiểm tra (testing data), liệu kiểm tra có chứa ln liệu đầu cuối hệ hình hiển thị tất đầu liệu kiểm tra vào lớp tương ứng (ví dụ lớp 1, lớp 2, lớp ) màu đặc trưng (màu xanh) kí hiệu (•) hình 4.2, sau có đầu đích mà hệ ANFIS cần đạt ta cho hệ kiểm tra khả phân lớp với liệu kiểm tra, kết đầu thực tế phân bố xung quanh lớp màu đặc trưng khác (màu đỏ) kí hiệu (*) Bằng quan sát, ta biết hệ phân lớp mẫu vào lớp nào, hay sai sai số (hình 4.3) Luận văn tốt nghiệp 78 Chương IV: Ứng dụng hệ ANFIS Hình 4.3: Kết phân lớp hệ ANFIS Tuy nhiên, xây dựng chương trình ta tính tốn sai số đầu thực tế mẫu với lớp lân cận để định mẫu thuộc lớp nào, ví dụ đầu thực tế hệ 0,7 mẫu thuộc lớp lớp 1, nhiên dựa sai số ta định mẫu thuộc lớp Hình 4.4: Hộp thoại cho phép ta lựa chọn số hàm thuộc, loại hàm thuộc cho biến Ngồi ta quan sát lỗi trình huấn luyện, cấu trúc hệ ANFIS, dạng đồ thị hàm thuộc biến đầu vào, luật thuộc tính hệ Luận văn tốt nghiệp 79 Chương IV: Ứng dụng hệ ANFIS Hình 4.5: Cấu trúc hệ ANFIS Hình 4.6: Cấu trúc luật hệ ANFIS Hình 4.7: Biểu diễn tập mờ biến đầu vào Luận văn tốt nghiệp 80 Chương IV: Ứng dụng hệ ANFIS Để đánh giá hiệu hệ ANFIS tiến hành thử nghiệm số liệu IRIS, WBC Đây số liệu thường xuyên dùng việc minh hoạ lực hệ thuật toán phân lớp 4.2.3 Xây dựng hệ thống • Đối với tập liệu IRIS Đây tập liệu mô tả thông tin hoa loại IRIS thông qua bốn đặc điểm: chiều dài, chiều rộng đài hoa chiều dài, chiều rộng cánh hoa Cây IRIS có ba loại khác Bộ số liệu chúng tơi sử dụng có 150 mẫu chia cho ba loại - Đầu vào: Mơ hình ANFIS sử dụng chương trình gồm nút, số hàm thành viên cho nút tuỳ chọn dùng phương pháp phân cụm để xác định, đầu vào bao gồm: + Chiều dài đài hoa + Chiều rộng đài hoa + Chiều dài cánh hoá + Chiều rộng cánh hoa - Đầu ra: Một nút giá trị cho biết mẫu thuộc lớp Mơ hình ANFIS sử dụng hệ thống thử nghiệm gồm 81 luật Nếu ta chọn số hàm thành viên cho nút vào 3, tập mờ gán nhãn ngôn ngữ với biến đầu vào "Small", "Medium" "Large", ta xác định số luật hệ là: Tổng số luật tính theo cơng thức: Inn Rulen = ∏ Mf i i =1 Trong Inn số nút vào, Mfi số hàm thành viên cho nút Như tổng số luật dược tính là: SumRule = * * 3* = 81 Nếu ta chọn phương pháp phân cụm với tham số: Range of influence (phạm vi ảnh hưởng): 0.5, squash factor (hệ số nén): 1.25, Accept ratio (tỉ lệ chấp nhận):0.5, Reject ratio (tỉ lệ loại bỏ):0.15 Kết thu có Luận văn tốt nghiệp 81 Chương IV: Ứng dụng hệ ANFIS bốn hàm thành viên cho biến đầu vào có bốn luật tạo thành Ưu điểm phương pháp giữ số luật mức thấp u cầu tính tốn nhỏ • Đối với tập liệu WBC: Đây số liệu tế bào ung thư vú Wiscosin nhiều người nghiên cứu ưa thích Bộ số liệu gồm 699 mẫu, có 16 mẫu số liệu thu nhận không đầy đủ Bộ số liệu chia thành hai lớp: lớp tế bào ung thư lớp tế bào không ung thư Mỗi tế bào ung thư quan sát theo đặc trưng (9 đầu vào), xin liệt kê đặc trưng theo nguyên tiếng Anh: Clump thickness, Uniformity of Cell Size, Uniformity of Cell Shape, Marginal Adhesion, Single Epitheial Cell Size, Bare Nuclei, Bland Chromatin, Normal Nucleoli, Mitoses Trong qúa trình nghiên cứu định dạng lại file liệu lại 98 mẫu nhằm giảm thời gian huấn luyện Hệ ANFIS trường hợp có nút đầu vào, chọn số hàm thành viên cho đầu vào 3, có 19.863 luật Cịn chọn phương pháp phân cụm với tham số chọn ta có 26 hàm thành viên cho nút có 26 luật tạo thành 4.2.4 Kết thử nghiệm • Với số liệu IRIS Kết thử nghiệm hệ ANFIS cho toán phân lớp liệu với số liệu IRIS Trước hết ta tiến hành chia số liệu IRIS dùng cho huấn luyện, lại dùng cho kiểm tra - Bộ số liệu huấn luyện: Tổng số có 82 mẫu Trong đó: Lớp có 26 mẫu Lớp có 28 mẫu Lớp có 28 mẫu - Bộ số liệu kiểm tra: Luận văn tốt nghiệp 82 Chương IV: Ứng dụng hệ ANFIS Tổng số có 68 mẫu Trong đó: Lớp có 24 mẫu Lớp có 22 mẫu Lớp có 22 mẫu Ta tiến hành huấn luyện mạng với số liệu thứ sau 200 lần lặp, khả chịu lỗi 0.02, số hàm thành viên lựa chọn cho đầu vào định phương pháp phân cụm (mỗi biến có hàm thành viên dạng gausse tuỳ chọn số lượng dạng hàm thành viên cho biến vào) Sau huấn luyện ta tiến hành kiểm tra khả phân lớp hệ với liệu kiểm tra kết sau: Hình 4.8: Kết phân lớp số liệu IRIS Trên hình 4.8 kí hiệu • đầu mong đợi, cịn kí hiệu * đầu thực tế Ta thấy, có mẫu số liệu bị phân loại sai (chiếm 4,0 %) kết mà nhiều thuật toán phân lớp đạt Tuy nhiên, nhận thấy cần nhiều biến đổi cải tiến để có sản phẩm phân lớp thành cơng Đây coi phân lớp mờ giúp ta có nhận định xu hướng liệu từ có điều chỉnh cho phù hợp Tương tự số liệu IRIS, tiến hành bước thử nghiệm mơ hình ANFIS với số liệu WBC Trong bố số liệu huấn liệu có 41 mẫu với 24 mẫu thuộc lớp tế bào không ung thư (lớp 0) 17 mẫu thuộc lớp tế bào ung Luận văn tốt nghiệp 83 Chương IV: Ứng dụng hệ ANFIS thư (lớp 1), số liệu kiểm tra 57 mẫu với 34 mẫu lớp 23 mẫu lớp 1, kết phân loại sau: Hình 4.9: Kết phân loại số liệu WBC 4.2.5 Đánh giá hệ thống Ưu điểm: • Bằng cách sử dụng thuật học lai, kiến trúc ANFIS tinh chỉnh đưa luật mờ if-then thay chúng cung cấp từ chuyên gia hệ thống phức tạp • Nếu khơng có sẵn tri thức chuyên gia, khởi tạo hàm thành viên trực giác hợp lý bắt đầu trình học để sinh tập luật mờ if-then nhằm xấp xỉ tập liệu mong muốn • Sử dụng giải thuật học lai làm cho hệ thống hội tụ nhanh đảm bảo độ xác mong muốn • Vấn đề xác định số nút ẩn không yêu cầu đặt Hạn chế: • Hệ thống ANFIS có đầu áp dụng hệ thống xấp xỉ dự báo hàm phi tuyến có đầu • Số hàm thành viên kết hợp với đầu vào gán từ thời điểm ban đầu, trình huấn luyện không điều chỉnh Vấn Luận văn tốt nghiệp 84 Chương IV: Ứng dụng hệ ANFIS đề chọn hàm thành viên đóng vai trị quan trọng việc xây dựng hệ thống ANFIS • Với tốn số lượng đầu vào lớn, đầu vào có nhiều hàm thành viên cấu trúc hệ phức tạp số lượng luật tăng dẫn tới chi phí tính toán lớn, thời gian huấn luyện lâu Nếu giảm số hàm thành viên hay số luật ảnh hưởng tới hiệu hệ 4.3 Kết luận Chương trình bày ứng dụng cụ thể hệ ANFIS toán phân lớp liệu Để giải toán đưa hướng tiếp cận khác tập trung vào mô ứng dụng hệ ANFIS tốn phân lớp liệu thơng qua toolbox phần mềm MATLAB để thử nghiệm Kết thu khả quan khẳng định tính đắn khả thi hệ Đồng thời số hạn chế cần nghiên cứu phát triển 85 KẾT LUẬN Luận văn đề cập đến tiếp cận đại, nghiên cứu sôi động nay, phương pháp nơron mờ Do tiếp cận kết hợp mạng nơron hệ mờ trước tìm hiểu tiếp cận nơron mờ luận văn trình bày kiến thức mạng nơron nhân tạo, lý thuyết tập mờ hệ suy diễn, lý tích hợp mạng nơron hệ mờ mơ hình tích hợp Chương I giới thiệu kiến thức lý thuyết tập mờ, hệ suy diễn mờ kiến thức sử dụng chương III luận văn Trong chương II trình bày khái niệm sở số mơ hình mạng nơron nhân tạo Mục đích chương nhằm làm rõ liên hệ mạng nơron nhân tạo não sinh học, định nghĩa mạng nơron nhân tạo, mạnh ứng dụng mạng Trong đó, sâu vào tìm hiểu cấu trúc mạng thích nghi thuật tốn học mạng Chương III trình bày ưu nhược điểm hệ mờ, mạng nơron lý tích hợp hai công nghệ này, hướng tiếp cận kết hợp mơ hình kết hợp đề cập Đồng thời chương giới thiệu số dạng kết hợp mạng nơron hệ mờ Tiếp đến tập trung vào nghiên cứu cấu trúc thuật toán học lai hệ suy diễn mờ sở mạng thích nghi ứng dụng hệ Chương IV luận văn trình bày ứng dụng hệ suy diễn mờ sở mạng thích nghi tốn phân lớp vị trí tốn quy trình nhận dạng Mục đích tiếp cận sử dụng luật học lai để xây dựng hàm thành viên, điều chỉnh tham số sinh luật mờ if-then nhằm xấp xỉ tập liệu mong muốn Và tiến hành mô tả ứng dụng hệ ANFIS hai tập liệu IRIS WBC 86 Hướng phát triển Như trình bày cuối chương IV, vấn đề cần tiếp tục nghiên cứu, phát triển là: - Trong thời gian tới tập trung nghiên cứu để ứng dụng mơ hình ANFIS nhận dạng kí tự, phân lớp mẫu vân tay - Nghiên cứu xây dựng hệ ANFIS có nhiều đầu - Bên cạnh việc sử dụng phương pháp nơron mờ cho toán phân lớp, tiếp tục nghiên cứu áp dụng phương pháp cho số toán khác xấp xỉ hàm, dự báo thị trường chứng khoán… Hy vọng việc áp dụng tiếp cận vào toán mạng lại kết phù hợp 87 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Cơng Cường, Nguyễn Dỗn Phước Hệ mờ, mạng nơron ứng dụng, nhà xuất khoa học kỹ thuật, Hà Nội, 2001 [2] Phan Xuân Minh, Nguyễn Doãn Phước, Lý thuyết điều khiển mờ, nhà xuất khoa học kỹ thuật, Hà Nội, 1999 [3] Nguyễn Đình Thúc, Trí tuệ nhân tạo Mạng nơron phương pháp ứng dụng, nhà xuất giáo dục, Hà Nội, 2000 [4] Lương Mạnh Bá, Nguyễn Thanh Thuỷ, Nhập môn xử lý ảnh số, nhà xuất khoa học kỹ thuật, Hà Nội, 2000 Tiếng Anh [5] Chin Teng Lin, C.S George Lee Neuro fuzzy systems, Prentice-Hall International [6] Grossberg, Stephen, Neural Networks and Natural Intelligence, editor 1988 [7] Jyh-Shing Roger Jang, Adaptive-Network-Based Fuzzy Inference System [8] Detlef Nauck, Frank Klawonn, Rudolf Kruse Combining Neural Networks and Fuzzy Controllers [9] Jure Zupan and Johnn Gasteiger, Neural networks for chemists [10] J.C Bezdek, Fuzzy Models - What Are They, and Why ?, IEEE Transactions on Fuzzy Systems, Vol.1, No.1, February 1993 [11] Ajith Abraham, Cerebral Quotient of neuron fuzzy techniques – Hype or Hallelujah ?, Monash University, Churchill, Victoria, Australia - 3842 ... cứu, phân tích ưu điểm hạn chế hệ suy diễn mờ mạng thích nghi làm sở để xây dựng hệ suy diễn mờ sở mạng thích nghi Phần cuối trình bày ứng dụng hệ suy mờ sở mạng thích nghi tốn phân lớp Báo cáo... nơron -mờ: mạng nơơrron mờ, hệ nơron- mờ hợp tác, hệ nơron -mờ lai Trọng tâm chương nghi? ?n cứu xây dựng hệ suy diễn mờ sở mạng thích nghi thuật tốn học lai hệ • Chương IV - Ứng dụng hệ suy diễn mờ sở. .. cấu trúc hệ suy diễn mờ gồm năm thành phần chủ đạo: Hình 1.6: Hệ suy diễn mờ Hệ suy diễn mờ xem hệ sở luật mờ, mơ hình mờ Cơ sở hệ suy diễn mờ bao gồm năm khối chức mơ tả hình 1.6: • Cơ sở luật