Hệ thống phân lớp dựa trên luật mờ thích nghi

Hệ thống phân lớp dựa luật mờ thích nghi LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố công trình khác Tác giả Võ Đức Quang Hệ thống phân lớp dựa luật mờ thích nghi LỜI CẢM ƠN Sau thời gian nghiên cứu, thực đề tài với bảo, hướng dẫn tận tình thầy giáo, PGS TS Trần Đình Khang - Viện Công Nghệ Thông Tin truyền thông, trường Đại học Bách Khoa Hà Nội, nói luận văn đạt kết định Với lòng biết ơn sâu sắc, tác giả luận văn xin gửi lời cảm ơn chân thành tới PGS TS Trần Đình Khang thầy cô giáo thuộc trường Đại học Bách Khoa Hà Nội, thầy cô Viện Công Nghệ Thông Tin truyền thông, Bộ môn Hệ thống thông tin, người cung cấp, truyền đạt bảo nhiệt tình tất kiến thức tảng chuyên ngành quý giá cho suốt năm năm học đại học thời gian học cao học trường Tôi xin gửi lời cảm ơn tới gia đình, bạn bè, đồng nghiệp bên cạnh, ủng hộ, động viên tinh thần cho suốt trình thực luận văn Hà Nội, tháng 12 năm 2013 Võ Đức Quang Hệ thống phân lớp dựa luật mờ thích nghi MỤC LỤC LỜI CAM ĐOAN .1 LỜI CẢM ƠN .2 MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHŨ VIẾT TẮT .6 DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH MỞ ĐẦU 10 CHƯƠNG TỔNG QUAN VỀ BÀI TOÁN PHÂN LỚP .12 1.1 Giới thiệu 12 1.2 Bài toán phân lớp .13 1.3 Giải toán phân lớp dựa hệ mờ 16 CHƯƠNG CƠ SỞ LÝ THUYẾT 20 2.1 Giới thiệu tập mờ 20 2.1.1 Tập mờ loại 20 Các phép toán tập hợp tập mờ loại I 21 2.1.2 Tập mờ loại hai 23 2.2 Giới thiệu tập mờ loại II đại số gia tử 26 2.2.1 Đại số gia tử 26 2.2.1.1 Giới thiệu .26 2.2.1.2 Độ đo tính mờ, khoảng tính mờ, ánh xạ định lượng ngữ nghĩa 28 2.2.2 Tập mờ loại II đại số gia tử 31 2.2.2.1 Định nghĩa 31 2.2.2.2 Biểu diễn tập mờ loại hai đại số gia tử .31 2.2.3 Các phép toán tập hợp 33 2.2.3.1 Phép hợp 34 2.2.3.2 Phép giao .34 Hệ thống phân lớp dựa luật mờ thích nghi 2.2.3.3 Phần bù 35 2.3 Hệ thống phân lớp dựa hệ mờ loại I 36 2.3.1 Luật mờ loại toán phân lớp 36 2.3.2 Hệ thống phân lớp dựa hệ mờ loại 37 2.3.2.1 Thủ tục sinh luật 38 2.3.2.2 Thủ tục phân lớp 43 CHƯƠNG NÂNG CAO HIỆU QUẢ PHÂN LỚP VỚI LUẬT MỜ THÍCH NGHI 46 3.1 Điều chỉnh tập luật để cải thiện hiệu phân lớp 46 3.2 Điều chỉnh tập luật phương pháp lưới mờ đơn .48 3.2.1 Thích nghi tập luật dựa học sửa lỗi .48 3.2.1.1 Thủ tục học sửa lỗi 48 3.2.1.2 Phân lớp với tập luật thích nghi học sửa lỗi .50 3.2.2 Thích nghi tập luật dựa học bổ sung 53 3.2.2.1 Thủ tục học bổ sung 53 3.2.2.2 Phân lớp với tập luật thích nghi học bổ sung 54 3.2.3 Cắt tỉa tập luật .55 3.3 Điều chỉnh tập luật dựa tập mờ loại hai ĐSGT 58 3.3.1 Hệ logic mờ loại II đại số gia tử 58 3.3.1.1 Mô hình chung 58 3.3.1.2 Mờ hóa 59 3.3.1.3 Cơ sở luật .59 3.3.1.4 Mô tơ suy diễn .60 3.3.1.5 Xử lý đầu 60 3.3.2 Điều chỉnh tập luật phân loại với tập mờ loại II ĐSGT 61 3.3.2.1 Xây dựng cấu trúc ĐSGT 61 3.3.2.2 Xây dựng tập mờ loại II ĐSGT 64 3.3.2.3 Phân lớp .66 CHƯƠNG THIẾT KẾ HỆ THỐNG 68 Hệ thống phân lớp dựa luật mờ thích nghi 4.1 Bộ liệu thử nghiệm .68 4.2 Phân tích thiết kế ứng dụng .69 4.2.1 Mô hình hệ thống 69 4.2.2 Chuẩn hóa liệu đầu vào 71 4.2.3 Chức sinh luật 71 Sinh luật phương pháp lưới mờ đơn 71 Sinh luật phương pháp tập mờ loại II đại số gia tử: 73 4.2.4 Chức phân lớp 74 Phân lớp phương pháp lưới mờ đơn 74 Phân lớp phương pháp lưới mờ đơn luật thích nghi 76 Phân lớp với luật mờ loại II đại số gia tử 78 CHƯƠNG CÀI ĐẶT HỆ THỐNG VÀ THỬ NGHIỆM 79 5.1 Môi trường công cụ phát triển 79 5.2 Chương trình ứng dụng .80 5.3 Thử nghiệm đánh giá 84 KẾT LUẬN .87 TÀI LIỆU THAM KHẢO 89 Hệ thống phân lớp dựa luật mờ thích nghi DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHŨ VIẾT TẮT Các ký hiệu: xˆ Một giá trị ngôn ngữ tập mờ loại µ A (x) Tập tất khái niệm ngữ nghĩa sinh từ xˆ Hàm thuộc tập mờ loại ∗ A µ A~ ( x) s-conorm t-norm Phần bù tập mờ A Hàm thuộc tập mờ loại H (xˆ ) • ~ A SIG fm(xˆ ) µ (h) [ fm( xˆ), fm( xˆ)] Tập mờ loại Hàm dấu Độ đo tính mờ xˆ Độ đo tính mờ gia tử h Khoảng tính mờ xˆ RijK Một luật phương pháp phân loại mờ dạng lưới CFijK Độ thuộc luật phương pháp mờ dạng lưới Các chữ viết tắt: ĐSGT FRBCS GA KPDL HAT2FS Đại số gia tử fuzzy rule-based classification systems Genetic Algorithms – Giải thuật di truyền Khai phá liệu Hedge Algebraic Type-2 Fuzzy Systems Hệ thống phân lớp dựa luật mờ thích nghi DANH MỤC CÁC BẢNG Bảng 2.1 Ví dụ hàm SIG, với bốn gia tử Very, More, Possibly….……26 Bảng 3.1 Quan hệ tham số học số vòng lặp……………….……51 Bảng 4.1 Một số mẫu liệu Iris……………………………………….……71 Bảng 4.2 Tổng hợp giá trị biên mẫu liệu Iris…………………….……….71 Bảng 5.1 Phương pháp phân loại tham số sử dụng………….………86 Bảng 5.2 Hiệu suất phân loại các mẫu huấn luyện (%)……….… 87 Bảng 5.3 Bảng kết khả khái quát hóa với mẫu kiểm tra (%) 88 Hệ thống phân lớp dựa luật mờ thích nghi DANH MỤC CÁC HÌNH Hình 1.1 Học để xây dựng mô hình phân lớp…………………………………… 14 Hình 1.2 Đánh giá phân loại………………………………………………… 16 Hình 2.1 Ví dụ biểu diễn tập mờ TuổiGià…………………………….………… 20 Hình 2.2 Biểu diễn hàm thuộc tập mờ A B…………………………….….21 Hình 2.3 Biểu diễn phép toán tập mờ A B……………….…… …….22 Hình 2.4 Ví dụ hàm thuộc loại II………………………………………………24 Hình 2.5 Độ đo tính mờ fm(True)……………………………………………… 28 Hình 2.6 Cây đại số gia tử với nút gốc True……………………………………29 Hình 2.7 Biểu diển phân hoạch mờ……………………………………………… 35 Hình 2.8 Mô hình hệ thống phân lớp với phương pháp lưới mờ đơn…………… 37 Hình 2.9 Phân vùng mờ lưới mờ đơn…………………………………… …39 Hình 2.10 Mô tả phân loại hai lớp………………………………………… … 41 Hình 2.11 Minh họa luật mờ………………………………………………………41 Hình 2.12 Phân loại lưới mờ đơn……………………………………………44 Hình 3.1 Ranh giới phân loại xác định hai luật mờ………………………… 46 Hình 3.2 Mô hình hệ thống phân lớp lưới mờ đơn luật thích nghi……….………47 Hình 3.3 Phân loại thủ tục 3A……………………………………………….51 Hình 3.4 Minh họa phân loại với phương pháp lưới mờ luật thích nghi…………57 Hình 3.5 Mô hình hệ logic mờ loại 2…………………………………………… 58 Hình 3.6 Mô hình phân lớp dựa tập mờ loại ĐSGT……………………… 61 Hình 3.7 Biểu diễn fm(c-)…………………………………………… …… ….65 Hình 3.8 Với fm(c-) = 0.5……………………………………… ………… … 65 Hình 3.9 fm(c-) = 0.3…………………………………………………… …… 65 Hình 4.1 Hình ảnh loài hoa Iris………………………… ……………… …68 Hình 4.2 Phân cấp chức hệ thống………………………………………… 70 Hình 4.3 Mô hình sinh luật…………………………………………………….….72 Hệ thống phân lớp dựa luật mờ thích nghi Hình 4.4 Lưu đồ khối chức sinh luật……………………………… ….73 Hình 4.5 Mô hình phân lớp tổng quát………………………………………….…74 Hình 4.6 Lưu đồ khối chức phân lớp đơn giản …… .75 Hình 4.7 Lưu đồ khối chức phân lớp luật thích nghi …… 77 Hình 5.1 Giao diện chương trình 80 Hình 5.2 Giao diện chương trình bước thực …… .81 Hình 5.3 Phân loại mẫu .…… 83 Hệ thống phân lớp dựa luật mờ thích nghi MỞ ĐẦU Trong giai đoạn nay, khoa học công nghệ giới phát triển nhanh; nhiều sản phẩm công nghệ sản xuất phục vụ cho sống người ngày tiện nghi Đặc biệt bùng nổ ngành Công nghệ thông tin với hàng loạt sản phẩm công nghệ cao không ngừng gia tăng số lượng, cải tiến chất lượng Đóng góp phát triển đó, gần đây, kỹ thuật mờ ứng dụng rộng rãi nhiều lĩnh vực sống, từ thiết bị gia dụng hàng ngày tủ lạnh, máy giặt, điều hòa nhiệt độ,… đến nghiên cứu mang tính chất khoa học Bên cạnh đó, kỹ thuật “khai phá liệu” “máy học” dùng để trích xuất thông tin hữu ích cho từ liệu lưu trữ Các tri thức học liệu vận dụng để cải thiện hiệu hoạt động hệ thống giúp người toán tư vấn định Nhận thấy, lĩnh vực “khai phá liệu”, toán phân lớp toán lớn bao trùm nhiều lĩnh vực sống với mức độ khác Đã có nhiều hướng để tìm lời giải cho vấn đề áp dụng luật mờ loại I Tuy nhiên phương pháp mang nhiều vấn đề cần cải tiến như: tính xác phân loại, tập luật lớn, hiệu phân lớp phụ thuộc nhiều tham số phương pháp phân loại,… Nghiên cứu cải thiện hiệu phân lớp dựa luật thích nghi, tập mờ loại II đại số gia tử trở thành hướng nghiên cứu mẻ, hứa hẹn đạt hiệu cao Chính lý đó, chọn đề tài “Hệ thống phân lớp dựa luật mờ thích nghi” hướng nghiên cứu luận văn thạc sỹ Luận văn vào tìm hiểu khái niệm logic mờ, tập mờ loại 1, cấu trúc đại số gia tử áp dụng phương pháp lưới mờ đơn để giải toán phân lớp Sâu nữa, luận văn áp dụng phương pháp điều chỉnh tham số luật phân loại để đạt hiệu suất phân loại cao ranh giới phân loại chấp nhận Để so sánh, đánh giá hiệu phân lớp, tác giả luận văn tiến hành phân loại thử nghiệm 10 Hệ thống phân lớp dựa luật mờ thích nghi Phân lớp phương pháp lưới mờ đơn luật thích nghi Khối phân lớp dựa luật mờ thích nghi xây dựng dựa tảng phương pháp lưới mờ đơn, sử dụng thêm hai thủ tục : - Thủ tục học dựa sửa lỗi: điều chỉnh mức độ chắn luật mờ theo hướng phân lớp tất mẫu thử - Thủ tục học bổ sung : Điều chỉnh mức độ chắn luật mờ theo hướng tạo ranh giới phân lớp phù hợp với trực quan chấp nhận sau mẫu thử phân loại Với trình phân lớp dựa luật mờ thích nghi này, trình phân lớp thực lặp lặp lại đạt yêu cầu mong muốn người dùng Do vậy, đầu vào khối phân lớp người sử dụng phải cho biết điều kiện dừng trình xử lý Đó số lần lặp tối đa J MAX hiệu suất phân lớp cần đạt đến ε (nếu sử dụng thủ tục học sửa lỗi) Mặt khác, để thực hai thủ tục đó, tham số K, ta phải lựa chọn thêm tham số đầu vào cách hợp lý để đạt kết tốt cho trình xử lý khối Đó là: - η1 : số học biểu thức tính toán tăng độ chắn luật mờ thủ tục học dựa sửa lỗi - η : số học biểu thức tính toán giảm độ chắn luật mờ thủ tục học dựa sửa lỗi - θ a : số giá trị ngưỡng cho mức độ tin tưởng phân lớp mẫu thử - η3 : số học biểu thức tính toán tăng độ chắn luật mờ thủ tục học bổ sung Additional learning procedure Sơ đồ khối khối vẽ tóm tắt sau đây: 76 Hệ thống phân lớp dựa luật mờ thích nghi Bắt đầu J=0 Tập mẫu,
K,
Jmax,
,
,
,
Tạo tập luật S Phân lớp mẫu Tính Đ J=Jma x S J = J+1 Đ Thực 3A