Xây dựng hệ luật mờ từ cơ sở dữ liệu cách tiếp cận theo lý thuyết đại số gia tử

đại học thái nguyên Tr-ờng đại học CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG NG TH THU XY DNG H LUẬT MỜ TỪ CƠ SỞ DỮ LIỆU - CÁCH TIẾP CẬN THEO LÝ THUYẾT ĐẠI SỐ GIA TỬ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01 Người hướng dẫn khoa học: TS TRẦN THÁI SƠN Thái Nguyên, 2014 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tên : Đặng Thị Thu Sinh ngày 05 tháng năm 1983 Học viên cao học lớp: CK11G - trường Đại học CNTT&TT Thái Nguyên Xin cam đoan : Đề tài luận văn “Xây dựng hệ luật mờ từ sở liệu - cách tiếp cận theo lý thuyết Đại số gia tử” TS.Trần Thái Sơn hướng dẫn cơng trình nghiên cứu riêng Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tơi xin cam đoan tất nội dung luận văn nội dung đề cương yêu cầu thầy giáo hướng dẫn Nếu sai tơi xin hồn tồn chịu trách nhiệm trước Hội đồng khoa học trước pháp luật Thái Nguyên, ngày 25 tháng năm 2014 Người cam đoan Đặng Thị Thu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Trong trình làm luận văn vừa qua, giúp đỡ bảo nhiệt tình TS Trần Thái Sơn - Viện Công nghệ thông tin - Viện khoa học Việt Nam, luận văn hồn thành Mặc dù cố gắng khơng ngừng với tận tâm thầy hướng dẫn thời gian khả hạn chế nên luận văn khó tránh khỏi thiếu sót Để hoàn thành luận văn này, em xin bày tỏ lòng biết ơn sâu sắc đến TS Trần Thái Sơn - Người thầy tận tình giúp đỡ em suốt trình làm luận văn Em xin bày tỏ lòng biết ơn đến ban lãnh đạo thầy giáo, cô giáo Trường Đại học Công Nghệ Thông Tin & Truyền Thông Đại học Thái Nguyên giúp đỡ, tạo điều kiện tốt cho em học tập thực luận văn Thái Nguyên, ngày 25 tháng năm 2014 Tác giả Đặng Thị Thu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ i MỤC LỤC MỤC LỤC i DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii DANH MỤC CÁC HÌNH iv PHẦN MỞ ĐẦU Chương 1: NHỮNG KIẾN THỨC CƠ BẢN VỀ LÝ THUYẾT TẬP MỜ 1.1 Lý thuyết tập mờ 1.1.1 Kiến thức sở tập mờ ([5]) 1.1.2 Biến ngôn ngữ 1.2 Lý thuyết Đại số gia tử ([1-3]) 14 1.2.1 Những khái niệm đại số gia tử 14 1.2.2 Vấn đề định lượng ngữ nghĩa đại số gia tử 17 Chương 2: GIẢI THUẬT DI TRUYỀN 25 2.1 Những khái niệm giải thuật di truyền 25 2.2 Các tính chất đặc thù thuật giải di truyền 28 2.3 Các bước quan trọng việc áp dụng giải thuật di truyền 29 2.4 Các phương thức biến hoá giải thuật di truyền 29 Chương 3: XÂY DỰNG HỆ LUẬT MỜ VÀ GIẢI BÀI TOÁN HỒI QUY MỜ THEO CÁCH TIẾP CẬN CỦA ĐẠI SỐ GIA TỬ 32 3.1 Bài toán hồi quy mờ 32 3.1.1 Bài toán hồi quy mờ 32 3.1.2 Chuyển đổi CSDL số sang hệ luật mờ dựa lý thuyết tập mờ cổ điển 37 3.1.3 Xây dựng hệ luật mờ theo cách tiếp cận ĐSGT 41 3.2 Bài toán thiết kế tối ưu hệ luật mờ 57 3.2.1 Đặt toán 57 3.2.2 Tìm kiếm hệ luật tối ưu dựa giải thuật di truyền lai 58 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ii 3.3 Chương trình thử nghiệm 61 3.3.1 Cài đặt chương trình 61 3.3.2 Giao diện chương trình 61 KẾT LUẬN CHUNG 73 TÀI LIỆU THAM KHẢO 74 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Các kí hiệu, chữ viết tắt ĐSGT Ý nghĩa Đại số gia tử Α Tổng độ đo tính mờ gia tử âm Β Tổng độ tính mờ gia tử dương AX Đại số gia tử AX Đại số gia tử tuyến tính đầy đủ µ(h) fm(x) Độ đo tính mờ gia tử h hạng từ x Ỹ Là đầu mờ, Ṽ Là hệ số mờ CSDL GA Cơ sở liệu Giải thuật di truyền ℑ Khoảng tính mờ giá trị ngơn ngữ Xk Tập hạng từ có độ dài k Ik Hệ khoảng tính mờ mức k giá trị ngôn ngữ IFRG1 Initial Fuzzy Rules Generation IFRG2 Initial Fuzzy Rules Generation HAFRG Hedge Algebras based Fuzzy Rules Generation FPO-SGA Fuzzy Parameters Optimization - SGA RBO-SGA Rule base Optimization - SGA Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ iv DANH MỤC CÁC HÌNH Hình Mơ tả Hình Đồ thị biểu diễn hàm thuộc tập mờ “già” (old) Hình Độ đo tính mờ biến TRUTH Hình Khoảng tính mờ hạng từ biến TRUTH Hình Mã hóa cá thể từ khơng gian lời giải tốn Hình Hàm định lượng dạng tam giác hạng từ Hình 6: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật tốn SGA Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ PHẦN MỞ ĐẦU Trong sống hàng ngày hay công việc giảng dạy trường, thường xuyên phải đưa định Chẳng hạn, với học sinh kém, ta cần có chế độ bồi dưỡng kiến thức sở mà thơng thường học sinh bị rỗng Với học sinh giỏi, ta cần bồi dưỡng kiến thức, kiến thức mới, địi hỏi phải tư tốt tính sáng tạo suy nghĩ Nói chung, cách tiến hành cụ thể phụ thuộc vào học sinh vào kinh nghiệm giảng dạy kinh nghiệm sống giáo viên kinh nghiệm học đồng nghiệp, người xung quanh Các kinh nghiệm này, tư người, khái quát dạng mệnh đề kiểu “ Nếu ” Thí dụ “Nếu Học lực học sinh Kém Ý thức học tập học sinh trung bình Thì Dạy kèm theo phương án C1”; Thí dụ “Nếu Học lực học sinh Khá Ý thức học tập học sinh Tốt Thì Dạy kèm theo phương án C2” Hiện tại, người ta nhận thấy, mệnh đề dạng bắt gặp nhiều lĩnh vực nghiên cứu khác điều khiển tối ưu, phân loại tự động, hồi quy Và hướng nghiên cứu, thuộc khai phá liệu, liên quan đến việc xây dựng mệnh đề vậy, mà người ta gọi luật, để giải toán khác nhau, phát triển mạnh mẽ Cụ thể, vấn đề đặt từ Cơ sở liệu số (CSDL số), sử dụng thuật toán để sinh tự động hệ luật tối ưu (theo nghĩa gọn đạt độ xác theo u cầu đặt ra) Nếu hệ M luật tạo ra, có dạng: Rm: IF X1 is AND AND XF is THEN XF+1 is ; m = 1, ,M, Xi biến ngơn ngữ (như “tuổi”, “học lực” ) Ai,j giá trị biến ngơn ngữ (như “khá”, “kém” ) người ta gọi hệ luật mờ Mamdani (Mamdani fuzzy rule-based system: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MFRBS) MFRBS có đặc điểm khác mơ hình khác biến đầu vào mờ dạng từ ngôn ngữ tự nhiên Đặc điểm mang lại tính “thân thiện” với người suy luận từ ngôn ngữ tự nhiên đặc điểm người Các luật biểu diễn dạng quen thuộc với suy nghĩ lập luận người Ngoài ra, việc có số liệu xác để xây dựng hệ luật (khơng mờ) thời gian tính tốn chấp nhận điều khơng dễ dàng Để xây dựng MFRBS có nhiều cách tiếp cận khác Trong luận văn sử dụng cách tiếp cận Đại số gia tử (ĐSGT), cách tiếp cận tương đối hứa hẹn cho kết khả quan so với số cách tiếp cận khác Được đồng ý trường Đại học Công nghệ thông tin Truyền thông với hướng dẫn Thầy giáo em xin mạnh dạn nhận đề tài: “Xây dựng hệ luật mờ từ sở liệu - cách tiếp cận theo lý thuyết Đại số gia tử” làm đề tài luận văn Luận văn có bố cục sau: Chương 1: Tổng quan tập mờ đại số gia tử Trong chương trình bày kiến thức lý thuyết tập mờ lý thuyết Đại số gia tử Chương 2: Giải thuật di truyền Trong chương nêu khái niệm giải thuật di truyền, tính chất đặc thù thuật giải di truyền Chương 3: Xây dựng hệ luật mờ giải toán hồi quy mờ theo cách tiếp cận đại số gia tử Trong chương trình bày việc chuyển đổi CSDL số sang hệ luật mờ áp dụng giải tốn hồi quy Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ Chương NHỮNG KIẾN THỨC CƠ BẢN VỀ LÝ THUYẾT TẬP MỜ 1.1 Lý thuyết tập mờ 1.1.1 Kiến thức sở tập mờ ([5]) Là người nghiên cứu lý thuyết tập mờ, L A Zadeh có nhiều cơng trình nghiên cứu cho phát triển ứng dụng Ý tưởng bật Zadeh từ khái niệm trừu tượng ngữ nghĩa thông tin mờ, không chắn trẻ-già, nhanh-chậm, cao-thấp,… Ông tìm cách biểu diễn chúng khái niệm toán học, gọi tập mờ định nghĩa sau Định nghĩa Cho tập vũ trụ U với phần tử ký hiệu x, U={x} Một tập mờ A U tập đặc trưng hàm A(x) mà liên kết phần tử x∈U với số thực đoạn [0,1] Giá trị hàm A(x) biểu diễn mức độ thuộc x A A(x) ánh xạ từ U vào [0,1] gọi hàm thuộc tập mờ A Như vậy, giá trị hàm A(x) gần tới mức độ thuộc x A cao Khi A tập hợp kinh điển, hàm thuộc nó, A(x), nhận giá trị 0, tương ứng với x có nằm A hay không Rõ ràng, tập mờ mở rộng khái niệm tập hợp kinh điển Các khái niệm, phép toán lý thuyết tập kinh điển mở rộng cho tập mờ Họ tất tập mờ miền sở U không gian hàm từ U vào đoạn [0,1], tức F (U ,[0,1]) = {A : U[0,1]}, khơng gian tương đối giàu cấu trúc tính tốn mà nhiều nhà nghiên cứu sử dụng cho việc mô phương pháp suy luận người Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 60 Outputs: - Hệ luật tối ưu Sopt; Actions: Step1) Khởi tạo quần thể xuất phát gồm Np cá thể Pop0 = { p0,1, p0,2, , p0,Np } để tính tham số nhiệt ban đầu T0 (ký hiệu pk,i cá thể thứ i quần thể hệ k, mã hóa tập số luật chọn từ S*, Np kích thước quần thể hệ SGA); Step2) Với cá thể p0,iPop0, tính độ phù hợp Fit(p0,i)) theo công thức dựa hệ luật S0,i chọn từ S* theo cơng thức (3.4), tính tham số nhiệt ban đầu: Np    Fit ( p 0,i )   Fit ( p 0, j )  T0     i 1, ,N p  j 1  Step3) Đặt k = Lặp theo k k = Gmax, Popk = {pk,1, pk,2, , pk,Np} thực 3.a) Tính tham số nhiệt cho hệ k+1, Tk+1 = k.Tk,  < hệ số giảm nhiệt độ (thường chọn 0.7); 3.b) Tạo quần thể Popk+1 cho hệ k+1 sau: Lặp theo i |Popk+1| = Np, Chọn hai cặp cá thể bố mẹ p, qPopk sử dụng phép chọn lọc SGA_Selection(Popk, Tk+1) Sau thực phép lai ghép, độ biến thay cặp bố mẹ phép SGA_Crossover, SGA_Mutation, SGA_Replacement để tạo cặp cá thể p, q đưa vào Popk+1 Kết Popk+1 = {pk+1,1, pk+1,2, , pk+1,Np} 3.c) Với cá thể pk,iPopk+1, tính độ phù hợp Fit(pk,i) theo cơng thức dựa hệ luật S0,i chọn từ S* theo cơng thức (3.4) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 61 Step4) Trả kết hệ luật tương ứng với cá thể tốt hệ cuối cùng, Sopt End Các bước thuật toán giống với FPO-SGA, khác Step2) Step3.c), thay áp dụng trình HAFRG để sinh hệ luật dựa vào mã hóa cá thể để xác định hệ luật từ hệ S* Tính dừng tính “tinh hoa” thuật toán tương tự thuật toán FPO-SGA (đã xem xét phần 3.1) Tập liệu mẫu D sử dụng để tính tốn sai số mơ hình fp(S) hệ luật 3.3 Chương trình thử nghiệm 3.3.1 Cài đặt chương trình Chương trình cài đặt máy tính có Windows XT trở lên, có phần mềm Java Chương trình chạy thử nghiệm với số liệu từ loài hoa Iris, số liệu thường dùng làm mẫu cho toán khai phá liệu [UCI-dataset] UC Irvine Machine Learning Repository, http://archive.ics.uci.edu/ml 3.3.2 Giao diện chương trình Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 62 Bước 1: Mở chương trình Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 63 Bước 2: Chọn Dataset Nhấn Browse để chọn file mẫu Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 64 Chọn đường dẫn chứa file Datase Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 65 Lúc file mẫu mở dạng: Ta chia chúng thành 10 thư mục Bước 3: Chia thư mục: Chia thành 10 thư mục Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 66 Bước 4: chỉnh tham số Đặt tham số nhấn nút update lưu lại Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 67 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 68 Bước 5: Mở modul Tối ưu luật để thực tối ưu luật Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 69 Nhấn continue để tiếp tục Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 70 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 71 Kết quả: Sau chạy xong Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 72 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 73 KẾT LUẬN CHUNG Trong luận án, tơi trình bày cách giải toán hồi quy mờ theo cách tiếp cận lý thuyết Đại số gia tử Điểm khác biệt cách tiếp cận ĐSGT cách tiếp cận lý thuyết tập mờ Zadeh cổ điển dựa kết lý thuyết ĐSGT ta có cách xây dựng CSDL mờ cách có sở khoa học hơn, đơn giản, phụ thuộc vào tham số (fm(c) µ(h)) dẫn đến việc sinh hệ luật tốt Đối với toán sinh hệ luật mờ Mamdani đảm bảo tối ưu đa mục tiêu, GA thuật tốn thích hợp Tuy nhiên, loại thuật tốn địi hỏi thời gian tính tốn quản lý nhớ lớn Một số cải tiến khâu rút gọn hệ luật ban đầu nhờ tính chất gần gũi hạng từ ĐSGT trình bày luận văn góp phần làm giảm khối lượng tính tốn Do thời gian hạn chế, luận văn chưa tiến hành thử nghiệm thuật toán với nhiều mẫu liệu khác để chứng minh tính hiệu phương pháp tiếp cận ĐSGT việc giải toán hồi quy mờ Đây công việc hy vọng tiến hành thời gian tới Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 74 TÀI LIỆU THAM KHẢO Nguyễn Cát Hồ, Trần Thái Sơn, Dương Thăng Long, Tiếp cận Đại số gia tử cho phân lớp mờ, Tin học điều khiển học, 25(1), 2009 Trần Thái Sơn, Lập luận xấp xỉ với giá trị biến ngơn ngữ, Tạp chí Tin học Điều khiển học,15(2).1999 6-10 Nguyễn Cát Hồ, Trần Thái Sơn, Logic mờ định mờ dựa cấu trúc thứ tự giá trị ngôn ngữ, Tạp chí Tin học Điều khiển học 4(1993) P.Pulkkinen and H.Koivisto A Dynamically Constrained Multiobjective Genetic Fuzzy System for Regression Problems IEEE Trans.on Fuzzy Systems vol 18 No1,161-177, 2010 Zadeh (1965), Fuzzy sets, Information and control 8, pp 338-353 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ... Đại số gia tử Α Tổng độ đo tính mờ gia tử âm Β Tổng độ tính mờ gia tử dương AX Đại số gia tử AX Đại số gia tử tuyến tính đầy đủ µ(h) fm(x) Độ đo tính mờ gia tử h hạng từ x Ỹ Là đầu mờ, Ṽ Là hệ. .. dạn nhận đề tài: ? ?Xây dựng hệ luật mờ từ sở liệu - cách tiếp cận theo lý thuyết Đại số gia tử? ?? làm đề tài luận văn Luận văn có bố cục sau: Chương 1: Tổng quan tập mờ đại số gia tử Trong chương... hồi quy mờ theo cách tiếp cận lý thuyết tập mờ cổ điển 3.1.2 Chuyển đổi CSDL số sang hệ luật mờ dựa lý thuyết tập mờ cổ điển Trong mục trình bày cụ thể bước để xây dựng hệ luật mờ từ CSDL số (được