Xây dựng hệ luật mờ mamdani từ cơ sở dữ liệu số

i đại học thái nguyên Tr-ờng đại học CÔNG NGHệ THÔNG TIN Và TRUYềN THÔNG O TH MINH HON XY DỰNG HỆ LUẬT MỜ MAMDANI TỪ CƠ SỞ DỮ LIỆU SỐ Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2014 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Tất tài liệu tham khảo có nguồn gốc, xuất xứ rõ ràng Tôi xin cam đoan tất nội dung luận văn nhƣ nội dung đề cƣơng yêu cầu thầy giáo hƣớng dẫn Nếu sai tơi xin hồn tồn chịu trách nhiệm trƣớc Hội đồng khoa học trƣớc Pháp luật Thái Nguyên, tháng 11 năm 2014 Tác giả Đào Thị Minh Hoàn Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iii LỜI CẢM ƠN Lời cho phép tơi bày tỏ lịng biết ơn sâu sắc tới TS Trần Thái Sơn – Viện Công Nghệ Thông Tin – Viện Hàn Lâm Khoa Học Công Nghệ Việt Nam giúp đỡ dẫn tận tình cho tơi định hƣớng đề tài, hƣớng dẫn việc tiếp cận khai thác tài liệu tham khảo nhƣ bảo cho tơi q trình tơi viết luận văn hồn thành luận văn Tơi xin chân thành cảm ơn Ban giám hiệu, Khoa sau đại học trƣờng Đại học Công Nghệ Thông Tin Truyền Thông Thái Nguyên tạo điều kiện giúp tơi nghiên cứu hồn thành luận văn Do điều kiện thời gian phạm vi nghiên cứu có hạn, luận văn khơng tránh khỏi thiếu sót, tác giả luận văn kính mong nhận đƣợc dẫn góp ý thêm thầy giáo, cô giáo anh chị học viên để luận văn trở nên hoàn thiện Tác giả Đào Thị Minh Hồn Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC HÌNH vi DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vii MỞ ĐẦU Chƣơng 1: TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 1.1 Tổng quan tập mờ 1.1.1 Mở đầu 1.1.2 Kiến thức sở tập mờ 1.1.3 Biến ngôn ngữ 1.1.4 Lôgic mờ 1.1.5 Lập luận xấp xỉ 13 1.2 Giải thuật di truyền 17 1.2.1 Những khái niệm giải thuật di truyền 17 1.2.2 Các tính chất đặc thù thuật giải di truyền 19 1.2.3 Các bƣớc quan trọng việc áp dụng giải thuật di truyền 20 1.2.4 Các phƣơng thức biến hoá giải thuật di truyền 20 Chƣơng 2:: GIẢI BÀI TOÁN XÂY DỰNG HỆ LUẬT MỜ THEO CÁCH TIẾP CẬN CỦA LÝ THUYẾT TẬP MỜ ỨNG DỤNG VÀO BÀI TOÁN HỒI QUY MỜ 23 2.1 Bài tốn trích chọn luật mờ từ sở liệu 23 2.1.1 Chuyển đổi CSDL số sang CSDL mờ: mục đích phƣơng pháp giải 24 2.1.2 Bài toán hồi quy mờ 24 2.2 Xây dựng hệ luật mờ từ CSDL - nhóm giải pháp giai doạn 28 2.3 Xây dựng hệ luật mờ từ CSDL – nhóm giải pháp giai doạn 36 Chƣơng 3:CHƢƠNG TRÌNH THỬ NGHIỆM 38 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ v 3.1 Đặt toán 38 3.2 Tìm kiếm hệ luật tối ƣu dựa giải thuật di truyền lai 39 3.3 Chƣơng trình 44 3.3.1 Cài đặt chƣơng trình 44 3.3.2 Giao diện chƣơng trình 44 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC HÌNH Hình 1.1: Đồ thị biểu diễn hàm thuộc tập mờ già (old) Hình 1.2: Mã hóa cá thể từ khơng gian lời giải tốn 18 Hình 2.1: Các phận không gian đầu vào đầu thành vùng mờ có chức thành viên tƣơng ứng (a) rn(ri) (b) 01(12) (c) oi(y) 36 Hình 3.1: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật toán SGA 40 Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ vii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Các kí hiệu, chữ viết tắt U A A(x) Ỹ Ý nghĩa Tập vũ trụ Tập mờ Ánh xạ từ U vào [0,1] Là đầu mờ FRBCS Fuzzy Rule Based Classification Systems CSDL Cơ sở liệu GA Giải thuật di truyền MF Hàm thuộc FB CSDL mờ SGA Thuật toán di truyền lai Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Khai phá liệu, rộng khai phá tri thức thu hút ý mạnh mẽ nhà nghiên cứu giới Việt Nam Do bùng nổ thông tin lĩnh vực đời sống, địi hỏi phải có phƣơng pháp khoa học cơng nghệ để khai thác có hiệu từ khối lƣợng thông tin khổng lồ tri thức cần thiết giúp cho ngƣời hoạch định chiến lƣợc, sách cho xã hội Hồi quy (regression), hƣớng nghiên cứu khai phá liệu, có nhiệm vụ từ tập liệu mẫu rút quy luật để dự báo mơ hình kết xẩy liệu tƣơng lai Hồi quy toán học phát triển từ lâu đạt đƣợc nhiều kết tốt đẹp, nhiên so với u cầu thực tế cịn nhiều việc phải làm, nhƣ tăng tính xác mơ hình, giảm thời gian tính tốn đến mức tối thiểu, nghiên cứu mối tƣơng quan nhiều biến phức tạp Với phát triển mạnh mẽ công nghệ thông tin, gần nhiều hƣớng nghiên cứu giải tốn hồi quy đời, có hƣớng nghiên cứu hồi quy mờ dựa hệ luật mờ đặc biệt đƣợc quan tâm tính hiệu kết hợp với độ xác cao thuật toán, đáp ứng nhu cầu khai thác liệu mờ Hệ luật mờ Mamdani (MFRBS) bao gồm M luật có dạng Rm: IF X1 is AND …AND XF is THEN XF+1 is (1) m = 1, , M Trong X = {X1, , Xf, , XF} tập biến ngôn ngữ đầu vào XF+1 biến đầu Nhƣ vậy, MFRBS có đặc điểm khác mơ hình khác biến đầu vào mờ dƣới dạng từ ngôn ngữ tự nhiên Đặc điểm mang lại tính “thân thiện” với ngƣời suy luận từ ngôn ngữ tự nhiên đặc điểm ngƣời Các luật đƣợc biểu diễn dƣới dạng quen thuộc với suy nghĩ lập luận ngƣời Hiện MFRBS đƣợc nghiên cứu sử dụng rộng rãi nghiên cứu lĩnh vực điều khiển tự động, khai phá liệu Với toán hồi quy mờ, MFRBS đƣợc coi nhƣ biểu diễn xấp xỉ siêu Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ mặt không gian M+1 chiều, cho phép với đầu vào vecto M chiều giá trị thực (hoặc ngơn ngữ) suy giá trị đầu (giá trị số) Luận văn có nhiệm vụ nghiên cứu tổng hợp đề xuất giải pháp xây dựng hệ luật mờ Mamdani ứng dụng vào giải toán hồi quy mờ thực tế Về bố cục, luận văn gồm phần mở đầu, chƣơng, phần kết luận tài liệu tham khảo Phần mở đầu nêu mục đích yêu cầu cách tiếp cận giải tốn hồi quy mờ thơng qua hệ luật mờ Mandani theo cách tiếp cận lý thuyết tập mờ Chƣơng 1: Tập mờ giải thuật di truyền Trong chƣơng trình bày kiến thức tập mờ giải thuật di truyền Chƣơng 2: Giải toán xây dựng hệ luật mờ theo cách tiếp cận lý thuyết tập mờ Ứng dụng vào toán hồi quy mờ Đề xuất cách xây dựng hệ luật mờ Mandani sử dụng hệ luật mờ giải toán hồi quy mờ Chƣơng 3: Chƣơng trình thử nghiệm Trình bày chƣơng trình thử nghiệm minh họa cho cách tiếp cận lý thuyết tập mờ việc giải toán hồi quy mờ Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Chƣơng TẬP MỜ VÀ GIẢI THUẬT DI TRUYỀN 1.1 Tổng quan tập mờ 1.1.1 Mở đầu Lý thuyết tập mờ đƣợc đề xuất L A Zadeh năm 1965, có lẽ đến thuật ngữ “fuzzy” trở nên rõ ràng nhà nghiên cứu kỹ sƣ Nó đƣợc tiếp tục nghiên cứu mạnh mẽ Bằng phƣơng pháp tiếp cận khác nhau, nhà nghiên cứu nhƣ Dubois, Prade, Mamdani, Tagaki, Sugeno,… đƣa kết lý thuyết ứng dụng toán điều khiển mờ, khai phá liệu mờ, sở liệu mờ, hệ hỗ trợ định Hệ suy diễn mờ áp dụng cho lập luận xấp xỉ đƣợc phát triển dựa lý thuyết tập mờ, với ràng buộc định, đƣợc xem nhƣ xấp xỉ vạn Hơn nữa, mạnh hệ mờ xấp xỉ hành vi hệ thống mà hàm giải tích quan hệ dạng số khơng tồn Vì vậy, hệ mờ có tiềm to lớn để ứng dụng giải hệ thống phức tạp nhƣ hệ sinh học, hệ xã hội, hệ kinh tế hệ thống trị Mặt khác, hệ mờ cịn ứng dụng hệ thống phức tạp, khơng cần giải pháp xác mà cần giải pháp xấp xỉ nhƣng nhanh hơn, hiệu giảm chi phí tính tốn 1.1.2 Kiến thức sở tập mờ Là ngƣời khởi xƣớng cho lý thuyết tập mờ, L A Zadeh có nhiều nghiên cứu mở đƣờng cho phát triển ứng dụng Ý tƣởng bật Zadeh từ khái niệm trừu tƣợng ngữ nghĩa thông tin mờ, khơng chắn nhƣ trẻ-già, nhanh-chậm, cao-thấp,… Ơng tìm cách biểu diễn chúng khái niệm tốn học, đƣợc gọi tập mờ đƣợc định nghĩa nhƣ sau Định nghĩa 1.1 Cho tập vũ trụ U với phần tử ký hiệu x, U={x} Một tập mờ A U tập đƣợc đặc trƣng hàm A(x) mà liên kết phần tử xU với số thực đoạn [0,1] Giá trị hàm A(x) biểu Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 40 Tập tham số PAR đƣợc xem nhƣ chuỗi gen mã hóa cho cá thể SGA, giá trị hàm thích nghi cá thể, ký hiệu Fit Trong toán hồi quy, hàm Fit đƣợc biểu diễn qua độ lệch trung bình bình phƣơng MSE (Mean squared error) kích thƣớc tập liệu, với đầu vào mẫu kiểm tra thứ l đầu nhận đƣợc từ hệ luật giá trị đầu thực mẫu kiểm tra Để áp dụng thuật toán di truyền lai SGA, mã hóa cá thể tƣơng ứng với tập luật S* dƣới dạng số thực, ký hiệu pi cá thể thứ i Mỗi gen cá thể pi đƣợc mã hóa số thực đoạn [0,1] biểu diễn số luật đƣợc chọn S*, ký hiệu gj gen thứ j, luật tƣơng ứng đƣợc chọn có số tập S* round(gj.|S*|) (hàm round(.) để làm tròn thành số ngun) Trƣờng hợp round(gj.|S*|) = 0, tức khơng có luật đƣợc chọn Phƣơng pháp mã hóa hai gen gj1 gj2 khác (j1j2) nhƣng biểu diễn số luật đƣợc chọn, lấy chúng Hệ luật Si tƣơng ứng với cá thể pi đƣợc xác định nhƣ sau: Si = { Rk | gjpi, k = round(gj.|S*|), k>0 RkS* } Rõ ràng hệ SiS*, thỏa điều kiện ràng buộc S* R1 R2 R3 pi g2 g1 Ri gj=0 R|S*| gNmax Si khơng chọn luật Hình 3.1: Sơ đồ mã hóa cá thể chọn hệ luật cho thuật tốn SGA Các phép toán di truyền nhƣ chọn lọc, lai ghép, đột biến thay thế: Số hóa Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 41 Các phép toán di truyền đƣợc áp dụng nhƣ sau: (1) Phép chọn lọc (SGA_Selection): sử dụng sơ đồ chọn lọc xếp hạng khơng tuyến tính theo hàm số mũ, cá thể đƣợc xếp theo thứ tự giảm giá trị hàm Fit, cá thể thứ i (xếp hạng i) đƣợc chọn vào quần thể bố mẹ (parent) theo xác suất sau: pi= ((1-a).a-i)/(a-Npop-1), với a= 1+γ(Tk)/Npop, γ(Tk) = 1+(γmax– 1).(ln(T0)-ln(Tk))/(ln(T0)-ln(Tend)), Npoplà số cá thể quần thể, Tk= T0.αk nhiệt độ luyện hệ k(k= 1, ,Gmax), tham số Tk giảm từ nhiệt độ ban đầu T0đến Tend= T0.αGmax, với 0