Tạo lập hệ luật mờ sử dụng phân cụm trừ mờ dữ liệu

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ KIM DUNG TẠO LẬP HỆ LUẬT MỜ SỬ DỤNG PHÂN CỤM TRỪ MỜ DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2017 i MỤC LỤC DANH SÁCH CÁC HÌNH VẼ iii DANH SÁCH CÁC BẢNG BIỂU vi MỞ ĐẦU CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ TẬP MỜ 1.1 Trình bày tập Mờ 1.1.1 Định nghĩa tập mờ 1.1.2 Một số khái niệm tập mờ 1.1.3 Biểu diễn tập mờ 1.2 Các phép toán tập mờ hệ luật mờ 1.2.1 Phần bù tập mờ 1.2.4 Tích Descartes tập mờ 1.2.5 Tính chất phép toán tập mờ 1.2.6 Hệ luật mờ 1.3 Lập luân xấp xỉ hệ mờ 10 1.3.1 Logic mờ 10 1.3.2 Quan hệ mờ 10 1.3.3 Suy luận xấp xỉ suy diễn mờ 11 CHƯƠNG PHÂN CỤM DỮ LIỆU TRỪ MỜ 13 2.1 Các Phương pháp phân cụm liệu nói chung 13 2 Phân cụm liệu trừ mờ 17 2.2.1.Các thuật toán phân cụm phân hoạch 19 2.2.2 Các thuật toán phân cụm phân cấp 26 2.2.3 Các thuật toán phân cụm dựa mật độ 30 2.2.4 Các thuật toán phân cụm dựa lưới 32 2.2.5 Các thuật toán phân cụm dựa mơ hình 36 2.2.6 Các thuật tốn phân cụm có liệu ràng buộc 38 2.3 Các ứng dụng phân cụm liệu 39 CHƯƠNG XÂY DỰNG HỆ LUẬT MỜ ỨNG DỤNG PHÂN CỤM TRỪ MỜ 40 3.1 Xây dựng hệ luật mờ từ liệu vào/ra hệ thống 40 3.2 Ứng dụng cho tốn lị nhiệt 45 3.2.1 Phát biểu toán 45 3.2.2 Mơ hình động học hệ thống lò nhiệt 47 3.3 Chương trình xử lý tồn mơ 47 3.3.1 Thu thập liệu vào hệ thống 47 3.3.2 Hệ luật mờ cho điều khiển lò nhiệt từ phân cụm trừ 49 3.3.3 Hệ suy diễn mờ 51 3.3.4 Mô hệ thống điều khiển lò nhiệt sử dụng hệ luật mờ từ phân cụm trừ 55 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 ii DANH SÁCH CÁC HÌNH VẼ Hình 1 Hàm Thuộc có mức chuyển đổi tuyến tính Hình Hàm thuộc tập B Hình Miền xác định miền tin cậy tập mờ A iii Hình Biểu diễn tập mờ chiều cao Hình 5Tập bù tập mờ A Hình Hợp hai tập mờ có tập Hình Giao hai tập mờ có tập vũ trụ Hinh Ví dụ phân cụm tập liệu giám sát nhiệt độ lò thành cụm 14 Hinh 2 Các thiết lập để xác định ranh giới cụm ban đầu 22 Hinh Tính tốn trọng tâm cụm 22 Hinh Các bước thực thuật toán K- means 23 Hinh Thuật toán K-means chi tiết 24 Hinh Ví dụ số hình dạng cụm liệu 25 Hinh 7Các chiến lược phân cụm phân cấp 27 Hinh Khái quát thuật toán CURE 28 Hinh Các cụm liệu khám phá CURE 28 Hinh 10 Các bước thực thuật toán CURE .29 Hinh 11 Ví dụ thực phân cụm thuật toán CURE 29 Hinh 12 Một số hình dạng khám phá phân cụm dựa mật độ .30 Hinh 13 a) Mật độ trực tiếp, b) Đến mật độ, c) Mật độ liên thông 31 Hinh 14 Mơ hình cấu trúc liệu lưới 33 Hinh 15 Các bước thực thuật toán STING 35 Hinh 16Các bước thực thuật toán EM 37 Hinh Luật hình thành qua phép chiếu vào không gian đầu vào X 40 Hinh Dữ liệu phân cụm trừ , tâm cụm điểm đơn 41 Hinh 3Số lượng luật hình thành qua phan cụn trừ từ Bảng liệu 3.1 45 Hinh Mặt suy diễn hàm thuộc đầu vào Bảng liệu 3.1 45 Hinh Sơ đồ tổng quát hệ điều khiển mờ xây dựng từ liệu 46 Hinh Bộ điều khiển mờ cho lò nhiệt .Error! Bookmark not defined Hinh Đồ thị biểu diễn số liệu thu thập bảng 3.4 49 Hinh Hệ luật mờ hình thành sau phân cụm trừ 50 Hinh Hệ luật mờ cho điều khiển nhiệt độ 51 iv Hinh 10 hàm liên thuộc luật Điều khiển theo TS 52 Hinh 11 Mơ hình đơn giản với hàm thuộc hình thang tam giác cho ánh xạ vào/ 53 Hinh 12Mơ hình TS xấp xỉ đoạn cho hàm phi tuyến f(x) 53 Hinh 13 Biểu diễn ánh xạ từ không gian vào đến không gian 54 Hinh 14 Mặt suy diễn hàm thuộc đầu vào hệ điều khiển 55 Hinh 15 Đáp ứng (xanh) bám theo tín hiệu yêu cầu (đỏ) 61 v DANH SÁCH CÁC BẢNG BIỂU Bảng 1 Bảng biểu tập mờ A Bảng Luật mờ xây dựng từ phân cụm trừ SC .42 Bảng Các cụm xây dựng qua phân cụm trừ 43 Bảng 3 Tọa độ tâm cụm 43 Bảng Dữ liệu thu thập từ đầu vào/ra hệ thống điều khiển lò nhiệt 48 vi Lời cho em xin kính gửi các thầy mn khoa Cơng nghệ Cùng tồn thể lãnh đạo thầy cô giảng dạy làm việc trường Đại Học Công Nghệ Truyền Thông Thái Nguyên, lời chúc sức khỏe Em xin chúc tất thầy cô giáo thành công nghiệp giáo dục đào tạo lĩnh vực sống Em xin chân thành Cảm ơn Thầy PGS TS Lê Bá Dũng, người trực tiếp hướng dẫn nhiệt tình bảo để em hồn thành luận văn tốt nghiệp Em xin cảm ơn Ban Giám hiệu, Quý thầy cô trường Đại Đại Học Công Nghệ Truyền Thông Thái Nguyên trang bị cho em lượng kiến thức bổ ích q trình tơi học tập thực đề tài Cảm ơn bạn bè đồng nghiệp động viên, giúp đỡ cho em suốt trình học tập nghiên cứu Cuối em xin chân thành cảm ơn thành viên gia đình, người ln dành cho tơi tình cảm nồng ấm chia sẻ lúc khó khăn sống, động viên giúp đỡ trình học tập nghiên cứu Do kiến thức cịn hạn hẹp nên khơng tránh khỏi thiếu sót cách hiểu, lỗi trình bày Em mong nhận đóng góp ý kiến quý thầy cô Ban lãnh đao Em xin trân trọng cảm ơn! vii DANH SÁCH CÁC CHỮ VIẾT TẮT PCDL Phân Cụm Dữ Liệu KPDL Khai Phá Dữ Liệu CSDL Cơ Sở Dữ Liệu viii LỜI CAM ĐOAN Em xin cam đoan luận văn em nghiên cứu thực Các thơng số, Hình ảnh kết sử dụng luận văn hồn tồn có thật chưa công bố luận văn khác Thái Nguyên, ngày 16 tháng năm 2017 Tác giả luận văn: Đỗ Thị Kim Dung ix MỞ ĐẦU Sự phát triển nhanh chóng hệ thống thơng tin nay, hệ mờ áp dụng thành công nhiều lĩnh vực điều khiển tự động, phân lớp liệu, phân tích việc định, hệ chuyên gia Hệ luật mờ xây dựng từ tri thức nói chung hay hệ suy luận mờ nói riêng xây dựng theo suy diễn người, phần quan trọng ứng dụng logic mờ lý thuyết tập mờ vào thực tế Trong nhiều ứng dụng cho thiết kế hệ thống thông minh xây dựng hệ trợ giúp định, hệ mờ xây dựng theo phân lớp liệu, phân cụm liệu, xây dựng định Hệ mờ thực từ luật mờ, luật mờ xây dựng từ tri thức chuyên gia lĩnh vực cụ thể Phân cụm liệu vấn đề quan tâm nghiên cứu tác giả ngồi nước có nhiều thuật tốn phân cụm đề xuất Trong đó, khơng thuật toán phân cụm kết hợp với việc sử dụng giải thuật di truyền trình thực Tuy nhiên thuật toán đưa xét đến khía cạnh phân chia liệu thành cụm với độ xác cao mà chưa để tâm đến tối ưu luật sử dụng Trong yêu cầu đặt cho trình phân cụm yêu cầu độ xác ln đặt lên hàng đầu, ngồi với kết hợp thuật tốn phân cụm giải thuật di truyền thỏa mãn tính chất tối ưu luật sử dụng Vì cách tiếp cận khác mà luận văn nêu xây dựng hệ luật mờ cho hệ mờ từ liệu thực tế Phân cụm liệu trình phân chia tập liệu ban đầu thành cụm liệu cho phần tử cụm "tương tự" (similar) với phần tử cụm khác "phi tương tự" (dissimilar) với Phân cụm liệu phương pháp học không giám sát [7][8][9] Hiện nay, phương pháp phân cụm phát triển [6] áp dụng nhiều lĩnh vực khác nhau, bao gồm: nhận dạng, phân tích liệu, nghiên cứu thị trường, xử lý ảnh, [1]… Các thuật toán phân cụm đa dạng y b2 b1 μ A1 A2 Hinh 10 Mơ hình đơn giản với hàm thuộc hình thang tam giác cho ánh xạ vào/ Giả sử hàm đầu có dạng: y y2 = a2x + b2 y3 = a3x + b3 Small Hinh 11Mơ hình TS xấp xỉ đoạn cho hàm phi tuyến f(x) Nếu đặt ri(x) = j 1 53 y = ( (ri (x)ai ) X  ri (x)bi  a (x) X  b(x) T k T i1 Các thơng số ai, bi xác định qua : ri (x)ai a(x) = k i1 Big Medium Small Hinh 12 Biểu diễn ánh xạ từ không gia 54 out1 in2 Ham thuoc dau vao cho phan cum tru in1 Ham thuoc dau vao cho phan cum tru Degree of membership in2cluster6in2cluster3in2cluster5in2cluster1in2cluster2in2cluster4cluster7in1cluster6in1cluster3in1cluster5in1cluster1in1cluster2in1cluster4in1cl Hinh 13 Mặt suy diễn hàm thuộc đầu vào hệ điều khiển 3.3.4 Mô hệ thống điều khiển lò nhiệt sử dụng hệ luật mờ từ phân cụm trừ 3.3.4.1 Các chức chương trình Luận văn sử dụng phần mềm lập trình Matlab xây dựng chương trình ứng dụng phân cụm liệu trừ việc đo điều khiển nhiệt độ Công cụ Matlab thực qua bước sau: - Đọc liệu - Xây dựng cấu trúc liệu - Xử lý tập liệu trước huấn luyện - Khởi tạo mẫu huấn luyện - Mô kết - Phân tích kết để đưa nhận xét 3.3.4.2 Chương trình mơ hệ điều khiển lò nhiệt 55 Để điều khiển lò nhiệt sở tự động xây dựng hệ luật mờ theo (3.4) xuất phát từ liệu thu thập qua hình 3.10 Từ hình 3.10 ta sử dụng kỹ thuật phân cụm trừ để tạo luật điều khiển Chương trình điều khiển lị nhiệt viết phần mềm matLab sau: 56 % TRUONG DAI HOC THAI NGUYEN %////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// % CHUONG TRINH % % % DE TAI D % SU DUNG % % % % % % % % Nguoi thuc hien % % 2017 % % %///////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Ts=15;p=1.00151*10^(-4);q=8.6797*10^(-3);r=40;y0=25;y(1)=y0; a=exp(-p*Ts);b=(q/p)*(1-exp(-p*Ts)); %//////////////////////////////// %Chuong trinh tu day la DATASET / %//////////////////////////////// for k=1:120 u(k)=rand(1,1)*5; y(k+1)=a*y(k)+b/(1+exp(0.5*y(k)-r))*u(k)+(1-a)*y0; 57 end; trndata=[y(2:101); y(1:100)]'; datout=u(1:100)' figure hold on subplot(2,1,1), plot(trndata); subplot(2,1,2), plot(datout); %//////////////////////////////////////////////// %Chuong trinh tu day la SUBSTRACTIVE CLUSTERING / %//////////////////////////////////////////////// chkdatin=trndata; fismat=genfis2(trndata,datout,0.5); % ham phan cum tru fuzout=evalfis(trndata,fismat); ruleview(fismat) ruleedit(fismat) %showrule(fismat) getfis(fismat,'output',1,'mf',1) getfis(fismat,'output',1,'mf',2) figure subplot(2,1,1); gensurf(fismat); %blackbg; subplot(2,2,4); %hold on plotmf(fismat,'input',1); Title('Ham thuoc dau vao cho phan cum tru') %subplot(223); subplot(2,2,3) plotmf(fismat,'input',2); 58 Title('Ham thuoc dau vao cho phan cum tru') %plotmf(fismat,'input',1); %subplot(2,2,4) %plotmf(fismat,'output',1); trnRMSE=norm(fuzout-datout)/sqrt(length(fuzout)); chkfuzout=evalfis(chkdatin,fismat); %chkRMSE=norm(chkfuzout-chkdatout)/sqrt(length(chkfuzout)) Ts=25;y0=25;y(1)=y0; for k=1:180 if k40 &k80 &k120) ref(k)=80;end; end; for k=1:179 u(k)=evalfis([ref(k+1) y(k)],fismat); if (u(k)>=5) u(k)=5 else u(k)=u(k); end; y(k+1)=a*y(k)+b/(1+exp(0.5*y(k)-r))*u(k)+(1-a)*y0; end; figure hold on; grid plot (y(1:170),'b');plot(ref(1:170),'-r');plot(u(1:170),'g'); figure subplot(2,2,1); plotmf(fismat2,'input',1); Title('Ham thuoc dau vao 1') %subplot(223); subplot(2,2,2); 59 plotmf(fismat2,'input',2); Title('Ham thuoc dau vao 2') hold off %Define training data %blackbg; subplot(2,2,3); hold on; grid; plot(y(1:180),'b'); plot(ref(1:180),' r'); Title('Response-blue,desired-red'); hold off; %blackbg; subplot(2,2,4); hold on; grid; plot(u(1:180),'b'); plot((ref(1:180)-y(1:180)),' r'); Title('Control-blue - and Error-red - '); hold off; %////////////////////////////// Quá trình điều khiển nhiệt độ lị nhiệt mơ phần mềm MatLab hình 3.19 60 80 70 Temperature(degree) 60 50 40 30 20 10 0 Hinh 14 Đáp ứng (xanh) bám theo tín hiệu yêu cầu (đỏ) Từ hình 3.19 ta thấy: 0 Với nhiệt độ đặt 35 C, nhiệt độ lò 35 C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 35 C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt Tương tự nhiệt độ lị cần tăng lên mức 500C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 500C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt Khi nhiệt độ lò cần tăng đến 800C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 800C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt 800C 61 KẾT LUẬN Sự phát triển nhanh chóng hệ thống điều khiển, hệ thống thơng tin nay, hệ mờ áp dụng thành công nhiều lĩnh vực điều khiển tự động, phân lớp liệu, phân tích việc định, hệ chuyên gia Hệ luật mờ xây dựng từ tri thức nói chung hay hệ suy luận mờ nói riêng xây dựng theo suy diễn người, phần quan trọng ứng dụng logic mờ lý thuyết tập mờ vào thực tế Trong nhiều ứng dụng cho thiết kế hệ thống điều khiển thông minh xây dựng hệ trợ giúp định, hệ mờ xây dựng theo phân lớp liệu, phân cụm liệu, xây dựng định Hệ điều khiển mờ thực từ luật mờ, luật mờ xây dựng từ tri thức chuyên gia lĩnh vực cụ thể xây dựng từ liệu Phân cụm liệu vấn đề quan tâm nghiên cứu tác giả ngồi nước [2,3,4,5] có nhiều thuật toán phân cụm đề xuất Tuy nhiên thuật toán đưa xét đến khía cạnh phân chia liệu thành cụm với độ xác cao mà chưa để tâm đến tối ưu luật sử dụng, ví dụ giải thuật GA K-means sử dụng toán thị trường mua sắm trực tuyến Kyoung-jae Kim Hyunchul Ahn đưa thuật toán sử dụng K-means kết hợp với giải thuật di truyền chứng tỏ có cải thiện đáng kể việc thực phân nhóm so với thuật tốn phân cụm điển hình khác Hoặc phương pháp phân cụm bán giám sát (Semi- Supervisor Clustering) dùng giải thuật di truyền Ayhan Demiriz; Kristin P Bennett Mark J Embrechts thuộc Rensselaer Polytechnic Institute - Troy, NY 12180 đề xuất năm 1999 kết hợp ưu điểm phương pháp học có giám sát học khơng giám sát Bằng kết thực nghiệm, phương pháp lợi trường hợp có mẫu huấn luyện 62 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Bá Dũng, Các hệ sở tri thức (knowledge based system) ứng dụng, Bài giảng ĐHBK Hà nội – Genetic computer school joint education program [2] Bùi Công Cường, Nguyễn Dỗn Phước, “Lý thuyết mờ cơng nghệ tính tốn mềm”, Hệ mờ mạng nơron ứng dụng, Nhà xuất Khoa học Kỹ thuật, pp.53-89, 2006 [3] Nguyễn Trung Sơn, Phương pháp phân cụm ứng dụng, Khoa công nghệ thông tin - Đại học Thái Nguyên, luận văn thạc sĩ, 2009 [4] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo Mạng nơron phương pháp & ứng dụng , Nhà xuất Giáo dục [5] Đỗ Phúc, giáo trình khai thác liệu, NXB Đại học quốc gia TP HCM Data.Mining.Concepts.and.Techniques.2nd.Ed-1558609016 Trần Mạnh Tuấn, Lê Bá Dũng, Ứng dụng phân cụm trừ mờ cho toán [6] nhận dạng hệ điều khiển tự động từ liệu, Tạp chí Khoa Học Cơng Nghệ 116(02), 73-77, 2014 Tiếng Anh [6] Blake, C L., & Merz, C J (1998) UCI repository of machine learning databases,1998 [7] S Nascimento, B Mirkin and F Moura-Pires, A Fuzzy Clustering Model of Data and Fuzzyc- Means [8] W.Pedrycz, “Algorithms of fuzzy clustering with partial supervision”, Pattern [9] Jiawei Han, Micheline Kamber, Datamining Concepts and Techniques, nd Morgan Kaufmann Publishers, [10] edition, 2006 A.K Jain, R.C Dubes, Algorithms for clustering data, Ptentice Hall, Englewood Cliffs, NJ, 1988 [11] M.P.Windham, “Cluster validity for fuzzy clustering algorithms”, Fuzzy Sets and System, vol 3, pp.177-183, 1981 63 [12] W.Pedrycz, “Algorithms of fuzzy clustering with partial supervision”, [13] Gita Sastria, Choong Yeun Liong, Ishak Hashim, “Application of Fuzzy Subtractive Clustering for Enzymes Classification”, Applied Computing Conference, Istanbul, Turkey, 2008 64 ... thập liệu vào hệ thống 47 3.3.2 Hệ luật mờ cho điều khiển lò nhiệt từ phân cụm trừ 49 3.3.3 Hệ suy diễn mờ 51 3.3.4 Mô hệ thống điều khiển lò nhiệt sử dụng hệ luật mờ từ phân cụm. .. thuật toán phân cụm dựa mơ hình 36 2.2.6 Các thuật tốn phân cụm có liệu ràng buộc 38 2.3 Các ứng dụng phân cụm liệu 39 CHƯƠNG XÂY DỰNG HỆ LUẬT MỜ ỨNG DỤNG PHÂN CỤM TRỪ MỜ ... 1.3.2 Quan hệ mờ 10 1.3.3 Suy luận xấp xỉ suy diễn mờ 11 CHƯƠNG PHÂN CỤM DỮ LIỆU TRỪ MỜ 13 2.1 Các Phương pháp phân cụm liệu nói chung 13 2 Phân cụm liệu trừ mờ