i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ KIM DUNG TẠO LẬP HỆ LUẬT MỜ SỬ DỤNG PHÂN CỤM TRỪ MỜ DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2017 Tai nga[.]
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ THỊ KIM DUNG TẠO LẬP HỆ LUẬT MỜ SỬ DỤNG PHÂN CỤM TRỪ MỜ DỮ LIỆU LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2017 Tai ngay!!! Ban co the xoa dong chu nay!!! i MỤC LỤC DANH SÁCH CÁC HÌNH VẼ iii DANH SÁCH CÁC BẢNG BIỂU .vi MỞ ĐẦU CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ TẬP MỜ 1.1 Trình bày tập Mờ 1.1.1 Định nghĩa tập mờ 1.1.2 Một số khái niệm tập mờ 1.1.3 Biểu diễn tập mờ 1.2 Các phép toán tập mờ hệ luật mờ 1.2.1 Phần bù tập mờ 1.2.4 Tích Descartes tập mờ 1.2.5 Tính chất phép toán tập mờ 1.2.6 Hệ luật mờ 1.3 Lập luân xấp xỉ hệ mờ 10 1.3.1 Logic mờ 10 1.3.2 Quan hệ mờ 10 1.3.3 Suy luận xấp xỉ suy diễn mờ 11 CHƯƠNG PHÂN CỤM DỮ LIỆU TRỪ MỜ 13 2.1 Các Phương pháp phân cụm liệu nói chung 13 2 Phân cụm liệu trừ mờ 17 2.2.1.Các thuật toán phân cụm phân hoạch 19 2.2.2 Các thuật toán phân cụm phân cấp 26 2.2.3 Các thuật toán phân cụm dựa mật độ 30 2.2.4 Các thuật toán phân cụm dựa lưới 32 2.2.5 Các thuật tốn phân cụm dựa mơ hình 36 2.2.6 Các thuật tốn phân cụm có liệu ràng buộc 38 2.3 Các ứng dụng phân cụm liệu 39 CHƯƠNG XÂY DỰNG HỆ LUẬT MỜ ỨNG DỤNG PHÂN CỤM TRỪ MỜ 40 3.1 Xây dựng hệ luật mờ từ liệu vào/ra hệ thống 40 3.2 Ứng dụng cho tốn lị nhiệt 45 3.2.1 Phát biểu toán 45 3.2.2 Mơ hình động học hệ thống lò nhiệt 47 3.3 Chương trình xử lý tồn mơ 47 3.3.1 Thu thập liệu vào hệ thống 47 3.3.2 Hệ luật mờ cho điều khiển lò nhiệt từ phân cụm trừ 49 3.3.3 Hệ suy diễn mờ 51 3.3.4 Mô hệ thống điều khiển lò nhiệt sử dụng hệ luật mờ từ phân cụm trừ 55 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 ii DANH SÁCH CÁC HÌNH VẼ Hình 1 Hàm Thuộc có mức chuyển đổi tuyến tính Hình Hàm thuộc tập B Hình Miền xác định miền tin cậy tập mờ A iii Hình Biểu diễn tập mờ chiều cao Hình 5Tập bù 𝑨 tập mờ A Hình Hợp hai tập mờ có tập Hình Giao hai tập mờ có tập vũ trụ Hinh Ví dụ phân cụm tập liệu giám sát nhiệt độ lò thành cụm 14 Hinh 2 Các thiết lập để xác định ranh giới cụm ban đầu 22 Hinh Tính tốn trọng tâm cụm 22 Hinh Các bước thực thuật toán K- means 23 Hinh Thuật toán K-means chi tiết 24 Hinh Ví dụ số hình dạng cụm liệu 25 Hinh 7Các chiến lược phân cụm phân cấp 27 Hinh Khái quát thuật toán CURE 28 Hinh Các cụm liệu khám phá CURE 28 Hinh 10 Các bước thực thuật toán CURE 29 Hinh 11 Ví dụ thực phân cụm thuật toán CURE 29 Hinh 12 Một số hình dạng khám phá phân cụm dựa mật độ 30 Hinh 13 a) Mật độ trực tiếp, b) Đến mật độ, c) Mật độ liên thông 31 Hinh 14 Mơ hình cấu trúc liệu lưới 33 Hinh 15 Các bước thực thuật toán STING 35 Hinh 16Các bước thực thuật toán EM 37 Hinh Luật hình thành qua phép chiếu vào khơng gian đầu vào X 40 Hinh Dữ liệu phân cụm trừ , tâm cụm điểm đơn 41 Hinh 3Số lượng luật hình thành qua phan cụn trừ từ Bảng liệu 3.1 45 Hinh Mặt suy diễn hàm thuộc đầu vào Bảng liệu 3.1 45 Hinh Sơ đồ tổng quát hệ điều khiển mờ xây dựng từ liệu 46 Hinh Bộ điều khiển mờ cho lò nhiệt Error! Bookmark not defined Hinh Đồ thị biểu diễn số liệu thu thập bảng 3.4 49 Hinh Hệ luật mờ hình thành sau phân cụm trừ 50 Hinh Hệ luật mờ cho điều khiển nhiệt độ 51 iv Hinh 10 hàm liên thuộc luật Điều khiển theo TS 52 Hinh 11 Mơ hình đơn giản với hàm thuộc hình thang tam giác cho ánh xạ vào/ 53 Hinh 12Mơ hình TS xấp xỉ đoạn cho hàm phi tuyến f(x) 53 Hinh 13 Biểu diễn ánh xạ từ không gian vào đến không gian 54 Hinh 14 Mặt suy diễn hàm thuộc đầu vào hệ điều khiển 55 Hinh 15 Đáp ứng (xanh) bám theo tín hiệu yêu cầu (đỏ) 61 v DANH SÁCH CÁC BẢNG BIỂU Bảng 1 Bảng biểu tập mờ A Bảng Luật mờ xây dựng từ phân cụm trừ SC 42 Bảng Các cụm xây dựng qua phân cụm trừ 43 Bảng 3 Tọa độ tâm cụm 43 Bảng Dữ liệu thu thập từ đầu vào/ra hệ thống điều khiển lò nhiệt 48 vi Lời cho em xin kính gửi các thầy mn khoa Cơng nghệ Cùng tồn thể lãnh đạo thầy cô giảng dạy làm việc trường Đại Học Công Nghệ Truyền Thông Thái Nguyên, lời chúc sức khỏe Em xin chúc tất thầy cô giáo thành công nghiệp giáo dục đào tạo lĩnh vực sống Em xin chân thành Cảm ơn Thầy PGS TS Lê Bá Dũng, người trực tiếp hướng dẫn nhiệt tình bảo để em hoàn thành luận văn tốt nghiệp Em xin cảm ơn Ban Giám hiệu, Quý thầy cô trường Đại Đại Học Công Nghệ Truyền Thông Thái Nguyên trang bị cho em lượng kiến thức bổ ích q trình tơi học tập thực đề tài Cảm ơn bạn bè đồng nghiệp động viên, giúp đỡ cho em suốt trình học tập nghiên cứu Cuối em xin chân thành cảm ơn thành viên gia đình, người ln dành cho tơi tình cảm nồng ấm chia sẻ lúc khó khăn sống, ln động viên giúp đỡ tơi q trình học tập nghiên cứu Do kiến thức cịn hạn hẹp nên khơng tránh khỏi thiếu sót cách hiểu, lỗi trình bày Em mong nhận đóng góp ý kiến quý thầy cô Ban lãnh đao Em xin trân trọng cảm ơn! vii DANH SÁCH CÁC CHỮ VIẾT TẮT PCDL Phân Cụm Dữ Liệu KPDL Khai Phá Dữ Liệu CSDL Cơ Sở Dữ Liệu viii LỜI CAM ĐOAN Em xin cam đoan luận văn em nghiên cứu thực Các thơng số, Hình ảnh kết sử dụng luận văn hoàn tồn có thật chưa cơng bố luận văn khác Thái Nguyên, ngày 16 tháng năm 2017 Tác giả luận văn: Đỗ Thị Kim Dung ix MỞ ĐẦU Sự phát triển nhanh chóng hệ thống thơng tin nay, hệ mờ áp dụng thành công nhiều lĩnh vực điều khiển tự động, phân lớp liệu, phân tích việc định, hệ chuyên gia Hệ luật mờ xây dựng từ tri thức nói chung hay hệ suy luận mờ nói riêng xây dựng theo suy diễn người, phần quan trọng ứng dụng logic mờ lý thuyết tập mờ vào thực tế Trong nhiều ứng dụng cho thiết kế hệ thống thông minh xây dựng hệ trợ giúp định, hệ mờ xây dựng theo phân lớp liệu, phân cụm liệu, xây dựng định Hệ mờ thực từ luật mờ, luật mờ xây dựng từ tri thức chuyên gia lĩnh vực cụ thể Phân cụm liệu vấn đề quan tâm nghiên cứu tác giả ngồi nước có nhiều thuật tốn phân cụm đề xuất Trong đó, khơng thuật tốn phân cụm kết hợp với việc sử dụng giải thuật di truyền trình thực Tuy nhiên thuật toán đưa xét đến khía cạnh phân chia liệu thành cụm với độ xác cao mà chưa để tâm đến tối ưu luật sử dụng Trong yêu cầu đặt cho trình phân cụm u cầu độ xác ln đặt lên hàng đầu, với kết hợp thuật tốn phân cụm giải thuật di truyền cịn thỏa mãn tính chất tối ưu luật sử dụng Vì cách tiếp cận khác mà luận văn nêu xây dựng hệ luật mờ cho hệ mờ từ liệu thực tế Phân cụm liệu trình phân chia tập liệu ban đầu thành cụm liệu cho phần tử cụm "tương tự" (similar) với phần tử cụm khác "phi tương tự" (dissimilar) với Phân cụm liệu phương pháp học không giám sát [7][8][9] Hiện nay, phương pháp phân cụm phát triển [6] áp dụng nhiều lĩnh vực khác nhau, bao gồm: nhận dạng, phân tích liệu, nghiên cứu thị trường, xử lý ảnh, [1]… Các thuật toán phân cụm đa dạng Hệ sở luật (hệ sở tri thức) thường thực qua tham vấn chuyên gia điều khiển chuyên gia cơng nghệ Xong thực tế người ta xây dựng hệ tri thức thơng qua q trình xử lý liệu sau: - Chọn biến vào ra, cấu trúc luật, phương pháp mờ hóa giải mờ - Xác định giá trị ngôn ngữ ‘lớn’, ‘nhỏ’, ‘rất lớn’, ‘rất nhỏ’ để từ xác định hàm thuộc - Tạo dựng hệ luật mờ b) Hệ luật mờ cho điều khiển lò nhiệt Hệ luật điều khiển mờ tự động tạo từ chương trình matlab có dạng sau: Hinh Hệ luật mờ hình thành sau phân cụm trừ Từ hình vẽ ta thấy: Luật 1: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm1 Luật 2: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm2 Luật 3: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm3 Luật 4: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm4 Luật 5: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm5 Luật 6: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm6 Luật 7: Nếu đầu vào cụm đầu vào cụm đầu ra1 cụm7 50 Giả thiết hàm thuộc đầu vào đầu vào có dạng chng hình vẽ, đầu vào in1 = 41,2 in2 = 40,8 đầu out1 = 2,73 có dạng phần đồ thị màu xanh Hinh Hệ luật mờ cho điều khiển nhiệt độ 3.3.3 Hệ suy diễn mờ Ta biết mục 2.2, thành phần phân cụm trừ tạo hệ luật mờ dạng Takagi - Sugenco (TS) Dạng luật mơ hình TS có dạng sau: Ri: If x is Ai then yi =fi(x) i =1, 2, ,k (3.8) Dạng hàm fi(x) thường chọn hàm tuyến tính (3.8) viết là: Ri: If x is Ai then yi =a Ti x + bi i =1, 2, ,k (3.9) Trong thơng số bi chưa biết Sử dụng trình suy diễn mờ với đầu tập mờ đơn điệu ta có: Ri: If x is Ai then yi = bi i =1, 2, ,k (3.10a) Triển khai (3.10.a) ta viết: Ri: If x1 is Ai1 and x2 is Ai2 and then yi = bi 51 (3.10b) Từ (3.10.b),quá trình suy diễn mờ hệ mờ TS có dạng: k y y i 1 k i j 1 k i (a i 1 i T i x bi ) (3.11) k j j 1 j Và yi = bi mơ hình đơn điệu Trong đó: w = μAi1(x1)^ μAi2(x2) ^μAip(xp), 1≤i≤k Giả sử hệ luật TS có luật mờ sau : Min tích A1 B1 W1 X1 A2 X2 B2 W2 y2=p1x+q1x2+r1 X2 X1 x y1=p1x+q1x2+r1 y Hinh hàm liên thuộc luật Điều khiển theo TS k b y= i 1 k i i j 1 (3.12) j Ánh xạ vào/ hệ mờ hàm đầu y =f(x) y = kx + q 52 Trung bình trọng số y bi b2 b3 b3 b2 b1 b1 μ A1 A3 A2 x A4 μ A1 x A2 A3 x x Hinh 10 Mơ hình đơn giản với hàm thuộc hình thang tam giác cho ánh xạ vào/ Giả sử hàm đầu có dạng: y1 = a1x + b1 y2 = a2x + b2 y y3 = a3x + b3 Small big Medium x Hinh 11Mơ hình TS xấp xỉ đoạn cho hàm phi tuyến f(x) Nếu đặt ri(x) = i ( x) k j 1 j , Từ (3.11) ta có: ( x) 53 Ai k k i 1 i 1 y = ( ( ri ( x)aiT ) X ri ( x)bi a T ( x) X b( x) (3.13) Các thông số ai, bi xác định qua : k a(x) = ri ( x)ai ; b(x) = i 1 Small k r ( x)b i 1 i i Medium Big Big Medium Small Hinh 12 Biểu diễn ánh xạ từ không gian vào đến không gian 54 out1 200 -200 50 40 30 30 45 40 50 55 in1 Ham thuoc dau vao cho phan cum tru in2cluster6 in2cluster5 in2cluster1 in2cluster2 in2cluster4 in2cluster7 in1cluster6 in1cluster5 in1cluster1 in1cluster2 in1cluster4 in1cluster7 in2cluster3 in1cluster3 Degree of membership Degree of membership in2 Ham thuoc dau vao cho phan cum tru 35 0.8 0.6 0.4 0.2 30 40 in2 0.8 0.6 0.4 0.2 50 30 40 in1 50 Hinh 13 Mặt suy diễn hàm thuộc đầu vào hệ điều khiển 3.3.4 Mơ hệ thống điều khiển lị nhiệt sử dụng hệ luật mờ từ phân cụm trừ 3.3.4.1 Các chức chương trình Luận văn sử dụng phần mềm lập trình Matlab xây dựng chương trình ứng dụng phân cụm liệu trừ việc đo điều khiển nhiệt độ Công cụ Matlab thực qua bước sau: - Đọc liệu - Xây dựng cấu trúc liệu - Xử lý tập liệu trước huấn luyện - Khởi tạo mẫu huấn luyện - Mơ kết - Phân tích kết để đưa nhận xét 3.3.4.2 Chương trình mơ hệ điều khiển lò nhiệt 55 Để điều khiển lò nhiệt sở tự động xây dựng hệ luật mờ theo (3.4) xuất phát từ liệu thu thập qua hình 3.10 Từ hình 3.10 ta sử dụng kỹ thuật phân cụm trừ để tạo luật điều khiển Chương trình điều khiển lị nhiệt viết phần mềm matLab sau: 56 % TRUONG DAI HOC THAI NGUYEN %////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// % CHUONG TRINH DIEU KHIEN LO NHIET % % % DE TAI DIEU KHIEN LO NHIET % SU DUNG PHAN CUM DU LIEU TRU % % % % % % % % % % Nguoi thuc hien Do Thi Kim Dung 2017 % % %///////////////////////////////////////////////////////////////////////////////////////////////////////////////////// Ts=15;p=1.00151*10^(-4);q=8.6797*10^(-3);r=40;y0=25;y(1)=y0; a=exp(-p*Ts);b=(q/p)*(1-exp(-p*Ts)); %//////////////////////////////// %Chuong trinh tu day la DATASET / %//////////////////////////////// for k=1:120 u(k)=rand(1,1)*5; y(k+1)=a*y(k)+b/(1+exp(0.5*y(k)-r))*u(k)+(1-a)*y0; 57 end; trndata=[y(2:101); y(1:100)]'; datout=u(1:100)' figure hold on subplot(2,1,1), plot(trndata); subplot(2,1,2), plot(datout); %//////////////////////////////////////////////// %Chuong trinh tu day la SUBSTRACTIVE CLUSTERING / %//////////////////////////////////////////////// chkdatin=trndata; fismat=genfis2(trndata,datout,0.5); % ham phan cum tru fuzout=evalfis(trndata,fismat); ruleview(fismat) ruleedit(fismat) %showrule(fismat) getfis(fismat,'output',1,'mf',1) getfis(fismat,'output',1,'mf',2) figure subplot(2,1,1); gensurf(fismat); %blackbg; subplot(2,2,4); %hold on plotmf(fismat,'input',1); Title('Ham thuoc dau vao cho phan cum tru') %subplot(223); subplot(2,2,3) plotmf(fismat,'input',2); 58 Title('Ham thuoc dau vao cho phan cum tru') %plotmf(fismat,'input',1); %subplot(2,2,4) %plotmf(fismat,'output',1); trnRMSE=norm(fuzout-datout)/sqrt(length(fuzout)); chkfuzout=evalfis(chkdatin,fismat); %chkRMSE=norm(chkfuzout-chkdatout)/sqrt(length(chkfuzout)) Ts=25;y0=25;y(1)=y0; for k=1:180 if k40 &k80 &k120) ref(k)=80;end; end; for k=1:179 u(k)=evalfis([ref(k+1) y(k)],fismat); if (u(k)>=5) u(k)=5 else u(k)=u(k); end; y(k+1)=a*y(k)+b/(1+exp(0.5*y(k)-r))*u(k)+(1-a)*y0; end; figure hold on; grid plot (y(1:170),'b');plot(ref(1:170),'-r');plot(u(1:170),'g'); figure subplot(2,2,1); plotmf(fismat2,'input',1); Title('Ham thuoc dau vao 1') %subplot(223); subplot(2,2,2); 59 plotmf(fismat2,'input',2); Title('Ham thuoc dau vao 2') hold off %Define training data %blackbg; subplot(2,2,3); hold on; grid; plot(y(1:180),'b'); plot(ref(1:180),' r'); Title('Response-blue,desired-red'); hold off; %blackbg; subplot(2,2,4); hold on; grid; plot(u(1:180),'b'); plot((ref(1:180)-y(1:180)),' r'); Title('Control-blue - and Error-red - '); hold off; %////////////////////////////// Q trình điều khiển nhiệt độ lị nhiệt mơ phần mềm MatLab hình 3.19 60 80 70 Temperature(degree) 60 50 40 30 20 10 0 20 40 60 80 100 120 Sampling time step kT=30 (giay) 140 160 180 Hinh 14 Đáp ứng (xanh) bám theo tín hiệu yêu cầu (đỏ) Từ hình 3.19 ta thấy: Với nhiệt độ đặt 350C, nhiệt độ lị 350C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 350C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt Tương tự nhiệt độ lò cần tăng lên mức 500C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 500C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt Khi nhiệt độ lị cần tăng đến 800C tín hiệu điều khiển (đường màu xanh dưới) đưa vào để điều khiển nhiệt độ lò tăng lên đến 800C (tiệm cận với nhiệt độ đặt đường màu đỏ) Khi tín hiệu điều khiển ngắt để nhiệt độ lò mức nhiệt độ đặt 800C 61 KẾT LUẬN Sự phát triển nhanh chóng hệ thống điều khiển, hệ thống thông tin nay, hệ mờ áp dụng thành công nhiều lĩnh vực điều khiển tự động, phân lớp liệu, phân tích việc định, hệ chuyên gia Hệ luật mờ xây dựng từ tri thức nói chung hay hệ suy luận mờ nói riêng xây dựng theo suy diễn người, phần quan trọng ứng dụng logic mờ lý thuyết tập mờ vào thực tế Trong nhiều ứng dụng cho thiết kế hệ thống điều khiển thông minh xây dựng hệ trợ giúp định, hệ mờ xây dựng theo phân lớp liệu, phân cụm liệu, xây dựng định Hệ điều khiển mờ thực từ luật mờ, luật mờ xây dựng từ tri thức chuyên gia lĩnh vực cụ thể xây dựng từ liệu Phân cụm liệu vấn đề quan tâm nghiên cứu tác giả ngồi nước [2,3,4,5] có nhiều thuật tốn phân cụm đề xuất Tuy nhiên thuật toán đưa xét đến khía cạnh phân chia liệu thành cụm với độ xác cao mà chưa để tâm đến tối ưu luật sử dụng, ví dụ giải thuật GA K-means sử dụng toán thị trường mua sắm trực tuyến Kyoung-jae Kim Hyunchul Ahn đưa thuật toán sử dụng K-means kết hợp với giải thuật di truyền chứng tỏ có cải thiện đáng kể việc thực phân nhóm so với thuật tốn phân cụm điển hình khác Hoặc phương pháp phân cụm bán giám sát (Semi- Supervisor Clustering) dùng giải thuật di truyền Ayhan Demiriz; Kristin P Bennett Mark J Embrechts thuộc Rensselaer Polytechnic Institute Troy, NY 12180 đề xuất năm 1999 kết hợp ưu điểm phương pháp học có giám sát học không giám sát Bằng kết thực nghiệm, phương pháp lợi trường hợp có mẫu huấn luyện 62 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Bá Dũng, Các hệ sở tri thức (knowledge based system) ứng dụng, Bài giảng ĐHBK Hà nội – Genetic computer school joint education program [2] Bùi Cơng Cường, Nguyễn Dỗn Phước, “Lý thuyết mờ cơng nghệ tính tốn mềm”, Hệ mờ mạng nơron ứng dụng, Nhà xuất Khoa học Kỹ thuật, pp.53-89, 2006 [3] Nguyễn Trung Sơn, Phương pháp phân cụm ứng dụng, Khoa công nghệ thông tin - Đại học Thái Nguyên, luận văn thạc sĩ, 2009 [4] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo Mạng nơron phương pháp & ứng dụng , Nhà xuất Giáo dục [5] Đỗ Phúc, giáo trình khai thác liệu, NXB Đại học quốc gia TP HCM Data.Mining.Concepts.and.Techniques.2nd.Ed-1558609016 [6] Trần Mạnh Tuấn, Lê Bá Dũng, Ứng dụng phân cụm trừ mờ cho toán nhận dạng hệ điều khiển tự động từ liệu, Tạp chí Khoa Học Cơng Nghệ 116(02), 73-77, 2014 Tiếng Anh [6] Blake, C L., & Merz, C J (1998) UCI repository of machine learning databases,1998 [7] S Nascimento, B Mirkin and F Moura-Pires, A Fuzzy Clustering Model of Data and Fuzzyc- Means [8] W.Pedrycz, “Algorithms of fuzzy clustering with partial supervision”, Pattern Recognition, vol 23, pp.121-146, 1990 [9] Jiawei Han, Micheline Kamber, Datamining Concepts and Techniques, Morgan Kaufmann Publishers, 2nd edition, 2006 [10] A.K Jain, R.C Dubes, Algorithms for clustering data, Ptentice Hall, Englewood Cliffs, NJ, 1988 [11] M.P.Windham, “Cluster validity for fuzzy clustering algorithms”, Fuzzy Sets and System, vol 3, pp.177-183, 1981 63 [12] W.Pedrycz, “Algorithms of fuzzy clustering with partial supervision”, Pattern Recognition, vol 23, pp.121-146, 1990 [13] Gita Sastria, Choong Yeun Liong, Ishak Hashim, “Application of Fuzzy Subtractive Clustering for Enzymes Classification”, Applied Computing Conference, Istanbul, Turkey, 2008 64