Ứng dụng phân cụm mờ trong bài toán dự báo ảnh mây vệ tinhb

LỜI CẢM ƠN Để thực báo cáo này, em nhận giúp đỡ nhiều từ phía nhà trường Trung tâm tính toán hiệu cao - trường Đại học Khoa học tự nhiên Hà Nội Em xin gửi lời cảm ơn chân thành đến: Khoa Công nghệ Thông tin trang bị cho chúng em kiến thức Em xin cảm ơn Samsung Lab - trường Đại Học Công Nghệ Thông Tin Truyền Thông cho em có nơi nghiên cứu đề tài tốt Em xin gửi lời cảm ơn đến anh Phạm Huy Thông – cán Trung tâm tính toán hiệu cao - trường Đại học Khoa học tự nhiên Hà Nội nhiệt tình bảo, giúp đỡ em trình làm đồ án Em xin chân thành cảm ơn giáo viên hướng dẫn – Th.S Trần Mạnh Tuấn TS Lê Hoàng Sơn tạo điều kiện giúp đỡ em trình thực đề tài Mặc dù cố gắng gặp nhiều khó khăn thời gian khả hạn chế nên tránh khỏi thiếu sót Em kính mong nhận góp ý từ thầy cô để báo cáo em hoàn thiện đầy đủ Thái Nguyên, tháng năm 2016 Sinh viên Trần Thu Phượng MỤC LỤC CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 Kiến thưc tập mờ phân cụm mờ 1.1.1 Tập mờ 1.1.2 Phân cụm mờ 1.2 Giới thiệu ngôn ngữ lập trình Java 10 1.2.1 Lịch sử phát triển 10 1.2.2 Giới thiệu ngôn ngữ lập trình Java 10 1.2.3 Khai báo biến Java 12 1.2.4 Mảng Java 16 1.2.5 Điều khiển vòng lặp Java 18 1.3 Thiết kế giao diện 19 CHƯƠNG 2: XÂY DỰNG BÀI TOÁN DỰ BÁO ẢNH MÂY VỆ TINH 2.1 Phương pháp dự báo kết hợp phân cụm với luật mờ 26 2.2 Quy trình suy diễn mờ 27 2.3 Mô hình chế suy diễn 29 CHƯƠNG 3: CÀI ĐẶT THUẬT TOÁN VÀ ỨNG DỤNG 32 3.1 Mô tả liệu 32 3.2 Các độ đo 34 3.2.1 Mean Absolute Error (MAE) 34 3.2.2 Mean Squared Error (MSE) 34 3.2.3 Root Mean Squared Error(RMSE) 34 3.3 Mô tả Demo 34 3.4 Kết thực nghiệm 37 3.5 Cài đặt thuật toán ứng dụng 37 3.5.1 Đầu vào toán 38 3.5.2 Chương trình thuật toán FC-PFS 39 3.5.3 Các bước xây dựng chương trình dự báo ảnh mây vệ tinh: KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 26 44 DANH MỤC HÌNH ẢNH, BẢNG Hình 1: Luật mờ tam giác 28 Hình 2: Quy trình toán dự báo 29 Hình 3: Bộ ảnh liệu 32 Hình 4: Bộ ảnh liệu 33 Hình 5: Bộ ảnh liệu 33 Hình 6: Kết chạy chương trình liệu 35 Hình 7: Kết chạy chương trình liệu 35 Hình 8: Kết chạy chương trình liệu 36 Bảng 1: Các kiểu liệu Java 13 Bảng 2: Kết thực nghiệm với ba liệu37 Bảng 3: Kết thực nghiệm với tham số C thay đổi 37 LỜI NÓI ĐẦU Trong năm gần đây, phát triển vượt bậc kinh tế, kéo theo hệ thống liệu phục vụ cho lĩnh vực kinh tế-xã hội phát triển bùng nổ, lượng liệu khổng lồ tạo ngày lớn Cũng từ đó, yêu cầu thông tin, khám phá tri thức lĩnh vực ngày đòi hỏi cao Trước nhu cầu đó, hàng loạt lĩnh vực nghiên cứu tổ chức kho liệu thông tin, hệ trợ giúp định, thuật toán nhận dạng, đặc biệt Data Mining đời Khai phá liệu (Data Mining) lĩnh vực nhằm tự động khai thác thông tin có giá trị tiềm ẩn bên tập liệu lưu trữ sở liệu kho liệu Hiện nay, DataMining ứng dụng ngày rộng rãi lĩnh vực thương mại, tài chính, điều trị y học, viễn thông v.v Một hướng nghiên cứu Data Mining phân cụm liệu Phân cụm liệu kĩ thuật nhằm tìm kiếm, phát cụm, mẫu liệu tự nhiên, tiềm ẩn, quan tâm tập liệu lớn, từ cung cấp thông tin, tri thức hữu ích cho việc định Như vậy, phân cụm liệu trình phân chia tập ban đầu thành cụm liệu cho phần tử cụm tương tự nhau, phần tử cụm khác không tương tự Để tăng độ xác phân cụm, thuật toán phân cụm liệu cải tiến, phải kể đến thuật toán phân cụm mờ Dựa lí thuyết tập mờ, thuật toán phân cụm mờ đề xuất ứng dụng thành công nhiều lĩnh vực, đặc biệt dự báo Xuất phát từ nhu cầu thực tiễn sống, dự báo thời tiết từ lâu vấn đề quan tâm, nghiên cứu Từ xa xưa loài người dựa vào quan sát tượng tự nhiên bầu trời để rút quy luật thời tiết, ví dụ như: ráng vàng nắng, ráng trắng mưa chuồn chuồn bay thấp mưa, bay cao nắng, bay vừa râm, hình dạng đám mây.v.v để dự báo thời tiết Tuy nhiên phương pháp có độ xác không cao, đặc biệt diễn biến thời tiết phức tạp ngày Với khả ứng dụng rộng rãi, phát triển khoa học kĩ thuật, lí thuyết mờ ngày mở rộng đóng góp to lớn lĩnh vực dự báo Hiện công tác dự báo thời tiết thực cách thu thập số liệu trạng thái bầu khí áp dụng logic mờ, mô hình toán học, hiểu biết khoa học trình khí để tiên đoán tiến triển tượng khí quyển, góp phần quan trọng việc dự báo sớm thảm họa thiên nhiên Phần đồ án đề cập tới thuật toán phân cụm mờ cải tiến dựa tập mờ viễn cảnh, hay gọi thuật toán phân cụm mờ viễn cảnh Từ đưa ứng dụng thuật toán phân cụm mờ toán dự báo thời tiết, cụ thể phương pháp dự báo thời tiết kết hợp thuật toán phân cụm mờ hệ luật mờ Với cải tiến thuật toán, phương pháp mang lại kết dự báo xác Tên đề tài: Ứng dụng phân cụm mờ toán dự báo ảnh mây vệ tinh Bố cục báo cáo gồm phần: Chương 1: Cơ sở lý thuyết Chương 2: Xây dựng toán dự báo ảnh mây vệ tinh Chương 3: Cài đặt thuật toán ứng dụng CHƯƠNG 1: CƠ SỞ LÝ THUYẾT  Kiến thưc tập mờ phân cụm mờ  Tập mờ  Giới thiệu Trong lý thuyết tập hợp, phần tử xác định rõ ràng thuộc không thuộc tập hợp kí hiệu tức phần tử có hai khả thuộc không thuộc tập hợp Tuy nhiên, lý thuyết giải toán phức tạp sinh thực tế Ví dụ: tập hợp người cao từ 1m75 trở lên chọn vào đội bóng rổ Vậy người cao 1m74 không thuộc tập hợp người cao bị loại liệu hợp lý Do vậy, cách tiếp cận phát triển nhằm giải vấn đề Đó lý thuyết tập mờ (Fuzzy Set) giáo sư Lotfi A Zadeh trường đại học California – Mỹ sáng lập, bắt đầu với báo “Fuzzy Sets” năm 1965 Công trình nhanh chóng nhà nghiên cứu đón nhận Ý tưởng Zadeh lý thuyết tập mờ biểu diễn thông tin trừu tượng, không chắn chiều cao (cao – thấp), độ tuổi (trẻ – già) v.v khái niệm toán học gọi tập mờ Phần cho thấy khác biệt tập rõ tập mờ  Khái niệm tập rõ Định nghĩa 1.1: Cho tập X với x phần tử tập X A tập rõ tập X, với x phần tử thuộc tập hợp A, ta có x A x A (x) gọi hàm thuộc hay hàm đặc trưng tập hợp A [2] (1.1) Ví dụ: X={x1, x2, x3, x4} với x1 A, x2 A, x3 A, x4 A (x1) = 1; (x2) = 1; (x3) = 1; (x4) = 0; Ví dụ: “Sinh viên A thuộc lớp HTTTk10A”  Khái niệm tập mờ Định nghĩa 1.2: Cho tập X với x phần tử tập X Một tập mờ F tập X định nghĩa hàm thành viên hay gọi hàm thuộc F(x), đo “mức độ” mà phần tử x thuộc tập F thỏa mãn điều kiện với xX, F(x)1 (1.2) Nếu F(x) = x F hoàn toàn Nếu F(x) = x F hoàn toàn Nếu hàm thuộc F(x) nhận giá trị 0, tức phần tử tập hợp F thuộc không thuộc F cách rõ ràng tập mờ trở thành tập rõ Như tập rõ trường hợp đặc biệt tập mờ Ví dụ: “Một vài sinh viên”, “Anh A cao”, “Quả táo bé” v.v  Tập mờ trực cảm Tập mờ trực cảm (Intuitionistic fuzzy sets) đề xuất Krassimir Atanassov vào năm 1983 mở rộng tập mờ Zadeh năm 1965 Nó đặc biệt hữu dụng làm việc với đối tượng ngữ nghĩa tự nhiên, việc đưa độ thuộc không chưa đủ Ví dụ đưa định vấn đề, y học, bầu cử, kinh doanh.v.v, đặc biệt tập hợp ý kiến nhiều chuyên gia, bên cạnh việc ủng hộ có phản đối tỷ lệ dự định (bỏ phiếu trắng phiếu không hợp lệ) Định nghĩa 1.3: Xét X tập không rỗng, tập mờ trực cảm A không gian X cho bởi: (1.3) , thỏa mãn điều kiện: (1.4) với µA(x), νA(x) độ thuộc độ không thuộc x vào tập A, πA(x) = µA(x) νA(x) độ dự (không rõ x thuộc hay không thuộc vào A) Ta thấy (1.5) Kí hiệu IFS(X) tập tập mờ trực cảm không gian X Như vậy, theo định nghĩa tập mờ thường A′ trường hợp riêng tập mờ trực cảm: (1.6) với độ dự 0: (1.7) Tập mờ trực cảm tổng quát tập mờ Nó cho phép biểu diễn thông tin, trí thức không quán, ứng dụng đa dạng toán thực tiễn Đặc biệt trường hợp tổng hợp ý kiến người vấn đề, có câu trả lời bản: (1) Có, đồng ý; (2) Không, phản đối; (3) Tôi không biết, không chắn  Tập mờ viễn cảnh Mở rộng từ tập mờ trực cảm (IFS), tập mờ viễn cảnh - Picture Fuzzy Sets (PFS) định nghĩa sau: Định nghĩa 1.4: Xét X tập không rỗng, tập mờ viễn cảnh A không gian X cho bởi: (1.8) thỏa mãn điều kiện: (1.9) Với độ thuộc, độ không thuộc, độ dự (không rõ x có thuộc tập A hay không), trường hợp phương án phủ nhận (1.10) Tập mờ viễn cảnh cho phép biểu diễn thông tin, trí thức không quán, ứng dụng đa dạng toán thực tiễn Đặc biệt trường hợp tổng hợp ý kiến người vấn đề, có câu trả lời bản: (1) Có, đồng ý; (2) Không, phản đối; (3) Tôi không biết, không chắn; (4) Không đưa câu trả lời (không quan tâm vấn đề) Bầu cử ví dụ điển hình trường hợp Người bỏ phiếu phân làm dạng: (1) Ủng hộ; (2) Phản đối; (3) Bỏ phiếu trắng bỏ phiếu không hợp lệ; (4) Không bỏ phiếu 1.1.2 Phân cụm mờ Phân cụm trình nhóm liệu sở liệu thành cụm cho điểm liệu cụm có độ tương đồng lớn điểm không cụm có tương đồng nhỏ Phân cụm đặc biệt hiệu biết thuộc tính cụm mà chưa biết biết thông tin Trong sống gặp nhiều ứng dụng toán phân cụm Tuy nhiên, đối tượng thuộc nhiều cụm khác nhau, ranh giới cụm thường không rõ, áp dụng phân cụm nhiều toán không giải hiệu Do đó, ta cần áp dụng phương pháp phân cụm mờ vào việc phân cụm liệu Chẳng hạn, ta có phép phân loại sau: Những người xe máy xịn thuộc nhóm người giàu, người xe máy thường thuộc nhóm bình dân Vậy người nghèo mà xe máy xịn ta xếp người vào nhóm nào? Vì đưa vào khái niệm toán phân cụm mờ Trong phương pháp phân cụm cứng K-Means phân cụm liệu thuộc cụm liệu, phương pháp phù hợp với việc khám phá cụm có mật độ cao rời nhau, với đường biên cụm xác định tốt Tuy nhiên, thực tế, đường biên cụm mờ, cụm chồng lên nhau, nghĩa số đối tượng liệu thuộc nhiều cụm khác nhau, mô hình không mô tả liệu thực Vì người áp dụng lý thuyết tập mờ phân cụm liệu để giải cho trường hợp Cách thức kết hợp gọi phân cụm mờ Phân cụm mờ phương pháp phân cụm liệu mà cho phép điểm liệu thuộc hai nhiều cụm Ruspini (1969) giới thiệu khái niệm phân hoạch mờ để mô tả cấu trúc cụm tập liệu đề xuất thuật toán để tính toán tối ưu phân hoạch mờ Dum (1973) mở rộng phương pháp phân cụm phát triển thuật toán phân cụm mờ Ý tưởng thuật toán xây dựng phương pháp phân cụm mờ dựa tối thiểu hóa hàm mục tiêu Bezdek (1981) cải tiến tổng quát hóa hàm mục tiêu mờ cách đưa trọng số mũ để xây dựng thuật toán phân cụm mờ chứng minh độ hội tụ thuật toán cực tiểu cục  Xây dựng sở luật: Để xây dựng luật, ta có số phương pháp Thông thường, cách đơn giản sử dụng phương pháp phân cụm, với tâm cụm nằm cụm đó, giá trị thuộc tính gần tâm cụm thuộc cụm Phương pháp tỏ hiệu liệu có giá trị rải giới hạn min-max thuộc tính Với liệu không trải đều, phương pháp phân cụm FCM tỏ hiệu 1.1.2.1 Thuật toán phân cụm mờ C-means Thuật toán C-means mờ hay gọi tắt thuật toán FCM (Fuzzy C means FCM) [2] xây dựng dựa lí thuyết tập mờ thường quan hệ thuộc phần tử tập có hai giá trị thuộc không thuộc Thuật toán chia tập n vectơ đối tượng liệu thành C nhóm tìm tâm cụm nhóm sử dụng hàm mục tiêu sau: (1.11) : độ thuộc phần tử thứ k vào cụm thứ j, m tham số mờ, Dữ liệu X chứa N phần tử , số cụm , tâm cụm Khoảng cách điểm đến trọng tâm thường tính khoảng cách Euclid (1.12) Dựa vào phương pháp Langrange, từ hàm mục tiêu, Bezdek tính độ thuộc tâm cụm sau: (1.13) ; (1.14) ; Sơ đồ thuật toán FCM: 10 tongne[i - 50000][j][0] = (chenhlech[i][0] - b[j][0]) / (cphay[0] - b[j][0]); } else { tongne[i - 50000][j][0] = 0; } if (chenhlech[i][1] >= aphay[1] && chenhlech[i][1] = b[j][1] && chenhlech[i][1] = aphay[2] && chenhlech[i][2] = b[j][2] && chenhlech[i][2] 0) { double tong0 = 0; for (int j = 0; j < C; j++) { tong0 += Ukj[i][j][0]; } tongUkj[i][0] = tong0; } if (minUkj[i][1] > 0) { 74 double tong1 = 0; for (int j = 0; j < C; j++) { tong1 += Ukj[i][j][1]; } tongUkj[i][1] = tong1; } if (minUkj[i][2] > 0) { double tong2 = 0; for (int j = 0; j < C; j++) { tong2 += Ukj[i][j][2]; } tongUkj[i][2] = tong2; } }” Tính theo công thức (2.13 2.15) “double[][] Osao = new double[10000][3]; for (int i = 0; i < minUkj.length; i++) { if (minUkj[i][0] > 0) { double tu = 0; for (int j = 0; j < C; j++) { tu += minUkj[i][0] * def[j][0]; } Osao[i][0] = tu / tongUkj[i][0]; //System.out.println((i+1)+" hoat)"); } else { double temp = 0; for (int j = 0; j < C; j++) { 75 "+Osao[i][0]+"(Co luat mo kich temp += w[i][j][0] * def[j][0]; } Osao[i][0] = temp; //System.out.println((i+1)+" "+temp); } //green if (minUkj[i][1] > 0) { double tu = 0; for (int j = 0; j < C; j++) { tu += minUkj[i][1] * def[j][1]; } Osao[i][1] = tu / tongUkj[i][1]; } else { double temp = 0; for (int j = 0; j < C; j++) { temp += w[i][j][1] * def[j][1]; } Osao[i][1] = temp; } //blue if (minUkj[i][2] > 0) { double tu = 0; for (int j = 0; j < C; j++) { tu += minUkj[i][2] * def[j][2]; } Osao[i][2] = tu / tongUkj[i][2]; } else { double temp = 0; 76 for (int j = 0; j < C; j++) { temp += w[i][j][2] * def[j][2]; } Osao[i][2] = temp; } }” Cuối tính giá trị dự báo MForecast(i) thời điểm i dựa tỉ lệ chênh lệch dự báo Oi* ,với M(i - 1) giá trị thực bước thứ (i – 1) theo công thức (2.16) “double[][] M = new double[10000][3]; for (int i = 0; i < 10000; i++) { M[i][0] = getRed(pixels[5][i]) * (1 + Osao[i][0]); M[i][1] = getGreen(pixels[5][i]) * (1 + Osao[i][1]); M[i][2] = getBlue(pixels[5][i]) * (1 + Osao[i][2]); }” Ta cần chuyển ma trận dạng ảnh RGB kết ảnh dự báo Tiếp theo chuyển mảng pixel thành mảng hai chiều: “double[][][] pixel = new double[100][100][C]; int vitri1 = 0; int vitri2 = 0; for (int i = 0; i < MfcR.length; i++) { if (i % 100 == && i != 0) { vitri1++; vitri2 = 0; } pixel[vitri1][vitri2][0] = MfcR[i]; 77 pixel[vitri1][vitri2][1] = MfcG[i]; pixel[vitri1][vitri2][2] = MfcB[i]; vitri2++; }” Cuối chuyển ma trận thành ảnh: “BufferedImage image = new BufferedImage(100, 100, BufferedImage.TYPE_INT_RGB); for (int x = 0; x < 100; x++) { for (int y = 0; y < 100; y++) { int r = (int) pixel[x][y][0], g = (int) pixel[x][y][1], b = (int) pixel [x][y][2]; if (r > 255) { r = 255; } if (r < 0) { r = 0; } if (g > 255) { g = 255; } if (g < 0) { g = 0; } if (b > 255) { b = 255; } if (b < 0) { b = 0; 78 } image.setRGB(x, y, new Color(r, g, b).getRGB()); } }” 79 KẾT LUẬN Kết đạt  Thu thập liệu ảnh mây vệ tinh  Tìm hiểu lý thuyết mờ mới(lý thuyết mờ trực cảm, mờ viễn cảnh)  Tìm hiểu thuật toán phân cụm mờ  Áp dụng phân cụm mờ viễn cảnh vào toán  Cài đặt thuật toán FC-PFS đánh giá kết thực nghiệm thuật toán FC-PFS dựa liệu ảnh thu thập Kết chưa đạt  Chỉ sử dụng phương pháp để giải toán  Chưa thay đổi nhiều tham số để đánh giá Định hướng phát triển  Sử dụng nhiều phương pháp khác để giải toán  Thay đổi nhiều tham số để đánh giá xác hiệu 80 81 TÀI LIỆU THAM KHẢO [1] Thong, P H Picture fuzzy clustering: a new computational intelligence method Soft Computing, 1-14 [2] Bezdek, J C., Ehrlich, R., & Full, W., FCM: The fuzzy c-means clustering algorithm, Computers & Geosciences (1984), 10(2), 191-203 [3] Cuong, B C., Son, L H., & Chau, H T M (2010, August) Some context fuzzy clustering methods for classification problems In Proceedings of the 2010 Symposium on Information and Communication Technology (pp 34-40) ACM [4] Thong, P H (2015) A New Approach to Multi-variable Fuzzy Forecasting Using Picture Fuzzy Clustering and Picture Fuzzy Rule Interpolation Method In Knowledge and Systems Engineering (pp 679-690) Springer International Publishing [5] Chaudhari, S., Patil, M., & Bambhori, J (2014) Study and review of fuzzy inference systems for decision making and control AIJRSTEM, 5(1), 88-92 [6] Chen, S.M., Chang, Y.C.: Multi-variable fuzzy forecasting based on fuzzy cluster-ing and fuzzy rule interpolation techniques Information Sciences 180(24), 4772-4783 (2010) 82 NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… 83 … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … ………………………………………………………………………………… … 84 ... việc dự báo sớm thảm họa thiên nhiên Phần đồ án đề cập tới thuật toán phân cụm mờ cải tiến dựa tập mờ viễn cảnh, hay gọi thuật toán phân cụm mờ viễn cảnh Từ đưa ứng dụng thuật toán phân cụm mờ toán. .. dự báo thời tiết, cụ thể phương pháp dự báo thời tiết kết hợp thuật toán phân cụm mờ hệ luật mờ Với cải tiến thuật toán, phương pháp mang lại kết dự báo xác Tên đề tài: Ứng dụng phân cụm mờ toán. .. XÂY DỰNG BÀI TOÁN DỰ BÁO ẢNH MÂY VỆ TINH 2.1 Phương pháp dự báo kết hợp phân cụm với luật mờ 26 2.2 Quy trình suy diễn mờ 27 2.3 Mô hình chế suy diễn 29 CHƯƠNG 3: CÀI ĐẶT THUẬT TOÁN VÀ ỨNG DỤNG