Cài đặt một số thuật toán phân cụm dữ liệu, áp dụng vào bài toán phân nhóm bệnh án của bệnh xơ gan để hỗ trợ điều trị

MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU 1.1 Khái niệm khai phá liệu .5 1.2 Kiến trúc hệ thống khai phá liệu .6 1.3 Các giai đoạn trình khai phá 1.4 Các phương pháp khai phá liệu 1.5 Các sở liệu phục vụ cho khai phá liệu .10 1.6 Các ứng dụng khai phá liệu 11 1.7 Các thách thức khó khăn khai phá liệu 12 CHƯƠNG TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 13 2.1 Khái niệm mục tiêu phân cụm liệu 13 2.1.1 Khái niệm phân cụm liệu 13 2.1.1.1 Mục tiêu phân cụm liệu 13 2.1.1.2 Các yêu cầu kỹ thuật phân cụm liệu 14 2.1.1.3 Các kiểu liệu thuộc tính phân cụm 14 2.1.2 Các kỹ thuật tiếp cận phân cụm liệu 16 2.1.2.1 Phương pháp phân cụm phân hoạch 16 2.1.2.3 Phương pháp phân cụm phân cấp .16 2.1.2.3 Phương pháp phân cụm dựa mật độ 17 2.1.2.4 Phân cụm dựa lưới 18 2.1.2.5 Phân cụm dựa mô hình 19 2.1.2.6 Phân cụm có liệu ràng buộc 19 2.1.3.Một số phương pháp phân cụm liệu .21 2.1.3.1 Các thuật toán phân cụm phân hoạch 21 2.1.3.2 Các thuật toán phân cụm phân cấp 27 2.1.3.3.Các thuật toán phân cụm dựa mật độ 28 2.1.3.4.Phân cụm dựa lưới .29 2.1.3.5.Phân cụm dựa mô hình .30 2.2 Phân cụm cụm mờ 31 2.2.1 Tổng quan phân cụm mờ 31 2.2.2 Các thuật toán phân cụm mờ 32 2.2.2.1 Thuật toán FCM (Fuzzy C-Means) 32 2.2.2.2 Thuật toán εFCM .34 2.2.2.3 Thuật toán FCM cải tiến 36 CHƯƠNG CHƯƠNG TRÌNH CÀI ĐẶT 44 3.1 Giới thiệu ngôn ngữ Visual Basic 6.0 44 3.1.1 Biểu mẫu số điều khiển thông dụng .44 3.1.2 Biểu mẫu (Form) 45 3.1.3 Nhãn (Label) 46 3.1.5 Nút lệnh (Command Button) 47 3.1.6 Ô nhập liệu (TextBox) 48 3.1.7 Các cấu trúc điều khiển VB .49 3.2 Cài đặt thuật toán 51 3.2.1.Một số giao diện 51 3.2.2 Nhận xét 54 3.3 Ứng dụng C-Means việc phân cụm bệnh án cho bệnh xơ gan .55 3.3.2 Một số bảng thao tác .59 3.3.3 Giao diện chương trình ứng dụng .62 KẾT LUẬN .68 TÀI LIỆU THAM KHẢO 70 LỜI NÓI ĐẦU Trong vài năm gần đây, với bùng nổ công nghệ thông tin mang lại nhiều hiệu thành công lớn khoa học hoạt động thực tế khác, có lĩnh vực khai phá liệu lĩnh vực mang lại hiệu thiết thực cho người Khai phá liệu giúp thu tri thức hữu ích từ sở liệu hay từ kho liệu khổng lồ khác Cơ sở liệu sử dụng đơn vị, tổ chức kinh doanh, quản lý khoa học chứa đựng nhiều thông tin tiềm ẩn, phong phú đa dạng đòi hỏi phải có phương pháp nhanh, phù hợp, xác, hiệu để lấy thông tin có ích để làm tư liệu trường hợp cụ thể người Những tri thức thu từ sở liệu nguồn thông tin hỗ trợ cho công việc chi tiết, cụ thể Việc tiến hành công việc thực trình phát tri thức sở tri thức ( Knowledge Discovery in Database) mà kỹ thuật khai phá liệu (Data Mining) cho phép phát tri thức tiềm ẩn Ngay từ ngày đầu xuất hiện, Data mining trở thành xu hướng nghiên cứu phổ biến lĩnh vực công nghệ tri thức nhiều thành tựu nghiên cứu Data mining áp dụng thực tế Data mining có nhiều hướng nghiên cứu quan trọng hướng khai phá liệu trình phân cụm liệu (Data Clustering) Phân cụm liệu hiểu trình tìm kiếm tri thức, phân tách (hay chuẩn hóa liệu) thành cụm hay tập liệu từ tập sở liệu lớn để thu nguồn thông tin có ích phục vụ cho nhu cầu thực tế người, tổ chức Qua thực tế cho thấy, việc thu thập thông tin quan trọng tiềm ẩn sở liệu lớn cần thiết Vì vậy, việc phân cụm liệu, trích lọc thông tin quan trọng phục vụ cho nhu cầu người mang lại nhiều lợi ích quan trọng góp phần giảm bớt lượng liệu dư thừa không cần thiết ứng dụng thực tế Bắt nguồn từ ý tưởng này, với gợi ý thầy giáo Trần Mạnh Tuấn, em thực đồ án “CÁI ĐẶT MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU, ÁP DỤNG VÀO BÀI TOÁN PHÂN NHÓM BỆNH ÁN CỦA BỆNH XƠ GAN ĐỂ HỖ TRỢ VIỆC ĐIỀU TRỊ ” Để có kết ngày hôm nay, em cố gắng nhiều, song phần lớn nhờ giúp đỡ bảo tận tình thầy giáo Th.s Trần Mạnh Tuấn Nhưng điều kiện thời gian có hạn nên việc tìm hiểu lĩnh vực nhiều hạn chế không tránh khỏi thiếu sót Vì em mong góp ý, bảo quý thầy cô bạn bè để báo cáo em hoàn thiện CHƯƠNG GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU Trong năm gần đây, Khai phá liệu trở thành hướng nghiên cứu tiếp cận thu hút quan tâm nhiều chuyên gia Công nghệ thông tin Việt Nam nói riêng chuyên gia giới nói chung Điều cho thấy ưu lợi ích, khả ứng dụng thực tế Khai phá liệu lớn Vì sau em xin đưa số khái niệm kiến thức Khai phá liệu 1.1 Khái niệm khai phá liệu Khai phá liệu lĩnh vực nghiên cứu nhằm tự động khai thác thông tin tri thức, tri thức hữu ích, tiềm ẩn từ CSDL lớn cho đơn vị tổ chức, doanh nghiệp,…Vậy khai phá liệu khám phá tri thức tiềm ẩn sở liệu lớn Cụ thể hơn, trình trích lọc, sản sinh thông tin mẫu không hiển nhiên, tiểm ẩn hữu ích từ sở liệu lớn Các kết nghiên cứu khoa học ứng dụng thành công phát tri thức cho thấy Khai phá tri thức lĩnh vực phát triển bền vững, mang lại nhiều lợi ích có nhiều triển vọng, đồng thời có ưu hẳn so với công công cụ tìm kiếm phân tích liệu truyền thống Khai phá liệu bước trình khám phá tri thức, gồm thuật toán khai thác liệu chuyên dụng số quy định hiệu tính toán chấp nhận để tìm mẫu mô hình liệu Hình 1: Quá trình khai phá liệu Vậy ta khái quát hóa khái niệm Khai phá liệu trình tìm kiếm, phát tri thức mới, hữu ích, tiềm ẩn CSDL lớn Cụ thể tiến trình lọc, sản sinh tri thức mẫu tiềm ẩn, chưa biết thông tin hữu ích từ sở liệu lớn 1.2 Kiến trúc hệ thống khai phá liệu Khai phá liệu trình rút trích thông tin bổ ích từ kho liệu lớn Khai phá liệu trình khai phá tri thức từ sở liệu Kiến trúc hệ thống khai phá liệu có thành phần sau: Hình 2: Kiến trúc hệ thống khai phá liệu  CSDL, kho liệu lưu trữ thông tin khác: hay tập CSDL, kiểu liệu hay dạng khác thông tin lưu trữ Các kỹ thuật làm liệu tích hợp liệu thực  Máy chủ CSDL (Database or Warehouse server): máy chủ có trách nhiệm lấy liệu thích hợp dựa yêu cầu khám phá người dùng  Cơ sở tri thức (Knowledge-base): miền tri thức dùng để tìm kiếm hay đánh giá độ quan trọng mẫu kết thu Tri thức bao gồm phân cấp khái niệm dùng để tổ chức thuộc tính hay giá trị thuộc tính mức trừu tượng khác  Máy khai phá liệu (Data mining enginne): hệ thống khai phá liệu cần phải có tập Modul chức để thực công việc kết hợp, phân lớp,phân cụm  Modul đánh giá mẫu (Parttern evaluation): Bộ phận tương tác với Modul khai phá liệu để tập trung vào việc duyệt tìm mẫu quan tâm Nó dùng ngưỡng độ quan tâm để lọc mẫu khám phá Cũng Modul đáng giá mẫu tích hợp vào Modul khai phá liệu, tùy theo cách cài đặt phương pháp khai phá liệu dùng  Giao diện đồ họa cho người dùng (Graphical user interface): phận cho phép người dùng giao tiếp với hệ thống khai phá liệu Thông qua giao diện người dùng tương tác với hệ thống cách đặc tả yêu cầu khai phá hay nhiệm vụ, cung cấp thông tin trợ giúp cho việc tìm kiếm thực việc khai phá thăm dò kết khai phá trung gian Ngoài ra, phận cho phép người dùng xem lược đồ CSDL, lược đồ kho liệu, đánh giá mẫu hiển thị mẫu khuôn dạng khác 1.3 Các giai đoạn trình khai phá Khai phá liệu giai đoạn quan trọng trình khám phá tri thức Về chất, giai đoạn tìm thông tin mới, thông tin tiềm ẩn có CSDL chủ yếu phục vụ cho mô tả dự đoán Mô tả liệu tổng kết diễn tả đặc điểm chung thuộc tính liệu kho liệu mà người hiểu Dự đoán dựa liệu thời để dự đoán quy luật phát từ mối liên hệ thuộc tính liệu sở chiết xuất mẫu, dự đoán giá trị chưa biết giá trị tương lai biến quan tâm Quá trình khai phá liệu thể hình sau: Hình 3: Quá trình khai phá liệu Trong :  Xác định nhiệm vụ: xác định xác vấn đề cần giải  Xác định liệu liên quan: Dùng để xây dựng giải pháp  Thu thập tiền xử lý liệu: Thu thập liệu liên quan tiền xử lý chúng cho thuật toán khai phá liệu hiểu Đây trình khó khăn, gặp phải nhiều vướng mắc như: liệu phải nhiều bản, quản lí tập liệu, phải lặp lặp lại nhiều lần toàn trình… Quá trình khai phá liệu trải qua ba bước: Bước 1: Lọc liệu thực trình tiền xử lý Đầu tiên tích hợp chỉnh sửa Dữ liệu thu thập từ nhiều nguồn khác nên có sai sót, dư thừa trùng lặp Lọc liệu cắt bỏ dư thừa để liệu định dạng thống Dữ liệu sau lọc chỉnh sửa nhỏ hơn, xử lý nhanh Bước 2: Khai phá liệu công việc chính, sử dụng thuật toán khác để khai phá kiến thức tiềm ẩn liệu Bước 3: trình ước lượng kết khai phá theo yêu cầu người dùng Các kết ước lượng quy tắc đó, kết cuối không thỏa mãn yêu cầu phải làm lại với kỹ thuật khác có kết mong muốn 1.4 Các phương pháp khai phá liệu Mục đích khai phá liệu chiết xuất tri thức có lợi cho kinh doanh hay cho nghiên cứu khoa học… Do đó, ta xem mục đích khai phá liệu mô tả kiện dự đoán Dự đoán liên quan đến việc sử dụng biến đối tượng (bản ghi) sở liệu để chiết xuất mẫu, dự đoán giá trị chưa biết giá trị tương lai biến đáng quan tâm Còn mô tả tập trung vào việc tìm kiếm mẫu mô tả liệu mà người hiểu Với hai mục đích khai phá liệu đó, người ta thường sử dụng phương pháp cho Khai phá liệu sau:  Luật kết hợp (Association rules)  Phân lớp (Classfication)  Hồi quy (Regression)  Trực quan hóa (Visualiztion)  Phân cụm (Clustering)  Tổng hợp (Summarization)  Mô hình ràng buộc (Dependency modeling)  Biểu diễn mô hình (Model Evaluation)  Phân tích phát triển độ lệch (Evolution and deviation analyst)  Phương pháp tìm kiếm (Search method) Trong số phương pháp khai phá liệu trên, có phương pháp sử dụng nhiều là: Luật kết hợp, Phân lớp liệu Phân cụm liệu Phân lớp liệu: Khái niệm phân lớp liệu Han Kamber đưa năm 2000 Phân lớp liệu xây dựng mô hình mà phân đối tượng thành lớp để dự đoán giá trị bị số thuộc tính liệu hay tiên đoán giá trị liệu xuất tương lai Quá trình phân lớp liệu thực qua bước: Dựa vào tập hợp liệu huấn luyện, xây dựng mô hình mô tả đặc trưng lớp liệu khái niệm, trình học có giám sát, học theo mẫu cung cấp trước Từ lớp liệu khái niệm xác định trước, dự đoán giá trị đối tượng quan tâm Một kỹ thuật phân lớp liệu Han Kamber đưa định Mỗi nút đại diện định dựa vào giá trị thuộc tính tương ứng Phân nhóm liệu: Phân nhóm kỹ thuật khai phá liệu tương tự phân lớp liệu nhiên, phân nhóm trình học không giám sát, trình nhóm đối tượng vào lớp tương đương, đối tượng nhóm phải tương đương khác với đối tượng khác nhóm khác Trong phân nhóm đối tượng, đối tượng nhóm lại dựa vào giống chúng Sự giống đối tượng xác định chức giống Thông thường giống định lượng khoảng cách độ đo khác xác định chuyên gia lĩnh vực 1.5 Các sở liệu phục vụ cho khai phá liệu Dựa vào kiểu liệu mà kỹ thuật khai phá áp dụng, chia liệu thành loại khác nhau: Cơ sở liệu quan hệ: Đến liệu lưu trữ dạng sở liệu quan hệ Cơ sở liệu quan hệ có cấu trúc cao, liệu mô tả tập thuộc tính lưu bảng Khai phá liệu sở liệu quan hệ chủ yếu tập trung khai phá mẫu Cơ sở liệu giao tác: tập hợp ghi giao dịch , đa số trường hợp chúng ghi liệu hoạt động doanh nghiệp, tổ chức Khai phá liệu sở liệu giao tác tập trung vào khai phá luật kết hợp tìm mối tương quan mục liệu ghi giao dịch Cơ sở liệu không gian: bao gồm hai phần: liệu quan hệ (hay giao tác) thông tin định vị (hoặc thông tin địa lý) Những luật kết hợp sở liệu không gian mô tả mối quan hệ đặc trưng sở liệu không gian Dạng luật kết hợp không gian có dạng X -> Y với 10 Stt Tên triệu chứng Hội chứng suy nhược thể(mệt mỏi, ăn) Kiểu triệu chứng Hệ số Giá trị Bình thường Thứ tự 0.06 Thể Thể nhiều Không đau Đau hạ sườn phải (hay Thứ tự 0.12 Hơi đau Đau đau vùng gan) Đau nhiều Không chướng Bụng chướng Thứ tự 0.02 Chướng Chướng nhiều Hoàng đảm (vàng da, vàng mắt) Bình thường Thứ tự 0.01 Thể Thể nhiều Bình thường Bờ gan Thứ tự 0.012 Mấp mô Thô Bình thường Lách Thứ tự 0.02 Hơi to Rất to Không có Dịch ổ bụng Thứ tự 0.05 Có Có nhiều Bình thường Đường mật Thứ tự 0.009 Giãn Giãn nhiều 56 0.001 Biliburin nước tiểu 1+ 2+ Thứ tự 3+ Bình thường 10 Tĩnh mạch thực quản Thứ tự 0.09 Giãn độ I Giãn độ II Giãn độ III 11 Chảy máu tiêu hóa Định danh 0.011 Không Có 12 WBC Số 0.008 3.8 - 5.5 13 RBC Số 0.002 4.0 – 9.0 14 HGB Số 0.007 110 - 450 15 HTC Số 0.013 35.0 – 75.0 16 Bilirubin Tp Số 0.02 – 17 17 Bilirubin TT Số 0.01 – 4.3 18 GOT Số 0.03 – 37 19 GPT Số 0.004 – 40 20 Protein dịch màng bụng Số 0.02 - 500 21 Xét nghiệm AlphFP Số 0.01 – 480.84 22 Độ giãn TMC Số 0.006 0–3 23 Phản ứng Rivalta Định danh 0.004 Có Không 57 24 Sốt Số 0.018 36- 42 25 Rối loạn tiêu hóa Định danh 0.002 Có Không 26 Chảy máu tiêu hóa Định danh 0.02 Không Có Gan teo 27 Kích thước gan Thứ tự 0.01 Gan to Gan nhiều khối Gan khối Gan bình thường Tăng âm thô Giảm âm thô Giảm âm 28 Thứ tự Nhu mô gan 0.09 Tăng giảm Thô Bình thường Dịch mật 29 Thứ tự Túi mật 0.021 Thành mật dày Dịch mật Bình thường Bảng : Các triệu chứng bệnh Xơ gan Theo ý kiến chuyên gia có kinh nghiệm bệnh Xơ gan chia thành nhóm bệnh điển hình 58 3.3.2 Một số bảng thao tác Hình 15: Bảng thông tin bệnh nhân Bảng chứa tất thông tin bệnh nhân Họ tên, Giới tính, Tuổi Địa 59 Hình 16: Bảng thông tin triệu chứng bệnh Xơ gan Bảng Triệu Chứng chứa thông tin triệu chứng Tên triệu chứng, Kiểu liệu, hệ số (được cung cấp chuyên gia) Gồm dấu hiệu hay biểu thường gặp bệnh nhân mắc bệnh xơ gan 60 Hình 17: Bảng bệnh án Bảng đưa thông tin bệnh nhân mắc phải triệu chứng với giá trị để hỗ trợ trình chẩn đoán bệnh nặng hay nhẹ bệnh nhân 61 Hình 18: Bảng liệu ban đầu Bảng chứa thông tin bệnh nhân với triệu chứng mà họ mắc phải, đồng thời chứa liệu (là đối tượng liệu) trước phân cụm kết sau phân cụm (khi giá trị cụm cập nhật lại) 3.3.3 Giao diện chương trình ứng dụng Trong chương trình này, tập trung vào thể thuật toán phân cụm ứng dụng nên em không chi tiết hệ thống quản lý chuyên sâu Vì em xin đưa số giao diện hỗ trợ trình phân cụm Dưới giao diện cập nhật thông tin cho bảng Bệnh nhân, với bảng người dùng thay đổi thông tin bệnh nhân Họ tên, Tuổi, Giới tính, Địa chỉ: 62 Hình 19: Giao diện cập nhật bảng Bệnh Nhân Tiếp theo giao diện cập nhật thông tin cho bảng Triệu chứng bệnh Tên triệu chứng, Kiểu triệu chứng, Hệ số (hay trọng số) 63 Hình 20: Giao diện cập nhật bảng Triệu Chứng Bảng bảng thông tin triệu chứng mà bệnh nhân mắc phải, với triệu chứng có kiểu triệu chứng khác nhau(kiểu số, kiểu định danh, kiểu thứ tự) có nhiều giá trị khác nhau, với bảng người dùng thay đổi giá trị triệu chứng mà bệnh nhân mắc phải 64 Hình 21: Giao diện cập nhật bảng Bệnh Án Với giao diện này, người dùng thấy hai bảng Một bảng tổng hợp thông tin lấy từ bảng trên, chứa tất thông tin bệnh án Họ tên bệnh nhân, giới tính, Tuổi, Địa chỉ, thông tin triệu chứng mà người mắc phải Bảng thứ bảng mà sau người dùng gõ vào số cụm bảng chứa thông tin bệnh án chọn làm tâm ban đầu, muốn thay đổi số tâm cần nhập lại 65 Hình 22: Giao diện chọn cụm khởi tạo Tâm (so cum =7) Trên giao diện chứa bảng liệu khởi tạo ( bảng Thông tin bệnh án) bao gồm tất thông tin bệnh án chưa phân cụm, với bảng lựa chọn tâm khởi tạo ban đầu ( bảng Tâm khởi tạo ) Để lựa chọn tâm ban đầu cần click vào Combobox Chon số cụm, bảng tâm khởi tạo chứa số ghi với số tâm chọn ban đầu Tiếp theo, để chạy chương trình ứng dụng, bạn cần click vào button Phancum bên cạnh, sau chờ kết Lúc giao diện hiển thị ma trận phân bố mờ thể mức độ phụ thuộc đối tượng liệu vào tâm (thể bảng Ma trận phân bố Mờ) Muốn thoát khỏi giao diện click vào button Thoát 66 Hình 23: Giao diện kết sau phân cụm Sau Click vào button PhanCum, giao diện hiển thị kết phân cụm ra, với cụm chứa nhiều bệnh án tùy vào mức độ phụ thuộc bệnh án vào tâm thời điểm nhiều hay 67 KẾT LUẬN Khai phá liệu lĩnh vực quan trọng, bao gồm nhiều lĩnh vực nhiều kỹ thuật khác Vì trình tìm hiểu hoàn thành đồ án tốt nghiệp với đề tài “CÀI ĐẶT MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU, ÁP DỤNG VÀO BÀI TOÁN PHÂN NHÓM BỆNH ÁN CỦA BỆNH XƠ GAN ĐỂ HỖ TRỢ VIỆC ĐIỀU TRỊ”, dù đạt số kết định, em nhận thấy phân cụm liệu Khai phá liệu nói chung phân cụm liệu mờ nói riêng lĩnh vực nghiên cứu lớn có nhiều triển vọng để áp dụng ngành khác Nội dung đồ án em lần chủ yếu đề cập đến Phân cụm liệu, lĩnh vực quan trọng, giai đoạn cần thiết trình khai phá liệu phát tri thức từ nhiều nguồn liệu khác nhau, cung cấp liệu dạng ngắn sàng lọc cho ngành Y học, xử lý ảnh, sinh học, an ninh, … Trong thời gian vừa qua em đạt số kết sau: - Nắm bắt số khái niệm khai phá liệu, phân cụm liệu - Các ứng dụng liên quan việc Phân cụm liệu - Cài đặt thuật toán phân cụm mô - Cài đặt ứng dụng áp dụng thuật toán C-Means - Cài đặt chương trình ứng dụng Hạn chế đề tài: - Chương trình ứng dụng chưa áp dụng thực tế - Thuật toán chưa tối ưu - Dữ liệu đầu vào hạn chế Trên sở nghiên cứu tìm hiểu đồ án lần em đưa số điểm đạt điểm hạn chế đề tài Vì hướng nghiên cứu tiếp theo: - Tiếp tục nghiên cứu sâu thuật toán phân cụm liệu 68 - Đưa chương trình hoàn thiện để áp dụng vào thực tế Trong trình tìm hiểu cài đặt, em cố gắng tập trung tìm hiểu tham khảo tài liệu liên quan Tuy nhiên, thời gian có hạn nên em không tránh khỏi thiếu sót, mong nhận đóng góp ý kiến quý thầy cô bạn để báo cáo chương trình em ngày hoàn thiện áp dụng thực tế 69 TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh [1] Janos Aboyi and Robert Babuska and Ferene Szeifert, Modified gathGeva Fuzzy Clustering for Indentification of Takagi-Sugeno Fuzzy Models [2] Jing Sun, Qiuyu Zhang and Zhang Yuan, Fuzzy Clustering Algorithm based on Factor Analysis anh its Application to Mail Filtering [3] Jiawei Han and Micheline Kamber, Data Mining [4] Janos Abonyi, Sandor Migaly and Ferene Szeifert, Fuzzy Self- Organzing Map based on Regularized Fuzzy C-means Clusering [5] M.Sridharan, N.Gururanjan, and A.M.S ramasamy, Fuzzy clustering analysis to study geomagnetic coastal effects [6] Uzay KayMak and Magne Setnes, Extend Fuzzy Clustering Algorithms Tài liệu tiếng Việt [1] An Hồng Sơn, Nghiên cứu số phương pháp phân cụm mờ [2] Đinh Xuân Lâm, Sách Visual Basic cho sinh viên kỹ thuật viên Khoa Công nghệ thông tin, NXB Thống kê [3].Nguyễn thị Kiều Duyên, Lập trình Visual Basic, NXB Trẻ Trang Web [1] http://home.dei.polimi.it/matteucc/Clustering/tutorial_html/kmeans.htm [2] http://en.wikipedia.org/wiki/K-means_clustering [3].http://www.docjax.com/document/view.shtml?id=976349&title=Geodesic %20 K-means%20Clustering [4] http://ebooks.com [5] http://haiphongit.com 70