Tóm tắt dữ liệu quan hệ sử dụng phương pháp phân cụm bán giám sát dựa trên giải thuật di truyền

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐỖ THỊ HỒ TĨM TẮT DỮ LIỆU QUAN HỆ SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM BÁN GIÁM SÁT DỰA TRÊN GIẢI THUẬT DI TRUYỀN LUẬN VĂN THẠC SĨ Hà Nội – 2011 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ ĐỖ THỊ HỒ TĨM TẮT DỮ LIỆU QUAN HỆ SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM BÁN GIÁM SÁT DỰA TRÊN GIẢI THUẬT DI TRUYỀN Ngành: Công nghệ phần mềm Mã số: 60 48 10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HOÀNG XUÂN HUẤN Hà Nội – 2011 MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC BẢNG BIỂU MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 11 Giới thiệu 11 Biểu diễn liệu 12 Độ tương đồng 13 Các phương pháp phân cụm liệu không giám sát 15 1.4.1 Các phương pháp phân hoạch 16 1.4.2 Các phương pháp phân cấp 19 1.4.3 Phương pháp phân cụm dựa mật độ 24 1.4.4 Các phương pháp phân cụm dựa lưới 27 1.5 Các phương pháp cụm liệu bán giám sát 29 1.5.1 Giới thiệu 29 1.5.2 Thuật toán phân cụm bán giám sát K-means 30 1.1 1.2 1.3 1.4 CHƯƠNG 2: GIẢI THUẬT DI TRUYỀN 34 2.1 Giới thiệu 34 2.2 Giải thuật di truyền cổ điển 34 2.2.1 Phương pháp mã hoá giải mã 36 2.2.2 Thủ tục chọn lọc 36 2.2.3 Quá trình tái tạo 37 2.2.4 Sự hội tụ GA 38 2.2.5 Ví dụ 38 2.3 Biểu diễn véc tơ số thực 40 2.3.1 Các toán tử tương giao chéo 41 2.3.2 Các toán tử biến dị 41 2.3.3 Ứng dụng GA thuật toán phân cụm 41 CHƯƠNG 3: TÓM TẮT DỮ LIỆU QUAN HỆ SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM BÁN GIÁM SÁT DỰA TRÊN GIẢI THUẬT DI TRUYỀN 43 3.1 Giới thiệu 43 3.2 Chuyển đổi liệu 44 3.2.1 Giới thiệu 44 3.2.2 Cơ sở liệu quan hệ 45 3.2.3 Quá trình mã hóa mẫu tin thành số nhị phân 46 3.3 Dữ liệu đại diện mơ hình khơng gian Vector 50 3.4 Tổng kết liệu cách phân cụm 51 3.5 Kỹ thuật phân cụm bán giám sát 52 3.6 Kỹ thuật phân cụm bán giám sát dựa giải thuật di truyền 54 3.6.1 Giảm liệu gieo hạt 54 3.6.2 Thuật toán phân cụm dựa giải thuật di truyền 55 CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM THUẬT TOÁN 58 4.1 Giới thiệu 58 4.2 Chương trình liệu thử nghiệm 58 4.2.1 Module 58 4.2.2 Module 60 4.3 Kết thử nghiệm 70 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 TÀI LIỆU THAM KHẢO 73 TÓM TẮT DỮ LIỆU QUAN HỆ SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM BÁN GIÁM SÁT DỰA TRÊN GIẢI THUẬT DI TRUYỀN Học viên: Đỗ Thị Hòa Đơn vị công tác: Trường Đại học Công nghiệp TP.HCM – Cơ sở đào tạo Thái Bình Email:dtkhkhtn@gmail.com GVHD: Hồng Xn Huấn Đơn vị công tác: Khoa CNTT – Trường Đại học Công nghệ - Đại học QGHN Email: huanhx@vnu.edu.vn Từ khóa: Khai phá liệu, thuật tốn phân cụm liệu, giải thuật di truyền, sở liệu quan hệ, Kmeans, tóm tắt liệu quan hệ GIỚI THIỆU BÀI TỐN Trong việc giải tốn phân cụm khai phá liệu quan hệ, phương pháp truyền thống thường yêu cầu liên kết liệu lưu nhiều bảng thành bảng Khi đó, bảng liệu thu có kích thước vô lớn Để truy vấn, phải sử dụng phép toán đại số quan hệ tối ưu phép toán phương pháp tối ưu truy vấn heuristic tức tìm cách thực phép chiếu, phép chọn trước phép tốn ngơi Trong số trường hợp nối nhiều bảng gây thơng tin trùng lặp liệu Do đó, chuyển đổi liệu trở thành phức tạp tóm tắt liệu thường hiệu Mặt khác, việc áp dụng phương pháp tóm tắt liệu khai phá liệu lưu nhiều bảng có quan hệ một-nhiều thường bị hạn chế phức tạp lược đồ sở liệu Để khắc phục vấn đề nêu trên, luận văn nghiên cứu phương pháp tiếp cận: Sử dụng kỹ thuật phần cụm bán giám sát dựa giải thuật di truyền để tóm tắt liệu lưu nhiều bảng Nghiên cứu dựa ý tưởng nghiên cứu Rayner Alfred Kết thuật toán áp dụng phân cụm cho liệu thử nghiệm suất lúa NỘI DUNG LUẬN VĂN Để giải vấn đề trên, luận văn tơi trình bày cụ thể thuật toán phân cụm liệu, đánh giá ưu, nhược điểm phương pháp, từ chọn ta hướng tiếp cận sử dụng phương pháp phân cụm bán giám sát dựa giải thuật di truyền để tóm tắt liệu Đồng thời, luận văn tơi trình bày cách có hệ thống kiến thức phân cụm liệu bán giám sát với liệu đầu vào bảng có quan hệ – nhiều, cụ thể: - Cách liên kết mẫu tin lưu nhiều bảng có quan hệ – nhiều - Cách tạo vectơ mẫu từ ma trận tần suất liệu đầu vào thuật toán phân cụm bán giám sát Bên cạnh đó, luận văn tập chung sâu nghiên cứu cách ứng dụng giải thuật di truyền vào toán phân cụm bán giám sát Bao gồm: - Cách giảm liệu gieo hạt - Cách khởi tạo quần thể cá thể Đặc biệt, luận văn tơi xây dựng thành cơng chương trình tóm tắt liệu quan hệ từ sở liệu quan hệ chứa nhiều bảng có quan hệ – nhiều Nghiên cứu áp dụng để tóm tắt liệu quan hệ tập liệu thử nghiệm suất lúa Trong trình xây dựng ứng dụng, tơi tập trung xây dựng hai module quan trọng là: - Module 1: Tạo vectơ, module có nhiệm vụ chuyển đổi tệp liệu chứa ma trận thành liệu chứa vectơ tương ứng với ghi đích - Module 2: Phân cụm, module phân cụm vectơ đầu vào thành K cụm dựa đặc trưng vectơ Kết thu cách phân cụm tốt cách chọn hàm mục tiêu tốt KẾT LUẬN Với việc sử dụng thuật toán phân cụm bán giám sát dựa giải thuật di truyền, luận văn giới thiệu toán tóm tắt liệu quan hệ từ bảng có quan hệ một-nhiều Nghiên cứu trình chuyển đổi liệu cách chuyển đại diện liệu lưu trữ sở liệu quan hệ sang định dạng khơng gian vectơ thích hợp phân cụm Luận văn giới thiệu phương pháp học bán giám sát để có cụm tối ưu Các kết thu nghiên cứu cho phân cụm tự động cách tối ưu kết hợp cụm phân tán cụm tạp chất thu kết tốt so với phân cụm truyền thống Tuy nhiên, kết tốt đạt cách tối ưu hoá giá trị kết hợp hai cụm phân tán cụm tạp chất, cách đặt trọng số vào cụm Hướng pháp triển tương lai: Trong thời gian tới, khảo sát mịn cặp giá trị vô hướng (β, α) hàm mục tiêu (OFF) từ tìm cách cực đại hóa hàm mục tiêu Việc áp dụng thuật giải di truyền vào trình phân cụm tỏ hiệu quả, điều nảy sinh ý tưởng sử dụng giải thuật di truyền từ giai đoạn tạo liệu đầu vào cho thuật toán phân cụm Một vấn đề xây dựng tập liệu, đặc biệt sở liệu quản lý sinh viên trường đại học quản lý khách hàng ngân hàng Việc cải tiến chất lượng phân cụm cho tập liệu không gian nhiều chiều vấn đề mà quan tâm tới  ... thuật phân cụm bán giám sát 52 3.6 Kỹ thuật phân cụm bán giám sát dựa giải thuật di truyền 54 3.6.1 Giảm liệu gieo hạt 54 3.6.2 Thuật toán phân cụm dựa giải thuật di truyền. .. hướng tiếp cận sử dụng phương pháp phân cụm bán giám sát dựa giải thuật di truyền để tóm tắt liệu Đồng thời, luận văn trình bày cách có hệ thống kiến thức phân cụm liệu bán giám sát với liệu đầu vào... LUẬN VÀ HƯỚNG PHÁT TRIỂN 72 TÀI LIỆU THAM KHẢO 73 TÓM TẮT DỮ LIỆU QUAN HỆ SỬ DỤNG PHƯƠNG PHÁP PHÂN CỤM BÁN GIÁM SÁT DỰA TRÊN GIẢI THUẬT DI TRUYỀN Học viên: Đỗ Thị Hòa Đơn vị cơng