Thiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệu (Luận án tiến sĩ)

Thiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệuThiết kế cơ sở dữ liệu phân tán theo tiếp cận khai phá dữ liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG —{– - LƢƠNG VĂN NGHĨA THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN THEO TIẾP CẬN KHAI PHÁ DỮ LIỆU LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐÀ NẴNG – 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG —{– - LƢƠNG VĂN NGHĨA THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN THEO TIẾP CẬN KHAI PHÁ DỮ LIỆU Chuyên ngành: KHOA HỌC MÁY TÍNH M : LUẬN ÁN TIẾN SĨ KỸ THUẬT Ngƣời hƣớng dẫn khoa học: PGS.TS Lê Văn Sơn PGS.TS Đoàn Văn Ban ĐÀ NẴNG – 2019 i LỜI CAM ĐOAN Tôi xin cam đoan Luận án "Thiết kế sở liệu phân tán theo tiếp cận khai phá liệu” công trình nghiên cứu tơi thực hiện, hướng dẫn PGS.TS Lê Văn Sơn PGS.TS Đoàn Văn Ban Tôi cam đoan kết nghiên cứu trình bày luận án trung thực khơng chép từ luận án khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng Mọi trích dẫn có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả Lƣơng Văn Nghĩa ii MỤC LỤC LỜI CAM ĐOAN .i MỤC LỤC ii DANH MỤC CÁC CỤM TỪ VIẾT TẮT v DANH MỤC THUẬT NGỮ ANH - VIỆT vi DANH MỤC CÁC BẢNG viii DANH MỤC CÁC HÌNH .ix MỞ ĐẦU Chƣơng THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 TỔNG QUAN VỀ HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1.1 Các đặc điểm hệ sở liệu phân tán 1.1.2 Các mục tiêu hệ sở liệu phân tán .8 1.1.3 Kiến trúc hệ sở liệu phân tán 10 1.1.4 Các mơ hình hệ sở liệu phân tán 11 1.2 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN 12 1.2.1 Các chiến lƣợc thiết kế 12 1.2.2 Các vấn đề thiết kế sở liệu phân tán 14 1.2.3 Kỹ thuật thiết kế sở liệu phân tán 16 1.2.4 Các quy tắc phân mảnh đắn 18 1.2.5 Thảo luận thiết kế sở liệu phân tán 18 1.3 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN BẰNG CÁC KỸ THUẬT PHÂN MẢNH 19 1.3.1 Kỹ thuật phân mảnh ngang 20 1.3.2 Kỹ thuật phân mảnh dọc 25 1.3.3 Thuật toán phân mảnh FC 29 1.3.4 Kỹ thuật phân mảnh hỗn hợp 33 1.3.5 Thảo luận kỹ thuật phân mảnh 34 1.4 KẾT CHƢƠNG 36 Chƣơng PHÂN CỤM DỮ LIỆU TRONG THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN .38 iii 2.1 TIẾP CẬN KHAI PHÁ DỮ LIỆU 38 2.1.1 Khai phá tri thức khai phá liệu .38 2.1.2 Những thách thức khai phá liệu 40 2.1.3 Các toán khai phá liệu 41 2.2 KỸ THUẬT PHÂN CỤM TRONG KHAI PHÁ DỮ LIỆU 42 2.2.1 Kỹ thuật phân cụm 42 2.2.2 Các kiểu liệu độ đo phân cụm 44 2.2.3 Một số phƣơng pháp phân cụm liệu 48 2.2.4 Thảo luận kỹ thuật phân cụm 58 2.3 PHÂN MẢNH DỮ LIỆU DỰA VÀO KỸ THUẬT PHÂN CỤM 59 2.3.1 Đề xuất cải tiến thuật toán phân mảnh dọc VFC 60 2.3.2 Đề xuất cải tiến thuật toán phân mảnh ngang HFC 61 2.3.3 Đánh giá kết thực nghiệm 64 2.4 KẾT CHƢƠNG 70 Chƣơng THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN THEO PHÂN CỤM THÔ VÀ TỐI ƢU ĐÀN KIẾN 72 3.1 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN THEO TIẾP CẬN TẬP THƠ 72 3.1.1 Rời rạc hố liệu trích chọn thuộc tính theo tiếp cận tập thơ 73 3.1.2 Hệ thông tin 74 3.1.3 Quan hệ không phân biệt, bất khả phân biệt hệ thông tin 74 3.1.4 Thuộc tính vector đặc trƣng tham chiếu 75 3.2 PHÂN CỤM DỮ LIỆU PHÂN TÁN THEO TIẾP CẬN TẬP THÔ 76 3.2.1 Thuật tốn phân cụm thơ KR (K-Means Rough) 76 3.2.2 Kết thực nghiệm thuật tốn phân cụm thơ KR 80 3.3 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN THEO PHƢƠNG PHÁP TỐI ƢU ĐÀN KIẾN 83 3.3.1 Phƣơng pháp tối ƣu hóa đàn kiến 83 3.3.2 Từ đàn kiến tự nhiên đến đàn kiến nhân tạo 83 3.3.3 Thuật toán ACO tổng quát .84 3.3.4 Thuật toán hệ kiến AS 85 iv 3.3.5 Tổ chức liệu khái niệm độ đo 87 3.4 PHÂN CỤM DỮ LIỆU PHÂN TÁN THEO TIẾP CẬN TỐI ƢU ĐÀN KIẾN 89 3.4.1 Phân cụm liệu phân tán theo tiếp cận ACO 89 3.4.2 Đề xuất thuật toán phân mảnh dọc theo phân cụm đàn kiến 90 3.4.3 Kết thực nghiệm thuật toán đề xuất VFAC .95 3.5 KẾT CHƢƠNG 99 KẾT LUẬN 101 DANH MỤC CƠNG TRÌNH CỦA TÁC GIẢ TÀI LIỆU THAM KHẢO v DANH MỤC CÁC CỤM TỪ VIẾT TẮT TT Từ viết tắt Tiếng Anh Tiếng Việt ACO Ant Colony Optimization Tối ƣu hóa đàn kiến AS Ant System Hệ kiến BA Bottom Attributes Thuộc tính đáy BEA Bond energy algorithm Thuật toán lƣợng nối CA Clustered Affintity Ái lực tụ thuộc tính CFN Current Fragmentation Số mảnh Number FAC Fragmentation Ants Cluster Phân mảnh cho phân cụm kiến FC Fragmentation Cluster Phân mảnh cho phân cụm HFC Horizontal Fragmentation Phân cụm cho phân mảnh Cluster ngang Knowledge Discovery in Khám phá tri thức Database CSDL 10 KDD 11 KO Knowledge-Oriented Hƣớng tri thức 12 KPDL Data Mining Khai phá liệu 13 OCM Object-Condition Matrix Ma trận đối tƣợng-điều kiện 14 OFN Optimization Fragmentation Số mảnh tối ƣu Number 15 RST Rough Set Theory Lý thuyết tập thơ 16 TA Top Attributes Thuộc tính đỉnh 17 TSP Travelling Salesman Bài toán ngƣời chào hàng Problem 18 19 VFAC VFC Vertical Fragmentation Ants Phân cụm kiến cho phân Cluster mảnh dọc Vertical Fragmentation Phân cụm cho phân mảnh Cluster dọc vi DANH MỤC THUẬT NGỮ ANH - VIỆT TT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Access frequency Tần số truy xuất Affinity Ái lực quan hệ Allocation Cấp phát Analysis & decision support Phân tích hỗ trợ định Association rules Luật kết hợp Attribute affinity Ái lực thuộc tính Attribute affinity matrix Ma trận lực thuộc tính Big data Dữ liệu lớn Border object Đối tƣợng biên 10 Bottom-up approach Tiếp cận từ dƣới lên 11 Cardinality Lực lƣợng 12 Classification & prediction Phân lớp dự đoán 13 Cluster Affintity Matrix Ma trận lực cụm thuộc tính (CA) 14 Clustering Phân cụm 15 Concept description Mô tả khái niệm 16 Conceptual design Thiết kế khái niệm 17 Contribution Đóng góp 18 Core object Đối tƣợng lõi 19 Database machine Máy CSDL 20 Dense region Vùng dày đặc 21 Density based cluster Cụm dựa mật độ 22 Distributed processing Xử lý phân tán 23 Distribution transparency Trong suốt phân tán 24 Equi-join Nối 25 Fragmentation Phân mảnh 26 Fragmentation Transparency Trong suốt phân mảnh vii 27 Global affinity measure Số đo lực chung AM 28 Hetorogeneous DDBS Hệ CSDL phân tán không 29 Homogeneous DDBS Hệ CSDL phân tán 30 Horizontal Fragmentation Phân mảnh ngang 31 Hybrid Fragmentation Phân mảnh hỗn hợp 32 Minterm fragment Mảnh hội sơ cấp 33 Minterm predicate Vị từ hội sơ cấp 34 Minterm selectivity Độ tuyển hội sơ cấp 35 Net contribution Đóng góp thực 36 Noise object Đối tƣợng nhiễu 37 Outlier Phần tử ngoại lệ 38 Relevant Liên đới 39 Replication transparency Trong suốt nhân 40 Semi-join Nửa kết nối 41 Simple predicate Vị từ đơn 42 Top-down approach Tiếp cận từ xuống 43 Vertical fragmentation Phân mảnh dọc 44 View design Thiết kế khung nhìn viii DANH MỤC CÁC BẢNG Bảng 1.1 Ma trận giá trị sử dụng thuộc tính .27 Bảng 1.2 Ma trận lực thuộc tính AA 27 Bảng 2.1 Bảng kiện cho biến nhị phân [I] 46 Bảng 2.2 Ma trận khoảng cách đối tượng 50 Bảng 2.3 Ma trận khoảng cách cụm sau gom cụm bước 51 Bảng 2.4 Khoảng cách cụm sau gom cụm bước 51 Bảng 2.5 Khoảng cách cụm sau lần gom cụm 51 Bảng 2.6 Vector hóa ghi .62 Bảng 2.7 Ma trận OCM .62 Bảng 2.8 Bảng biểu diễn đối tượng (p1, p2, p6) 64 Bảng 2.9 Khoảng cách Euclide đối tượng 65 Bảng 2.10 Tập D gồm 20 đối tượng cần phân cụm 67 Bảng 2.11 So sánh kết với phân cụm k-Means VFC 68 Bảng 2.12 Kết phân mảnh ngang cải tiến HFC 69 Bảng 2.13 Kết phân mảnh ngang theo k-Medoids 70 Bảng 3.1 Tập D gồm 20 đối tượng cần phân cụm .81 Bảng 3.2 So sánh kết phân cụm thô KR k-Means 82 Bảng 3.3 Bảng tham số 87 Bảng 3.4 Tập liệu D gồm 20 giao tác 96 Bảng 3.5 So sánh kết với phân cụm k-Means với VFAC 98 ... Chƣơng THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 TỔNG QUAN VỀ HỆ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1.1 Các đặc điểm hệ sở liệu phân tán 1.1.2 Các mục tiêu hệ sở liệu phân tán .8 1.1.3... sở liệu phân tán 10 1.1.4 Các mơ hình hệ sở liệu phân tán 11 1.2 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN TÁN 12 1.2.1 Các chiến lƣợc thiết kế 12 1.2.2 Các vấn đề thiết kế sở liệu. .. liệu phân tán 14 1.2.3 Kỹ thuật thiết kế sở liệu phân tán 16 1.2.4 Các quy tắc phân mảnh đắn 18 1.2.5 Thảo luận thiết kế sở liệu phân tán 18 1.3 THIẾT KẾ CƠ SỞ DỮ LIỆU PHÂN