Nghiên cứu khai phá luật kết hợp trong cơ sở dữ liệu địa lý

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG LÊ THỊ HỒNG NGHIÊN CỨU KHAI PHÁ LUẬT KẾT HỢP TRONG CƠ SỞ DỮ LIỆU ĐỊA LÝ LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2011 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG LÊ THỊ HỒNG NGHIÊN CỨU KHAI PHÁ LUẬT KẾT HỢP TRONG CƠ SỞ DỮ LIỆU ĐỊA LÝ Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS ĐẶNG VĂN ĐỨC Thái Nguyên – 2011 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn i LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành tới PGS TS Đặng Văn Đức - người thầy tận tình hướng dẫn tơi suốt thời gian hoàn thành luận văn, đồng thời người cho định hướng ý kiến quý báu lĩnh vực nghiên cứu Tơi xin bày tỏ lịng cảm ơn sâu sắc tới thầy cơ, bạn bè khóa, lớp giúp đỡ suốt năm học qua Xin cảm ơn gia đình, bạn bè, người ln khuyến khích, động viên giúp đỡ tơi hồn cảnh khó khăn Tơi xin cảm ơn thầy trường Đại học Công nghệ thông tin & truyền thông, Đại học Thái Nguyên, thầy cô đồng nghiệp khoa Công nghệ thông tin & truyền thông, trường Đại học Hồng Đức, Thanh Hóa tạo điều kiện cho tơi q trình học làm luận văn Luận văn hoàn thành thời gian hạn hẹp nên tránh thiếu sót Tơi xin cảm ơn thầy cơ, bạn bè, đồng nghiệp có ý kiến đóng góp chân thành cho nội dung luận văn, để tiếp tục sâu tìm hiểu lĩnh vực tương lai Thái Nguyên, 9/2011 Lê Thị Hồng honglt_hd@yahoo.com.vn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn ii LỜI CAM ĐOAN Tôi xin cam đoan kết đạt đƣợc luận văn sản phẩm riêng cá nhân tôi, không chép lại ngƣời khác Trong toàn nội dung luận văn, điều đƣợc trình bày riêng cá nhân tôi, đƣợc tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo đƣợc dùng có xuất xứ rõ ràng, đƣợc trích dẫn hợp pháp Tơi xin chịu hồn tồn trách nhiệm chịu hình thức kỉ luật theo quy định cho lời cam đoan Thái Nguyên, 9/2011 Lê Thị Hồng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn iii MỤC LỤC TRANG Trang phụ bìa Lời cảm ơn i Lời cam đoan ii Mục lục iii Danh mục ký hiệu, chữ viết tắt iv Danh mục bảng vi Danh mục hình (hình vẽ, ảnh chụp, đồ thị ) vii MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN VỀ DỮ LIỆU KHÔNG GIAN VÀ KHAI PHÁ DỮ LIỆU KHÔNG GIAN 1.1 Cơ sở liệu địa lý 1.1.1 Quan hệ không gian ràng buộc tồn vẹn khơng gian 1.1.2 Phụ thuộc địa lý 1.1.3 Geo-Ontology ràng buộc tồn vẹn khơng gian 10 1.2 Luật kết hợp 11 1.3 Luật kết hợp không gian .17 1.4 Tình hình nghiên cứu khai phá luật kết hợp không gian 18 1.5 Khai phá luật kết hợp sở liệu địa lý 21 1.5.1 Phụ thuộc địa lý đối tƣợng đích đối tƣợng liên quan 21 1.5.1.1 Phụ thuộc địa lý luật không đáng quan tâm 21 1.5.1.2 Phụ thuộc địa lý kết nối không gian .24 1.5.2 Phụ thuộc địa lý đối tƣợng liên quan 26 1.5.3 Phụ thuộc địa lý đối tƣợng liên quan mức khác 28 CHƢƠNG 2: MỘT SỐ THUẬT TOÁN KHAI PHÁ LUẬT KẾT HỢP KHÔNG GIAN 34 2.1 Giới thiệu 34 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn iv 2.2 Tiền xử lý liệu không gian phục vụ cho khai phá liệu 36 2.2.1 Tiền xử lý liệu, thuật toán cắt tỉa liệu không gian đầu vào 37 2.2.2 Đánh giá thuật tốn cắt tỉa liệu khơng gian đầu vào .40 2.3 Các thuật toán khai phá luật kết hợp không gian 41 2.3.1 Thuật toán tạo tập thƣờng xuyên 41 2.3.1.1 Thuật toán Apriori – KC .42 2.3.1.2 Đánh giá thuật toán Apriori – KC .46 2.3.2 Thuật toán tạo tập thƣờng xuyên không dƣ thừa cực đại 47 2.3.2.1 Phụ thuộc địa lý tập thƣờng xun đóng 48 2.3.2.2 Thuật tốn Max-FGP 50 CHƢƠNG 3: CÀI ĐẶT CHƢƠNG TRÌNH THỬ NGHIỆM 53 3.1 Giới thiệu 53 3.2 Lựa chọn công nghệ .53 3.2.1 Công cụ biên tập, lƣu trữ thể tầng liệu đồ 53 3.2.2 Ngơn ngữ lập trình hệ quản trị CSDL 55 3.3 Thiết kế chƣơng trình .56 3.4 Dữ liệu thử nghiệm 58 3.5 Cài đặt chƣơng trình .59 3.5.1 Dữ liệu đầu vào 60 3.5.2 Mô đun tiền xử lý liệu không gian 61 3.5.3 Các thuật toán khai phá luật kết hợp không gian .65 3.6 Đánh giá kết thử nghiệm 67 KẾT LUẬN .67 TÀI LIỆU THAM KHẢO 70 PHỤ LỤC 73 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT CSDL Cơ sở liệu GKB Geographic Knowledge Base OGC Open Gis Consortium GIS Geographic information system GeoARM Geographic Association Rule Miner SQL Structured Query Language JDBC Java Database Connectivity ODBC Open Database Connectivity GUI Graphical User Interface ER Entity Relationship OO Object Oriented GPS Global Positioning System Max-FGP Maximal Frequent Geographic Patterns Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn vi DANH MỤC CÁC BẢNG Bảng 1.1: Tập liệu đƣợc tiền xử lý cho khai phá tập thƣờng xuyên luật kết hợp không gian 22 Bảng 1.2: Các tập thƣờng xuyên có độ hỗ trợ 50% 22 Bảng 1.3: Các tập thƣờng xuyên luật có phụ thuộc 23 Bảng 1.4: Các tập thƣờng xuyên đóng 24 Bảng 1.5:Các quan hệ topo theo ngữ cảnh đối tƣợng địa lý 24 Bảng 1.6: Các quan hệ topo khả sử dụng khai phá liệu 25 Bảng 1.7: Các tập thƣờng xuyên có độ hỗ trợ = 50% 27 Bảng 1.8: Các luật kết hợp tạo từ tập thƣờng xun có kích thƣớc 2,3,4 có chứa phụ thuộc 28 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn vii DANH MỤC CÁC HÌNH Hình 1.1: Lƣu trữ liệu địa lý CSDL quan hệ Hình 1.2: Quan hệ không gian tiềm ẩn .5 Hình 1.3: Quan hệ khơng gian có phụ thuộc địa lý biết .6 Hình 1.4: Các quan hệ không gian Hình 1.5: Một phần lƣợc đồ CSDL địa lý mức khái niệm logic Hình 1.6: Thể geo-ontology 11 Hình 1.7: Tập liệu có tập thƣờng xuyên với minsup = 50% 13 Hình 1.8: Tập liệu có tập thƣờng xun đóng có minsup=50% 15 Hình 1.9: Quan hệ khoảng cách thực tế quan hệ điểm trung tâm 19 Hình 1.10: Phân cấp khái niệm nguồn nƣớc 29 Hình 1.11: a) Tập liệu có nguồn nƣớc mức b) Các tập thƣờng xuyên với minsup=30% 31 Hình 1.12: a) Tập liệu có nguồn nƣớc mức b) Các tập thƣờng xuyên với minsup 30% 33 Hình 2.1 Sơ đồ khai phá luật kết hợp không gian từ CSDL địa lý 25 Hình 2.2: Giả mã thuật tốn trích chọn phụ thuộc từ lƣợc đồ CSDL 36 Hình 2.3: Giả mã thuật toán tiền xử lý liệu 38 Hình 2.4 Tập liệu có tập thƣờng xuyên với minsnup= 50% 40 Hình 2.5: Đồ thị thể tập thƣờng xuyên có phụ thuộc {D} (trái) tập thƣờng xun khơng có phụ thuộc {D} (phải) 41 Hình 2.6: Thuật tốn Apriori – KC tạo tập thƣờng xun khơng có phụ thuộc biết 43 Hình 2.7: Đồ thị thể tập thƣờng xuyên có phụ thuộc {A, W} (trái) tập thƣờng xun khơng có phụ thuộc {A, W} (phải) 46 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn viii Hình 2.8: Đồ thị thể tập thƣờng xuyên có phụ thuộc {D} {A, W} (trái) tập thƣờng xun khơng có phụ thuộc {D} {A, W} (phải) 47 Hình 2.9: Các tập thƣờng xuyên tập thƣờng xuyên đóng 48 Hình 2.10: Đồ thị thể tập thƣờng xuyên đóng có phụ thuộc biết (trái) tập thƣờng xun đóng khơng có phụ thuộc biết (phải) 49 Hình 2.11: Đồ thị thể tập thƣờng xuyên phụ thuộc biết tập thƣờng xuyên khơng dƣ thừa cực đại khơng có phụ thuộc biết (phải) 51 Hình 2.12: Giả mã thuật toán Max-FGP 52 Hình 3.1: Quá trình khai phá luật kết hợp từ CSDL địa lý chƣơng trình Weka-geo 57 Hình 3.2: Một lƣợc đồ CSDL địa lý 58 Hình 3.3: Cấu trúc lƣu trữ liệu dịa lý OGC 61 Hình 3.4: Giao diện kết nối CSDL 61 Hình 3.5: Giao diện tiền xử lý liệu địa lý 62 Hình 3.6: Giao diện tạo cặp phụ thuộc địa lý 63 Hình 3.7: Message khơng tìm thấy quan hệ khơng gian 64 Hình 3.8: Message file arff đƣợc tạo 65 Hình 3.9: Giao diện thẻ Association thuật toán khai phá luật kết hợp 66 Hình 3.10: Giao diện xuất kết thuật tốn khai phá luật kết hợp khơng gian 66 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc-tnu.edu.vn ...thuộc địa lý đối tƣợng địa lý Chƣơng giới thiệu khái quát luật kết hợp, luật kết hợp khơng gian, tình hình nghiên cứu khai phá luật kết hợp không gian, phƣơng pháp khai phá luật kết hợp không ... 10 1.2 Luật kết hợp 11 1.3 Luật kết hợp không gian .17 1.4 Tình hình nghiên cứu khai phá luật kết hợp không gian 18 1.5 Khai phá luật kết hợp sở liệu địa lý 21...luận văn quan tâm đến phƣơng pháp khai phá luật kết hợp Thực khai phá file liệu số phƣơng pháp khai phá luật kết hợp truyền thống phƣơng pháp khai phá luật kết hợp không gian Apriori-KC đƣợc