Tối ưu hóa truy vấn trong hệ cơ sở dữ liệu phân tán quản lý dân cư một tỉnh

BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC CẦN THƠ LÊ VĂN TOÁN T Ố I Ư U H Ó A T RU Y VẤ N T R O NG H Ệ C Ơ S Ở D Ữ L I Ệ U P H  N T Á N QUẢN LÝ DÂN CƯ MỘT TỈNH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Cần Thơ – 2010 BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC CẦN THƠ LÊ VĂN TỐN T Ố I Ư U H Ĩ A T RU Y VẤ N T R O NG H Ệ C Ơ S Ở D Ữ L I Ệ U P H  N T Á N QUẢN LÝ DÂN CƯ MỘT TỈNH Chuyên ngành: HỆ THỐNG THÔNG TIN Mã số: 60 48 05 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học TS PHẠM THỊ XUÂN LỘC Cần Thơ - 2010 LỜI CAM ðOAN Tơi xin cam đoan luận văn hồn thành kết nghiên cứu Các công việc nghiên cứu nội dung thực luận văn chưa ñược nộp ñể lấy cấp từ trường nào; ngoại trừ lý thuyết kết từ cơng trình khác ghi rõ phần tài liệu tham khảo luận văn Cần Thơ, ngày 06 tháng 10 năm 2010 Ký tên, Lê Văn Tốn Trang i LỜI CẢM ƠN ðề đài “Tối ưu hóa truy vấn hệ sở liệu phân tán Quản lý dân cư tỉnh” ñến ñã ñược hoàn thành sau thời gian nghiên cứu thực ðể đạt kết hơm nay, xin chân thành cảm ơn: Ts Phạm Thị Xuân Lộc, Giảng viên Khoa Công Nghệ Thông Tin Truyền Thơng tận tình hướng dẫn tơi suốt thời gian thực luận văn Cơ cung cấp cho tơi khơng tài liệu, kiến thức, đọc góp ý, chỉnh sửa báo cáo mà truyền kinh nghiệm q báu, cho lời khun động viên tơi suốt trình thực luận văn Xin chân thành nói lời cảm ơn đến Thầy trường ðại Học Cần Thơ cung cấp cho tơi nhiều kiến thức quý báu năm qua Cũng Ban Chủ Nhiệm Khoa Kỹ Thuật – Công Nghệ - Môi Trường, Trường ðại Học An Giang ñã tạo ñiều kiện kiến thức, tài liệu, thời gian kinh phí cho tơi suốt hai năm học Và cuối cùng, xin cám ơn cha, mẹ, anh em gia đình hỗ trợ, lo lắng động viên ðồng thời xin chân thành cảm ơn anh, chị lớp Cao học K15 ñã ñộng viên, giúp ñỡ trình thực luận văn Học viên Lê Văn Tốn, MSHV 250817 Lớp Cao học Hệ thống thơng tin K15 Trang ii MỤC LỤC LỜI CAM ðOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH vi DANH MỤC TỪ VIẾT TẮT viii TÓM TẮT ix ABSTRACT x CHƯƠNG 1: GIỚI THIỆU 1.1 Mở ñầu 1.1.1 ðặt vấn ñề 1.1.2 Hướng giải 1.1.3 Mục đích nghiên cứu đề tài 1.1.4 ðối tượng phạm vi nghiên cứu .4 1.1.5 Ý nghĩa thực tiễn ñề tài 1.2 Các vấn ñề liên quan 1.2.1 Trong nước 1.2.2 Ngoài nước 1.3 Các nội dung .6 CHƯƠNG 2: TỔNG QUAN HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU PHÂN TÁN 2.1 Các khái niệm hệ sở liệu phân tán .7 2.1.1 ðịnh nghĩa sở liệu phân tán 2.1.2 Phân loại sở liệu phân tán 2.1.2.1 Cơ sở liệu phân tán 2.1.2.2 Cơ sở liệu phân tán không 2.1.3 Các mức suốt CSDLPT .9 2.2 Các khái niệm hệ quản trị sở liệu phân tán 10 2.2.1 Khái niệm 10 2.2.2 Tập phần mềm hệ quản trị CSDLPT 10 2.2.3 Các phương thức truy cập liệu từ xa 11 2.3 Các hệ quản trị sở liệu phân tán thường gặp 14 2.3.1 Hệ quản trị sở liệu phân tán kiểu Client/Server 14 2.3.2 Hệ quản trị sở liệu phân tán ngang hàng 15 2.4 Thiết kế hệ sở liệu phân tán 16 Trang iii 2.4.1 Các chiến lược thiết kế .16 2.4.1.1 Thiết kế phân tán liệu theo mơ hình từ xuống .16 2.4.1.2 Thiết kế phân tán liệu theo mơ hình từ lên 17 2.4.2 Các qui tắc phân mảnh .17 2.4.3 Các yêu cầu thông tin 18 2.4.4 Các kiểu nhân 18 2.4.5 Các kiểu phân mảnh 19 2.4.5.1 Phân mảnh theo chiều ngang 19 2.4.5.2 Phân mảnh theo chiều dọc 22 2.4.5.3 Phân mảnh hỗn hợp 23 CHƯƠNG 3: TỐI ƯU HOÁ CÂU TRUY VẤN PHÂN TÁN 25 3.1 Q trình tối ưu hố truy vấn 25 3.2 Khơng gian tìm kiếm 26 3.3 Chiến lược tìm kiếm 27 3.4 Mơ hình chi phí phân tán 29 3.4.1 Hàm chi phí 29 3.4.1.1 Cơng thức tính tổng chi phí 29 3.4.1.2 Cơng thức tính thời gian đáp ứng .30 3.4.2 Số liệu thống kê sở liệu 31 3.4.3 Lực lượng kết trung gian .33 3.5 Xếp thứ tự nối nối nửa câu truy vấn 38 3.5.1 Xếp thứ tự dựa phép nối 38 3.5.2 Xếp thứ tự dựa nối nửa 42 3.5.3 So sánh nối nối nửa 45 3.6 Giải thuật tối ưu hoá truy vấn phân tán SDD-1 46 3.6.1 Ý tưởng giải thuật leo ñồi 47 3.6.2 Giải thuật SDD-1 49 3.6.2.1 Lý thuyết giải thuật 49 3.6.2.2 Giải thuật SDD-1 .50 3.6.2.3 Minh hoạ giải thuật qua thí dụ 3.6 51 3.7 Giải câu truy vấn phức tạp .57 3.7.1 ðặt vấn ñề 57 3.7.2 Hướng giải 58 Trang iv CHƯƠNG 4: THIẾT KẾ VÀ CÀI ðẶT ðẶT CƠ SỞ DỮ LIỆU VÀ MƠ HÌNH TỐI ƯU HỐ TRUY VẤN CHO HỆ PHÂN TÁN QUẢN LÝ DÂN CƯ TỈNH AN GIANG 60 4.1 Các công việc cho giai ñoạn chuẩn bị cài ñặt thực nghiệm 60 4.1.1 Mơi trường cài đặt 60 4.1.2 Các cấu hình cần thiết cho hệ thống 61 4.1.3 Linked Servers 62 4.1.4 Trong suốt phân mảnh 64 4.1.5 Trong suốt nhân 66 4.2 Thiết kế cài ñặt CSDL phân tán cho quản lý dân cư tỉnh An Giang 68 4.2.1 Giới thiệu chung .68 4.2.2 Một số nghiệp vụ quản lý dân cư 69 4.2.2.1 Các nghiệp vụ 69 4.2.2.2 Mô tả nghiệp vụ 69 4.2.2.3 Quy trình, phương pháp, thời gian thu nhập thông tin lập phiếu báo .71 4.2.3 Thiết kế cài ñặt chi tiết sở liệu site 72 4.2.3.1 Tại site trung tâm (lvtoanhp) 74 4.2.3.2 Tại site xã Vĩnh Hưng (lvtoan1) 77 4.2.3.3 Tại site xã Mỹ Hội ðông (lvtoan2) 79 4.3 Cài đặt tối ưu hố truy vấn phân tán qua chi phí truyền thơng 81 4.3.1 Các hàm hỗ trợ 81 4.3.1.1 Các hàm hệ thống .81 4.3.1.2 Các hàm tạo quan hệ từ xa 84 4.3.2 Giải thuật SDD-1 84 4.3.3 Mơ hình chi phí cho phép tốn hai 89 4.3.3.1 Xét câu truy vấn 89 4.3.3.2 Xét câu truy vấn 93 4.3.3.3 Nhận xét chung cho phép nối nối nửa 98 4.3.4 Mơ hình chi phí cho phép tốn ngơi .99 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 102 5.1 Kết ñạt ñược .101 5.2 Hướng phát triển .102 PHỤ LỤC 103 TÀI LIỆU THAM KHẢO 122 Trang v DANH MỤC HÌNH STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 Tên thích Hình 2.1: Mơ hình CSDL phân tán Hình 2.2: Thiết kế CSDLPT Hình 2.3: Thiết kế CSDLPT khơng Hình 2.4.a: Trong suốt phân mảnh Hình 2.4.b: Trong suốt vị trí Hình 2.4.c: Trong suốt ánh xạ cục Hình 2.5: Mơ hình thành phần HQTCSDLPT Hình 2.6: Phương thức truy cập từ xa trực tiếp Hình 2.7: Phương thức truy cập từ xa gián tiếp Hình 2.8: Phương thức truy cập từ xa trực tiếp hệ thống Hình 2.9: HQT CSDL PT kiểu Client/Server Hình 2.10: HQT CSDL PT kiểu ngang hàng Hình 2.11: Quá trình thiết kế từ xuống Hình 2.12: Nhân nhiều phụ Hình 3.1 Q trình xử lý truy vấn tối ưu Hình 3.2: Các tốn tử (cây nối) tương đương Hình 3.3: Cây tuyến tính xum xê Hình 3.4: Tính chất ñơn ñịnh chiến lược quy hoạch ñộng Hình 3.5: Chiến lược ngẫu nhiên hố Hình 3.6: Ví dụ truyền liệu câu truy vấn Hình 3.7: Sự truyền tốn hạng phép tốn hai ngơi Hình 3.8: ðồ thị kết nối truy vấn phân tán có qua hệ Hình 3.9: ðồ thị kết nối truy vấn phân tán Hình 3.10: Sự biến đổi truy vấn vịng Hình 3.11: So sánh việc tiếp cận phép nối nối Hình 3.12: ðồ thị câu truy vấn Hình 3.13: Cây đại số quan hệ cho hướng giải cách Hình 3.14: Cây ñại số quan hệ cho hướng giải cách Hình 4.1: Mơ hình truy cập liệu Linked Servers Hình 4.2: Mã lệnh kết thực thi lệnh sp_addlinkedserver Hình 4.3: Trong suốt phân mảnh Hình 4.4: ðặt điều kiện chọn phân mảnh ngang Hình 4.5: Nơi đặt điều kiện chọn phân mảnh Hình 4.6: Mơ hình nhân giáo tác Hình 4.7: Mơ hình thực thể liên kết Hình 4.8: Mơ hình liệu vật lý cho site trung tâm (lvtoanhp) Hình 4.9: Mơ hình liệu vật lý cho site xã Vĩnh Hưng (lvtoan1) Hình 4.10: Mơ hình liệu vật lý cho site xã Mỹ Hội ðơng (lvtoan2) Hình 4.11: Kết tạo khung nhìn RelationSys Hình 4.12: Tạo quan hệ từ xa Hình 4.13: Quy trình thực SDD-1 Hình 4.14: Dữ liệu đầu vào giải thuật SDD-1 Hình 4.15: Bước khởi tạo giải thuật Hình 4.16: Bước tìm nối nửa có lợi Hình 4.17: Bước giải thuật Hình 4.18: Bước giải thuật Trang vi Trang 8 10 10 11 12 12 13 14 15 16 18 25 26 27 28 28 30 39 39 40 45 46 52 58 59 62 63 64 65 65 67 73 76 78 80 83 84 84 87 87 88 88 89 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 Hình 4.19: Mơ hình chi phí cho phép nối Hình 4.20: Kết thực thi câu truy vấn Hình 4.21: Mơ hình chi phí cho phép nối nửa Hình 4.22: Kết thực thi câu truy vấn Hình 4.23: Xác định hệ số chọn nối nửa Hình 4.24: Chọn trường có quan hệ NK_X1_Daihoc Hình 4.25: Tạo quan hệ NK_X1_Daihoc Hình 4.26: Tính thơng số quan hệ NK_X1_Daihoc Hình 4.27: Mơ hình chi phí cho phép nối Hình 4.28: Kết thực thi truy vấn Hình 4.29: Xác định hệ số chọn nối nửa Hình 4.30: Mơ hình chi phí cho phép nối nửa (SDD-1) Hinh 4.31: Kết phải truyền qua site thực thi (site 1) Hình 4.32: Tạo câu truy vấn với phép tốn ngơi Hình 4.33: Mơ hình tính chi phí cho phép tốn ngơi Trang vii 90 90 91 92 93 94 94 95 95 96 97 97 98 99 100 DANH MỤC TỪ VIẾT TẮT AS Assembly BS Benefit Semijoin ES Execution Strategy ERD Entity Relationship Diagram DDBMS Distributed Database Management System DDB Distributed Database DC Data Communication DB Database Management DD Data Dictionary DDBS Distributed Database System MLD Model of Logical Data MSDTC Microsoft Distributed Transaction Coordinator OP Operation SF Selectivity Factor SFOP Selectivity Factor of Operation SFS Selectivity Factor of Selection SFSJ Selectivity Factor of Semijoin SFJ Selectivity Factor of Join SJ Semijoin SQL Structured Query Language QEP Query Execution Plan QG Query Graph CNTT Công nghệ thông tin CSDL Cơ sở liệu CSDLPT Cơ sở liệu phân tán CSDLQG Cơ sở liệu quốc gia HQTCSDLPT Hệ quản trị sở liệu phân tán Trang viii ðóng cửa sổ My Computer Properties Trở lại cửa sổ Component Services, double click vào My Computer, chọn Distributed Transaction Coordinator, bấm chuột phải vào Local DTC chọn Properties (xem hình 5.8) Hình 5.8: Cửa sổ Component Services Trong cửa sổ Local DTC Properties, chọn thẻ Seccurity chọn mục hình 5.9 Hình 5.9: Cửa sổ Local DTC Properties Trang 107 Nhấn nút OK ñể kết thúc - Trên MS Windows XP Vào Control Panel -> Administrative Tools -> Component Services Trong cửa sổ Component Services, chọn Component Services, chọn Computer, sau bấm chuột phải vào My Computer chọn Properties (xem hình 5.10) Hình 5.10: Cửa sổ Component Services Trong cửa sổ My Computer Properties, chọn thẻ MSDTC (xem hình 5.11) Hình 5.11: Cửa sổ My Computer Properties Trang 108 Click nút Security Configuration chọn cấu hình 5.12 Hình 5.12: Cửa sổ My Security Configuration Nhấn nút OK ñể kết thúc Trình tự cài đặt phần mềm cho hệ thống Bởi hệ thống sử dụng nhiều phần mềm chúng thường xung đột với Vì vây để giải xung đột này, qua q trình chuẩn bị hệ thống ñể thực nghiệm, tác giả ñúc kết ñược kinh nghiệm nhằm ñưa trình tự cài ñặt phần mềm sau: B1: Cài MS Windows xp sp2, MS Windows B2: Cài Windows installer B3: Cài Framwork 2.0 cho MS Visual Studio 2005 B4: Cài MS SQL Server 2005 B5: Cài MS Visual Studio 2005 B6: Cài phần mềm khác ðây chiến lược tốt (ít xảy lỗi) để giải xung ñột phần mềm phiên - Trình tự cấu hình MS SQL Server 2005 B1: Cài đặt SQL Server Trang 109 B2: Cấu hình SQL Server ñể mở kết nối từ xa (xem mục 4.1.3.2) B3: Tạo user kết nối B4: Cấu hình Firewall Server cho phép nhận kết nối ñến qua cổng kết nối SQL Server (xem mục 4.1.3.1) B5: Cấu hình Router cho phép kết nối đến thơng qua cổng kết nối SQL (ñối với mạng WAN) Các bước ñược làm rõ phần 4.1.3, riêng bước B3 sử dung user “sa” lúc cài ñặt nên khỏi tạo, cịn bước B5 khơng cấu hình hệ thống sử dụng mạng LAN ñể cài ñặt cho hệ thống Cấu hình SQL Server máy site trung tâm (lvtoanhp) cho phép kết nối từ xa Vào Start -> All Programs -> Microsoft SQL Server 2005 -> Configuration Tools -> SQL Server Configuration Manager Ở menu bên trái, chọn vào mục SQL Server 2005 Services -> Bên phải tìm mục SQL Server (MSSQLSERVER) Click phải vào chọn Properties (xem hình 5.14) Hình 5.14: Cửa sổ SQL Server Configuration Manager Trong Tab Log On, click chọn vào Built-In Account, chọn vào Network Service hình 5.15, Click OK Trang 110 Hình 5.15: Cửa sổ SQL Server (MSSQLSERVER) Properties Quay lại hình SQL Server Configuration Manager -> menu bên trái tiếp tục click vào mục SQL Server 2005 Network Configuration ñể mở menu Protocols for MSSQLSERRVER, chọn vào mục -> bên phải tìm mục có tên TCP/IP, click phải vào chọn Properties (xem hình 5.16) Hình 5.16: Cửa sổ SQL Server Configuration Manager Trong cửa sổ mở ra, Tab Protocols, mục Enabled chọn vào Yes (xem hình 5.17) Trang 111 Hình 5.17: Cửa sổ TCP/IP Properties Tiếp tục click qua Tab IP Address -> Sẽ xuất list IP (IP1, IP2,…) danh sách IP hình thành máy bạn có kết nối vào mạng LAN khác (xem hình 5.18) Hình 5.18: Cửa sổ TCP/IP Properties Hãy chọn IP (ví dụ hệ thống chọn IP1) o Ở mục IP Address bạn xóa gõ lại địa IP máy site trung tâm (site TP.Long Xuyên) mạng LAN là: 192.168.186.1 o Ở mục Active - chọn Yes, mục Enabled - chọn Yes o Ở mục TCP Port, khai báo cổng share mặc định SQL, bạn ñể mặc ñịnh 1433 o Click OK Trang 112 Khởi ñộng lại SQL Server, cách chọn vào mục SQL Server 2005 Services, bên phải click phải vào mục SQL Server (MSSQLSERVER) -> Chọn Restart Chú ý: Cách cấu hình hai máy cịn lại hai site phường xã (lvtoan1) phường xã (lvtoan2) tương tự khác ñịa IP 192.168.186.128 192.168.186.129 Các mẫu HK01, HK05, HK04, HK07, HK12 Trang 113 Các bước tạo nhân giao tác (Transactional Replication) Bước 1: Tạo New Publication - Bấm chuột phải vào Local Publication, chọn New Publication Xuất hộp thoại hình 5.19 Hình 5.19: Hộp thoại New PublicationWizard - Nhấn Next, chọn CSDL QLDanCu Xem hình 5.20 Hình 5.20: Hộp thoại New PublicationWizard - Nhấn Next, chọn Transactional publication, xem hình 5.21 Trang 114 Hình 5.21: Hộp thoại New PublicationWizard - Chọn quan hệ cần nhân bản, xem hình 5.22 Hình 5.22: Hộp thoại New PublicationWizard - Chọn “Create a snapshot ”, xem hình 5.23 Trang 115 Hình 5.23: Hộp thoại New PublicationWizard - Nhấn nút Security Settings , xem hình 5.24 Hình 5.24: Hộp thoại New PublicationWizard - Chọn giống hình 5.25 Trang 116 Hình 5.25: Hộp thoại Snapshot Agent Security - Chọn Create the publication, nhấn Finish để hồn thành bước 1, xem hình 5.26 Hình 5.26: Hộp thoại New PublicationWizard Bước 2: Tạo New Subscription - Thao tác hình 5.27 Trang 117 Hình 5.27: Hộp thoại New Subscriptions - Hộp thoại New SubscriptionWizard xuất hiện, xem hình 5.28 Hình 5.28: Hộp thoại New Subscription Wizard - Chọn “ReplicationQLDanCu” ñã tạo từ bước 1, xem hình 5.29 Hình 5.29: Hộp thoại New Subscription Wizard Trang 118 - Tạo Subscribers mới, xem hình 5.30 Hình 5.30: Hộp thoại New Subscription Wizard - Log vào site lvtoan1 ñể tạo Subscribers cho máy lvtoan1, xem hình 5.31 Hình 5.31: Hộp thoại Connect to Server - Tạo Subscribers chọn Subscribers, xem hình 5.32 Hình 5.32: Hộp thoại New Subscription Wizard Trang 119 - Nhấn Next, hình 5.33 xuất Hình 5.33: Hộp thoại New Subscription Wizard - Chọn hình 5.34 Hình 5.34: Hộp thoại Distribution Agent Security - Chọn Create the Subscription(s), nhấn Finish ñể hồn thành bước 2, xem hình 5.35 Trang 120 Hình 5.35: Hộp thoại New Subscription Wizard Cấu hình thuộc tính Collation trường quan Thí dụ: Cấu hình thuộc tính Collation trường MaSoNhanKhau qua hệ TheoDoiTamTruX1 Xem hình 5.36 Hình 5.36: Màn hình cấu hình thuộc tính Collation - Nhấn nút (1) hình 5.36 tiếp tục chọn hình 5.37, nhấn OK để hồn thành Hình 5.37: Chọn mã Vietnamese_BIN Trang 121 ... ƯU HOÁ CÂU TRUY VẤN PHÂN TÁN 3.1 Q trình tối ưu hố truy vấn Tối ưu hoá truy vấn phân tán vấn ñề quan trọng việc nâng cao hiệu suất truy vấn thơng tin mạng Tìm chiến lược tối ưu hoá truy vấn phân. .. đề tối ưu hố truy vấn phân tán góp phần cải thiện thời gian truy? ??n liệu hệ CSDL phân tán Với hai lý ñã thúc ñẩy tác giả thực ñề tài “Tối ưu hóa truy vấn hệ sở liệu phân tán Quản lý dân cư tỉnh”... bảo ñiều kiện tốt [10] Quản lý dân cư mơi trường phân tán thực nghiệm lâu nước phát triển - Tối ưu hoá truy vấn phân tán Ngược lại nước, vấn đề tối ưu hố truy vấn phân tán ñã ñược nghiên cứu sâu