Mô hình cơ sở dữ liệu phân tán và ứng dụng vào hệ cơ sở dữ liệu quốc gia về kinh tế xã hội

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ─────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN Đề tài: MÔ HÌNH CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG Sinh viên thực hiện: Trần Minh Tuấn Lớp: CNPM - K48 Giáo viên hướng dẫn: ThS. Thạc Bình Cường Hà Nội 6-2008 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 1. Mục đích nội dung của ĐATN - Nghiên cứu về Cơ sở dữ liệu phân tán - Tìm hiểu về hệ Cơ sở dữ liệu quốc gia về Kinh tế - Xã hội - Tìm hiểu khả năng áp dụng mô hình cơ sở dữ liệu phân tán vào hệ Cơ sở dữ liệu quốc gia về Kinh tế- Xã hội 2. Các nhiệm vụ cụ thể của ĐATN - Tìm hiểu lý thuyết về Cơ sở dữ liệu phân tán - Khảo sát, tìm hiểu về hệ Cơ sở dữ liệu quốc gia về Kinh tế -Xã hội - Tìm hiểu công nghệ áp dụng để thực hiện nhân bản dữ liệu - Viết chương trình ứng dụng minh họa 3. Lời cam đoan của sinh viên: Tôi – Trần Minh Tuấn - cam kết ĐATN là công trình nghiên cứu của bản thân tôi dưới sự hướng dẫn của ThS. Thạc Bình Cường. Các kết quả nêu trong ĐATN là trung thực, không phải là sao chép toàn văn của bất kỳ công trình nào khác. Hà Nội, ngày 23 tháng 5 năm 2008 Tác giả ĐATN Trần Minh Tuấn 4. Xác nhận của giáo viên hướng dẫn về mức độ hoàn thành của ĐATN và cho phép bảo vệ: Hà Nội, ngày 23 tháng 5 năm 2008 Giáo viên hướng dẫn ThS. Thạc Bình Cường TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Nội dung của đồ án trình bày bao gồm các phần trình bày về lý thuyết cơ sở dữ liệu phân tán, phần về hệ cơ sở dữ liệu quốc gia về Kinh tế- Xã hội và phần xây dựng ứng dụng minh họa. Phần lý thuyết cơ sở dữ liệu phân tán trình bày những lý thuyết về hệ cơ sở dữ liệu phân tán bao gồm: khái niệm, đặc trưng, ưu, nhược điểm, các kiến trúc cơ bản, cũng như các vấn đề liên quan khi thiết kế hệ cơ sở dữ liệu phân tán Phần về cơ sở dữ liệu quốc gia về Kinh tế- Xã hội mô tả về các mục tiêu, yêu cầu của hệ thống, trình bày về các mô hình chức năng và chi tiết các bảng trong cơ sở dữ liệu Phần xây dựng ứng dụng minh họa thực hiện minh họa cho cơ chế nhân bản dữ liệu ABSTRACT OF THESIS The thesis includes parts which present the thesis of distributed database, the description about the National Socio-Economic Database, and the development of the illustrative application. The thesis of distributed database presents the definition, characteristics, advantages and disadvantages, models, and some relating problems when designing distributed database system. The part written about the National Socio-Economic Database depicts the objectives, requirements, functional models and detailed design of tables in the system. The illustrative application illustrates the replication mechanism. LỜI CẢM ƠN Em xin chân thành cảm ơn thầy giáo, ThS. Thạc Bình Cường, bộ môn Công nghệ phần mềm, khoa Công nghệ thông tin, trường Đại học Bách Khoa Hà Nội, đã tận tình hướng dẫn, giúp đỡ, chỉ bảo, cung cấp nhiều tài liệu tham khảo và tạo mọi điều kiện thuận lợi cho em hoàn thành tốt đồ án tốt nghiệp này. Em cũng xin bày tỏ lòng biết ơn sâu sắc tới tập thể các thầy, cô giáo trường Đại học Bách Khoa Hà Nội nói chung và Khoa Công nghệ thông tin nói riêng đã tận tình giảng dạy, truyền đạt cho em những kiến thức, kinh nghiệm quý báu trong suốt những năm học vừa qua. Cuối cùng, em xin gửi lời cảm ơn đến gia đình và bạn bè, đã giúp đỡ và tạo điều kiện cho em trong suốt quá trình thực hiện đồ án. Hà nội ngày 23 tháng 05 năm 2008 Sinh viên: Trần Minh Tuấn Lớp : CNPM-K48 LỜI MỞ ĐẦU Bước sang thế kỷ 21, nhân loại đã chuyển từ xã hội công nghiệp sang xã hội thông tin. Với mạng Internet tốc độ cao ngày càng được mở rộng trên toàn thế giới, với việc ứng dụng Công nghệ thông tin ngày càng sâu hơn trong nhiều lĩnh vực, nhu cầu và khả năng kết nối, chia sẻ thông tin của con người đang trở nên lớn hơn bao giờ hết. Để không bị tụt hậu lại phía sau, mọi quốc gia, mọi tổ chức kinh tế xã hội đều nhận thức được vai trò quan trọng không thể thiếu của công nghệ thông tin trong việc nâng cao hiệu quả hoạt động, thúc đẩy sự phát triển của quốc gia, tổ chức mình. Tuy nhiên vấn đề khó khăn đặt ra ở đây là khối lượng công việc cần thực hiện ngày càng lớn, lượng dữ liệu cần lưu trữ và các thao tác xử lý chúng ngày càng tăng trong khi do các đặc điểm về qui mô, tổ chức và nghiệp vụ, các kho dữ liệu lại được phân bố trải rộng ở nhiều nơi khác nhau, sử dụng những công nghệ khác nhau, khả năng liên kết là rất hạn chế. Trong những trường hợp như vậy, các tổ chức phải tiến hành xây dựng các ứng dụng trên hệ cơ sở dữ liệu phân tán. Công nghệ phân tán đã được nghiên cứu khá lâu và ngày càng trở nên ổn định, hoàn thiện hơn. Nó cung cấp khả năng kết nối, chia sẻ dữ liệu gần như không có giới hạn, nâng cao hiệu quả hoạt động và khả năng mở rộng của hệ thống, tăng tính tin cậy và tính sẵn sàng cho người sử dụng. Ở Việt Nam, việc ứng dụng Công nghệ thông tin nói chung và cơ sở dữ liệu phân tán nói riêng vẫn còn hạn chế, lý do chủ yếu có thể là do hạ tầng mạng, công nghệ của Việt Nam còn chưa thực sự phát triển. Tuy nhiên trong những năm trở lại đây tình hình đã được cải thiện rất tích cực. Trong khối các cơ quan Nhà nước, Chính phủ cũng thể hiện quyết tâm rất cao về việc tin học hóa công tác quản lý, cải cách thủ tục hành chính, tăng cường trao đổi và chia sẻ thông tin, giúp nâng cao hiệu quả điều hành, tiết kiệm chi phí, từng bước tiến đến mục tiêu Chính phủ điện tử. Nằm trong khuôn khổ của chương trình hỗ trợ kĩ thuật của Ủy ban Châu Âu cho Việt Nam, dự án xây dựng cơ sở dữ liệu quốc gia về Kinh tế-Xã hội đã và đang được triển khai tại Bộ Kế hoạch và Đầu tư nhằm lưu trữ các thông tin, dữ liệu, các báo cáo về tình hình phát triển kinh tế xã hội quốc gia qua các năm, phục vụ cho quá trình điều hành của Chính phủ cũng như công tác dự báo, lập kế hoạch định hướng phát triển đất nước. Qua một thời gian tìm hiểu, em quyết định chọn đề tài cho đồ án tốt nghiệp của mình là: “Mô hình Cơ sở dữ liệu phân tán và ứng dụng vào hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội” Đồ án tập trung tìm hiểu về lý thuyết, một số kĩ thuật liên quan đến cơ sở dữ liệu phân tán và ứng dụng những lý thuyết và kỹ thuật đó vào quá trình kết nối, trao đổi dữ liệu trong hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội. Đồ án gồm 5 chương như sau: Chương I: Tổng quan về hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương này trình bày chung về hệ thống cần xây dựng, các mục tiêu, yêu cầu của hệ thống, và đưa ra mô hình tổng thể cho hệ thống Chương II: Lý thuyết cơ sở dữ liệu phân tán Chương này trình bày những lý thuyết về hệ cơ sở dữ liệu phân tán, bao gồm khái niệm, đặc trưng, ưu, nhược điểm, các kiến trúc cơ bản, cũng như các vấn đề liên quan khi thiết kế hệ cơ sở dữ liệu phân tán Chương III: Phân tích hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương này trình bày về các mô hình chức năng của hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương IV: Thiết kế hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương này trình bày về thiết kế chi tiết các bảng trong cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương V: Xây dựng ứng dụng Chương này trình bày về giải pháp tự động cập nhật và đồng bộ dữ liệu cho hệ thống, viết chương trình ứng dụng thử nghiệm để minh họa cho giải pháp này. Phần cuối là đánh giá về các kết quả đã đạt được và hướng phát triển tiếp theo của đề tài Mục lục I. Tính cần thiết phải xây dựng hệ CSDL quốc gia về KT-XH 13 II. Mục tiêu của hệ thống 14 III. Một số khái niệm 14 III.1. Báo cáo kế hoạch 15 III.2. Báo cáo sơ bộ tình hình thực hiện 15 III.3. Báo cáo tình hình thực hiện 15 III.4. Các chỉ tiêu kinh tế xã hội 15 III.5. Báo cáo chuyên đề 16 IV. Quan hệ với hệ thống báo cáo định kỳ 16 IV.1. Hệ thống báo cáo định kỳ 16 IV.2. Hệ thống CSDL quốc gia về Kinh tế - Xã hội 17 V. Quan hệ với các hệ CSDL chuyên ngành 17 VI. Các đơn vị vận hành hệ thống 19 VII. Mô hình hệ thống 19 VII.1. Nguồn dữ liệu đầu vào 19 VII.2. Phương thức lưu trữ 20 VII.3. Phương thức khai thác 21 VII.4. Mô hình tổng thể 22 Chương 2: Lý thuyết CSDL phân tán 23 I. Khái niệm 23 II. Đặc trưng cơ bản của hệ thống phân tán 27 II.1. Chia sẻ tài nguyên 27 II.2. Xử lý đồng thời 27 II.3. Tính trong suốt 27 II.4. Khả năng mở rộng qui mô 28 II.5. Tính mở 29 IV. Các kiến trúc cơ bản của hệ CSDL phân tán 30 IV.1. Kiến trúc client/server 30 IV.2. Kiến trúc ngang hàng peer – to – peer 30 IV.3. Kiến trúc đa hệ quản trị CSDL 31 V.1. Khung thiết kế CSDL phân tán 33 V.1.1. Đối tượng thiết kế của CSDL phân tán 34 V.1.2. Hướng thiết kế Top-Down và Bottom-Up 35 V.2. Thiết kế phân đoạn CSDL 37 I. Mô hình chức năng mức đỉnh 46 II. Mô hình chức năng quản lý danh mục 48 II.1. Mô hình chức năng quản lý các danh mục 51 II.2. Mô hình chức năng quản lý các BMSL 52 III. Mô hình chức năng quản lý số liệu 52 III.1. Mô hình chức năng cập nhật số liệu 53 III.2. Mô hình chức năng duyệt số liệu 54 IV. Mô hình chức năng trao đổi dữ liệu 55 V. Mô hình chức năng tổng hợp báo cáo 56 VI. Mô hình chức năng cập nhật văn bản báo cáo 56 VI.1. Mô hình chức năng cập nhật văn bản báo cáo chính thức 57 VI.2. Mô hình chức năng duyệt báo cáo 58 VII. Mô hình chức năng khai thác thông tin 59 VIII. Mô hình chức năng quản trị hệ thống 60 VIII.1. Mô hình chức năng bảo mật 61 VIII.2. Mô hình chức năng quản trị 61 I. Danh sách các thực thể dữ liệu 63 I.1. Một số quy ước viết tắt trong CSDL 63 I.2. Thông tin danh mục 63 I.3. Dữ liệu 64 I.4. Quản trị và bảo mật 64 II. Mô tả chi tiết các bảng 65 II.1. Một số quy ước 65 II.2. Thông tin danh mục 65 II.3. Dữ liệu 74 II.4. Quản trị và bảo mật 89 96 Chương 5. Xây dựng ứng dụng 97 V.1. Tạo Publication 102 V.2. Tạo Subscription 104 V.3. Kết quả 104 Danh mục các hình vẽ Hình 1.1. Quan hệ giữa hệ thống báo cáo tháng và hệ CSDL QG về KTXH.18 Hình 1.2. Mô hình tổng thể của hệ CSDL quốc gia về KTXH 22 Hình 2.1: Mô hình của hệ thống CSDL phân tán 23 Hình 2.2: Sơ đồ kiến trúc tham chiếu của hệ CSDL phân tán thuần nhất 26 Hình 2.3: Kiến trúc tham chiếu CSDL phân tán 31 Hình 2.4: Kiến trúc hệ đa quản trị CSDL với một mô hình quan niệm toàn cục 32 Hình 2.5: Hệ đa quản trị CSDL không sử dụng mô hình quan niệm toàn cục33 Hình 2.6 : Quy trình thiết kế Top-Down 36 Hình 2.7. Phân đoạn hỗn hợp của quan hệ PROJ 43 Hình 3.1. Mô hình chức năng mức đỉnh 46 Hình 3.2. Mô hình chức năng quản lý danh mục 48 Hình 3.3. Mô hình chức năng quản lý các danh mục 51 Hình 3.4. Mô hình chức năng quản lý các BMSL 52 Hình 3.5. Mô hình chức năng quản lý số liệu 52 Hình 3.6. Mô hình chức năng cập nhật số liệu 53 Hình 3.7. Mô hình chức năng duyệt số liệu 54 Hình 3.8. Mô hình chức năng trao đổi dữ liệu 55 Hình 3.9. Mô hình chức năng tổng hợp báo cáo 56 Hình 3.10. Mô hình chức năng cập nhật văn bản báo cáo 56 Hình 3.11. Mô hình chức năng cập nhật văn bản báo cáo chính thức 57 Hình 3.12. Mô hình chức năng duyệt báo cáo 58 Hình 3.13. Mô hình chức năng khai thác thông tin 59 Hình 3.14. Mô hình chức năng quản trị hệ thống 60 Hình 3.15. Mô hình chức năng bảo mật 61 Hình 3.16. Mô hình chức năng quản trị 62 Hình 5.1. Mô hình nhân bản dữ liệu 98 Hình 5.2: Các thành phần trong Replication 99 Hình 5.3. Giao diện chương trình 102 Hình 5.4. Tạo Publisher 102 Hình 5.5. Tạo Publication 103 Hình 5.6. Tạo Article 103 Hình 5.7. Tạo Subscription 104 Hình 5.8. Kết quả thực hiện 105 [...]... KTXH CSDL QG về KTXH Cơ sở dữ liệu Bộ Kế hoạch và Đầu tư Kinh tế- Xã hội Cơ sở dữ liệu quốc gia về Kinh tế - Xã hội Chương 1: Tổng quan về hệ CSDL quốc gia về KTXH I Tính cần thiết phải xây dựng hệ CSDL quốc gia về KT-XH Để đảm bảo sự phát triển KT-XH của đất nước theo đúng định hướng, hàng năm Quốc hội ban hành Nghị quyết về nhiệm vụ hàng năm để đưa ra mục tiêu tổng quát thực hiện trong năm và các chỉ... loại hình báo cáo chính: Báo cáo năm, báo cáo tháng và báo cáo chuyên đề IV.2 Hệ thống CSDL quốc gia về Kinh tế - Xã hội Hệ thống CSDL quốc gia về Kinh tế - Xã hội lại có mục đích chủ yếu là lưu trữ các số liệu chính thức và trợ giúp các nhu cầu tra cứu, hỏi đáp cũng như phân tích số liệu lịch sử về tình hình phát triển kinh tế xã hội Số liệu được lưu trữ bao gồm cả mảng kế hoạch, báo cáo sơ bộ tình hình. .. cần được lưu trữ và khai thác trong hệ CSDL quốc gia về kinh tế - xã hội Hơn nữa các số liệu này tuy cũng là số liệu chính thức, nhưng không có được từ nguồn Tổng cục Thống kê Các số liệu này một mặt có thể trợ giúp cho các phân tích vĩ mô toàn xã hội, còn có thể trợ giúp cho các phân tích mang tính chuyên ngành chuyên sâu Tóm lại giữa CSDL chuyên ngành và CSDL quốc gia về kinh tế - xã hội, trước mắt... quậnhuyện sở quận huyện, cơ CSDL Luồng thu thập dữ liệu tác nghiệp Luồng thu thập dữ liệu báo cáo định kỳ Luồng cung cấp thông tin Cấp quận huyện cơ sở Cấp quận huyện, Cấp Cấp quậnhuyện sở quận huyện, cơ CSDL Chương 2: Lý thuyết CSDL phân tán I Khái niệm I.1 Định nghĩa CSDL phân tán Cơ sở dữ liệu phân tán là tập hợp dữ liệu mà về mặt logic thuộc về cùng một hệ thống nhưng được trải rộng ở nhiều vị trí... LISn Hình 2.5: Hệ đa quản trị CSDL không sử dụng mô hình quan niệm toàn cục V Thiết kế CSDL phân tán Hai điểm cần chú ý khi thiết kế CSDL phân tán: - Về mặt kỹ thuật là việc nối liền các điểm làm việc với nhau qua mạng máy tính và tối ưu hoá việc phân tán dữ liệu cũng như ứng dụng để tối ưu công việc thực hiện - Về mặt tổ chức: vấn đề phân quyền rất quan trọng khi hệ thống phân tán thay thế cho hệ thống... dữ liệu có cấu trúc, tiến tới hình thành một kho dữ liệu tri thức, trợ giúp khai thác triệt để các thông tin, hỗ trợ cho công tác phân tích, dự báo, lập kế hoạch, ra quyết định trước hết là trong ngành kế hoạch, sau đó là cho cộng đồng, toàn xã hội II Mục tiêu của hệ thống Hệ thống CSDL quốc gia về Kinh tế - Xã hội được xây dựng với mục đích lưu trữ các thông tin / dữ liệu về tình hình phát triển kinh. .. cùng một mô hình dữ liệu và được quản trị bởi cùng một hệ quản trị CSDL địa phương Hình 2.2: Sơ đồ kiến trúc tham chiếu của hệ CSDL phân tán thuần nhất - Sơ đồ quan niệm tổng thể: Định nghĩa tất cả các dữ liệu sẽ được lưu trữ trong CSDL phân tán Trong mô hình quan hệ, sơ đồ tổng thể bao gồm định nghĩa của tập các quan hệ tổng thể - Sơ đồ phân đoạn: Mỗi quan hệ tổng thể có thể chia thành một vài phần... sao vì dữ liệu luôn được cập nhật và đồng bộ với dữ liệu gốc - Trong suốt phân đoạn: Một quan hệ trong CSDL phân tán có thể phân đoạn ngang hoặc phân đoạn dọc nghĩa là tách thành các bộ dữ liệu hoặc các quan hệ con và lưu trữ trên nhiều trạm khác nhau Trong suốt phân đoạn cho phép người sử dụng không cần biết có sự phân đoạn, các truy vấn dữ liệu vẫn được viết như CSDL tập trung II.3.2 Trong suốt giao... internet VII.4 Mô hình tổng thể Hình 1.2 Mô hình tổng thể của hệ CSDL quốc gia về KTXH KHO DỮ LIỆU CẤP TW KHO DỮ LIỆU CẤP TW Giá trị chỉ tiêu HỆ B C THÁNG NĂM BC toàn văn CSDL QG VỀ KTXH Trung tâm khai thác Trung tâm khai thác Hệ phân tích Internet Cấp tỉnh Cấp tỉnh, Bộ ngành Cấp tỉnh Cấp tỉnh, Bộ ngành CSDL CHUYÊN NGÀNH Cấp quận huyện cơ sở Cấp quận huyện, Cấp Cấp quậnhuyện sở quận huyện, cơ CSDL Luồng... chương trình ứng dụng V.1.1 Đối tượng thiết kế của CSDL phân tán Trong thiết phân tán dữ liệu, những đối tượng sau đây được quan tâm: Tiến trình địa phương: phân tán dữ liệu để cực đại hoá tiến trình địa phương hay tăng thời gian bộ xử lý trung tâm cho tiến trình địa phương tương ứng với nguyên tắc là đơn giản hoá công việc: đặt dữ liệu gần chương trình ứng dụng thường xuyên sử dụng dữ liệu đó Cách . mô hình cơ sở dữ liệu phân tán vào hệ Cơ sở dữ liệu quốc gia về Kinh tế- Xã hội 2. Các nhiệm vụ cụ thể của ĐATN - Tìm hiểu lý thuyết về Cơ sở dữ liệu phân tán - Khảo sát, tìm hiểu về hệ Cơ sở. hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương IV: Thiết kế hệ cơ sở dữ liệu quốc gia về Kinh tế-Xã hội Chương này trình bày về thiết kế chi tiết các bảng trong cơ sở dữ liệu quốc gia về. phần trình bày về lý thuyết cơ sở dữ liệu phân tán, phần về hệ cơ sở dữ liệu quốc gia về Kinh tế- Xã hội và phần xây dựng ứng dụng minh họa. Phần lý thuyết cơ sở dữ liệu phân tán trình bày