Nghiên cứu một số vấn đề về cơ sở dữ liệu và ứng dụng trong bài toán quản lý dân cư

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN Hà Nội - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SĨ: HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: GS TS VŨ ĐỨC THI Hà Nội - 2016 LỜI CẢM ƠN Đầu tiên, xin gửi lời biết ơn sâu sắc đến thầy Giáo sư, Tiến sĩ Vũ Đức Thi, thầy dành nhiều thời gian tâm huyết hướng dẫn giúp hoàn thành tốt luận văn tốt nghiệp Thầy định hướng nghiên cứu kiến thức cần thiết hữu ích trọng tâm vấn đề, đồng thời tạo điều kiện thuận lợi cho trình học tập nghiên cứu đề tài luận văn Tôi xin bày tỏ lòng biết ơn tới thầy, cô giáo trường Đại học Công nghệ tham gia giảng dạy chia sẻ kinh nghiệm quý báu cho thân Tôi xin gửi lời cảm ơn đến thấy anh chị thường xuyên giúp đỡ, trao đổi, góp ý vấn đề khoa học liên quan tới luận văn Cuối cùng, bày tỏ lòng biết ơn giúp đỡ anh, chị công tác Cục Cảnh sát đăng ký, quản lý cư trú sở liệu quốc gia dân cư; Văn phòng Bộ - quan nơi công tác tạo điều kiện tốt cho thời gian động viên hoàn thành luận văn Một lần nữa, xin chân thành cảm ơn ! Hà Nội, tháng 10 năm 2016 Học viên Bùi Trung Hiếu LỜI CAM ĐOAN Những kiến thức trình bày luận văn tìm hiểu, nghiên cứu trình bày lại theo cách hiểu Trong trình làm luận văn, có tham khảo tài liệu có liên quan ghi rõ nguồn tài liệu tham khảo Tôi xin cam đoan công trình nghiên cứu không chép Hà Nội, tháng 10 năm 2016 Học viên Bùi Trung Hiếu MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT DANH MỤC HÌNH VẼ .7 DANH SÁCH BẢNG BIỂU MỞ ĐẦU CHƢƠNG I MỘT SỐ VẤN ĐỀ VỀ SƠ SỞ DỮ LIỆU 11 1.1 Những khái niệm 11 1.1.1 Khái quát mô hình liệu 11 1.1.2 Các khái niệm hệ tiên đề Armstrong 12 1.1.2.1 Quan hệ 12 1.1.2.2 Phụ thuộc hàm 13 1.1.2.3 Hệ tiên đề Armstrong 13 1.1.2.4 Sơ đồ quan hệ .15 1.2 Những vấn đề liên quan đến khóa 15 1.2.1 Khóa 15 1.2.2 Thuật toán liên quan đến khóa 16 1.2.2.1 Thuật toán tìm khóa tối tiểu sơ đồ quan hệ 17 1.2.2.2 Thuật toán tìm khóa tối tiểu quan hệ .17 1.3 Chuẩn hóa 17 1.3.1 Các khái niệm 18 1.3.2 Các thuật toán liên quan đến chuẩn hóa 19 1.4 Ngôn ngữ xử lý bảng 20 1.4.1 Các phép toán 20 1.4.1.1 Phép hợp (r  t) 21 1.4.1.2 Phép trừ (r – t) 21 1.4.1.3 Phép giao (r  t) 21 1.4.1.4 Tích Đề 22 1.4.1.5 Phép chiếu 23 1.4.1.6 Phép chọn .23 1.4.2 Các phép toán khác 24 1.4.2.1 Phép chia (r  s) 24 1.4.2.2 Phép nối  .24 1.4.2.3 Phép nối 25 CHƢƠNG II KHO DỮ LIỆU 26 2.1 Kiến trúc chung kho liệu .26 2.1.1 Tầng xử lý liệu .26 2.1.2 Tầng kho liệu 27 2.1.3 Tầng khai thác liệu 27 2.2 Một số thành phần kho liệu 28 2.2.1 Kho liệu DBMS 28 2.2.2 Nguồn liệu 29 2.2.3 Siêu liệu meta data 29 2.2.4 Công cụ truy cập 30 2.2.5 Kho liệu chủ đề 31 2.2.6 Quản trị kho liệu .32 2.2.7 Hệ thống thông tin .33 2.3 Công cụ kho liệu Microsoft 33 2.3.1 Dịch vụ tich hợp liệu 34 2.3.2 Dịch vụ Báo cáo 38 2.3.3 Dịch vụ phân tích .41 2.3.4 Bộ công cụ phát triển tri tuệ doanh nghiệp 43 2.3.5 Công cụ quản lý SQL Server .44 2.3.6 Dịch vụ tác nhân SQL Server 45 CHƢƠNG III THỬ NGHIỆM GIẢI QUYẾT BÀI TOÁN QUẢN LÝ DÂN CƢ 47 3.1 Mô tả toán quản lý dân cƣ 47 3.2 Các tiêu toán quản lý dân cƣ 49 3.2.1 Nguyên tắc thiết kế 49 3.2.2 Các yêu cầu thiết kế .49 3.2.3 Nhu cầu xử lý liệu 50 3.2.4 Kho liệu gốc công dân .51 3.3 Hệ thống biểu mẫu 52 3.3.1 Biểu mẫu thu thập, cập nhật thông tin dân cư .52 3.3.2 Biểu mẫu thống kê liệu 60 3.4 Quy mô toán 63 3.4.1 Mục tiêu đầu tư 63 3.4.2 Quy mô đầu tư .64 3.5 Phần mềm thủ nghiệm .64 3.5.1 Mô hình kiến trúc hệ thống tổng thể 64 3.5.2 Thiết kế Cơ sở liệu 66 3.5.3 Thiết kế phần mềm nội 68 3.5.4 Thiết kế hạ tầng kỹ thuật .69 3.5.5 Giải pháp sinh mã số định danh cá nhân .71 3.5.6 Giải pháp khai thác, chia sẻ liệu .72 3.5.6.1 Giới thiệu chung giải pháp 72 3.5.6.2 Đối tượng tham gia khai thác, chia sẻ 73 3.5.6.3 Công cụ khai thác, chia sẻ cung cấp dịch vụ công 75 3.5.6.4 Nguyên tắc phân quyền khai thác, chia sẻ liệu .78 3.5.7 Giải pháp đồng liệu Trung tâm liệu Trung tâm liệu dự phòng .78 KẾT LUẬN 80 TÀI LIỆU THAM KHẢO 81 DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT STT Từ viết tắt 10 11 12 13 14 15 16 17 18 Từ cụm từ ActiveX Data Object.NET ADO.NET Thư viên phần mềm NET Framework Business Intelligent BI Kinh doanh thông minh Business warehouse BW Kho liệu CSDL Cơ sở liệu CSDLQG Cơ sở liệu quốc gia Database Management System DBMS Hệ quản trị sở liệu Extract – Transform – Load ETL Trích xuất – Chuyển đổi – Tải File Transfer Protocol FTP Giao thức truyền tập tin Hybrid OLAP HOLAP OLAP kết hợp HyperText Transfer Protocol HTTP Giao thức truyền tải siêu văn Multidimensional OLAP MOLAP OLAP đa chiều Online Analysis Processing OLAP Xử lý phân tích trực tuyến Object Linking and Embedding, Database OLE DB Đối tượng kết nối nhúng sở liệu Relational Database Management System RDBMS Hệ quản trị sở liệu quan hệ Relational OLAP ROLAP OLAP quan hệ Server Querry Language SQL Ngôn ngữ truy vấn máy chủ SQL Server Analysis Service SSAS Dịch vụ phân tích máy chủ SQL SQL Server Integration Service SSIS Dịch vụ tích hợp liệu máy chủ SQL 19 SSMS 20 SSRS 21 T-SQL 22 XML SQL Server Management Studio Công cụ quản trị máy chủ SQL SQL Server Reporting Service Dịch vụ báo cáo máy chủ SQL Transact-SQL Ngôn ngữ SQL mở rộng eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng DANH MỤC HÌNH VẼ Hình 1.1 – Quan hệ r1 quan hệ r2 Hình 1.2 – Mối quan hệ lớp quan hệ phụ thuộc hàm Hình 1.3 – Mối quan hệ lớp họ phụ thuộc hàm với hàm đóng Hình 1.4 – Mối quan hệ lớp họ phụ thuộc hàm với lớp hệ Sperner Hình 1.5 – Phân lớp dạng chuẩn sở liệu Hình 1.6 – Quan hệ r quan hệ t Hình 2.1 – Kiến trúc hệ thống Kho liệu Hình 2.2 – Kiến trúc dịch vụ tích hợp SSIS Hình 2.3 – Ví dụ luồng liệu Hình 2.4 – Kiến trúc dịch vụ báo cáo SSRS Hình 2.5 – Kiến trúc dịch vụ phân tích SSAS Hình 2.6 – Màn hình khởi tạo mẫu dự án DW/BI BIDS Hình 2.7 – Màn hình quản lý SQL Server Hình 2.8 – Màn hình tạo công việc Hình 3.1 – Biểu mẫu thu thập thông tin dân cư Hình 3.2 – Biểu mẫu cập nhật, chỉnh sửa thông tin dân cư Hình 3.3 – Biểu mẫu Tờ khai nhân Hình 3.4 – Biểu mẫu phiếu báo thay đổi hộ khẩu, nhân Hình 3.5 – Biểu mẫu phiếu khai báo tạm vắng Hình 3.6 – Biểu mẫu tờ khai cước công dân Hình 3.7 – Biểu mẫu phiếu thu nhận thông tin cước công dân Hình 3.8 – Biểu mẫu tờ khai xin cấp hộ chiếu Hình 3.9 – Thống kê việc cấp quản lý cước công dân Hình 3.10 – Thống kê hộ, nhân Hình 3.11 – Thống kê đăng ký, quản lý cư trú Hình 3.12 – Kiến trúc hệ thống Cơ sở liệu quốc gia dân cư Hình 3.13 – Mô hình liệu hệ thống Cơ sở liệu quốc gia dân cư Hình 3.14 – Gói phần mềm ứng dụng hệ thống Cơ sở liệu quốc gia dân cư Hình 3.15 – Mô hình thiết kế tổng thể hạ tầng hệ thống Cơ sở liệu quốc gia dân cư Hình 3.16 – Môi trường hệ thống Cơ sở liệu quốc gia dân cư DANH SÁCH BẢNG BIỂU Bảng 1.1 – Quan hệ r Bảng 1.2 – Phép nối r  t  Bảng 1.3 – Phép nối r  t 79 - Chỉ đồng liệu thay đổi: Để tiết kiệm băng thông, thời gian đồng bộ, đồng thời không ảnh hưởng đến hiệu hệ thống, phương pháp đồng CSDL đảm bảo đồng liệu thay đổi  ... CÔNG NGHỆ BÙI TRUNG HIẾU NGHIÊN CỨU MỘT SỐ VẤN ĐỀ VỀ CƠ SỞ DỮ LIỆU VÀ ỨNG DỤNG TRONG BÀI TOÁN QUẢN LÝ DÂN CƯ Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN... ký, quản lý cư trú Hình 3.12 – Kiến trúc hệ thống Cơ sở liệu quốc gia dân cư Hình 3.13 – Mô hình liệu hệ thống Cơ sở liệu quốc gia dân cư Hình 3.14 – Gói phần mềm ứng dụng hệ thống Cơ sở liệu. .. thống Cơ sở liệu quốc gia dân cư Hình 3.15 – Mô hình thiết kế tổng thể hạ tầng hệ thống Cơ sở liệu quốc gia dân cư Hình 3.16 – Môi trường hệ thống Cơ sở liệu quốc gia dân cư DANH SÁCH BẢNG BIỂU