Xây dựng hệ thống trợ giúp ra quyết định phục vụ công tác quản lý các đề tài nghiên cứu khoa học và công nghệ của các đơn vị trực thuộc Bộ Khoa học và Công nghệ

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ LIÊN HƯƠNG XÂY DỰNG HỆ THỐNG TRỢ GIÚP RA QUYẾT ĐỊNH PHỤC VỤ CÔNG TÁC QUẢN LÝ CÁC ĐỀ TÀI NGHIÊN CỨU KHOA HỌC VÀ CÔNG NGHỆ CỦA CÁC ĐƠN VỊ TRỰC THUỘC BỘ KHOA HỌC VÀ CÔNG NGHỆ LUẬN VĂN THẠC SĨ Hà Nội - 2010 2 MỤC LỤC LỜI CAM ĐOAN 1 DANH MỤC CÁC TỪ VIẾT TẮT 5 DANH MỤC CÁC BẢNG 6 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 7 MỞ ĐẦU 8 1. Lý do chọn đề tài: 8 2. Tổng quan tình hình nghiên cứu: 9 3. Mục tiêu nghiên cứu: 11 4. Phạm vi nghiên cứu: 11 5. Mẫu khảo sát: 12 6. Vấn đề nghiên cứu: 12 7. Giả thuyết nghiên cứu: 12 8. Phƣơng pháp chứng minh giả thuyết: 13 9. Kết cấu luận văn: 14 CHƢƠNG 1. TỔNG QUAN 15 1.1. Hệ trợ giúp ra quyết định 15 1.1.1. Giới thiệu khái niệm hệ trợ giúp ra quyết định 15 1.1.2. Phân loại hệ trợ giúp ra quyết định 15 1.1.3. Các thành phần cơ bản của hệ hỗ trợ ra quyết định 16 1.2. Kho dữ liệu (DW) 17 1.2.1. Dữ liệu tác nghiệp 17 1.2.2. Khái niệm về kho dữ liệu 19 1.2.3. Đặc trưng của kho dữ liệu 20 1.2.4. Siêu dữ liệu (Meta Data) 21 1.2.5. Cấu trúc kho dữ liệu 21 1.2.6. Các mô hình kho dữ liệu 23 1.2.7. Các bước thiết kế kho dữ liệu 24 1.3. Xử lý dữ liệu trực tuyến (OLAP) 25 1.3.1. Lý do sử dụng OLAP 25 1.3.2. Kiến trúc vật lý 26 1.3.3. Phương pháp thiết kế 27 1.3.4. Thực hiện truy vấn và thiết kế khung nhìn (Materialized View) 28 1.3.5. Các phép toán OLAP trong mô hình dữ liệu nhiều chiều 29 1.4. Kết luận 31 3 &CN 32 2.1. Giới thiệu chung về hệ thống 32 2.2. Phƣơng pháp luận và công cụ 33 2.2.1. Phương pháp luận chung 33 2.2.2. Phân tích có cấu trúc 33 2.2.3. Hai mô hình phân tích hệ thống có cấu trúc 34 2.2.4. Phương pháp luận xây dựng kho dữ liệu 34 2.2.5. Công cụ thực hiện 35 2.2.6. Bộ công cụ Microsoft SQL Server 2005 36 2.3. Phân tích, thiết kế hệ thống 36 2.3.1. Những yêu cầu chung về hệ thống 36 2.3.2. Thiết kế cơ sở dữ liệu 37 2.3.3. Xây dựng mô hình cấu trúc cơ sở dữ liệu 40 2.3.4. 40 2.4. Kết luận 41 CHƢƠNG 3. XÂY DỰNG KHO DỮ LIỆU VÀ GIẢI PHÁP XỬ LÝ PHÂN TÍCH TRỰC TUYẾN 42 3.1. 42 3.1.1. Phân tích hệ thống 42 3.1.2. Phân tích chức năng 42 3.1.3. Nội dung thông tin cần khai thác 44 3.1.4. Phân tích về dữ liệu 45 3.2. Xây dựng các khối và các chiều cho giải pháp OLAP 47 3.2.1. Xây dựng tiến trình trợ giúp cho bài toán 47 3.2.2. Xây dựng các khối và các chiều cho OLAP 49 3.3 Kết luận 51 52 4.1. 52 4.1.1. 52 4.1.2. 52 4.2. 53 4.2.1. Tạo lập cơ sở dữ liệu đa chiều 53 4.2.2. Phân tích và hiển thị dữ liệu 53 4.2.3. Tạo và thực hiện các truy vấn 54 4.3. Cài đặt minh họa 54 4.3.1. Chuẩn bị dữ liệu 54 4 4.3.2. Phân tích và hiển thị dữ liệu 66 4.4. Kết luận 70 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 73 5 DANH MỤC CÁC TỪ VIẾT TẮT Tên khoa học Tên viết tắt Giải nghĩa CNTT Công nghệ thông tin CNTT & TT Công nghệ thông tin và truyền thông KH&CN Khoa học và Công nghệ Database CSDL Cơ sở dữ liệu Data warehouse DW Kho dữ liệu Decision Support System DSS Hệ trợ giúp ra quyết định Metadata Siêu dữ liệu Online Analysis Processing OLAP Xử lý phân tích trực tuyến Online Transaction Processing OLTP Xử lý giao dịch trực tuyến 6 DANH MỤC CÁC BẢNG 1. Bảng 3.1.1. Phân cấp dữ liệu trong bảng chiều 2. Bảng 3.1.2. Một số đơn vị đo đặc trưng của bảng sự kiện 3. Bảng 4.3.1. Chuẩn bị dữ liệu cho bảng Chủ nhiệm đề tài 4. Bảng 4.3.2. Chuyển dữ liệu tới bảng sự kiện 7 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ 1. Hình 1.2.1. Cấu trúc kho dữ liệu 2. Hình 1.2.2. Sơ đồ hình sao 3. Hình 1.2.3. Sơ đồ tuyết rơi 4. Hình 1.3.1. Các phép toán OLAP 5. Hình 2.3.1. Sơ đồ quan hệ thông tin đề tài nghiên cứu khoa học 6. Hình 3.2.1. Tiến trình trợ giúp 7. Hình 3.2.2. Mô hình dữ liệu đa chiều 8. Hình 3.2.3. Mô hình dữ liệu khối 9. Hình 4.1.2. Sơ đồ chi tiết cài đặt hệ thống 10. Hình 4.3.1. Tạo một Analysis Services Project mới 11. Hình 4.3.2. Xác định dữ liệu nguồn 12. Hình 4.3.3. Chọn dữ liệu để xử lý 13. Hình 4.3.4. Xác định bảng sự kiện và bảng chiều 14. Hình 4.3.5. Lựa chọn đơn vị đo 15. Hình 4.3.6. Phân tích và hiển thị dữ liệu của khối 8 MỞ ĐẦU 1. Lý do chọn đề tài: Sự phát triển vượt bậc và không ngừng đổi mới của ngành CNTT&TT đã và đang tác động mạnh mẽ, sâu sắc và toàn diện đến mọi mặt trong đời sống chính trị, kinh tế, văn hóa, xã hội trên toàn thế giới. Cuộc cách mạng KH&CN này đã và đang tạo ra cơ hội cho những biến đổi cơ bản và những thành công to lớn của các nước trên thế giới. Trong vài thập kỷ gần đây, nhiều nước trên thế giới đã nắm bắt được cơ hội ứng dụng CNTT&TT, tận dụng thế mạnh của nó để thúc đẩy phát triển kinh tế-xã hội, tạo ra những bước đột phá, đưa đất nước tiến mạnh lên phía trước. Để hội nhập với xu thế phát triển chung của thế giới và các nước trong khu vực, Bộ Chính trị đã ban hành Chỉ thị số 58-CT/TW ngày 17/10/2000 về đẩy mạnh ứng dụng và phát triển CNTT phục vụ sự nghiệp công nghiệp hóa, hiện đại hóa đất nước, trong đó đã khẳng định: “Ứng dụng và phát triển CNTT ở nước ta nhằm góp phần giải phóng sức mạnh vật chất, trí tuệ và tinh thần của toàn dân tộc, thúc đẩy công cuộc đổi mới, phát triển nhanh và hiện đại hoá các ngành kinh tế, tăng cường năng lực cạnh tranh của các doanh nghiệp, hỗ trợ có hiệu quả cho quá trình chủ động hội nhập kinh tế quốc tế, nâng cao chất lượng cuộc sống của nhân dân, đảm bảo an ninh, quốc phòng và tạo khả năng đi tắt đón đầu để thực hiện thắng lợi sự nghiệp công nghiệp hoá, hiện đại hoá”. Đặc biệt, Quốc hội khóa XI đã thông qua Luật giao dịch điện tử, Luật CNTT và Chính phủ đã ban hành Nghị định số 64/2007/NĐ-CP ngày 10/4/2007 về ứng dụng CNTT trong hoạt động của cơ quan nhà nước, tạo ra một cơ sở pháp lý quan trọng để thúc đẩy phát triển ứng dụng CNTT nhằm nâng cao chất lượng, hiệu quả trong hoạt động của cơ quan nhà nước và giữa các cơ quan nhà nước, trong giao dịch điện tử của cơ quan nhà nước với các tổ chức và cá nhân; hỗ trợ cải cách thủ tục hành chính và cung cấp dịch vụ công bảo đảm công khai, minh bạch… Trong những thập kỷ qua, sự phát triển nhanh chóng của các công nghệ hiện đại trong lĩnh vực CNTT&TT, đặc biệt là mạng Internet, đang tạo ra những thay đổi đáng kể trong việc tổ chức quản lý hoạt động nghiên cứu triển khai nói riêng và trong hệ thống quản lý ngành KH&CN nói chung. Là một cơ quan của Chính phủ thực hiện chức năng quản lý nhà nước về KH&CN, từ năm 1996 đến nay, căn cứ vào các chủ trương, chính sách về phát triển ứng dụng CNTT-TT của Đảng và Nhà nước, Bộ KH&CN đã tổ chức triển khai thực hiện một số dự 9 án phát triển ứng dụng CNTT theo hướng dẫn chung của Chương trình quốc gia về CNTT (1996-2000), Chương trình Tin học hóa quản lý nhà nước (2001- 2005), Nghị định 64/2007/NĐ-CP về ứng dụng CNTT trong hoạt động của cơ quan nhà nước, Quyết định số 43/2008/QĐ-TTg về việc phê duyệt kế hoạch ứng dụng CNTT trong hoạt động của cơ quan nhà nước năm 2008 và gần đây nhất là Quyết định số 48/2009/QĐ-TTg về việc phê duyệt kế hoạch ứng dụng CNTT trong hoạt động của cơ quan nhà nước giai đoạn 2009-2010. Tuy đã đạt được một số kết quả nhất định nhưng vẫn còn tồn tại nhiều vấn đề bất cập cần giải quyết trong việc triển khai các ứng dụng CNTT phục vụ công tác quản lý nhà nước của Bộ KH&CN, đặc biệt là tổ chức quản lý các chương trình, đề tài nghiên cứu khoa học. Cho đến nay, Bộ KH&CN vẫn chưa xây dựng được “Hệ thống trợ giúp ra quyết định hỗ trợ công tác quản lý các chương trình, đề tài nghiên cứu khoa học” để tạo ra một công cụ đảm bảo việc cung cấp thông tin đầy đủ, kịp thời và chính xác, nâng cao một bước hiệu quả công tác quản lý nhà nước về hoạt động nghiên cứu KH&CN theo hướng hình thành Bộ KH&CN điện tử (e-MOST), góp phần đưa KH&CN trở thành động lực thúc đẩy phát triển kinh tế-xã hội. Do vậy, việc nghiên cứu xây dựng “Hệ thống trợ giúp ra quyết định hỗ trợ công tác quản lý chương trình, đề tài nghiên cứu khoa học” để hỗ trợ việc lựa chọn tổ chức và cá nhân chủ trì thực hiện các nhiệm vụ KH&CN phù hợp, góp phần nâng cao năng lực quản lý các nhiệm vụ nghiên cứu triển khai của Bộ và gắn kết hoạt động nghiên cứu khoa học với thực tiễn sản xuất đang là một nhu cầu rất cấp thiết hiện nay. 2. Tổng quan tình hình nghiên cứu: Chính phủ của nhiều nước trên thế giới đã triển khai xây dựng các hệ thống thông tin điện tử phục vụ công tác quản lý từ những năm 1980. Từ những năm 1990, mạng Internet phát triển thành xa lộ thông tin toàn cầu, nhiều nước trên thế giới đang phát triển mạnh xu hướng tích hợp các cơ sở dữ liệu (CSDL) để xây dựng các hệ thống hỗ trợ ra quyết định nhằm đáp ứng các yêu cầu thống nhất nội dung thông tin và trao đổi dữ liệu trên diện rộng. Các hệ thống hỗ trợ ra quyết định này đã và đang được áp dụng ở nhiều nước có nền công nghiệp CNTT phát triển như: Mỹ, Canada, Đức, Anh, Pháp, Ấn Độ, Hàn Quốc, Singapore và hoạt động rất hiệu quả trong các lĩnh vực an ninh quốc phòng, quản lý đất đai, dân cư, y tế trên nền tảng của các hệ quản trị CSDL như: MS SQL Server, Oracle, Sybase Đặc biệt, trong thập kỷ vừa qua, khi mà công nghệ Internet tốc độ cao ngày càng phát triển và thâm nhập vào mọi mặt của đời sống xã hội thì việc xây dựng các hệ thống hỗ trợ ra quyết định lại càng đóng vai trò quan trọng hơn. Các thông tin trong CSDL tích hợp của hệ thống hỗ trợ ra 10 quyết định sẽ được sử dụng để nhanh chóng tạo ra các trang thông tin điện tử động (Dynamic Web Page) phục vụ cho việc tra cứu, chia sẻ thông tin trên mạng và xử lý dữ liệu theo các kịch bản để đưa ra các lựa chọn khách quan hỗ trợ công tác quản lý theo các tùy chọn khác nhau. Do vậy, việc xây dựng các hệ thống hỗ trợ ra quyết định theo hướng trí tuệ nhân tạo đã và đang được các nhà khoa học trên thế giới quan tâm nghiên cứu và phát triển trong giai đoạn hiện nay. Từ sau năm 2000 đến nay, ở nước ta, mô hình CSDL tích hợp – phần lõi của hệ thống hỗ trợ ra quyết định đã được triển khai ứng dụng tại các Trung tâm Tin học của nhiều Bộ, ngành như: Bộ Tài chính, Bộ Nông nghiệp và Phát triển nông thôn, Ngân hàng, Bộ Thương mại, Bộ Tài nguyên và Môi trường Tuy nhiên, do trong thời gian qua sự chỉ đạo, điều hành và công tác quản lý nhà nước về phát triển ứng dụng CNTT của nước ta có nhiều thay đổi đột xuất cho nên việc hình thành các hệ thống hỗ trợ ra quyết định trên nền tảng tích hợp các CSDL mới chỉ được các Bộ, ngành tiến hành nghiên cứu thử nghiệm, chưa xây dựng được một hệ thống hoàn chỉnh để đưa vào sử dụng chính thức. Đã có nhiều công trình nghiên cứu về kết quả thực hiện phát triển ứng dụng CNTT của nước ta trong từng giai đoạn (từ năm 2000 đến nay) và qua đó có thể thấy mỗi giai đoạn đều đạt được những thành tựu nhất định, song cũng nẩy sinh nhiều vấn đề làm hạn chế kết quả của việc ứng dụng CNTT trong công tác quản lý nhà nước. Theo kết quả điều tra sơ bộ, các CSDL hiện có của các đơn vị trực thuộc Bộ KH&CN liên quan đến công tác quản lý các nhiệm vụ KH&CN phần lớn được quản lý và lưu trữ trên phần mềm MS Access, chạy độc lập trên các máy trạm theo nhu cầu của từng đơn vị và chưa thống nhất về cấu trúc dữ liệu cũng như không có tiêu chuẩn về thông tin và không được cập nhật thường xuyên. Do vậy, các thông tin của các CSDL này hầu như không được chia sẻ và hiệu quả rất hạn chế. Chính vì vậy, việc xây dựng hệ thống thông tin tích hợp phục vụ công tác quản lý nhà nước về KH&CN đang là một trong các nhiệm vụ trọng tâm, ưu tiên của Bộ KH&CN trong giai đoạn hiện nay. Đặc biệt là ứng dụng CNTT để xây dựng hệ thống CSDL tích hợp phục vụ công tác quản lý, thống kê các nhiệm vụ KH&CN của Bộ, hỗ trợ công tác xây dựng kế hoạch và quản lý hoạt động nghiên cứu và phát triển KH&CN. Hệ thống thông tin này không những phải đáp ứng tốt yêu cầu quản lý các nhiệm vụ KH&CN mà còn hỗ trợ công tác tư vấn ra quyết định giao chỉ tiêu kế hoạch hàng năm, lựa chọn tổ chức và cá nhân chủ trì thực hiện nhiệm vụ KH&CN đồng thời sẽ góp phần nâng cao năng lực [...]... cụng tỏc qun lý nh nc, cỏc bi bỏo khoa hc, cỏc vn bn quy phm phỏp lut liờn quan 14 Phng phỏp iu tra: xỏc nh thc trng vic ng dng CNTT trong cụng tỏc qun lý nh nc ti B KH&CN, ti ó tin hnh iu tra kho sỏt 29 n v trc thuc B KH&CN thuc cỏc khi qun lý nh nc v n v s nghip Phng phỏp thit k h thng: Thit k v xõy dng h thng tr giỳp ra quyt nh h tr cụng tỏc qun lý cỏc chng trỡnh, ti nghiờn cu khoa hc 9 Kt cu... thng tr giỳp ra quyt nh h tr qun lý hot ng KH&CN; Chng 3: Xõy dng kho d liu v gii phỏp x lý phõn tớch trc tuyn; Chng 4: Trớch, chn, np v x lý d liu; Kt lun; Ti liu tham kho 15 CHNG 1 TNG QUAN 1.1 H tr giỳp ra quyt nh 1.1.1 Gii thiu khỏi nim h tr giỳp ra quyt nh H h tr ra quyt nh cu to t mt lp cỏc h thng thụng tin da trờn mỏy tớnh bao gm cỏc h thng da trờn tri thc h tr cho cỏc hot ng ra quyt nh H... v cho cỏc nh qun lý trong doanh nghip Trong khi khi ú h h tr quyt nh cho ngi dựng n (thu gn) l h thng nh hot ng trong mỏy tớnh ca tng ngi qun lý 1.1.3 Cỏc thnh phn c bn ca h h tr ra quyt nh Theo Power, qua lý thuyt chớnh thng v t thc t h h tr ra quyt nh c xõy dng t 4 thnh phn chớnh: (a) Giao din ngi dựng, (b) C s d liu, (c) Cỏc cụng c phõn tớch v xõy dng mụ hỡnh, (d) Cu trỳc h h tr ra quyt nh v mng... giỳp v x lý d liu trc tuyn nhm gúp phn nõng cao nng lc qun lý v hiu qu hot ng KH&CN, gn cỏc chng trỡnh, ti nghiờn cu khoa hc vi thc tin sn xut v i sng xó hi (Online Analytical Processing) cho h thng tr giỳp ra quyt nh nờu trờn ti B KH&CN 4 Phm vi nghiờn cu: Phm vi khụng gian: Ti B KH&CN v mt s B, ngnh liờn quan Phm vi thi gian: Nghiờn cu cỏc ng dng CNTT trong qun lý cỏc chng trỡnh, ti nghiờn cu khoa. .. tr ra quyt nh 12 Nghiờn cu mt s vn v khai phỏ d liu, ỏp dng trờn h thng c s d liu qun lý cỏc ti, chng trỡnh nghiờn cu KH&CN ó c xõy dng ti B KH&CN Phõn tớch, thit k h thng tr giỳp ra quyt nh vi chc nng ỏnh giỏ ti nghiờn cu, h tr cho cỏc nh qun lý ra quyt nh trong quỏ trỡnh trin khai thc hin cỏc ti v la chn ti nghiờn cu KH&CN hng nm Ci t v ỏnh giỏ kt qu th nghim chng trỡnh h tr cụng tỏc qun lý. .. Tuy nhiờn, vic ng dng CNTT nõng cao nng lc iu hnh, qun lý, phc v ngi dõn v doanh nghip ti B KH&CN cha thc s hiu qu, cha t mc tiờu ra do Chớnh ph quy nh H thng v cỏc gii phỏp xõy dng kho d liu, : 13 H thng h tr ra quyt nh l mt cụng c h tr hiu qu cụng tỏc qun lý cỏc nhim v nghiờn cu v phỏt trin KH&CN CSDL tớch hp t cỏc n v qun lý Trờn CSDL qun lý v cp ch tiờu kinh phớ cho thc hin nhim v KH&CN ti cỏc... xõy dng ti liu cho cỏc phiờn bn quyt nh Theo Arakas d kin mt cu trỳc chung cú 5 thnh phn (a) H thng qun lý d liu (b) H thng qun lý mụ hỡnh (c) Mỏy tri thc (d) Giao din ngi dựng (e) Ngi dựng 1.2 Kho d liu (DW) 1.2.1 D liu tỏc nghip H thng OLTP cho phộp cỏc giao dch thay i d liu trong bng (vớ d bng cỏc lnh insert, update, delete, join ) trong quỏ trỡnh x lý H thng cho phộp nhiu ng dng truy cp d liu cựng... cp ch tiờu kinh phớ nhng nm tip theo Ngoi ra, c s d liu qun lý cỏc ti, nhim v cp Nh nc v cp B ca cỏc n v trc thuc B ó v ang thc hin cựng vi kt qu Chc nng ca h thng: xõy dng h thng thụng tin h tr cụng tỏc qun lý cỏc nhim v KH&CN ca B, bao gm thụng tin v qun lý cỏc ti, nhim v cp nh nc, cp b, do cỏc n v trc thuc B thc hin Mt s thụng tin h tr ra quyt nh: - Kim tra ti/d ỏn nh vy hoc tng t ó c ng ký hay... thụng qua cỏc thụng tin x lý trc tuyn c quan qun lý cú th theo dừi tỡnh hỡnh trin khai thc hin cng nh chi tiờu kinh phớ, t ú ỏnh giỏ hiu qu, lm cn c cho vic cp ch tiờu kinh phớ v phờ duyt nhim v KH&CN cho nhng nm tip theo cụng tỏc nghiờn cu khoa hc &CN: Chc nng chớnh ca h thng bao gm: Qun lý cỏc chng trỡnh, ti, nhim v cp nh nc, cp b khỏc do cỏc n v trc thuc B ch trỡ thc hin; Qun lý ch tiờu k hoch KH&CN... Phõn loi h tr giỳp ra quyt nh Cỏc tỏc gi khỏc nhau a ra cỏc cỏch phõn loi khỏc nhau S dng mi liờn kt vi ngi dựng nh mt tiờu chớ ỏnh giỏ, Haettenschwiler ó phõn tỏch h h tr quyt nh thnh cỏc loi: h h tr quyt nh b ng, ch ng v kt hp H b ng l h thng tr giỳp cho tin trỡnh ra quyt nh nhng khụng th cung cp gii phỏp hay t vn rừ rng cho quyt nh H ch ng cú th khc phc c iu ú H kt hp cho phộp ngi ra quyt nh sa i, . không có tiêu chuẩn v thông tin v không được cập nhật thường xuyên. Do v y, các thông tin của các CSDL này hầu như không được chia sẻ v hiệu quả rất hạn chế. Chính v v y, việc xây dựng hệ. hội nhập v i xu thế phát triển chung của thế giới v các nước trong khu v c, Bộ Chính trị đã ban hành Chỉ thị số 58-CT/TW ngày 17/10/2000 v đẩy mạnh ứng dụng v phát triển CNTT phục v sự nghiệp. yêu cầu truy v n trực tiếp hoặc theo các kịch bản có sẵn để cung cấp cho các nhà quản lý các thông tin đầy đủ v cơ quan v cá nhân chủ trì, v quá trình phê duyệt nhiệm v , v tiến độ triển