9. Kết cấu luận văn:
2.2.4. Phương phỏp luận xõy dựng kho dữ liệu
Quỏ trỡnh xõy dựng kho dữ liệu bao gồm nhiều pha. Chỳng ta sẽ xem xột chi tiết của từng pha cụ thể trong quỏ trỡnh xõy dựng bằng cụng cụ SQL Server. Việc xõy dựng kho dữ liệu sử dụng SQL Server được chia thành cỏc giai đoạn, bao gồm:
a, Xỏc định cỏc yờu cầu
- Thu thập dữ liệu, xỏc định nhu cầu khai thỏc thụng tin của lónh đạo - Xỏc định cỏc nguồn dữ liệu
- Xõy dựng cỏc tiờu chớ quản lý dữ liệu, biểu mẫu theo cỏc tiờu chớ - Thể hiện dữ liệu dưới cỏc khung nhỡn khỏc nhau
b, Giai đoạn mụ tả
- Xỏc định, thiết kế cỏc chiều (Dimension Table). - Xỏc định, thiết kế cỏc bảng Sự kiện (Fact Table).
- Xỏc định, thiết kế cỏc bảng tổng hợp (Summary Table). - Xỏc định, thiết kế cỏc bảng trung gian.
- Xỏc định lược đồ hỡnh sao.
- Ánh xạ việc trớch lọc, chuyển đổi dữ liệu. c, Giai đoạn xõy dựng
nh sau: - . - . - (index). - (Partition). - ...). - . d, Services 2.2.5. Cụng cụ thực hiện
Hiện nay trờn thế giới hệ quản trị cơ sở dữ liệu cung cấp giải phỏp cho lưu trữ, quản trị và xử lý dữ liệu thuộc về Microsoft SQL Server. Đõy là hệ quản trị cơ sở dữ liệu được đỏnh giỏ là một trong cỏc hệ quản trị cơ sở dữ liệu mạnh nhất hiện nay. Hệ thống hoạt động trờn kiến trỳc mỏy khỏch/chủ (client/server), cú ưu điểm là cho phộp chia sẻ cụng việc một cỏch hợp lý giữa hai mỏy.
Trong quỏ trỡnh phỏt triển hóng Microsoft thường xuyờn cú sự nõng cấp cỏc phiờn bản SQL Server, hiện phiờn bản mới nhất là SQL Server 2005. Cỏc đặc trưng của SQL Server 2005:
- Cung cấp cung cấp một nền tảng dữ liệu toàn diện và khả năng mở rộng kho cho phộp cỏc tổ chức để tớch hợp dữ liệu vào kho dữ liệu nhanh hơn, quy mụ và quản lý một lượng ngày càng tăng của dữ liệu và người sử dụng, trong khi cung cấp những hiểu biết để tất cả người dựng.
- Cung cấp một nền tảng cơ sở dữ liệu tiết kiệm chi phớ, mang lại hiệu quả cho cỏc giải phỏp lưu trữ, cho phộp khỏch hàng chỉ trả tiền cho cỏc tớnh năng và khả năng mở rộng mà họ cần, trong khi cung cấp một đường dẫn nõng cấp liền mạch cho phộp khỏch hàng xõy dựng vào đầu tư ban đầu của họ là những yờu cầu dữ liệu của họ phỏt triển.
- Giảm chi phớ thụng qua ảo húa phần cứng.
- Nõng cao hiệu suất truy vấn, cung cấp cỏc cụng cụ tối ưu húa để thiết kế cấu trỳc tối ưu cho cơ sở dữ liệu và lập chỉ mục.
Cỏc dịch vụ và tớnh năng tối ưu của SQL Server 2005:
- Dịch vụ phõn tớch: cải thiện và nõng cao hiệu suất phõn tớch
- Cho phộp đưa ra những quyết định trờn cơ sở cỏc phõn tớch tiờn đoỏn thụng qua việc khai thỏc dữ liệu đầy đủ và trực quan, hoàn toàn phự hợp trong suốt nền tảng Microsoft BI, và cú thể mở rộng trong bất kỳ ứng dụng.
- Cho phộp cỏc nhà phỏt triển xõy dựng cỏc cụng cụ mạnh, cỏc ứng dụng cơ sở dữ liệu thế hệ tiếp theo với .NET Framework, Visual Studio Team System.
- Cung cấp một nền tảng hoàn chỉnh được thiết kế để hỗ trợ xõy dựng một loạt cỏc bỏo cỏo theo nhu cầu để cung cấp thụng tin cú liờn quan khi cần thiết.
- Cung cấp tớnh năng bảo mật cải tiến, cụng cụ quản lý hiệu quả tớnh năng bảo mật, xỏc thực mạnh và kiểm soỏt truy cập, mó húa mạnh, kiểm toỏn nõng cao.
2.2.6. Bộ cụng cụ Microsoft SQL Server 2005
Bộ cụng cụ SQL Server 2005 trợ giỳp cho việc xõy dựng, quản trị và khai thỏc cỏc hệ thống thụng tin, kho dữ liệu. Trong đú cú một số cỏc cụng cụ cơ bản sau:
- Enterprise Manager: dựng để xõy dựng và quản trị cơ sở dữ liệu.
- Analysis Services: cung cấp cụng cụ phõn tớch dữ liệu thụng qua khai thỏc dữ liệu trực quan.
- SQL Server 2005 Reporting Services: hỗ trợ xõy dựng bỏo cỏo.
2.3. Phõn tớch, thiết kế hệ thống
2.3.1. Những yờu cầu chung về hệ thống
Phần cứng: bao gồm cả mỏy chủ (server), mỏy trạm làm việc, cỏc thiết bị mạng và truyền thụng, phải đảm bảo được tốc độ và tương thớch trong toàn hệ thống.
Mụi trường phỏt triển: phải đảm bảo được khả năng quản lý lượng dữ liệu lớn và tốc độ truy cập cao, phõn tỏn trờn địa bàn rộng và cú khả năng kết nối động.
Phần mềm ứng dụng: phải đỏp ứng được cỏc yờu cầu nghiệp vụ quản lý cỏc nhiệm vụ KH&CN, tớch hợp CSDL với trang web, thuận tiện cho việc triển khai và khai thỏc ứng dụng cũng như phỏt triển mở rộng trong tương lai.
Ba phần này liờn quan mật thiết với nhau. Để lựa chọn một giải phỏp tốt, cần phải xem xột cả ba yếu tố trờn. Bờn cạnh những yếu tố kỹ thuật nờu trờn, nhúm đề tài cũng đó xem xột khả năng phỏt triển hệ thống và khả năng phối hợp của
cỏc đơn vị trong Bộ. Điều này sẽ đảm bảo cho hệ thống được triển khai cú hiệu quả và ổn định sau này.
2.3.2. Thiết kế cơ sở dữ liệu
a, Xỏc định cỏc loại cơ sở dữ liệu cần xõy dựng
Như chỳng ta đó biết, nội dung của cỏc cơ sở dữ liệu sẽ được xỏc định theo mục đớch sử dụng của hệ thống thụng tin do cỏc nhà quản lý yờu cầu. Do vậy, căn cứ cỏc quy định về quản lý hoạt động KH&CN hiện nay và theo yờu cầu của quản lý để xõy dựng hệ thống thụng tin hỗ trợ cụng tỏc quản lý cỏc nhiệm vụ KH&CN của Bộ, cần phải xõy dựng cơ sở dữ liệu lý đề tài nghiờn cứu khoa học và phỏt triển cụng nghệ với cỏc thành phần sau:
- Thụng tin về cỏc đề tài.
- Thụng tin về kết quả đó được nghiệm thu của cỏc đề tài. - Thụng tin về cỏc chuyờn gia trong lĩnh vực KH&CN. b, Cỏc yờu cầu quản lý thụng tin đối với cỏc cơ sở dữ liệu
Cỏc thụng tin cần quản lý và lưu trữ trong cỏc cơ sở dữ liệu nờu trờn cần phải đảm bảo tớnh đầy đủ và trung thực so với nội dung cỏc văn bản thuyết minh của cỏc nhiệm vụ KH&CN đó phờ duyệt nhưng lại khụng phải là bản sao nguyờn vẹn của cỏc thuyết minh đú. Do vậy, cần lựa chọn những đầu mục thụng tin chớnh trong thuyết minh nhiệm vụ để đưa vào quản lý trong cơ sở dữ liệu và thụng qua cỏc thụng tin đú sẽ giỳp cỏc nhà quản lý cú thể nắm được toàn bộ nội dung, tiến độ triển khai thực hiện nhiệm vụ khi cần.
- Dữ liệu về đề tài nghiờn cứu khoa học và phỏt triển cụng nghệ
Tờn đề tài Mó số
Thời gian thực hiện: số thỏng Từ thỏng năm đến thỏng… năm Cấp quản lý: Bộ, Nhà nước Kinh phớ: …triệu đồng
Kinh phớ gồm: Ngõn sỏch sự nghiệp khoa học, nguồn tự cú của cơ quan, từ nguồn khỏc
Thuộc chương trỡnh: Thuộc dự ỏn KH&CN: Đề tài độc lập
Chủ nhiệm đề tài: (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) Cơ quan chủ trỡ đề tài (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) Nội dung KH&CN của đề tài
+ Mục tiờu
+ Nội dung nghiờn cứu ứng dụng và triển khai thực nghiệm
+ Tiến độ thực hiện (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) Dự kiến kết quả
+ Dạng kết quả dự kiến (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) + Yờu cầu khoa học đối với sản phẩm dự kiến tạo ra (chi tiết theo mẫu thuyết minh B1-2-TMKHCN)
+ Yờu cầu khoa học đối với sản phẩm (chi tiết theo mẫu thuyết minh B1-2- TMKHCN)
+ Khả năng ứng dụng và phương thức chuyển giao kết quả nghiờn cứu + Cỏc lợi ớch mang lại và cỏc tỏc động của kết quả nghiờn cứu
Đối với việc xõy dựng đường lối, phỏp luật, chớnh sỏch Đối với phỏt triển KT-XH
Đối với nơi ứng dụng kết quả nghiờn cứu
Đối với phỏt triển lĩnh vực khoa học cú liờn quan Đối với cụng tỏc đào tạo cỏn bộ khoa học
Cỏc tổ chức/cỏ nhõn tham gia thực hiện đề tài
+ Cỏc tổ chức, cỏ nhõn phối hợp thực hiện đề tài (chi tiết theo mẫu thuyết minh B1-2-TMKHCN)
+ Cỏn bộ thực hiện đề tài (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) Kinh phớ thực hiện đề tài (chi tiết theo mẫu thuyết minh B1-2-TMKHCN) Tỡnh trạng đề tài
+ Nghiệm thu hay chưa nghiệm thu
+ Kết quả nghiệm thu thế nào (xuất sắc, đạt, khụng đạt), + Thỏng, năm nghiệm thu
Tệp tin thuyết minh (tệp đớnh kốm) Bỏo cỏo tổng kết (tệp đớnh kốm)
- Dữ liệu về chủ nhiệm đề tài + Tờn chủ nhiệm đề tài
+ Địa chỉ
+ Điện thoại liờn hệ + Số Fax
+ Địa chỉ Email + Tờn lónh đạo + Số tài khoản
- Dữ liệu về đơn vị thực hiện
+ Tờn đơn vị + Địa chỉ + Điện thoại + Số Fax + Địa chỉ email + Địa chỉ Website + Giỏm đốc + Số tài khoản + Ngõn hàng + Chủ tài khoản
- Dữ liệu về kết quả đề tài
+ Tờn sản phẩm + Dạng sản phẩm + Nội dung
+ Yờu cầu kỹ thuật + Thời gian bắt đầu + Thời gian kết thỳc
+ Tổ chức, cơ quan thực hiện + Trạng thỏi của sản phẩm + Mụ tả
2.3.3. Xõy dựng mụ hỡnh cấu trỳc cơ sở dữ liệu
Hệ thống thụng tin quản lý cỏc nhiệm vụ KH&CN cấp Bộ cần thoả món cỏc yờu cầu sau:
- Đảm bảo tớnh lụgớc, phự hợp với cụng tỏc quản lý nhiệm vụ KH&CN cấp Bộ.
- Đảm bảo yờu cầu độc lập của cơ quan quản lý đối với cỏc đơn vị và theo yờu cầu quản lý chung của Bộ.
- Hệ thống phải lưu trữ đầy đủ, phản ỏnh chớnh xỏc thụng tin về đề tài, đề ỏn, chỉ tiờu kế hoạch theo từng năm của cỏc đơn vị trong Bộ.
- Hệ thống đảm bảo nguyờn tắc thiết kế mở, được thiết kế, xõy dựng và vận hành theo cỏc chuẩn cụng nghệ mở, đảm bảo khả năng nõng cấp, thay đổi, bổ sung thờm cỏc thành phần mới khi cần thiết.
- Hệ thống bao gồm cỏc phõn hệ chức năng được tớch hợp thành một hệ thống thống nhất (đăng nhập, nhập dữ liệu, quản trị dữ liệu, quản trị hệ thống, quản trị người dựng, tra cứu thụng tin…) trong đú lớp ứng dụng cài đặt tại cỏc mỏy trạm chỉ là trỡnh duyệt Web với giao diện nhất quỏn. Cỏc Module cú chế độ phõn quyền riờng cho người dựng, đảm bảo khả năng an toàn thụng tin tối đa.
- Hệ thống an ninh được hỗ trợ nhiều mức bảo mật và cơ chế bảo mật khỏc nhau: Mật khẩu và phõn quyền theo tài khoản, đảm bảo an ninh dữ liệu, an ninh trong hệ thống mạng nội bộ, an ninh giữa hệ thống mạng nội bộ và mạng cụng cộng (qua filewall). Cú giải phỏp cho Module cập nhật dữ liệu trực tuyến. Hệ thống phải cú cỏc qui định về bảo trỡ nhằm đảm bảo tớnh ổn định hệ thống, bảo vệ nguồn tài nguyờn quý giỏ này khỏi cỏc truy nhập bất hợp phỏp.
- Bảng mó hiển thị dữ liệu trờn giao diện người dựng phải sử dụng bảng mó TCVN 6909-2000 (dựa trờn Unicode). Điều này nhằm đảm bảo tương thớch tối đa với hệ thống mỏy trạm của người dựng.
- Hệ thống phải tớch hợp với hệ thống thụng tin đó, đang và sẽ xõy dựng tại Trung tõm Tin học và cỏc đơn vị trực thuộc Bộ KH&CN.
TableDeTaiProcess PK Id FK1 fk_DeTai_Id Stt Content Product Time PersonOfficeWork TableDeTaiCongBoKetQua PK Id FK1 fk_DeTai_Id ProductName TapChiNXB Notes TableOffice PK Id Name Tel Fax Email Address Website DirectorName AccountNo Bank OwnerName TableProgram PK Id ProgramName Description TableDeTai PK Id Code Name Year FromDate ToDate Total NganSach TuCo NguonKhac FK4 fk_BelongProgram_Id FK5 fk_BelongProject_Id IsPrivate FK2 fk_ProjectManager_Id FK3 fk_Office_Id Target FK6 fk_Status_Id TinhHinhNghienCuu CachTiepCanPhuongPhapNC Content PhuongThucChuyenGiao CacTacDong LienKetSXVaDoiSong FK1 fk_Cdt_Id --- DanhGiaTongQuan DanhMucCongTrinhNghienCuu PhanTichDanhGiaCuThe DanhGiaChiTieuKyThuat KhaNangThiTruong KhaNangKinhTe KhaNangLienDoanh PhuongThuc LoiichKHCN LoiichNoiUngDung LoiichKTXHMT StatusNew StatusContinue NgayNT KetQua YKien LvKhoaHoc TepBC TepTM Type TableDeTaiHopTacQuocTe PK Id Name Content Status FK1 fk_DeTai_Id TableProject PK Id ProjectName Description TableDeTaiResult PK Id FK2 fk_DeTai_Id FK1 fk_DangSanPham_Id Active TableDeTaiKinhPhiThucHien PK Id Index FK1 fk_DeTai_Id Name CongLaoDong NguyenVatLieu ThietBiMayMoc XayDungsuachua Khac FK2 fk_ParentDeTaiKinhPhi_Id TongSo TableDangSanPham PK Id DangSanPhamName Description ResultType TableEmployee PK Id U1 EmployeeName Address Tel Mobile TableDeTaiYeuCauKyThuat PK Id FK1 fk_DeTai_Id ProductName DonViDo CanDat TrongNuoc TheGioi DuKien TableCdt PK Id CDTName CDTDob CDTSex CDTHocHam CDTNamDuocPhong CDTHocVi CDTNamDat CDTChucDanhKhoaHoc CDTChucVu CDTDienThoai CDTCoQuan CDTNhaRieng CDTMobile CDTFax CDTEmail CDTCoQuanCongTac CDTDiaChiCoQuan CDTDiaChiNR TableStatus PK Id StatusName Description Code TableDeTaiOfficeJoin PK Id FK1 fk_DeTai_Id Name Address Action Target EstimatedCost Hỡnh 2.3.1 2.4. Kết luận
Qua phần giới thiệu bài toỏn, phương phỏp luận và cụng cụ thực hiện ta đó xỏc định được cỏc yờu cầu bài toỏn đặt ra và lựa chọn phương phỏp luận cũng như cỏc cụng cụ để xõy dựng thành cụng bài toỏn: phương phỏp kho dữ liệu, cỏc cụng cụ của MS SQL Server, cụ thể là Enterprise Manager để xõy dựng kho dữ liệu và Analysis Service để phục vụ cho việc khai thỏc và phõn tớch dữ liệu.
CHƢƠNG 3. XÂY DỰNG KHO DỮ LIỆU VÀ GIẢI PHÁP XỬ Lí PHÂN TÍCH TRỰC TUYẾN
3.1. Phõn tớch, thiết kế và x
3.1.1. Phõn tớch hệ thống
Mục tiờu của giai đoạn này là phõn tớch những yờu cầu của bài toỏn để xỏc định cỏc chiều thụng tin, dữ liệu mà kho dữ liệu sẽ chứa đựng, những yờu cầu cụ thể của người sử dụng cuối để xỏc định dữ liệu được lưu trong kho sẽ sử dụng như thế nào.
Cỏc bước phõn tớch gồm: - Phõn tớch nghiệp vụ bài toỏn.
- Xỏc định cỏc nguồn dữ liệu cũng như nội dung dữ liệu sẽ được lưu trữ trong kho dữ liệu.
- Phõn tớch lượng dữ liệu phỏt sinh hàng thỏng, năm và lượng dữ liệu cần lưu trữ.
- Phõn tớch lớp những người sử dụng dựa trờn mục đớch khai thỏc thụng tin, chức năng. Nắm được yờu cầu của mỗi lớp người dựng.
- Xỏc định được kho dữ liệu cần phải làm gỡ.
Giai đoạn phõn tớch hệ thống tập trung vào việc phõn tớch chức chức năng và phõn tớch dữ liệu.
3.1.2. Phõn tớch chức năng
, lưu t
:
- Thụng tin chung đề tài .
- đơn vị chủ trỡ thực hiện đề tài.
- chủ nhiệm đề tài.
- kết quả và tỡnh trạng của đề tài.
. : - Danh - - -
- Module quản trị hệ thống với cỏc chức năng
+ Đăng ký, quản lý người sử dụng hệ thống
+ Tạo, cấp quyền khai thỏc, phõn cấp quản lý thụng tin
- Module cập nhật dữ liệu vào hệ thống
+ Cập nhật cỏc bảng danh mục: danh mục cơ quan, cỏn bộ, học hàm, học vị, lĩnh vực nghiờn cứu, loại hỡnh nghiờn cứu...
+ Cập nhật thụng tin về cỏc đề tài nghiờn cứu khoa học và phỏt triển cụng nghệ và đề tài nghiờn cứu khoa học xó hội và nhõn văn
+ Cập nhật thụng tin về đề ỏn nghiờn cứu + Cập nhật thụng tin về chuyờn gia KH&CN + Cập nhật thụng tin về chỉ tiờu kế hoạch năm...
- Module tỡm kiếm, tổng hợp thụng tin, lập bỏo cỏo số liệu tổng hợp
+ Tỡm kiếm, tổng hợp, thống kờ theo đề tài nghiờn cứu + Tỡm kiếm, tổng hợp, thống kờ theo đơn vị
+ Tỡm kiếm, tổng hợp, thống kờ theo thời gian + Tỡm kiếm thụng tin về hiện trạng của đề tài + Tỡm kiếm thụng tin về chuyờn gia KH&CN
+ Tỡm kiếm, tổng hợp, thống kờ theo chỉ tiờu kế hoạch - Module thụng tin hỗ trợ
+ Tải cỏc biểu mẫu thuyết minh đề tài nghiờn cứu + Tải cỏc biểu mẫu
+ Tải cỏc mẫu biểu dự ỏn tăng cường trang thiết bị + Tải cỏc mẫu biểu chỉ tiờu kế hoạch KH&CN ...
3.1.3. Nội dung thụng tin cần khai thỏc
a, Yờu cầu thống kờ
- Thống kờ danh mục cỏc đề tài theo giai đoạn (đối với tất cả cỏc đơn vị trong Bộ)
- Thống kờ danh mục cỏc đề tài theo giai đoạn của từng đơn vị
- Thống kờ danh mục cỏc đề tài chậm nghiệm thu so với tiến độ theo năm (đối với tất cả cỏc đơn vị trong Bộ)
- Thống kờ danh sỏch cỏc đề tài theo tờn chủ nhiệm đề tài - Thống kờ theo chỉ tiờu xỏc định