TRIỂN KHAI CÔNG CỤ HỖ TRỢ XÂY DỰNG VÀ QUẢN TRỊ KHO DỮ LIỆU PHỤC VỤ QUẢN LÝ ĐÀO TẠO TẠI TRƯỜNG ĐẠI HỌC KINH TẾ

TRIỂN KHAI CÔNG CỤ HỖ TRỢ XÂY DỰNG VÀ QUẢN TRỊ KHO DỮ LIỆU PHỤC VỤ QUẢN LÝ ĐÀO TẠO TẠI TRƯỜNG ĐẠI HỌC KINH TẾ Ths.Nguyễn Văn Chức chucnv@ud.edu.vn 4.1 Phân tích chức quản trị kho liệu phục vụ đào tạo Mục đích kho liệu đào tạo hỗ trợ thông tin phục vụ công tác quản lý đào tạo trường Mỗi khoa, phịng có nhu cầu sử dụng thơng tin riêng cho yêu cầu tác nghiệp Vì việc tổ chức, phân phát liệu cho đơn vị cách hợp lý tổng hợp liệu từ đơn vị để lưu trữ, báo cáo, dự phịng cần thiết Chức kho liệu phục vụ đào tạo gồm chức sau: Xây dựng Data Mart cục độc lập khoa, phòng: Lưu liệu cục khoa, phịng Các thơng tin qui định dạng thống sử dụng hệ quản trị CSDL ORACLE để tổ chức lưu trữ Vì nhiệm cụ xây dựng cấu trúc CSDL ORACLR hợp lý cho phép chuyển đổi liệu từ nguồn tồn trước MS Excel, MS Access, MS SQL SERVER lưu trữ ORACLE Như phân tích chương DM cần xây dựng DM_DAOTAO chứa liệu trực tiếp đến công tác đào tạo, DM_HOSOCB chứa liệu liên quan đến hồ sơ cán bộ, DM_HOSOSV chứa liệu liên quan đến hồ sơ sinh viên DM_VBNCKH chứa thông tin liên quan đến công tác quản lý văn hoạt động nghiên cứu khoa học trường Xây dựng cơng cụ tích hợp DM xây dựng để trao đổi thông tin với nhau: Sau xây dựng Data Mart để lưu trữ liệu phục vụ trực tiếp cho hoạt động tác nghiệp đơn vị, phịng ban, cơng việc xây dựng công cụ cho phép tổng hợp, chuyển đổi, đồng bộ, làm liệu, phân tán liệu Data Mart vào kho liệu chung phân phát liệu cho người sử dụng phục vụ công tác quản lý Một số chức cần thiết cho công tác đào tạo như: Chuyển điểm từ khoa lên phòng đào tạo, đối chiếu điểm khoa phòng đào tạo, cập nhật thơng tin sinh viên, chương trình học, phân tán liệu từ kho liệu chung trường xuống khoa, phịng ban chuyển thơng tin sinh viên, môn học, cán xuống kho liệu cục khoa, phịng, tìm kiếm liệu cần thiết phục vụ công tác quản lý Công cụ quản trị kho liệu đào tạo (1) Tạo kho liệu cục bộ(DM), chuyển đổi định dạng nguồn liệu (2) Tích hợp liệu từ khoa, phòng ban kho liệu chung(tổng kho) (3) Đồng liệu từ nguồn liệu với Data Mart, Data Mart với (4) Phân tán liệu từ tổng kho liệu trường đến khoa, phịng ban phục vụ cơng tác quản lý, tác nghiệp Hình 4.1 Sơ đồ phân cấp chức hệ thống quản lý kho liệu phục vụ đào tạo (1) Các kho liệu cục tạo DBMS ORACLE để lưu trữ liệu phục vụ trực tiếp cho hoạt động khoa, phịng ban Mỗi khoa, phịng ban có quyền tự trị cao liệu cục Dữ liệu DM kế thừa từ nguồn liệu tồn trước hệ thống nhiều định dạng liệu Excel, MS Access, SQL SERVER hay Oracle hệ thống quản trị liệu hỗ trợ chuyển đổi tất định dạng liệu Oracle (2) Dữ liệu DM người quản trị cục có tồn quyền cập nhật, khai thác.Dữ liệu DM tích hợp lưu trữ kho liệu chung trường để phục vụ công tác tổng hợp, lưu trữ, khai thác phục vụ quản lý, điều hành Cấu trúc tổng kho xây dựng DBMS Oracle Tổng kho liệu phải có người quản trị riêng người có quyền cao hệ thống quản lý kho liệu (3) Trong q trình hoạt động tác nghiệp, liệu có biến đổi(do thao tác cập nhật) DM hay tổng kho, cơng tác đồng nhằm giúp cho liệu nguồn có quán cao, tránh xung đột liệu nguồn liệu Chẳng hạn, sau văn thư khoa nhập điểm cho sinh viên ta tiến hành đồng điểm lên phòng đào tạo để cập nhật điểm công tác đối chiếu điểm sinh viên khoa phòng đào tạo (4) Dữ liệu từ tổng kho cần thiết phân tán đến đơn vị cần sử dụng khoa, phịng ban Việc phân tán liệu phân tán ngang(theo số ghi) hay phân tán dọc(theo số thuộc tính) phân tán theo số điều kiện lọc Ví dụ sau tổng kho liệu có liệu tất sinh viên tồn trường, sau phân tán sinh viên lưu trữ DM khoa để thuận lợi cho công tác quản lý, sinh viên thuộc khoa sẻ chuyển lưu trữ DM khoa 4.2 Triển khai kho liệu phân tán phục vụ quản lý đào tạo trường Đại học Kinh tế 4.2.1 Xây dựng mơ hình hệ thống mạng trường Đại học Kinh tế Để triển khai mô hình kho liệu phân tán phục vụ cơng tác đào tạo trường Đại học Kinh tế, sở hạ tầng hệ thống mạng nhà trường phải đảm bảo hoạt động thông suốt để trao đổi thông tin Data Mart tổng kho Yêu cầu tối thiểu hệ thống mạng LAN nhà trường phải có SERVER chuyên dụng phục vụ cho mục đích sau: 01 SERVER đóng vai trị Tổng kho để lưu trữ tất liệu tích hợp từ Data Mart khoa, phòng ban SERVER để lưu trữ tổng kho phải có cấu hình mạnh, khả lưu trữ lớn hỗ trợ chế phòng, bảo vệ liệu FIREWALL, RAID Cài đặt hệ quản trị CSDL ORACLE 10 SERVER để lưu trữ liệu cho kho liệu hướng chủ đề(Data Mart) cho 07 Khoa chuyên môn phòng ban (Phòng Đào tạo, phòng Tài vụ, phòng Hành chính) Các SERVER chứa Data mart khơng cần u cầu cấu hình q lớn để tránh lãng phí đầu tư Các SERVER cài đặt hệ quản trị CSDL ORACLE Hệ thống mạng thông tin phân thành vùng: Vùng (front-end ) Vùng thiết lập để kết nối với bên hệ thống (kết nối Internet Intranet Đại học Đà nẵng) cho phép người dùng kết nối vào mạng nội để lấy thông tin đồng thời đảm bảo hệ thống bảo mật nghiêm ngặt Để đáp ứng yêu cầu trên, hệ thống thiết bị đảm bảo tính gồm: Tính bảo mật tường lửa: Thiết bị tích hợp sẵn tường lửa với chức hữu dụng : Chặn port, lọc IP, chống công từ chối dịch vụ (DDoS, DoS, SYN flood, Ping of dead, ),hỗ trợ chặn URL dễ dàng hiệu thơng qua từ khóa, hỗ trợ kỹ thuật Email Alert giúp giám sát hiệu phản ứng kịp thời, khóa ứng dụng tự động download Java applets điều khiển ActiveX VPN (Virtual Private Network): VPN server tích hợp sẵn giúp người dùng từ xa kết nối với mạng cục bạn để check mail, load file, in ấn… cách bảo mật với IPSEC, PPTP, L2TP, protocol, chế độ mã hóa AES,MPPE, hardware-base DES/3DES thơng qua mạng Internet.Tính độc đáo giúp tiết kiệm chi phí thuê bao đường leaseline hay cước viễn thông liên tỉnh/quốc tế kết nối quay số truyền thống, tích hợp sẵn DHCP server nhằm đơn giản hóa việc cấu hình mạng nội bộ, bảo mật đơn giản thuận tiện thông qua việc phân chia VLAN, quản lý băng thông port (inbound / outbound) Vùng yêu cầu thiết bị Router (bộ định tuyến) Firewall (tường lửa) Hiện thị trường có nhiều hãng chuyên thiết bị mạng Cisco, Draytek Tuỳ thuộc vào kinh phí chọn loại thích hợp Vùng (DMZ) Vùng bao gồm server chức năng, bao gồm server Database, DNS, DHCP, Mail, Web, Backup,… dùng chung liệu Ở yêu cầu hệ thống phải đảm bảo kết nối liên tục, sử dụng switch (Layer 3) tốc độ cổng mạng đạt đến mức Gigabit , có hỗ trợ VLAN nhằm cho phép truy cập nhanh Vùng (back-end) Vùng chứa server khoa để chứa liệu nội riêng biệt, dùng switch có hỗ trợ VLAN để máy trạm nơi khơng thể nhìn thấy 4.3.Khả quản trị kho liệu phân tán ORACLE Hệ quản trị CSDL ORACLE hệ thống quản trị liệu lớn, hỗ trợ mạnh cho khả quản lý kho liệu(Data Warehouse), sở liệu phân tán hệ thống thông tin lớn Sức mạnh vượt trội ORACLE 9i khả phân tích kho liệu, truy xuất liệu từ xa, phân tán, hỗ trợ cho hệ thống phân tích trực tuyến(OLAP) 4.3.1.Quản lý tên sở liệu toàn cục(Global Database Name) Cơ sở liệu phân tán Trong hệ thống sở liệu phân tán, sở liệu có tên tồn cục dùng để xác định sở liệu Tên sở liệu toàn cục gồm hai thành phần tên sở liệu(Database name) tên miền(Domain name) Tên sở liệu từ đến tám ký tự Tên miền phải theo chuẩn qui ước internet, mức tên miền phải cách dấu chấm Sau ví dụ đặt tên cho CSDL toàn cục ORACLE: DB_NAME DB_DOMAIN Global Database Name DAOTAO DHKT.EDU.VN DAOTAO.DHKT.EDU.VN SINHVIEN DHKT.EDU.VN SINHVIEN.DHKT.EDU.VN THUVIEN DHKT.EDU.VN THUVIEN.DHKT.EDU.VN Để xem tên sở liệu toàn cục ta sử dụng câu lệnh : SELECT * FROM GLOBAL_NAME; Để thay đổi tên sở liệu toàn cục ta dùng cú pháp: ALTER DATABASE RENAME GLOBAL_NAME TO databasename.domain Ví dụ để đổi tên sở liệu toàn cục TKTH.DHKT.EDU.VN thành KHOA.DHKT.EDU.VN ta làm sau: 4.3.2.Tạo liên kết sở liệu(Database links) hệ thống CSDL phân tán Để hỗ trợ cho ứng dụng truy xuất liệu hệ thống CSDL phân tán ta cần tạo liên kết liệu(Database links) nguồn liệu xa(Remote Database) Một Database link trỏ CSDL cục bộ(local database) cho phép bạn truy cập đối tượng liệu CSDL xa(remote database) ORACLE cho phép tạo Database Links câu lẹnh SQL giao diện đồ họa Tạo Database Links sử dụng câu lệnh SQL: Database Link Private CREATE DATABASE LINK "DAOTAO.DHKT.EDU.VN" CONNECT TO "CHUC" IDENTIFIED BY "chuc" USING 'DMDAOTAO' Database Link Public CREATE PUBLIC DATABASE LINK "DAOTAO.DHKT.EDU.VN" CONNECT TO "CHUC" IDENTIFIED BY "chuc" USING 'DMDAOTAO' Tạo Database Link sử dụng giao diện đồ họa Oracle Tạo Database Link thành công cho phép truy xuất đến CSDL đào tạo Sau thiết lập Database Link thành cơng, ta truy xuất liệu từ xa thông qua tên Database link Ví dụ, từ CSDL cục DATAWH ta muốn xem nội dung môn học CSDL từ xa đào tạo qua Database Link DAOTAO.DHKT.EDU.VN, ta sử dụng câu lệnh SQl sau: Đóng xóa Database Links Để đảm bảo an toàn truy cập CSDL từ xa qua hệ phân tán, khơng cần thiết nên đóng xóa Database Links Đóng Database Link sử dụng câu lệnh SQL sau: ALTER SESSION CLOSE DATABASE LINK Linkname; Để đóng Database Links DAOTAO.DHKT.EDU.VN ALTER SESSION CLOSE DATABASE LINK DAOTAO.DHKT.EDU.VN Để xóa Database Links ta sử dụng câu lệnh SQL sau: DROP [PUBLIC] DATABASE LINK dblink; Ví dụ để xóa Database Links DAOTAO.DHKT.EDU.VN DROP DATABASE LINK DAOTAO.DHKT.EDU.VN 4.3.3.Giải vấn đề tạo suốt vị trí CSDL phân tán ORACLE(Location Transparency) Trong hệ thống CSDL phân tán, yêu cầu suốt vị trí người sử dụng liệu quan trọng, người dùng không cần biết liệu lưu trữ vật lý đâu hệ thống mạng Nếu bạn tạo Database Links cần thiết, người sử dụng truy cập vào đối tượng liệu xa thể máy cục bộ, vấn đề gọi suốt vị trí, ẩn chức phân tán từ phía người sử dụng ORACLE triển khai ba cách để tạo tính suốt vị trí sau: • Sử dụng khung nhìn(View) để tạo suốt vị trí • Sử dụng bí danh(Synonyms) để tạo suốt vị trí • Sử dụng thủ tục(Procedures) để tạo suốt vị trí Sử dụng khung nhìn(View) để tạo suốt vị trí Những View cục cung cấp mức suốt vị trí CSDL cục CSDL từ xa CSDL phân tán Giả sử có bảng KHOA CSDL cục DMDAOTAO bảng GIANGVIEN CSDL từ xa qua DB_link có tên TKTH.DHKT.EDU.VN, ta tạo khung nhìn nối thơng tin từ CSDL cục từ xa sau: Khi người dùng sử dụng view V1 để xem liệu, người sử dụng không cần biết liệu lưu trữ vật lý đâu lấy từ bảng Sử dụng bí danh(Synonym) để tạo suốt vị trí Bí danh hữu ích hai môi trường CSDL phân tán tập trung, sử dụng bí danh bạn đặt tên lại cho đối tượng CSDL để sử dụng, với CSDL phân tán bí danh làm cho người sử dụng không quan tâm đến liệu đâu hệ phân tán mà biết tên bí danh đối tượng CSDL Một điều cần ý dùng bí danh đối tượng CSDL bị di chuyên đổi tên ta phải thay đổi bí danh cho phù hợp Ta tạo bí danh đối tượng liệu sau: Tables, Views, Materialized Views, Procedures, Functions, Packages Cú pháp để tạo bí danh: CREATE [PUBLIC] synonym_name FOR [schema.] object_name[@Database_link_name] Trong đó: public:Từ khóa xác định bí danh sử dụng cho người dùng, khơng có từ khóa PUBLIC câu lệnh sẻ tạo bí danh riêng(Private) sử dụng cho người ta bí danh synonym_name: tên bí danh dùng để tham chiếu đến đối tượng CSDL schema: Lược đồ nơi chứa đối tượng CSDL object_name: tên đối tượng CSDL tham chiếu ví dụ table, view, procedure,… 10 # Generated by Oracle configuration tools DATAWH = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.10)(PORT = 1521)) ) (CONNECT_DATA = (SID = DATAWH) (SERVER = DEDICATED) ) ) DMTMDL = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.11)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMTMDL) (SERVER = DEDICATED) ) ) DMTCNH = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.12)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMTCNH) (SERVER = DEDICATED) ) ) 18 DMKTPT = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.13)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMKTPT) (SERVER = DEDICATED) ) ) DMMALE = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.14)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMMALE) (SERVER = DEDICATED) ) ) DMQTKD = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.15)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMQTKD) (SERVER = DEDICATED) ) ) DMKETO = 19 (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.16)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMKETO) (SERVER = DEDICATED) ) ) DMTKTH = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.17)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMTKTH) (SERVER = DEDICATED) ) ) DMDAOTAO = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.18)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMDAOTAO) (SERVER = DEDICATED) ) ) DMHACH = (DESCRIPTION = 20 (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.19)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMHACH) (SERVER = DEDICATED) ) ) DMTHUV = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 10.0.1.20)(PORT = 1521)) ) (CONNECT_DATA = (SID = DMTHUV) (SERVER = DEDICATED) ) ) DMTAVU = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST =10.0.1.21 )(PORT = 1521)) ) (CONNECT_DATA = (SID = DMTAVU) (SERVER = DEDICATED) ) ) 4.4.2.Xây dựng liên kết liệu để tích hợp liệu từ Data Mart 21 Tại Data Mart muốn trao đổi với Data Mart khác từ Data mart ta tạo liên kết liệu(Database Link) đến Data Mart muốn trao đổi Tên miền CSDL cho Database Link hệ thống DHKT.EDU.VN Dưới Database Link từ tổng kho(DATAWH) đến Data Mart khác 4.4.3 Xây dựng công cụ hỗ trợ quản lý kho liệu đào tạo Chức cơng cụ hỗ trợ quản lý kho liệu trợ giúp cho người quản trị sở liệu thực tự động số chức sau: Chuyển đổi liệu: Nhiệm vụ quan trọng khởi tạo kho liệu lag cho phép người quản trị chuyển đổi liệu từ định dạng khác nhau(MS Excel, MS Access, XML, SQL SERVER) từ nguồn khác (các khoa, phòng) tồn trước định dạng thống ORACLE lưu trữ Data Mart phục vụ công khai thác liệu phục vụ hoạt động tác nghiệp nhà trường chuyển đổi liệu từ ORACLE sang định dạng liệu khác để chia sẻ liệu từ kho liệu tới người sử dụng cuối Đây chức thiết thực cho cơng tác thu thập liệu khoa, phịng nhà trường chưa có chương trình quản lý chung mà đơn vị ứng dụng máy tính cách riêng lẻ, tự phát Hiện XML chuẩn liệu phổ biến để trao đổi 22 liệu internet hệ thống hỗ trợ chuyển đổi qua lại từ định dạng XML vào nguồn liệu khác(SQL SERVER, ORACLE) làm tăng khả trao đổi thông tin kho liệu Tích hợp liệu: Chức tích hợp liệu cho phép người quản trị liệu trao đổi liệu từ Data Mart khác nhà trường Nguên tắc tích hợp liệu Data Mart Data Mart trao đổi liệu phải có bảng có cấu trúc giống dựa khóa 23 24 Đồng liệu: Chức cho phép người quản trị kho liệu so sánh, làm liệu liệu Data mart làm cho liệu hệ thống có tính qn cao Chẳn hạn, kiểm tra, đối chiếu điểm sinh viên khoa phòng đào tạo Đây chức cần thiết công tác xử lý liệu nhà trường 25 Tạo mới: Chức cho phép tạo bảng Data Mart đích trường hợp Data Mart đích chưa có bảng liệu tương ứng với Data mart nguồn Công việc cần thiết khởi tạo Data Mart Lọc liệu: Đây chức cho phép trích chọn liệu theo số tiêu chí liệu Data Mart để kiểm tra, cập nhật hay đưa vào Data Mart đích Chẳn hạn, ta lọc sinh viên khoa náo để chuyển liệu lưu trữ Data Mart khoa 26 Phân tán liệu:Chức cho phép người quản trị kho liệu phân tán liệu Data Mart hệ thống Phân tán ngang cho tạo bảng liệu phân tán theo cách giữ nguyên cấu trúc bảng Data Mart nguồn liệu khác Chẳn hạn, liệu sinh viên nhà trường cập nhật tổng kho trường(DATAWH) phân tán liệu xuống khoa, sinh viên khoa lưu trữ Data mart khoa Phân tán dọc cho phép tạo bảng có câu trúc khác nhau( Nhưng phải có chung khoa) với bảng liệu nguồn Chẳn hạn, bảng liệu sinh viên tổng kho trường(DATAWH) có nhiều trường Data Mart khoa, phòng cần số thuộc tính khác cần thiết cho tác nghiệp đơn vị mà khơng phải cần tất thuộc tính bảng sinh viên 27 28 Hợp nhất: Chức hợp liệu thực bảng phân tán theo chiều dọc thực trước qua chức phân tán liệu Yêu cầu phân tán theo chiều dọc tất cảc bảng tham gia hợp phải có khóa Chức cho phép tổng hợp liệu từ bảng khác thơng qua khóa 29 4.4.4 Xây dựng cơng cụ hỗ trợ khai thác kho liệu phục vụ quản lý đào tạo Ngoài chức phục vụ trực tiếp cho người quản trị CSDL hệ thống kho liệu phân tán, công cụ khác xây dựng cho phép người sử khoa, phòng ban khai thác liệu phục vụ tác nghiệp qua giao diện đồ họa thuận tiện cập nhật liệu, tìm kiếm, báo cáo,… Module cho phép giao tiếp với người sử dụng liệu cuối qua mạng internet Hệ thống giao tiếp cộng đồng(website) xây dựng để cung cấp cách thức khai thác kho liệu xây dựng qua mạng Internet, phục vụ chủ yếu cho đối tượng sử dụng liệu sinh viên, giáo viên đối tượng khác với mục đích hỗ trợ dich vụ tra cứu liệu trực tuyến quảng bá thông tin cho trường Hệ thống hỗ trợ chức đăng ký học cho sinh viên, tìm kiếm thơng tin thời khóa biểu, kế hoạch đào tạo, chương trình đào tạo, tra cứu điểm, … 30 Module giao tiếp với sinh viên Module giao tiếp với giáo viên 31 Module giao tiếp người quản trị hệ thống 32 ... tán phục vụ quản lý đào tạo trường Đại học Kinh tế 4.2.1 Xây dựng mô hình hệ thống mạng trường Đại học Kinh tế Để triển khai mơ hình kho liệu phân tán phục vụ công tác đào tạo trường Đại học Kinh. .. Database Link từ tổng kho( DATAWH) đến Data Mart khác 4.4.3 Xây dựng công cụ hỗ trợ quản lý kho liệu đào tạo Chức cơng cụ hỗ trợ quản lý kho liệu trợ giúp cho người quản trị sở liệu thực tự động số... KHOA@TKTH.DHKT.EDU.VN 4.4 Xây dựng công cụ quản trị kho liệu phục vụ quản lý đào tạo 4.4.1.Cài đặt Data Mart ORACLE Như phân tích thiết kế chương 3, Data mart phục vụ quản lý đào tạo sau: STT Tên CSDL Toàn cục(Database