TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG SỐ 12(73) 2013, Quyển 2 87 NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG CƠ SỞ DỮ LIỆU PHÂN TÁN TRONG QUẢN LÝ ĐÀO TẠO RESEARCHING AND BUILDING A FRAGMENTED DATABASE SY[.]
TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển NGHIÊN CỨU VÀ XÂY DỰNG HỆ THỐNG CƠ SỞ DỮ LIỆU PHÂN TÁN TRONG QUẢN LÝ ĐÀO TẠO RESEARCHING AND BUILDING A FRAGMENTED DATABASE SYSTEM FOR TRAINING ADMINISTRATION Nguyễn Thị Ly Sa Trường Cao đẳng Công nghệ Thông tin, Đại học Đà Nẵng Email: lysa.dsn@gmail.com TĨM TẮT Ứng dụng tốt cơng nghệ thơng tin quản lý đào tạo chìa khóa thành cơng việc quản lý nhà trường, tiền đề nâng cao chất lượng hiệu đào tạo Cùng với mục đích này, báo tập trung tìm hiểu xây dựng mơ hình sở liệu phân tán phù hợp với yêu cầu hệ thống quản lý đào tạo thay cho hệ thống sở liệu tập trung nhiều bất cập tại, góp phần nâng cao hiệu việc quản lý sinh viên trường Đại học Cao đẳng Nội dung báo trình bày tổng quan sở liệu phân tán, qui trình quản lý đào tạo, đề xuất mơ hình sở liệu phân tán quản lý đào tạo với giải pháp đồng liệu Từ khóa: sở liệu phân tán; phân mảnh; nhân bản; đồng liệu; hệ thống quản lý đào tạo ABSTRACT Application of information technology to effective training administration is the key to successes in the administration of the university, and one of the premises to improve the quality and effectiveness of training With this purpose, I study and build a distributed database model for training administration, which is used to replace the centralized database system at the present, contributing to improving the efficiency of the administration of college and university students In this study, I present an overview of distributed database, training administration processes and the proposal of a distributed database model for training administration as well as data synchronization solutions Key words: distributed database; fragmentation; replication; data synchronization; training administration system Đặt vấn đề Công nghệ sở liệu (DataBase) trải qua trình hình thành phát triển lâu dài Ban đầu, hệ sở liệu thường gắn liền với ứng dụng, nghĩa ứng dụng định nghĩa trì liệu riêng chúng Phát triển hơn, liệu quản lý cách tập trung, nhiều ứng dụng khác truy xuất liệu trực tiếp từ sở liệu tập trung Tuy nhiên, sở liệu tập trung tồn nhiều khuyết điểm, kể đến trung tâm lưu trữ xử lý liệu có cố tồn hệ thống ngừng hoạt động, hay tình trạng tắc nghẽn có nhiều yêu cầu truy xuất liệu Cơ sở liệu phân tán đời phần khắc phục hạn chế sở liệu tập trung, kết hợp hai hướng tiếp cận q trình xử lý liệu: cơng nghệ sở liệu cơng nghệ mạng máy tính Hiện phần lớn hệ thống quản lý đào tạo trường Đại học, Cao đẳng, cụ thể Trường Cao đẳng Công nghệ Thông tin, Đại học Đà Nẵng (CĐCNTT, ĐHĐN) xây dựng theo mơ hình sở liệu tập trung, sở liệu lưu máy chủ (server) hoạt động đăng ký học phần sinh viên, nhập điểm phòng đào tạo hay quản lý lớp học giáo viên… truy cập trực tiếp lên server gây nên tải xử lý cho server, giảm hiệu suất hoạt động đơi ảnh hưởng đến tính an tồn hệ thống Nhằm góp phần nâng cao hiệu việc quản lý sinh viên trường Đại học, Cao đẳng, báo tập trung tìm hiểu xây dựng mơ hình sở liệu phân tán phù hợp với yêu cầu đặt hệ thống Trong phạm vi báo này, tác giả giới thiệu tổng quan sở liệu phân tán, đề xuất mơ hình sở liệu phân tán quản lý đào tạo ứng dụng vào Trường CĐCNTT, ĐHĐN, đồng thời đề xuất giải pháp đồng sở liệu SQL Server 87 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển 2 Tổng quan Cơ sở liệu phân tán [1, 2] 2.3.2 Phân mảnh ngang 2.1 Cơ sở liệu phân tán gì?[1, 2] Phân mảnh ngang việc chia quan hệ theo chiều ngang, kết phân mảnh ngang quan hệ con, số quan hệ tách biệt Phân mảnh ngang thực chất phép chọn thỏa điều kiện cho trước Cơ sở liệu phân tán (Distributed DataBase - DDB) tập hợp nhiều sở liệu có liên đới logic phân bố mạng máy tính Trong liên đới logic liệu nơi sử dụng để giải chung vấn đề, cịn phân bố mạng máy tính tồn liệu khơng phải lưu trữ nơi mà lưu trữ nhiều trạm thuộc mạng máy tính 2.2 Thiết kế Cơ sở liệu phân tán [1, 2] Kỹ thuật thiết kế sở liệu phân tán trả lời câu hỏi “Làm để sở liệu ứng dụng chạy sở liệu đặt nhiều vị trí?” Hai kỹ thuật sử dụng trình thiết kế phân mảnh (Fragmentation) nhân (Replication) Phân mảnh chia quan hệ thành mảnh tách biệt (phân hoạch), mảnh phân bố vị trí khác Khi phân bố mảnh lên vị trí, nhân trì Lý cần nhân nhằm đảm bảo độ tin cậy hiệu cho yêu cầu truy vấn liệu, cụ thể có nhiều đơn vị liệu đặt nhiều vị trí người dùng có hội truy xuất liệu vị trí khác xảy cố Tuy nhiên yêu cầu cập nhật liệu việc nhân gây nên nhiều rắc rối hệ thống phải đảm bảo tất phải cập nhật xác Vì vậy, định phân mảnh nào, có nhân hay khơng việc phân bố mảnh tới vị trí cho tối ưu toán qui hoạch toán học với độ phức tạp NP-hard nhằm hạ tối đa chi phí lưu trữ, chi phí xử lý truyền thơng 2.3 Phương pháp phân mảnh [1, 2] 2.3.1 Phân mảnh dọc Một phân mảnh dọc cho quan hệ R sinh mảnh R1, R2, , Rr, mảnh chứa tập thuộc tính R khoá R Phân mảnh dọc thực chất chia quan hệ theo chiều dọc, nghĩa thiết lập quan hệ từ số thuộc tính quan hệ gốc Thực chất phép chiếu lên tập thuộc tính quan hệ 88 Phân mảnh ngang nguyên thủy: Phân mảnh ngang nguyên thuỷ định nghĩa phép toán chọn quan hệ gốc Với quan hệ R, mảnh ngang R Ri: Ri = σFi(R), ≤ i ≤ n Trong Fi điều kiện chọn sử dụng để có mảnh Ri Phân mảnh ngang dẫn xuất: Phân mảnh ngang dẫn xuất phân rã quan hệ thành mảnh dựa vào điều kiện chọn định nghĩa quan hệ khác có liên quan 2.3.3 Phân mảnh hỗn hợp Trong đa số trường hợp, phân mảnh ngang phân mảnh dọc đơn giản không đủ đáp ứng yêu cầu từ ứng dụng Có số trường hợp phân mảnh dọc thực sau số mảnh ngang ngược lại, chọn lựa gọi phân mảnh hỗn hợp Xây dựng mơ hình Cơ sở liệu phân tán quản lý đào tạo 3.1 Qui trình quản lý đào tạo Hiện nay, việc quản lý sinh viên theo học chế tín số trường Đại học Cao đẳng thực sau: - Phòng Đào tạo tiếp nhận sinh viên nhập học, xếp lớp, mở lớp học phần - Mỗi sinh viên nhận tài khoản tự đăng nhập vào hệ thống để đăng ký học phần - Phòng Tài vụ vào số tín sinh viên đăng ký học kỳ để thu học phí sinh viên - Kết học tập sinh viên Phòng Đào tạo trực tiếp quản lý: nhập điểm, tổng hợp, phân loại xét học vụ hoc kỳ - Phịng Cơng tác Sinh viên vào kết học tập kết tham gia hoạt động để xét điểm rèn luyện, xét học bổng - Khoa trực tiếp quản lý tiến độ giảng dạy giáo viên theo đề cương chi tiết trực tiếp TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển quản lý sinh viên chuyên cần, thông tin đề tài thực tập, nơi thực tập, đề tài tốt nghiệp, phân giáo viên hướng dẫn sở liệu phận sở liệu dành cho sinh viên phải có chế đồng trực tuyến hai chiều thông qua hệ thống mạng - Ngồi ra, sinh viên đăng nhập vào hệ thống để xem thời khóa biểu, lịch thi, bảng điểm kết học tập đặt câu hỏi có vấn đề liên quan đến học tập Tùy vào qui mô tổ chức mà việc sử dụng sở liệu phân bổ server đến phận thiết kế cho phù hợp Chẳng hạn, với Trường CĐCNTT, ĐHĐN, Phòng Tài vụ Phòng Cơng tác Sinh viên có vài người sử dụng hệ thống, việc bố trí cho phịng ban server điều khơng cần thiết nên hai phận dùng chung server chung sở liệu với Phòng Đào tạo để hạn chế việc đồng liệu Ngồi server Phịng Đào tạo, đề tài đề xuất thêm hai server nữa: server dành riêng cho sinh viên server dành cho hai Khoa Công nghệ Thông tin Khoa Kế toán - Tin học, hai khoa dùng chung server tổng số sinh viên từ trước đến hai khoa không nhiều (khoảng 4000 sinh viên) Mơ hình minh họa Hình 3.2 Mơ hình sở liệu phân tán quản lý đào tạo Hệ thống sở liệu quản lý đào tạo nên tổ chức phân tán tới phận (Khoa Phòng ban) Nhà trường, phận có sở liệu chứa liệu thuộc phạm vi phận vận hành độc lập Ngồi ra, cần phải có sở liệu dành riêng cho sinh viên xem điểm đăng ký học phần qua internet Cơ sở liệu Phịng Đào tạo chứa tồn sở liệu phận Để đảm bảo tính xác liệu, sở liệu Phịng Đào tạo, Hình Một mơ hình sở liệu phân tán quản lý đào tạo 3.3 Thiết kế sở liệu phân tán đồng phận liên quan Trong hệ thống quản lý đào tạo, toàn liệu nên lưu trữ sở liệu Phòng Đào tạo, việc phân tán liệu đến phận thực cách phân mảnh bảng liệu quan hệ tổng thể thành bảng liệu độc lập phù hợp với chức nhiệm vụ phận sau nhân chúng định vị vào vị trí thích hợp Mọi thay đổi liệu phịng ban đồng Phòng Đào tạo thay đổi liệu Phòng Đào tạo Vấn đề lại sử dụng nhân phân mảnh phòng ban mà không sử dụng phân mảnh tách biệt, Phịng Đào tạo cần thơng tin phận liên kết tới sở liệu phịng ban để lấy liệu, vấn đề nhân dẫn tới tình trạng dư thừa liệu nên lãng phí khơng gian lưu trữ nguy gây nên nhiều xung đột cập nhật liệu? Câu trả lời cho vấn đề việc truy xuất liệu cập nhật thông tin Phịng Đào 89 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển tạo thực thường xuyên, việc truy xuất liệu từ hai hay nhiều mảnh nhiều server nối hợp chúng lại với chi phí cao nên hiệu suất hoạt động bị giảm mạnh điều có sở Ngày nay, việc tốn khơng gian lưu trữ khơng cịn vấn đề đặt lên hàng đầu mà tốc độ xử lý, nguy xung đột xảy cập nhật liệu giải hệ thống quản lý đào tạo (sẽ trình bày phần 3.5) Chẳng hạn ứng với mơ hình sở liệu phân tán đề xuất Hình 1, toàn liệu lưu sở liệu đặt server Phòng Đào tạo, server Sinh viên lưu phần sở liệu mà sinh viên phép xem cập nhật, tương tự server Khoa lưu phần sở liệu mà Khoa phép xem cập nhật 3.4 Giải pháp đồng sở liệu phân tán [3, 4] Hiện có nhiều giải pháp đồng sở liệu phân tán khác như: Streams Oracle, Replication SQL Server, IBM Websphere MQ…, loại có ưu nhược riêng Trong phạm vi báo giới thiệu kỹ thuật đồng Replication SQL Server 3.4.1 Thành phần Replication [3][6] - Publisher: Là server tạo liệu để nhân tới server khác Nó xác định liệu nhân bản, liệu thay đổi lưu thơng tin nhân server - Subscriber: Là server nhận nhân hành động cập nhật liệu từ Publisher Một Subscriber Publisher Subscriber khác - Distributor: Là server chứa sở liệu phân tán, nơi lưu chuyển liệu nhân từ Publisher tới Subscriber - Publication: Là tập hợp mẩu liệu, mẩu nhóm liệu nhân Một mẩu bao gồm bảng hay vài hàng hay vài cột 3.4.2 Các loại Replication [3, 4] SQL Server hỗ trợ cácloại Replication sau: 90 - Snapshot Replication: Đây loại nhân đơn giản nhất, chép tồn liệu cần nhân từ Publisher tới Subscriber Khi có thay đổi, nhân Snapshot gởi tất liệu tới cho Subscriber thay gởi thay đổi Loại nhân đánh giá cao ứng dụng đọc tìm kiếm hay hệ thống yêu cầu liệu dung lượng không lớn - Transactional Replication: Với loại nhân này, người dùng chọn tất hay phần bảng Loại nhân sử dụng transaction log để giữ thay đổi liệu lưu thay đổi lên sở liệu phân tán (tại Distrubutor), thay đổi chuyển đến Subscriber theo trật tự định Transactional Replication giải tốt vấn đề xung đột liệu tính độc lập server khơng cao - Merge Replication: Nhân hỗ trợ tính độc lập server cao nhất, Publisher Subscriber làm việc độc lập kết nối với theo khoảng thời gian để hội tụ kết lại, hai Publisher Subsciber cập nhật liệu Nếu xung đột xảy server xung đột giải cách tự động, giải đụng độ chọn server có độ ưu tiên cao Đối với mơ hình sở liệu phân tán quản lý đào tạo trình bày phần trên, ta nhận thấy loại nhân Merge Replication phù hợp với hệ thống loại nhân cho phép cập nhật liệu server tính độc lập server cao Ngoài ra, dùng Merge Replication ta cịn hủy bỏ quyền cập nhật liệu Subscriber số bảng liệu, góp phần vào việc bảo vệ bảo mật cho liệu quan trọng publisher Publisher hệ thống quản lý đào tạo server Phịng Đào tạo Subscriber server phận, cụ thể Subscriber server Khoa server Sinh viên ứng với mơ hình Hình Vì liệu nhân lưu phận khác nên cần tạo nhiều publication khác ứng với nhiệm vụ chức phận Với bảng liệu quan trọng thông tin điểm sinh viên phép cập nhật Phịng Đào TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển tạo (Publisher), phận (Subscriber) xem không phép cập nhật 3.5 Các vấn đề đồng liệu [3] Một vấn đề đáng quan tâm việc đồng liệu xung đột (Conflict), vấn đề xảy hai hay nhiều server lúc cập nhật dòng liệu Nhận thấy hệ thống sở liệu phân tán quản lý đào tạo, cụ thể Trường CĐ Công nghệ Thông tin, server có quyền cập nhật liệu (thêm, xóa, sửa): server Phòng Đào tạo cập nhật lớp học phần, điểm, học phí…; server khoa cập nhật thơng tin lịch trình giảng dạy giáo viên, đề tài sinh viên thực hiện…; server sinh viên cập nhật thông tin đăng ký học phần Nhận thấy quyền hoàn tồn tách biệt nhau, khơng có chồng chéo nên vấn đề xung đột xảy Vì quyền thao tác lên sở liệu phận khác tách biệt nhau, nên có cập nhật dịng cột cần cập nhật chưa giống nhau, sử dụng tính chất column-level tracking trình tạo Publication để tránh xung đột xảy có hai phận cập nhật dòng liệu cột khác Các trường hợp xung đột chắn xảy ra, sử dụng biện pháp giải xung đột Replication SQL Server hỗ trợ gán quyền ưu tiên (Priority) cho server có xung đột xảy chọn hành động cập nhật server có quyền ưu tiên cao hơn, hệ thống quản lý đào tạo, quyền ưu tiên dành cho Phòng Đào tạo 3.6 An toàn bảo mật Replication [5] An toàn bảo mật chế Replication liên quan đến việc chứng thực phân quyền (Authorization and Authentication), mã hóa (Encryption) xác lập lọc liệu để bảo vệ an toàn liệu đối tượng liên quan môi trường nhân - Chứng thực phân quyền: Được sử dụng để kiểm soát truy cập đến đối tượng sở liệu, máy tính Agent liên quan đến q trình Replication - Mã hóa: Bản thân Replication khơng thực mã hóa liệu truyền mạng, nhiên ta sử dụng phương pháp mã hóa tiêu chuẩn có sẵn Virtual Private Networks (VPN), Secure Sockets Layer (SSL), and IP Security (IPSEC) - Lọc liệu cho phép xuất bản: Chỉ thực công bố liệu đối tượng cần thiết từ sở liệu, nhờ ta giới hạn quyền truy cập tới liệu quan trọng cần bảo mật Thực nghiệm đánh giá 4.1 Thực nghiệm Hiện nay, Trường CĐ Công nghệ Thông tin - ĐHĐN sử dụng sở liệu tập trung quản lý đào tạo Vì lý liệu nhạy cảm nên mơ hình sở liệu phân tán mà báo đề xuất chưa kiểm nghiệm thực tế Để mô cho vấn đề mình, tơi dùng ba máy tính nối với qua mạng LAN, máy tính thứ tượng trưng cho server Phịng Đào tạo, máy tính thứ hai tượng trưng cho server Khoa, máy tính thứ ba tượng trưng cho server Sinh viên Cơ sở liệu dùng thử nghiệm sở liệu mà Trường CĐ Công nghệ Thông tin dùng nay, sở liệu lớn, có đến gần 60 bảng liệu Phần thử nghiệm dùng 11 bảng liệu tiêu biểu sử dụng phần lớn server (Hình 2) - tmHosoSV: Thơng tin sinh viên, gồm 4800 dịng; - tmHosoGV: Thơng tin giáo viên, gồm 153dịng; - tmLop: Thơng tin lớp sinh hoạt, gồm 77 dòng; - tmLopHP: Thơng tin lớp học phần, gồm 3242 dịng; - tmLichTrinh: Thơng tin lịch trình giảng dạy điểm danh, gồm 2892 dịng; - tmDKHP: Thơng tin đăng ký học phần sinh viên, gồm 14407 dịng; - tmDiemkyhoc: Thơng tin kết môn học sinh viên, gồm 125725 dịng; - tmKhung: Thơng tin mơn học theo khung chương trình, gồm 1102 dịng; - tmNganh: Thơng tin ngành học, gồm 20 dịng; 91 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển - tmHocvu: Thông tin xét học vụ sinh viên, gồm 23587 dịng; - tmHocPhi: Thơng tin sinh viên đóng học phí, gồm 21555 dịng Hình Cơ sở liệu dùng thử nghiệm Kết cấu hình Replication SQL server 2008 trình bày Hình 3, Publisher server DSN, Subscriber server MTD-GIANGNTT1 server DONG-PC Mỗi Subscriber ứng với sở liệu Publication phù hợp với chức server Cơ sở liệu server trình bày Hình Publisher: server Phịng Đào tạo Publicationứng với server Khoa Publication ứng với server Sinh viên Subscriber: server Sinh viên Subscription server Sinh viên Subscriber: server Khoa Subscription server Khoa Hình Cấu hình Replication SQL Server 92 TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển (a) CSDL server Phòng Đào tạo (b) CSDL server Khoa (c) CSDL server Sinh viên Hình Cơ sở liệu server Sau kết đồng liệu server lần thử nghiệm: Tổng cộng 102.000 dòng liệu cập nhật server Khoa đồng server Phòng Đào tạo thời gian phút 45giây Tổng cộng 214.100 dòng liệu cập nhật server Phòng Đào tạo đồng server Sinh viên thời gian phút 29 giây Hình Kết đồng liệu server 4.2 Đánh giá kết thực nghiệm - Thời gian đồng mức độ chấp nhận (xem Hình 5) - Sự xác việc đồng 100%, có nghĩa liệu server Phòng Đào tạo đồng xác server Khoa, server Sinh viên ngược lại Để kiểm tra độ xác, tác giả dùng tiện ích tablediff để so sánh hai bảng liệu server sau lần đồng Chẳng hạn muốn kiểm tra giống hai bảng tên tmHosoSV hai server cần thực câu lệnh sau: "C:\Program Files\Microsoft SQL 93 TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ, ĐẠI HỌC ĐÀ NẴNG - SỐ 12(73).2013, Quyển Server\100\COM\tablediff.exe" Kết luận hướng phát triển -sourceserver DSN Trong báo này, tác giả tìm hiểu đề xuất mơ hình sở liệu phân tán quản lý đào tạo nhằm khắc phục hạn chế sở liệu tập trung truyền thống, nâng cao hiệu trình quản lý sinh viên trường Đại học Cao đẳng Trong tương lai, tác giả nhắm tới việc đưa mơ hình vào áp dụng thực tế Trường CĐ Công nghệ Thông tin - ĐHĐN, phát giải cố phát sinh trình đồng đề xuất kỹ thuật để đảm bảo tính an tồn bảo mật liệu -sourcedatabase CSDL_PhongDaoTao -sourcetable tmHosoSV -destinationserver MTD-GIANGNTT1 -destinationdatabase CSDL_SinhVien -destinationtable tmHosoSV 4.3 Hạn chế Bài báo dừng lại giai đoạn thử nghiệm nên chưa kiểm tra trường hợp có cố phát sinh đồng liệu kỹ thuật nhằm đảm bảo an toàn liệu hệ thống sở liệu phân tán TÀI LIỆU THAM KHẢO [1] M.Tamer, Patrick Valduriez, Principles of Distributed Database Systems, Third Edition 2011 [2] Nguyễn Bá Tường, Nhập môn CSDL phân tán, NXB Khoa học & Kỹ Thuật, Hà Nội, 2005 [3] Sujoy P Paul., Pro SQL Server 2008 Replication, 2009 [4] Designing and Implementing: How-to Topics (Replication) http://msdn.microsoft.com/en-us/library/bb510544(v=sql.105).aspx [5] Replication Security Best Practices http://technet.microsoft.com/en-us/library/ms151227%20(v=sql.105).aspx [6] SQL Server Replication http://msdn.microsoft.com/en-us/library/bb500351(v=sql.105).aspx (BBT nhận bài: 02/10/2013, phản biện xong: 29/12/2013) 94