Kịch bản 1: Tải dữ liệu từ máy chủ
Mục đích: Kiểm thử đồng bộ từ cơ sở dữ liệu trung tâm tới cơ sở dữ liệu cục bộ với dung lượng dữ liệu lớn.
Mô tả:
1. Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2. Đảm bảo kết nối Internet sẵn sàng; 3. Click biểu tượng “Bắt đầu đồng bộ”;
4. Click biểu tượng “Tải dữ liệu từ máy chủ”;
5. Đợi cho đến khi tất cả dữ liệu của huyện được tải từ máy chủ trung tâm (kiểm tra trạng thái của cửa sổ đồng bộ dữ liệu). Quá trình tải dữ liệu có thể mất nhiều thời gian.
Điệu kiện kiểm thử thành công: Tất cả các lô và dữ liệu diễn biến được tải về. Đếm số bản ghi của các bảng dữ liệu được liệt kê trong Bảng 3.1: Cấu hình đồng bộ cho các bảng trong cơ sở dữ liệu cục bộ.
Kịch bản 2: Đồng bộ dữ liệu ở dụng chế độ trực tuyến
Mục đích: Kiểm thử chức năng đồng bộ từ cơ sở dữ liệu cục bộ lên cơ sở dữ liệu trung tâm khi nhập dữ liệu ở chế độ trực tuyến.
Mô tả:
1. Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2. Đảm bảo kết nối Internet sẵn sàng; 3. Click biểu tượng “Bắt đầu đồng bộ”;
4. Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1; 5. Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô; 6. Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh;
7. Kiểm tra lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến.
Điều kiện kiểm thử thành công: Lô được xem trên ứng dụng FRMS Web có cùng giá trị thuộc tính, không gian với lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến.
Kịch bản 3: Đồng bộ dữ liệu ở dụng chế độ ngoại tuyến
Mục đích: Kiểm thử chức năng đồng bộ dữ liệu từ cơ sử dữ liệu cục bộ lên cơ sở dữ liệu trung tâm khi nhập liệu ở chế độ ngoại tuyến.
Mô tả:
1. Đảm bảo chức năng đồng bộ đang không chạy;
2. Đăng nhập vào ứng dụng QGIS tùy chỉnh sử dụng tài khoản kiểm thử cho một tỉnh (tài khoản được cung cấp sẵn trong gói cài đặt);
3. Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô; 4. Đăng nhập vào Ứng dụng báo cáo trên máy cục bộ sử dụng cùng tài khoản ở
bước 2;
5. Đảm bảo kết nối Internet sẵn sàng; 6. Click biểu tượng “Bắt đầu đồng bộ”;
7. Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh; 8. Kiểm tra lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy
biến.
Điều kiện kiểm thử thành công: Lô được xem trên ứng dụng FRMS Web có cùng giá trị thuộc tính, không gian với lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến.
Kịch bản 4: Đồng bộ dữ liệu theo hai hướng ở chế độ trực tuyến
Mục đích: Kiểm thử chức năng đồng bộ theo hai hướng khi nhập dữ liệu ở chế độ trực tuyến.
Mô tả: Kịch bản này cần hai máy tính cục bộ: Máy A và Máy B được cài sẵn phân hệ Ứng dụng desktop (Ứng dụng QGIS và Ứng dụng Báo cáo).
Trên Máy A:
1. Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2. Đảm bảo kết nối Internet sẵn sàng’ 3. Click biểu tượng “Bắt đầu đồng bộ”;
4. Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1; 5. Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô.
Trên Máy B:
1. Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng cùng tài khoản kiểm thử đã được sử dụng cho Máy A (tài khoản được cung cấp sẵn trong gói cài đặt);
2. Đảm bảo kết nối Internet sẵn sàng; 3. Click biểu tượng “Bắt đầu đồng bộ”;
4. Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1; 5. Kiểm tra lô đã được biên tập ở Máy A.
Điều kiện kiểm thử thành công: Lô trên Máy B có dữ liệu thuộc tính và dữ liệu không gian giống với lô đã được biên tập trên Máy A.
Các thành phần chính của hệ thống Ứng dụng Desktop
- Module QGIS: Module này được phát triển dựa trên QGIS với các plugin được phát triển sử dụng ngôn ngữ Python nhằm cung cấp một giao diện được tối ưu dễ sử dụng đối với người dùng khi thao tác với dữ liệu GIS. Các chức năng chính của module này bao gồm:
o Duyệt xem dữ liệu;
o Tìm kiếm dữ liệu;
o Biên tập dữ liệu và bản đồ; o Kết nhập dữ liệu GPS; o Hợp lệ hóa dữ liệu; o In bản đồ; o Quản lý dữ liệu chủ rừng; o Thêm bản đồ chuyên đề.
- Module báo báo: Module này được phát triển như một ứng dụng độc lập bằng ngông ngữ Java với máy báo cáo BIRT (Business Intelligence and Reporting Tools) được nhúng trong ứng dụng nhằm thực hiện một cách linh hoạt các chức năng:
o Tạo các báo cáo;
o In và kết xuất các báo cáo;
o Cập nhật trạng thái báo cáo hoạt động;
o Thêm các mẫu báo cáo mới;
o Quản lý tài khoản người dùng;
o Quản lý chức năng đồng bộ CSDL bằng cách tương tác với thành;
o phần đồng bộ cơ sở dữ liệu Symmetricds.
- Module CSDL: Lưu trữ tại chỗ các dữ liệu về ĐTKKR (NFIS) và dữ liệu giám sát
lâm nghiệp tại các xã, huyện, tỉnh. Dữ liệu được lưu trữ trên cơ sở dữ liệu cục bộ cũng là cơ sở dữ liệu GIS. Module này sử dụng hệ quản trị CSDL PosgreSQL và PostGIS.
Ứng dụng Web
Ứng dụng web được xây dựng theo kiến trúc hướng dịch vụ SOA ở đó các chức năng được xây dựng như là các các dịch vụ web chuẩn cho phép dễ dàng thêm mới các dịch vụ. Các dịch vụ này được triển khai trên hệ thống nền FORMIS như là các dịch vụ nghiệp vụ. Phần giao diện người dùng được xây dựng dựa trên các công nghệ và chuẩn mở và hiện đại như OpenLayer3, Jquery, WMS,WFS, WCS... sẽ thực hiện tương tác với các dịch vụ này để thực hiện các chức năng nghiệp vụ. Các chức năng chính của phân hệ ứng dụng Web bao gồm:
o Duyệt xem dữ liệu;
o Tìm kiếm dữ liệu;
o Xem bản đồ chuyên đề;
o Tạo và xem các báo cáo;
o In và kết xuất các báo cáo;
o Cập nhật trạng thái báo cáo hoạt động;
o Duyệt xem trạng thái báo cáo hoạt động;
o In bản đồ.
Cơ sở dữ liệu trung tâm
Lưu trữ tại máy chủ trung tâm các dữ liệu về ĐTKKR (NFIS) và dữ liệu giám sát lâm nghiệp toàn quốc. Dữ liệu được lưu trữ trên cơ sở dữ liệu toàn quốc cũng là cơ sở dữ liệu GIS. Module này sử dụng hệ quản trị cơ sở dữ liệu PosgreSQL và PostGIS. Các giải pháp cân bằng tải cần được triển khai để đảm bảo hiệu năng truy cập cơ sở dữ liệu.
Thành phần đồng bộ CSDL
Thành phần đồng bộ cơ sở dữ liệu đóng vai trò đồng bộ cơ sở dữ liệu từ các máy cục bộ với máy chủ trung tâm. Thành phần này được xây dựng dựa trên giải pháp mã nguồn mở SymmetricDS. Các modules của SymetricDS được tối ưu và triển khai trên hệ thống máy chủ trung tâm và trên các ứng dụng Desktop cục bộ. Thành phần đồng bộ cơ sở dữ liệu cho phép hệ thống làm việc ở chế độ ngoại tuyến và đồng bộ dữ liệu khi có kết nối internet. Các chế độ đồng bộ có thể được cấu hình gồm: Đồng bộ tự động và đồng bộ thủ công.
Máy báo cáo
Máy báo cáo cho phép định nghĩa, tạo và kết xuất các báo cáo một cách linh hoạt. Máy báo cáo này được triển khai tại hai nơi:
- Trên hệ thống nền FORMIS: Cung cấp khả năng tạo và kết xuất báo cáo cho phân hệ ứng dụng web;
- Nhúng trong ứng dụng desktop: Cho phép tạo và kết xuất báo cáo từ phân hệ ứng dụng desktop.
Mô tả tương tác giữa các thành phần
Tại máy cục bộ, Module QGIS sẽ kết nối với cơ sở dữ liệu cục bộ để lấy, hiển thị và lưu các thay đổi dữ liệu. Module báo cáo của phân hệ desktop với máy báo cáo BIRT được nhúng bên trong sẽ kết nối với cơ sở dữ liệu để lấy dữ liệu cho các báo cáo được định nghĩa trước. Thành phần đồng bộ cơ sở dữ liệu thuộc phân hệ desktop sẽ kết nối với cơ sở dữ liệu cục bộ và kết nối với thành phần đồng bộ cơ sở dữ liệu trung tâm để thực hiện đồng bộ cơ sở dữ liệu khi có kết nối internet. Thành phần đồng bộ cơ sở dữ liệu trung tâm sẽ kết nối với cơ sở dữ liệu trung tâm để thực hiện chức năng đồng bộ dữ liệu.
Tại máy chủ trung tâm, máy báo cáo BIRT sẽ kết nối với cơ sở dữ liệu trung tâm để tạo ra các báo cáo có thể được truy cập thông qua dịch vụ chuẩn. Thành phần ứng dụng Web sẽ kết nối thông qua các dịch vụ chuẩn với máy báo cáo BIRT để hiện thị, in ấn và kết xuất các báo cáo theo yêu cầu của người dùng. Phân hệ ứng dụng web kết nối với các máy chủ bản đồ GeoServer để lấy và hiển thị các dữ liệu bản đồ đồng thời kết nối với máy chủ ứng dụng để sử dụng các dịch vụ nghiệp vụ.
Đặc điểm chính của giải pháp kiến trúc
Giải pháp kiến trúc đề xuất có các đặc điểm sau:
o Sử dụng tiếp cận kiến trúc hướng dịch vụ SOA trong thiết kế kiến trúc;
o Sử dụng hoàn toàn giải pháp mã nguồn mở;
o Tận dụng tối đa các chức năng sẵn có của ứng dụng QGIS với giao diện được tối ưu;
o Sử dụng máy báo cáo BIRT cho phép tạo và thêm mới các mẫu báo cáo linh hoạt mà không cần thay đổi logic lập trình ở mức ứng dụng.
Đồng bộ dữ liệu từ cơ sở dữ liệu địa phương đến các cơ sở dữ liệu trung tâm
Mục tiêu
o Ứng dụng desktop sẽ kết nối đến cơ sở dữ liệu địa phương. Có thể sử dụng offline.
o Cơ sở dữ liệu địa phương sẽ được đồng bộ với dữ liệu trung tâm.
Giải pháp: Sử dụng opensource SymmetricDS để đồng bộ dữ liệu.
SymmetricDS là một công cụ đồng bộ hóa dữ liệu được thiết kế để truyền tải dữ liệu từ cơ sở dữ liệu cục bộ đến dữ liệu trung tâm. SymmetricDS là mã nguồn mở, hỗ trợ nhiều loại cơ sở dữ liệu. Đồng thời Symmetricds cũng hỗ trợ đồng bộ các cơ sở dữ liệu GIS. Nó có thể đồng bộ dữ liệu từ rất nhiều client node. Dưới đây là hình ảnh mô tả cơ chế hoạt động của SymmetricDS.
Hình 3.3. Cơ chế hoạt động của Symmetricds.
Hệ thống sẽ tích hợp symmetricds ở cả 3 hợp phần:
Ứng dụng desktop sẽ được tích hợp Symmetricds-Client. Ứng dụng desktop sẽ có module quản lý quá trình đồng bộ đến dữ liệu trung tâm của mỗi cơ sở dữ liệu địa phương (các dữ liệu đồng bộ thành công, các dữ liệu chưa được đồng bộ, đặt lịch đồng bộ dữ liệu)
o Máy chủ trung tâm
Tại phía máy chủ trung tâm sẽ được cài đặt Symmetricds-Sever. Các Symmetricds-Client sẽ hoạt động cùng với Symmetricds-Server để thực hiện đồng bộ dữ liệu từ các cơ sở dữ liệu cục bộ và cơ sở dữ liệu trung tâm.
KẾT LUẬN
Sau quá trình tạp trung nghiên cứu và dưới sự hướng dẫn tận tình của PGS.TS. Hà Hải Nam, Luận văn đã đi sâu nghiên cứu về mô hình kỹ thuật đồng bộ cơ sở dữ liệu phân tán thực tế đã được triển khai tại Tổng cục Lâm nghiệp với Hệ thống theo dõi diễn biến tài nguyên rừng trong cả nước. Cụ thể luận văn đã nêu lên được các nội dung sau: Giới thiệu tổng quan về CSDL phân tán; Vai trò và tâm quan trọng trong việc đồng bộ cơ sở dữ liệu phân tán và các mô hình thực hiện việc đồng bộ cơ sở dữ liệu phân tán; Đưa ra bài toán kiểm thử và đánh giá cụ thể từng kịch bản đồng bộ. Mô hình kiểm thử với Hệ thống theo dõi diễn biến tài nguyên rừng trong cả nước đã đáp ứng được yêu cầu trong việc quản lý tài nguyên rừng ở nước ta từ Trung ương đến địa phương. Những số liệu cụ về tình hình tài nguyên rừng thu được từ hệ thống, từ đó có phương hướng xử lý khi có sự cố rừng xẩy ra.
Từ những kết quả đã đạt được, trong thời gian tới Luận văn có thể được tiếp tục mở rộng nghiên cứu nghiên cứu để áp dụng cho một số hệ thống thực tế có cơ sở dữ liệu lớn.
DANH MỤC CÁC TÀI LIỆU THAM KHẢO
[1]. Trần Đức Quang, 1999. Nguyên lý các hệ cơ sở dữ liệu phân tán, Tập 1 (Biên dịch từ Principles of Distributed Database Systems của M. Tamer và Patrick Valduriez), NXB Thống kê, TP.HCM.
[2]. TS.Phạm Thế Quế, 2010. CSDL phân tán.
[3]. The Synchronization of Distributed Databases, 1990. Nhập môn CSDL phân tán, NXBKH&KT.
[4]. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2245569/.
W. Ed Hammond, Mark J. Straube, and W. W. Stead. Truy cập tháng 11 năm 2016. [5]. http://www.dataintegration.info/data-synchronization. Truy cập tháng 11 năm
2016.
[6]. https://www.symmetricds.org/. Truy cập tháng 10 năm 2016.