Nghiên cứu áp dụng mô hình đồng bộ trong cơ sở dữ liệu phân tán

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - TRẦN VĂN HIỂN LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2016 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGHIÊN CỨU ÁP DỤNG MƠ HÌNH ĐỒNG BỘ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số: LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS HÀ HẢI NAM LỜI CẢM ĐOAN Tôi cam đoan nghiên cứu riêng hướng dẫn khoa học PGS.TS Hà Hải Nam Các số liệu kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tơi xin chịu trách nhiệm cơng trình nghiên cứu HỌC VIÊN Trần Văn Hiển DANH MỤC KÝ HIỆU CÁC CHỮ VIẾT TẮT Viết tắt CSDL DDB TCP QGIS TCLN FRMS Web BIRT ĐTKKR NFIS Module QGIS PosgreSQL SOA SAN DANH MỤC CÁC BẢNG Số liệu bảng Bảng 2.1 Bảng 3.1 DANH MỤC CÁC HÌNH VẼ Số liệu hình vẽ Hình 1.1 Hình 1.2 Hình 2.1 Hình 2.2 Hình 2.3 Hình 2.4 Hình 3.1 Hình 3.2 Hình 3.3 LỜI CẢM ƠN Lời đầu tiên, tơi xin chân thành gửi cảm ơn đến PGS.TS Hà Hải Nam, người trực tiếp hướng dẫn giúp hồn thành luận văn Với nhiệt tình kiến thức sâu rộng thầy giúp vượt qua hạn chế kiến thức chuyên môn để tập trung hồn thành tốt luận văn Tơi xin chân thành cảm ơn Ban Giám đốc, Ban Chủ nhiệm Khoa sau Đại học thầy, cô giảng dạy suốt thời gian theo học Học viên Cơng nghệ Bưu Viễn thơng Tơi xin chân thành cảm ơn Hội đồng chấm đề cương có nhiều góp ý quý báu cho đề cương luận văn từ bước đầu hình thành ý tưởng xây dựng Cuối cùng, xin cảm ơn quan tạo điều kiện thuận lợi cho tơi suốt q trình học tập nghiên cứu làm luận văn Xin chân thành cảm ơn! MỤC LỤC CHƯƠNG I TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Giới thiệu sở liệu phân tán 1.1 Các khái niệm CSDL phân tán 1.1.2 Các lý để sử dụng sở liệu phân tán? 10 1.2 Các vấn đề sở liệu phân tán 11 1.2.1 Điều khiển tập trung 11 1.2.2 Độc lập liệu 11 1.2.3 Giảm dư thừa liệu 12 1.2.4 Độ tin cậy qua giao dịch phân tán 12 1.2.5 Cải thiện hiệu 12 1.2.6 Dễ dàng mở rộng hệ thống 12 1.2.7 Tính tồn vẹn, phục hồi điều khiển tương tranh 12 1.3 Các vấn đề thiết kế hệ sở liệu phân tán 13 CHƯƠNG II 16 VAI TRÒ CỦA ĐỒNG BỘ CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ CÁC MƠ HÌNH ỨNG DỤNG 16 2.1 Giới thiệu toán đồng 16 2.2 Các mơ hình đồng sở liệu phân tán 17 2.2.1 Các vấn đề phân mảnh liệu 17 2.2.2 Lý phân mảnh liệu 17 2.2.3 Các kiểu phân mảnh 18 2.2.4 Các quy tắc phân mảnh 18 2.2.5 Các phương án phân phối 19 2.2.6 Thông tin yêu cầu 20 2.2.7 Phân mảnh ngang 21 2.2.11 Phân mảnh hỗn hợp 23 CHƯƠNG III 26 THỬ NGHIỆM VÀ ĐÁNH GIÁ 26 3.1 Kiến trúc đề xuất thử nghiệm 26 3.2 Các chức Ứng dụng Desktop 26 3.3 Các chức Ứng dụng Web 27 3.4 Các chức hệ thống sở liệu trung tâm 27 3.5 Máy chủ 27 3.6 Môi trường người dùng 27 3.7 Đồng liệu ứng dụng Desktop 30 3.8 Các kịch kiểm thử đồng 33 KẾT LUẬN 41 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 42 MỞ ĐẦU Tính cấp thiết đề tài: Với phát triển ngành công nghệ thông tin, giao dịch điện tử ngày tăng số lượng đòi hỏi đảm bảo chất lượng, đặc biệt lĩnh vực quan trọng tài ngân hàng, chứng khốn, thương mại điện tử, đấu giá Việc xử lý thông tin người dùng từ dịch vụ phải đảm bảo thời gian thực khơng chấp nhận cho việc gián đoạn, có độ trễ cao thời gian chết Từ yêu cầu thực tế, tính cấp thiết giải pháp đồng liệu Các giải pháp phải đảm bảo đáp ứng yêu cầu người dùng, doanh nghiệp mặt kỹ thuật, dễ dàng triển khai giá thành hợp lý Với mục đích, ý nghĩa nêu trên, xin chọn Đề tài “Nghiên cứu áp dụng mô hình đồng sở liệu phân tán” để làm luận văn tốt nghiệp Nội dung luận văn gồm có ba phần: Mở đầu, Nội dung Kết luận Trong phần Nội dung có ba chương: Chương 1: Tổng quan sở liệu (CSDL) phân tán Chương 2: Vai trò đồng sở liệu phân tán mơ hình Chương 3: Thử nghiệm đánh giá Mục đích nghiên cứu: Nghiên cứu mơ hình đồng sở liệu phân tán, từ đề xuất mơ hình áp dụng thực tiễn tiến hành cài đặt, thử nghiệm đánh giá Đối tượng phạm vi nghiên cứu: Luận văn tập trung vào nghiên cứu mô hình đồng sở liệu phân tán Giới hạn phạm vi nghiên cứu mơ hình đồng sở liệu phân tán Phương pháp nghiên cứu: Tìm hiểu sở liệu phân tán, nghiên cứu mơ hình đồng sở liệu phân tán mặt lý thuyết kết hợp với thử nghiệm đánh giá kết thông qua mô hình thử nghiệm 31 Biểu tượng “Bắt đầu đồng bộ”: Biểu tượng nằm công cụ Biểu tượng “Dừng đồng bộ”: Biểu tượng nằm công cụ Biểu tượng “Lấy liệu từ máy chủ”: Biểu tượng nằm Menu Mục menu “Đồng liệu” Bắt đầu đồng bộ: Click vào biểu tượng “Bắt đầu đồng bộ” để khởi động thành phần SymmetricDS-Client Khi thành phần SymmetricDS-Client khởi động biểu tượng “Dừng đồng bộ” xuất công cụ Sau thành phần SymmetricDS-Client hồn tất q trình khởi động chạy, thay đổi liệu phát sở liệu cục trước chạy thành phần SymmetricDS-Client đồng với sở liệu trung tâm thay đổi xảy thành phần SymmetricDS-Client chạy đồng lên sở liệu trung tâm – Đây chế độ trực tuyến cho nhập liệu liệu nhập/thay đổi đồng lên sở liệu trung tâm với điều kiện có kết nối Internet Nếu khơng có kết nối Internet liệu thay đổi không đồng mà phải đợi đến có kết nối Internet Dừng đồng bộ: Click biểu tượng “Dừng đồng bộ” để dừng thành phần SymmetricDS-Client Khi thành phần SymmetricDS-Client bị dừng, biểu tượng 32 “Bắt đầu đồng bộ” xuất công cụ Sau thành phần SymmetricDS-Client bị dừng lại, thay đổi sở liệu cục phát lưu trữ bảng đặc biệt SymmetricDS thay đổi đồng lần SymmetricDS-Client khởi động chạy Đây chế độ ngoại tuyến cho nhập liệu hoạt động chế độ khơng cần có kết nối Internet Trong chế độ ngoại tuyến, người dùng nhập/biên tập liệu liệu nhập/thay đổi lưu cục sở liệu cục Khi người dùng phạm vi kết nối Internet, người dùng chạy chức đồng liệu thay đổi đồng vào sở liệu trung tâm Tải liệu từ máy chủ: Khi sử dụng chức cần phải chạy chức đồng trước (nhấn biểu tượng “Bắt đầu đồng bộ”) Khi thành phần đồng chạy, click biểu tượng “Tải liệu từ máy chủ” để tải tất cá liệu từ sở liệu trung tâm Phạm vi liệu tải từ sở liệu trung tâm phụ thuộc vào quyền tài khoản người dùng Ví dụ, người dùng có quyền cập nhật, biên tập liệu huyện đó, sử dụng chức tải liệu huyện Cảnh báo: Chức xóa tồn liệu từ sở liệu cục Chức sử dụng trường hợp sau:  Gói cài đặt ứng dụng desktop khơng có liệu sở liệu cục bộ;  Người dùng ủy quản trị huyện liệu cho huyện khơng có sở liệu cục 33 3.8 Các kịch kiểm thử đồng Kịch 1: Tải liệu từ máy chủ Mục đích: Kiểm thử đồng từ sở liệu trung tâm tới sở liệu cục với dung lượng liệu lớn Mô tả: Đăng nhập vào Ứng dụng Báo cáo máy cục sử dụng tài khoản kiểm thử cho huyện (tài khoản cung cấp sẵn gói cài đặt); Đảm bảo kết nối Internet sẵn sàng; Click biểu tượng “Bắt đầu đồng bộ”; Click biểu tượng “Tải liệu từ máy chủ”; Đợi tất liệu huyện tải từ máy chủ trung tâm (kiểm tra trạng thái cửa sổ đồng liệu) Q trình tải liệu nhiều thời gian Điệu kiện kiểm thử thành công: Tất lô liệu diễn biến tải Đếm số ghi bảng liệu liệt kê Bảng 3.1: Cấu hình đồng cho bảng sở liệu cục Kịch 2: Đồng liệu dụng chế độ trực tuyến Mục đích: Kiểm thử chức đồng từ sở liệu cục lên sở liệu trung tâm nhập liệu chế độ trực tuyến Mô tả: Đăng nhập vào Ứng dụng Báo cáo máy cục sử dụng tài khoản kiểm thử cho huyện (tài khoản cung cấp sẵn gói cài đặt); Đảm bảo kết nối Internet sẵn sàng; Click biểu tượng “Bắt đầu đồng bộ”; Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng tài khoản bước 1; Chọn lô bắt đầu biên tập liệu khơng gian thuộc tính lơ; Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh; 34 Kiểm tra lô biên tập máy tính cục sử dụng Ứng dụng QGIS tùy biến Điều kiện kiểm thử thành công: Lơ xem ứng dụng FRMS Web có giá trị thuộc tính, khơng gian với lơ biên tập máy tính cục sử dụng Ứng dụng QGIS tùy biến Kịch 3: Đồng liệu dụng chế độ ngoại tuyến Mục đích: Kiểm thử chức đồng liệu từ sử liệu cục lên sở liệu trung tâm nhập liệu chế độ ngoại tuyến Mô tả: Đảm bảo chức đồng không chạy; Đăng nhập vào ứng dụng QGIS tùy chỉnh sử dụng tài khoản kiểm thử cho tỉnh (tài khoản cung cấp sẵn gói cài đặt); Chọn lô bắt đầu biên tập liệu khơng gian thuộc tính lơ; Đăng nhập vào Ứng dụng báo cáo máy cục sử dụng tài khoản bước 2; Đảm bảo kết nối Internet sẵn sàng; Click biểu tượng “Bắt đầu đồng bộ”; Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh; Kiểm tra lơ biên tập máy tính cục sử dụng Ứng dụng QGIS tùy biến Điều kiện kiểm thử thành công: Lô xem ứng dụng FRMS Web có giá trị thuộc tính, khơng gian với lơ biên tập máy tính cục sử dụng Ứng dụng QGIS tùy biến Kịch 4: Đồng liệu theo hai hướng chế độ trực tuyến Mục đích: Kiểm thử chức đồng theo hai hướng nhập liệu chế độ trực tuyến 35 Mô tả: Kịch cần hai máy tính cục bộ: Máy A Máy B cài sẵn phân hệ Ứng dụng desktop (Ứng dụng QGIS Ứng dụng Báo cáo) Trên Máy A: Đăng nhập vào Ứng dụng Báo cáo máy cục sử dụng tài khoản kiểm thử cho huyện (tài khoản cung cấp sẵn gói cài đặt); Đảm bảo kết nối Internet sẵn sàng’ Click biểu tượng “Bắt đầu đồng bộ”; Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng tài khoản bước 1; Chọn lô bắt đầu biên tập liệu khơng gian thuộc tính lô Trên Máy B: Đăng nhập vào Ứng dụng Báo cáo máy cục sử dụng tài khoản kiểm thử sử dụng cho Máy A (tài khoản cung cấp sẵn gói cài đặt); Đảm bảo kết nối Internet sẵn sàng; Click biểu tượng “Bắt đầu đồng bộ”; Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng tài khoản bước 1; Kiểm tra lô biên tập Máy A Điều kiện kiểm thử thành cơng: Lơ Máy B có liệu thuộc tính liệu không gian giống với lô biên tập Máy A Các thành phần hệ thống Ứng dụng Desktop - Module QGIS: Module phát triển dựa QGIS với plugin phát triển sử dụng ngôn ngữ Python nhằm cung cấp giao diện tối ưu dễ sử dụng người dùng thao tác với liệu GIS Các chức module bao gồm: o Duyệt xem liệu; o Tìm kiếm liệu; o Xem đồ chuyên đề; 36 o Biên tập liệu đồ; o Kết nhập liệu GPS; o Hợp lệ hóa liệu; o In đồ; o Quản lý liệu chủ rừng; o Thêm đồ chuyên đề - Module báo báo: Module phát triển ứng dụng độc lập ngông ngữ Java với máy báo cáo BIRT (Business Intelligence and Reporting Tools) nhúng ứng dụng nhằm thực cách linh hoạt chức năng: o Tạo báo cáo; o In kết xuất báo cáo; o Cập nhật trạng thái báo cáo hoạt động; o Thêm mẫu báo cáo mới; o Quản lý tài khoản người dùng; o Quản lý chức đồng CSDL cách tương tác với thành; o phần đồng sở liệu Symmetricds - Module CSDL: Lưu trữ chỗ liệu ĐTKKR (NFIS) liệu giám sát lâm nghiệp xã, huyện, tỉnh Dữ liệu lưu trữ sở liệu cục sở liệu GIS Module sử dụng hệ quản trị CSDL PosgreSQL PostGIS Ứng dụng Web Ứng dụng web xây dựng theo kiến trúc hướng dịch vụ SOA chức xây dựng các dịch vụ web chuẩn cho phép dễ dàng thêm dịch vụ Các dịch vụ triển khai hệ thống FORMIS dịch vụ nghiệp vụ Phần giao diện người dùng xây dựng dựa công nghệ chuẩn mở đại OpenLayer3, Jquery, WMS,WFS, WCS thực tương tác với dịch vụ để thực chức nghiệp vụ Các chức phân hệ ứng dụng Web bao gồm: 37 o Duyệt xem liệu; o Tìm kiếm liệu; o Xem đồ chuyên đề; o Tạo xem báo cáo; o In kết xuất báo cáo; o Cập nhật trạng thái báo cáo hoạt động; o Duyệt xem trạng thái báo cáo hoạt động; o In đồ Cơ sở liệu trung tâm Lưu trữ máy chủ trung tâm liệu ĐTKKR (NFIS) liệu giám sát lâm nghiệp toàn quốc Dữ liệu lưu trữ sở liệu toàn quốc sở liệu GIS Module sử dụng hệ quản trị sở liệu PosgreSQL PostGIS Các giải pháp cân tải cần triển khai để đảm bảo hiệu truy cập sở liệu Thành phần đồng CSDL Thành phần đồng sở liệu đóng vai trị đồng sở liệu từ máy cục với máy chủ trung tâm Thành phần xây dựng dựa giải pháp mã nguồn mở SymmetricDS Các modules SymetricDS tối ưu triển khai hệ thống máy chủ trung tâm ứng dụng Desktop cục Thành phần đồng sở liệu cho phép hệ thống làm việc chế độ ngoại tuyến đồng liệu có kết nối internet Các chế độ đồng cấu hình gồm: Đồng tự động đồng thủ công Máy báo cáo Máy báo cáo cho phép định nghĩa, tạo kết xuất báo cáo cách linh hoạt Máy báo cáo triển khai hai nơi: - Trên hệ thống FORMIS: Cung cấp khả tạo kết xuất báo cáo cho phân hệ ứng dụng web; 38 - Nhúng ứng dụng desktop: Cho phép tạo kết xuất báo cáo từ phân hệ ứng dụng desktop Mô tả tương tác thành phần Tại máy cục bộ, Module QGIS kết nối với sở liệu cục để lấy, hiển thị lưu thay đổi liệu Module báo cáo phân hệ desktop với máy báo cáo BIRT nhúng bên kết nối với sở liệu để lấy liệu cho báo cáo định nghĩa trước Thành phần đồng sở liệu thuộc phân hệ desktop kết nối với sở liệu cục kết nối với thành phần đồng sở liệu trung tâm để thực đồng sở liệu có kết nối internet Thành phần đồng sở liệu trung tâm kết nối với sở liệu trung tâm để thực chức đồng liệu Tại máy chủ trung tâm, máy báo cáo BIRT kết nối với sở liệu trung tâm để tạo báo cáo truy cập thơng qua dịch vụ chuẩn Thành phần ứng dụng Web kết nối thông qua dịch vụ chuẩn với máy báo cáo BIRT để thị, in ấn kết xuất báo cáo theo yêu cầu người dùng Phân hệ ứng dụng web kết nối với máy chủ đồ GeoServer để lấy hiển thị liệu đồ đồng thời kết nối với máy chủ ứng dụng để sử dụng dịch vụ nghiệp vụ Đặc điểm giải pháp kiến trúc Giải pháp kiến trúc đề xuất có đặc điểm sau: o Sử dụng tiếp cận kiến trúc hướng dịch vụ SOA thiết kế kiến trúc; o Sử dụng hoàn toàn giải pháp mã nguồn mở; o Tận dụng tối đa chức sẵn có ứng dụng QGIS với giao diện tối ưu; o Giải pháp đồng liệu hiệu tin cậy mức sở liệu; 39 o Sử dụng máy báo cáo BIRT cho phép tạo thêm mẫu báo cáo linh hoạt mà khơng cần thay đổi logic lập trình mức ứng dụng Đồng liệu từ sở liệu địa phương đến sở liệu trung tâm Mục tiêu o Ứng dụng desktop kết nối đến sở liệu địa phương Có thể sử dụng offline o Cơ sở liệu địa phương đồng với liệu trung tâm Giải pháp: Sử dụng opensource SymmetricDS để đồng liệu SymmetricDS cơng cụ đồng hóa liệu thiết kế để truyền tải liệu từ sở liệu cục đến liệu trung tâm SymmetricDS mã nguồn mở, hỗ trợ nhiều loại sở liệu Đồng thời Symmetricds hỗ trợ đồng sở liệu GIS Nó đồng liệu từ nhiều client node Dưới hình ảnh mơ tả chế hoạt động SymmetricDS Hình 3.3 Cơ chế hoạt động Symmetricds Hệ thống tích hợp symmetricds hợp phần: o Ứng dụng desktop 40 Ứng dụng desktop tích hợp Symmetricds-Client Ứng dụng desktop có module quản lý trình đồng đến liệu trung tâm sở liệu địa phương (các liệu đồng thành công, liệu chưa đồng bộ, đặt lịch đồng liệu) o Máy chủ trung tâm Tại phía máy chủ trung tâm cài đặt Symmetricds-Sever Các Symmetricds-Client hoạt động với Symmetricds-Server để thực đồng liệu từ sở liệu cục sở liệu trung tâm 41 KẾT LUẬN Sau trình tạp trung nghiên cứu hướng dẫn tận tình PGS.TS Hà Hải Nam, Luận văn sâu nghiên cứu mơ hình kỹ thuật đồng sở liệu phân tán thực tế triển khai Tổng cục Lâm nghiệp với Hệ thống theo dõi diễn biến tài nguyên rừng nước Cụ thể luận văn nêu lên nội dung sau: Giới thiệu tổng quan CSDL phân tán; Vai trò tâm quan trọng việc đồng sở liệu phân tán mơ hình thực việc đồng sở liệu phân tán; Đưa toán kiểm thử đánh giá cụ thể kịch đồng Mô hình kiểm thử với Hệ thống theo dõi diễn biến tài nguyên rừng nước đáp ứng yêu cầu việc quản lý tài nguyên rừng nước ta từ Trung ương đến địa phương Những số liệu cụ tình hình tài nguyên rừng thu từ hệ thống, từ có phương hướng xử lý có cố rừng xẩy Từ kết đạt được, thời gian tới Luận văn tiếp tục mở rộng nghiên cứu nghiên cứu để áp dụng cho số hệ thống thực tế có sở liệu lớn 42 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Trần Đức Quang, 1999 Nguyên lý hệ sở liệu phân tán, Tập (Biên dịch từ Principles of Distributed Database Systems M Tamer Patrick Valduriez), NXB Thống kê, TP.HCM [2] TS.Phạm Thế Quế, 2010 CSDL phân tán [3] The Synchronization of Distributed Databases, 1990 Nhập môn CSDL phân tán, NXBKH&KT [4] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2245569/ W Ed Hammond, Mark J Straube, and W W Stead Truy cập tháng 11 năm 2016 [5] http://www.dataintegration.info/data-synchronization Truy cập tháng 11 năm 2016 [6] https://www.symmetricds.org/ Truy cập tháng 10 năm 2016 [7] Một số tài liệu hội thảo số tập đoàn IBM, Dell, HP năm 2016 ... vi nghiên cứu: Luận văn tập trung vào nghiên cứu mơ hình đồng sở liệu phân tán Giới hạn phạm vi nghiên cứu mơ hình đồng sở liệu phân tán Phương pháp nghiên cứu: Tìm hiểu sở liệu phân tán, nghiên. .. quan sở liệu phân tán Chương I, trình bày khái niệm sở liệu phân tán, hệ quản trị sở liệu phân tán, hệ sở liệu phân tán lý để sử dụng sở liệu phân tán Sau đưa vấn đề sở liệu phân tán, chương I đưa... liệu (CSDL) phân tán Chương 2: Vai trò đồng sở liệu phân tán mơ hình Chương 3: Thử nghiệm đánh giá Mục đích nghiên cứu: Nghiên cứu mơ hình đồng sở liệu phân tán, từ đề xuất mơ hình áp dụng thực