Một số kỹ thuật xử lý trong cơ sở dữ liệu phân tán và ứng dụng

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ OUTSA PHOMPHIPHAK MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái ngun – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ OUTSA PHOMPHIPHAK [ MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 Ngƣời hƣớng dẫn khoa học: PGS.TS PHẠM VIỆT BÌNH Thái nguyên – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học PGS.TS PHẠM VIỆT BÌNH Học viên thực Outsa PHOMPHIPHAK Thái nguyên – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv MỤC LỤC DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN vi DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN vii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT viii MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN .4 1.1 Khái niệm sở liệu 1.2 Nguyên tắc hệ thống xử lý phân tán 1.2.1 Khái niệm xử lý phân tán 1.2.2 Hệ thống phân tán .5 1.3 Cơ sở liệu phân tán sở liệu tập trung 1.4 Kiến trúc Mơ hình sở liệu phân tán 1.4.1 Điểm mạnh sở liệu phân tán .9 1.4.2 Hệ quản trị sở liệu phân tán 10 1.4.3 Các mức sở liệu phân tán .13 1.5 Yêu cầu quản trị sở liệu phân tán 17 1.5.1 Quản lý bảng danh mục sở liệu phân tán 18 1.5.2 Nội dung bảng danh mục 18 1.5.3 Phân tán bảng danh mục 19 1.5.4 Quản trị bảo vệ 21 1.5.5 Áp đặt luật phân quyền 22 1.5.6 Phân lớp ngƣời sử dụng: 23 CHƢƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ TRONGCƠ SỞ DỮ LIỆU PHÂN TÁN 25 2.1 Kỹ thuật phân mảnh ngang 25 2.1.1 Thuật toán phân mảnh ngang nguyên thủy .27 2.1.2 Thuật toán xác định tập vị từ đầy đủ cực tiểu 29 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v 2.1.3 Phân mảnh ngang dẫn xuất 31 2.2 Kỹ thuật phân Mảnh dọc 33 2.2.1 Thuật tốn tụ nhóm 34 2.2.2 Thuật toán phân mảnh .38 2.3 Kỹ thuật phân mảnh hỗn hợp: 42 2.4 Kỹ thuật trộn 43 2.4.1 Thuật toán trộn tập trung 43 2.4.2 Thuật toán trộn phân tán 45 2.5 Đánh giá số kỹ thuật xử lý CSDL phân tán 46 2.5.1 Đánh giá kỹ thuật phân mảnh liệu: 46 2.5.2 Đánh giá kỹ thuật trộn .49 CHƢƠNG 3: XÂY DỰNG HỆ THỐNG QUẢN LÝ HÓA ĐƠN ĐIỆN TỬ NGÀNH ĐIỆN CHO CỘNG HÒA DÂN CHỦ NHÂN DÂN LÀO 50 3.1 Phát biểu toán 50 3.2 Các yếu tố tác động đến cần thiết xây dựng hệ thống .51 3.3 Phân tích nghiệp vụ yêu cầu hệ thống .52 3.3.1 Các yêu cầu phi chức 52 3.3.2 Phân tích yêu cầu chức hệ thống 55 3.4 Thiết kế mô hình liệu 64 3.5 Xây dựng ứng dụng đánh giá hiệu 66 3.5.1 Lựa chọn công nghệ 66 3.5.2 So sánh hiệu phân tích kết đầu .67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 69 TÀI LIỆU THAM KHẢO 70 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Mơ hình thành phần hệ quản trị sở liệu phát triển theo kiểu thƣơng mại (Truy cập từ xa trực tiếp) .11 Hình 1.2: Cách thức truy cập csdl ứng dụng 12 Hình 1.3 Cách thức truy cập gián tiếp chƣơng trình ứng dụng vào csdl 13 Hình 1.4: Sơ đồ mức sở liệu phân tán 14 Hình 2.1: Đồ thị kết nối 32 Hình 2.2 Định vị điểm tách 39 Hình 2.3: Phân đoạn hỗn hợp 42 Hình 2.4 Tính tái thiết đƣợc phân mảnh hỗi hợp 43 Hình 2.5: Danh sách nhân viên công ty 44 Hình 2.6 Kết trộn tập trung 44 Hình 2.7: Danh sách nhân viên công ty chi nhánh 45 Hình 2.8: Gộp nhóm theo phƣơng pháp trộn phân tán .46 Hình 3.1: Hóa đơn điện tử 50 Hình 3.2: Yêu cầu siêu liên kết 54 Hình 3.3: Sơ đồ thiết kế tổng thể 55 Hình 3.4: Cấu trúc XML hóa đơn điện tử 57 Hình 3.5: Biểu đồ Actor 58 Hình 3.6: Biểu đồ Use Case 59 Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử 60 Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn 61 Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn 63 Hình 3.10: Mơ hình logic phân tán 65 Hình 3.11: Mơ hình thực thể liệu 65 Hình 3.12: Mơ hình trƣờng liệu bảng Hóa đơn 66 Hình 3.13: Bảng mục hóa đơn 66 Hình 3.14: Indexer database proccess .67 Hình 3.15: Biểu đồ so sánh hiệu 68 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN Bảng 3.1: Danh sách tác nhân .57 Bảng 3.2: Danh sách ca sử dụng 59 Bảng 3.3 Mơ tả biểu đồ hoạt động UC kí lên hóa đơn điện tử 62 Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu .64 Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánhchỉ mục primary cluster (khóa chính) 67 Bảng 3.6: Tốc độ xuất báo cáo 68 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn viii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Ý nghĩa Chi tiết CSDL Cơ sở liệu DBMS Database management system Hệ quản trị sở liệu DB Data base Cơ sở liệu UC Use case Ca sử dụng DC Data Communication Phần truyền thông liệu DD Data Dictionary Từ điển liệu Distributed Database Phần sở liệu phân tán DDB DN Doanh nghiệp HĐĐT Hóa đơn điện tử CNTT Công nghệ thông tin SSL Secure socket layer Giao thức mạng an toàn PKI Public key infrastructure Hạ tầng khóa cơng khai Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỞ ĐẦU Đặt vấn đề Ngày nay, xu cơng nghệ thơng tin tồn cầu nhƣ phát triển mạng internet, thể giới đƣợc kết nối không khoảng cách Nhƣ tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng sở liệu khổng lồ, chứa hàng tỉ ghi để phục phụ nhu cầu đặc thù Các tốn mang tầm vóc quốc gia hay hệ thống hoạt động thời gian dài có số ghi lên đến hàng triệu, hàng tỉ Khi hệ thống liệu bùng nổ, chế lƣu trữ quản lý liệu tập trung bộc lộ nhiều điểm yếu, nhƣ khả tìm kiếm, cập nhật liệu chậm, hệ thống hay xuất lỗi tràn nhớ, lỗi tƣơng tranh câu truy vấn vận hành hệ thống Ngoài ra, quản lý liệu tập trung dễ gặp rủi ro sau cố khả vận hành liên tục không hiệu Để khác phục điểm yếu chế liệu tập trung, chun gia đƣa mơ hình liệu phân tán Theo đó, đặc thù hệ thống cần cân nhắc đến khả phân tán, cách thức phân tán cƣờng độ phân tán liệu Trong luận văn này, tập trung nghiên cứu kĩ thuật phân tán liệu, tính hiệu kĩ thuật khả áp dụng tốn đặc thù thực tế Bài toán cụ thể luận văn xây dựng hệ thống quản lý hóa đơn điện tử CHDCND Lào, phân tích đặc thù hệ thống để đƣa kĩ thuật phân tán phù hợp, đánh giá mức độ hiệu kĩ thuật phân tán áp dụng Do đó, “Một số kĩ thuật xử lý sở liệu phân tán ứng dụng” đƣợc chọn làm đề tài Đối tƣợng phạm vi nghiên cứu - Đối tƣợng nghiên cứu:  Một số kĩ thuật xử lý sở liệu phân tán  Ứng dụng quản lý hóa đơn đặc thù ngành điện - Phạm vi nghiên cứu:  Nguyên tắc hệ thống phân tán Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn  Kiến trúc mơ hình sở liệu phân tán  Các kĩ thuật xử lý sở liệu phân tán  Nghiệp vụ quản lý tiền điện, nghiệp vụ hóa đơn điện tử, nguyên tắc bảo mật trao đổi hóa đơn điện tử, mơ hình áp dụng kết thực nghiệm Hƣớng nghiên cứu đề tài - Xu liệu phân tán - Các nguyên tắc thiết kế bản, kiến trúc mơ hình liệu phân tán - Các kĩ thuật áp dụng việc xử lý sở liệu phân tán - Tổng quát hóa lớp tốn áp dụng, kiến trúc áp dụng sở liệu phân tán - Đƣa đề xuất, thiết kế ứng dụng, phân tích ƣu nhƣợc điểm, so sánh với hệ thống khơng áp dụng kiến trúc sở liệu phân tán Bố cục luận văn - Mở đầu - Chƣơng Tổng quan sở liệu sở liệu phân tán - Chƣơng Một số kĩ thuật xử lý sở liệu phân tán - Chƣơng Xây dựng hệ thống quản lý hóa đơn điện tử ngành điện cho CHDC ND Lào - Kết luận Phƣơng pháp nghiên cứu - Nghiên cứu lý thuyết: Tìm hiểu lý thuyết sở liệu phân tán sách, báo, luân văn diễn đàn - Thực nghiệm: Nghiên cứu tốn hóa đơn điện tử, áp dụng kĩ thuật xử lí nghiên cứu lí thuyết vào bàn toán cụ thể Ý nghĩa khoa học đề tài - Ý nghĩa khoa học  Tổng hợp, phân tích ƣu nhƣợc điểm kĩ thuật xử lý sở liệu phân tán Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 56 + Các services: Cung cấp services để xác thực hóa đơn cho quan thuế, giúp tự động xác thực hóa đơn với số lƣợng lớn + Hệ thống báo cáo: Xuất hóa đơn, xuất báo cáo tình hình tiêu thụ điện theo tháng, năm tỉnh nhƣ tồn quốc + Hệ thống kí số: Do số lƣợng hóa đơn đƣợc lƣu trữ vơ lớn, cần có hệ thống kí số có tốc độ cao Có thể dùng máy kí chuyên biệt phục vụ ứng dụng + Hệ thống quản lý: Quản lý nhóm tài khoản, phân quyền sử dụng, quản trị liệu khách hàng + Hệ thống nhập liệu: Hệ thống cho phép kết nối với hệ thống thu thập liệu công tơ, cho import liệu số cơng tơ nhanh chóng, thuận tiện, xác b Cấu trúc liệu hóa đơn - Với đặc thù hóa đơn phải đƣợc trao đổi hệ thống khác nhau, hệ thống đọc đƣợc thơng tin có cấu trúc hóa đơn Do đó, phải dùng chuẩn định dạng mở để lƣu liệu - XML định dạng mở phổ biến, đƣợc trao đổi qua mơi trƣờng mạng, đảm bảo hệ thống đọc đƣợc trƣờng thơng tin - Một file hóa đơn gồm phần: + Phần thông tin liệu có cấu trúc, lƣu trữ tồn thơng tin có hóa đơn + Phần chữ kí số đƣợc kí lên thơng tin hóa đơn với Private key hệ thống quản lý hóa đơn tiền điện Chữ kí đảm bảo hóa đơn quan điện lực cung cấp đảm bảo tính an tồn thơng tin đƣợc lƣu trữ hóa đơn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 57 Hình 3.4: Cấu trúc XML hóa đơn điện tử c Các tác nhân tham gia sử dụng hệ thống STT Tên tác nhân Vai trò Ngƣời dân sử dụng dịch vụ công hệ thống Công dân Cán nhập liệu Quản trị hệ thống Quản lí báo cáo Cán quan điện lực, có vai trị Import nhập liệu hóa đơn, khách Có vai trị quản trị thơng tin, quản trị ngƣời dùng, cấp quyền, thu hồi quyền ngƣời dùng Tổng hợp, xuất báo cáo tình hình sử dụng điện hệ thống Hệ thống quan thuế, hệ thống thu thập Hệ thống khác liệu, hệ thống kí số ….Giao tiếp với hệ thống qua services Bảng 3.1: Danh sách tác nhân Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 58 Biểu đồ tác nhân Hình 3.5: Biểu đồ Actor d Ca sử dụng (Use case) biểu đồ ca sử dụng Danh sách ca sử dụng STT Tên Use case Mô tả Đăng nhập Đăng nhập vào hệ thống Đăng xuất Thoát khỏi hệ thống, xóa secssion, cookies Xuất hóa đơn theo tháng Xác thực hóa đơn Download hóa đơn điện tử Xuất hóa đơn theo tháng khách hàng theo số cơng tơ Xác thực hóa đơn điện tử hệ thống Cho phép download hóa đơn điện tử sau kí với chữ kí điện lực Gửi hóa đơn điện tử cho Gửi hóa đơn cho khách hàng qua email sau khách hang kí số Services xác thực hóa đơn Services xác thực hóa đơn cho quan thuế Import liệu Nhập liệu số công Đối với nơi chƣa có hệ thống đọc số Số hóa Trung tâm Học liệu – ĐHTN Import liệu số công tơ từ file từ hệ thống đọc số công tơ khác http://www.lrc.tnu.edu.vn 59 tơ công tơ tự động, hệ thống cho phép cán điện lực nhập liệu số công tơ tay 10 Quản lý thông tin khách Cán quản trị nội dung quản lý thông tin hang khách hàng, 11 Sinh mã số khách hàng 12 Sinh số hóa đơn 13 Kí điện tử lên hóa đơn 14 Quản lý ngƣời dung 15 Phân quyền sử dụng 16 Tạo nhóm ngƣời dùng 17 Xuất báo cáo Hệ thống tự động sinh mã số cho khách hàng thêm khách hàng vào hệ thống Sinh số hóa đơn điện tử Thực kí điện tử trƣớc xuất hóa đơn cho khách hàng Quản lý ngƣời dùng hệ thống Phân quyền sử dụng cho nhóm ngƣời dùng hệ thống Tạo nhóm ngƣời sử dụng hệ thống Xuất báo cáo tình hình sử dụng điện nƣớc, tỉnh theo tháng, năm Bảng 3.2: Danh sách ca sử dụng Biểu đồ Use case Hình 3.6: Biểu đồ Use Case Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 60 e Biểu đồ trình tự biểu đố hoạt động ca sử dụng UC Download hóa đơn điện tử - Actor: Khách hàng, cán điện lực - Điều kiện trƣớc: Ngƣời dùng trang xem danh sách hóa đơn Hóa đơn trạng thái đƣợc kí điện tử - Actor liên quan: Hệ thống - Biểu đồ trình tự Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử - Lớp xử lý giao diện gửi yêu cầu download hóa đơn điện tử - Dựa vào yêu cầu này, hệ thống đánh mục tìm hóa đơn theo mã để xác định hóa đơn database - Hệ thống tự động sinh truy vấn đến database có mã số hóa đơn - Trả liệu hóa đơn điện tử theo dạng XML Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 61 UC xác thực hóa đơn - Actor: Ngƣời dùng - Điều kiện trƣớc: Khơng có - Actor liên quan: Hệ thống - Biểu đồ trình tự: Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn - Ngƣời dùng thực upload liệu hóa đơn điện tử lên hệ thống để thực xác thực hóa đơn - Bộ Paser hệ thống thực tách phần data phần chữ kí gửi vào hệ thống xác thực - Hệ thống xác thực đƣợc cung cấp khóa cơng khai hệ thống thực việc kí lên hóa đơn Sau thực xác thực trả thơng tin hóa đơn có bị thay đổi nội dung hệ thống sinh quản lý hóa đơn điện tử cung cấp hay khơng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 62 UC kí điện tử lên hóa đơn Kí điện tử lên hóa đơn Tên UC Để hóa đơn có ý nghĩa, hệ thống cần kí lên hóa đơn Sau hóa đơn có đầy đủ thơng tin, hệ thống chuyển thơng tin đến máy kí số chun dụng Máy thực kí Mơ tả UC trả chữ kí số, hệ thống lưu khối liệu thành dạng XML lưu vào trường liệu phi cấu trúc bảng hóa đơn Actor kích hoạt Cán điện lực Actor liên quan HeThong UC khởi động UC liên quan Luồng kiện Cán chọn chức kí lên danh sách hóa đơn lập Hệ thống tổng hợp trường liệu thành mảng byte Gửi mảng byte vào máy kí số chun dụng Máy kí số sinh chữ kí trả cho hệ thống Hệ thống tổng hợp liệu vào file XML Lưu liệu XML vào trường liệu hóa đơn phi cấu trúc database Luồng kiện thay A1 Báo lỗi q trình kí khơng thành cơng Bảng 3.3 Mơ tả biểu đồ hoạt động UC kí lên hóa đơn điện tử Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63 Biểu đồ hoạt động Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 64 UC import liệu Import liệu Tên UC Mô tả UC Import liệu từ file hệ thống đọc số công tơ thu thập Actor kích hoạt Cán điện lực Actor liên quan HeThong UC khởi động UC liên quan Luồng kiện Cán chọn chức import liệu upload file số công tơ lên hệ thống Hệ thống thực đọc file, phân tích liệu Insert liệu vào database Đặt trạng thái hóa đơn chờ kí Luồng kiện thay A1 Báo lỗi trình import không thành công Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu 3.4 Thiết kế mơ hình liệu - Dân số Cộng hòa dân chủ nhân dân Lào ƣớc tính có 6.7 triệu dân Nhƣ vậy, lƣợng hóa đơn tiền điện tính theo tháng lên tới số khổng lồ vài năm sử dụng Do đó, cần phải phân tán liệu thành database nhỏ để thực lƣu trữ, cập nhật truy vấn liệu cách nhanh - Mơ hình đƣa tỉnh có liệu hóa đơn điện tử riêng cho tỉnh Do giảm đƣợc đáng kể số hóa đơn database Do thao tác truy vấn để xuất báo cáo quan trọng thƣờng xẩy hệ thống, đó, cần có hệ thống database làm thao tác đọc Khi cần query liệu, query đến database đọc Dữ liệu tỉnh sau đƣợc import vào đƣợc đồng theo lô lên database đọc vào thấp điểm Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 65 - Khi câu truy vấn đến, với tham số vào mã hóa đơn, ta khơng biết mã hóa đơn năm database tỉnh Nhƣ ta xây dựng database mục Cần lựa chọn công nghệ phù hợp cho db này, thông thƣờng dùng lusen server làm db mục Từ biết cần query đến db tỉnh để đƣợc hóa đơn cần tìm Cơ sở liệu ngành Readonly database Indexer DB Tự động đồng liệu Cơ sở liệu tỉnh Hình 3.10: Mơ hình logic phân tán Mơ hình liên kết bảng hệ thống a Cho chức quản lý hệ thống phân quyền người sử dụng Hình 3.11: Mơ hình thực thể liệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 b Bảng hóa đơn Hình 3.12: Mơ hình trường liệu bảng Hóa đơn c Bảng mục hóa đơn Hình 3.13: Bảng mục hóa đơn 3.5 Xây dựng ứng dụng đánh giá hiệu 3.5.1 Lựa chọn công nghệ - Do đặc thù phải đồng liệu cách liên tục, phải chọn phiên SQL server enterprise từ phiên 2008 trở lên Các db phải thiết lập chế Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 độ Replication, tự động đồng theo chiều từ db tỉnh lên sở liệu nghành - Dabase indexer: sử dụng Lucene 3.4.0 Đây db chuyên dùng để đánh mục, chịu đựng hàng tỉ record Hình 3.14: Indexer database proccess - Kí số: Do số lƣợng hóa đơn vơ lớn, kí điện tử thuật tốn tốn tài ngun, server khơng đủ tài nguyên để sử dụng nên phải dùng máy kí số chuyên dụng - Services cho quan thuế: sử dụng chuẩn giao thức SOAP, có xác thực tocken key kết nối - Ngơn ngữ lập trình: Microsoft MVC 5, Entity framework 6.0, có chế cache query - Hệ thống báo cáo: Sử dụng rdlc report 3.5.2.So sánh hiệu phân tích kết đầu a Hiệu tìm kiếm ghi đánh mục primary cluster (khóa chính) Số ghi Số lần test DB tập trung DB phân tán 100 1000 0.02s 0.3s 1000 1000 0.06s 0.4s 100.000 1000 1s 0.4s 1000.000 1000 1.2s 0.7s 10.000.000 500 3s 0.8s Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánh mục primary cluster (khóa chính) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 68 b Tốc độ xuất báo báo thống kê theo khách hàng sử dụng điện Số ghi 100 1000 100.000 1000.000 10.000.000 Số lần test DB tập trung 1000 0.02s 1000 0.06s 1000 1s 1000 1.2s 500 3s Bảng 3.6: Tốc độ xuất báo cáo DB phân tán 0.3s 0.4s 0.4s 0.7s 0.8s c Phân tích kết đầu Qua việc đánh giá hiệu thấy rõ ràng với số lƣợng liệu, db tập trung tỏ tốc độ Nhƣng liệu tăng nhanh, DB tập trụng có thời gian chạy query lũy tiến nhanh, nhƣng DB phân tán trì thời gian mức ổn định Lý số ghi, DB phân tán lại chạy chậm query, hệ thống phải thực truy lục lần, lần vào DB indexer, lần vào db chứa liệu Trên thực tế, hệ thống quản lý hóa đơn có số lƣợng ghi lớn, việc áp dụng DB phân tán ứng dụng tuyệt đối cần thiết Biểu đồ so sánh hiệu 4 1.8 1 0.04 0.09 Hình 3.15: Biểu đồ so sánh hiệu Màu xanh: Có sử dụng phân tán Màu đỏ: DB tập trung 1- 100 records 2- 1000 records 3- 100.000 records 4- 1000.000 records 5- 10.000.000 records Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Triển khai hệ thống sở liệu phân tán lĩnh phức tạp, cần phải hiểu biết kiến trúc hệ thống kiến thực sâu rộng Database Với đặc thù hệ thống yêu cầu nghiệp vụ khác có cách thiết kế cụ thể khác nguyên tắc sở liệu phân tán nói chung, khơng thể áp dụng kiến trúc hệ thống vào đặc thù hệ thống khác đƣợc Luận văn đƣa nguyên tắc thiết kế hệ thống phân tán, kĩ thuật xử lý để áp dụng loại toán khác Trọng tâm luận văn mơ hình phân tán liệu tốn quản lý hóa đơn điện tử ngành điện Mơ hình thiết kế đảm bảo bám sát vào yêu cầu nghiệp vụ việc xử lý hóa đơn, dịch vụ cơng mà ngành điện cần cung cấp cho xã hội nhƣ đƣa báo cáo thống kê cách hiệu quả, nhanh chóng Phần cuối luận văn so sánh phân tích đƣợc ƣu nhƣợc điểm triển khai sở liệu tập trung hay phân tán Từ kết luận đó, có thơng tin bổ ích định xây dựng hệ thống thực tế theo mơ hình phân tán hay tập trung Hƣớng phát triển Ngày nay, mà nhu cầu đơn giản hóa việc quản lý hóa đơn ngày tăng Hóa đơn điện tử thể đƣợc điểm mạnh tính tiện dụng nhƣ tiết kiệm dễ dàng quản lý Không với ngành điện, hệ thống cịn áp dụng cách ngành nghề khác Việc ban hành hành lang pháp lý chữ kí điện tử tạo đà phát triển mạnh mẽ hóa đơn điện tử Trong tƣơng lai, cần mở rộng hệ thống nữa, xây dựng thêm chức dịch vụ công để giải triệt để tốn hóa đơn phức tạp khó quản lý kinh tế Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 70 TÀI LIỆU THAM KHẢO * Tiếng Việt [1] Lê Huy Thập, Cơ sở lý thuyết song song, NXB THÔNG TIN VÀ TRUYỀN THƠNG, 8-2010 [2] Đồn Văn Ban, Nguyễn Mậu Hân, Xử lý song song phân tán, NXB Khoa học Kỹ thuật, 2006 [3] Đỗ Xuân Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 [4] Lê Huy Thập, Bài giảng CSDL phân tán, ĐH Sƣ Phạm Hà Nội Học Viện CN Bƣu Chính Viễn Thơng [5]Đỗ Xn Lơi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 * Tiếng Anh [6] Robert Sedgewick, Cẩm nang thuật toán Vol.1 and vol.2 NXB Khoa học Kỹ thuật, 2001 [7] M.Tamer Ozsu, Patrick Valduriez, Nguyên lý hệ liệu phân tá, Trần Đức Quang biên dịch, NXB Thống kê, 1999 [8] Seyed H Roo, “Parallel processing and Parallel Algorithms, Theory and Coputation”, Springer 1999 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN .4 1.1 Khái niệm sở liệu 1.2 Nguyên tắc hệ thống xử lý phân tán 1.2.1 Khái niệm xử lý phân tán 1.2.2 Hệ thống phân. .. QUAN VỀ CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1.Khái niệm sở liệu Cơ sở liệu (Database) tập hợp liệu đƣợc lƣu trữ cách có tổ chức để phục vụ cho công việc sử dụng thuận tiện Dữ liệu số liệu, ... phân quyền 22 1.5.6 Phân lớp ngƣời sử dụng: 23 CHƢƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ TRONGCƠ SỞ DỮ LIỆU PHÂN TÁN 25 2.1 Kỹ thuật phân mảnh ngang 25 2.1.1 Thuật