(Luận văn) một số kỹ thuật xử lý trong cơ sở dữ liệu phân tán và ứng dụng

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ OUTSA PHOMPHIPHAK lu an n va tn to ie gh MỘT SỐ KỸ THUẬT XỬ LÝ TRONG p CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG d oa nl w ll u nf va an lu oi m z at nh LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z m co l gm @ Thái nguyên – 2015 an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si ii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ OUTSA PHOMPHIPHAK [ lu an n va ie gh tn to p MỘT SỐ KỸ THUẬT XỬ LÝ TRONG d oa nl w CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG ll u nf va an lu oi m z at nh LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH z Chuyên ngành: KHOA HỌC MÁY TÍNH @ gm Mã số: 60 48 01 01 Thái nguyên – 2015 m co l Ngƣời hƣớng dẫn khoa học: PGS.TS PHẠM VIỆT BÌNH an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si iii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG [ MỘT SỐ KỸ THUẬT XỬ LÝ TRONG lu an CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG n va ie gh tn to p Chuyên ngành: KHOA HỌC MÁY TÍNH d oa nl w Mã số: 60 48 01 01 lu ll u nf va an LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh Ngƣời hƣớng dẫn khoa học Học viên thực z Outsa PHOMPHIPHAK an Lu Thái nguyên – 2015 va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN m co l gm @ PGS.TS PHẠM VIỆT BÌNH ac th si iv MỤC LỤC DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN vi DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN vii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT viii MỞ ĐẦU .1 CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN .4 1.1 Khái niệm sở liệu lu an 1.2 Nguyên tắc hệ thống xử lý phân tán n va 1.2.1 Khái niệm xử lý phân tán 1.3 Cơ sở liệu phân tán sở liệu tập trung gh tn to 1.2.2 Hệ thống phân tán .5 p ie 1.4 Kiến trúc Mô hình sở liệu phân tán 1.4.1 Điểm mạnh sở liệu phân tán .9 nl w 1.4.2 Hệ quản trị sở liệu phân tán 10 d oa 1.4.3 Các mức sở liệu phân tán .13 an lu 1.5 Yêu cầu quản trị sở liệu phân tán 17 va 1.5.1 Quản lý bảng danh mục sở liệu phân tán 18 ll u nf 1.5.2 Nội dung bảng danh mục 18 oi m 1.5.3 Phân tán bảng danh mục 19 1.5.4 Quản trị bảo vệ 21 z at nh 1.5.5 Áp đặt luật phân quyền 22 z 1.5.6 Phân lớp ngƣời sử dụng: 23 gm @ CHƢƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ TRONGCƠ SỞ DỮ LIỆU PHÂN l TÁN 25 m co 2.1 Kỹ thuật phân mảnh ngang 25 2.1.1 Thuật toán phân mảnh ngang nguyên thủy .27 an Lu 2.1.2 Thuật toán xác định tập vị từ đầy đủ cực tiểu 29 va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si v 2.1.3 Phân mảnh ngang dẫn xuất 31 2.2 Kỹ thuật phân Mảnh dọc 33 2.2.1 Thuật tốn tụ nhóm 34 2.2.2 Thuật toán phân mảnh .38 2.3 Kỹ thuật phân mảnh hỗn hợp: 42 2.4 Kỹ thuật trộn 43 2.4.1 Thuật toán trộn tập trung 43 2.4.2 Thuật toán trộn phân tán 45 2.5 Đánh giá số kỹ thuật xử lý CSDL phân tán 46 lu 2.5.1 Đánh giá kỹ thuật phân mảnh liệu: 46 an n va 2.5.2 Đánh giá kỹ thuật trộn .49 NGÀNH ĐIỆN CHO CỘNG HÒA DÂN CHỦ NHÂN DÂN LÀO 50 gh tn to CHƢƠNG 3: XÂY DỰNG HỆ THỐNG QUẢN LÝ HĨA ĐƠN ĐIỆN TỬ ie 3.1 Phát biểu tốn 50 p 3.2 Các yếu tố tác động đến cần thiết xây dựng hệ thống .51 nl w 3.3 Phân tích nghiệp vụ yêu cầu hệ thống .52 d oa 3.3.1 Các yêu cầu phi chức 52 an lu 3.3.2 Phân tích yêu cầu chức hệ thống 55 va 3.4 Thiết kế mơ hình liệu 64 u nf 3.5 Xây dựng ứng dụng đánh giá hiệu 66 ll 3.5.1 Lựa chọn công nghệ 66 m oi 3.5.2 So sánh hiệu phân tích kết đầu .67 z at nh KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 69 TÀI LIỆU THAM KHẢO 70 z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si vi DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Mơ hình thành phần hệ quản trị sở liệu phát triển theo kiểu thƣơng mại (Truy cập từ xa trực tiếp) .11 Hình 1.2: Cách thức truy cập csdl ứng dụng 12 Hình 1.3 Cách thức truy cập gián tiếp chƣơng trình ứng dụng vào csdl 13 Hình 1.4: Sơ đồ mức sở liệu phân tán 14 Hình 2.1: Đồ thị kết nối 32 Hình 2.2 Định vị điểm tách 39 Hình 2.3: Phân đoạn hỗn hợp 42 lu Hình 2.4 Tính tái thiết đƣợc phân mảnh hỗi hợp 43 an n va Hình 2.5: Danh sách nhân viên cơng ty 44 Hình 2.7: Danh sách nhân viên cơng ty chi nhánh 45 gh tn to Hình 2.6 Kết trộn tập trung 44 ie Hình 2.8: Gộp nhóm theo phƣơng pháp trộn phân tán .46 p Hình 3.1: Hóa đơn điện tử 50 nl w Hình 3.2: Yêu cầu siêu liên kết 54 d oa Hình 3.3: Sơ đồ thiết kế tổng thể 55 an lu Hình 3.4: Cấu trúc XML hóa đơn điện tử 57 va Hình 3.5: Biểu đồ Actor 58 u nf Hình 3.6: Biểu đồ Use Case 59 ll Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử 60 m oi Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn 61 z at nh Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn 63 Hình 3.10: Mơ hình logic phân tán 65 z gm @ Hình 3.11: Mơ hình thực thể liệu 65 Hình 3.12: Mơ hình trƣờng liệu bảng Hóa đơn 66 l m co Hình 3.13: Bảng mục hóa đơn 66 Hình 3.14: Indexer database proccess .67 an Lu Hình 3.15: Biểu đồ so sánh hiệu 68 va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si vii DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN Bảng 3.1: Danh sách tác nhân .57 Bảng 3.2: Danh sách ca sử dụng 59 Bảng 3.3 Mô tả biểu đồ hoạt động UC kí lên hóa đơn điện tử 62 Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu .64 Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánhchỉ mục primary cluster (khóa chính) 67 Bảng 3.6: Tốc độ xuất báo cáo 68 lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si viii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ Ý nghĩa Chi tiết lu CSDL Cơ sở liệu DBMS Database management system Hệ quản trị sở liệu DB Data base Cơ sở liệu UC Use case Ca sử dụng DC Data Communication Phần truyền thông liệu DD Data Dictionary Từ điển liệu Distributed Database Phần sở liệu phân tán an DDB n va DN Doanh nghiệp Hóa đơn điện tử CNTT Cơng nghệ thơng tin SSL Secure socket layer Giao thức mạng an toàn Public key infrastructure Hạ tầng khóa cơng khai p ie gh tn to HĐĐT d oa nl w PKI ll u nf va an lu oi m z at nh z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si MỞ ĐẦU Đặt vấn đề Ngày nay, xu công nghệ thông tin toàn cầu nhƣ phát triển mạng internet, thể giới đƣợc kết nối không khoảng cách Nhƣ tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng sở liệu khổng lồ, chứa hàng tỉ ghi để phục phụ nhu cầu đặc thù Các toán mang tầm vóc quốc gia hay hệ thống hoạt động thời gian dài có số ghi lên đến hàng triệu, hàng tỉ Khi hệ thống liệu bùng nổ, chế lƣu trữ quản lý liệu tập trung lu bộc lộ nhiều điểm yếu, nhƣ khả tìm kiếm, cập nhật liệu chậm, hệ thống an n va hay xuất lỗi tràn nhớ, lỗi tƣơng tranh câu truy vấn vận hành hệ vận hành liên tục khơng hiệu ie gh tn to thống Ngồi ra, quản lý liệu tập trung dễ gặp rủi ro sau cố khả Để khác phục điểm yếu chế liệu tập trung, chun gia p đƣa mơ hình liệu phân tán Theo đó, đặc thù hệ thống cần cân nhắc nl w đến khả phân tán, cách thức phân tán cƣờng độ phân tán liệu Trong d oa luận văn này, tập trung nghiên cứu kĩ thuật phân tán liệu, tính hiệu an lu kĩ thuật khả áp dụng tốn đặc thù thực tế Bài toán cụ thể va luận văn xây dựng hệ thống quản lý hóa đơn điện tử CHDCND Lào, phân u nf tích đặc thù hệ thống để đƣa kĩ thuật phân tán phù hợp, đánh giá mức độ hiệu ll kĩ thuật phân tán áp dụng m oi Do đó, “Một số kĩ thuật xử lý sở liệu phân tán ứng dụng” z at nh đƣợc chọn làm đề tài Đối tƣợng phạm vi nghiên cứu z gm @ - Đối tƣợng nghiên cứu:  Một số kĩ thuật xử lý sở liệu phân tán - Phạm vi nghiên cứu: va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu  Nguyên tắc hệ thống phân tán m co l  Ứng dụng quản lý hóa đơn đặc thù ngành điện ac th si  Kiến trúc mơ hình sở liệu phân tán  Các kĩ thuật xử lý sở liệu phân tán  Nghiệp vụ quản lý tiền điện, nghiệp vụ hóa đơn điện tử, nguyên tắc bảo mật trao đổi hóa đơn điện tử, mơ hình áp dụng kết thực nghiệm Hƣớng nghiên cứu đề tài - Xu liệu phân tán - Các nguyên tắc thiết kế bản, kiến trúc mơ hình liệu phân tán - Các kĩ thuật áp dụng việc xử lý sở liệu phân tán - Tổng qt hóa lớp tốn áp dụng, kiến trúc áp dụng sở lu an liệu phân tán n va - Đƣa đề xuất, thiết kế ứng dụng, phân tích ƣu nhƣợc điểm, so sánh Bố cục luận văn - Mở đầu - Chƣơng Tổng quan sở liệu sở liệu phân tán p ie gh tn to với hệ thống không áp dụng kiến trúc sở liệu phân tán nl w - Chƣơng Một số kĩ thuật xử lý sở liệu phân tán va an - Kết luận lu CHDC ND Lào d oa - Chƣơng Xây dựng hệ thống quản lý hóa đơn điện tử ngành điện cho u nf Phƣơng pháp nghiên cứu ll - Nghiên cứu lý thuyết: Tìm hiểu lý thuyết sở liệu phân tán m oi sách, báo, luân văn diễn đàn z at nh - Thực nghiệm: Nghiên cứu tốn hóa đơn điện tử, áp dụng kĩ thuật xử lí nghiên cứu lí thuyết vào bàn tốn cụ thể l gm @ - Ý nghĩa khoa học z Ý nghĩa khoa học đề tài phân tán m co  Tổng hợp, phân tích ƣu nhƣợc điểm kĩ thuật xử lý sở liệu an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 56 + Các services: Cung cấp services để xác thực hóa đơn cho quan thuế, giúp tự động xác thực hóa đơn với số lƣợng lớn + Hệ thống báo cáo: Xuất hóa đơn, xuất báo cáo tình hình tiêu thụ điện theo tháng, năm tỉnh nhƣ tồn quốc + Hệ thống kí số: Do số lƣợng hóa đơn đƣợc lƣu trữ vơ lớn, cần có hệ thống kí số có tốc độ cao Có thể dùng máy kí chuyên biệt phục vụ ứng dụng + Hệ thống quản lý: Quản lý nhóm tài khoản, phân quyền sử dụng, quản trị liệu khách hàng + Hệ thống nhập liệu: Hệ thống cho phép kết nối với hệ thống thu lu thập liệu công tơ, cho import liệu số cơng tơ nhanh chóng, thuận tiện, an b Cấu trúc liệu hóa đơn n va xác to gh tn - Với đặc thù hóa đơn phải đƣợc trao đổi hệ thống khác nhau, hệ ie thống đọc đƣợc thơng tin có cấu trúc hóa đơn Do đó, phải dùng p chuẩn định dạng mở để lƣu liệu nl w - XML định dạng mở phổ biến, đƣợc trao đổi qua môi d oa trƣờng mạng, đảm bảo hệ thống đọc đƣợc trƣờng thơng tin an lu - Một file hóa đơn gồm phần: u nf có hóa đơn va + Phần thơng tin liệu có cấu trúc, lƣu trữ tồn thơng tin ll + Phần chữ kí số đƣợc kí lên thơng tin hóa đơn với Private key m oi hệ thống quản lý hóa đơn tiền điện Chữ kí đảm bảo hóa đơn z at nh quan điện lực cung cấp đảm bảo tính an tồn thơng tin đƣợc lƣu trữ hóa đơn z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 57 lu an n va p ie gh tn to w Hình 3.4: Cấu trúc XML hóa đơn điện tử Tên tác nhân Vai trò d STT oa nl c Các tác nhân tham gia sử dụng hệ thống Ngƣời dân sử dụng dịch vụ công hệ thống lu Công dân Cán nhập liệu Quản trị hệ thống Quản lí báo cáo Cán quan điện lực, có vai trị Import u nf va an nhập liệu hóa đơn, khách ll oi m Có vai trị quản trị thông tin, quản trị ngƣời dùng, z at nh cấp quyền, thu hồi quyền ngƣời dùng Tổng hợp, xuất báo cáo tình hình sử dụng điện z hệ thống @ Hệ thống khác liệu, hệ thống kí số ….Giao tiếp với hệ thống qua services m co l gm Hệ thống quan thuế, hệ thống thu thập va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu Bảng 3.1: Danh sách tác nhân ac th si 58 Biểu đồ tác nhân lu an n va to Hình 3.5: Biểu đồ Actor Danh sách ca sử dụng p ie gh tn d Ca sử dụng (Use case) biểu đồ ca sử dụng STT Tên Use case Mô tả Đăng nhập Đăng nhập vào hệ thống Đăng xuất Thốt khỏi hệ thống, xóa secssion, cookies Xuất hóa đơn theo tháng Xác thực hóa đơn Download hóa đơn điện tử d oa nl w an lu Xuất hóa đơn theo tháng khách hàng theo va số công tơ ll u nf Xác thực hóa đơn điện tử hệ thống oi m kí với chữ kí điện lực z at nh Cho phép download hóa đơn điện tử sau Gửi hóa đơn điện tử cho Gửi hóa đơn cho khách hàng qua email sau kí số Services xác thực hóa đơn Services xác thực hóa đơn cho quan thuế Import liệu Nhập liệu số cơng Đối với nơi chƣa có hệ thống đọc số gm @ Import liệu số công tơ từ file từ hệ l thống đọc số công tơ khác m co an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN z khách hang ac th si 59 tơ công tơ tự động, hệ thống cho phép cán điện lực nhập liệu số công tơ tay Quản lý thông tin khách Cán quản trị nội dung quản lý thông tin 10 hang khách hàng, lu an n va 11 Sinh mã số khách hàng 12 Sinh số hóa đơn 13 Kí điện tử lên hóa đơn 14 Quản lý ngƣời dung 15 Phân quyền sử dụng Hệ thống tự động sinh mã số cho khách hàng thêm khách hàng vào hệ thống Sinh số hóa đơn điện tử Thực kí điện tử trƣớc xuất hóa đơn cho khách hàng Quản lý ngƣời dùng hệ thống Phân quyền sử dụng cho nhóm ngƣời dùng tn to hệ thống Tạo nhóm ngƣời dùng 16 Tạo nhóm ngƣời sử dụng hệ thống p ie gh 17 Xuất báo cáo tình hình sử dụng điện Xuất báo cáo nƣớc, tỉnh theo tháng, năm oa nl w Bảng 3.2: Danh sách ca sử dụng Biểu đồ Use case d ll u nf va an lu oi m z at nh z m co l gm @ va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu Hình 3.6: Biểu đồ Use Case ac th si 60 e Biểu đồ trình tự biểu đố hoạt động ca sử dụng UC Download hóa đơn điện tử - Actor: Khách hàng, cán điện lực - Điều kiện trƣớc: Ngƣời dùng trang xem danh sách hóa đơn Hóa đơn trạng thái đƣợc kí điện tử - Actor liên quan: Hệ thống - Biểu đồ trình tự lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử - Lớp xử lý giao diện gửi yêu cầu download hóa đơn điện tử z - Dựa vào yêu cầu này, hệ thống đánh mục tìm hóa đơn theo mã để xác gm @ định hóa đơn database - Trả liệu hóa đơn điện tử theo dạng XML m co l - Hệ thống tự động sinh truy vấn đến database có mã số hóa đơn an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 61 UC xác thực hóa đơn - Actor: Ngƣời dùng - Điều kiện trƣớc: Khơng có - Actor liên quan: Hệ thống - Biểu đồ trình tự: lu an n va p ie gh tn to d oa nl w lu va an Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn - Ngƣời dùng thực upload liệu hóa đơn điện tử lên hệ thống để thực ll u nf xác thực hóa đơn m oi - Bộ Paser hệ thống thực tách phần data phần chữ kí gửi vào z at nh hệ thống xác thực - Hệ thống xác thực đƣợc cung cấp khóa cơng khai hệ thống thực z việc kí lên hóa đơn Sau thực xác thực trả thơng tin hóa đơn @ cấp hay không m co l gm có bị thay đổi nội dung hệ thống sinh quản lý hóa đơn điện tử cung an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 62 UC kí điện tử lên hóa đơn Kí điện tử lên hóa đơn Tên UC Để hóa đơn có ý nghĩa, hệ thống cần kí lên hóa đơn Sau hóa đơn có đầy đủ thơng tin, hệ thống chuyển thông tin đến máy kí số chuyên dụng Máy thực kí Mơ tả UC trả chữ kí số, hệ thống lưu khối liệu thành dạng XML lưu vào trường liệu phi cấu trúc bảng hóa đơn Actor kích hoạt Cán điện lực Actor liên quan HeThong lu an UC khởi động n va UC liên quan Cán chọn chức kí lên danh sách hóa đơn lập Hệ thống tổng hợp trường liệu thành mảng byte p Gửi mảng byte vào máy kí số chuyên dụng ie gh tn to Luồng kiện w Máy kí số sinh chữ kí trả cho hệ thống oa nl Hệ thống tổng hợp liệu vào file XML Lưu liệu XML vào trường liệu hóa đơn phi cấu trúc database d an lu A1 u nf va Luồng kiện thay Báo lỗi q trình kí khơng thành cơng ll oi m Bảng 3.3 Mô tả biểu đồ hoạt động UC kí lên hóa đơn điện tử z at nh z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 63 Biểu đồ hoạt động lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 64 UC import liệu Import liệu Tên UC Mô tả UC Import liệu từ file hệ thống đọc số công tơ thu thập Actor kích hoạt Cán điện lực Actor liên quan HeThong UC khởi động UC liên quan Luồng kiện Cán chọn chức import liệu upload file số công tơ lu an lên hệ thống n va Hệ thống thực đọc file, phân tích liệu Insert liệu vào database Đặt trạng thái hóa đơn chờ kí gh tn to p ie w Báo lỗi q trình import khơng thành công d A1 oa nl Luồng kiện thay an lu Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu u nf va 3.4 Thiết kế mô hình liệu - Dân số Cộng hịa dân chủ nhân dân Lào ƣớc tính có 6.7 triệu dân Nhƣ vậy, ll oi m lƣợng hóa đơn tiền điện tính theo tháng lên tới số khổng lồ vài z at nh năm sử dụng Do đó, cần phải phân tán liệu thành database nhỏ để thực lƣu trữ, cập nhật truy vấn liệu cách nhanh z - Mô hình đƣa tỉnh có liệu hóa đơn điện tử riêng cho tỉnh @ gm Do giảm đƣợc đáng kể số hóa đơn database Do thao tác l truy vấn để xuất báo cáo quan trọng thƣờng xẩy hệ thống, đó, m co cần có hệ thống database làm thao tác đọc Khi cần query liệu, an Lu query đến database đọc Dữ liệu tỉnh sau đƣợc import vào đƣợc đồng theo lô lên database đọc vào thấp điểm va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 65 - Khi câu truy vấn đến, với tham số vào mã hóa đơn, ta khơng biết mã hóa đơn năm database tỉnh Nhƣ ta xây dựng database mục Cần lựa chọn công nghệ phù hợp cho db này, thông thƣờng dùng lusen server làm db mục Từ biết cần query đến db tỉnh để đƣợc hóa đơn cần tìm Cơ sở liệu ngành Readonly database Indexer DB lu an Tự động đồng liệu n va gh tn to p ie Cơ sở liệu tỉnh w Hình 3.10: Mơ hình logic phân tán oa nl Mơ hình liên kết bảng hệ thống a Cho chức quản lý hệ thống phân quyền người sử dụng d ll u nf va an lu oi m z at nh z m co l gm @ va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu Hình 3.11: Mơ hình thực thể liệu ac th si 66 b Bảng hóa đơn lu an n va p ie gh tn to d oa nl w an lu Hình 3.12: Mơ hình trường liệu bảng Hóa đơn ll u nf va c Bảng mục hóa đơn oi m z at nh z Hình 3.13: Bảng mục hóa đơn l 3.5.1 Lựa chọn công nghệ gm @ 3.5 Xây dựng ứng dụng đánh giá hiệu m co - Do đặc thù phải đồng liệu cách liên tục, phải chọn phiên an Lu SQL server enterprise từ phiên 2008 trở lên Các db phải thiết lập chế va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 67 độ Replication, tự động đồng theo chiều từ db tỉnh lên sở liệu nghành - Dabase indexer: sử dụng Lucene 3.4.0 Đây db chuyên dùng để đánh mục, chịu đựng hàng tỉ record lu an va Hình 3.14: Indexer database proccess n - Kí số: Do số lƣợng hóa đơn vơ lớn, kí điện tử thuật toán tốn gh tn to tài nguyên, server không đủ tài nguyên để sử dụng nên phải dùng máy kí số p ie chuyên dụng - Services cho quan thuế: sử dụng chuẩn giao thức SOAP, có xác thực nl w tocken key kết nối an lu cache query d oa - Ngơn ngữ lập trình: Microsoft MVC 5, Entity framework 6.0, có chế va - Hệ thống báo cáo: Sử dụng rdlc report u nf 3.5.2.So sánh hiệu phân tích kết đầu ll a Hiệu tìm kiếm ghi đánh mục primary cluster (khóa chính) oi m Số lần test 100 1000 1000 1000 100.000 1000 1000.000 10.000.000 DB tập trung z at nh Số ghi DB phân tán z 0.02s 0.3s 0.06s 0.4s 1000 1.2s 0.7s 500 3s 0.8s m co l 0.4s gm @ 1s mục primary cluster (khóa chính) va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánh ac th si 68 b Tốc độ xuất báo báo thống kê theo khách hàng sử dụng điện Số ghi 100 1000 100.000 1000.000 10.000.000 Số lần test DB tập trung 1000 0.02s 1000 0.06s 1000 1s 1000 1.2s 500 3s Bảng 3.6: Tốc độ xuất báo cáo DB phân tán 0.3s 0.4s 0.4s 0.7s 0.8s c Phân tích kết đầu Qua việc đánh giá hiệu thấy rõ ràng với số lƣợng liệu, db tập trung tỏ tốc độ Nhƣng liệu tăng nhanh, DB tập trụng có thời gian lu an chạy query lũy tiến nhanh, nhƣng DB phân tán trì thời gian mức n va ổn định Lý số ghi, DB phân tán lại chạy chậm query, hệ tn to thống phải thực truy lục lần, lần vào DB indexer, lần vào db chứa liệu Trên thực tế, hệ thống quản lý hóa đơn có số lƣợng ghi lớn, gh p ie việc áp dụng DB phân tán ứng dụng tuyệt đối cần thiết nl w Biểu đồ so sánh hiệu oa 4 1.8 0.09 u nf 0.04 va an lu d ll oi m z at nh Hình 3.15: Biểu đồ so sánh hiệu Màu xanh: Có sử dụng phân tán m co Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n va 5- 10.000.000 records an Lu 4- 1000.000 records l 3- 100.000 records gm 2- 1000 records @ 1- 100 records z Màu đỏ: DB tập trung ac th si 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Triển khai hệ thống sở liệu phân tán lĩnh phức tạp, cần phải hiểu biết kiến trúc hệ thống kiến thực sâu rộng Database Với đặc thù hệ thống yêu cầu nghiệp vụ khác có cách thiết kế cụ thể khác nguyên tắc sở liệu phân tán nói chung, khơng thể áp dụng kiến trúc hệ thống vào đặc thù hệ thống khác đƣợc Luận văn đƣa nguyên tắc thiết kế hệ thống phân tán, kĩ thuật xử lý để áp dụng loại tốn khác Trọng tâm luận văn lu mơ hình phân tán liệu tốn quản lý hóa đơn điện tử an n va ngành điện Mơ hình thiết kế đảm bảo bám sát vào yêu cầu nghiệp vụ việc nhƣ đƣa báo cáo thống kê cách hiệu quả, nhanh chóng ie gh tn to xử lý hóa đơn, dịch vụ cơng mà ngành điện cần cung cấp cho xã hội Phần cuối luận văn so sánh phân tích đƣợc ƣu nhƣợc điểm p triển khai sở liệu tập trung hay phân tán Từ kết luận đó, có nl w thơng tin bổ ích định xây dựng hệ thống thực tế theo mơ hình phân d oa tán hay tập trung an lu Hƣớng phát triển va Ngày nay, mà nhu cầu đơn giản hóa việc quản lý hóa đơn ngày u nf tăng Hóa đơn điện tử thể đƣợc điểm mạnh tính tiện dụng nhƣ ll tiết kiệm dễ dàng quản lý Khơng với ngành điện, hệ thống cịn áp m oi dụng cách ngành nghề khác z at nh Việc ban hành hành lang pháp lý chữ kí điện tử tạo đà phát triển mạnh mẽ hóa đơn điện tử Trong tƣơng lai, cần mở rộng hệ thống nữa, xây z đơn phức tạp khó quản lý kinh tế m co l gm @ dựng thêm chức dịch vụ công để giải triệt để tốn hóa an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si 70 TÀI LIỆU THAM KHẢO * Tiếng Việt [1] Lê Huy Thập, Cơ sở lý thuyết song song, NXB THÔNG TIN VÀ TRUYỀN THÔNG, 8-2010 [2] Đoàn Văn Ban, Nguyễn Mậu Hân, Xử lý song song phân tán, NXB Khoa học Kỹ thuật, 2006 [3] Đỗ Xuân Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 [4] Lê Huy Thập, Bài giảng CSDL phân tán, ĐH Sƣ Phạm Hà Nội Học lu Viện CN Bƣu Chính Viễn Thơng an n va [5]Đỗ Xn Lơi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 [6] Robert Sedgewick, Cẩm nang thuật toán Vol.1 and vol.2 NXB Khoa học gh tn to * Tiếng Anh ie Kỹ thuật, 2001 p [7] M.Tamer Ozsu, Patrick Valduriez, Nguyên lý hệ liệu phân tá, Trần nl w Đức Quang biên dịch, NXB Thống kê, 1999 d oa [8] Seyed H Roo, “Parallel processing and Parallel Algorithms, Theory and ll u nf va an lu Coputation”, Springer 1999 oi m z at nh z m co l gm @ an Lu va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN ac th si