Luận văn thạc sĩ một số kỹ thuật xử lý trong cơ sở dữ liệu phân tán và ứng dụng

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG OUTSA PHOMPHIPHAK MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái ngun – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG OUTSA PHOMPHIPHAK MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 Ngƣời hƣớng dẫn khoa học: PGS.TS PHẠM VIỆT BÌNH Thái nguyên – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iii ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học PGS.TS PHẠM VIỆT BÌNH Học viên thực Outsa PHOMPHIPHAK Thái nguyên – 2015 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn iv MỤC LỤC DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN vi DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN vii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT viii MỞ ĐẦU CHƢƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1 Khái niệm sở liệu 1.2 Nguyên tắc hệ thống xử lý phân tán 1.2.1 Khái niệm xử lý phân tán 1.2.2 Hệ thống phân tán 1.3 Cơ sở liệu phân tán sở liệu tập trung 1.4 Kiến trúc Mơ hình sở liệu phân tán 1.4.1 Điểm mạnh sở liệu phân tán 1.4.2 Hệ quản trị sở liệu phân tán 10 1.4.3 Các mức sở liệu phân tán 13 1.5 Yêu cầu quản trị sở liệu phân tán 17 1.5.1 Quản lý bảng danh mục sở liệu phân tán 18 1.5.2 Nội dung bảng danh mục 18 1.5.3 Phân tán bảng danh mục 19 1.5.4 Quản trị bảo vệ 21 1.5.5 Áp đặt luật phân quyền 22 1.5.6 Phân lớp ngƣời sử dụng: 23 CHƢƠNG 2: MỘT SỐ KỸ THUẬT XỬ LÝ TRONGCƠ SỞ DỮ LIỆU PHÂN TÁN 25 2.1 Kỹ thuật phân mảnh ngang 25 2.1.1 Thuật toán phân mảnh ngang nguyên thủy 27 2.1.2 Thuật toán xác định tập vị từ đầy đủ cực tiểu 29 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn v 2.1.3 Phân mảnh ngang dẫn xuất 31 2.2 Kỹ thuật phân Mảnh dọc 33 2.2.1 Thuật tốn tụ nhóm 34 2.2.2 Thuật toán phân mảnh 38 2.3 Kỹ thuật phân mảnh hỗn hợp: 42 2.4 Kỹ thuật trộn 43 2.4.1 Thuật toán trộn tập trung 43 2.4.2 Thuật toán trộn phân tán 45 2.5 Đánh giá số kỹ thuật xử lý CSDL phân tán 46 2.5.1 Đánh giá kỹ thuật phân mảnh liệu: 46 2.5.2 Đánh giá kỹ thuật trộn 49 CHƢƠNG 3: XÂY DỰNG HỆ THỐNG QUẢN LÝ HÓA ĐƠN ĐIỆN TỬ NGÀNH ĐIỆN CHO CỘNG HÒA DÂN CHỦ NHÂN DÂN LÀO .50 3.1 Phát biểu toán 50 3.2 Các yếu tố tác động đến cần thiết xây dựng hệ thống .51 3.3 Phân tích nghiệp vụ yêu cầu hệ thống 52 3.3.1 Các yêu cầu phi chức 52 3.3.2 Phân tích yêu cầu chức hệ thống .55 3.4 Thiết kế mô hình liệu 64 3.5 Xây dựng ứng dụng đánh giá hiệu 66 3.5.1 Lựa chọn công nghệ 66 3.5.2 So sánh hiệu phân tích kết đầu 67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 69 TÀI LIỆU THAM KHẢO 70 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vi DANH MỤC CÁC HÌNH ẢNH TRONG LUẬN VĂN Hình 1.1: Mơ hình thành phần hệ quản trị sở liệu phát triển theo kiểu thƣơng mại (Truy cập từ xa trực tiếp) 11 Hình 1.2: Cách thức truy cập csdl ứng dụng 12 Hình 1.3 Cách thức truy cập gián tiếp chƣơng trình ứng dụng vào csdl 13 Hình 1.4: Sơ đồ mức sở liệu phân tán 14 Hình 2.1: Đồ thị kết nối 32 Hình 2.2 Định vị điểm tách 39 Hình 2.3: Phân đoạn hỗn hợp 42 Hình 2.4 Tính tái thiết đƣợc phân mảnh hỗi hợp 43 Hình 2.5: Danh sách nhân viên công ty 44 Hình 2.6 Kết trộn tập trung 44 Hình 2.7: Danh sách nhân viên cơng ty chi nhánh 45 Hình 2.8: Gộp nhóm theo phƣơng pháp trộn phân tán 46 Hình 3.1: Hóa đơn điện tử 50 Hình 3.2: Yêu cầu siêu liên kết 54 Hình 3.3: Sơ đồ thiết kế tổng thể 55 Hình 3.4: Cấu trúc XML hóa đơn điện tử 57 Hình 3.5: Biểu đồ Actor 58 Hình 3.6: Biểu đồ Use Case 59 Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử 60 Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn 61 Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn 63 Hình 3.10: Mơ hình logic phân tán 65 Hình 3.11: Mơ hình thực thể liệu 65 Hình 3.12: Mơ hình trƣờng liệu bảng Hóa đơn 66 Hình 3.13: Bảng mục hóa đơn 66 Hình 3.14: Indexer database proccess 67 Hình 3.15: Biểu đồ so sánh hiệu 68 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn vii DANH SÁCH CÁC BẢNG TRONG LUẬN VĂN Bảng 3.1: Danh sách tác nhân 57 Bảng 3.2: Danh sách ca sử dụng 59 Bảng 3.3 Mơ tả biểu đồ hoạt động UC kí lên hóa đơn điện tử 62 Bảng 3.4:Mô tả biểu đồ hoạt động UC Import liệu 64 Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánhchỉ mục primary cluster (khóa chính) 67 Bảng 3.6: Tốc độ xuất báo cáo 68 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn viii BẢNG DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ CSDL DBMS DB UC DC DD DDB DN HĐĐT CNTT SSL PKI Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn MỞ ĐẦU Đặt vấn đề Ngày nay, xu công nghệ thơng tin tồn cầu nhƣ phát triển mạng internet, thể giới đƣợc kết nối không khoảng cách Nhƣ tất yếu, phủ doanh nghiệp cần có hệ thống, ứng dụng sở liệu khổng lồ, chứa hàng tỉ ghi để phục phụ nhu cầu đặc thù Các tốn mang tầm vóc quốc gia hay hệ thống hoạt động thời gian dài có số ghi lên đến hàng triệu, hàng tỉ Khi hệ thống liệu bùng nổ, chế lƣu trữ quản lý liệu tập trung bộc lộ nhiều điểm yếu, nhƣ khả tìm kiếm, cập nhật liệu chậm, hệ thống hay xuất lỗi tràn nhớ, lỗi tƣơng tranh câu truy vấn vận hành hệ thống Ngoài ra, quản lý liệu tập trung dễ gặp rủi ro sau cố khả vận hành liên tục không hiệu Để khác phục điểm yếu chế liệu tập trung, chuyên gia đƣa mơ hình liệu phân tán Theo đó, đặc thù hệ thống cần cân nhắc đến khả phân tán, cách thức phân tán cƣờng độ phân tán liệu Trong luận văn này, tập trung nghiên cứu kĩ thuật phân tán liệu, tính hiệu kĩ thuật khả áp dụng toán đặc thù thực tế Bài toán cụ thể luận văn xây dựng hệ thống quản lý hóa đơn điện tử CHDCND Lào, phân tích đặc thù hệ thống để đƣa kĩ thuật phân tán phù hợp, đánh giá mức độ hiệu kĩ thuật phân tán áp dụng Do đó, “Một số kĩ thuật xử lý sở liệu phân tán ứng dụng” đƣợc chọn làm đề tài Đối tƣợng phạm vi nghiên cứu -   Đối tƣợng nghiên cứu: Một số kĩ thuật xử lý sở liệu phân tán Ứng dụng quản lý hóa đơn đặc thù ngành điện - Phạm vi nghiên cứu:  Nguyên tắc hệ thống phân tán Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn  Kiến trúc mơ hình sở liệu phân tán  Các kĩ thuật xử lý sở liệu phân tán  Nghiệp vụ quản lý tiền điện, nghiệp vụ hóa đơn điện tử, nguyên tắc bảo mật trao đổi hóa đơn điện tử, mơ hình áp dụng kết thực nghiệm Hƣớng nghiên cứu đề tài - Xu liệu phân tán - Các nguyên tắc thiết kế bản, kiến trúc mơ hình liệu phân tán - Các kĩ thuật áp dụng việc xử lý sở liệu phân tán Tổng qt hóa lớp tốn áp dụng, kiến trúc áp dụng sở liệu phân tán - Đƣa đề xuất, thiết kế ứng dụng, phân tích ƣu nhƣợc điểm, so sánh với hệ thống không áp dụng kiến trúc sở liệu phân tán Bố cục luận văn - Mở đầu - Chƣơng Tổng quan sở liệu sở liệu phân tán - Chƣơng Một số kĩ thuật xử lý sở liệu phân tán - Chƣơng Xây dựng hệ thống quản lý hóa đơn điện tử ngành điện cho CHDC ND Lào Kết luận Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết: Tìm hiểu lý thuyết sở liệu phân tán sách, báo, luân văn diễn đàn Thực nghiệm: Nghiên cứu tốn hóa đơn điện tử, áp dụng kĩ thuật xử lí nghiên cứu lí thuyết vào bàn toán cụ thể Ý nghĩa khoa học đề tài -  Ý nghĩa khoa học Tổng hợp, phân tích ƣu nhƣợc điểm kĩ thuật xử lý sở liệu phân tán 60 e Biểu đồ trình tự biểu đố hoạt động ca sử dụng UC Download hóa đơn điện tử - Actor: Khách hàng, cán điện lực Điều kiện trƣớc: Ngƣời dùng trang xem danh sách hóa đơn Hóa đơn trạng thái đƣợc kí điện tử - Actor liên quan: Hệ thống - Biểu đồ trình tự Hình 3.7: Biểu đồ trình tự ca sử dụng download hóa đơn điện tử - Lớp xử lý giao diện gửi yêu cầu download hóa đơn điện tử Dựa vào yêu cầu này, hệ thống đánh mục tìm hóa đơn theo mã để xác định hóa đơn database Hệ thống tự động sinh truy vấn đến database có mã số hóa đơn - Trả liệu hóa đơn điện tử theo dạng XML Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 61 UC xác thực hóa đơn - Actor: Ngƣời dùng - Điều kiện trƣớc: Khơng có - Actor liên quan: Hệ thống - Biểu đồ trình tự: Hình 3.8: Biểu đồ trình tự ca sử dụng xác thực hóa đơn - Ngƣời dùng thực upload liệu hóa đơn điện tử lên hệ thống để thực xác thực hóa đơn - Bộ Paser hệ thống thực tách phần data phần chữ kí gửi vào hệ thống xác thực - Hệ thống xác thực đƣợc cung cấp khóa cơng khai hệ thống thực việc kí lên hóa đơn Sau thực xác thực trả thơng tin hóa đơn có bị thay đổi nội dung hệ thống sinh quản lý hóa đơn điện tử cung cấp hay khơng Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 62 UC kí điện tử lên hóa đơn Tên UC Mơ tả UC Actor kích hoạt Actor liên quan UC khởi động UC liên quan Luồng kiện Cán Hệ thố Gửi m Máy kí Hệ thố Lưu Luồng kiện thay A1 Báo lỗ Bảng 3.3 Mơ tả biểu đồ hoạt động UC kí lên hóa đơn điện tử Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 63 Biểu đồ hoạt động Hình 3.9: Biểu đồ hoạt động ca sử dụng kí số hóa đơn Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn UC import liệu Tên UC Mô tả UC Actor kích hoạt Actor liên quan UC khởi động UC liên quan Luồng kiện Cán lên hệ th Hệ thốn Insert Đặt trạn Luồng kiện thay A1 Báo lỗi Bảng 3.4 3.4 Thiết kế mơ hình liệu - Dân số Cộng hòa dân chủ nhân dân Lào ƣớc tính có 6.7 triệu dân Nhƣ vậy, lƣợng hóa đơn tiền điện tính theo tháng lên tới số khổng lồ vài năm sử dụng Do đó, cần phải phân tán liệu thành database nhỏ để thực lƣu trữ, cập nhật truy vấn liệu cách nhanh tỉnh Mơ hình đƣa tỉnh có liệu hóa đơn điện tử riêng cho Do giảm đƣợc đáng kể số hóa đơn database Do thao tác truy vấn để xuất báo cáo quan trọng thƣờng xẩy hệ thống, đó, cần có hệ thống database làm thao tác đọc Khi cần query liệu, query đến database đọc Dữ liệu tỉnh sau đƣợc import vào đƣợc đồng theo lô lên database đọc vào thấp điểm Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 65 - Khi câu truy vấn đến, với tham số vào mã hóa đơn, ta khơng biết mã hóa đơn năm database tỉnh Nhƣ ta xây dựng database mục Cần lựa chọn công nghệ phù hợp cho db này, thông thƣờng dùng lusen server làm db mục Từ biết cần query đến db tỉnh để đƣợc hóa đơn cần tìm Cơ sở liệu ngành Readonly database Indexer DB Tự động đồng liệu Cơ sở liệu tỉnh Hình 3.10: Mơ hình logic phân tán Mơ hình liên kết bảng hệ thống a Cho chức quản lý hệ thống phân quyền người sử dụng Hình 3.11: Mơ hình thực thể liệu Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 66 b Bảng hóa đơn Hình 3.12: Mơ hình trường liệu bảng Hóa đơn c Bảng mục hóa đơn Hình 3.13: Bảng mục hóa đơn 3.5 Xây dựng ứng dụng đánh giá hiệu 3.5.1 Lựa chọn công nghệ - Do đặc thù phải đồng liệu cách liên tục, phải chọn phiên SQL server enterprise từ phiên 2008 trở lên Các db phải thiết lập chế Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 67 độ Replication, tự động đồng theo chiều từ db tỉnh lên sở liệu nghành Dabase indexer: sử dụng Lucene 3.4.0 Đây db chuyên dùng để đánh mục, chịu đựng hàng tỉ record Hình 3.14: Indexer database proccess Kí số: Do số lƣợng hóa đơn vơ lớn, kí điện tử thuật tốn tốn tài nguyên, server không đủ tài nguyên để sử dụng nên phải dùng máy kí số chuyên dụng - Services cho quan thuế: sử dụng chuẩn giao thức SOAP, có xác thực tocken key kết nối chế Ngơn ngữ lập trình: Microsoft MVC 5, Entity framework 6.0, có cache query - Hệ thống báo cáo: Sử dụng rdlc report 3.5.2.So sánh hiệu phân tích kết đầu a Hiệu tìm kiếm ghi đánh mục primary cluster (khóa chính) Số ghi 100 1000 100.000 1000.000 10.000.000 Bảng 3.5: Hiệu tìm kiếm ghi đƣợc đánh mục primary cluster (khóa chính) Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 68 b Tốc độ xuất báo báo thống kê theo khách hàng sử dụng điện Số ghi 100 1000 100.000 1000.000 10.000.000 Bảng 3.6: Tốc độ xuất báo cáo c Phân tích kết đầu Qua việc đánh giá hiệu thấy rõ ràng với số lƣợng liệu, db tập trung tỏ tốc độ Nhƣng liệu tăng nhanh, DB tập trụng có thời gian chạy query lũy tiến nhanh, nhƣng DB phân tán trì thời gian mức ổn định Lý số ghi, DB phân tán lại chạy chậm query, hệ thống phải thực truy lục lần, lần vào DB indexer, lần vào db chứa liệu Trên thực tế, hệ thống quản lý hóa đơn có số lƣợng ghi lớn, việc áp dụng DB phân tán ứng dụng tuyệt đối cần thiết Hình 3.15: Biểu đồ so sánh hiệu Màu xanh: Có sử dụng phân tán Màu đỏ: DB tập trung 1- 100 records 2- 1000 records 3- 100.000 records 4- 1000.000 records 5- 10.000.000 records Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 69 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết luận Triển khai hệ thống sở liệu phân tán lĩnh phức tạp, cần phải hiểu biết kiến trúc hệ thống kiến thực sâu rộng Database Với đặc thù hệ thống yêu cầu nghiệp vụ khác có cách thiết kế cụ thể khác nguyên tắc sở liệu phân tán nói chung, áp dụng kiến trúc hệ thống vào đặc thù hệ thống khác đƣợc Luận văn đƣa nguyên tắc thiết kế hệ thống phân tán, kĩ thuật xử lý để áp dụng loại toán khác Trọng tâm luận văn mơ hình phân tán liệu tốn quản lý hóa đơn điện tử ngành điện Mơ hình thiết kế đảm bảo bám sát vào yêu cầu nghiệp vụ việc xử lý hóa đơn, dịch vụ cơng mà ngành điện cần cung cấp cho xã hội nhƣ đƣa báo cáo thống kê cách hiệu quả, nhanh chóng Phần cuối luận văn so sánh phân tích đƣợc ƣu nhƣợc điểm triển khai sở liệu tập trung hay phân tán Từ kết luận đó, có thơng tin bổ ích định xây dựng hệ thống thực tế theo mơ hình phân tán hay tập trung Hƣớng phát triển Ngày nay, mà nhu cầu đơn giản hóa việc quản lý hóa đơn ngày tăng Hóa đơn điện tử thể đƣợc điểm mạnh tính tiện dụng nhƣ tiết kiệm dễ dàng quản lý Không với ngành điện, hệ thống cịn áp dụng cách ngành nghề khác Việc ban hành hành lang pháp lý chữ kí điện tử tạo đà phát triển mạnh mẽ hóa đơn điện tử Trong tƣơng lai, cần mở rộng hệ thống nữa, xây dựng thêm chức dịch vụ công để giải triệt để tốn hóa đơn phức tạp khó quản lý kinh tế Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn 70 TÀI LIỆU THAM KHẢO * [1] Tiếng Việt Lê Huy Thập, Cơ sở lý thuyết song song, NXB THÔNG TIN VÀ TRUYỀN THƠNG, 8-2010 [2] Đồn Văn Ban, Nguyễn Mậu Hân, Xử lý song song phân tán, NXB Khoa học Kỹ thuật, 2006 [3] thuật, Đỗ Xuân Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ 1996 [4] Lê Huy Thập, Bài giảng CSDL phân tán, ĐH Sƣ Phạm Hà Nội Học Viện CN Bƣu Chính Viễn Thơng [5]Đỗ Xn Lôi, Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật, 1996 * [6] Tiếng Anh Robert Sedgewick, Cẩm nang thuật toán Vol.1 and vol.2 NXB Khoa học Kỹ thuật, 2001 [7] M.Tamer Ozsu, Patrick Valduriez, Nguyên lý hệ liệu phân tá, Trần Đức Quang biên dịch, NXB Thống kê, 1999 [8] Seyed H Roo, “Parallel processing and Parallel Algorithms, Theory and Coputation”, Springer 1999 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ... NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG OUTSA PHOMPHIPHAK MỘT SỐ KỸ THUẬT XỬ LÝ TRONG CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60 48 01... QUAN VỀ CƠ SỞ DỮ LIỆUVÀ CƠ SỞ DỮ LIỆU PHÂN TÁN 1.1.Khái niệm sở liệu Cơ sở liệu (Database) tập hợp liệu đƣợc lƣu trữ cách có tổ chức để phục vụ cho công việc sử dụng thuận tiện Dữ liệu số liệu, ... thống phân tán 1.3 Cơ sở liệu phân tán sở liệu tập trung 1.4 Kiến trúc Mơ hình sở liệu phân tán 1.4.1 Điểm mạnh sở liệu phân tán 1.4.2 Hệ quản trị sở liệu phân tán