Nghiên cứu các đặc tính của phân mảnh dọc trong cơ sở dữ liệu phân tán và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ XUÂN OANH NGHIÊN CỨU CÁC ĐẶC TÍNH CỦA PHÂN MẢNH DỌC TRONG CSDL PHÂN TÁN VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, NĂM 2020 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG VŨ XUÂN OANH NGHIÊN CỨU CÁC ĐẶC TÍNH CỦA PHÂN MẢNH DỌC TRONG CSDL PHÂN TÁN VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 84 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẤN KHOA HỌC TS LÊ VĂN PHÙNG THÁI NGUYÊN, NĂM 2020 i LỜI CAM ĐOAN Tơi xin cam đoan tồn nội dung luận văn tự sưu tầm, tra cứu thông tin mạng Internet, số sách tham khảo để xếp, hoàn thiện cho phù hợp với nội dung yêu cầu đề tài Đến nay, nội dung luận văn chưa công bố hay xuất hình thức Nếu sai tơi xin chịu hồn tồn trách nhiệm Ngày tháng 11 năm 2020 Tác giả Vũ Xuân Oanh ii LỜI CẢM ƠN Trong suốt trình học tập thực đề tài, em nhận giúp đỡ tận tình bảo ân cần Thày cô viện Công nghệ thông tin – Viện khoa học công nghệ Việt nam, Thày cô trường đại học Công nghệ Thông tin Truyền thông, bạn bè đồng nghiệp Đặc biệt giúp đỡ TS Lê Văn Phùng, người thầy trực tiếp hướng dẫn, đưa ý tưởng, định hướng, chỉnh sửa kiến thức chun mơn tận tình giúp đỡ em suốt trình nghiên cứu thực luận văn Qua cho phép em bày tỏ lời cảm ơn tới tất thầy cô giáo Viện Công nghệ thông tin Trường Đại học Công nghệ Thông tin Truyền thông, giảng dạy tạo điều kiện thuận lợi giúp đỡ chúng em trình học tập, nghiên cứu Cuối cùng, tơi xin cảm ơn đến gia đình, bạn bè đồng nghiệp chia sẻ động viên giúp đỡ chuyên môn mặt sống, nguồn động viên khích lệ giúp tơi có nghị lực để hồn thành khố học Học viên Vũ Xn Oanh iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC BẢNG VÀ CÁC HÌNH v TRONG LUẬN VĂN v LỜI MỞ ĐẦU Chương TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ PHÂN MẢNH 1.1 Những nét chung sở liệu phân tán 1.2 Vấn đề phân mảnh sở liệu phân tán 1.2.1 Lý phân mảnh 1.2.2 Giải pháp phân mảnh 1.2.3 Mức độ phân mảnh 1.2.4 Các quy tắc phân mảnh 10 1.2.5 Các chiến lược phân mảnh 11 Chương CÁC ĐẶC TÍNH CỦA PHÂN MẢNH DỌC 13 2.1 Định hướng heuristic để phân mảnh dọc 13 2.2 Đặc tính có nối khơng thơng tin 14 2.2.1 Khái niệm có nối khơng thơng tin 14 2.2.2 Thuật toán kiểm tra tính nối khơng thơng tin 15 2.2.3 Thuật tốn phân mảnh dọc có nối khơng thơng tin 18 2.3 Đặc tính bảo tồn phụ thuộc 20 2.3.1.Định nghĩa phân mảnh dọc bảo toàn phụ thuộc 20 2.3.4 Thuật toán kiểm tra phân mảnh dọc có nối khơng thơng tin bảo toàn phụ thuộc 23 2.4 Phân mảnh dọc thành BCNF, bảo tồn phụ thuộc, nối khơng thơng tin 26 2.4.1 Một số mệnh đề bổ trợ 27 iv 2.4.2 Thuật toán phân mảnh lược đồ quan hệ thành BCNF, có nối khơng thơng tin 27 2.4.3 Thuật tốn phân mảnh thành BCNF, có bảo tồn phụ thuộc 32 2.4.4 Thuật tốn phân mảnh dọc thành BCNF, có nối khơng thơng tin bảo toàn phụ thuộc 33 Chương ỨNG DỤNG THIẾT KẾ CSDL VỀ THÔNG TIN CÁC CUNG ĐƯỜNG BỘ TRÊN ĐỊA BÀN LẠNG SƠN 36 3.1 Bài tốn quản lý thơng tin cung đường địa bàn TP Lạng Sơn 36 3.1.1 Giới thiệu Thành phố Lạng Sơn 36 3.1.2 Hiện trạng quản lý thông tin cung đường địa bàn TP Lạng Sơn 37 3.2 Thuật toán sử dụng xác định liệu đầu vào 38 3.2.1 Thuật toán sử dụng 38 3.2.2 Dữ liệu đầu vào 38 3.3 Môi trường thử nghiệm 40 3.4 Nội dung kết thử nghiệm 41 3.4.1 Nội dung thiết kế sở liệu cung đường TP Lạng Sơn 41 3.4.2 Phương án đề xuất phân mảnh liệu (nếu có yêu cầu xây dựng CSDL phân tán) 46 3.4.3 Một số giao diện 51 3.4.4 Hướng dẫn sử dụng chương trình thử nghiệm 53 3.5 Đánh giá chương trình thử nghiệm 58 PHẦN KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 63 v DANH MỤC CÁC BẢNG VÀ CÁC HÌNH TRONG LUẬN VĂN Bảng 3.1.Bảng so sánh nội dung bước quy trình thiết kế CSDL mức logic 59 Hình 1.1 Minh họa DDBS Hình 1.2 CSDL tập trung, khơng phải DDBS Hình 2.1 Một bảng gồm hai hàng tổng quát 17 Hình 3.1 Mơ hình Thực thể- Mối quan hệ (Mơ hình E_R): 45 Hình 3.2 Sơ đồ định vị mảnh vị trí 48 Hình 3.3 Các mảnh hình ảnh vật lý quan hệ tổng thể 49 Hình 3.4 Mơ hình mạng hệ thống quản lí cung đường 50 Hình 3.5 Giao diện trang chủ 51 Hình 3.6.Giao diện nhập liệu 51 Hình 3.7 Giao diện tìm khóa 52 Hình 3.8 Giao diện phân mảnh thành hệ lược đồ đạt 3NF 52 Hình 3.9 Các bước thiết kế CSDL mức logic mô hình CSDL tập trung 59 LỜI MỞ ĐẦU Cơ sở liệu (CSDL) phân tán lĩnh vực nghiên cứu từ lâu, gần phát triển nhanh chóng công nghệ truyền tin mạng interrnet, với xu tồn cầu hố lĩnh vực, đặc biệt lĩnh vực phân tán liệu thiết kế, CSDL phân tán trở thành lĩnh vực thu hút nhiều quan tâm nhà nghiên cứu lĩnh vực CNTT Khái niệm phân tán (hoặc phân mảnh) hiểu phân tán thông tin thơng tin chứa máy tính vị trí khác hệ thống máy tính có liên hệ với gọi mạng máy tính Việc phân mảnh làm tăng mức độ hoạt động đồng thời (song song) làm tăng lưu lượng hoạt động hệ thống Việc phân mảnh tiến thành theo cách ngang dọc Trong việc chia dọc quan hệ thành quan hệ chứa tập thuộc tính quan hệ gốc gọi phân mảnh dọc Việc phân mảnh dọc có nhiều đặc trưng (đặc tính) quan trọng tập trung nghiên cứu nước mặt lý luận ứng dụng thực tiễn Đặc biệt lĩnh vực thiết kế, cho phép vấn tin ảnh hưởng đến quan hệ nhỏ hơn, giảm bớt truy xuất tiết kiệm nhớ Phân mảnh dọc nghiên cứu ngữ cảnh hệ CSDL tập trung phân tán Tuy CSDL phân tán phát triển từ CSDL tập trung có ứng dụng gía trị để thiết kế CSDL tập trung Với mong muốn nắm vững tri thức phục vụ công tác nghiên cứu chuyên môn áp dụng vào đời sống kinh tế -xã hội với gợi ý Thầy hướng dẫn, lựa chọn đề tài "Nghiên cứu đặc tính phân mảnh dọc CSDL phân tán ứng dụng" để làm luận văn tốt nghiệp thạc sĩ Luận văn tập trung vào việc nghiên cứu đặc trưng phân mảnh dọc áp dụng để thiết kế CSDL quản lý thông tin cung đường tỉnh Lạng Sơn, nơi sống công tác Chương TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ PHÂN MẢNH 1.1 Những nét chung sở liệu phân tán Cơ sở liệu (CSDL) phân tán tập hợp liệu phục thuộc logic lẫn hệ thống lưu trữ trạm mạng máy tính CSDL phân tán làm tăng khả truy nhập tới CSDL lớn mạng Trong hệ thống máy tính quản lý CSDL thành phần gọi node site Hệ quản trị CSDL phân tán (DBMS) phần mềm quản trị CSDL, đảm bảo suốt người sử dụng cho phép tính tự trị nghĩa sở liệu thành phần quản trị độc lập riêng biệt [5] Định nghĩa nhấn mạnh khía cạnh quan trọng CSDL phân tán: 1- Tính phân tán: thực tế liệu khơng cư trú trạm, chúngta phân biệt CSDL phân tán với CSDL tập trung 2- Sự tương quan logic: Các liệu có số tính chất ràng buộc lẫn nhauvà phân biệt CSDL phân tán với tập CSDL địa phương với tệp trạm khác mạng - Các đặc trưng suốt CSDL phân tán thể chỗ: +Trong suốt phân tán: Cho phép xử lý liệu hệ CSDL phân tán giống CSDL tập trung Người sử dụng (NSD) không cần biết liệu phân mảnh nào, liệu để đâu, vị trí vật lý lưu trữ liệu đâu Trong suốt phân tán thể hiện: + Trong suốt địa điểm: NSD không cần biết lưu trữ vật lý liệu đâu, mà có quyền truy cập đến CSDL nút mạng Trong truy vấn cần tên liệu mà không cần vị trí Các thao tác để lấy cập nhật liệu từ xa tự động thực hệ thống địa điểm đưa yêu cầu Tính suốt vị trí hữu ích, cho phép người 50 Thiết kế hệ thống mạng cho hệ thống Để triển khai hệ thống phân tán cho hệ thống quản lý thông tin cung đường phải đầu tư hạ tầng mạng theo mơ hình phân tán ngang hàng Mỗi huyện (phường/xã) đặt Server hệ thống Server có quyền cập nhật thơng tin cung đường huyện báo cáo thống kê số liệu từ huyện khác Mơ hình hệ thống mạng mơ sau: Hình 3.4 Mơ hình mạng hệ thống quản lí cung đường 51 3.4.3 Một số giao diện 3.4.3.1.Giao diện trang chủ Hình 3.5 Giao diện trang chủ 3.4.3.2.Giao diện form thiết kế CSDL -Giao diện nhập liệu: Hình 3.6.Giao diện nhập liệu 52 - Giao diện form tìm khóa tối tiểu: Hình 3.7.Giao diện tìm khóa -Giao diện form thiết kế CSDL: Hình 3.8 Giao diện phân mảnh thành hệ lược đồ đạt 3NF 53 3.4.4 Hướng dẫn sử dụng chương trình thử nghiệm Giới thiệu: Chương trình phân rã sơ đồ quan hệ, mơ theo thuật tốn xác định khóa thuật toán phân rã, thành sơ đồ đạt BCNF, bảo tồn phụ thuộc, có nối khơng thơng tin Chương trình viết ngơn ngữ lập trình C#, sử dụng NET Framework 4.5 Chuẩn bị liệu Dữ liệu đầu vào file txt lưu sơ đồ quan hệ theo cấu trúc sau: Dòng ghi danh sách thuộc tính (tên thuộc tính viết liền), thuộc tính phân tách với dấu cách (khoảng trắng) Từ dòng thứ 2, dòng chứa phụ thuộc hàm gồm vế trái vế phải cách dấu phẩy (,); Các thuộc tính vế phân tách dấu cách Ví dụ phụ thuộc hàm AB=>CDE viết dòng theo thứ tự A B, C D E 54 Thực chương trình Việc thực chương trình tóm tắt theo trình tự sau: Sau hình xuất hiện, để sử dụng chức phần mềm, người sử dụng truy cập vào hai menu “Chương trình” “Trợ giúp Phần xử lý thuật tốn nằm menu “Chương trình => Phân rã W” Nhấn vào đây, giao diện mở cửa sổ làm việc đây: Các bước thực hiện: -Bước1: Nhấn nút “Tải lược đồ quan hệ” để chọn file chứa liệu lược đồ quan hệ Giao diện chọn file mở hình sau: 55 Chọn file chứa liệu sơ đồ quan hệ theo cấu trúc mô tả phần đầu tài liệu Nếu liệu khơng cấu trúc chương trình khơng thể làm việc Nếu file định dạng, chương trình đọc file hiển thị danh sách thuộc tính, danh sách phụ thuộc hàm vùng bên trái giao diện 56 -Bước 2: Nhấn nút “Tìm khóa”, chương trình thực thuật tốn tìm khóa tối thiểu để xác định khóa CSDL Nếu thực tìm khóa chưa tải liệu, chương trình hiển thị cảnh báo 57 -Bước 3: Sau tìm khóa, nhấn nút “Phân rã W” để thực phân rã sơ đồ quan hệ Trước tiên, phần mềm thực chuẩn hóa lược đồ quan hệ dạng chuẩn 3NF sau thực tiếp thuật toán phân rã lược đồ tổng thể W thành lược đồ đạt BCNF Kết hiển thị phần “Kết quả” Nếu nhấn “Phân rã W” trước tìm khóa chương trình đưa thông báo lỗi sau: Một số giao diện khác bao gồm: - Giới thiệu tác giả nhấn vào menu “Trợ giúp => Tác giả” 58 - Hướng dẫn sử dụng nhấn vào menu “Trợ giúp => Hướng dẫn” (u cầu máy tính có cài trình mở file pdf để xem nội dung file hướng dẫn sử dụng 3.5 Đánh giá chương trình thử nghiệm 1-Đánh giá Kết đạt được: Kết đạt luận văn thu hệ lược đồ quan hệ đủ tốt, chuẩn hoá đến BCNF (đương nhiên đạt 3NF)và mơ hình Thực thể- mối quan hệ (Mơ hình E_R) Đây cách xây dựng CSDL tập trung không theo phương pháp truyền thống mà thể khả ứng dụng lý thuyết CSDL phân tán Ưu điểm ứng dụngnày so sánh đánh giá chi tiết phần sau 59 2-Đánh giá quy trình thực so với quy trình thiết kế CSDL tập trung: Trong mơ hình CSDL tập trung, để đảm bảo trình thiết kế dẫn đến CSDL tốt người ta thường thực đầy đủ bước theo trình tự cơng nghệ trình bày đây: Bước 1: Chính xác hố liệu thiết lập danh sách thuộc tính cần quản lý Bước 2: Xác định thực thể, danh sách thuộc tính Bước 3: Xác định mối quan hệ, danh sách thuộc tính (nếu có) Bước 4: Xây dựng Mơ hình khái niệm liệu Bước 5: Chuyển Mơ hình khái niệm liệu sang Mơ hình quan hệ (Hệ lược đồ quan hệ) Bước 6: Chuẩn hoá quan hệ đến 3NF hợp nhấtchúng cần Bước 7: Xây dựng Mơ hình liệu mức logic - Sơ đồ E_R Hình 3.9.Các bước thiết kế CSDL mức logic mơ hình CSDL tập trung Bảng 3.1.Bảng so sánh nội dung bước quy trình thiết kế CSDL mức logic Quy trình thiết kế CSDL mức logic A-trong mơ hình CSDL phân tán B-trong mơ hình CSDL tập trung Thu thập liệu hồ sơ, Thu thập liệu hồ sơ, đầu vào chứa tất liệu cần thiết để đầu vào chứa tất liệu cần thiết để xây dựng CSDL xây dựng CSDL Mỗi hồ sơ gốc xem thực thể.Liệt kê thực thể tất thơng tin đặc trưng xem thuộc tính thực thể 60 Chính xác hố thơng tin Chính xác hố thơng tin thuộc tính thực thể, cho hai thơng tin có tên gọi tồn từ điển phải nghĩa Nếu chúng có nghĩa khác tên gọi phải khác Mã hố thơng tin thu để Chọn lọc mã hố thơng tin thu tự động hóa theo ngun tắc định Xác định danh sách thuộc tính mối Xác định thuộc tính lặp quan hệ phụ thuộc hàm chúng (các thực thể nhận (thuộc tính thành phần sơ đồ quan hệ ) Xác định khóa sơ đồ quan hệ bảng) Xác định thuộc tính định danh thực thể (hồ sơ gốc) (đánh dấu gạch thuộc tính) Phân mảnh dọc sơ đồ quan hệ theo quy tắc xác định Tiến hành chuẩn hoá thực thể mã hoá để thu quan hệ đạt chuẩn 3NF Tiến hành tích hợp quan hệ chuẩn hóa, xác định khố chính, khố ngoại chúng Kết thu hệ lược đồ quan hệ Kết thu hệ lược đồ quan hệ chuẩn hoá đến BCNF (đương chuẩn hoá đến 3NF cho hệ nhiên đạt 3NF) lược đồ quan hệ tạo thành hệ Sperner (K hệ Sperner với A,B  K  không tồn A  B B  A) Vẽ sơ đồ E_R Vẽ sơ đồ E_R Kịch (dành cho CSDL tập trung): Thiết kế CSDL vật lý tập trung cài Thiết kế CSDL vật lý tập trung cài đặt máy Kịch (dành cho CSDL phân tán): đặt máy 61 -Đề xuất phương án phân mảnh liệu -Thiết kế định vị -Thiết kế sơ đồ ánh xạ địa phương -Thiết kế hệ thống mạng cho hệ thống Nhận xét: phương án A có nhiều ưu điểm so với phương án B: - Giao diện đơn giản, gọn nhẹ - Nhất cử lưỡng tiện (cho thiết kế CSDL tập trung lẫn CSDL phân tán) 3-Những khiếm khuyết: Chương trình đáp ứng yêu cầu đặt chức đơn giản, giao diện chưa thật đẹp mắt, liệu đầu vào đòi hỏi phải tuân theo định dạng định Do khả hạn hẹp thời gian ngắn nên CSDL dạng phân tán thiết kế chưa triển khai lập trình 4-Hướng phát triển: Trong thời gian tới, chương trình cần hoàn thiện để đáp ứng yêu cầu cao mặt thiết kế tiện lợi cho việc huấn luyện sử dụng sử dụng 62 PHẦN KẾT LUẬN Về mặt sở lý luận, luận văn tập trung vào việc nghiên cứu đặc trưng việc phân mảnh dọc CSDL phân tán đạt kết sau đây: - Tổng quan nét chung CSDL phân tán, ưu trội hạn chế Những vấn đề phân mảnh CSDL phân tán tổng hợp đầy đủ, rõ ràng, súc tích - Nghiên cứu sâu chi tiết đặc tính phân mảnh dọc tính có nối khơng thơng tin, tính bảo tồn phụ thuộc, tính bảo tồn chuẩn Trong đặc tính nghiên cứu, luận văn có trình bày rõ định nghĩa, thuật tốn kiểm tra, thuật toán thực Về mặt ứng dụng, luận văn thực có kết việc thiết kế CSDL thông tin cung đường địa bàn Lạng Sơn sở khảo sát kỹ, đầy đủ thông tin trạng cung đường địa bàn, trình bày rõ thuật tốn áp dụng xác định liệu đầu vào, môi trường thử nghiệm Các kết thử nghiệm trình bày theo quy trình thiết kế, xác định rõ sơ đồ quan hệ tổng thể, phương án đề xuất phân mảnh, trình bày đầy đủ giao diện bao gồm giao diện trang chủ, giao diện form thiết kế CSDL, hướng dẫn sử dụng chương trình Chương trình thiết kế cho CSDL tập trung phân tán, đánh giá theo yêu cầu đặc tả thu kết chấp nhận Phần chương trình cịn chưa đáp ứng đầy đủ yêu cầu lớn phức tạp thực tế, đáp ứng yêu cầu cho toán đặt Điều thể cố gắng lớn tác giả sở tốt cho việc phát triển hoàn thiện hệ thống quản lý cung đường cho tỉnh Lạng Sơn thời gian tới 63 TÀI LIỆU THAM KHẢO A-TIẾNG VIỆT [1] Nguyễn Thị Lan Anh (2017), Thiết kế sở liệu phân tán để tổ chức khai thác thông tin giao thông, Luận văn Thạc sỹ CNTT, Trường Đại học CNTT&TT, Đại học Thái Nguyên [2] Mai Thúy Nga (2017), Xử lý tối ưu hóa truy vấn CSDL hướng đối tượng, Luận án tiến sĩ, Viện Hàn lâm Khoa học Công nghệ Việt Nam [3] Mai Thúy Nga, Đoàn Văn Ban, Nguyễn Mạnh Hùng (2015), Thuật toán phân mảnh dọc cấp phát CSDL hướng đối tượng phân tán, Tạp chí Khoa học Công nghệ 53 (3) 265-276,DOI: 10.15625/0866-708X/53/3/4359 [4] Lương Thái Ngọc, Nguyễn Thị Thùy Linh, Nguyễn Thị Ngọc Chi, Trương Thị Hoàng Oanh (2018), Đề xuất giải pháp cải tiến mơ hình thực thể quan hệ (ER) để biểu diễn CSDL quan hệ phân tán, Tạp chí Khoa học Trường ĐHSP TP HCM , ISSN: 1859-3100 Khoa học tự nhiên Công nghệ, Tập 15, Số 6: 191-200 [5] Lê Văn Phùng (2018), Cơ sở liệu quan hệ cơng nghệ phân tích thiết kế, Tái lần 1, NXB Thông tin Truyền thông [6] Nguyễn Khắc Thiện (2014), Nghiên cứu số thuật toán tối ưu truy vấn sở liệu phân tán, Luận văn Thạc sỹ khoa học máy tính, Đại học Huế [7] Vương Thu Trang (2015), Nghiên cứu truy vấn tối ưu sở liệu phân tán ứng dụng, Luận văn Thạc sỹ CNTT, Trường Đại học Mở Hà Nội [8] Nguyễn Bá Tường (2005),Nhập môn sở liệu phân tán, NXB Khoa học kỹ thuật 64 B-TIẾNG ANH [9].Jeffrey D Ullman (1998), Principles of Database and Knowledge base system, Trần Đức Quangbiên dịch, Nhà xuất Thống kê [10] M Tarmer Ozsu Patrick Valduriez (2011), Principles of Distributed Database system Third Edition Springer ... THÔNG TIN VÀ TRUYỀN THÔNG VŨ XUÂN OANH NGHIÊN CỨU CÁC ĐẶC TÍNH CỦA PHÂN MẢNH DỌC TRONG CSDL PHÂN TÁN VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 84 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH... 1.2.1 Lý phân mảnh Theo quan điểm phân tán liệu, không phân mảnh giá trị liệu Trong hệ thống tệp phân tán, việc phân tán thực sở toàn tập tin Đối với phân mảnh, vấn đề quan trọng đơn vị phân tán thích... Chương CÁC ĐẶC TÍNH CỦA PHÂN MẢNH DỌC 2.1 Định hướng heuristic để phân mảnh dọc Một phân mảnh dọc cho quan hệ r (có R thuộc tính) sinh mảnh r1,r2, rk, mảnh chứa tập thuộc tính R khóa r Mục đích phân