Xử lý dữ liệu và bài toán cấp phát

I ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG LẠI DƯƠNG QUANG XƯ LÝ DỮ LIỆU VÀ BÀI TOÁN CẤP PHÁT LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH Thái Ngun, tháng năm 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ II ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CNTT VÀ TRUYỀN THÔNG LẠI DƯƠNG QUANG XƯ LÝ DỮ LIỆU VÀ BÀI TOÁN CẤP PHÁT Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH GV hướng dẫn: PGS NCVC TS Lê Huy Thập Thái Nguyên, 2015 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi thực Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Thái Ngun, Ngày 10 tháng năm 2015 Tác giả Lại Dương Quang LỜI CẢM ƠN Trước hết em xin trân trọng gửi lời cảm ơn đến toàn thể thầy cô giáo Trường Đại học Công nghệ thông tin Truyền thông Thái Nguyên dạy dỗ chúng em suốt trình học tập chương trình cao học trường Đặc biệt em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo PGS NCVC TS Lê Huy Thập quan tâm, định hướng đưa lời góp ý, chỉnh sửa q báu cho em trình làm luận văn tốt nghiệp Thái Nguyên, Ngày 10 tháng năm 2015 Học viên Lại Dương Quang MỞ ĐẦU Ngày nay, công nghệ thông tin (CNTT) trở thành nhân tố thiếu lĩnh vực đời sống xã hội Sự bùng nổ nhu cầu xây dựng hệ thống thông tin, mà trước hết hệ thống thông tin quản lý thu hút quan tâm nhiều nhà khoa học Các hệ thống sở liệu (CSDL) xuất Các hệ thống CSDL truyền thống tập trung quản lý trạm đơn lẻ, việc tnh toán, xử lý lưu trữ tập liệu trở lên đơn giản dễ dàng Khi nhu cầu thu thập, lưu trữ, xử lý trao đổi thông tin ngày tăng, hệ thống xử lý tập trung bộc lộ nhiều nhược điểm như: Khó khăn việc tăng khả lưu trữ thông tin, độ sẵn sàng phục vụ CSDL không cao số người sử dụng tăng, khả tnh toán máy tnh đơn lẻ dần tới giới hạn vật lý, mơ hình tổ chức lưu trữ xử lý liệu không phù hợp cho tổ chức có hoạt động rộng lớn, đa quốc gia Những nhược điểm khắc phục nhiều hệ thống phân tán Những sản phẩm hệ thống phân tán xuất nhiều thị trường bước chứng minh tính ưu việt hẳn hệ thống tập trung truyền thống Với nhu cầu phát triển mạnh mẽ công tác quản lý hệ phân tán sở liệu phân tán để giải toán ”quản lý” phức tạp tồn ngành kinh tế, xã hội an ninh quốc phòng, Nhằm hỗ trợ cho vấn đề nêu việc tnh tốn, lập trình cấp phát xử lý liệu phát triển theo Đặc biệt, việc phân mảnh quan hệ CSDL chuyển chúng đến nút mạng việc cập nhật thông tin (truy cập truy xuất, ) đến mảnh vị trí phân tán trở thành chủ đề mẻ nhiều ngành khoa học, môn chuyên ngành nghiên cứu, ứng dụng Chính vậy, tơi lựa chọn đề tài: “Xử lý liệu toán cấp phát” để nghiên cứu thực Luận văn trình bày chương, có phần mở đầu, phần kết luận, phần mục lục, phần tài liệu tham khảo Các nội dung luận văn trình bày theo cấu trúc sau: CHƯƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ BÀI TOÁN CẤP PHÁT 1.1 Tổng quan CSDL phân tán 1.2 Bài toán cấp phát 1.3 Kết luận chương CHƯƠNG 2: XỬ LÝ DỮ LIỆU VÀ BÀI TỐN CẤP PHÁT 2.1 Thuật tốn phân mảnh sở liệu 2.1.1 Phân mảnh ngang 2.1.2 Phân mảnh dọc 2.1.3 Phân mảnh hỗn hợp 2.2 Tính tốn hàm mục tiêu ràng buộc node mạng 2.2.1 Hàm mục tiêu 2.2.2 Ràng buộc 2.3 Bài toán cấp phát dạng QHTT 2.4 Kết luận chương CHƯƠNG 3: CÀI ĐẶT VÀ ỨNG DỤNG TẠI CÔNG TY ĐẦU TƯ VÀ THƯƠNG MẠI AN LỘC 3.1 Khảo sát sở liệu công ty đầu tư thương mại An Lộc đưa yêu cầu toán 3.2 Xây dựng sở liệu phân tán 3.3 Cài đặt chạy chương trình cấp phát 3.4 Kết luận chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI VII DANH MỤC HÌNH ẢNH Hình 1.1: Hệ đa xử lý có nhớ chung Hình 1.2: Hệ đa xử lý có shared disk Hình 1.3: Hệ đa xử lý sở hữu cá nhân Hình 1.4: CSDL phân tán mạng Hình 1.5: Phân mảnh hỗn hợp tái thiết phân mảnh hỗn hợp 11 Hình 2.1: Phân mảnh hỗn hợp 37 Hình 2.2: Truyền liệu cho câu vấn tin 40 Hình 3.1: Giao diện ban đầu tốn 55 Hình 3.2: Giao diện sau tiến hành chọn số lượng máy trạm 56 Hình 3.3: Giao diện trình chọn số lượng mảnh sở liệu 57 Hình 3.4: Giao diện trình chọn mảnh sở liệu 58 Hình 3.5: Giao diện sau trình lựa chọn mảnh sở liệu 59 Hình 3.6: Giao diện lựa chọn tham số từ file txt có sẵn 60 Hình 3.7: Giao diện sau trình nhập tham số 61 Hình 3.8: Bảng kết trình cấp phát 62 DANH MỤC BẢNG BIỂU Bảng 2.1: Quan hệ DuAn 25 Bảng 2.2: Quan hệ TraLuong 26 Bảng 2.3: Mảnh liệu (quan hệ) TraLuong1 26 Bảng 2.4: Mảnh liệu (quan hệ) TraLuong2 27 Bảng 2.5: Phân hoạch ngang cho quan hệ DuAn: DuAnH1, DuAnH3, DuAnH4, DuAnH6 29 Bảng 3.1: Một số ghi quan hệ Giao_Dich tiến hành phân mảnh ngang 51 Bảng 3.2: Bảng liệu (quan hệ) mảnh F1 52 Bảng 3.3: Bảng liệu (quan hệ) mảnh F2 53 Bảng 3.4: Bảng liệu (quan hệ) mảnh F3 53 Bảng 3.5: Bảng liệu (quan hệ) mảnh F4 53 Bảng 3.6: Bảng liệu (quan hệ) mảnh F5 53 Bảng 3.7: Bảng liệu (quan hệ) mảnh F6 53 DANH MỤC CÁC THUẬT NGỮ VIẾT TẮT Thuật ngữ Tên viết tắt Cơ sở liệu phân tán Cơ sở liệu Dữ liệu CSDLPT CSDL DL Quy hoạch tuyến tính QHTT 54 2010102000879316 2007-01-04 17:04:14 42 102 169733 9704110000045821 2007-01-04 14:50:57 42 102 169656 1610870090876650 2007-01-04 16:10:31 42 102 169125 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 55 Bảng 3.3: Bảng liệu (quan hệ) mảnh F2 CARD_NO TRAN_DATE TRAN_TYPE ATM_NO AMOUNT BRCH_NO TRAN_SEQ 9704110000000001 2006-12-15 16:02:41 64 5000 102 168208 9704110000000001 2006-12-19 17:10:03 64 5000 102 168518 9704110000000001 2006-12-22 16:21:20 64 2000 102 169072 1610870090876695 2006-12-26 16:09:44 64 5000 102 169279 Bảng 3.4: Bảng liệu (quan hệ) mảnh F3 CARD_NO TRAN_DATE TRAN_TYPE ATM_NO AMOUNT BRCH_NO TRAN_SEQ 1610870090876695 2007-01-04 16:19:19 64 10000 102 5007 1610870090876695 2007-01-04 16:20:40 64 10000 102 5008 1610870090876695 2007-01-04 16:28:28 64 10000 102 5010 1610870090876695 2006-12-26 16:11:24 64 10000 102 169282 1610870090876695 2006-12-26 16:14:15 64 10000 102 169285 1610870090872295 2006-12-26 16:17:05 64 20000 102 169275 1610870090872285 2006-12-27 16:17:05 64 20000 102 169280 Bảng 3.5: Bảng liệu (quan hệ) mảnh F4 CARD_NO TRAN_DATE TRAN_TYPE ATM_NO AMOUNT BRCH_NO TRAN_SEQ 1610870090876695 2007-01-04 15:01:17 64 100000 102 169692 1610870090876695 2007-01-04 15:13:46 64 100000 102 4993 Bảng 3.6: Bảng liệu (quan hệ) mảnh F5 CARD_NO TRAN_DATE TRAN_TYPE ATM_NO AMOUNT BRCH_NO TRAN_SEQ 1610870090876695 2007-01-04 16:31:56 64 500000 102 169727 1610870090876695 2007-01-04 09:07:54 64 200000 102 169660 Bảng 3.7: Bảng liệu (quan hệ) mảnh F6 CARD_NO TRAN_DATE TRAN_TYPE ATM_NO AMOUNT BRCH_NO TRAN_SEQ 1610870090876695 2007-01-05 08:19:15 64 1000000 102 169772 1610870090876745 2007-01-05 13:51:12 64 1000000 102 169795 56 1610870090876695 2007-01-04 14:33:57 64 1000000 102 169679 1610870090876695 2007-01-04 16:06:39 64 1000000 102 169723 1610870090876695 2006-12-26 16:26:46 64 1000000 102 169295 1610870090876695 2006-12-26 16:29:14 64 2000000 102 169300 1610870090876695 2006-12-27 10:14:52 64 1000000 102 169309 1610870090876695 2006-12-27 10:39:02 64 2000000 102 169322 1610870090876695 2006-12-27 16:26:21 64 2000000 102 169385 1610870090876695 2006-12-29 08:11:13 64 1000000 102 169403 Các mảnh liệu thu tiến hành tnh tốn kích thước chuẩn bị cho trình cấp phát cho máy trạm thỏa mãn với yêu cầu toán cấp phát Ta có cơng thức tnh kích thước mảnh sở liệu: n size(F# )   size( Ai ) i 1 × recordcount(F# ) Trong đó: - Ai thuộc tnh ghi - size(Ai) độ rộng thuộc tnh - recordcount(F#) số lượng ghi mảnh F# Áp dụng công thức vào tnh tốn kích thước mảnh sở liệu F1 size(F1 )   size(Ai ) i 1 × recordcount (F1 ) = (size(CARD_NO) + size(TRAN_DATE) + size(TRAN_TYPE) + size(ATM_NO) + size(AMOUNT) + size(BRCH_NO)+ size(TRAN_SEQ)) × 10 = (16+19+2+1+5+3+6) × = 156 (byte) Tương tự ta có kích thước mảnh sở liệu F2, F3, F4, F5, F6: size(F2 )   size(Ai ) × recordcount (F2 ) i 1 =  size(Ai ) × = 208 (byte) i 1 size(F3 )   size(Ai ) i 1 × recordcount (F3 ) =  size(A i ) × = 364 (byte) i 1 size(F4 )   size(Ai ) × recordcount (F4 ) i 1 =  size(A i ) × = 104 (byte) i 1 size(F5 )   size(Ai ) i 1 × recordcount (F5 ) =  size(A i ) × = 104 (byte) i 1 size(F6 )   size(Ai ) × recordcount (F6 ) i 1 =  size(A i ) × 10 = 520 (byte) i 1 3.3 Cài đặt chạy chương trình cấp phát Chương trình thử nghiệm tiến hành cài đặt môi trường visual studio 2013 sở liệu lấy SQL 2008 Các giao diện chương trình thử nghiệm bao gồm: Giao diện ban đầu chương trình thể hình 3.1 Giao diện chương trình thể phần chính: - Số lượng máy trạm hệ thống phân tán - Phần nhập mảnh sở liệu phân tán - Các ma trận tham số A, B, C toán - Kết tnh toán hiển thị phần cuối giao diện Hình 3.1: Giao diện ban đầu toán Sau tiến hành chọn số lượng máy trạm giao diện chương trình thể hình 3.2: Hình 3.2: Giao diện sau tiến hành chọn số lượng máy trạm Sau tiến hành chọn số lượng máy trạm ta cần tiến hành chọn số lượng mảnh sở liệu tnh toán phần 3.1 Giao diện thể mơ tả hình 3.3: Hình 3.3: Giao diện trình chọn số lượng mảnh sở liệu Sau chọn số lượng mảnh CSDL, giao diện hiển thị ô trống để ta chọn mảnh CSDL cấp phát đến trạm Khi nhấn vào ô này, phần mềm hiển thị giao diện chọn mảnh CSDL lưu SQL Khi chọn lựa sở liệu sở liệu thị thêm kích thước mảnh sau sở liệu Giao diện thể hình 3.4: Hình 3.4: Giao diện trình chọn mảnh sở liệu Sau chọn mảnh CSDL ta có giao diện hình 3.5: Hình 3.5: Giao diện sau trình lựa chọn mảnh sở liệu Sau trình lựa chọn mảnh, ta tiến hành nhập tham số toán giao diện thể hình 3.6: Hình 3.6: Giao diện lựa chọn tham số từ file txt có sẵn Sau q trình nhập giá trị tham số giao diện thể hình 3.7 sau: Hình 3.7: Giao diện sau trình nhập tham số Như hình khả lưu trữ chi phí trạm là: - Trạm có khả lưu trữ 10mb chi phí truyền tin 1s/1mb liệu - Trạm có khả lưu trữ 9mb chi phí truyền tin 2s/1mb liệu - Trạm có khả lưu trữ 14mb chi phí truyền tin 4s/1mb liệu - Trạm có khả lưu trữ 15mb chi phí truyền tin 3s/1mb liệu - Trạm có khả lưu trữ 17mb chi phí truyền tin 5s/1mb liệu Cuối cùng, sau chọn vào buton “thực cấp phát” ta thu kết hình 3.8: Hình 3.8: Bảng kết trình cấp phát Với máy trạm mảnh CSDL khác là: DB1(4 MB), DB2(4 MB), DB3(5 MB), DB4(3 MB), DB5(3MB), DB6(3MB) với tham số ràng buộc B chi phí C kết tốn cấp phát là: Trạm lưu trữ mảnh liệu DB1, DB4, DB5; Trạm lưu trữ mảnh liệu DB2, DB3; Trạm lưu trữ mảnh liệu DB6; Trạm không lưu trữ mảnh liệu 3.4 Kết luận chương Chương trình bày q trình thực nghiệm ứng dụng tốn cấp phát vào xây dựng hệ thống phân tán cơng ty An Lộc Từ q trình khảo sát thực tế công ty An Lộc tiến hành phân tch đưa phương án giải Từ đó, ứng dụng lý thuyết toán cấp phát quy hoạch tuyến tnh đưa giải giải pháp phân tán sở liệu hệ thống máy chủ máy trạm Chương trình bày số vấn đề sau: - Khảo sát đưa tốn thực tế cơng ty An Lộc - Xây dựng sở liệu cho trình thử nghiệm chương trình từ tập liệu sở cơng ty An Lộc - Cài đặt thử nghiệm chương trình môi trường visual studio 2013 tiến hành thử nghiệm hệ thống KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Với kiến thức lĩnh vực sở liệu phân tán với mạng máy tính nhiều hạn chế, luận văn tìm hiểu số vấn đề đặt từ hệ thống phân tán mạng máy tnh Tuy nhiên, luận văn giải số vấn đề sau: - Chương 1: Luận văn trình bày kiến thức cơ sở liệu phân tán toán cấp phát - Chương 2: Luận văn tiến hành tìm hiểu nội dung liên quan đến trình xử lý liệu hệ thống cấp phát Tìm hiểu thuật tốn phân mảnh sở liệu, vấn đề toán cấp phát ràng buộc, hàm mục tiêu, phát biểu toán cấp phát dạng QHTT - Chương 3: Luận văn tiến hành cài đặt thực nghiệm chương trình ứng dụng thực tế cơng ty An Lộc Chương trình bày bước từ trình khảo sát đến xây dựng sở liệu thử nghiệm cuối giao diện kết sau trình thử nghiệm Hướng phát triển đề tài Do hạn chế thời gian nghiên cứu kiến thức thu thập được, luận văn chưa giải nhiều số toán sở liệu phân tán dạng phi tuyến áp dụng triệt hệ thống lớn Mục tiêu hướng tới đề tài bao gồm: - Tiến hành thử nghiệm hệ thống với sở liệu lớn hệ thống máy chủ lớn - Tiến hành cài đặt thêm chức phân mảnh cập nhật chi phí tự động cho hệ thống TÀI LIỆU THAM KHẢO [1] Đoàn Văn Ban, Nguyễn Mậu Hân (2006), Xử lý song song phân tán, NXB Khoa học kỹ thuật [2] Đỗ Xuân Lôi (1996), Cấu trúc liệu giải thuật, NXB Khoa học Kỹ thuật [3] Lê Huy Thập (2010), Cơ sở lý thuyết song song, NXB Thông tin truyền thông [4] Lê Huy Thập (2008), Giáo trình Kỹ thuất lập trình, Tập 1, NXB Khoa học tự nhiên công nghệ [5] Lê Tiến Vương (2000), Nhập môn CSDL quan hệ, NXB Thống Kê [6] Barry Wlkingson, Michael Allen (1999), Parallel Programming, Technique and Applications Using Netwworked Workstations and Parallel Computers, Prentice Hall New Jersey [7] Japan Information Processing Development Corporation, Central Academy of Information Technology (1978), Internal Design And Programming [8] Kenneth H.Rosen, Toán rời rạc ứng dụng tin học, NXB Khoa học Kỹ thuật [9] Seyed H Roo (1999), Parallel processing and Parallel Algorithms, Theory and Coputation [10] Robert Sedgewick (2001), Cẩm nang thuật toán Vol.1 and vol.2, NXB Khoa học Kỹ thuật [11] M.Tamer Ozsu, Patrick Valduriez (1999), Nguyên lý hệ liệu phân tán, Trần Đức Quang biên dịch, NXB Thống kê [12] Htp://vi.wikipedia.org/wiki/Mạng_máy_tính [13] Cơ sở liệu phân tán - biên soạn PHẠM THẾ QUẾ - Học viện bưu viễn thơng [14] Cơ sở liệu phân tán ebook - nhịp sống công nghệ ... CƠ SỞ DỮ LIỆU PHÂN TÁN VÀ BÀI TOÁN CẤP PHÁT 1.1 Tổng quan CSDL phân tán 1.2 Bài toán cấp phát 1.3 Kết luận chương CHƯƠNG 2: XỬ LÝ DỮ LIỆU VÀ BÀI TỐN CẤP PHÁT 2.1 Thuật tốn phân mảnh sở liệu 2.1.1... CƠ SỞ DỮ LIỆU VÀ BÀI TOÁN CẤP PHÁT 1.1 Tổng quan CSDL phân tán 1.1.1 Xử lý phân tán 1.1.2 Hệ sở liệu phân tán hệ quản trị sở liệu phân tán .4 1.1.3 Một số yêu cầu hệ sở liệu. .. .21 1.3 Kết luận chương 22 CHƯƠNG 2: XỬ LÝ DỮ LIỆU VÀ BÀI TOÁN CẤP PHÁT 22 2.1 Thuật toán phân mảnh sở liệu .22 2.1.1 Thuật toán phân mảnh ngang nguyên thủy 22 11 2.1.2