Luận văn thực hiện song song các câu vắn tin trong CSDL phân tán bằng cách sử dụng luồng

Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI • ••• NGUYỄN NGỌC THU THựC HIỆN SONG SONG CÁC CÂU VẤN TIN TRONG CSDL PHÂN TÁN BẰNG CÁCH SỬ DỤNG LUỒNG LUẬN VĂN THẠC Sĩ MÁY TÍNH ■ • Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI • ••• NGUYỄN NGỌC THU HÀ NỘI, 2014 THựC HIỆN SONG SONG CÁC CÂU VẤN TIN TRONG CSDL PHÂN TÁN BẰNG CÁCH SỬ DỤNG LUỒNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 • • LUÂN VĂN THAC SĨ MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Lê Huy Thập Tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo PGS.TS Lê Huy Thập, ng ời tận tình h ớng dẫn, giúp đỡ động viên suốt trình làm luận văn. Xin cám ơn tất thầy giáo, cô giáo Tr ờng Đại học s phạm Hà Nội tạo điều kiện để đ ợc học tập hoàn thành khóa học đ ợc thuận lợi. Xin chân thành cảm ơn thầy giáo, cô giáo trực tiếp giảng dạy mang đến cho niềm say mê nghiên cứu khoa học. HÀ NỘI, 2014 Tôi xin gửi lời biết ơn chân thành tói đồng nghiệp, bạn bè, gia đình tạo điều kiện, ủng hộ mặt để hoàn thành luận văn. Hà Nội, tháng 12 năm 2014 Tác giả luận văn Nguyễn Ngọc Thu Tôi xin cam đoan luận văn thân tự nghiên cứu thực theo hướng dẫn khoa học thày PGS. TS. Lê Huy Thập Tôi hoàn toàn chịu trách nhiệm tính pháp lý trình nghiên cứu khoa học luận văn này. Tác giả luận văn HÀ NỘI, 2014 Nguyễn Ngọc Thu Từ viêt tăt Giải thích CSDL Cơ sở liệu CPU Bộ xử lý trung tâm DDBS Hệ sở liệu phân tán Tên bảng Trang Bảng 2.2-1. Quan hệ EMP 50 Bảng 2.2-2. Mảnh hôn họp EMPHHI 50 HÀ NỘI, 2014 Bảng 2.2-4. Mảnh hôn họp EMPhh3 50 Bảng 2.2-3. Mảnh hôn họp EMPhh2 51 HÀ NỘI, 2014 Tên hình Hình 1.1-1. Ba tiên trình tuân tự Hình 1.1-2. Sự thực đông thời tiên trình hệ thống Trang uniprocessor (a) hệ thống multiprocessor (b). Hình 1.1-3. Mô hình nhiêu-một Hình 1.1-4. Mô hình một-một Hình 1.1-5. Mô hình luông nhiêu - nhiêu Hình 1.3 -1. Kêt trộn tập trung 16 Hình 1.3-2. Sô lượng sinh viên khoa địa điêm 17 Hình 1.3-3. Gộp nhóm theo phương pháp trộn phân tán 18 Hình 1.3-4. Gộp nhóm theo thuật toán ReF 19 Hình 2.1-1. Tiên trình luông song song 21 Hình 2.1-2. Câu trúc chương trình (tiên trình) lông 24 Hình 2.1-3. Hoạt động luông Pthread 27 Hình 2.2-la. Đô thị vân tin 33 Hình 2.2-lb. Đô thị nôi 2.2-la 34 Hình 2.2-2. Đô thị vân tin không liên thông 34 Hình 2.2-3. Ví dụ vê toán tử 38 Hình 2.2-4. Rút gọn cho phân mảnh ngang (với phép chọn) 40 Hình 2.2-5a. Vân tin gôc 42 HÀ NỘI, 2014 Hình 2.2-5b. Vân tin rút gọn 42 Hình 2.2-6a. Phép chiêu vô dụng 44 Hình 2.2-6b,c,d- Rút gọn cho phân mảnh dọc 44 Hình 2.2-7. Vân tin gôc ví dụ 2.2-13 47 Hình 2.2-8. Vân tin gôc giao hoán 47 Hình 2.2-9. Vân tin sau dùng vị tò mâu thuân 48 Hình 2.2-10. Cây vân tin sau giao hoán phép hợp phép nôi 48 Hình 2.2-11. Rút gọn cho phân mảnh dân xuât 49 Hình 2.2-12. Cây vân tin gôc 52 Hình 2.2-13. Cây vân tin loại EMPHHI 52 Hình 2.2-14. Cây vân tin phép chiêu xuông, phép nôi lên 53 Hình 2.2-15. Câu vân tin rút gọn 53 Hình 2.3-1. Phân hoạch theo chức 55 Hình 2.3-2. Mô hình liệu song song 56 Hình 3.1-1. Rút gọn cho phân mảnh ngang nguyên thủy theo giới tính 58 Hình 3.1-2. Rút gọn cho phân mảnh dọc theo họ tên sinh viên, ngày 58 sinh, điện thoại, email Hình 3.1-3. Rút gọn cho phân mảnh ngang dân xuât theo tên giới tính 59 Hình 3.1-4. Rút gọn gọn cho phân mảnh hôn hợp theo giới tính 59 Hình 3.2-1. Sơ đô kêt nôi quan hệ 60 HÀ NỘI, 2014 Hình 3.2-2. Màn hình chương trình 61 Hình 3.2-3. Rút gọn cho phân mảnh ngang 62 Hình 3.2-4. Kêt câu vân tin cho phân mảnh ngang 62 Hình 3.2-5 a,b,c. Rút gọn cho phân mảnh dọc 64 Hình 3.2-6. Kêt câu vân tin cho phân mảnh dọc 64 Hình 3.2-7. Vân tin gôc 66 Hình 3.2-8. Vân tin gôc giao hoán 66 Hình 3.2-9. Vân tin sau dùng vị từ mâu thuân 67 Hình 3.2-10. Cây vân tin sau giao hoán phép hợp phép nôi 67 Hình 3.2-11. Rút gọn cho phân mảnh dân xuât 68 Hình 3.2-12. Kêt câu vân tin cho phân mảnh ngang dân xuât 68 Hình 3.2-13. Cây vân tin gôc 69 Hình 3.2-14. Cây vân tin loại HSSVHHI 70 Hình 3.2-15. Cây vân tin phép chiêu xuông, phép nôi lên 70 Hình 3.2-16. Câu vân tin rút gọn 71 Hình 3.2-17. Kêt câu vân tin cho phân mảnh hôn họp 71 HÀ NỘI, 2014 MỞ ĐẦU 1. Lý chọn đề tài Nhằm giải vấn đề chậm trễ thường gặp hệ sở liệu phân tán, việc áp dụng kiến trúc phần cứng thích họp, người ta tiến hành phân mảnh liệu cho xử lý, tái cấu trúc mảnh cách hợp lý người ta dùng phương pháp truy vấn song song để giảm thời gian phản hồi kết câu truy vấn đó. Một chiến lược phân mảnh liệu tốt tăng mức độ thực song song đồng thời khai thác tốt hàm gộp nhóm từ mảnh. Chúng ta đề cập đến số kỹ thuật phân mảnh liệu theo chiều ngang phổ biến phân mảnh theo vòng tròn Robin, phân mảnh theo hàm băm, phân mảnh theo khoảng, phân mảnh theo chiều dọc, . Song song hóa câu vấn tin sở liệu phân tán cách cục hóa sử dụng luồng số thuật toán thực song song nhằm giải vấn đề chậm trễ thường gặp ừong hệ sở liệu phân tán. 2. Mục đích nghiền cứu Nghiên cứu loại luồng, phân mảnh tái cấu trúc, cục hóa sở liệu phân tán. Dùng ngôn lập trình để thể song song liên truy vấn toán tử nội toán tử. 3. Nhiệm vụ nghiền cứu - Nghiên cứu tiến trình loại luồng - Phân mảnh tái cấu trúc, cục hóa sở liệu phân tán. - Nghiên cứu cách thực song song câu vấn tin sở liệu phân tán sử dụng luồng. - Lập trình demo. 4. Đối tượng phạm vỉ nghiên cứu - Cơ sở liệu phân tán. - Cơ sở lý thuyết song song. - Ngôn ngữ lập trình 5. Phương pháp nghiên cứu - Thu thập tài liệu liên quan mục 4. - Tìm hiểu kỹ tài liệu này. 6. Giả thiết khoa học - Dùng giả mã thể số thuật toán cách tổng quát. 7. Cấu trúc luận văn Luận văn gồm: Lời mở đầu, ba chương nội dung, phần kết luận tài liệu tham khảo. Chương 1: Trình bày khái niệm tiến trình luồng, khái quát sở liệu phân tán, khái quát xử lí song song phân tán. Chương 2: Trình bày cấu trúc tiến trình luồng song song, số phương pháp phân rã rút gọn câu truy vấn tin, phương pháp song song hóa câu vấn tin dựa vào tiến trình- luồng vào chức vào liệu. Chương 3: Lập trình ứng dụng Trường Đại học sư phạm Hà Nội Chương 1: TỔNG QUAN 1.1. Khái niệm tiến trình luồng 1.1.1 Tiến trình 1/ Tiến trình loại tiến trình,: ^ Tiến trình (process): TIẾN TRÌNH LÀ MỘT BỘ PHẬN CỦA MỘT CHƯƠNG TRÌNH ĐANG THỰC HIỆN, ĐƠN VỊ THỰC HIỆN TIẾN TRÌNH LÀ BỘ XỬ LÍ TIẾN TRÌNH (PROCESSER). Vì tiến trình phận chương trình nên tương tự chương trình tiến trình sở hữu ừỏ lệnh, ừỏ stack, tập ghi, không gian địa nhớ tất thông tin cần thiết khác để tiến trình thực thi được. d= Tru e thre ad.J oin( ) M e . M a i n V i e w . D a t a S o u r c e = T A B L E J S I N H V I E N M e . G r i d V i e w . B e s t F i t C o l u m n s O E n d S u b - Mã nguồn thực chạy đa luồng vi xử lý: Private Sub ShowNewF ormO Handles btnRun.Cli ck Dim FILE_NA ME_NAM SINH As String = Application .StartupPat h+ "\NamSmh. ini" If Syst em.I O.F ile. Exis ts(F ILE _N AM E_ NA MSI NH) = Tru e The n Dim obj Wri ter As Ne w System.IO. StreamWrit er(FILE_N AME_NA MSINH) objWriter. WriteLine( Me.txtGioi Tinh.Select edlndex) objWriter. Close() End If S h e l l ( A p p l i c a t i o n . S t a r t u p P a t h + " \ P h a n M a n h D o c . e x e " , A p p W i n S t y l e . N o r m a l F o c u s ) S h e l l ( A p p l i c a t i o n . S t a r t u p P a ứ i + " \ P h a n M a n h H o n H o p . e x e " , A p p W i n S t y l e . N o r m a l F o c u s ) Shel l( A ppli cati on. Star tup Path + "\Ph an Ma nhN gan gDa nXu at.e xe", App Win Styl e.N orm alFo cus) Shell (Appl icatio n.Sta rtupP ath + "\Pha nMan hNga ngTh eoKh oang. exe", App WinS tyle. Norm alFoc us) End Sub 3.3. Kết luận chương Tron g chương tác giả áp dụng lý thuyết chương vào sở liệu trường Đại học sư phạm Hà Nội (dạng demo) thông qua việc phát biểu phân tích toán. Mỗi bào toán thể kết rút gọn câu vấn tin cho phân mảnh ngang, phân mảnh doc, phân mảnh ngang dẫn xuất, phân mảnh hỗn hợp. KẾT LUẬN • Một vấn đề mà tất Hệ quản trị CSDL phải giải sở liệu phân tán, xử lý song song. Các phương pháp thực song song câu vấn tin dựa vào luồng-tiến trình, vào chức vào liệu nhiều nhà tin học quan tâm phát triển. Luận văn dành phần lớn trình bày phương pháp thực song song câu vấn tin sở liệu phân tán dựa vào luồng-tiến trình. Các thuật toán trình bày, dựa cấu trúc luồng song song để rút gọn câu vấn tin. Luận văn áp dụng phương pháp thực song song câu vấn tin sở liệu phân tán dựa vào luồng vào ứng dụng Trường Đại học sư phạm Hà Nội 2. Do thời gian kiến thức nhiều hạn chế nên luận văn không ừánh khỏi thiếu sót em mong nhận góp ý chân thành từ quý thầy cô bạn đồng nghiệp để luận văn hoàn thiện hơn. Em xin chân thành cảm ơn! [...]... Các định nghĩa tiến trình và luồng của Saltzer; của Homing & Rendell (Xem [3, 4, 6]) Các tiến trình trong hệ thống có thể chia thành hai loại: tiến trình tuần tự và tiến trình song song TIẾN TRÌNH TUẦN TỰ: Tiến trình tuần tự là các tiến trình mà điểm khởi tạo của nó là điểm kết thúc của tiến trình trước đó (Hình 1.1-1) P1 Ị P2 I P3 I I Ị Time : -► Hình 1.1-1 Ba tiến trình tuần tự TIẾN TRÌNH SONG. .. nhất, mô hình tập trung, ừong mô hình này hệ điều hành chịu trách nhiệm phân phối tài nguyên cho tất cả các tiến trình trong hệ thống, ii/ Thứ hai, mô hình phân tán, trong mô hình này hệ điều hành cho phép tiến trình con nhận tài nguyên từ tiến trình cha 4 TI ẾN TR ÌN H SO NG SO NG ĐỒ NG M ỨC : là cá c tiế n trì nh th ực thi so ng so ng sử dụ ng ch un g tài ng uy ên the o ng uy ên tắc lần lư ợt, mỗ i tiế... M u l t i p r o c e s s o r ( B a b ộ x ử l í ) Hìn h 1.12 Sự thực hiện đồn g thời của các tiến trìn h tron g hệ thốn g unip roce ssor (a) và hệ thốn g mult ipro cess or (b) Tiến trình song song được chia thành nhiều loại: 1 TI ẾN TR ÌN H SO NG SO NG ĐỘ C LẬ P: là cá c tiế n trì nh th ực thi so ng so ng nh ưn g kh ôn g có qu an hệ thô ng tin vớ i nh au, tro ng trư ờn g họ p nà y hệ điề u hà nh ph ải... của tiến trình trước đó (Hình 1.1-1) P1 Ị P2 I P3 I I Ị Time : -► Hình 1.1-1 Ba tiến trình tuần tự TIẾN TRÌNH SONG SONG: Tiến trình song song là các tiến trình mà điểm khởi tạo của tiến trình này nằm ở thân của các tiến trình khác, tức là có thể khởi tạo một tiến trình mới khi các tiến trình trước đó chưa kết thúc (Hình 1.1-2) PI P2 P3 I 1 Time a T r o n g h ệ t h o n g u n i p r o c e s s o... một chương trình hoặc của nhiều chương trình khác nhau, cấp phát đày đủ tài nguyên (trừ processor ) cho tiến trình và đưa các tiến trình sang trạng thái sẵn sàng Hệ điều hành bắt đầu cấp processor cho một tiến trình trong số các tiến trình ở trạng thái sẵn sàng để tiến trình này thực thi, sau một khoảng thời gian nào đó hệ điều hành thu hồi processor của tiến trình này để cấp cho một tiến trình sẵn... từ tiến trình mà nó vừa cấp để cấp cho tiến trình khác, có thể là tiến trình mà trước đây bị hệ điều hành thu hồi processor khi nó chưa kết thúc, và cứ như thế cho đến khi tất cả các tiến trình mà hệ điều hành khởi tạo đều thực thi và kết thúc được Khoảng thời gian chuyển processor từ tiến trình này sang tiến trình khác hay ... c tiế n trì nh, và cấ p ph át tài ng uy ên ch o cá c tiế n ừl nh mộ t cá ch hợ p lý 2 TI ẾN TR ÌN H SO NG SO NG PH Ụ TH UỘ C: tro ng tiế n trì nh th ực thi cá c tiế n trì nh th ườ ng tra o đổi thô ng tin vớ i nh au 3 TI ẾN TR ÌN H SO NG SO NG PH ÂN CẤ P: Tr on g qu á trì nh th ực thi mộ t tiế n trì nh có thể kh ởi tạo cá c tiế n trì nh kh ác th ực thi so ng so ng vớ i nó, tiế n trì nh kh ởi tạo đư . về các tiến trình và các loại luồng - Phân mảnh và tái cấu trúc, cục bộ hóa cơ sở dữ liệu phân tán. - Nghiên cứu cách thực hiện song song câu vấn tin trong cơ sở dữ liệu phân tán khi sử dụng luồng. -. TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI 2 • • • • NGUYỄN NGỌC THU THựC HIỆN SONG SONG CÁC CÂU VẤN TIN TRONG CSDL PHÂN TÁN BẰNG CÁCH SỬ DỤNG LUỒNG LUẬN VĂN THẠC Sĩ MÁY TÍNH ■ • Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG. • NGUYỄN NGỌC THU HÀ NỘI, 2014 THựC HIỆN SONG SONG CÁC CÂU VẤN TIN TRONG CSDL PHÂN TÁN BẰNG CÁCH SỬ DỤNG LUỒNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUÂN VĂN THAC SĨ MÁY TÍNH • • Người