DSpace at VNU: Thiết kế và phân tích giải thuật duy trì dữ liệu chung phân tán

ĐẠI HỌC CÔNG NGHỆ ĐẠI HỌC QUỐC GIA HÀ NỘI ĐỖ HIỀN THIẾT KẾ VÀ PHÂN TÍCH GIẢI THUẬT DUY TRÌ DỮ LIỆU CHUNG PHÂN TÁN LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN: NGUYỄN ĐẠI THỌ NĂM 2007 LỜI CẢM ƠN Tôi xin chân thành cảm ơn thầy cô Trƣờng Đại học Công nghệ - ĐH QGHN, thầy cô Viện Công nghệ Thông tin mang lại cho học viên chúng tơi học hữu ích suốt khóa học Đặc biệt, xin chân thành cảm ơn thầy giáo, TS Nguyễn Đại Thọ, hƣớng dẫn tơi hồn thành luận văn Tôi xin cam đoan luận văn “Thiết kế phân tích giải thuật trì liệu chung phân tán” thực dƣới hƣớng dẫn TS Nguyễn Đại Thọ - giảng viên trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Mọi trích dẫn tài liệu tham khảo đƣợc sử dụng luận văn đƣợc rõ nguồn gốc Hà Nội, ngày 25 tháng 10 năm 2007 Đỗ Hiền MỤC LỤC LỜI CẢM ƠN MỤC LỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT DANH SÁCH CÁC HÌNH VẼ MỞ ĐẦU CHƢƠNG HỆ PHÂN TÁN 10 1.1 Khái niệm hệ phân tán 10 1.2 Vai trò hệ phân tán 10 1.3 Đặc trƣng hệ phân tán Error! Bookmark not defined 1.4 Mơ hình hóa hệ phân tán Error! Bookmark not defined 1.4.1 Mơ hình chuyển thông báo Error! Bookmark not defined 1.4.2 Mơ hình với nhớ dùng chung Error! Bookmark not defined 1.4.3 Mơ hình xen kẽ Error! Bookmark not defined 1.4.4 Thực tính chất thực Error! Bookmark not defined 1.5 Đánh giá độ phức tạp Error! Bookmark not defined 1.6 Khả kháng lỗi tính tự ổn định Error! Bookmark not defined 1.6.1 Khả kháng lỗi Error! Bookmark not defined 1.6.2 Tính chất tự ổn định Error! Bookmark not defined 1.6.3 Vai trò tự ổn định Error! Bookmark not defined 1.6.4 Đánh giá độ phức tạp Error! Bookmark not defined CHƢƠNG CÁC GIẢI THUẬT SƠ ĐẲNG Error! Bookmark not defined 2.1 Giới thiệu Error! Bookmark not defined 2.2 Bài toán Error! Bookmark not defined 2.3 Đánh giá độ phức tạp Error! Bookmark not defined 2.4 Giải thuật Phát tỏa Đầy đủ Error! Bookmark not defined 2.5 Giải thuật Cập nhật Tăng trƣởng [4] Error! Bookmark not defined CHƢƠNG GIẢI THUẬT CẬP NHẬT VỚI TRI THỨC BỘ PHẬN [3]Error! Bookmark not def 3.1 Tƣ tƣởng Error! Bookmark not defined 3.2 Giải thuật Error! Bookmark not defined 3.3 Tính đắn độ phức tạp Error! Bookmark not defined 3.4 Ví dụ thực Error! Bookmark not defined CHƢƠNG GIẢI THUẬT AS CẢI TIẾN Error! Bookmark not defined 4.1 Đặt vấn đề Error! Bookmark not defined 4.2 Thực cải tiến Error! Bookmark not defined 4.3 Tính đắn độ phức tạp Error! Bookmark not defined 4.4 Ví dụ thực Error! Bookmark not defined CHƢƠNG GIẢI THUẬT DUY TRÌ DỮ LIỆU CHUNG PHÂN TÁN ÁP DỤNG TRONG THỰC TIỄN Error! Bookmark not defined 5.1 Hệ thống động với tôpô Error! Bookmark not defined 5.2 Dữ liệu chung phân tán Error! Bookmark not defined 5.3 Độ dài liệu không cố định Error! Bookmark not defined 5.4 Khả kháng lỗi tính tự ổn định Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT TT Tiếng Việt Tiếng Anh Ý nghĩa Bộ xử lý Processor Một thực thể mạng Cập nhật Tăng trưởng Incremental Update Cập nhật đƣợc thực lần lƣợt xử lý Cập nhật Tăng Incremental Thực nhiều Cập nhật Tăng trƣởng trưởng theo Updates with đồng thời, Cập nhật Tăng trƣởng Phân đoạn Dữ Data segments cho đoạn liệu liệu Cấu hình Configuration Trạng thái toàn cục hệ thống bao gồm trạng thái thực thể trạng thái kênh truyền thực thể Cây bao trùm Spanning tree Cây bao gồm tất nút đồ thị, nút xuất lần Đồ thị phụ thuộc Dependency graph Độ thị có hƣớng khơng chu trình có thêm phụ thuộc hàm Dẫn ống Pipeline Khi nhận đƣợc thông báo từ xử trƣớc chuyển thơng báo cho xử lý liền sau Dữ liệu chung Common data Dữ liệu đƣợc nhìn nhận nhƣ thực thể hệ thống Hệ phân tán Distributed system Hệ thống bao gồm thiết bị tính riêng rẽ giao tiếp với 10 Khứ lỗi Fault tolerance Khả hệ thống bỏ qua số hữu hạn lỗi để phận chƣa bị lỗi hoạt động bình thƣờng 11 Phát tỏa Broadcast Gửi thông tin đến tất xử lý thành phần liên thông 12 Phát tỏa Đầy đủ Full Broadcast Phát tỏa thơng tin có 13 Phát tỏa với Tri thức Bộ phận Broadcast with Partial Phát tỏa phần liệu thay đổi với mục đích sửa lỗi xử lý Knowledge nhận 14 Sai khác cục Local discrepancy Số bít liệu riêng khác với liệu nguồn 15 Sai khác tổng Total discrepancy Tổng tất sai khác cục 16 Tiến trình Process Một chƣơng trình thực thi 17 Trạm Site Một thực thể mạng 18 Tự ổn định Self-stabilizing Tính chất hệ thống xuất phát từ trạng thái ln thể đƣợc hành vi hợp lệ mong muốn 19 Khung nhìn View “Hình ảnh” mà xử lý nhận đƣợc từ xử lý khác 20 Nguồn Source Bộ xử lý nguồn DANH SÁCH CÁC HÌNH VẼ Hình 1.1 Mơ hình tổng qt hệ thống phân tán (12) Hình 1.2 Mơ hình chuyển thơng báo (13) Hình 1.3 Mơ hình với nhớ dùng chung (14) Hình 2.1 Ví dụ minh họa tốn Duy trì liệu chung hệ phân (24) tán Trong ví dụ này, có n+1 = xử lý trì khung nhìn với m = mục Nguồn xử lý Các mục sai so với nguồn gạch chân Độ sai khác cục số mục gạch chân xử lý Độ sai khác tổng ∆ = Hình 2.2 Một thực giải thuật Phát tỏa Đầy đủ (n = 4, m =4, (27) ∆ = 7) Hình 2.3 Sửa lỗi cho hai xử lý đầu thực giải thuật Cập nhật Tăng trưởng (n = 4, m =4, ∆ = 7) (28) Hình 3.1 Một trạng thái hệ thống thực giải thuật AS (33) Hình 3.2 Vùng quét xử lý Q (34) Hình 3.3 Hình chữ nhật tiến trình tiến trình Q (35) Hình 3.4 Hoạt động tiến trình (mũi tên biểu diễn thơng báo sửa lỗi ) (36) Hình 3.5 Một thực giải thuật AS (vùng chữ nhật đầu tiên) (39) Hình 4.1 Giải thuật AS cải tiến (48) Hình 4.2 Một thực giải thuật AS cải tiến (vùng chữ nhật đầu tiên) (53) Hình Khung chung cho phiên tự ổn định giải thuật Cập nhật Tăng trưởng, giải thuật AS, giải thuật AS cải tiến (61) MỞ ĐẦU Trong tính tốn phân tán có nhiều cơng việc liên quan đến việc trì khung nhìn (view) đến đối tƣợng chung trạm (sites) khác hệ thống phân tán Với đối tƣợng chung tôpô hệ thống ta có u cầu cập nhật tơpơ, hay đối tƣợng chung tài nguyên cụ thể đƣợc lƣu trữ trạm ta có yêu cầu liệt kê danh sách tài nguyên trạm, sở liệu tổng quát Các đối tƣợng bị tác động thay đổi, ví dụ liên kết hai nút mạng đƣợc thêm hay làm thay đổi tôpô mạng, tài nguyên đƣợc chiếm dụng giải phóng, ghi sở liệu đƣợc sửa đổi Nhƣ vậy, vấn đề đặt cần có chế hiệu cho việc cập nhật khung nhìn đối tƣợng chung trạm khác Mục tiêu luận văn xem xét, đánh giá số giải thuật cập nhật “khung nhìn” đối tƣợng chung đó, đồng thời đƣa đề xuất cải tiến giải thuật xem xét Các giải thuật trì liệu chung hệ phân tán, đặc biệt phƣơng pháp Phát tỏa với Tri thức Bộ phận, đƣợc tìm hiểu luận văn bao gồm Phát tỏa Đầy đủ, Cập nhật Tăng trưởng [4], giải thuật AS [3] Từ tìm hiểu giải thuật trên, tác giả luận văn đƣa đề xuất cải tiến giải thuật AS Cải tiến đƣợc thực cách cắt bỏ thông báo dƣ thừa đƣợc sử dụng giải thuật AS Kết cải tiến đƣợc tác giả luận văn đánh giá chứng minh Ngoài ra, luận văn này, tác giả quan tâm đến khía cạnh thực tế áp dụng giải thuật đƣợc xem xét đề xuất, khả kháng lỗi với tính tự ổn định [7] đƣợc đặc biệt ý Với giải thuật đƣợc xem xét đề xuất, tác giả phiên tự ổn định Luận văn đƣợc trình bày năm chƣơng với nội dung chƣơng nhƣ sau: Chương giới thiệu hệ phân tán, mơ hình hệ phân tán, vai trò, đặc trƣng hệ phân tán, khái niệm cấu hình, thực phƣơng pháp đánh giá độ phức tạp giải thuật phân tán [1], [8], [9] Phần cuối chƣơng trình bày vấn đề khả kháng lỗi với tính chất tự ổn định [7] Tiếp theo, Chương trình bày tốn trì liệu chung hệ phân tán giải thuật sơ đẳng, bao gồm giải thuật Phát tỏa Đầy đủ giải thuật Cập nhật Tăng trưởng [4] Mơ hình toán, tiêu chuẩn đánh giá độ phức tạp đƣợc trình bày Với giải thuật, sau phần xem xét trình bày giải thuật, tác giả đƣa ví dụ minh họa thực giải thuật Chương trình bày giải thuật cập nhật với tri thức phận, giải thuật AS [3] Sau phần trình bày tƣ tƣởng chi tiết giải thuật phần chứng minh tính đắn đánh giá độ phức tạp Một ví dụ đƣợc tác giả đƣa để minh họa cho hoạt động giải thuật AS Trong Chương 4, tác giả đƣa đề xuất cải tiến giải thuật AS cách cắt bỏ thông báo không cần thiết giải thuật AS Hiệu tiết kiệm thời gian thông báo giải thuật AS cải tiến so sánh với giải thuật gốc đƣợc phát biểu chứng minh Giải thuật đƣợc mơ tả mã hình thức.Cuối minh hoạ thực giải thuật AS cải tiến Chương bàn thay đổi cần thực để giải thuật trì liệu thực thi đƣợc số vấn đề thực hệ phân tán, vấn đề Hệ thống với tôpô bất kỳ, Dữ liệu chung phân tán, Độ dài liệu thay đổi, Khả kháng lỗi tự ổn định Chắc chắn, luận văn có thiếu sót nội dung nhƣ trình bày Tác giả luận văn mong nhận đƣợc đóng góp ý kiến thầy giáo anh/chị học viên CHƯƠNG HỆ PHÂN TÁN 1.1 Khái niệm hệ phân tán Có nhiều khái niệm khác hệ phân tán Một cách tổng quan, hệ phân tán tập hợp thiết bị tính riêng rẽ giao tiếp với Đây khái niệm tổng quát, bao trùm phạm vi rộng hệ thống máy tính ngày nay, từ chíp VLSI đến đa xử lý, mạng cục bộ, Internet Nếu nhƣ hệ song song phối hợp nhiều xử lý nhằm giải vấn đề cho trƣớc cách nhanh hệ phân tán bao gồm tập xử lý có chƣơng trình làm việc riêng bán độc lập, lý đó, ví dụ chia sẻ tài nguyên, tăng tính sẵn sàng, khứ lỗi, xử lý cần phối hợp hành động với Ta thấy hệ phân tán khắp nơi Điển hình, hệ phân tán đƣợc sử dụng để chia sẻ tài nguyên chia sẻ liệu Các máy tính kết nối mạng với dùng chung máy in, máy quét, chia sẻ tệp tài liệu, chƣơng trình… Tính tốn ngang hàng kiểu thực hệ phân tán ngày trở nên phổ biến cho việc cung cấp thiết bị dịch vụ tính tốn Các hệ phân tán nhiều tham vọng cho hiệu hoạt động cao cách kết hợp giải tốn cách song song, đồng thời tăng tính sẵn sàng hệ thống trƣờng hợp số thiết bị gặp lỗi 1.2 Vai trò hệ phân tán Ngày hệ phân tán trở nên phổ biến vai trò ứng dụng quan trọng chúng Trƣớc hết, phải kể đến vai trò trao đổi thông tin Các hệ phân tán cho khả chia sẻ thông tin rộng rãi tức thời Lấy ví dụ, thơng tin từ hệ thống máy tính đặt Sở giao dịch chứng khốn TPHCM đƣợc sử dụng hệ thống máy tính đặt trụ sở cơng ty chứng khốn thành viên hay chia sẻ đến tận nhà đầu tƣ Các thơng tin chứng khốn ln u cầu phải có tính xác nhƣ tức thời cao, hệ phân tán cung cấp khả đảm bảo đƣợc điều Hệ phân tán cho khả chia sẻ thông tin thiết bị hỗn tạp Một máy tính "nói chuyện" với máy tính khác loại, điện thoại cố định, di động, 10 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt: [1] Tho05 Nguyễn Đại Thọ, Tập giảng Các giải thuật phân tán, 2005 Tài liệu tiếng Anh: [2] ACG+90 Baruch Awerbuch, Israel Cidon, Inder Gopal, Marc Kaplan, and Shay Kutten Distributed control for paris In Proc 9th ACM Symp On Principles of Distributed Computing, pages 145-160, 1990 [3] AS97 Baruch Awerbuch, Leonard J Schulman, The maintenance of common data in a distributed system, Journal of the ACM (JACM), v.44 n.1, p.86-103, Jan 1997 [4] ACK90 Baruch Awerbuch, Israel Cidon, and Shay Kutten, Optimal maintenance of replicated information In Proc 31st IEEE Syrup on Foundations of Computer Science, 1990 [5] ACK+91 Baruch Awerbuch, Israel Cidon, Shay Kutten, Yishay Mansour, and David Peleg, Broadcast with partial knowledge, In Proc 10th ACM Symp on Principles of distributed computing, 1991 [6] AGH90 Baruch Awerbuch, Oded Goldreich, Amir Herzberg, A quantitative approach to dynamic networks, Proceedings of the ACM PODC 1990 [7] Dij73 Edsger W Dijkstra, Self-stabilizing systems in spite of distributed control, Comm ACM 17 November 1974, 643-644 [8] Tel00 Gerard Tel, Introduction to Distributed Algorithms, Second Edition Cambridge University Press, 2000 [9] AW04 Hagit Attiya, Jenifer Welch, Distributed computing: Fundamentals, simulations and advanced topics, Second 11 Edition, John Wiley & Sons, 2004 [10] Met84 J.J Metzner, An improved broadcast retransmission protocol IEEE Trans on Communications, COM- 32(6):679-683, June 1984 [11] Sch87 Mischa Schwartz, Telecommunication Networks: Protocols, Modeling and Analysis, Addition-Wesley, Massachusetts, 1987 [12] Lyn97 Nancy A Lynch, Distributed Algorithms Morgan Kaufmann, 1997 [13] Gar02 Vijay K Garg, Elements of Distributed Computing John Wiley & Sons, 2002 [14] SG89 John M Spinelli and Robert G Gallager Broadcasting topology information in computer networks IEEE Trans on Commun., May 1989 [15] Sta00 William Stallings, Data & Computer Communications, Prentice Hall, New Jersey, Sixth Edition, 2000 [16] MRR80 John McQuillan, Ira Richer, and Eric Rosen The new routing algorithm for the arpanet IEEE Trans on Commun., 28(5):711719, May 1980 [17] BGJ+85 A.E Baratz, J P Gray, P.E Green Jr., J M Jaffe, and D.P Pozefski SNA networks of small systems IEEE Jurnal on Selected Areas in Communications, SAC-3(3): 416-426, May 1985 [18] CG88 I Cidon and I S Gopal Paris: An approach to integrated highspeed private networks International Journal on Digital & Analog Cabled System, 1(2):77-86, April-June 1988 [19] Wec80 S Wecker DNA: The digital networks architecture IEEE Trans on Commun, COM-28:510-526, April 1980 12 13 ... CHƢƠNG GIẢI THUẬT DUY TRÌ DỮ LIỆU CHUNG PHÂN TÁN ÁP DỤNG TRONG THỰC TIỄN Error! Bookmark not defined 5.1 Hệ thống động với tôpô Error! Bookmark not defined 5.2 Dữ liệu chung phân tán. .. Chương trình bày tốn trì liệu chung hệ phân tán giải thuật sơ đẳng, bao gồm giải thuật Phát tỏa Đầy đủ giải thuật Cập nhật Tăng trưởng [4] Mơ hình tốn, tiêu chuẩn đánh giá độ phức tạp đƣợc trình... bày Với giải thuật, sau phần xem xét trình bày giải thuật, tác giả đƣa ví dụ minh họa thực giải thuật Chương trình bày giải thuật cập nhật với tri thức phận, giải thuật AS [3] Sau phần trình bày