Phương pháp cân bằng tải cho bộ khung gải thuật nhánh và cận song song

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA \X”W[ VÕ MINH PHƯƠNG PHƯƠNG PHÁP CÂN BẰNG TẢI CHO BỘ KHUNG GIẢI THUẬT NHÁNH VÀ CẬN SONG SONG Chuyên ngành : Công Nghệ Thông Tin Mã số ngành: 01.02.10 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 01 năm 2007 Lời cảm ơn Trước hết, em xin bày tỏ lòng biết ơn thầy hướng dẫn, tiến só Trần Văn Hoài Mặc dù công việc bận rộn thầy nhiệt tình hướng dẫn, giúp đỡ em suốt trình thực luận văn Em xin bày tỏ lòng biết ơn Thầy, Cô khoa CNTT trường Đại Học Bách Khoa TP HCM giảng dạy, truyền đạt kiến thức cho em suốt khóa học Xin cám ơn bố mẹ luôn quan tâm, chăm sóc, động viên suốt trình học tập Xin cám ơn tất bạn bè, đặc biệt anh Trần Văn Hùng, giúp đỡ nhiều suốt thời gian học tập thực luận văn Xin cám ơn tất ! TP HCM 01/2007 Võ Minh Phương i Tóm tắt Các toán quy hoạch nguyên (integer programing) tối ưu tổ hợp (combinational optimization problem) có nhiều ứng dụng thực tiễn Giải thuật branch-and-bound song song giải pháp hữu hiệu để giải toán quy hoạch nguyên tối ưu tổ hợp giải thuật branch-and-bound song song không đảm bảo tìm lời giải thời gian chấp nhận mà khắc phục tình trạng bùng nổ tổ hợp Do đặc trưng giải thuật branch-and-bound tải tính toán phát sinh biết trước nên dễ rơi vào tình trạng cân mà việc cân tải làm giảm hiệu giải thuật song song Do đó, toán cân tải vấn đề trọng tâm cần giải thực thi giải thuật branch-and-bound song song Nội dung tài liệu trình bày nghiên cứu xung quanh framework branchand-bound song song toán cân tải Trên sở nghiên cứu, tài liệu đưa mô hình song song với chiến lược cân tải cho giải thuật branch-and-bound song song Do tính chất giải thuật branch-and-bound nên chiến lược cân đề nghị thuộc vào lớp kỹ thuật cân tải động theo mô hình phân bố Các ứng dụng phát triển dựa framework branch-and-bound song song lựa chọn sử dụng chiến lược cân tải mà thích hợp cho toán cần giải ii Abstract Integer programming and combinational optimization problem have many applications in reality Parallel branch and bound algorithm is an effective solution to solve integer programming and combinational optimization problem because that parallel branch and bound algorithm does not only ensure to find out the answer in a reasonable amount of time but also repair the combinatorial explosion Because the branch-and-bound's characteristic is the calculation combination explosion, is easy to lead in unbalance problem and the unbalance load would make the effects of the parallel algorithm slow down Therefore, the load balancing problem is the most important point that must be solved first when excuting the parallel branch-andbound algorithm The content of this documentation mentions to the research of parallel branchand-bound framework and load balancing problem Based on these research, document proposes a parallel model with the load balancing strategy for the parallel branch and bound algorithm Due to the feature of this algorithm, the proposed balancing strategy belongs to the dynamic load balancing technique under the distributed model The applications which have developed on the branch-bound framework parallel, could choose a compatible load-balance strategy for solving problems iii MỤC LỤC CHƯƠNG GIỚI THIỆU 1 ĐẶT VẤN ĐỀ .1 PHẠM VI VÀ MỤC TIÊU CỦA ĐỀ TÀI NOÄI DUNG LUẬN VĂN CHƯƠNG GIẢI THUẬT BRANCH-AND-BOUND SONG SONG VÀ CÁC VẤN ĐỀ LIÊN QUAN THƯ VIỆN TRUYỀN THÔNG TRAO ĐỔI THÔNG TIN 2.1 ĐÓNG GÓI THÔNG ĐIỆP 2.2 PHƯƠNG THỨC GỬI NHẬN THÔNG ĐIỆP .9 KẾT THÚC CHƯƠNG TRÌNH 11 GIẢI THUẬT BRANCH-AND-BOUND SONG SONG 14 4.1 GIẢI THUẬT BRANCH-AND-BOUND 14 4.2 XÁC ĐỊNH BIEÂN .17 4.3 CHIẾN LƯC CHỌN 19 4.4 CHIẾN LƯC PHÂN NHÁNH 21 4.5 CẤU TRÚC DỮ LIỆU 22 4.6 SONG SONG HOÙA GIẢI THUẬT BRANCH-AND-BOUND 25 CHƯƠNG XÂY DỰNG GIẢI PHÁP CÂN BẰNG TẢI CHO FRAMEWORK BRANCH-AND-BOUND SONG SONG 29 GIỚI THIỆU BÀI TOÁN CÂN BẰNG TẢI .29 iv 1.1 LỰA CHỌN PHƯƠNG PHÁP CÂN BẰNG TẢI 29 1.2 MỤC TIÊU CỦA GIẢI PHÁP CÂN BẰNG TẢI 30 1.3 GIẢI PHÁP CÂN BẰNG TẢI ĐỘNG TỔNG QUÁT .31 MÔ HÌNH CÂN BẰNG TAÛI CHO FRAMEWORK 32 CHIẾN LƯC CÂN BẰNG TẢI 38 3.1 HÀM CÂN BẰNG TẢI 38 3.2 LỰA CHỌN TẢI DI DỜI 40 3.3 CÁC CHIẾN LƯC CÂN BẰNG TẢI 41 CHƯƠNG KẾT QUẢ TÍNH TOÁN .50 GIỚI THIỆU BÀI TOÁN VÀ HỆ THỐNG SONG SONG .50 KẾT QUẢ THỰC NGHIỆM .51 KẾT LUẬN .58 CHƯƠNG KẾT LUẬN 59 KẾT QỦA ĐẠT ĐƯC 59 NHỮNG HẠN CHẾ 60 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 60 v DANH MỤC HÌNH VẼ Hình 2.1 Các thời điểm ghi nhận giá trị đếm .12 Hình 2.2 Cây liệt kê giải thuật branch-and-bound .16 Hình 2.3 Lưu đồ giải thuật branch-and-bound (tối thiểu hàm mục tiêu) 17 Hình 2.4 Dùng lower bound upper bound thu hẹp không gian tìm kiếm 18 Hình 2.5 Cấu trúc pool .25 Hình 3.1 Mô hình cân tải tập trung 33 Hình 3.2 Mô hình cân tải phân bố topology grid 34 Hình 3.3 Mô hình phân nhóm processor 36 Hình 3.4 Lượng thông tin trao đổi processor (24 processor) .37 Hình 3.5 Speedup việc phân nhoùm 37 Hình 3.6 Chênh lệch local dual bound remote dual bound 44 Hình 4.1 Speedup 54 Hình 4.2 %Idle 55 Hình 4.3 Cây branch-and-bound cho mẫu sppaa01 với chiến lược Local BestFirstGlobal Best First (4 processor) 56 Hình 4.4 Cây branch-and-bound cho mẫu sppaa01 với chiến lược Local Idle-Global Idle (4 processor) .57 Hình 4.5 Speedup chiến lược cho mẫu thử sppaa01 58 vi DANH MỤC BẢNG Bảng 5.1 Kết tính toán dùng chiến lược local Best First - global Best First 53 Bảng 5.2 Kết tính toán dùng chiến lược local Idle-global Idle 53 vii DANH MUÏC GIẢI THUẬT Giải thuật 3.1: Hàm gửi non-blocking .9 Giải thuật 3.2: Hàm nhận non-blocking 10 Giải thuật 3.3: Vòng lặp branch-and-bound với hàm truyền thông 26 Giải thuật 4.1: Giải thuật hàm loadShare() .39 Giải thuật 4.2: Giải thuật hàm loadReceive() 39 Giải thuật 4.3: Giải thuật cho chiến lược Idle 41 Giải thuật 4.4: Giải thuật cho chiến lược Open Subprolem 42 Giải thuật 4.5: Giải thuật cho chiến lược Best First 45 Giải thuật 4.6: Giải thuật cho chiến lược Best First 47 viii CHƯƠNG GIỚI THIỆU ĐẶT VẤN ĐỀ Nhiều toán có giá trị ứng dụng thực tiễn thường rơi vào dạng toán quy hoạch nguyên tối ưu tổ hợp Bài toán quy hoạch nguyên mô tả [7, 11, 15] có dạng nhö sau: max cTx Ax ≤ b x ∈ Z +n Với A ∈ Rm x Rn, c ∈ Rn, bT ∈ Rm x ∈ Z +n Biến cần tối ưu thường rơi vào loại : biến liên tục biến rời rạc Những toán với biến rời rạc nhằm tìm kiếm trị tối ưu từ tập hữu hạn hay vô hạn đếm gọi toán tối ưu tổ hợp (combinatorial optimization problem) Bài toán tối ưu tổ hợp biểu diễn sau: min{∑ j∈S c j : S ∈ F } S⊆N Với tập hữu hạn N = {1, …, n}, phần tử j ∈ N có trọng số cj tập F tập khả thi (feasible subset) N Rất nhiều toán có ứng dụng thực tiễn mô hình hóa giải quy hoạch nguyên, điển hình kể đến như: ¾ Bài toán người bán hàng rong [23]: Một người bán hàng cần phải di chuyển qua n thành phố, thành phố lần sau qua trở thaønh Sample Proc TotalSub ExchSub %Idle Cpu TotalTime Msg Trafic (MB) TimeSeq Speedup sppaa04 481 0 97.55 0:28:34.59 0 0:25:04.24 0.88 sppaa04 540 59 2.52 92.37 0:17:56.69 555 15.69 0:25:04.24 1.40 sppaa04 604 111 8.79 86.46 0:09:17.17 1764 29.51 0:25:04.24 2.70 sppaa04 762 213 19.62 75.21 0:05:58.23 3668 56.61 0:25:04.24 4.20 sppaa04 16 1523 912 33.87 55.19 0:05:30.19 9498 242.3 0:25:04.24 4.56 sppaa04 32 1244 641 60.89 48.33 0:03:54.32 23374 170.5 0:25:04.24 6.42 sppaa01 263 0 97.89 0:26:27.75 0 0:25:07.97 0.95 sppaa01 289 22 3.66 92.68 0:16:22.48 371 7.32 0:25:07.97 1.53 sppaa01 329 62 12.75 82.99 0:08:49.63 1000 20.62 0:25:07.97 2.85 sppaa01 487 230 35.81 63.6 0:06:12.99 2543 76.43 0:25:07.97 4.04 sppaa01 16 429 174 60.43 51.5 0:04:31.65 6132 57.87 0:25:07.97 5.55 sppaa01 32 441 186 80.97 38.28 0:04:39.21 18128 61.97 0:25:07.97 5.40 Bảng 4.1 Kết tính toán dùng chiến lược local Best First - global Best First Sample Proc TotalSub ExchSub %Idle Cpu TotalTime Msg Trafic (MB) TimeSeq Speedup sppaa04 481 0 97.56 0:28:36.66 0 0:25:04.24 0.88 sppaa04 442 43 8.02 91.05 0:17:19.62 615 11.44 0:25:04.24 1.45 sppaa04 472 85 13.66 85.62 0:09:03.27 1544 22.65 0:25:04.24 2.77 sppaa04 776 247 21.93 75.41 0:06:24.69 3898 65.65 0:25:04.24 3.91 sppaa04 16 1135 646 39.96 54.93 0:04:51.65 8477 171.7 0:25:04.24 5.16 sppaa04 32 1344 691 58.22 48.76 0:04:06.39 23462 183.8 0:25:04.24 6.11 sppaa01 263 0 98.05 0:26:30.86 0 0:25:07.97 0.95 sppaa01 310 31 12.38 88.78 0:18:35.09 479 10.31 0:25:07.97 1.35 sppaa01 318 53 16.32 82.53 0:08:48.60 1009 17.63 0:25:07.97 2.85 sppaa01 471 216 36.8 64.14 0:06:03.53 2641 71.77 0:25:07.97 4.15 sppaa01 16 446 191 61.1 50.52 0:04:45.50 6449 63.52 0:25:07.97 5.28 sppaa01 32 424 169 80.59 38.54 0:04:32.08 17525 56.32 0:25:07.97 5.54 Bảng 4.2 Kết tính toán dùng chiến lược local Idle-global Idle 53 7.00 6.00 Speedup 5.00 4.00 3.00 2.00 1.00 0.00 16 32 Processor aa04-best-best aa01-best-best aa04-idle-idle Hình 4.1 Speedup 54 aa01-idle-idle 90 80 70 %Idle 60 50 40 30 20 10 16 32 Processor aa04-best-best aa01-best-best Hình 4.2 %Idle 55 aa04-idle-idle aa01-idle-idle Hình 4.3 Cây branch-and-bound cho mẫu sppaa01 với chiến lược Local BestFirstGlobal Best First (4 processor) 56 Hình 4.4 Cây branch-and-bound cho mẫu sppaa01 với chiến lược Local Idle-Global Idle (4 processor) Xem xét kết thực thi chi tiết giải thuật branch-and-bound sử dụng hai chiến lược cân tải Idle Best First, nhận thấy kết thu giống speedup lẫn dạng branch-and-bound tạo thành, có đôi chút khác biệt việc phân phối node cho processor khác (xem Hình 4.3 4.4) hai chiến lược có hướng tiếp cận khác Điều dễ xảy số node branch-and-bound không lớn việc ưu tiên xử lý node 57 có biên gần trị tối ưu không giúp giúp nhiều cho việc cắt tỉa nhánh Và dù chiến lược Best First bao gộp chiến lược Idle Tuy vậy, xét mặt speedup chiến lược Best First tỏ nhỉnh Speedup 1 16 32 Processors Idle Open Subproblem Best First Best First Enhanced Hình 4.5 Speedup chiến lược cho mẫu thử sppaa01 KẾT LUẬN Do điều kiện hạn chế nên luận văn kiểm chứng chiến lược cân tải dựa việc giải toán Set Partitioning [12], nhiên đủ giúp nhận thấy kết đạt đáng khích lệ Các chiến lược đề nghị có hiệu định Việc lựa chọn chiến lược cân tải số lượng processor để giải toán cụ thể cần thiết 58 CHƯƠNG KẾT LUẬN KẾT QỦA ĐẠT ĐƯC Nhìn chung luận văn đạt số kết sau: Qua việc nghiên cứu tổng hợp tài liệu, báo liên quan, luận văn trình bày vấn đề xung quanh quy trình xây dựng framework dựa giải thuật song song với giải pháp cân tải áp dụng Và tuỳ theo đặc trưng lớp ứng dụng song song, giải pháp cân tải sử dụng khác Để giải toán cân tải cho giải thuật branch-and-bound song song, luận văn đề nghị sử dụng chiến lược cân tải động, processor sử dụng thông tin cục processor lân cận để thực tác vụ cân tải Các chiến lược cân tải động theo mô hình phân bố thích hợp áp dụng cho framework branch-and-bound song song cho toán có kích thước lớn Luận văn đưa mô hình cân tải theo nhóm mang tính tổng quát thích hợp hệ thống song song theo kiến trúc NOWs (Network Of Workstations) trở nên ngày phổ biến lónh vực tính toán song song Luận văn đề nghị bốn chiến lược cân tải cho framework Chiến lược Idle cố gắng làm giảm thời gian không tải processor, chiến lược Open Subproblem cố gắng chia công việc cho processor , chiến 59 lược Best First Best First Enhanced lại phân phối tải dựa theo độ ưu tiên nhằm làm giảm thời gian thực thi chương trình NHỮNG HẠN CHẾ Bên cạnh kết đạt được, luận văn tồn số hạn chế sau: Cơ chế truyền thông dùng hàm non-blocking mà luận văn sử dụng không đạt hiệu cao việc truyền nhận thông điệp lại có nguy xảy dead-lock Luận văn chưa nêu bật lên mối liên quan chiến lược cân tải chiến lược sử dụng giải thuật branch-and-bound Các chiến lược cân tải đề nghị đơn giản, mang tính tổng quát Luận văn chưa nêu thích hợp chiến lược cân tải với lớp ứng dụng song song HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Với kết qủa đạt được, để khắc phục hạn chế tồn tại, hướng phát triển đề nghị sau: Nghiên cứu cải tiến chiến lược cân tải tối ưu việc trao đổi thông tin thực di dời tải Luận văn chuyển việc sử dụng thread ảo qua hai hàm truyền nhận non-blocking sang thread thật MPI hoàn toàn hỗ trợ thread để đảm bảo đồng thời hai qua trình tính toán truyền thông điệp tránh dead-lock 60 Xây dựng mô hình cân tải hỗ trợ cho số mô hình khác lưới hay vòng Đặc biệt, mở rộng mô hình cân tải theo nhóm để hỗ trợ cho hệ thống song song gồm nhiều nhóm máy, với máy nhóm kết nối với qua đường kết nối tốc độ cao đường kết nối nhóm có tốc độ thấp 61 TÀI LIỆU THAM KHẢO [1] Antonio Corradi, Letizia Leonardi, Franco Zambonelli, "Diffusive Algorithms for Dynamic Load Balancing in Massively Parallel Architectures" DEIS Technical Report No DEIS-LIA-96-001, LIA Series No 8, 1996 [2] C Roucairol, "Parallel branch-and-bound algorithms - An overview", Proc of the Int Workshop on Parallel and distributed Algorithms, Gers, France, pp 153-163, 1988 [3] C.Walshaw, M Cross and M G Everett, "Dynamic load-balancing for parallel adaptive unstructured meshes", Parallel Processing for Scientific Computing, M Heath et al., eds., SIAM, 1997 [4] C Z Xu, B Monien, R Luling, and F C M Lau, “An Analytical Comparison of Nearest Neighbor Algorithms for Load Balancing in Parallel Computers,” Proceedings of the International Parallel Processing Symposium, IPPS95, IEEE Computer Society Press, Los Alamitos, CA, pp 472– 479, 1995 [5] Domonik Henrich, “Local Load Balancing for Data-parallel Branch-and-bound”, International Conference Massively Parallel Processing – Applications and Development, June 21-23, Delft, The Netherlands, 1994 a [6] Domonik Henrich, “The Liquid Model Load Balancing Method”, The Jounal of Parallel Algorithms and Application, Special Issue on Algorithms for Enhanced Mesh Architectures, 1996 [7] Ellis L Johnson, George L Nemhauser, Martin W.P Savelsbergh, “Progress in Linear Programming-Based Algorithms for Integer Programming: An Exposition”, INFORMS Journal on Computing Vol 12, No 1, 2000 [8] F Mattern,Algorithms for Distributed Termination Detection Distributed Computing, 2(3):161-175, 1987 [9] G Horton, "A multi-level diffusion method for dynamic load balancing", Parallel Computing, vol 19, pp 209-218, 1993 [10] Hans-Ulrich Heiss, Michael Schmitz, “Decentralized Dynamic Load Balancing: The Particles Approach”, Information Sciences, Vol 84, Issue 1-2, S 115 – 128, May 1995 [11] Hoai Tran Van, “Branch-and-bound based methods for Integer Programs”, Kỷ yếu hội nghị khoa học & Công nghệ lần thứ 9, ĐH Bách Khoa Tp HCM, Phân ban CNTT , 2005 [12] Hoai Tran Van, “Solving Large Scale Crew Pairing Problems”, RuprechtKarls-Universiy Deidelberg, 2005 b [13] Jonathan Eckstein, Cynthia A Phillips, William E Hart, “PICO: An ObjectOriented framework for Parallel Branch-and-Bound”, Report SAND2000-3000, Sandia National Laboratories, 2000 [14] J T Linderoth, W P Savelsbergh,A Computational Study of Branch-and Bound Search Strategies for Mixed Integer Programming INFORMS Journal on Computing, 11:173-187, 1999 [15] Laurence A Wolse, “Integer Programming”, John Wiley & Sons INC, 1998 [16] Max Buhm, Parallel ABACUS – Introdution anh Tutorial, Report No 99358, 1999 [17] Mohammed Javeed Zaki, Wei Li, Srinivasan Parthasarathy, "Customized Dynamic Load Balancing for a Network of Workstations", University of Rochester Rochester, 1995 [18] Michael Junger, Stefan Thienel, “The ABACUS system for branch-and-cutand-price algorithms in integer programming and combinatorial optimization”, SOFTWARE-PRACTICE AND EXPERIENCE: 2000; 30:1325-1252, 2000 [19] Message Passing Interface Forum, ”MPI: A Message-Passing Interface Standard”, University of Tennessee, Knoxville, TN, June 1995 c [20] M H Willebeek-LeMair , A Reeves, "Strategies for dynamic load balancing on highly parallel computers", IEEE Trans on Parallel and Distributed Systems, vol 4, No 9, 1993 [21] M Willebeek-LeMair, A P Reeves, "Local vs global strategies for dynamic load balancing", Proc Int Conf on Parallel Processing, vol 1, pp 569-570, 1990 [22] R Luling, B Monien, “Load balancing for distributed branch & bound algorithms”, In Proceedings of the 6th International Parallel Processing Symposium, pages 543–549, 1992 [23] S Tschuke, R Luling, B Monien “Solving the traveling salesman problem with a distributed branch-and-bound algorithm on a 1024 processor network”, In Proceedings of the 9th International Parallel Processing Symposium, Santa Barbara, California, 1995 [24] S Thienel, “ABACUS 2.0: User's Guide and Reference Manual”, University of Cologne, 1997 [25] Songnian Zhou, Jingwen Wang, Xiaohu Zhengm Pierre Delisle, "UTOPIA: A Load Sharing Facility for Large Heterogeneous Distributed Computer Systems", Technical Report CSRI-257, 1992 d [26] Thanh Nguyen Hai, “Toán Ứng Dụng”, Nhà xuất Đại học Sư phạm, 2005 [27] T K Ralphs, “SYMPHONY Version 2.8 User's Guide”, 2001 [28] T.K Ralphs L Ladanyi, “COIN/BCP User’s Manual”, International Business Machines Corporation, 2001 [29] T K Ralphs, L Ladanyi, and L E Trotter, Branch, cut, and price: Sequential and parallel In Computational Combinatorial Optimization, D Naddef and M Junger, eds., Springer, Berlin, 223, 2001 [30] Vipin Kumar, Ananth Y Grama, Vempaty N Rao, "Scalable Load Balancing Techniques for Parallel Computers", University Minnesota, 1994 [31] Y Shinano, M Higaki, R Hirabayashi, “A generalized utility for parallel branch and bound algorithms”, In Proceedings of the 7th IEEE Symposium on Parallel and Distributed Processing, pages 392–401, San Antonio, Texas, 1995 e LÝ LỊCH TRÍCH NGANG Họ tên: Ngày, tháng, năm sinh: Nơi sinh: Địa liên lạc: VÕ MINH PHƯƠNG 28 – – 1980 Vũng Tàu 563/54 Nguyễn Đình Chiểu – Phường – Quận – TP.HCM QUÁ TRÌNH ĐÀO TẠO Tốt nghiệp Kỹ sư Máy Tính, trường Đại Học Bách Khoa TP.HCM, năm 2003 Theo học Cao học ngành Công Nghệ Thông Tin, khoá 15, trường Đại Học Bách Khoa TP.HCM, năm 2004 QUÁ TRÌNH CÔNG TÁC Công tác Công ty TNHH VSIC Informatics, từ năm 2004 đến ... PHƯƠNG PHÁP CÂN BẰNG TẢI 29 1.2 MỤC TIÊU CỦA GIẢI PHÁP CÂN BẰNG TẢI 30 1.3 GIẢI PHÁP CÂN BẰNG TẢI ĐỘNG TỔNG QUÁT .31 MÔ HÌNH CÂN BẰNG TẢI CHO FRAMEWORK 32 CHIẾN LƯC CÂN BẰNG TẢI... thi phương pháp tónh Như vậy, luận văn tập trung giải vấn đề cân tải cho framework branch-and-bound song song phương pháp cân tải động 1.2 MỤC TIÊU CỦA GIẢI PHÁP CÂN BẰNG TẢI Một giải pháp cân tải. .. xung quanh toán cân tải giải thuật branch-and-bound song song để từ đưa giải pháp cân tải thích hợp cho giải thuật branch-andbound song song Mặc dù giải pháp cân tải áp dụng cho giải thuật branch-and-bound