Nghiên cứu và phát triển giải thuật cân bằng tải tĩnh trên hệ thống xử lý song song

Đại Học Quốc Gia Tp Hồ Chí Minh CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự – Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đặng Tuấn Nghóa Phái: Nam Ngày, tháng, năm sinh: 19-03-1974 Nơi sinh: Hà tây Chuyên ngành: Công nghệ thông tin Mã số: TÊN ĐỀ TÀI: Nghiên cứu phát triển giải thuật cân tải tónh hệ thống xử lý song song II- NHIỆM VỤ VÀ NỘI DUNG: - Nghiên cứu phương pháp giải toán cân tải tónh lónh vực xử lý song song - Phát triển số giải thuật cân tải tónh theo phương pháp ánh xạ Task III- NGÀY GIAO NHIỆM VỤ (Ngày bảo vệ đề cương): IV- NGÀY HOÀN THÀNH NHIỆM VỤ (Ngày bảo vệ luận án tốt nghiệp): V- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN (Ghi đầy đủ học hàm học vị): TIẾN SĨ NGUYỄN THANH SƠN CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM NGÀNH (Ký tên ghi rõ họ tên, học hàm học vị) Nội dung đề cương luận văn thạc só Hội Đồng Chuyên Ngành thông qua Ngày … Tháng … Năm…… PHÒNG ĐÀO TẠO SĐH KHOA QUẢN LÝ NGÀNH Lời cảm ơn Trước hết em xin chân thành bày tỏ lòng kính trọng biết ơn sâu sắc đến thầy hướng dẫn khoa học - Tiến só Nguyễn Thanh Sơn Thầy nhiệt tình dẫn, giúp đỡ động viên em suốt trình thực đề tài Em xin chân thành cảm ơn Tiến só Lê Ngọc Minh, Tiến só Thoại Nam dành thời gian phản biện, góp ý kiến giúp đỡ em hoàn thiện đề tài Em xin bày tỏ lòng biết ơn Thầy, Cô Khoa CNTT Trường Đại Học Bách Khoa TP HCM giảng dạy, truyền đạt kiến thức suốt khóa học Em xin chân thành biết ơn quan tâm giúp đỡ nhiệt tình cô hiệu trưởng - Tiến só Phan Thị Tươi, thầy chủ nhiệm ngành - Tiến só Dương Tuấn Anh; em xin cảm ơn thầy, cô Phòng Quản lý Sau Đại Học nhiệt tình giúp đỡ hướng dẫn em, thủ tục hành khóa học trình hoàn thành luận văn Xin cảm ơn gia đình tất bè bạn lo lắng, chăm sóc, động viên quan tâm giúp đỡ nhiều trình học tập thời gian thực đề tài TP HCM 10/ 2003 Đặng Tuấn Nghóa i Tóm tắt Các hệ thống xử lý song song theo kiến trúc NOWs sử dụng chế truyền thông điệp (message-passing), ngày sử dụng phổ biến lónh vực khoa học kỹ thuật Tuy nhiên, thời gian truyền nhận thông điệp hệ thống lại có ảnh hưởng lớn đến hiệu thực thi ứng dụng song song Chính vậy, để triển khai ứng dụng song song hệ thống này, cần phải có cách thức ánh xạ tập task giải thuật song song vào hệ thống, cho tối ưu chi phí giao tiếp task phải khai thác tối đa khả song song hóa Việc tìm kiếm giải pháp ánh xạ tối ưu, nhiệm vụ toán cân tải lónh vực xử lý song song Nội dung tài liệu trình bày nghiên cứu toán cân tải tónh, phương pháp thường sử dụng để giải toán Trên sở đó, đề nghị sơ đồ cân tải tónh dựa mô hình hệ thống thực tế – hệ thống supernode Trong sơ đồ cân tải đề nghị, có hai giải thuật ánh xạ phát triển Giải thuật thứ tiến hành nhóm task đồ thị ứng dụng dựa kỹ thuật phân chia (divisive mapping) Giải thuật thứ hai sử dụng kỹ thuật tích tụ (agglomerative mapping) Việc tìm kiếm giải pháp ánh xạ hai giải thuật này, thực cách nhóm task dựa so sánh chi phí truyền thông điệp trạm (intra-processor), hai trạm phân biệt (inter-processor) Các kết thu từ sơ đồ cân tải đề nghị, hướng tới việc ứng dụng cho lớp giải thuật song song thực tế ii MỤC LỤC CHƯƠNG GIỚI THIỆU I ĐẶT VẤN ĐỀ II PHẠM VI VÀ MỤC TIÊU CỦA ĐỀ TÀI III NOÄI DUNG CỦA LUẬN VĂN CHƯƠNG PHƯƠNG PHÁP ÁNH XẠ TASK I GIỚI THIEÄU CHUNG GIAI ĐOẠN MÔ HÌNH HOÙA: GIAI ĐOẠN ÁNH XẠ: II CÁC MÔ HÌNH SỬ DỤNG TRONG BÀI TOÁN ÁNH XẠ 10 MÔ HÌNH ỨNG DỤNG SONG SONG (PROGRAM MODELS) 10 MÔ HÌNH HỆ THỐNG 14 HÀM ĐÁNH GIÁ CHI PHÍ 18 III CÁC CHIẾN LƯC GIẢI QUYẾT BÀI TOÁN ÁNH XẠ 26 CÁC GIẢI THUẬT THUỘC LỚP OPTIMAL 28 CÁC GIẢI THUẬT HEURISTIC (SUB-OPTIMAL) 28 CÁC GIẢI THUẬT NHÓM TASK (TASK CLUSTERING) 33 CÁC CHIẾN LƯC NHÓM TASK TRÊN MÔ HÌNH DAG 34 CÁC CHIẾN LƯC NHÓM TASK TRÊN MÔ HÌNH TIG 35 IV KẾT LUẬN CHƯƠNG 38 iii CHƯƠNG PHÁT TRIỂN GIẢI THUẬT CÂN BẰNG TẢI TĨNH 40 I GIỚI THIỆU CHUNG 40 II MÔ HÌNH BIỂU DIỄN 45 MÔ HÌNH HỆ THỐNG 45 MÔ HÌNH ỨNG DỤNG SONG SONG 49 HÀM MỤC TIÊU CHO GIẢI THUẬT ÁNH XẠ 51 III GIẢI THUẬT TỐI ƯU THỜI GIAN THỰC THI TỔNG THỂ 52 ĐỒ THỊ PTIG 52 TOÁI ƯU THỜI GIAN THỰC THI CỦA MỘT ĐỈNH TRONG ĐỒ THỊ 55 GIẢI THUẬT TỐI ƯU THỜI GIAN THỰC THI TỔNG THỂ – DMAP (DIVISIVE MAPPING) 66 ĐÁNH GIÁ ĐỘ PHỨC TẠP TÍNH TOÁN 69 IV GIẢI THUẬT TÍCH TỤ AMAP (AGGLOMERARIVE MAPPING) 69 NGUYÊN TẮC THỰC HIỆN TÍCH TUÏ 70 GIẢI THUẬT TÍCH TỤ AMAP (AGGLOMERARIVE MAPPING) 72 ĐỘ PHỨC TẠP CỦA GIẢI THUAÄT AMAP 73 V KẾT LUẬN CHƯƠNG 74 CHƯƠNG HIỆN THỰC VÀ ĐÁNH GIÁ 76 I PHƯƠNG PHÁP ĐÁNH GIÁ 76 TAÏO CÁC ĐỒ THỊ TIG MẪU 77 CÁC THAM SỐ SỬ DỤNG ĐỂ ĐÁNH GIÁ 80 PHƯƠNG PHÁP ĐÁNH GIÁ 81 II MỘT SỐ KẾT QUẢ KHẢO SÁT 82 MẪU THỬ SOÁ (TIG1) 82 iv MẪU THỬ SỐ (TIG2) 85 MẪU THỬ SỐ (TIG3) 87 MẪU THỬ SỐ (TIG4) 90 MẪU THỬ SỐ (TIG5) 92 III KẾT LUẬN 95 CHƯƠNG KẾT LUẬN 96 I CAÙC KẾT QUẢ ĐẠT ĐƯC CỦA ĐỀ TÀI 96 II NHỮNG HẠN CHẾ 97 III HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 98 v DANH MỤC HÌNH VẼ Hình 1.1 : Phương pháp song song hoùa PCAM Hình 2.1: Đồ thị dạng DAG gồm có tasks 11 Hình 2.2: Đồ thị dạng TIG với tasks 13 Hình 2.3: Kiến trúc DMTA (Direct Message Transfer) 16 Hình 2.4: Kiến trúc IMTA (Indirect Message Transfer) 17 Hình 2.5: Ví dụ lập lịch với đồ thị DAG 22 Hình 2.6: Sơ đồ ánh xạ với mô hình TIG 26 Hình 2.7: Các chiến lược giải toán ánh xạ 27 Hình 3.1: Sơ đồ cân tải tónh 41 Hình 3.2: Topology hệ thống supernode 46 Hình 3.3: Ví dụ đồ thị TIG1 50 Hình 3.4 (a): Đồ thị TIG ban đầu 53 Hình 3.4(b): Đồ thị PTIG 54 Hình 3.5: Tập thu giảm đỉnh n3 58 Hình 3.6: Đồ thị PTIG sau nhóm đỉnh tập M3 58 vi Hình 3.7: Đồ thị net-flow có sau biến đổi Giá trị cut value cho đỉnh n1 181 61 Hình 3.8: Giải thuật xác định tập thu giảm đỉnh ni 64 Hình 3.9: Giải thuật Labeling Ford-Fulkerson 65 Hình 3.10: Giải thuật tối ưu chi phí thực thi tổng thể 68 Hình 3.11: Giải thuật tích tụ AMAP 73 Hình 4.1: Biến đổi từ miền vật lý thành miền tính toán 78 Hình 4.2: Ví dụ tạo đồ thị task graph 79 Hình 5.1: Ví dụ GraphFile (a): TIG (b): Graphfile Hình 5.2 : Lưu trữ đồ thị phân hoạch vii DANH MUÏC CÁC BẢNG Bảng 1: Các khả nhóm cho đỉnh n3 57 Bảng 2: Giá trị S(n,p) số trường hợp 70 viii DANH MỤC CÁC KÝ HIỆU Ký hiệu μ, β, α γ Twait Tcomm G(N,E) N N’ E ni, ei cij c(ni,nj) S(P,L) P L pi d(i,j) R tstartup tdata tinter tintra TIG0 TIG1 Cij A Aload(k) Atime Ý nghóa Các hệ số Hệ số đụng độ, thể mức độ chia sẻ đường truyền Thời gian chờ trước truy cập môi trường truyền Tổng chi phí giao tiếp node hệ thống Đồ thị phẳng với tập đỉnh N tập cạnh E Tập đỉnh đồ thị G Tập đỉnh thu giảm (m-set) đỉnh đồ thị Tập cạnh đồ thị G Đỉnh thứ i đồ thị Task thứ i chương trình Trọng số đỉnh ni Trọng số cạnh hai đỉnh ni nj Trọng số cạnh hai đỉnh ni nj đồ thị netflow Đồ thị biểu diễn hệ thống xứ lý song song Tập processor Tập đường nối kết processor Processor thứ i Đường nối processor thứ i thứ j i≠j Hệ số thể chênh lệch Cintra(i,j) Cinter(i,j) Thời gian khởi động message Thời gian truyền đơn vị liệu Thời gian gửi message có n đơn vị liệu, hai node khác Thời gian gửi message có n đơn vị liệu, hai task node Đồ thị dạng TIG, thể giải thuật song song Đồ thị dạng TIG, thể giải thuật song song có nhúng tham số hệ thống Độ lợi cạnh (i,j) đồ thị TIG1 Phép ánh xạ task Tổng chi phí node thứ k, theo ánh xạ A Thời gian thực thi tổng thể ứng dụng theo phép ánh xạ A ix KẾT LUẬN Chương KẾT LUẬN I CÁC KẾT QUẢ ĐẠT ĐƯC CỦA ĐỀ TÀI Nhìn chung, đề tài đạt số kết sau: ƒ Qua việc nghiên cứu tổng hợp tài liệu, báo công bố Đề tài trình bày nhìn tổng quan vấn đề cân tải cân tải tónh lónh vực xử lý song song Trong đó, chiến lược cân tải phân chia theo đặc trưng lớp ứng dụng song song Sự phân loại giúp cho việc chọn lựa chiến lược cân tải triển khai ứng dụng song song nhanh chóng ƒ Đối với chiến lược cân tải tónh, đề tài tổng hợp trình bày giai đoạn trình cân tải tónh Trong bao gồm mô hình biểu diễn hình thức cho ứng dụng hệ thống xử lý song song Trình bày, phân loại khảo sát chiến lược bật ứng dụng giải thuật ánh xạ task Kết sở cho việc phát triển giải thuật cân tải tónh tương lai ƒ Trong nhiệm vụ phát triển giải thuật cân tải tónh Đề tài đề nghị sơ đồ cân tải, bao gồm hai giai đoạn: mô hình hóa ánh xạ Theo phương pháp mô hình hóa đề nghị, sơ đồ cân tải tónh có khả ứng dụng thực tế để triển khai ứng dụng tính toán phân bố theo phương pháp lặp Điểm bật đề tài so với nghiên cứu trước cách thức qui đồng chi phí truyền nhận thông điệp Trang số:96 KẾT LUẬN tính toán đơn vị chuẩn thời gian thực phép tính (Arithmetic Operation Time) Với việc qui đồng này, trọng số đồ thị ứng dụng xấp xỉ thành số nguyên đo tạo thuận lợi cho việc áp dụng giải thuật ánh xạ ƒ Đề tài thực nghiên cứu phát triển hai giải thuật ánh xạ task Trong giải thuật DMAP giải thuật có độ phức tạp thời gian đa thức thực công việc tối ưu tốt Giải thuật thứ hai - AMAP, phát tiển theo chiến lược heuristic sử dụng kỹ thuật tích tụ để tối ưu Giải thuật cho giải pháp tối ưu phù hợp với số node hệ thống ƒ Đề tài đề nghị phương pháp khảo sát giải pháp ánh xạ dựa mô hình ứng dụng thực tế Các kết khảo sát sử dụng nghiên cứu hệ thống thực II NHỮNG HẠN CHẾ Bên cạnh kết đạt được, đề tài tồn số vấn đề hạn chế sau: ƒ Đề tài phát triển giải thuật cân tải cho mô hình biểu diễn ứng dụng dạng TIG Trong mô hình biểu diễn dạng DAG thường sử dụng cho phần lớn ứng dụng song song ƒ Trong việc thực giải thuật đề nghị, số giải thuật có độ phức tạp tính toán cao, giải thuật: xác định lát cắt cực tiểu (Mincut-Maxflow), giải thuật tìm kiếm hai đỉnh tốt để tích tụ, Các giải thuật cần khắc phục cải thiện để có độ phức tạp trường hợp trung bình thấp ƒ Do công việc nghiên cứu giải pháp song song hóa cho ứng dụng thực tế lớn so với khả nên đề tài chưa xây dựng Trang số:97 KẾT LUẬN công cụ triển khai ứng dụng song song mà có sử dụng phương pháp cân tải tónh phát triển Các kiểm nghiệm tiến hành mô (với ràng buộc lỏng) Các kiểm nghiệm thể mức độ so sánh tương đối số mẫu thực thi chưa có thống kê số lượng mẫu lớn III HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Với kết đạt được, để cải thiện hạn chế tồn tại, hướng phát triển đề tài đề nghị sau: ƒ Nghiên cứu phát triển kỹ thuật cải tiến độ phức tạp tính toán cho giải thuật có độ phức tạp cao sử dụng sơ đồ cân tải tónh đề tài ƒ Nghiên cứu phát triển thêm số giải thuật có khả áp dụng mô hình biểu diễn trình bày đề tài Tiếp tục xây dựng giải thuật cân tải tónh với mô hình biểu diễn dạng DAG ƒ Đề nghị phát triển công cụ hỗ trợ song song hóa cho ứng dụng tính toán theo phương pháp lặp ứng dụng: PDE, FEM, Công cụ bao gồm công đoạn: Phân rã (partition), tạo task graph, nhúng tham số hệ thống, xác định sơ đồ ánh xạ, sinh code, cuối đo đạc hiệu thực thi Trang số:98 PHỤ LỤC A: ĐỊNH LÝ MINCUT-MAXFLOW 1) Đồ thị net-flow đồ thị có hướng G=(V, E) Trong đó: cạnh e ∈ E nối hai đỉnh u v, tồn trọng số c(u,v)>=0 Giá trị trọng số c(u,v) thể khả lưu chuyển tối đa từ nút u tới nút v Nếu giá trị c(u,v)=0 có nghóa hai đỉnh u v không thuộc đồ thị 2) Lưu lượng (flow) cạnh đồ thị G giá trị f(u,v) thoả mãn điều kiện sau: (1) f(u,v)