tìm hiểu phương pháp phân bổ nguồn tài nguyên

tìm hiểu phương pháp phân bổ nguồn tài nguyên

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÁO CÁO MÔN CHỦ ĐỀ HIỆN ĐẠI VỀ HTTT Đề tài: “Dominant Resource Fairness: Fair Allocation of Multiple Resource Type” Giảng viên: TS Nguyễn Ngọc Hóa Nhóm: 27 Họ tên học viên: Nguyễn Bá Quân Tóm tắt Tiểu luận Tài nguyên hệ thống (CPU, nhớ, thiết bị ngoại vi, ) vốn giới hạn, hệ thống đa nhiệm, nhiều người sử dụng đồng thời yêu cầu nhiều tài nguyên Để thỏa mãn yêu cầu sử dụng với tài nguyên hữu hạn nâng cao hiệu sử dụng tài nguyên, cần phải có chế chiến lược thích hợp để quản lý việc phân phối tài nguyên Ngoài yêu cầu dùng chung tài nguyên để tiết kiệm chi phí, người sử dụng cần phải chia sẻ thông tin (tài nguyên phần mềm) lẫn nhau, cần đảm bảo việc truy xuất đến tài nguyên hợp lệ, không xảy tranh chấp, đồng nhất, Tiểu luận tập trung tìm hiểu phương pháp phân bổ nguồn tài nguyên cách công để người sử dụng sử dụng tài nguyên cách hợp lý 2 1.Introduction Trong hệ thống có chứa loại tài nguyên khác người sử dụng có nhu cầu khác cho tài nguyên Đề phần phối hợp lý tài nguyên người ta đề DRF( Phân phối công tài nguyên) Một cách tổng quát cách đề phân phối công cho tất tài nguyên máy tính Không giống sách khác DRF chia sẻ tài nguyên cách đảm bảo người dùng ưu tiên người sử dụng yêu cầu thêm tài nguyên cho đủ số tài nguyên sử dụng ưu tiên phân bổ cho người giảm phân bổ cho người sử dụng khác Phân bổ tài nguyên chìa khóa để xây dựng khối quan trọng chia sẻ hệ thống máy tính Đó sách phân phối phổ biến đến phân phối công Max- Min phân phối Max- Min người dùng hệ thống Giả sử người dùng có đủ nhu cầu chính, sách cung cấp cho người sử dụng phần tài nguyên Max-min công khái quát hóa để bao gồm khái niệm trọng lượng, người dùng nhận phần tài nguyên tỷ lệ thuận với trọng lượng Quan trọng công max-min xuất phát từ tổng quát khả để cung cấp hiệu suất cách ly Các mô hình công max-min trọng hỗ trợ loạt sách phân bổ nguồn lực khác, ưu tiên, đặt phòng, thời hạn phân bổ dựa Ngoài ra, trọng lượng công max-min đảm bảo cô lập, người dùng đảm bảo nhận phần không phụ thuộc vào nhu cầu người sử dụng khác Với tính năng, đến ngạc nhiên số lượng lớn thuật toán đề xuất để thực (trọng số) max-min công với mức độ khác độ xác, chẳng hạn vòng tròn lượt, chia sẻ tài nguyên theo tỷ lệ, Và xếp hàng công trọng lượng Các thuật toán áp dụng cho loạt tài nguyên, bao gồm băng thông liên kết Bộ xử lý trung tâm, nhớ lưu trữ Mặc dù số lượng lớn công việc phân bổ công bằng, tập trung chủ yếu vào loại tài nguyên Thậm chí nhiều tài nguyên môi 3 trường,nơi người dùng có nhu cầu nguồn lực không đồng nhất, phân bổ thường thực cách sử dụng nguồn tài nguyên trừu tượng Ví dụ, lập lịch công cho Hadoop Dryad hai khung tính toán cluster sử dụng rộng rãi, phân bổ nguồn lực cấp độ phân vùng cố định kích thước nút, gọi khe cắm Điều bất chấp thực tế công việc khác cụm có nhu cầu khác cho CPU, nhớ, I / O nguồn lực Quá trình thực đánh giá DRF Mesos người quản lý tài nguyên nhiều khung tính toán cluster, Hadoop MPI, chạy so sánh DRF với công chương trình chia sẻ khe dựa sử dụng Hadoop Dryad cho thấy khe dựa chia sẻ công dẫn đến hiệu suất hơn, khối lượng công việc định trừng phạt bất công, cung cấp bảo đảm cách ly yếu Trong báo tập trung vào việc phân bổ nguồn lực trung tâm liệu, DRF áp dụng chung cho môi trường đa nguồn tài nguyên khác, nơi người dùng có nhu cầu không đồng nhất, chẳng hạn máy đa nhân Motivation Trong việc trước quyền công max-min tập trung vào nguồn tài nguyên nhất, đời vi xử lý điện toán đám mây đa lõi làm tăng nhu cầu sách phân bổ cho môi trường nhiều nguồn lực nhu cầu người sử dụng không đồng Bởi nhiều nguồn lực có nghĩa nguồn lực loại khác nhau, thay nhiều trường hợp nguồn tài nguyên thay cho Để thúc đẩy nhu cầu phân bổ đa tài nguyên, vẽ cấu hình sử dụng tài nguyên nhiệm vụ năm 2000-nút Hadoop nhóm Facebook tháng (tháng 10 2010) Hình Các vị trí vòng tròn hình cho biết nhớ tài nguyên CPU tiêu thụ nhiệm vụ Kích thước vòng tròn logarit với số nhiệm vụ khu vực hình tròn Mặc dù phần lớn nhiệm vụ CPU-nặng, có tồn công việc mà nhớ nặng tốt, đặc biệt hoạt động giảm 4 Hiện lập lịch công cho cụm, Quincy Hadoop Fair Scheduler ,bỏ qua tính không đồng nhu cầu người sử dụng, phân bổ nguồn lực mức chi tiết khe, nơi khe cắm phần cố định nút Điều dẫn đến việc phân bổ không hiệu khe cắm thường xuyên trận đấu nghèo cho nhu cầu công việc Hình định lượng mức độ công biệt lập Hadoop MapReduce công lịch [2, 34] Con số cho thấy CDF tỷ lệ nhu cầu công việc CPU CPU khe chia sẻ, tỷ lệ nhu cầu nhớ nhiệm vụ chia sẻ nhớ khe Chúng tính toán nhớ khe cổ phiếu CPU cách chia đôi tổng số lượng nhớ CPU số lượng khe Một tỷ lệ tương ứng với kết hợp hoàn hảo nhu cầu công việc nguồn lực khe, tỷ lệ tương ứng với nhiệm vụ underutilizing nguồn khe họ, tỷ lệ tương ứng với nhiệm vụ trên, sử dụng nguồn khe họ, dẫn đến trận đòn Hình cho thấy hầu hết nhiệm vụ underutilize overutilize số tài nguyên khe họ Thay đổi số lượng khe máy không giải vấn đề dẫn đến hai sử dụng tổng thể thấp nhiều nhiệm vụ experiencingpoor hiệu suất việc sử dụng (Phần ee s 7) 5 Allocation Properties Bây chuyển ý để thiết kế sách phân bổ công max-min cho nhiều tài nguyên yêu cầu không đồng Để minh họa vấn đề, xem xét hệ thống bao gồm CPU 18 GB RAM, hai người sử dụng: Một người sử dụng chạy tác vụ đòi hỏi CPU h1, GBI nhau, người sử dụng B chạy tác vụ yêu cầu CPU h3, GBI Tạo nên mà sách phân bổ công trường hợp này? Một khả để phân bổ cho hiệp người sử dụng nguồn lực Một khả khác để cân tổng hợp (ví dụ, CPU với nhớ) phân bổ cho người dùng Trong tương đối dễ dàng để đến với loạt khả phân bổ "công bằng", không rõ ràng để đánh giá so sánh phân bổ Để giải thách thức này, bắt đầu với tập hợp tính chất mong muốn tin sách phân bổ nguồn lực cho nhiều tài nguyên nhu cầu không đồng nên đáp ứng Sau mời đặc tính hướng dẫn phát triển sách phân bổ công Chúng tìm thấy bốn thuộc tính sau quan trọng: 6 Chia sẻ khuyến khích: Mỗi người sử dụng nên tốt off chia sẻ cluster, độc quyền sử dụng phân vùng riêng cluster Hãy xem xét cluster với nút n người dùng giống Sau đó, người dùng không nên phân bổ nhiệm vụ nhiều phân vùng cụm gồm / n tất nguồn lực Chiến lược-proofness: Người dùng không nên hưởng lợi cách nói dối nhu cầu tài nguyên họ Điều cung cấp khả tương thích khuyến khích, người sử dụng cải thiện việc phân bổ cách nói dối Envy-freeness: Một người sử dụng không nên thích việc phân bổ người dùng khác Khách sạn thân ý niệm công [13, 30] hiệu Pareto: Nó làm tăng phân bổ người sử dụng mà không làm giảm phân bổ người dùng khác Khách sạn quan trọng dẫn đến việc tối đa hóa đối tượng sử dụng hệ thống để đáp ứng thuộc tính khác Chúng bình luận chiến lược proofness chia sẻ khích lệ tài sản, mà cho có tầm quan trọng đặc biệt môi trường trung tâm liệu Bằng chứng từ nhà khai thác điện toán đám mây mà nói chuyện với chiến lược proofness quan trọng, phổ biến người dùng cố gắng để thao tác lập lịch Ví dụ, trung tâm liệu Hadoop MapReduce Yahoo! có số khác khe cho đồ giảm nhiệm vụ Một người sử dụng phát khe đồ tranh luận, đưa tất công việc giảm dài giai đoạn, tự làm công việc mà MapReduce giai đoạn đồ Một công ty cung cấp máy tìm kiếm lớn dành riêng cho công việc người sử dụng đảm bảo sử dụng cao Công ty sớm phát người dùng rắc mã họ với vòng hữu hạn nhân tạo thổi phồng mức độ sử dụng Hơn nữa, sách đáp ứng bất động sản khuyến khích chia sẻ cung cấp hiệu cô lập, bảo đảm việc phân bổ tối thiểu cho người dùng (ví dụ, người sử dụng không làm tồi tệ việc sở hữu / n cluster) mà không tính đến nhu cầu người sử dụng khác 7 Nó dễ dàng thấy trường hợp tài nguyên nhất, đáp ứng công max-min tất properties.However trên, đạt tài sản trường hợp nhiều nguồn lực nhu cầu người sử dụng không đồng không nhỏ Ví dụ, chế ưu đãi công phân chia lý thuyết kinh tế vi mô, cân cạnh tranh từ Thu nhập bình đẳng [22, 30, 33], không strategyproof Ngoài đặc tính trên, xem xét đặc tính khác • Độc tính công tài nguyên: Đối với nguồn nhất, giải pháp cần giảm để công max-min • công nút cổ chai: Nếu có nguồn tài nguyên phần trăm-khôn ngoan đòi hầu hết người dùng, sau giải pháp để giảm nên công max-min cho tài nguyên • Dân số đơn điệu: Khi người sử dụng rời khỏi hệ thống tuyên bố từ bỏ nguồn lực mình, không số phân bổ người sử dụng lại giảm • đơn điệu Resource: Nếu có nhiều nguồn tài nguyên bổ sung vào hệ thống, phân bổ người dùng giảm Dominant Resource Fairness (DRF) Chúng đề xuất Dominant Resource Công (DRF), sách phân bổ cho nhiều tài nguyên đáp ứng tất bốn thuộc tính cần thiết phần trước Đối với người sử dụng, DRF tính thị phần tài nguyên phân bổ cho người Tối đa tất cổ phiếu người dùng gọi cổ phần chi phối người dùng, nguồn tài nguyên tương ứng với phần chi phối gọi tài nguyên thống trị Người sử dụng khác có nguồn tài nguyên khác chi phối Ví dụ, tài nguyên thống trị người dùng chạy công việc tính toán bị ràng buộc CPU, nguồn tài nguyên thống trị người dùng chạy I / O công việc bị ràng buộc bandwidth.1 DRF đơn giản áp công maxmin qua cổ phần chi phối người sử dụng Đó là, DRF tìm cách tối đa hóa thị phần chiếm ưu nhỏ hệ thống, sau thứ hai nhỏ nhất, 8 Chúng bắt đầu cách minh họa DRF với ví dụ (§4.1), sau trình bày thuật toán cho (§4.2) DRF định nghĩa trọng (§4.3) DRF Trong phần 5, trình bày hai sách phân bổ khác: công tài sản, sách đơn giản nhằm mục đích cân tổng hợp nguồn lực phân bổ cho người dùng, cân cạnh tranh từ thu nhập ngang (CEEI), phổ biến sách phân bổ công ưa thích kinh tế vi mô miền Trong phần này, xem xét mô hình tính toán với n người dùng tài nguyên m Mỗi người sử dụng chạy nhiệm vụ cá nhân, công việc đặc trưng vector nhu cầu, xác định số lượng tài nguyên theo yêu cầu công việc, ví dụ như, CPU h1, GBI Nói chung, công việc (thậm chí người thuộc người dùng) có nhu cầu khác 4.1 An Example Hãy xem xét hệ thống với CPU, 18 GB RAM, hai người sử dụng, người dùng A chạy nhiệm vụ với h1 CPU vector nhu cầu, GBI, người sử dụng B chạy nhiệm vụ với CPU h3 vector cầu, GBI Trong trường hợp trên, công việc từ người sử dụng A tiêu thụ 1/9 tổng số CPU 2/9 tổng số nhớ, người dùng tài nguyên thống trị nhớ Mỗi nhiệm vụ từ người dùng B tiêu thụ 1/3 tổng số CPU 1/18 tổng nhớ, người sử dụng tài nguyên ominant B CPU DRF cổ phần chi phối người sử dụng, cho việc phân bổ hình 3: ba nhiệm vụ cho người sử dụng A, với tổng số CPU h3, 12 GBI, hai nhiệm vụ cho người sử dụng B, với tổng số CPU h6, GBI Với việc phân bổ 9 này, người sử dụng kết thúc với phần vượt trội cùng, tức là, người dùng A 2/3 nhớ RAM, người dùng B 2/3 CPU Sự phân bổ tính toán học sau Cho x y số nhiệm vụ phân bổ DRF cho người dùng A B, tương ứng Sau đó, người dùng A nhận CPU hx, 4x GBI, người dùng B CPU h3y, y GBI Tổng số lượng tài nguyên phân bổ cho người dùng (x + 3Y) CPU (4x + y) GB Ngoài ra, cổ phần chi phối người dùng A B 4x / 18 = 2x / 3Y / = y / 3, tương ứng (cổ phiếu tương ứng họ nhớ CPU) Sau phân bổ DRF đưa giải pháp cho vấn đề tối ưu hóa sau đây: Giải vấn đề yields2 x = y = Do đó, người dùng A CPU h3, 12 GBI B CPU h6, GBI Lưu ý DRF không cần cân cổ phần chi phối người sử dụng Khi tổng nhu cầu người dùng đáp ứng, người dùng không cần nhiều nhiệm vụ hơn, nguồn lực dư thừa chia cho người sử dụng khác, giống công max-min Ngoài ra, nguồn tài nguyên bị cạn kiệt, người dùng không cần tài nguyên tiếp tục nhận cổ phiếu cao nguồn tài nguyên khác Chúng trình bày thuật toán để phân bổ DRF phần 10 10 Chính xác hơn, việc phân bổ CEEI đưa thương lượng Nash solution4 [22, 23] Các giải pháp thương lượng Nash chọn phân bổ khả thi nhằm tối đa hóa Qi ui (ai), nơi ui (ai) tiện ích cho người sử dụng nhận từ việc giao cô Để đơn giản hóa việc so sánh, giả định tiện ích mà người dùng nhận từ việc giao cô đơn giản phần chi phối, si Xem xét lại ví dụ hai người dùng phần 4.1 Nhớ lại cổ phần chi phối người A 4x / 18 = 2x / 9, cổ phần chi phối người dùng B 3Y / = y / 3, x số lượng nhiệm vụ giao để A y số nhiệm vụ giao B Tối đa hoá sản phẩm cổ phần chi phối tương đương với tối đa hóa sản phẩm x · y Như vậy, CEEI nhằm giải vấn đề tối ưu hóa sau Giải lượng x = vậy, người 16,4 GBI, CPU vấn đề sản 45/11 y = 18/11 Vì dùng A CPU h4.1, người dùng B h4.9, 1.6 GBI Thật không may, CEEI ghen tị miễn phí Pareto cách hiệu ficient, chiến lược chứng, thấy phần 6.1.2 Do đó, người dùng tăng phân bổ họ cách nói dối nhu cầu tài nguyên họ 5.3 So sánh với DRF Để cung cấp cho người đọc hiểu biết trực quan tài sản Công CEEI, so sánh phân bổ họ ví dụ phần 4.1 DRF hình 14 14 Chúng thấy DRF equalizes cổ phần chi phối người sử dụng, ví dụ, người sử dụng phần nhớ sử dụng CPU phần B Ngược lại, tài sản Công equalizes tổng phần nhỏ tài nguyên phân bổ cho người dùng, ví dụ, khu vực hình chữ nhật cho người dùng hình Cuối cùng, CEEI giả định thị trường cạnh tranh hoàn hảo, tìm thấy giải phóng mặt giải pháp thị trường đáp ứng, nơi nguồn lực phân bổ Thật không may, bất động sản xác điều làm cho để lừa CEEI: người dùng yêu cầu cô cần thêm số tài nguyên sử dụng mức, cô không, dẫn CEEI để cung cấp cho nhiều nhiệm vụ tổng thể cho người dùng để đạt giải phóng mặt thị trường Analysis Trong phần này, thảo luận mà thuộc tính trình bày phần hài lòng Asset Công bằng, CEEI, DRF Chúng đánh giá tính xác DRF kích thước công việc không phù hợp với nguồn lực sẵn có xác 6.1 Fairness Properties Bảng tóm tắt thuộc tính công hài lòng Asset Công bằng, CEEI, DRF Phần phụ lục có chứa chứng thuộc tính DRF, báo cáo kỹ thuật [14] chứa danh sách đầy đủ kết cho DRF CEEI Trong phần lại phần này, thảo luận số mục tích thú vị bảng, ví dụ, tính chất vi phạm môn học Đặc biệt, hiển thị thông qua ví dụ tài sản Công CEEI thiếu tài sản mà họ làm, chứng minh sách cung cấp tài nguyên mà không đơn điệu iolating chia sẻ khuyến khích hiệu Pareto để giải thích lý DRF thiếu đơn điệu tài nguyên 15 15 1.1.1.1 6.1.1 Properties Violated by Asset Fairness Trong sách đơn giản, tài sản Công vi phạm số thuộc tính quan trọng: khuyến khích chia sẻ, công nút cổ chai, đơn điệu tài nguyên Tiếp theo, sử dụng ví dụ cho thấy vi phạm đặc tính Định lý tài sản vi phạm Công tài sản chia sẻ khích lệ Proof xem xét ví dụ sau đây, minh họa Hình 5: hai người sử dụng hệ thống với h30, tổng nguồn 30I có nhu cầu vectơ D1 = h1, 3i, D2 = h1, 1i Công tài sản phân bổ sử dụng nhiệm vụ người dùng thứ hai 12 nhiệm vụ Người dùng nhận h6, nguồn 18i, thứ hai sử dụng H12, 12i.While với người dùng phần tổng hợp 24 60, người dùng thứ hai nửa (15) hai nguồn lực Điều vi phạm tài sản chia sẻ khích lệ, người dùng thứ hai tốt để phân vùng tĩnh cluster nửa riêng nút Định lý tài sản Công vi phạm sở hữu công nút cổ chai Proof xem xét kịch với vector nguồn tổng số H21, 21i hai người dùng với nhu cầu vectơ D1 = h3, 2i D2 = h4, 1i, làm cho tài nguyên công nút cổ chai resource.Asset cung cấp cho người dùng nhiệm vụ, cân tổng chúng sử dụng đến 15 Tuy nhiên, điều cung cấp cho người sử dụng / 7of nguồn (các tài nguyên nút cổ chai tranh), vi phạm công nút cổ chai 16 16 Proof Xét hai người A B với nhu cầu h4, 2i h1, 1i 77 đơn vị hai nguồn tài nguyên Công tài sản phân bổ A tổng cộng h44, 22i B H33, 33i vạchtổng cổ phiếu 66/77 Nếu tài nguyên hai tăng gấp đôi, chia sẻ nguồn tài nguyên thứ hai hai người sử dụng giảm nửa, tài nguyên bão hòa Công tài sản doanh nghiệp giảm phân bổ A tới h42, 21i tăng B để h35, 35I, cân tỉ số cổ phần để 42/77 +21/154 = 35/77 +35/154 = 105/154 Như tài nguyên đơn điệu vi phạm 1.1.1.2 6.1.2 Thuộc tính Vi phạm CEEI Trong CEEI ghen tị miễn phí hiệu Pareto, chứng chiến lược Bằng trực giác, điều CEEI giả định thị trường cạnh tranh hoàn hảo mà chieves giải phóng mặt thị trường, tức là, phù hợp với cung cầu phân bổ tất nguồn lực sẵn có Điều dẫn đến CEEI cho cổ phiếu cao nhiều cho người dùng sử dụng nhiều tài nguyên-tranh để sử dụng đầy đủ nguồn tài nguyên Do đó, người dùng khẳng định cô cần nhiều số tài nguyên sử dụng mức để tăng thị phần tổng thể tài nguyên Chúng minh họa Định lý CEEI chiến lược chống 17 17 Proof xem xét ví dụ sau đây, thể hình Giả sử vector nguồn tổng số H100, 100i, hai người dùng có nhu cầu H16, 1i h1, 2i Trong trường hợp này, CEEI giao 100/31 1500-1531 nhiệm vụ cho người sử dụng tương ứng (khoảng 3,2 48,8 nhiệm vụ) Nếu người sử dụng thay đổi vector nhu cầu để H16, 8I, đòi hỏi nhiều nguồn tài nguyên cô thực cần, CEEI cung cấp cho người dùng 25/6 100/3 nhiệm vụ tương ứng (khoảng 4,2 33,3 nhiệm vụ) Vì vậy, người sử dụng cải thiện số nhiệm vụ 3,2-4,2 cô nói dối vector nhu cầu User bị điều này, phân công nhiệm vụ giảm Ngoài ra, với lý trực quan (giải phóng mặt thị trường), có kết sau: Định lý CEEI vi phạm đơn điệu dân Proof Xem xét tổng H100 vector nguồn, 100i ba người dùng với vectơ cầu sau D1 = h4, 1i, D2 = h1, 16I, D3 = H16, 1i (xem hình 7) CEEI mang lại việc phân bổ A1 = h11 3, 5.4, 3.1i, nơi số ngoặc đơn đại diện cho số nhiệm vụ phân bổ cho người dùng Nếu người sử dụng rời khỏi hệ thống tuyên bố từ bỏ tài nguyên mình, cung cấp cho CEEI phân bổ A2 = h23.8, 4.8i, mà làm cho người sử dụng tồi tệ A1 1.1.1.3 6.1.3 Resource đơn điệu so với ưu đãi Chia sẻ hiệu Pareto Như thể Bảng 2, DRF đạt tất thuộc tính trừ đơn điệu tài nguyên Thay hạn chế DRF, hệ thực tế khuyến khích chia sẻ, hiệu Pareto, đơn điệu tài nguyên đạt lúc Kể từ xem xét hai tài sản quan trọng (xem phần 3) từ bổ sung nguồn lực cho hệ thống kiện tương đối hiếm, chọn để chia sẻ khích lệ đáp ứng hiệu Pareto, bỏ đơn điệu tài nguyên Đặc biệt, có kết sau 18 18 Định lý Không có sách giao đáp ứng khuyến khích chia sẻ tính hiệu Pareto đáp ứng đơn điệu tài nguyên Proof Chúng sử dụng ví dụ đơn giản để chứng minh property.Consider hai người A B đối xứng với nhu cầu h2, 1i, h1, 2i, tương ứng, giả định lượng hai nguồn lực Chia sẻ khuyến khích yêu cầu người dùng A nửa tài nguyên sử dụng B nửa nguồn By hiệu Pareto, biết hai người phải phân bổ thêm nguồn lực Không tính tổng quát, giả sử người dùng A đưa nửa nguồn (một đối số đối xứng giữ sử dụng B đưa nửa tài nguyên 2) Nếu tổng lượng tài nguyên tăng theo hệ số 4, người B không nhận phần uaranteed nửa số tài nguyên Bây giờ, việc phân bổ khả thi đáp ứng khuyến khích chia sẻ người sử dụng nửa số tài nguyên 1, mà yêu cầu giảm ser chia sẻ tài nguyên 1, vi phạm tài nguyên đơn điệu Định lý giải thích DRF đơn điệu CEEI vi phạm tài nguyên 6.2 Discrete Resource Allocation Cho đến nay, thừa nhận hồ bơi tài nguyên lớn có nguồn tài nguyên phân bổ lượng nhỏ tùy ý Tất nhiên, điều thường trường hợp practice.For dụ, cụm gồm nhiều máy nhỏ, nơi nguồn lực phân bổ cho nhiệm vụ với số lượng rời rạc Trong lời nhắc nhở phần này, đề cập đến hai kịch liên tục, kịch rời rạc, tương ứng Bây chuyển ý để công ảnh hưởng kịch rời rạc Giả sử cụm gồm máy K Hãy tối đa tác vụ biểu thị vector tối đa nhu cầu tất vectơ nhu cầu, tức là, max-task = {hmaxi di, 1}, {maxi di, 2}, · · ·, maxi {di, m} i Giả sử thêm nhiệm vụ dự kiến máy, tức là, tổng số lượng tài nguyên máy tính tối đa tác vụ Chúng xem xét trường hợp người dùng có nhu cầu nghiêm ngặt tích cực Với giả định, có kết sau 19 19 Định lý Trong kịch rời rạc, để phân bổ nguồn lực mà khác biệt phân bổ hai người bao bọc max-nhiệm vụ so với kịch phân bổ liên tục Proof Giả sử bắt đầu phân bổ nguồn lực vào máy thời gian, dành nhiệm vụ cho người sử dụng với phần chi phối thấp Miễn có tối đa tác vụ có sẵn máy tính đầu tiên, tiếp tục giao nhiệm vụ cho người sử dụng với phần vượt trội Một nguồn lực sẵn có máy tính trở nên kích thước tối đa tác vụ, di chuyển đến máy lặp lại trình Khi hoàn thành việc phân bổ, khác biệt hai phân bổ người sử dụng tài nguyên thống trị họ so với kịch liên tục nhiều tối đa tác vụ Nếu trường hợp, sau số người dùng A có nhiều max-nhiệm vụ khác biệt wrt cho người dùng B Tuy nhiên, điều trường hợp, thời gian qua A giao nhiệm vụ, B nên giao nhiệm vụ thay 20 20 Kết thực nghiệm Phần đánh giá DRF qua vi macrobenchmarks Các cựu thực thông qua thí nghiệm chạy thực thi DRF quản lý tài nguyên cụm Mesos [16] Sau thực cách sử dụng mô tracedriven Chúng bắt đầu cách hiển thị DRF động điều chỉnh cổ phiếu công việc có nhu cầu nguồn lực khác mục 7.1 Trong phần 7.2, so sánh với khe DRF cấp chia sẻ công (như thực Hadoop Fair Scheduler [34] Quincy [18]), CPU chia sẻ công Cuối cùng, mục 7.3, sử dụng Facebook để so sánh dấu vết DFT Fair Scheduler Hadoop sử dụng thời gian hoàn thành công việc 7.1 Dynamic Resource Sharing Trong thí nghiệm chúng tôi, hiển thị DRF động chia sẻ tài nguyên công việc có yêu cầu khác Chúng gặp hai công việc 48-nút Mesos cluster Amazon EC2, sử dụng "cực lớn" hợp với lõi CPU 15 GB nhớ RAM Chúng cấu hình mesos để phân bổ lên đến CPU 14 GB nhớ RAM nút, để lại GB cho hệ điều hành Chúng gửi hai công việc mà đưa nhiệm vụ với nhu cầu nguồn lực khác vào thời điểm khác khoảng thời gian phút Con số (a) (b) cho thấy CPU nhớ phân bổ cho công việc hàm thời gian, hình (c) cho thấy cổ phần chi phối họ Trong phút đầu tiên, việc sử dụng CPU h1, 10 GB Rami nhiệm vụ công việc sử dụng CPU h1, GB Rami nhiệm vụ Nguồn lực chi phối công việc RAM, tài nguyên thống trị công việc CPU Lưu ý DRF equalizes cổ phiếu công việc nguồn tài nguyên thống trị họ Ngoài ra, công việc có nguồn lực 21 21 chi phối khác nhau, cổ phần chi phối họ vượt 50%, tức là, việc sử dụng khoảng 70% RAM việc sử dụng khoảng 75% CPU Vì vậy, công việc hưởng lợi từ chạy cụm chia sẻ dùng nửa nút Điều nắm bắt chất tài sản chia sẻ ưu đãi Sau phút, kích cỡ nhiệm vụ hai công việc thay đổi, để CPU h2, GBI cho công việc CPU h1, GBI cho công việc Bây giờ, tài nguyên thống trị hai công việc "là CPU, DRF equalizes cổ phần CPU họ Lưu ý DRF tắc phân bổ tự động có Mesos phục vụ nguồn lực cho công việc với phần chi phối nhỏ nhiệm vụ hoàn thành Cuối cùng, sau phút, kích cỡ nhiệm vụ hai công việc thay đổi lần nữa: CPU h1, GBI cho công việc CPU h1, GBI cho công việc tài nguyên thống trị hai việc làm nhớ, DRF cố gắng để cân trí nhớ họ cổ phiếu Lý cổ phiếu không xác phân mảnh tài nguyên (xem mục 6.2) 7.2 DRF vs Alternative Allocation Policies Tiếp theo đánh giá DRF hai phương án thay với: lập lịch công khe dựa (một sách chung hệ thống tại, chẳng hạn Hadoop Fair Scheduler [34] Quincy [18]) (max-min) chia sẻ công áp dụng cho nguồn (CPU) Với thử nghiệm, chạy 48-nút Mesos cluster EC2 với lõi CPU GB RAM Chúng cấu hình mesos để phân bổ CPU RAM GB nút, để lại GB miễn phí cho hệ điều hành Chúng thực sách lập lịch trình ba module phân bổ Mesos Chúng chạy khối lượng công việc với hai lớp người dùng, đại diện cho hai đơn vị tổ chức với workloads.One khác đối tượng bốn người dùng gửi công việc nhỏ với nhiệm vụ đòi hỏi CPU h1, 0,5 GBI Các khác en-tity có bốn người dùng gửi công việc lớn với CPU nhiệm vụ demandsh2, GBI Mỗi công việc bao gồm 80 tasks.As sau hoàn thành công việc, người sử dụng khởi động công việc khác có nhu cầu tương tự Mỗi thí nghiệm chạy cho mười phút Cuối cùng, tính toán số lượng công việc hoàn thành loại, thời gian phản ứng họ 22 22 Đối với đề án phân bổ khe-based, thay đổi số lượng khe máy 3-6 để xem làm ảnh hưởng đến hiệu suất Hình đến 12 cho thấy kết Trong hình 10, so sánh số lượng việc làm loại hoàn thành cho chương trình lập kế hoạch mười phút Trong hình 11 12, so sánh thời gian đáp ứng trung bình Một số xu hướng rõ ràng từ liệu Đầu tiên, với lịch khe dựa trên, hai thông lượng đáp ứng công việc thời gian tồi tệ với DRF, không phụ thuộc vào số lượng khe Điều với số khe thấp, chức lịch undersubscribe nút (ví dụ,, khởi động có nhiệm vụ nhỏ nút), với số khe lớn, oversubscribe chúng (ví dụ, chạy nhiệm vụ lớn vào nút gây trao đổi công việc cần GB nút có GB) , Với thứ hai chia sẻ công cấp độ CPU, số lượng việc làm nhỏ thực tương tự DRF, có việc làm lớn thực hiện, nhớ cam kết số máy móc dẫn đến hoạt động hiệu cho tất nhiệm vụ nhớ cao chạy Nhìn chung, việc lập lịch DRFbased nhận thức nguồn lực có thời gian đáp ứng thấp thông lượng tổng thể cao 7.3 Simulations using Facebook Traces Tiếp theo sử dụng dấu vết đăng nhập từ cụm nút 2000 Facebook, chứa liệu cho khoảng thời gian tuần (tháng 10 năm 2010) Các liệu bao gồm việc làm Hadoop MapReduce Chúng giả định thời gian công tác, sử dụng CPU 23 23 nhớ tiêu thụ giống hệt dấu vết ban đầu Các dấu vết mô cụm nhỏ 400 nút để đạt mức sử dụng cao hơn, công trở thành có liên quan Mỗi nút cluster gồm 12 khe cắm, 16 lõi, nhớ 32 GB Hình 13 cho thấy đoạn ngắn 300 thứ hai phụ mẫu để hình dung CPU nhớ sử dụng tìm kiếm khối lượng công việc tương tự sử dụng DRF so với lịch công Hadoop (slot) Như thể hình, DRF cung cấp sử dụng cao hơn, Hình 14 cho thấy việc giảm trung bình thời gian hoàn thành công việc cho DRF so với lịch công Hadoop Khối lượng công việc nặng việc làm nhỏ,mà kinh nghiệm cải tiến (ví dụ, -3%) Điều công việc nhỏ thường bao gồm giai đoạn thực thi nhất, thời gian hoàn thành chi phối nhiệm vụ dài Như thời gian hoàn thành khó để cải thiện cho công việc nhỏ Ngược lại, thời gian hoàn thành công việc lớn giảm nhiều 66% Đây việc làm becausethese bao gồm nhiều giai đoạn, họ hưởng lợi từ việc sử dụng cao đạt DRF Related Work Chúng xem xét công việc liên quan khoa học máy tính kinh tế Trong nhiều báo khoa học máy tính tập trung vào công nhiều xem xét nguồn, nhiều trường hợp nguyên thay cho cùng, ví dụ, CPU [6, 7, 35], băng thông [10, 20, 21] Không giống phương pháp này, tập trung vào việc phân nguồn lực loại bổ khác 24 24 nguồn tài Quincy [18] lịch trình phát triển bối cảnh khuôn khổ Dryad tính toán cluster [17] Quincy đạt công bằng cách mô vấn đề công lịch trình vấn đề dòng min-chi phí Quincy không hỗ trợ công nhiều nguồn lực thực tế, đề cập phần thảo luận báo [18, tr 17], xuất khó khăn để kết hợp yêu cầu đa tài nguyên vào việc xây dựng dòng chảy min-chi phí Hadoop cung cấp hai kế hoạch chia sẻ công [1, 2, 34] Cả hai kế hoạch phân bổ nguồn lực granularity khe, nơi khe cắm phần cố định nguồn tài nguyên máy Kết là, kế hoạch lúc phù hợp với việc phân bổ tài nguyên với nhu cầu công việc, đặc biệt nhu cầu không đồng rộng rãi Như trình bày phần 7, không phù hợp dẫn đến việc sử dụng hai cụm thấp hiệu suất tài nguyên thuê bao Trong tài liệu kinh tế vi mô, vấn đề equityhas nghiên cứu khuôn khổ lý thuyết trò chơi Những sách trẻ [33] Moulin [22] hoàn toàn dành riêng cho chủ đề cung cấp giới thiệu tốt Các phương pháp ưa thích phận công kinh tế vi mô CEEI [3, 33, 22], giới thiệu 25 25 Varian [30] Do dành quan tâm đáng kể cho phần 5.2 Nhược điểm com CEEI bị để DRF chiến lược chống Kết là, người dùng thao tác Scheduler cách nói dối nhu cầu họ Nhiều người số sách phân chia công đề xuất tài liệu kinh tế vi mô dựa khái niệm tiện ích và, đó, tập trung vào thước đo tiện ích Trong tài liệu kinh tế, công max-min biết đến đặt tự từ điển [26, 25] (leximin) tiện ích Câu hỏi đặt công cụ người dùng khung cảnh multiresource, làm để so sánh tiện ích Một cách tự nhiên xác định tiện ích số lượng nhiệm vụ giao cho người sử dụng Nhưng mô hình hóa tiện ích theo cách này, với leximin, vi phạm nhiều tính chất công bằng, đề xuất Nhìn ánh sáng này, DRF làm hai đóng góp Đầu tiên, cho thấy cách sử dụng phần vượt trội proxy cho tiện ích, cân bằng cách sử dụng đặt hàng leximin chuẩn Thứ hai, chứng minh chương trình chiến lược chống cho chức tiện ích Lưu ý việc đặt hàng leximin phiên tự từ điển KalaiSmorodinsky (KS), giải pháp [19] Như vậy, kết cho thấy KS chiến lược chống cho tiện ích Kết luận học Chúng giới thiệu Dominant Resource Công (DRF), mô hình chia sẻ công mà khái quát công max-min cho nhiều loại tài nguyên DRF cho phép lập lịch cluster để đưa vào tài khoản nhu cầu không đồng ứng dụng trung tâm liệu, dẫn đến việc phân bổ công nguồn tài nguyên sử dụng cao so với giải pháp việc phân bổ nguồn lát giống hệt (khe) cho tất tasks.DRF thỏa mãn số tính chất mong muốn Đặc biệt, DRF chiến lược chống, để 26 26 người dùng incentivized báo cáo nhu cầu họ cách xác DRF incentivizes người dùng chia sẻ tài nguyên cách đảm bảo người dùng thực cụm chia sẻ họ nhỏ hơn, cụm riêng biệt Lập lịch khác mà nghiên cứu, khái niệm khác công từ tài liệu kinh tế vi mô, không đáp ứng tất thuộc tính Chúng đánh giá DRF cách thực quản lý tài nguyên Mesos, cho thấy dẫn đến hiệu suất tổng thể tốt so với lập lịch công khe dựa thường sử dụng Có nhiều hướng khác thú vị cho research.First tương lai, môi trường cluster với nhiệm vụ rời rạc, vấn đề thú vị để giảm thiểu phân mảnh tài nguyên mà không ảnh hưởng công Vấn đề tương tự bin-đóng gói, nơi phải đóng gói nhiều mặt hàng (nhiệm vụ) chịu đáp DRF Một hướng thứ hai liên quan đến việc xác định công nhiệm vụ có hạn chế vị trí, chẳng hạn máy preferences.Given xu hướng máy đa lõi, hướng nghiên cứu thú vị thứ ba để khám phá việc sử dụng DRF lịch trình hệ điều hành Cuối cùng, từ góc độ kinh tế vi mô, hướng tự nhiên để điều tra DRF có sách strategyproof cho công nhiều nguồn lực, định đặc tính mong muốn khác hiệu Pareto Tài liệu tham khảo 27 27 28 28 [...]... với nhu cầu h4, 2i và h1, 1i và 77 đơn vị của hai nguồn tài nguyên Công bằng tài sản phân bổ A tổng cộng h44, 22i và B H33, 33i vạchtổng của các cổ phiếu 66/77 Nếu tài nguyên hai là tăng gấp đôi, chia sẻ các nguồn tài nguyên thứ hai cả hai người sử dụng giảm đi một nửa, trong khi tài nguyên đầu tiên được bão hòa Công bằng tài sản doanh nghiệp giảm phân bổ A tới h42, 21i và tăng của B để h35, 35I, cân... số tài nguyên 2 Bây giờ, việc phân bổ chỉ khả thi đáp ứng các khuyến khích chia sẻ là để cho cả người sử dụng một nửa số tài nguyên 1, mà sẽ yêu cầu giảm ser 1 chia sẻ của tài nguyên 1, do đó vi phạm tài nguyên đơn điệu Định lý này giải thích tại sao cả DRF và đơn điệu CEEI vi phạm tài nguyên 6.2 Discrete Resource Allocation Cho đến nay, chúng ta đã mặc nhiên thừa nhận một hồ bơi tài nguyên lớn có nguồn. .. điều tra: Công bằng tài sản, một chính sách đơn giản và trực quan mà nhằm mục đích cân bằng tổng hợp nguồn lực được phân bổ cho mỗi người dùng, và cân bằng cạnh tranh từ Thu nhập bình đẳng (CEEI), các chính sách và lựa chọn khá phân bổ nguồn lực trong lĩnh vực kinh tế vi mô 12 12 5.1 Công bằng tài sản Ý tưởng đằng sau tài sản Công bằng là những phần bằng nhau của các nguồn tài nguyên khác nhau có giá... cầu người dùng A được ít nhất một nửa tài nguyên 1 và sử dụng B được một nửa nguồn 2 By hiệu quả Pareto, chúng ta biết rằng ít nhất một trong hai người phải được phân bổ thêm nguồn lực Không mất tính tổng quát, giả sử rằng người dùng A được đưa ra hơn một nửa nguồn 1 (một đối số đối xứng giữ nếu sử dụng B được đưa ra hơn một nửa tài nguyên 2) Nếu tổng lượng tài nguyên 2 bây giờ đã tăng theo hệ số 4,... bão hòa Vào cuối của việc phân bổ ở trên, người dùng A được CPU h3, 12 GBI, trong khi người dùng B được CPU h6, 2 GBI, tức là, mỗi người sử dụng được 2/3 tài nguyên thống trị của mình Lưu ý rằng trong ví dụ này, phân bổ dừng lại ngay khi bất kỳ tài nguyên được bão hòa Tuy nhiên, trong trường hợp chung, nó có thể là có thể tiếp tục giao nhiệm vụ thậm 11 11 chí sau khi một số tài nguyên đã được bão hòa,... dụng nhiều hơn một ít tài nguyên- tranh để sử dụng đầy đủ các nguồn tài nguyên đó Do đó, người dùng có thể khẳng định rằng cô ấy cần nhiều hơn của một số tài nguyên sử dụng đúng mức để tăng thị phần tổng thể của mình về tài nguyên Chúng tôi minh họa dưới đây Định lý 4 CEEI không phải là chiến lược chống 17 17 Proof xem xét ví dụ sau đây, thể hiện trong hình 6 Giả sử một vector nguồn tổng số H100, 100i,... liệu, dẫn đến cả việc phân bổ công bằng hơn các nguồn tài nguyên và sử dụng cao hơn so với các giải pháp hiện rằng việc phân bổ nguồn lát giống hệt nhau (khe) cho tất cả các tasks.DRF thỏa mãn một số tính chất mong muốn Đặc biệt, DRF là chiến lược chống, để 26 26 người dùng được incentivized báo cáo nhu cầu của họ một cách chính xác DRF cũng incentivizes người dùng chia sẻ tài nguyên bằng cách đảm bảo... xét tổng H100 vector nguồn, 100i và ba người dùng với các vectơ cầu sau D1 = h4, 1i, D2 = h1, 16I, và D3 = H16, 1i (xem hình 7) CEEI sẽ mang lại việc phân bổ A1 = h11 3, 5.4, 3.1i, nơi các con số trong ngoặc đơn đại diện cho số của nhiệm vụ được phân bổ cho mỗi người dùng Nếu người sử dụng 3 rời khỏi hệ thống và tuyên bố từ bỏ tài nguyên của mình, cung cấp cho các CEEI mới phân bổ A2 = h23.8, 4.8i,... phần B của Ngược lại, tài sản Công bằng equalizes tổng phần nhỏ tài nguyên được phân bổ cho mỗi người dùng, ví dụ, các khu vực của hình chữ nhật cho mỗi người dùng trong hình Cuối cùng, vì CEEI giả định một thị trường cạnh tranh hoàn hảo, nó tìm thấy một giải phóng mặt bằng giải pháp thị trường đáp ứng, nơi mọi nguồn lực đã được phân bổ Thật không may, bất động sản chính xác điều này làm cho nó có... bằng tài sản sau đó cố gắng để cân bằng các giá trị tài nguyên tổng hợp phân bổ cho mỗi người dùng Đặc biệt, Công bằng tài sản tính cho mỗi người dùng i phần theaggregate xi = Pj si, j, nơi si, j là chia sẻ tài nguyên j cho người dùng i Sau đó nó được áp dụng max-min trên cổ phiếu tổng hợp của người sử dụng, ví dụ, nó liên tục tung ra các nhiệm vụ cho người sử dụng với các phần tổng hợp tối thiểu Hãy ... sẻ tài nguyên cách đảm bảo người dùng ưu tiên người sử dụng yêu cầu thêm tài nguyên cho đủ số tài nguyên sử dụng ưu tiên phân bổ cho người giảm phân bổ cho người sử dụng khác Phân bổ tài nguyên. .. việc truy xuất đến tài nguyên hợp lệ, không xảy tranh chấp, đồng nhất, Tiểu luận tập trung tìm hiểu phương pháp phân bổ nguồn tài nguyên cách công để người sử dụng sử dụng tài nguyên cách hợp lý... tài nguyên khác người sử dụng có nhu cầu khác cho tài nguyên Đề phần phối hợp lý tài nguyên người ta đề DRF( Phân phối công tài nguyên) Một cách tổng quát cách đề phân phối công cho tất tài nguyên