Điều phối tác vụ trong hệ thống MAP-REDUCE dựa trên tính địa phương của dữ liệu

Bài viết tập trung nghiên cứu và so sánh hiệu suất hệ thống trong các trường hợp độ sao lưu dữ liệu có giá trị khác nhau, từ đó giúp người vận hành hệ thống Map-Reduce có thêm một tiêu chí để chọn các thông số hệ thống phù hợp. Mời các bạn cùng tham khảo!

Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) iu Phi Tác V Trong H Thng MAP-REDUCE Da Trên Tính a Phưng Ca D Liu Hunh Tn t Hc viên Khoa Công Ngh Thông Tin II Hc Vin Cơng Ngh Bưu Chính Vin Thơng Email: dathuynhtan@gmail.com Bùi Xuân Lc Khoa K Thut i Hc Tân To Email: locbui@ieee.org Abstract— Vn  d liu a phưng mt vn  quan trng cn xem xét thit k thut tốn iu phi cơng vic cho h thng Map-Reduce Gn ây, báo k thut [13] ã gii quyt ưc vn  d liu a phưng bng vic  xut mt kin trúc hàng i mi mt thut toán iu phi tác v ánh x (map task) da sách JSQ (Join the Shortest Queue) kt hp vi sách MaxWeight Tuy nhiên, báo [13] ch xem xét trưng hp  lưu d liu mt giá tr c th bng Trên thc t, tu thuc vào cu hình h thng,  lưu d liu có th ln hn hoc nh hn Trong báo này, m rng nghiên cu ca báo [13] so sánh hiu sut h thng trưng hp  lưu d liu có giá tr khác nhau, t ó giúp ngưi vn hành h thng Map-Reduce có thêm mt tiêu chí  chn thơng s h thng phù hp thêm  to kt qu cui Khi thc hin tác v “map”, mt nhng xem xét quan trng vic phân b tác v gn vi máy tính lưu tr khi d liu u vào cho tác v ó; vn  cịn ưc gi vn  d liu a phưng i vi mi tác v, gi mt máy tính mt máy tính a phưng cho tác v nu on d liu liên quan n tác v ưc lưu tr ti máy tính ó, gi tác v mt tác v a phưng máy tính Trong trưng hp li (ngha d liu cn thit cho tác v không ưc lưu tr ti máy tính), máy tính ó ưc gi máy tính t xa cho tác v, tưng ng vi tác v ưc gi tác v t xa máy tính Tính a phưng nên ưc xem xét n vic phân b tác v “map” chy máy tính Vic ci thin tính a phưng có th gim thi gian x lý ca tác v “map” lưu lưng ti t mng mt vài tác v “map” cn ly d liu t xa Tuy nhiên, vic gán tt c tác v n máy tính a phưng có th dn n mt s phân phi không ng u ca tác v gia máy, tc mt s máy b tc nghn máy khác nhàn ri Vì vy cn phi cân bng gia d liu a phưng cân bng ti Map-Reduce ây ng lc thúc y nhà nghiên cu tìm hiu, ci tin,  xut thut toán mi nhm nâng cao hiu qu s dng hiu sut h thng Mt s thut toán iu phi ưc  xut trưc ây h thng Map-Reduce/Hadoop  ci thin d liu a phưng Thut toán FIFO scheduler Hadoop [12] vi vic iu phi mt máy sn sàng  phc v tác v “map” t công vic head-of-line vi d liu gn nht n máy tính Mc dù mt vài ti ưu hoá a phưng ã ưc thc hin, vn  head-of-line blocking  a phưng vn tn ti hiu sut thơng lưng vn b hn ch Thut tốn Fair Scheduler Hadoop [6] vi k thut iu phi chm tr ưc s dng  ci thin a phưng Khi mt máy tính u cu mt tác v mi, nu cơng vic ưc iu phi tip  cơng bng khơng có tác v a phưng sn có cho máy tính này, cơng vic tm thi b qua máy tính kim tra công vic tip theo danh sách K t máy tính ưc gii phóng nhanh, nhiu tác v a phưng ưc phc v Tuy nhiên, máy tính ang rnh s ưc gii thiu t mt máy sn sàng có th b qua tt c cơng vic khơng th tìm mt tác v a phưng vic cân bng gia thi gian rnh a phưng khơng rõ ràng Thut tốn iu phi Quincy ưc thit k cho Dryad [7] vi mt mô hình phân phi máy tính cho phép lưu d liu phc tp hn Map-Reduce Quincy s dng tng s d liu truyn n v o a Keywords- in toán ám mây, Map-Reduce, d liu a phưng, Hadoop I GII THIU Ngày nay, ang sng thi i thông tin, vi s tng trưng bùng n thông tin theo cp s nhân Nhng công ty hàng u v công ngh thông tin Google, Yahoo!, Amazon, Microsoft, Facebook, Twitter… ang i mt vi mt khi lưng d liu khng l S tng trưng òi hi chin lưc mi  x lý phân tích d liu in toán ám mây ưc phát trin Map-Reduce/Hadoop ang mt mơ hình tính tốn mnh m ưc ng dng in toán ám mây Vic x lý tp d liu quy mô ln ã tr thành mt vn  ngày quan trng y thách thc vi s lưng d liu ưc to bi mng xã hi trc tuyn, nghiên cu khoa hc… Map-Reduce/Hadoop [9]-[15] mt framework n gin mnh m  x lý tp d liu quy mô ln môi trưng phân tán x lý song song, ang ưc s dng rng rãi thc t Mt cm máy tính Map-Reduce có th bao gm hàng chc ngàn máy tính [2] Các d liu ưc lưu tr thưng ưc t chc h thng phân phi tp tin (ví d h thng tp tin Google (GFS) [10], h thng tp tin phân tán Hadoop (HDFS) [4]) ó phân chia mt tp d liu ln thành nhiu on d liu lưu tr thành nhiu bn (mc nh bn sao) ca mi on d liu máy tính khác khau Mt yêu cu x lý d liu framework Map-Reduce ưc gi mt công vic (job) bao gm hai loi tác v: “map” (“ánh x”) “reduce” (“gim”) Mt tác v “map” c mt on d liu x lý  to kt qu trung gian (các cp khoá – giá tr) Sau ó tác v “reduce” ly kt qu trung gian thc hin tính tốn ISBN: 978-604-67-0635-9 24 24 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Cơng Nghệ Thơng Tin (ECIT 2015) phưng mã hố vào mơ hình giá Sau ó, quyt nh iu phi ưc thc hin bng cách gii quyt vn  chi phí thp nht Ngồi ra, cịn có rt nhiu cơng trình nghiên cu ã  xut thut tốn iu phi  gii quyt vn  ci thin d liu a phưng Map-Reduce ưc trin khai thc t Tuy nhiên chưa có cơng trình nghiên cu ưa thut tốn iu phi cơng vic có th t ưc min dung lưng y  (full capacity region)  gim thiu thi gian ch i tc nghn mt cm máy tính Map-Reduce Vi tình hình ó, mt kin trúc hàng i mi mt thut toán iu phi tác v “map” ã ưc  xut gn ây báo k thut [13] Kin trúc thut toán gii quyt ưc vn  d liu a phưng bng vic t ưc min dung lưng y  nhm gim thiu thi gian ch i tc nghn mt cm máy tính Map-Reduce Kin trúc hàng i gm mt hàng i a phưng tưng ng vi tng máy tính  lưu tr tác v a phưng cho máy mt hàng i chung cho tt c máy tính Da kin trúc hàng i này, tác gi nghiên cu mt thut toán iu phi tác v ánh x (map) vi hai giai on: mt tác v mi n s ưc chuyn n mt hàng i tưng ng vi máy tính a phưng hoc hàng i chung bng sách Join the Shortest Queue (JSQ) mt máy tính rnh s chn mt tác v t hàng i a phưng tưng ng vi hoc hàng i chung bng cách s dng sách MaxWeight [14] Có th d dàng thy rng tác gi ca [13] ch xem xét trưng hp  lưu d liu bng (ngha mi on d liu có bn ưc lưu tr  máy tính khác nhau) Trên thc t, tu thuc vào cu hình h thng,  lưu d liu có th ln hn hoc nh hn Trong báo này, m rng nghiên cu ca báo [13] bng vic xem xét so sánh hiu sut h thng trưng hp  lưu d liu có giá tr khác C th, chng minh lý thuyt mô phng h thng dùng công c mô phng OMNeT++ cho trưng hp  lưu d liu K có giá tr tng quát; ng thi so sánh hiu sut ca h thng vi trưng hp dưi ti (underload), gn ti (load), ti (overload) Chúng tin rng nhng kt qu có ưc s giúp ngưi vn hành h thng Map-Reduce có thêm mt tiêu chí  chn thơng s h thng phù hp Phn li ca báo ưc t chc sau Trong phn II, miêu t mơ hình h thng Trong phn III, chúng tơi trình bày chng minh lý thuyt v ti ưu hố thơng lưng Phn IV cung cp kt qu mô phng Cui cùng, kt lun báo phn V II MƠ HÌNH H THNG Chúng tơi xem xét mt mơ hình thi gian ri rc cho mt cm máy tính bao gm M máy tính, ưc ánh s th t 1, 2, …, M Chúng gi nh rng mi công vic n yêu cu mt tác v “map”, mi tác v “map” yêu cu mt mu d liu u vào Chúng cng gi s rng mi mt mu d liu ưc lưu  K (K > 1) máy tính khác Vì vy mi tác v liên quan n K máy tính a phưng Phi mt mt thi gian dài hn cho mt máy tính  x lý mt tác v nu on d liu cn thit không ưc lưu tr ti a phưng k t máy tính cn ly d liu u tiên Các tác v có th phân loi theo máy tính a phưng mà chúng liên kt vi i vi mi tác v gán ch s ca K máy tính cc b theo mt trt t tng dn vào mt vector  hình thành loi tác v:  ∈   ,  , … ,    ∈ 1,2, … ,  ,  <  < ⋯ <   Các ký hiu  ∈  ch rng máy tính m mt máy tính a phưng cho kiu tác v  Chn ký hiu ℒ biu th cho tp hp kiu công vic tn ti cm  = ℒ A Quá trình n trình phc v Cho   biu din tng s lưng kiu công vic  n h thng cho n thi im bt u ca khe thi gian t Chúng tơi gi s rng q trình n hàm tng theo thi gian vi tc  n  Ti mi máy tính thi gian phc v cơng vic ưc gi s tuân theo phân phi hình hc (geometric distribution) Tham s phân phi hình hc cho mt cơng vic ti mt máy tính a phưng  ti máy tính t xa  Q trình phc v ca mt cơng vic có th ưc xem mt chui s kin c lp vi xác sut thành công  (hoc ) chui s kin s dng mt có mt s thành cơng tc mt cơng vic ã hồn thành Trong mơ hình chúng tơi gi s  > , ngha là, thi gian phc v trung bình ca cơng vic a phưng hn thi gian phc v công vic t xa Chú ý rng giá tr khác ca   th hin hiu qu x lý khác i vi d liu a phưng B Thut tốn iu phi cơng vic (task scheduling algorithm) iu phi công vic vic gán công vic n máy tính  x lý Vi vn  d liu a phưng, thut tốn iu phi cơng vic có th nh hưng áng k n hiu qu ca h thng Trong báo này, xem xét mt thut tốn iu phi cơng vic bao gm hai phn, nh tuyn iu phi, ưc  xut báo k thut [13] H thng iu phi bao gm mt kin trúc hàng i ưc minh ho bi Hình Máy Master trì mt hàng i cơng vic cc b cho mi máy tính m, ưc ký hiu  ưc gi hàng i cc b Có mt hàng i chung cho tt c máy tính ưc ký hiu  (hoc ơi ngưi ta ký hiu  ) ưc gi hàng i chung t xa (common remote queue) Chúng dùng mt vector chiu dài hàng i  =   , … ,  ,    ký hiu cho chiu dài dàng i ti thi im bt u ca khe thi gian t Khi mt công vic n, máy Master nh tuyn công vic n mt hàng i h thng hàng i Khi mt máy tính idle, chn mt cơng vic t hàng i a phưng tưng ng hoc hoc t hàng i chung t xa  phc v Hai bưc ưc minh ho Hình Chúng ta gi bưc u tiên nh tuyn (routing) bưc th hai iu phi (scheduling) Thut toán c th sau Bưc - Join the Shortest Queue (JSQ) Routing: Khi mt cơng vic n, máy tính Master s so sánh chiu dài hàng i ca K hàng i cc b hàng i chung t xa sau ó nh tuyn n mt hàng i có chiu dài ngn nht Cho ,  2525 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) nu máy tính m idle tc   = ,   hoc ưc quyt nh bi máy tính Master bng thut tốn MaxWeight Chúng tơi dùng vector iu phi  =  ,  , … ,    biu din quyt nh iu phi cho tt c máy tính   biu din công vic  ưc giao tưng ng vi   Các công vic ưc giao n cho mi hàng i có th ưc biu din bng vector n  =  , … ,  ,  ưc nh ngha sau:   =    ∈  , ,  = 1,2, … , , C ng hc hàng i (queue dynamics) Trong khe thi gian t, u tiên máy tính Master kim tra thông tin trng thái làm vic  chiu dài hàng i  Sau ó cơng vic n ti máy tính Master máy tính Master thc hin nh tuyn iu phi, cho ta thông tin  Chúng nh ngha:  =         =   = 1,    = ,        = ,  =   =  Vi nh ngha trên, dch v t máy tính m cho hàng i a phưng  hàng i t xa  hai bin Bernoulli       Do ó,   dch v ưc áp dng cho mi hàng i có th ưc biu din  ,     bng vector dch v  =  , … ,   vi tc  dch v  hoc  Khi ó chiu dài hàng i tho mãn phưng trình sau: Hàng i a phưng (Local queues): vi m=1,2, …, M,      ,    1 =         ó: Hình 1: Kin trúc hàng i thut toán iu phi        1,   =          =  Bưc - MaxWeight Scheduling: Nu mt máy tính m va hồn thành mt cơng vic ti khe thi gian t-1, trng thái làm vic ca idle Nu khơng, máy tính phi thc hin mt cơng vic a phưng hoc mt công vic t xa Cho   = , 1, biu din tưng ng cho trng thái: idle, ang thc hin mt công vic a phưng, ang thc hin mt công vic t xa Vector trng thái làm vic   =  ,  , … ,   vector chiu dài hàng i  ưc báo cáo v cho máy tính Master ti thi im bt u ca khe thi gian t máy tính Master quyt nh iu phi cho tt c máy tính da   Các máy tính idle ưc iu phi bi thut tốn MaxWeight: gi s máy tính m idle ti slot thi gian t, phc v mt cơng vic a phưng nu     phc v mt công vic t xa cho trưng hp khác Các máy tính khác tip tc thc hin cơng vic chưa hồn thành tc thc hin cơng vic khơng ưu tiên Cho   biu din quyt nh iu phi ca máy tính m ti slot thi gian t, mt hàm ca    Hàng i t xa (Remote queue)    1 =        ó:    =            ,     ,  ∈ vi là tp máy tính mà phc v mt vài cơng vic t hàng i t xa ti slot thi gian t Chú ý rng có th có mt vài máy tính c gng phc v hàng i t xa tht bi thiu cơng vic Chúng ta có th vit li phưng trình ng hc hàng i sau:   1 =       ,  vi  =  , … ,  ,  (1) Trong trưng hp thi gian phc v xác nh, trình hàng i ,    chui Markov Tuy nhiên thi gian phc v mơ hình ngu nhiên không ng nht vn  d liu a phưng Do ó cn xem xét thêm vector trng thái làm vic ; c th,  vi  s to thành chui Markov , ,    Chúng ta gi nh trng thái ban u ,  =  ,   không gian trng thái      ,1,2 bao gm tt c trng thái mà có th t ưc 1 ,   =   2 Lưu ý rng   cho bit hàng i máy tính m ã ưc iu phi  phc v Nó ch có giá tr hoc k t ưc iu phi  phc v mt công vic a phưng hoc mt công vic t xa Nu máy tính m khơng idle tc   = 12 , thit lp iu phi   bng vi   Tuy nhiên, 26 26 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thơng Tin (ECIT 2015) chn ngồi Ʌ Do ó thut tốn ti ưu thơng lưng Ʌ cng min dung lưng ca h thng t trng thái ban u, vi  tp s nguyên không âm D thy rng chui Markov ti gin (irreducible) khơng tun hồn (aperiodic) Chng minh: Chng minh tưng t chng minh ca nh lý báo k thut [13], nhiên, [13] ch xét trưng hp K=3 Vi trưng hp K tng quát, ta thy rng tp ℒ (tp hp kiu công vic) s thay i,  = ℒ cng thay i Tuy nhiên, chng minh ca nh lý [13] vn có th ưc m rng cho trưng hp K tng quát Vì lý gii hn v  dài báo, ch nêu ý tưng chng minh  ây mi ngưi c tham kho báo [13] v chi tit Ý tưng ca chng minh sau: Vì , ,    mt chui Markov ti gin khơng tun hồn, s n nh ưc nh ngha s hi quy dưng (positive recurrence) ca chui Markov Da theo nh lý Foster-Lyapunov m rng, ta ch cn tìm mt s dưng T mt hàm Lyapunov cho  trôi ca hàm Lyapunov (Lyapunov drift) sau T khe thi gian b chn nu  bên mt tp hu hn ca không gian trng thái âm nu  bên tp C th hàm Lyapunov ưc chn có dng: TI U HỐ THƠNG LNG III Trong phn này, chúng tơi s chng minh tính nng ti ưu hố thơng lưng ca thut tốn iu phi ưc trình bày  phn trưc Chú ý rng tính nng ã ưc chng minh báo k thut [13] vi trưng hp K=3; phn m rng chng minh vi trưng hp K tng quát Ý tưng ca chng minh sau: Trưc tiên xác nh min chn (outer bound) ca min dung lưng ca h thng Sau ó chng minh rng thut tốn iu phi có th n nh hoá bt k vector tc  n thuc min chn ngồi (n nh hố theo ngha hàng i u n nh không tng theo thi gian) iu ó có ngha thut tốn iu phi ti ưu thông lưng, min dung lưng cng trùng vi min chn A Min dung lng (capacity region) i vi bt k kiu công vic  ∈ ℒ, gi nh rng s lưng kiu công vic  n ưc phân b n máy m có tc  , , vi  =   ,  , Tp tc            ,  =   =     ∈ℒ,,…, Khi ó ta có th chng minh rng (tham kho chi tit [13])  trôi Lyapunov sau T khe thi gian t t0 ưc chn bi  ,    ≤ 2     vi hng s  >  nh ưc gi mt phân tích (decomposition) ca vector tc   =   ,  , … ,   Vi vector tc  n , xét mt máy tính m bt k, iu kin cn  h thng ưc n nh lưng tác v trung bình ưc phân b cho máy tính m mt khe thi gian có th ưc phc v ht khe thi gian ó, có ngha là:  ∈   , ,    ≤ 1,    ngha tp ß = ,  ∈   ⋯    ≤    vi  >  bt k Khi ó ß mt tp hu hn ca không gian trng thái vi ,  ∈ ß , ,  ≤  ,  ∈ ß, ,  ≤  iu tho mãn nh lý Foster-Lyapunov m rng hoàn thành chng minh (2)  ∉   IV ó v trái thi gian máy tính m cn có  phc v lưng tác v trung bình phân b cho mt khe thi gian, vi tc  dch v  cho công vic a phưng  cho công vic t xa Gi Ʌ tp giá tr tc  n mà mi phn t phân tích ca tho mãn (2) C th: Ʌ =   =  ,  , … ,     =   , , ∀ ∈ ℒ, Trong phn trưc chúng tơi ã chng minh tính ti ưu hố thơng lưng ca thut tốn iu phi ưc  xut c vi  lưu d liu K tng quát Tuy nhiên, câu hi ưc t hiu sut h thng ca thut toán iu phi thay i th vi giá tr K khác Chúng tơi s tr li câu hi ó phn vi kt qu mô phng Chúng tơi mơ phng thut tốn vi giá tr  lưu d liu: K = 2, 3, 4, 6, 8, 10, so sánh hiu sut ca h thng vi trưng hp dưi ti (underload), ti (load) ti (overload) Tiêu chun ánh giá da vào tng s lưng tác v tn ti hàng i a phưng hàng i t xa sau mi khe thi gian (3)  ,  , ∀ ∈ ℒ, ∀ = 1, … ,    ∈   ,    ∉   ,   ≤ 1, ∀ = 1, … ,  KT QU MƠ PHNG Chúng tơi thc hin mơ phng h thng vi 400 máy tính mt tp d liu ưc phân b ng u 320 máy s ó Thi gian phc v cho tác v a phưng tác v t xa tuân theo phân phi hình hc vi tham s tưng ng  = .8  = .2 Vì vy tng dung lưng ca h thng (tính theo s tác v n mt n v thi gian) bng  = 320 α + 80γ = 272 Tng thi gian chy ca h thng 2000 n v thi gian D thy rngɅ min chn ngồi ca min dung lưng ca h thng B Tính ti u thơng lng (throughput optimality) nh lý 1: Thut tốn iu phi ưc  xut  Phn II.B có th n nh h thng vi vector tc  n bt k thuc min 27 27 HộiHội Thảo Quốc GiaGia 2015 Công CôngNghệ NghệThông Thông (ECIT 2015) Thảo Quốc 2015vềvềĐiện ĐiệnTử, Tử,Truyền TruyềnThông Thông TinTin (ECIT 2015) Bng cho thy kt qu trung bình theo thi gian ca tng s lưng tác v hàng i (tưng ng vi tng chiu dài ca tt c hàng i) vi giá tr khác ca tc  tác v n ()  lưu d liu (K) Kt qu cng ưc th hin  th Hình C th, Hình biu din s bin thiên ca tng chiu dài trung bình hàng i theo s thay i ca tc  tác v n ng vi trưng hp K = 2, 3, 4, 6, 8, 10 Ta có th thy rng tc  n nh (dưi ti – underload), tng chiu dài trung bình hàng i tng dn K tng dn, ngha giá tr K nh s có hiu sut cao hn trưng hp Tuy nhiên, tc  n tng dn (ti tng dn), tng chiu dài trung bình hàng i ng vi giá tr K nh tng nhanh hn tng chiu dài trung bình hàng i ng vi giá tr K ln c bit, tc  n gn ti (gn dung lưng h thng), tng chiu dài trung bình hàng i gim dn K tng dn, ngha giá tr K ln s cho hiu sut cao hn A Trng hp di ti (underload) Vi trưng hp cho h thng chy vi tc  tác v n  = 100 (tác v mt n v thi gian) Chy vi K = 2, 3, 4, 6, 8, 10 vi thi gian 2000 n v thi gian Chúng ta theo dõi tng s lưng tác v tc thi h thng  quan sát s n nh Hình cho thy s i din n nh theo thi gian, qua ó thy rõ s n nh ca h thng Vi kt qu Hình thy rng hiu sut h thng vi  chép d liu K = 2, 3, 4, 6, 8, 10 luôn n nh theo thi gian Tuy nhiên vi trưng hp  chép d liu K = tt hn trưng hp khác Hình 3: Kt qu trưng hp  = 100 B Trng hp gn ti (load) Vi trưng hp cho h thng chy vi tc  tác v n ln lưt  = 200 (tác v mt n v thi gian),  = 250 (tác v mt n v thi gian),  = 260 (tác v mt n v thi gian),  = 270 (trong mt n v thi gian) Chy vi K = 2, 3, 4, 6, 8, 10 vi thi gian 2000 n v thi gian Hình 2: Hiu sut thông lưng h thng Bng 1: Kt qu s lưng cơng vic trung bình h thng CCCCCCSSCC K  100 120 140 160 180 200 220 230 240 250 260 272 300 K=2 K=3 K=4 K=6 K=8 K=10 42 65 114 371 503 596 713 798 937 1613 8277 22941 57792 48 66 89 122 330 445 530 584 663 849 7673 22514 57420 55 75 96 122 159 347 444 490 555 690 7608 22456 57438 68 90 113 138 166 203 344 390 444 544 7209 22042 57050 77 101 127 153 180 211 270 349 398 482 7280 22205 57246 85 110 136 163 191 220 258 316 371 437 6788 21752 56792 Vi kt qu Hình 4, Hình thy rng tng s lưng tác v tc thi h thng vn n nh theo thi gian Kt qu Hình 6, Hình cho thy tng s lưng tác v tc thi h thng có chiu hưng ti Tuy nhiên vi trưng hp  chép d liu K = 10 tt hn trưng hp khác K tip, chúng tơi xem xét q trình thay i ca tng chiu dài hàng i theo thi gian ng vi giá tr khác ca  K Hình 4: Kt qu trưng hp  = 200 28 28 HộiHội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) V KT LUN Trong báo ã k tha m rng kt qu nghiên cu ca tác gi W Wang, K Zhu, L Ying, J Tan, L Zhang báo k thut [13] cho trưng hp  lưu d liu có giá tr tng quát Trong h thng Map-Reduce thc t,  lưu d liu mt thông s quan trng tin rng nhng kt qu có ưc báo s giúp ngưi vn hành h thng Map-Reduce có thêm mt tiêu chí  chn thơng s h thng phù hp TÀI LIU THAM KHO Hình 5: Kt qu trưng hp  = 250 [1] [2] [3] [4] [5] Hình 6: Kt qu trưng hp  = 260 [6] [7] [8] [9] [10] Hình 7: Kt qu trưng hp  = 270 [11] C Trng hp ti (overload) Vi trưng hp cho h thng chy vi tc  tác v n ln lưt  = 272 (tác v mt n v thi gian),  = 300 (tác v mt n v thi gian) Chy vi K = 2, 3, 4, 6, 8, 10 vi thi gian 2000 n v thi gian [12] [13] Vi kt qu Bng thy rng ng vi c hai giá tr  trưng hp tng s lưng tác v trung bình theo thi gian tưng ưng cho tt c giá tr ca K, h thng luôn ti [14] [15] [16] 29 29 C Abad, Y Lu, and R Campbell (2011), “DARE: Adaptive data replication for efficient cluster scheduling” in IEEE Int Conf Cluster Computing (CLUSTER), pp 159–168 G Ananthanarayanan, S Agarwal, S Kandula, A Greenberg, I Stoica, D Harlan, and E Harris (2011), “Scarlett: coping with skewed content popular in MapReduce clusters” in Proc European Conf Computer Systems (EuroSys), pp 287–300 J Dean and S Ghemawat (2008), “MapReduce: simplified data processing on large clusters” ACM Commun, vol 51 (no 1), pp 107– 113 K Shvachko, H Kuang, S Radia, and R Chansler (2010), “The hadoop distributed file system” in IEEE Symp Mass Storage Systems and Technologies (MSST), pp 1–10 L Tassiulas and A Ephremides (1992), “Stability properties of constrained queueing systems and scheduling policies for maximum throughput in multihop radio networks” IEEE Trans Autom Control, vol 4, pp 1936–1948 M Zaharia, D Borthakur, J Sen Sarma, K Elmeleegy, S Shenker, and I Stoica (2010), “Delay scheduling: a simple technique for achieving locality and fairness in cluster scheduling” in Proc European Conf Computer Systems (EuroSys), pp 265–278 M Isard, V Prabhakaran, J Currey, U Wieder, K Talwar, and A Goldberg (2009), “Quincy: fair scheduling for distributed computing clusters” in Proc ACM Symp Operating Systems Principles (SOSP), Big Sky, MT, pp 261-276 S T Maguluri and R Srikant (2013), “Scheduling jobs with unknown duration in clouds” in Proc IEEE Int Conf Computer Communications (INFOCOM), Turin, Italy S T Maguluri, R Srikant, and L Ying (2012), “Heavy traffic optimal resource allocation algorithms for cloud computing clusters” in Int Teletraffic Congr (ITC), Krakow, Poland S Ghemawat, H Gobioff, and S.-T Leung (2003), “The google file system” in Proc ACM Symp Operating Systems Principles (SOSP), pp 29–43 S Kavulya, J Tan, R Gandhi, and P Narasimhan (2010), “An analysis of traces from a production MapReduce cluster” in Proc IEEE/ACM Int Conf Cluster, Cloud and Grid Computing (CCGRID), pp 94–103 T White (2010), Hadoop: The definitive guide, Yahoo Press W Wang, K Zhu, L Ying, J Tan, and L Zhang, (2013), “MapTask scheduling in MapReduce with data locality: Throughput and heavytraffic optimality”, in Proc IEEE Int Conf Computer Communications (INFOCOM), Turin, Italy L Tassiulas and A Ephremides (1993), “Dynamic server allocation to parallel queues with randomly varying connectivity” IEEE Trans Inf Theory, vol 39, pp 466–478 http://hadoop.apache.org https://omnetpp.org  ... nghn mt cm máy tính Map-Reduce Kin trúc hàng i gm mt hàng i a phưng tưng ng vi tng máy tính  lưu tr tác v a phưng cho máy mt hàng i chung cho tt c máy tính Da kin trúc... d liu ưc lưu  K (K > 1) máy tính khác Vì vy mi tác v liên quan n K máy tính a phưng Phi mt mt thi gian dài hn cho mt máy tính  x lý mt tác v nu on d liu cn thit... ti a phưng k t máy tính cn ly d liu u tiên Các tác v có th phân loi theo máy tính a phưng mà chúng liên kt vi i vi mi tác v gán ch s ca K máy tính cc b theo mt trt