3.2 Phương pháp lấy số liệu thực nghiệm
Dữ liệu CDR đầu vào được chia làm ba nhóm theo ba loại dung lượng khác nhau là 12G, 43G và 95G. Mỗi lần chạy thực nghiệm thì chạy trên cùng một nhóm số liệu và chạy song song trên hai mô hình. Mỗi lần chạy đều ghi lại các thông tin chi tiết như: thời gian, dung lượng, tài nguyên máy chủ...
Thông tin cơ bản của một lần chạy, các dữ liệu này được ghi lại thủ công sau mỗi lần chạy.
Bảng 3.2: Thông tin cơ bản mỗi lần chạy
Chú thích Dữ liệu ví dụ Đơn vị
Size of Folder Dung lượng dữ liệu CDR đầu vào 12 Gb Number of files Số lượng file dữ liệu đầu vào 9,965 file Num of record Tổng số bản ghi cần import 53,654,298 record Start time Thời gian bắt đầu chạy lần thứ n 20180713144915 date End time Thời gian kết thúc lần chạy thứ n 20180713152359 date Times Thời gian chạy lần thứ n (phút) 35 Minute
Thông tin chi tiết về máy chủ trong quá trình chạy. Trong quá trình chạy số liệu sẽ có một script dùng để ghi lại thông tin chi tiết của máy chủ, script này cứ 5s lại thực hiện một lần và ghi thông tin vào một text file.
Bảng 3.3: Thông tin chi tiết máy chủ trong quá trình chạy
Chú thích Dữ liệu ví dụ
Date Thời gian thực hiện script 20180716123015 Memmory Use Dung lượng RAM máy chủ sử dụng tại thời điểm
chạy script (Mb)
4922
MemmoryCache Dung lượng Cache máy chủ sử dụng tại thời điểm chạy script (Mb)
251733
ReadKB Lưu lượng đọc dữ liệu từ ổ cứng tại thời điểm chạy script (Kb)
325
WriteKB Lưu lượng ghi dữ liệu vào ổ cứng tại thời điểm chạy script (Kb)
36024
CPU Phần trăm CPU máy chủ sử dụng tại thời điểm chạy script
0.14%
Thông tin chi tiết về tải của máy chủ được ghi lại theo một shell script trên Linux. Trong script này có các biến để lấy ra các thông tin về ngày giờ chạy, thông tin về CPU, RAM và đọc/ghi của ổ cứng. Các thông tin này sẽ được lưu ra một file trên ổ cứng, tên file được đặt theo thời gian chạy để tránh việc ghi đè của các file. Sau khi script chạy lấy thông số và ghi ra file xong thì sẽ dừng 5s rồi chạy tiếp. Vì vậy tổng số thời gian giữa hai lần chạy là từ 5s đến 10s.
Listing 3.1: Script ghi lại tải chi tiết tải máy chủ
# ! / bin / b a s h f i l e n a m e = c p u _ r a m _ i o _ ‘ d a t e ’+% Y_ % m_ % d -% H % M % S ’ ‘. csv p r i n t f " D at e \ t \ t \ t M e m m o r y U s e \ t \ t M e m m o r y C a c h e \ t \ t R e a d K B \ t \ t W r i t e K B \ t \ t C P U \ n " e c h o " D at e ␣ ␣ M e m m o r y U s e ␣ ␣ M e m m o r y C a c h e ␣ ␣ R e a d K B ␣ ␣ W r i t e K B ␣ ␣ CPU " > $ f i l e n a m e w h i l e [ 1 ]; do M e m m o r y U s e = $ ( f r e e - m | awk ’ NR = = 2 {p r i n t f " %. f \ t \ t \ t " , $3 } ’) M e m m o r y C a c h e = $ ( f r e e - m | awk ’ NR = = 2 {p r i n t f " %. f \ t \ t \ t " , $6 } ’)
CPU = $ ( top - bn1 | g r e p l o a d | awk ’{p r i n t f " %.2 f %%\ t \ t \ n " , $ ( NF -2)} ’) rkB = $ ( i o s t a t - xd 1 3 | g re p sda | awk ’ NR = = 3 {p r i n t f " %. f \ t \ t \ n " , $6 } ’) wkB = $ ( i o s t a t - xd 1 3 | g re p sda | awk ’ NR = = 3 {p r i n t f " %. f \ t \ t \ n " , $7 } ’) D a t e = $ (p r i n t f ’%(% Y % m % d % H % M % S ) T \ t \ t \ n ’ -1) e c h o " $ D a t e $ M e m m o r y U s e $ M e m m o r y C a c h e $ r k B $ w k B $ C P U " > > $ f i l e n a m e e c h o " $ D a t e $ M e m m o r y U s e $ M e m m o r y C a c h e $ r k B $ w k B $ C P U " s l e e p 5 d o n e
Trên mỗi máy chủ sẽ có một script để ghi lại thông tin tải trong quá trình chạy thực nghiệm. Mỗi lần chạy thông tin sẽ được lưu ra một file riêng biệt. Format dữ liệu trên hai máy chủ là giống nhau, chỉ khác nhau về giá trị của từng tham số. Dữ liệu mẫu của một máy chủ trong một lần chạy như sau.
Bảng 3.4: Dữ liệu chi tiết tải máy chủ trong một lần chạy thực nghiệm
Date MemmoryUse MemmoryCache ReadKB WriteKB CPU
20180806102640 5206 200098 0 0 0.15% 20180806102649 5206 200098 3160 0 0.13% 20180806102659 5232 200282 20728 45736 0.26% 20180806102708 5233 202358 76 148464 0.53% 20180806102717 5231 202338 512 44880 0.73% 20180806102726 5227 202424 26276 38292 0.85% 20180806102735 5225 202723 24780 46680 0.87% 20180806102745 5215 203016 13248 50724 0.74% 20180806102754 5212 203257 17528 43088 0.78% 20180806102803 5201 203422 19044 38420 0.80% ... ... ... ... ... ... 20180806151146 5039 247572 0 33944 1.37% 20180806151156 5039 247642 0 30392 1.34% 20180806151205 5045 247707 0 30952 1.14% 20180806151214 5044 247772 0 64 1.12% 20180806151223 5046 247790 0 112 1.10% 20180806151233 5039 247790 0 296 0.93% 20180806151242 5039 247790 0 48 0.79% 20180806151251 5040 247790 0 15 0.73% 20180806151300 5039 247790 0 0 0.62%
Qua số liệu Bảng 4.4 ta thấy dung lượng sử dụng RAM(MemmoryUse, Mem- moryCache) thay đổi rất ít trong quá trình chạy thực nghiệm. Nguyên nhân do trên hệ điều hành Linux có cơ chế cache trên Memory để tối ưu trong quá trình chạy. Cơ chế này cho phép hệ điều hành sẽ không giải phóng RAM ngay khi lần chạy đầu tiên được thực hiện, vì vậy từ lần chạy thứ hai thì các thông tin liên quan không cần tải lại lên RAM nữa mà chúng lấy luôn từ Cache để đảm bảo hiệu năng.
Các tham số Read và Write ta thấy khi mới bắt đầu chạy thì Read bằng không, Write bằng không, qua 9s sau thì hệ thống bắt đầu Read nhưng chưa có Write, sau đó Read và Write cùng tăng lên đến một ngưỡng nhất định thì không tăng lên được nữa, đây là điểm tới hạn của việc đọc ghi. Khi đến gần về cuối thì Read bằng không nhưng Write vẫn còn, khi Write về đến không nghĩa là quá trình import là thực hiện xong hoàn toàn.
Con số này cũng thể hiện việc import dữ liệu hệ thống không dùng nhiều đến CPU, chủ yếu là RAM và đọc/ghi. Đây cũng là đặc trưng của hệ thống import cần lượng băng thông cao và nhiều RAM.
Sau mỗi lần chạy cần tổng hợp thông tin về máy chủ để biết rằng mỗi lần chạy thì máy chủ chiếm dụng bao nhiêu tài nguyên. Sau khi có số liệu tổng hợp tài nguyên chiếm dụng của máy chủ chúng ta mới có thể so sánh được hiệu năng và tài nguyên sử dụng của máy chủ giữa mô hình mới và mô hình cũ. Để tổng
hợp được dữ liệu cần import số liệu chi tiết vào phần mềm R Studio để chạy tổng hợp số liệu. Đối với mỗi thông số CPU, Memmory Use, Memmory Cache, ReadKB và WriteKB sẽ được tổng hợp thành 6 thông số, cụ thể như sau.
Bảng 3.5: Thông tin tổng hợp máy chủ chiếm tài nguyên
Chú thích Dữ liệu ví dụ
Max Giá trị cực đại của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
2.49
Min Giá trị cực tiểu của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
0.04
Average Giá trị trung bình của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
1.32
25% Bách phân vị thứ 25 của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
1.1
50% Bách phân vị thứ 50 của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
1.35
75% Bách phân vị thứ 75 của chỉ số tài nguyên máy chủ trong thời gian chạy dữ liệu
1.63
Từ dữ liệu chi tiết của mối lần chạy thực nghiệm cần tổng hợp thành số liệu tổng hợp. Các thông số CPU, MemmoryUse, MemmoryCache, ReadKB ,WriteKB sẽ được tổng hợp thành các tham số nhỏ hơn đối với mỗi loại: Max, Min, Average, 25%, 50%, 75%. Thời gian bắt đầu là thời gian có hiện tượng Read trên ổ cứng và thời gian kết thúc là thời gian mà không còn hiện tượng Write vào ổ cứng. Duration là khoảng thời gian chạy của một thực nghiệm.
Dữ liệu mỗi lần chạy sẽ được ghi lại vào file excel, các chỉ số của máy chủ sẽ được quy đổi về Min, Max... của mỗi lần chạy. Sau khi tổng hợp toàn bộ số liệu từ số liệu chi tiết ta được các bảng sau.
Bảng 3.6: Số liệu thực nghiệm trên công nghệ cũ với dung lượng 12G Serial Size of Folder Number of files Num of record
Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB
Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75%
1 12G 9965 53654298 20180713144915 20180713152359 35 2.49 0.04 1.32 1.1 1.35 1.63 4793 4641 4729 4718 4734 4749 252315 252315 249594 247204 251659 251913 0 0 0 0 0 0 625162 0 58960 35700 41976 68144 2 12G 9965 53654298 20180713160557 20180713164127 36 2.39 0.01 1.15 1.02 1.25 1.50 4872 4737 4783 4761 4778 4808 252291 251457 251953 251795 252026 252098 200 0 1 0 0 0 652238 0 56402 35202 42380 58477 3 12G 9965 53654298 20180713170204 20180713173516 33 2.44 0.03 1.20 1.03 1.27 1.51 4838 4746 4794 4777 4789 4813 252262 251475 251957 251811 252044 252107 16 0 0 0 0 0 696829 0 59034 38672 44176 65172 4 12G 9965 53654298 20180716092221 20180716095618 34 2.26 0.13 1.30 1.10 1.29 1.51 4940 4788 4837 4811 4830 4851 252241 251380 251882 251759 251861 252043 0 0 0 0 0 0 687466 0 65937 38020 43240 64070 5 12G 9965 53654298 20180716111003 20180716113906 29 3.25 0.07 1.40 1.20 1.37 1.54 4899 4819 4847 4833 4841 4859 252206 245403 250701 250042 251674 251977 0 0 0 0 0 0 691392 0 74070 41081 46184 73004 6 12G 9965 53654298 20180716114855 20180716122348 35 3.35 0.05 1.30 1.19 1.37 1.67 4928 4843 4878 4864 4875 4886 252168 249025 251286 250844 251597 251773 376 0 2 0 0 0 601488 0 57944 38152 43142 65959 7 12G 9965 53654298 20180716123015 20180716130259 33 2.65 0.13 1.40 1.08 1.39 1.68 4947 4840 4893 4875 4895 4910 252165 251160 251809 251647 251886 251971 0 0 0 0 0 0 627292 0 60356 38036 45448 73417 8 12G 9965 53654298 20180716134839 20180716142400 35 3.06 0.07 1.40 1.15 1.45 1.85 4929 4861 4892 4880 4890 4901 252171 251346 251832 251702 251899 251975 484 0 3 0 0 0 646308 0 51991 34070 41590 62092 9 12G 9965 53654298 20180724074853 20180724082355 35 3.18 0.17 1.50 1.27 1.49 1.85 5202 4936 4999 4969 4986 5006 248434 207253 237913 235625 240830 246050 96520 0 5765 0 0 0 686908 0 62521 35584 42200 70400 10 12G 9965 53654298 20180724085933 20180724093340 34 3.04 0.09 1.40 1.10 1.44 1.78 5048 4944 4980 4965 4978 4995 251952 237850 246140 244090 246656 248225 152 0 1 0 0 0 690896 0 63303 36416 43152 69300 11 12G 9965 53654298 20180724104530 20180724112023 35 2.36 0.07 1.30 1.09 1.33 1.64 5080 4953 4990 4974 4985 5001 247498 219499 239098 234131 239441 245238 768 0 3 0 0 0 631096 0 59851 38078 42618 63564 12 12G 9965 53654298 20180724115354 20180724122810 34 3.00 0.07 1.40 1.17 1.46 1.76 5085 4941 4986 4967 4981 5002 252043 240859 246293 244317 246206 247851 48 0 0 0 0 0 684508 0 64474 38117 43368 69074 13 12G 9965 53654298 20180725075349 20180725082556 32 3.03 0.15 1.50 1.16 1.49 1.86 5073 4948 5008 4993 5011 5023 246453 205757 235666 232742 239550 244164 104004 0 6441 0 0 0 353140 0 54211 40194 44754 62200 14 12G 9965 53654298 20180725093826 20180725101051 32 2.41 0.08 1.30 1.13 1.36 1.66 5082 4973 5007 4991 5003 5019 246722 218449 238046 233429 238894 244006 224 0 1 0 0 0 677920 0 71319 40697 45629 76144 15 12G 9965 53654298 20180725113347 20180725120545 32 2.89 0.06 1.30 1.13 1.40 1.67 5088 4971 5014 4995 5011 5030 247808 218531 239103 234476 239772 245113 228 0 1 0 0 0 695644 0 60379 40624 46804 73696 16 12G 9965 53654298 20180725140659 20180725143952 33 2.59 0.07 1.20 0.98 1.28 1.59 5088 4962 5001 4982 4996 5015 247216 218619 239069 234491 239895 245812 156 0 1 0 0 0 655300 0 66469 38970 45272 75428 17 12G 9965 53654298 20180725151432 20180725154812 34 2.50 0.06 1.30 1.16 1.36 1.69 5086 4947 4995 4974 4991 5014 251948 239940 245564 243731 244939 247044 0 0 0 0 0 0 694916 0 60592 38066 43848 71062
Bảng 3.7: Số liệu thực nghiệm trên công nghệ cũ với dung lượng 43G Serial Size of Folder Number of files Num of record
Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB
Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75%
1 43G 48546 19876115520180717122701 20180717143038 124 5.12 0.19 1.50 1.17 1.38 1.73 5194 4940 5004 4981 4993 5012 252084 217692 249601 249746 251686 251986 8668 0 1516 0 0 2452 680444 0 59454 34616 41544 62008 2 43G 48546 19876115520180717163747 20180717183112 113 4.66 0.15 1.70 1.33 1.65 2.07 5127 4894 4972 4941 4964 5000 252111 196898 242818 243182 249664 251972 7032 0 129 0 0 42 663556 0 64137 39412 43504 70956 3 43G 48546 19876115520180719144554 20180719163857 113 3.78 0.06 1.70 1.30 1.63 2.10 5123 4940 4989 4969 4984 5004 252097 212882 246606 245758 251440 251929 104852 0 6802 0 0 3588 651748 0 64082 39990 44702 72400 4 43G 48546 19876115520180718135204 20180718154154 110 3.84 0.13 1.80 1.30 1.67 2.25 5649 4905 4966 4943 4957 4979 252099 236421 249471 248132 251642 251969 102296 0 6885 0 0 1640 677836 0 64800 40853 45016 73439 5 43G 48546 19876115520180726075043 20180726094812 117 4.46 0.04 1.70 1.36 1.66 2.09 5207 4945 5015 4987 5004 5028 252070 207488 246410 245652 251315 251862 105208 0 7187 0 512 4880 659028 0 63362 38272 43976 68864 6 43G 48546 19876115520180726105809 20180726125657 119 4.08 0.16 1.70 1.36 1.65 2.12 5215 4950 5005 4977 4992 5012 252071 184410 242486 242898 251294 251794 106820 0 5964 0 0 3351 646548 0 62345 36405 42940 67737 7 43G 48546 19876115520180726135654 20180726155408 117 5.49 0.05 1.70 1.31 1.58 2.06 5145 4947 5002 4981 4995 5014 252048 183081 241397 239954 251317 251768 89592 0 3104 0 0 2466 653352 0 67057 38320 43528 69608 8 43G 48546 19876115520180727074420 20180727093738 113 4.92 0.11 1.80 1.38 1.71 2.21 5243 4953 5020 4998 5013 5031 252053 203272 245601 245122 251394 251844 118180 0 6483 0 0 1329 680752 0 67269 39580 44561 71400 9 43G 48546 19876115520180727104214 20180727124304 121 4.22 0.17 1.80 1.33 1.67 2.18 5161 4945 5007 4981 5000 5020 252053 179690 242146 245062 251398 251869 100084 0 6653 0 1644 5242 667180 0 61063 34972 42784 63972 10 43G 48546 19876115520180727134229 20180727154825 126 4.34 0.10 1.70 1.25 1.56 1.97 5115 4941 4994 4974 4987 5007 252075 191251 244209 244065 251463 251936 82904 0 3778 0 1742 5473 672672 0 60673 34311 41530 61612 11 43G 48546 19876115520180730074953 20180730094231 113 4.05 0.09 1.80 1.35 1.75 2.20 5233 4970 5031 5003 5018 5040 252042 199114 244535 244143 251325 251807 106608 0 6710 0 0 1335 695924 0 70327 39492 45080 74751 12 43G 48546 19876115520180730110208 20180730130341 122 4.68 0.12 1.70 1.18 1.52 2.06 5127 4950 5011 4989 5004 5027 252054 178880 241648 243975 251396 251862 109620 0 5719 0 1686 5468 683000 0 64695 35821 42302 65891 13 43G 48546 19876115520180730142735 20180730162729 120 6.30 0.08 1.70 1.28 1.53 1.93 5159 4948 5014 4987 5010 5032 252056 188293 243111 241301 251563 251898 86884 0 3277 0 4 4726 717876 0 64291 36114 43000 65956 14 43G 48546 19876115520180731072106 20180731091623 115 3.80 0.09 1.70 1.25 1.60 2.14 5165 4975 5023 5001 5013 5039 252070 204945 245651 244636 251397 251833 109236 0 7066 0 64 3756 689800 0 68080 38636 43432 70184 15 43G 48546 19876115520180731094337 20180731113938 116 4.03 0.12 1.70 1.27 1.64 2.09 5178 4970 5018 4994 5010 5037 252066 208211 245917 245144 251580 251892 95676 0 6832 0 1316 5446 686064 0 65397 37576 43800 69674 16 43G 48546 19876115520180731133910 20180731153616 117 4.96 0.11 1.70 1.30 1.59 2.01 5174 4951 5017 4996 5010 5033 252077 186210 242345 241274 251287 251870 92580 0 2829 0 0 2758 690508 0 64104 38312 43760 68894 17 43G 48546 19876115520180801091948 20180801111445 115 4.59 0.08 1.80 1.38 1.70 2.17 5200 4971 5030 5005 5023 5047 252032 208351 246787 246384 251453 251849 106248 0 7168 0 68 4300 690114 0 63918 39200 44128 70144
Bảng 3.8: Số liệu thực nghiệm trên công nghệ cũ với dung lượng 95G Serial Size of Folder Number of files Num of record
Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB
Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75%
1 95G 77907 43369366320180718171242 20180718221122 299 4.09 0.08 1.70 1.23 1.54 2.00 6369 4867 4961 4903 4921 4961 252162 180931 247064 248625 251015 252049 95240 0 9750 3147 5860 7008 689972 0 55437 32294 38418 55100 2 95G 77907 43369366320180719091544 20180719140258 287 4.08 0.09 1.70 1.25 1.55 2.03 5189 4900 4956 4931 4945 4968 252135 201165 248804 249187 251132 252046 82776 0 10003 4491 6088 7326 703688 0 59587 33096 39528 56688 3 95G 77907 43369366320180718084010 20180718133144 292 2.50 0.09 1.30 1.11 1.32 1.61 4992 4877 4917 4903 4913 4928 252158 245869 250370 249070 250780 252081 8440 0 4285 2414 5288 6240 686292 0 50150 32436 38728 53576 4 95G 77907 43369366320180719175515 20180719223525 280 4.97 0.09 1.70 1.24 1.60 2.14 5170 4910 4979 4949 4967 4995 252122 182392 247299 249135 251609 252025 90832 0 10517 3459 6010 7469 673492 0 59615 34104 40320 57410 5 95G 77907 43369366320180723172158 20180723221255 291 4.24 0.08 1.70 1.23 1.55 2.06 5219 4910 4984 4942 4963 5011 252121 198819 248285 248387 250731 251999 100360 0 9917 2608 5714 7238 687100 0 58127 32800 39552 56332 6 95G 77907 43369366320180724145626 20180724194419 288 4.28 0.13 1.70 1.23 1.51 2.00 5243 4915 4976 4948 4963 4988 252108 218548 249578 248762 251091 252023 87444 0 10438 5174 6200 7363 672360 0 55680 32658 39018 54748 7 95G 77907 43369366320180725164035 20180725213154 291 4.50 0.07 1.70 1.25 1.53 1.99 5208 4919 4980 4953 4969 4994 252106 217133 249606 248625 251117 252000 83760 0 9642 2959 5766 7090 704006 0 59317 32403 38624 55340 8 95G 77907 43369366320180726172337 20180726221358 290 4.44 0.04 1.70 1.30 1.60 2.08 5373 4932 5003 4963 4978 5022 252107 181428 247342 249146 251342 252003 93828 0 10394 3543 5884 7203 698276 0 55965 32691 39842 55476 9 95G 77907 43369366320180727174253 20180727222940 287 4.41 0.02 1.80 1.29 1.62 2.21 5183 4936 5000 4967 4986 5024 252104 190909 248068 249278 251557 251995 91168 0 10288 3858 5968 7332 684036 0 55956 33132 39593 55532 10 95G 77907 43369366320180730175033 20180730223719 287 4.39 0.09 1.70 1.26 1.60 2.19 5313 4938 5014 4971 4992 5034 252100 184484 247485 249046 251557 251984 96060 0 10009 3150 5824 7196 704180 0 57085 33112 39736 55944