luận văn thạc sĩ ứng dụng công nghệ mới vào việc xử lý và lưu trữ dữ liệu​

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS TS Nguyễn Hải Châu Hà Nội - 2019 Möc lửc t vĐn ã vã b i toĂn tnh cữợc ang dũng ti Viettel 1.1 Mổ hnh, hiằn trng 1.1.1 1.1.2 1.2 Nhng tỗn ti ca hằ PhƠn t‰ch, lüa chån v thi‚t k‚ gi£i ph¡p 2.1 2.2 2.3 2.4 Mæ h…nh gi£i ph¡p c 2.1.1 2.1.2 Mæ h…nh gi£i ph¡p h ph‰ Mæ h…nh gi£i ph¡p m So s¡nh gi£i ph¡p mi„ câ ph‰ ¡nh gi¡ thüc nghi»m so s¡nh gi£i ph¡p cô v gi£i phĂp mợi 3.1 Mổ hnh logic hằ th 3.2 Phữỡng phĂp lĐy s liằ 3.3 PhƠn tch, so sĂnh s i Danh s¡ch h…nh v‡ 1.1 Mæ h…nh h» thŁng Viettel Billing 2.1 2.2 2.3 2.4 Mổ hnh vt lỵ hằ thŁng Billing Mæ h…nh logic h» thŁng Billing Mæ h…nh gi£i ph¡p ho n to n mi„n ph‰ Mæ h…nh gi£i ph¡p k‚p hæp câ ph‰ v mi„n p 3.1 3.2 3.3 3.4 3.5 3.6 3.7 Mæ h…nh thüc nghi»m vỵi cỉng ngh» Mỉ h…nh thüc nghi»m vỵi cỉng ngh» mỵi Cỉng thức v kt quÊ tnh cù mÔu thỹc nghiằ Import sŁ li»u v o h» thŁng MŁi li¶n h» giœa thíi gian thüc nghi»m v dung l÷ So s¡nh thíi gian import giœa hai h» thŁng Bi”u di„n ph¥n bŁ dœ li»u thüc nghi»m cıa hai ii Thu“t ngœ v Tł vi‚t t›t KPI CNTT CSKH CSDL CDR SQL Switch Load Balacing Firewall iii Líi cam oan Tỉi xin cam oan ¥y l cỉng trnh nghiản cứu tổi thỹc hiằn dữợi sỹ hữợng dÔn ca PGS TS Nguyn hÊi ChƠu ti b mổn H» thŁng Thỉng tin, Khoa Cỉng ngh» Thỉng tin, Tr÷íng ⁄i håc Cæng ngh», ⁄i håc QuŁc gia H Nºi C¡c sŁ li»u v k‚t qu£ tr…nh b y lu“n ¡n l trung thüc, ch÷a ÷ỉc cỉng bŁ bði b§t ký t¡c gi£ n o hay ð b§t ký cỉng tr… nh n o kh¡c T¡c gi£ Nguy„n V«n Thức iv Lới cÊm ỡn Trữợc tiản tổi xin gòi líi c£m ìn ch¥n th nh v s¥u s›c ‚n thy giĂo, PGS TS Nguyn HÊi ChƠu ngữới  hữợng dÔn, khuyn khch, truyãn cÊm hứng, ch bÊo v to cho tổi nhng iãu kiằn tt nhĐt t bt ƒu nghi¶n cøu ‚n ho n th nh lu“n vôn n y Tổi xin chƠn th nh cÊm ỡn c¡c thƒy cỉ gi¡o khoa Cỉng ngh» thỉng tin, tr÷íng ⁄i håc Cæng ngh», ⁄i håc QuŁc Gia H Nºi, °c bi»t l c¡c Thƒy Cæ Bº mæn H» thng Thổng tin  tn tnh o to, cung cĐp cho tổi nhng kin thức vổ quỵ giĂ,  to iãu kiằn tt nhĐt cho tổi ho n th nh lun vôn n y ỗng thới tổi xin chƠn th nh cÊm ỡn cĂc bn lợp HHT24 ¢ t⁄o måi i•u ki»n, gióp ï v bŁ tr‰ thíi gian tŁt nh§t d nh cho tỉi suŁt qu¡ tr…nh l m lu“n v«n CuŁi cịng, tỉi xin chƠn th nh cÊm ỡn nhng ngữới thƠn gia … nh cịng to n th” b⁄n b– ¢ ln gióp ï, ºng vi¶n tỉi nhœng lóc g°p ph£i khâ khôn sut quĂ trnh hồc v nghiản cứu v Giợi thiằu t vĐn ã Cổng nghằ thổng tin ng y c ng âng vai trỈ quan trång ph¡t tri”n kinh t‚, x¢ hºi Cỉng ngh» thỉng tin v vi„n thæng l mºt nhœng ºng lüc ch‰nh t⁄o n¶n bº m°t th‚ k 21 Ngo i ra, cỉng ngh» thỉng tin v vi„n thỉng cỈn l mºt nhœng i•u ki»n ch‰nh quy‚t ành sü ph¡t tri”n ca nãn kinh t th giợi Nõ tĂc ng sƠu s›c ‚n c¡ch chóng ta ang sŁng, håc t“p v l m viằc; n cĂch thức nh nữợc giao tip vợi dƠn Nõ cụng to nhng thĂch thức kinh t, x hi trữợc cĂc cĂ nhƠn, doanh nghiằp, cng ỗng mồi nỡi trản trĂi Đt nhm t hiằu qu£ v t‰nh s¡ng t⁄o cao hìn T§t c£ chóng ta ang ứng trữợc v cn nm bt cỡ hi n y Theo nghi¶n cøu cıa IDC Group - mºt nôm cổng ty h ng u vã lắnh vỹc cæng ngh» thæng tin t⁄i Vi»t Nam, ng nh cæng ngh» thæng tin s‡ âng gâp kho£ng 1,16 ngh…n t USD v o GDP ca chƠu - ThĂi Bnh Dữỡng vợi t lằ tông trững hng nôm 0,8% Nôm 2017, chim khoÊng 6% GDP ca chƠu - ThĂi Bnh Dữỡng ‚n tł c¡c s£n ph'm v dàch vư cỉng ngh» thỉng tin, thỉng qua vi»c sß dưng c¡c cỉng ngh» sŁ IDC dü b¡o sŁ n y s‡ t«ng lản 60% GDP khu vỹc chƠu - ThĂi Bnh Dữỡng v o n«m 2021 Cơng theo sŁ li»u IDC, kho£ng 84% c¡c tŒ chøc, doanh nghi»p khu vüc ¢ v ang h nh tr…nh chuy”n Œi sŁ Tuy nhi¶n, ch¿ câ 7% c¡c doanh nghi»p ti¶n phong v ¥y l nhœng ìn câ chi‚n l÷ỉc ph¡t tri”n cæng ngh» thæng tin Trong cuºc ua ph¡t tri”n v i mợi cổng nghằ, nhanh hỡn ngữới õ s chim th thữổng phong v t ữổc nhiãu th nh tỹu Chnh v vy, mt iãu rĐt quan trồng õ l cĂc doanh nghiằp phÊi thữớng xuyản i mợi cổng ngh», c“p nh“t c¡c cỉng ngh» mỵi ” ¡p dưng v o qu¡ tr…nh s£n xu§t kinh doanh °c bi»t l Łi vỵi c¡c cỉng ty cỉng ngh», ngo i viằc cp nht cổng nghằ mợi nhĐt cặn phÊi u tữ nghiản cứu chuyản sƠu vã cổng nghằ Mt cỉng ty ph¡t tri”n b•n vœng cƒn ph£i câ c¡c nghi¶n cøu cì b£n ho°c câ c¡c s£n ph'm cŁt lêi l m nãn tÊng cho cổng ty mnh o lữớng cụng l mt nhng th nh phn rĐt quan trång vi»c ph¡t tri”n v Œi mỵi cỉng ngh» C¡c cỉng ty v doanh nghi»p cƒn ph£i sß dưng c¡c ch¿ sŁ o l÷íng (Key Performance Indicator-KPI) ” o l c¡c ch¿ sŁ nh÷ hi»u qu£ cıa quy tr…nh, vŁn dœ li»u, sü ıng hº cıa kh¡ch h ng, sü h i lỈng cıa kh¡ch h ng, t i nguyản hằ thng BĐt ký sỹ phĂt tri”n ho°c thay Œi n o •u ph£i o ⁄c ÷ỉc tr÷ỵc v sau ¡p dưng cỉng ngh» mỵi, t õ mợi cõ Ănh giĂ chnh xĂc ữổc sỹ thay Œi n y câ thüc sü hi»u qu£ hay khỉng Tuy nhi¶n vi»c thüc hi»n ¡p dưng v nghi¶n cøu ¡p dưng cỉng ngh» thỉng tin v o qu¡ trnh sÊn xuĐt ti cĂc doanh nghiằp cặn chm Nhiãu cổng ty vÔn cặn sò dửng cĂc cổng nghằ trữợc thíi i”m hi»n t⁄i c£ chưc n«m, m°c dị cỉng ngh» thay Œi h ng ng y v °c bi»t l Łi vỵi ng nh cỉng ngh» thỉng tin Łi vợi cĂc cổng ty chuyản sƠu vã cổng nghằ vÔn chữa cõ nhng nghiản cứu cỡ bÊn hoc cõ cĂc sÊn ph'm ct lêi cõ ting vang trản th trữớng ¥y l mºt i”m y‚u l m cho ng nh cổng nghằ thổng tin ca nữợc ta chữa phĂt trin t ữổc nhữ ký vồng XuĐt phĂt t thỹc trng n y, tĂc giÊ ữa mt vĐn ã khổng mợi vÔn chữa ữổc khc phửc ti mt s cĂc doanh nghiằp lợn vã vin thổng Vin thổng v cổng nghằ thổng tin phÊi i liãn vợi v vin thổng cn Ăp dửng rĐt nhiãu cĂc cổng nghằ mợi ca ng nh cổng nghằ thổng xò lỵ d li»u" s‡ tin • t i " p dưng cỉng nghằ mợi v o viằc lữu tr v ữa ph÷ìng ¡n ch¿ nhœng h⁄n ch‚ cıa h» thŁng Billing hi»n t⁄i v kh›c phưc Mưc ti¶u nghi¶n cøu p dửng nhng cổng nghằ mợi v o viằc lữu tr v xò lỵ d liằu lợn Trong ng nh vin thổng th d liằu l cỹc ký lợn, nhĐt l i vợi d liằu liản quan n cuc gồi, tin nh›n v h nh vi sß dưng dœ li»u Łi vỵi nh m⁄ng Viettel th… nhœng dœ li»u n y ph¡t sinh kho£ng 2,5TB ‚n 3T mºt th¡ng, Łi vỵi nh m⁄ng VinaPhone th… dœ li»u n y kho£ng 1,5T ‚n 2TB mºt th¡ng º lỵn cıa dœ liằu phử thuc v o s lữổng thuả bao ca mØi nh m⁄ng v c¡c thỉng tin li¶n quan m tŒng i s‡ ghi nh“n l⁄i • t i n y s‡ ch¿ n‚u nh m⁄ng ¡p döng c¡c cỉng ngh» mỵi th… tŁc º import dœ li»u câ th tông lản n 1,5 n ln so vợi cỉng ngh» C¡c sŁ li»u • t i l ữổc chy trản hằ thng LAB cõ cĐu hnh cao, dung lữổng mỉi mÔu t ng y n ng y so vỵi dœ li»u th“t K‚t qu£ so s¡nh l thüc nghi»m cıa vi»c sß dưng bði ngổn ng R gia hai mÔu d liằu sò dửng cỉng ngh» mỵi v cỉng ngh» Trong ph⁄m vi • t i n y, t¡c gi£ ch¿ t“p trung v o phƒn tŁi ÷u import dœ li»u CDR v o Database, chữa ti ữu phn xò lỵ v hin dœ li»u cho kh¡ch h ng BŁ cöc ca lun vôn Lun vôn ữổc tnh b y chia l m chữỡng: Chữỡng 1: t vĐn ã vã b i toĂn tnh cữợc ang dũng ti Viettel Chữỡng 2: Ph¥n t‰ch, lüa chån v thi‚t k‚ gi£i ph¡p Ch÷ìng 3: ¡nh gi¡ thüc nghi»m so s¡nh gi£i ph¡p v gi£i ph¡p mỵi B£ng 3.4: Dœ li»u chi ti‚t t£i m¡y chı mºt lƒn ch⁄y thüc nghi»m Date 20180806102640 20180806102649 20180806102659 20180806102708 20180806102717 20180806102726 20180806102735 20180806102745 20180806102754 20180806102803 20180806151146 20180806151156 20180806151205 20180806151214 20180806151223 20180806151233 20180806151242 20180806151251 20180806151300 Qua sŁ li»u B£ng 4.4 ta th§y dung lữổng sò dửng RAM(MemmoryUse, Mem-moryCache) thay i rĐt t quĂ trnh chy thỹc nghiằm Nguyản nhƠn trản hằ iãu h nh Linux cõ cỡ ch cache trản Memory ” tŁi ÷u qu¡ tr…nh ch⁄y Cì ch‚ n y cho ph†p h» i•u h nh s‡ khỉng gi£i phõng RAM ln chy u tiản ữổc thỹc hi»n, v… v“y tł lƒn ch⁄y thø hai th… c¡c thỉng tin li¶n quan khỉng cƒn t£i l⁄i l¶n RAM nœa m chóng l§y ln tł Cache ” £m b£o hiằu nông CĂc tham s Read v Write ta thĐy mỵi b›t ƒu ch⁄y th… Read b‹ng khỉng, Write b‹ng khæng, qua 9s sau th… h» thŁng b›t ƒu Read nh÷ng ch÷a câ Write, sau â Read v Write tông lản n mt ngữùng nhĐt nh th khổng tông lản ữổc na, Ơy l im tợi hn ca vi»c åc ghi Khi ‚n gƒn v• cuŁi th… Read bng khổng Write vÔn cặn, Write vã n khỉng ngh¾a l qu¡ tr…nh import l thüc hi»n xong ho n to n Con sŁ n y công th” hi»n vi»c import dœ li»u h» thŁng khỉng dịng nhi•u ‚n CPU, chı y‚u l RAM v åc/ghi ¥y cơng l c trững ca hằ thng import cn lữổng thỉng cao v nhi•u RAM Sau mØi lƒn ch⁄y cƒn tŒng hỉp thỉng tin v• m¡y chı ” bi‚t r‹ng mØi lƒn ch⁄y th… m¡y chı chi‚m dưng bao nhi¶u t i nguy¶n Sau câ sŁ li»u tŒng hỉp t i nguy¶n chi‚m dưng cıa m¡y chı chóng ta mợi cõ th so sĂnh ữổc hiằu nông v t i nguyản sò dửng ca mĂy ch gia mổ hnh mợi v mổ hnh cụ tng 29 hổp ữổc dœ li»u cƒn import sŁ li»u chi ti‚t v o phƒn m•m R Studio ” ch⁄y tŒng hỉp sŁ li»u Łi vỵi mØi thỉng sŁ CPU, Memmory Use, Memmory Cache, ReadKB v WriteKB s‡ ÷ỉc tŒng hỉp th nh thỉng sŁ, cư th” nh÷ sau B£ng 3.5: Thỉng tin tŒng hỉp m¡y chı chi‚m t i nguy¶n Max Min Average 25% 50% 75% Tł dœ li»u chi ti‚t cıa mŁi lƒn ch⁄y thüc nghi»m cƒn tŒng hæp th nh sŁ li»u tŒng hæp C¡c thæng sŁ CPU, MemmoryUse, MemmoryCache, ReadKB ,WriteKB s‡ ÷ỉc tŒng hỉp th nh c¡c tham sŁ nhä hìn Łi vỵi mØi lo⁄i: Max, Min, Average, 25%, 50%, 75% Thíi gian b›t ƒu l thíi gian cõ hiằn tữổng Read trản cứng v thới gian kt thúc l thới gian m khổng cặn hiằn tữổng Write v o Œ cøng Duration l kho£ng thíi gian ch⁄y cıa mºt thüc nghi»m Dœ li»u mØi lƒn ch⁄y s‡ ÷ỉc ghi l⁄i v o file excel, c¡c ch¿ s ca mĂy ch s ữổc quy i vã Min, Max cıa mØi lƒn ch⁄y Sau tŒng hæp to n bº sŁ li»u tł sŁ li»u chi ti‚t ta ÷ỉc c¡c b£ng sau 30 B£ng 3.6: SŁ li»u thỹc nghiằm trản cổng nghằ cụ vợi dung lữổng 12G Serial Size of NumberNum of Folder of files record 12G 9965 12G 12G Start time End time Duration 53654298 20180713144915 20180713152359 35 9965 53654298 20180713160557 20180713164127 36 9965 53654298 20180713170204 20180713173516 33 12G 9965 53654298 20180716092221 20180716095618 34 12G 9965 53654298 20180716111003 20180716113906 29 12G 9965 53654298 20180716114855 20180716122348 35 12G 9965 53654298 20180716123015 20180716130259 33 12G 9965 53654298 20180716134839 20180716142400 35 12G 9965 53654298 20180724074853 20180724082355 35 10 12G 9965 53654298 20180724085933 20180724093340 34 11 12G 9965 53654298 20180724104530 20180724112023 35 12 12G 9965 53654298 20180724115354 20180724122810 34 13 12G 9965 53654298 20180725075349 20180725082556 32 14 12G 9965 53654298 20180725093826 20180725101051 32 15 12G 9965 53654298 20180725113347 20180725120545 32 16 12G 9965 53654298 20180725140659 20180725143952 33 17 12G 9965 53654298 20180725151432 20180725154812 34 31 B£ng 3.7: SŁ li»u thüc nghi»m trản cổng nghằ cụ vợi dung lữổng 43G Serial Size of NumberNum of Start time Folder of files record 43G 48546 19876115520180717122701 20180717143038 124 43G 48546 19876115520180717163747 20180717183112 113 43G 48546 19876115520180719144554 20180719163857 113 43G 48546 19876115520180718135204 20180718154154 110 43G 48546 19876115520180726075043 20180726094812 117 43G 48546 19876115520180726105809 20180726125657 119 43G 48546 19876115520180726135654 20180726155408 117 43G 48546 19876115520180727074420 20180727093738 113 43G 48546 19876115520180727104214 20180727124304 121 10 43G 48546 19876115520180727134229 20180727154825 126 11 43G 48546 19876115520180730074953 20180730094231 113 12 43G 48546 19876115520180730110208 20180730130341 122 13 43G 48546 19876115520180730142735 20180730162729 120 14 43G 48546 19876115520180731072106 20180731091623 115 15 43G 48546 19876115520180731094337 20180731113938 116 16 43G 48546 19876115520180731133910 20180731153616 117 17 43G 48546 19876115520180801091948 20180801111445 115 32 End time Duration B£ng 3.8: SŁ li»u thüc nghiằm trản cổng nghằ cụ vợi dung lữổng 95G Serial Size of NumberNum of Start time Folder of files record 95G 77907 43369366320180718171242 20180718221122 299 95G 77907 43369366320180719091544 20180719140258 287 95G 77907 43369366320180718084010 20180718133144 292 95G 77907 43369366320180719175515 20180719223525 280 95G 77907 43369366320180723172158 20180723221255 291 95G 77907 43369366320180724145626 20180724194419 288 95G 77907 43369366320180725164035 20180725213154 291 95G 77907 43369366320180726172337 20180726221358 290 95G 77907 43369366320180727174253 20180727222940 287 10 95G 77907 43369366320180730175033 20180730223719 287 11 95G 77907 43369366320180731163726 20180731211834 281 12 95G 77907 43369366320180801161618 20180801210000 284 13 95G 77907 43369366320180802084840 20180802132713 279 14 95G 77907 43369366320180802174143 20180802223202 290 15 95G 77907 43369366320180803101209 20180803145820 286 16 95G 77907 43369366320180803162224 20180803210035 278 17 95G 77907 43369366320180806102640 20180806151300 286 33 End time Duration B£ng 3.9: SŁ li»u thỹc nghiằm trản cổng nghằ mợi vợi dung lữổng 12G Serial Size of NumberNum of Folder of files record 12G 9965 12G 12G Start time End time Duration 53654298 20180713144819 20180713150235 14 9965 53654298 20180713160550 20180713162153 16 9965 53654298 20180713170111 20180713172003 19 12G 9965 53654298 20180716092117 20180716093533 14 12G 9965 53654298 20180716110928 20180716112412 15 12G 9965 53654298 20180716114801 20180716120254 15 12G 9965 53654298 20180716122930 20180716124640 17 12G 9965 53654298 20180716134802 20180716140209 14 12G 9965 53654298 20180724074825 20180724080300 15 10 12G 9965 53654298 20180724085912 20180724091125 12 11 12G 9965 53654298 20180724104442 20180724105840 14 12 12G 9965 53654298 20180724115310 20180724120746 15 13 12G 9965 53654298 20180725075303 20180725080615 13 14 12G 9965 53654298 20180725093733 20180725095220 15 15 12G 9965 53654298 20180725113302 20180725114755 15 16 12G 9965 53654298 20180725140623 20180725141837 12 17 12G 9965 53654298 20180725151400 20180725152835 15 34 B£ng 3.10: SŁ li»u thüc nghi»m trản cổng nghằ mợi vợi dung lữổng 43G Serial Size of NumberNum of Start time Folder of files record 43G 48546 19876115520180717122625 20180717130923 43 43G 48546 19876115520180717163657 20180717172159 45 43G 48546 19876115520180719144512 20180719153214 47 43G 48546 19876115520180718135118 20180718142857 38 43G 48546 19876115520180726074959 20180726083201 42 43G 48546 19876115520180726105723 20180726113809 41 43G 48546 19876115520180726135559 20180726143636 41 43G 48546 19876115520180727074340 20180727082242 39 43G 48546 19876115520180727104129 20180727112050 39 10 43G 48546 19876115520180727134144 20180727142147 40 11 43G 48546 19876115520180730074921 20180730083018 41 12 43G 48546 19876115520180730110132 20180730114118 40 13 43G 48546 19876115520180730142642 20180730150655 40 14 43G 48546 19876115520180731072024 20180731075913 39 15 43G 48546 19876115520180731094248 20180731102250 40 16 43G 48546 19876115520180731133827 20180731141630 38 17 43G 48546 19876115520180801091859 20180801100650 48 35 End time Duration B£ng 3.11: SŁ li»u thüc nghiằm trản cổng nghằ mợi vợi dung lữổng 95G Serial Size of Number Num of Folder of files record 95G 77907 95G 77907 95G 95G Start time End time Duration 43369366320180718083955 20180718100350 84 43369366320180718171131 20180718183852 87 77907 43369366320180719091456 20180719104712 92 77907 43369366320180719175425 20180719193440 100 95G 77907 43369366320180723172112 20180723185802 97 95G 77907 43369366320180724145539 20180724161825 83 95G 77907 43369366320180725163945 20180725181140 92 95G 77907 43369366320180726172247 20180726184450 82 95G 77907 43369366320180727174205 20180727190750 86 10 95G 77907 43369366320180730174946 20180730192652 97 11 95G 77907 43369366320180731163641 20180731181030 94 12 95G 77907 43369366320180801161527 20180801175510 100 13 95G 77907 43369366320180802084748 20180802101548 88 14 95G 77907 43369366320180802173917 20180802191857 100 15 95G 77907 43369366320180803101130 20180803113538 84 16 95G 77907 43369366320180803162132 20180803175156 90 17 95G 77907 43369366320180806102634 20180806120033 94 36 3.3 Ph¥n t‰ch, so s¡nh sŁ li»u thüc nghi»m giœa hai h» thŁng tnh s mÔu cn chy lĐy s liằu thỹc nghiằm ta cn chy trữợc 10 mÔu cho mt loi d liằu T d liằu mÔu n y ta tnh ữổc phữỡng sai ca mÔu Cử th trản mổ hnh cụ ta cõ s phữỡng sai l 1.6 v trản mổ hnh mợi cõ phữỡng sai l 1.97 XĂc xuĐt sai sât lo⁄i II ngh¾a l power=0.8, kho£ng tin c“y l 95% v chĐp nhn sai s vặng [1] ( ìn thíi gian mØi lƒn ch⁄y thüc nghi»m l phót) Ta câ cỉng thøc t‰nh cï mÔu t ngổn ng R nhữ sau Hnh 3.3: Cổng thức v kt quÊ tnh cù mÔu thỹc nghiằm T kt quÊ n y ta thĐy s lữổng mÔu lợn nhĐt cho mt loi d liằu l 17 mÔu, nhữ v“y tr¶n mỉ h…nh h» thŁng ta cƒn ch⁄y l 17*3=51 mÔu Tữỡng tỹ trản hằ thng mợi ta cụng chy 51 mÔu cho ba loi d liằu Tng to n b s mÔu cn chy cho thỹc nghiằm n y trản cÊ hai hằ thng l 102 mÔu[1] 37 Import s liằu thỹc nghiằm  ữổc tng hổp v o hằ thng xò lỵ bng ngổn ng R Ta dòng l»nh readWorkbook ” åc dœ li»u tł file excel ca thữ viản openxlsx Hnh 3.4: Import s li»u v o h» thŁng Trong file tŒng hæp sŁ li»u câ hai sheet Sheet thø nh§t l sŁ li»u tng hổp ca 51 mÔu ca hằ thng thứ nhĐt v ÷ỉc ÷a v o Łi t÷ỉng system1 Sheet thø hai l s liằu tng hổp ca 51 mÔu s liằu thỹc nghiằm  ữổc chy trản hằ thng thứ hai v ÷ỉc ÷a v o Łi t÷ỉng system2 Hi”n dœ li»u sau import ” £m b£o r‹ng d liằu  ữổc import th nh cổng 38 Sau import sŁ li»u thüc nghi»m v o h» thŁng, ta thỹc hiằn lĐy hai trữớng l dung lữổng cıa dœ li»u v thíi gian ch⁄y thüc nghi»m tr¶n hai h» thŁng Sau â ÷a sŁ li»u n y v o mºt Łi t÷ỉng l dt Ti‚p theo ta dũng h m lm tm phữỡng trnh liản hằ giœa dung l÷ỉng (Size.of.Folder) v v thíi gian ch⁄y dœ li»u (Times) tr¶n hai h» thŁng b‹ng linear model v °t k‚t qu£ v o Łi t÷ỉng fit.[2] H…nh 3.5: MŁi li¶n h» giœa thíi gian thüc nghi»m v dung l÷ỉng dœ li»u Qua sŁ li»u n y ta câ th” bi”u di„n th nh ph÷ìng tr…nh nh÷ sau: H» thŁng 1: Times = -7.824 + 3.073*Size.of.Folder H» thŁng 2: Times = 10.545 - 2.147*Size.of.Folder Tł ph÷ìng tr…nh n y ta thĐy i vợi hằ thng 1, nu dung lữổng tông lản 1G th thới gian chy thỹc nghiằm s tông lản 3.073 phút i vợi hằ thng 2, nu dung lữổng tông lản 1G th thới gian chy thỹc nghiằm s tông lản 2.147 phút 39 T i tữổng fit chy lằnh summary cõ th cõ ữổc nhiãu thổng tin hỡn vã mi liản hằ gia thới gian chy thỹc nghiằm v dung lữổng d liằu trản hai h» thŁng H…nh 3.6: So s¡nh thíi gian import giœa hai h» thŁng Theo k‚t qu£ ch⁄y thüc nghi»m so s¡nh tł H…nh 4.6 ta câ ch¿ sŁ p=2.2e-16 l bng chứng cho thĐy mi liản hằ gia dung lữổng dœ li»u v thíi gian cıa mØi lƒn ch⁄y thüc nghiằm, v mi liản hằ n y cõ ỵ nghắa thŁng k¶ Ngo i mỉ h…nh fit gi£i th‰ch ÷ỉc 99.65% sü bi‚n thi¶n cıa sai kh¡c giœa thíi gian thüc hi»n cıa hai h» thŁng I v II Do câ t÷ìng t¡c giœa hai bi‚n Times (h…nh 4.7) v size.of.folder nản cù d liằu c ng lợn th… h» thŁng II c ng ti‚t ki»m thíi gian 40 ” bi”u di„n sü ph¥n bŁ sŁ li»u giœa hai hằ thng trản ỗ th ta dũng h m scatterplot[2] Trưc tung l thíi gian ch⁄y mºt lƒn thüc nghi»m v trưc ho nh l dung l÷ỉng dœ li»u ch⁄y thüc nghi»m H…nh 3.7: Bi”u di„n ph¥n bŁ dœ liằu thỹc nghiằm ca hai hằ thng T biu ỗ theo Hnh 4.7 ta thĐy vợi d liằu u v o nhä th… thíi gian thüc nghi»m cıa hai h» thŁng khỉng kh¡c nhi•u Khi dœ li»u c ng tông lản th s liằu c nh chảnh lằch Ta thĐy dung lữổng lản n 95G th thới gian chy trản hằ thng thứ hai ch mĐt khoÊng 100 phút, vợi hằ thng thứ nhĐt mĐt tợi 300 phút iãu n y chứng tọ rng vợi cổng nghằ trản hằ thng thứ hai Êm bÊo hot ng vợi d liằu lợn, d liằu tông lản ln th thới gian chy ch tông lản khoÊng ln Trong â vỵi h» thŁng th… dœ li»u tông lản ln th thới gian chy thỹc nghiằm tông lản khoÊng ln 41 Kt lun, khuyn ngh Kt lun Trong ã t i, t kt quÊ phƠn t‰ch so s¡nh giœa gi£i ph¡p cô v gi£i ph¡p mợi ta thĐy kt quÊ ca giÊi phĂp mợi tt hìn Thíi gian thüc hi»n import sŁ li»u v o h» thŁng nhanh hìn hfln so vỵi gi£i ph¡p Ngo i ra, d liằu cữợc ca khĂch h ng ng y c ng lợn, mỉi nôm cõ th tông 20-30%, v vy nu vÔn Ăp dửng cổng nghằ cụ v gi£i ph¡p s‡ khỉng ¡p øng ÷ỉc nhu cƒu thüc t‚ Vỵi cỉng ngh» mỵi v gi£i ph¡p mỵi s‡ ho n to n câ th” ¡p øng ÷ỉc c¡c y¶u cƒu n y, cỉng ngh» ÷ỉc íi ” chuy¶n dịng cho c¡c cì sð dœ li»u lợn, xò lỵ d liằu lợn thới gian thỹc N‚u ¡p döng gi£i ph¡p n y v o thüc t, vợi thò nghiằm trản ta thĐy thới gian import câ th” gi£m tỵi 3-4 lƒn Thíi gian import nhanh s‡ ¡p øng ÷ỉc KPI cıa Bº thỉng tin v truyãn thổng (thới gian cõ th tra cứu ữổc cuc gåi k” tł k‚t thóc cuºc gåi l 45 phót) dœ li»u ng y c ng lỵn v vỵi gi£i ph¡p câ nguy cì khỉng ¡p øng ữổc Cổng nghằ mợi sò dửng mt phn b nhợ lữu tr d liằu nản viằc truy xuĐt d li»u cơng s‡ nhanh hìn, vi»c n y phưc vư cỉng c¡c chŁt sŒ cuŁi th¡ng s‡ nhanh hìn, £m bÊo cung cĐp chi tit cữợc cho khĂch h ng óng theo cam k‚t v o mòng hai h ng thĂng Khuyn ngh Ơy l giÊi phĂp so vã mt k thut tt hỡn nhiãu so vợi giÊi phĂp cụ, nhanh hỡn 3-4 ln Những vã mt chi ph li khỉng ho n to n tŁt hìn, mºt sŁ phƒn mãm vÔn cn mua bÊn quyãn (Mulesoft) Tũy thuc v o mỉ h…nh tri”n khai m chi ph‰ ƒu t÷ câ th” kh¡c Ngo i ” ch⁄y ÷ỉc vỵi mỉ h…nh mỵi cƒn ph£i chuy”n Œi dœ li»u tł h» thŁng sang h» thŁng mỵi, vi»c n y cơng khỉng ìn gi£n h» thŁng ¢ câ kho£ng 15-20T dœ li»u ” chuy”n ÷ỉc cƒn ƒu tữ h tng mợi v h tng tm chuyn Œi dœ li»u Nh÷ v“y, vi»c ¡p dưng gi£i ph¡p mợi hay khổng s phử thuc v o ngữới quÊn lỵ hằ thng Êm bÊo vã mt KPI v chuy”n dàch sang Big Data ¡p øng vỵi nhu cƒu dœ li»u ng y c ng lỵn cıa nghi»p vư vi„n thỉng th… vi»c ¡p dưng gi£i ph¡p mỵi l ho n to n n¶n thüc hi»n Gi£i ph¡p khổng th Ăp ứng ữổc nhu cu tông trững d liằu vặng 4-5 nôm tợi p dửng cổng nghằ Big Data l iãu tĐt yu phÊi l m 42 T i li»u tham kh£o [1] D C Montgomery, Design and analysis of experiments, 9th edition, Wiley & Sons, 2017 [2] David J Lilja, Measuring computer performance: A practitioner guide’s, Cambridge University Press, 2004 [3] R Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley-Interscience, New York, NY, April 1991 [4] Data Analysis and Graphics Using R An Example Approach - Cambridge University Press, 2003, John Maindonald [5] Introductory Statistics With R - Springer, 2004 - Peter Dalgaard [6] Linear Models with R - Chapman & Hall/CRC, 2004 - Julian Faraway [7] R Graphics (Computer Science and Data Analysis) - Chapman & Hall/CRC, 2005 - Paul Murrell [8] Modern Applied Statistics with S-Plus - Springer, 4th Edition,2003 [9] BĂo cĂo Quỵ vã KPI chĐt lữổng dch vử ca mng vin thổng,2019 [10] BĂo cĂo tng kt vã chĐt lữổng dch vử mng vin thổng,2018 [11] Quy trnh tnh cữợc cho thuả bao di ºng v cŁ ành,2016 43 ... NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người... to nhng thĂch thức kinh t, x hi trữ? ??c cĂc cĂ nhƠn, doanh nghiằp, cng ỗng mồi nỡi trản trĂi Đt nhm t hiằu qu£ v t‰nh s¡ng t⁄o cao hìn T§t c£ chóng ta ang ứng trữ? ??c v cn nm bt cỡ hi n y Theo nghi¶n... gâp kho£ng 1,16 ngh…n t USD v o GDP ca chƠu - ThĂi Bnh Dữ? ??ng vợi t lằ tông trững hng nôm 0,8% Nôm 2017, chim khoÊng 6% GDP ca chƠu - ThĂi Bnh Dữ? ??ng ‚n tł c¡c s£n ph'm v dàch vư cỉng ngh» thỉng tin,