Ứng dụng công nghệ mới vào việc phân tích và lưu trữ dữ liệu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS TS Nguyễn Hải Châu Hà Nội - 2019 Mục lục Trang Đặt vấn đề tốn tính cước dùng Viettel 1.1 Mơ hình, trạng nghiệp vụ hệ thống Viettel Billing 1.1.1 Giới thiệu mơ hình hệ thống Viettel Billing 1.1.2 Các nghiệp vụ tính cước 1.2 Những tồn hệ thống 11 Phân tích, lựa chọn thiết kế giải pháp 2.1 Mơ hình giải pháp cũ 2.1.1 Mơ hình vật lý hệ thống Billing 2.1.2 Mơ hình logic hệ thống Billing 2.2 Mơ hình giải pháp hệ thống Billing hồn tồn miễn phí 2.3 Mơ hình giải pháp miễn phí kết hợp có phí 2.4 So sánh giải pháp miễn phí hồn tồn giải pháp kết hợp có phí 13 13 13 15 16 20 24 Đánh giá thực nghiệm so sánh giải pháp cũ giải pháp 3.1 Mơ hình logic hệ thống thực nghiệm 3.2 Phương pháp lấy số liệu thực nghiệm 3.3 Phân tích, so sánh số liệu thực nghiệm hai hệ thống i 26 26 27 37 Danh sách hình vẽ 1.1 Mơ hình hệ thống Viettel Billing 2.1 2.2 2.3 2.4 Mô Mô Mô Mô 3.1 3.2 3.3 3.4 3.5 3.6 3.7 Mơ hình thực nghiệm với công nghệ cũ Mơ hình thực nghiệm với công nghệ Cơng thức kết tính cỡ mẫu thực nghiệm Import số liệu vào hệ thống Mối liên hệ thời gian thực nghiệm dung lượng liệu So sánh thời gian import hai hệ thống Biểu diễn phân bố liệu thực nghiệm hai hệ thống hình hình hình hình vật lý hệ thống Billing logic hệ thống Billing giải pháp hồn tồn miễn phí giải pháp kếp hợp có phí miễn ii phí 14 15 16 20 27 27 37 38 39 40 41 Thuật ngữ từ viết tắt Từ viết tắt KPI Từ gốc Giải nghĩa - Tạm dịch Key Performance Là số đánh giá công việc, công Indicator cụ đo lường nhằm phản ảnh hiệu hoạt động đối tượng CNTT Công nghệ thơng tin CSKH Chăm sóc khách hàng CSDL Cơ sở liệu CDR Call Detail Record Bản ghi chi tiết gọi SQL Structured Query Ngôn ngữ truy vấn có cấu trúc Language Switch Bộ chuyển mạch Load Balacing Bộ cân tải Firewall Tường lửa iii Lời cam đoan Tơi xin cam đoan cơng trình nghiên cứu thực hướng dẫn PGS TS Nguyễn hải Châu môn Hệ thống Thông tin, Khoa Công nghệ Thông tin, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Các số liệu kết trình bày luận án trung thực, chưa công bố tác giả hay cơng trình khác Tác giả Nguyễn Văn Thức iv Lời cảm ơn Trước tiên xin gửi lời cảm ơn chân thành sâu sắc đến thầy giáo, PGS TS Nguyễn Hải Châu – người hướng dẫn, khuyến khích, truyền cảm hứng, bảo tạo cho điều kiện tốt từ bắt đầu nghiên cứu đến hoàn thành luận văn Tôi xin chân thành cảm ơn thầy cô giáo khoa Công nghệ thông tin, trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội, đặc biệt Thầy Cô Bộ môn Hệ thống Thơng tin tận tình đào tạo, cung cấp cho kiến thức vô quý giá, tạo điều kiện tốt cho tơi để hồn thành luận văn Đồng thời xin chân thành cảm ơn bạn lớp HHT24 tạo điều kiện, giúp đỡ bố trí thời gian tốt dành cho tơi suốt q trình làm luận văn Cuối cùng, xin chân thành cảm ơn người thân gia đình tồn thể bạn bè giúp đỡ, động viên lúc gặp phải khó khăn suốt q trình học tập nghiên cứu v Giới thiệu Đặt vấn đề Công nghệ thông tin ngày đóng vai trò quan trọng phát triển kinh tế, xã hội Công nghệ thông tin viễn thơng động lực tạo nên mặt kỷ 21 Ngồi ra, cơng nghệ thơng tin viễn thơng điều kiện định phát triển kinh tế giới Nó tác động sâu sắc đến cách sống, học tập làm việc; đến cách thức nhà nước giao tiếp với dân Nó tạo thách thức kinh tế, xã hội trước cá nhân, doanh nghiệp, cộng đồng nơi trái đất nhằm đạt hiệu tính sáng tạo cao Tất đứng trước cần nắm bắt hội Theo nghiên cứu IDC Group - năm công ty hàng đầu lĩnh vực công nghệ thông tin Việt Nam, ngành cơng nghệ thơng tin đóng góp khoảng 1,16 nghìn tỷ USD vào GDP châu Á - Thái Bình Dương với tỷ lệ tăng trưởng năm 0,8% Năm 2017, chiếm khoảng 6% GDP châu Á - Thái Bình Dương đến từ sản phẩm dịch vụ công nghệ thông tin, thông qua việc sử dụng công nghệ số IDC dự báo số tăng lên 60% GDP khu vực châu Á - Thái Bình Dương vào năm 2021 Cũng theo số liệu IDC, khoảng 84% tổ chức, doanh nghiệp khu vực hành trình chuyển đổi số Tuy nhiên, có 7% doanh nghiệp tiên phong đơn vị có chiến lược phát triển công nghệ thông tin Trong đua phát triển đổi công nghệ, nhanh người chiếm thượng phong đạt nhiều thành tựu Chính vậy, điều quan trọng doanh nghiệp phải thường xuyên đổi công nghệ, cập nhật công nghệ để áp dụng vào trình sản xuất kinh doanh Đặc biệt công ty công nghệ, ngồi việc cập nhật cơng nghệ phải đầu tư để nghiên cứu chuyên sâu công nghệ Một cơng ty phát triển bền vững cần phải có nghiên cứu có sản phẩm cốt lõi làm tảng cho cơng ty Đo lường thành phần quan trọng việc phát triển đổi công nghệ Các công ty doanh nghiệp cần phải sử dụng số đo lường (Key Performance Indicator-KPI) để đo số hiệu quy trình, vốn liệu, ủng hộ khách hàng, hài lòng khách hàng, tài nguyên hệ thống Bất kỳ phát triển thay đổi phải đo đạc trước sau áp dụng cơng nghệ mới, từ có đánh giá xác thay đổi có thực hiệu hay không Tuy nhiên việc thực áp dụng nghiên cứu áp dụng công nghệ thông tin vào q trình sản xuất doanh nghiệp chậm Nhiều cơng ty sử dụng cơng nghệ trước thời điểm chục năm, công nghệ thay đổi hàng ngày đặc biệt ngành công nghệ thông tin Đối với cơng ty chun sâu cơng nghệ chưa có nghiên cứu có sản phẩm cốt lõi có tiếng vang thị trường Đây điểm yếu làm cho ngành công nghệ thông tin nước ta chưa phát triển đạt kỳ vọng Xuất phát từ thực trạng này, tác giả đưa vấn đề không chưa khắc phục số doanh nghiệp lớn viễn thông Viễn thông công nghệ thông tin phải liền với viễn thông cần áp dụng nhiều công nghệ ngành công nghệ thông tin Đề tài "Áp dụng công nghệ vào việc lưu trữ xử lý liệu" hạn chế hệ thống Billing đưa phương án khắc phục Mục tiêu nghiên cứu Áp dụng công nghệ vào việc lưu trữ xử lý liệu lớn Trong ngành viễn thơng liệu lớn, liệu liên quan đến gọi, tin nhắn hành vi sử dụng liệu Đối với nhà mạng Viettel liệu phát sinh khoảng 2,5TB đến 3T tháng, nhà mạng VinaPhone liệu khoảng 1,5T đến 2TB tháng Độ lớn liệu phụ thuộc vào số lượng thuê bao nhà mạng thông tin liên quan mà tổng đài ghi nhận lại Đề tài nhà mạng áp dụng cơng nghệ tốc độ import liệu tăng lên đến 1,5 đến lần so với công nghệ cũ Các số liệu đề tài chạy hệ thống LAB có cấu hình cao, dung lượng mẫu từ ngày đến ngày so với liệu thật Kết so sánh thực nghiệm việc sử dụng ngôn ngữ R hai mẫu liệu sử dụng công nghệ công nghệ cũ Trong phạm vi đề tài này, tác giả tập trung vào phần tối ưu import liệu CDR vào Database, chưa tối ưu phần xử lý hiển thị liệu cho khách hàng Bố cục luận văn Luận văn tình bày chia làm chương: Chương 1: Đặt vấn đề tốn tính cước dùng Viettel Chương 2: Phân tích, lựa chọn thiết kế giải pháp Chương 3: Đánh giá thực nghiệm so sánh giải pháp cũ giải pháp Bảng 3.4: Dữ liệu chi tiết tải máy chủ lần chạy thực nghiệm Date 20180806102640 20180806102649 20180806102659 20180806102708 20180806102717 20180806102726 20180806102735 20180806102745 20180806102754 20180806102803 20180806151146 20180806151156 20180806151205 20180806151214 20180806151223 20180806151233 20180806151242 20180806151251 20180806151300 MemmoryUse 5206 5206 5232 5233 5231 5227 5225 5215 5212 5201 5039 5039 5045 5044 5046 5039 5039 5040 5039 MemmoryCache 200098 200098 200282 202358 202338 202424 202723 203016 203257 203422 247572 247642 247707 247772 247790 247790 247790 247790 247790 ReadKB 3160 20728 76 512 26276 24780 13248 17528 19044 0 0 0 0 WriteKB 0 45736 148464 44880 38292 46680 50724 43088 38420 33944 30392 30952 64 112 296 48 15 CPU 0.15% 0.13% 0.26% 0.53% 0.73% 0.85% 0.87% 0.74% 0.78% 0.80% 1.37% 1.34% 1.14% 1.12% 1.10% 0.93% 0.79% 0.73% 0.62% Qua số liệu Bảng 4.4 ta thấy dung lượng sử dụng RAM(MemmoryUse, MemmoryCache) thay đổi q trình chạy thực nghiệm Nguyên nhân hệ điều hành Linux có chế cache Memory để tối ưu trình chạy Cơ chế cho phép hệ điều hành khơng giải phóng RAM lần chạy thực hiện, từ lần chạy thứ hai thơng tin liên quan khơng cần tải lại lên RAM mà chúng lấy từ Cache để đảm bảo hiệu Các tham số Read Write ta thấy bắt đầu chạy Read khơng, Write khơng, qua 9s sau hệ thống bắt đầu Read chưa có Write, sau Read Write tăng lên đến ngưỡng định khơng tăng lên nữa, điểm tới hạn việc đọc ghi Khi đến gần cuối Read khơng Write còn, Write đến khơng nghĩa q trình import thực xong hoàn toàn Con số thể việc import liệu hệ thống không dùng nhiều đến CPU, chủ yếu RAM đọc/ghi Đây đặc trưng hệ thống import cần lượng băng thông cao nhiều RAM Sau lần chạy cần tổng hợp thông tin máy chủ để biết lần chạy máy chủ chiếm dụng tài nguyên Sau có số liệu tổng hợp tài nguyên chiếm dụng máy chủ so sánh hiệu tài nguyên sử dụng máy chủ mơ hình mơ hình cũ Để tổng 29 hợp liệu cần import số liệu chi tiết vào phần mềm R Studio để chạy tổng hợp số liệu Đối với thông số CPU, Memmory Use, Memmory Cache, ReadKB WriteKB tổng hợp thành thông số, cụ thể sau Bảng 3.5: Thông tin tổng hợp máy chủ chiếm tài nguyên Max Min Average 25% 50% 75% Chú thích Giá trị cực đại số tài nguyên máy chủ thời gian chạy liệu Giá trị cực tiểu số tài nguyên máy chủ thời gian chạy liệu Giá trị trung bình số tài nguyên máy chủ thời gian chạy liệu Bách phân vị thứ 25 số tài nguyên máy chủ thời gian chạy liệu Bách phân vị thứ 50 số tài nguyên máy chủ thời gian chạy liệu Bách phân vị thứ 75 số tài nguyên máy chủ thời gian chạy liệu Dữ liệu ví dụ 2.49 0.04 1.32 1.1 1.35 1.63 Từ liệu chi tiết mối lần chạy thực nghiệm cần tổng hợp thành số liệu tổng hợp Các thông số CPU, MemmoryUse, MemmoryCache, ReadKB ,WriteKB tổng hợp thành tham số nhỏ loại: Max, Min, Average, 25%, 50%, 75% Thời gian bắt đầu thời gian có tượng Read ổ cứng thời gian kết thúc thời gian mà khơng tượng Write vào ổ cứng Duration khoảng thời gian chạy thực nghiệm Dữ liệu lần chạy ghi lại vào file excel, số máy chủ quy đổi Min, Max lần chạy Sau tổng hợp toàn số liệu từ số liệu chi tiết ta bảng sau 30 Bảng 3.6: Số liệu thực nghiệm công nghệ cũ với dung lượng 12G Serial Size of NumberNum of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB Folder of files record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max 1.35 1.63 4793 4641 4729 4718 4734 4749 252315 252315 249594 247204 251659 251913 Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 12G 9965 53654298 20180713144915 20180713152359 35 2.49 0.04 1.32 1.1 0 0 625162 58960 35700 41976 68144 12G 9965 53654298 20180713160557 20180713164127 36 2.39 0.01 1.15 1.02 1.25 1.50 4872 4737 4783 4761 4778 4808 252291 251457 251953 251795 252026 252098 200 0 652238 56402 35202 42380 58477 12G 9965 53654298 20180713170204 20180713173516 33 2.44 0.03 1.20 1.03 1.27 1.51 4838 4746 4794 4777 4789 4813 252262 251475 251957 251811 252044 252107 16 0 0 696829 59034 38672 44176 65172 12G 9965 53654298 20180716092221 20180716095618 34 2.26 0.13 1.30 1.10 1.29 1.51 4940 4788 4837 4811 4830 4851 252241 251380 251882 251759 251861 252043 0 0 0 687466 65937 38020 43240 64070 12G 9965 53654298 20180716111003 20180716113906 29 3.25 0.07 1.40 1.20 1.37 1.54 4899 4819 4847 4833 4841 4859 252206 245403 250701 250042 251674 251977 0 0 0 691392 74070 41081 46184 73004 12G 9965 53654298 20180716114855 20180716122348 35 3.35 0.05 1.30 1.19 1.37 1.67 4928 4843 4878 4864 4875 4886 252168 249025 251286 250844 251597 251773 376 0 601488 57944 38152 43142 65959 12G 9965 53654298 20180716123015 20180716130259 33 2.65 0.13 1.40 1.08 1.39 1.68 4947 4840 4893 4875 4895 4910 252165 251160 251809 251647 251886 251971 0 0 0 627292 60356 38036 45448 73417 12G 9965 53654298 20180716134839 20180716142400 35 3.06 0.07 1.40 1.15 1.45 1.85 4929 4861 4892 4880 4890 4901 252171 251346 251832 251702 251899 251975 484 0 646308 51991 34070 41590 62092 12G 9965 53654298 20180724074853 20180724082355 35 3.18 0.17 1.50 1.27 1.49 1.85 5202 4936 4999 4969 4986 5006 248434 207253 237913 235625 240830 246050 96520 5765 0 686908 62521 35584 42200 70400 10 12G 9965 53654298 20180724085933 20180724093340 34 3.04 0.09 1.40 1.10 1.44 1.78 5048 4944 4980 4965 4978 4995 251952 237850 246140 244090 246656 248225 152 0 690896 63303 36416 43152 69300 11 12G 9965 53654298 20180724104530 20180724112023 35 2.36 0.07 1.30 1.09 1.33 1.64 5080 4953 4990 4974 4985 5001 247498 219499 239098 234131 239441 245238 768 0 631096 59851 38078 42618 63564 12 12G 9965 53654298 20180724115354 20180724122810 34 3.00 0.07 1.40 1.17 1.46 1.76 5085 4941 4986 4967 4981 5002 252043 240859 246293 244317 246206 247851 48 0 0 684508 64474 38117 43368 69074 13 12G 9965 53654298 20180725075349 20180725082556 32 3.03 0.15 1.50 1.16 1.49 1.86 5073 4948 5008 4993 5011 5023 246453 205757 235666 232742 239550 244164 104004 6441 0 353140 54211 40194 44754 62200 14 12G 9965 53654298 20180725093826 20180725101051 32 2.41 0.08 1.30 1.13 1.36 1.66 5082 4973 5007 4991 5003 5019 246722 218449 238046 233429 238894 244006 224 0 677920 71319 40697 45629 76144 15 12G 9965 53654298 20180725113347 20180725120545 32 2.89 0.06 1.30 1.13 1.40 1.67 5088 4971 5014 4995 5011 5030 247808 218531 239103 234476 239772 245113 228 0 695644 60379 40624 46804 73696 16 12G 9965 53654298 20180725140659 20180725143952 33 2.59 0.07 1.20 0.98 1.28 1.59 5088 4962 5001 4982 4996 5015 247216 218619 239069 234491 239895 245812 156 0 655300 66469 38970 45272 75428 17 12G 9965 53654298 20180725151432 20180725154812 34 2.50 0.06 1.30 1.16 1.36 1.69 5086 4947 4995 4974 4991 5014 251948 239940 245564 243731 244939 247044 0 0 0 694916 60592 38066 43848 71062 31 Bảng 3.7: Số liệu thực nghiệm công nghệ cũ với dung lượng 43G Serial Size of NumberNum of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB Folder of files record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 43G 48546 19876115520180717122701 20180717143038 124 5.12 0.19 1.50 1.17 1.38 1.73 5194 4940 5004 4981 4993 5012 252084 217692 249601 249746 251686 251986 8668 1516 0 2452 680444 59454 34616 41544 62008 43G 48546 19876115520180717163747 20180717183112 113 4.66 0.15 1.70 1.33 1.65 2.07 5127 4894 4972 4941 4964 5000 252111 196898 242818 243182 249664 251972 7032 129 0 42 663556 64137 39412 43504 70956 43G 48546 19876115520180719144554 20180719163857 113 3.78 0.06 1.70 1.30 1.63 2.10 5123 4940 4989 4969 4984 5004 252097 212882 246606 245758 251440 251929 104852 6802 0 3588 651748 64082 39990 44702 72400 43G 48546 19876115520180718135204 20180718154154 110 3.84 0.13 1.80 1.30 1.67 2.25 5649 4905 4966 4943 4957 4979 252099 236421 249471 248132 251642 251969 102296 6885 0 1640 677836 64800 40853 45016 73439 43G 48546 19876115520180726075043 20180726094812 117 4.46 0.04 1.70 1.36 1.66 2.09 5207 4945 5015 4987 5004 5028 252070 207488 246410 245652 251315 251862 105208 7187 512 4880 659028 63362 38272 43976 68864 43G 48546 19876115520180726105809 20180726125657 119 4.08 0.16 1.70 1.36 1.65 2.12 5215 4950 5005 4977 4992 5012 252071 184410 242486 242898 251294 251794 106820 5964 0 3351 646548 62345 36405 42940 67737 43G 48546 19876115520180726135654 20180726155408 117 5.49 0.05 1.70 1.31 1.58 2.06 5145 4947 5002 4981 4995 5014 252048 183081 241397 239954 251317 251768 89592 3104 0 2466 653352 67057 38320 43528 69608 43G 48546 19876115520180727074420 20180727093738 113 4.92 0.11 1.80 1.38 1.71 2.21 5243 4953 5020 4998 5013 5031 252053 203272 245601 245122 251394 251844 118180 6483 0 1329 680752 67269 39580 44561 71400 43G 48546 19876115520180727104214 20180727124304 121 4.22 0.17 1.80 1.33 1.67 2.18 5161 4945 5007 4981 5000 5020 252053 179690 242146 245062 251398 251869 100084 6653 1644 5242 667180 61063 34972 42784 63972 10 43G 48546 19876115520180727134229 20180727154825 126 4.34 0.10 1.70 1.25 1.56 1.97 5115 4941 4994 4974 4987 5007 252075 191251 244209 244065 251463 251936 82904 3778 1742 5473 672672 60673 34311 41530 61612 11 43G 48546 19876115520180730074953 20180730094231 113 4.05 0.09 1.80 1.35 1.75 2.20 5233 4970 5031 5003 5018 5040 252042 199114 244535 244143 251325 251807 106608 6710 0 1335 695924 70327 39492 45080 74751 12 43G 48546 19876115520180730110208 20180730130341 122 4.68 0.12 1.70 1.18 1.52 2.06 5127 4950 5011 4989 5004 5027 252054 178880 241648 243975 251396 251862 109620 5719 1686 5468 683000 64695 35821 42302 65891 13 43G 48546 19876115520180730142735 20180730162729 120 6.30 0.08 1.70 1.28 1.53 1.93 5159 4948 5014 4987 5010 5032 252056 188293 243111 241301 251563 251898 86884 3277 4726 717876 64291 36114 43000 65956 14 43G 48546 19876115520180731072106 20180731091623 115 3.80 0.09 1.70 1.25 1.60 2.14 5165 4975 5023 5001 5013 5039 252070 204945 245651 244636 251397 251833 109236 7066 64 3756 689800 68080 38636 43432 70184 15 43G 48546 19876115520180731094337 20180731113938 116 4.03 0.12 1.70 1.27 1.64 2.09 5178 4970 5018 4994 5010 5037 252066 208211 245917 245144 251580 251892 95676 6832 1316 5446 686064 65397 37576 43800 69674 16 43G 48546 19876115520180731133910 20180731153616 117 4.96 0.11 1.70 1.30 1.59 2.01 5174 4951 5017 4996 5010 5033 252077 186210 242345 241274 251287 251870 92580 2829 0 2758 690508 64104 38312 43760 68894 17 43G 48546 19876115520180801091948 20180801111445 115 4.59 0.08 1.80 1.38 1.70 2.17 5200 4971 5030 5005 5023 5047 252032 208351 246787 246384 251453 251849 106248 7168 68 4300 690114 63918 39200 44128 70144 32 Bảng 3.8: Số liệu thực nghiệm công nghệ cũ với dung lượng 95G Serial Size of NumberNum of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB Folder of files record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 95G 77907 43369366320180718171242 20180718221122 299 4.09 0.08 1.70 1.23 1.54 2.00 6369 4867 4961 4903 4921 4961 252162 180931 247064 248625 251015 252049 95240 9750 3147 5860 7008 689972 55437 32294 38418 55100 95G 77907 43369366320180719091544 20180719140258 287 4.08 0.09 1.70 1.25 1.55 2.03 5189 4900 4956 4931 4945 4968 252135 201165 248804 249187 251132 252046 82776 10003 4491 6088 7326 703688 59587 33096 39528 56688 95G 77907 43369366320180718084010 20180718133144 292 2.50 0.09 1.30 1.11 1.32 1.61 4992 4877 4917 4903 4913 4928 252158 245869 250370 249070 250780 252081 8440 4285 2414 5288 6240 686292 50150 32436 38728 53576 95G 77907 43369366320180719175515 20180719223525 280 4.97 0.09 1.70 1.24 1.60 2.14 5170 4910 4979 4949 4967 4995 252122 182392 247299 249135 251609 252025 90832 10517 3459 6010 7469 673492 59615 34104 40320 57410 95G 77907 43369366320180723172158 20180723221255 291 4.24 0.08 1.70 1.23 1.55 2.06 5219 4910 4984 4942 4963 5011 252121 198819 248285 248387 250731 251999 100360 9917 2608 5714 7238 687100 58127 32800 39552 56332 95G 77907 43369366320180724145626 20180724194419 288 4.28 0.13 1.70 1.23 1.51 2.00 5243 4915 4976 4948 4963 4988 252108 218548 249578 248762 251091 252023 87444 10438 5174 6200 7363 672360 55680 32658 39018 54748 95G 77907 43369366320180725164035 20180725213154 291 4.50 0.07 1.70 1.25 1.53 1.99 5208 4919 4980 4953 4969 4994 252106 217133 249606 248625 251117 252000 83760 9642 2959 5766 7090 704006 59317 32403 38624 55340 95G 77907 43369366320180726172337 20180726221358 290 4.44 0.04 1.70 1.30 1.60 2.08 5373 4932 5003 4963 4978 5022 252107 181428 247342 249146 251342 252003 93828 10394 3543 5884 7203 698276 55965 32691 39842 55476 95G 77907 43369366320180727174253 20180727222940 287 4.41 0.02 1.80 1.29 1.62 2.21 5183 4936 5000 4967 4986 5024 252104 190909 248068 249278 251557 251995 91168 10288 3858 5968 7332 684036 55956 33132 39593 55532 10 95G 77907 43369366320180730175033 20180730223719 287 4.39 0.09 1.70 1.26 1.60 2.19 5313 4938 5014 4971 4992 5034 252100 184484 247485 249046 251557 251984 96060 10009 3150 5824 7196 704180 57085 33112 39736 55944 11 95G 77907 43369366320180731163726 20180731211834 281 4.43 0.02 1.70 1.24 1.56 2.08 5204 4948 5006 4978 4994 5026 252090 181280 246985 248710 251295 251963 87168 9750 2836 5940 7347 699964 59882 33650 40648 58005 12 95G 77907 43369366320180801161618 20180801210000 284 4.27 0.08 1.70 1.22 1.51 1.98 5144 4943 5000 4977 4991 5017 252091 182094 246848 248077 250716 251994 89460 9980 3130 5956 7348 685348 57781 33532 40160 57700 13 95G 77907 43369366320180802084840 20180802132713 279 4.30 0.07 1.70 1.29 1.57 2.01 5248 4946 5008 4980 4996 5021 252090 203896 249039 249438 251636 251973 94780 10040 2968 6068 7568 637388 57397 34400 40802 58656 14 95G 77907 43369366320180802174143 20180802223202 290 4.63 0.29 1.80 1.29 1.59 2.15 5255 4937 5011 4973 4989 5029 252096 198802 248760 249513 251533 251975 91316 9713 2928 5764 6863 682612 57944 32752 39205 56268 15 95G 77907 43369366320180803101209 20180803145820 286 4.47 0.37 1.70 1.24 1.50 1.99 5259 4953 5017 4981 4995 5025 252087 201850 248494 248348 250992 251963 86748 9632 2776 5886 7128 688260 58324 32960 39511 57182 16 95G 77907 43369366320180803162224 20180803210035 278 4.38 0.09 1.70 1.26 1.55 2.04 5179 4953 5012 4989 5002 5024 252078 198133 248493 248786 251169 251977 89568 9959 3616 6088 7600 698116 61824 34404 41272 58718 17 95G 77907 43369366320180806102640 20180806151300 286 3.96 0.13 1.70 1.27 1.55 2.02 5237 4947 5014 4976 4992 5034 252092 200098 248800 249393 251483 251975 95952 9614 2848 5700 6966 685300 56882 32534 39384 56246 33 Bảng 3.9: Số liệu thực nghiệm công nghệ với dung lượng 12G Serial Size of NumberNum of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB Folder of files record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 12G 9965 53654298 20180713144819 20180713150235 14 26.88 1.04 9.10 3.25 5.06 12.65 61227 56224 57796 56351 57451 58327 197568 170532 193110 192577 193844 195088 0 0 0 193032 48359 8261 14135 110416 12G 9965 53654298 20180713160550 20180713162153 16 31.66 1.03 9.90 2.88 4.62 12.35 61347 56326 57566 56379 57293 57383 197482 171343 194359 193676 195685 196118 0 0 325810 49235 5480 13085 123341 12G 9965 53654298 20180713170111 20180713172003 19 30.91 0.77 8.40 2.38 3.76 10.46 61384 56351 57785 56415 57401 58315 197026 191548 194600 193339 193925 196273 40 0 193946 40147 4028 8177 12G 9965 53654298 20180716092117 20180716093533 14 31.61 1.58 11.10 3.13 6.18 17.67 61401 56415 58028 56480 58288 58385 139473 96155 0 0 609964 62609 6483 17465 130642 12G 9965 53654298 20180716110928 20180716112412 15 31.22 0.86 10.70 3.11 5.43 16.18 61475 56449 57916 56574 57459 58479 182668 139536 177611 176262 179020 180650 72 0 205080 51827 7377 17266 123432 12G 9965 53654298 20180716114801 20180716120254 15 28.98 1.47 9.30 2.90 5.18 13.62 61476 56495 58029 56555 57523 58549 196596 182153 193537 192929 193093 195035 124 0 232620 50835 8384 15327 118439 12G 9965 53654298 20180716122930 20180716124640 17 28.94 1.04 8.50 2.29 3.64 12.09 61460 56455 57808 56514 57426 58421 196882 191586 194205 192969 193881 195740 44 0 197544 43876 5741 10086 59310 12G 9965 53654298 20180716134802 20180716140209 14 35.35 1.18 12.70 3.03 7.71 22.47 61572 56495 58736 56622 59253 60501 197145 191507 193415 192191 193212 194815 168 177060 12 12G 9965 53654298 20180724074825 20180724080300 15 11.26 1.91 6.40 3.33 6.47 8.85 151564 148335 149468 148627 149364 150172 81573 10 12G 9965 53654298 20180724085912 20180724091125 12 18.83 1.79 10.00 4.01 5.78 12.56 153340 148442 150070 148500 149428 151506 105379 83253 101324 100726 102511 103999 288 11 12G 9965 53654298 20180724104442 20180724105840 14 22.29 1.42 8.10 3.50 6.90 11.08 153327 148365 150132 148408 150349 151339 105105 99793 102756 102018 102573 103909 152 12 12G 9965 53654298 20180724115310 20180724120746 15 20.10 0.84 7.30 3.52 4.93 9.45 153254 148310 149597 148342 149306 150277 105592 99869 103608 102519 103963 104809 484 13 12G 9965 53654298 20180725075303 20180725080615 13 19.75 1.73 10.10 5.71 10.19 13.36 151608 148060 149174 148228 149106 149701 91374 71392 14 12G 9965 53654298 20180725093733 20180725095220 15 29.14 1.02 9.40 3.20 5.57 15.16 152984 148040 149444 148091 149034 150050 105806 91385 102475 101440 103269 104453 1092 15 12G 9965 53654298 20180725113302 20180725114755 15 23.50 1.38 8.40 3.40 5.34 12.42 152883 147931 149611 147979 149946 150890 105922 100452 103565 102557 103517 104835 5880 16 12G 9965 53654298 20180725140623 20180725141837 12 23.93 1.38 9.30 4.03 7.45 13.86 152898 147911 150319 148060 150005 152602 105435 97337 102162 100741 101802 103325 7232 17 12G 9965 53654298 20180725151400 20180725152835 15 22.74 1.65 8.50 3.60 5.64 13.53 152861 147878 149986 147929 149841 151945 105019 100327 102436 101044 101954 104059 2124 34 25894 35764 133600 132765 135290 137193 64387 48047 55824 77566 76509 80003 88732 29768 0 50546 8797 18100 114308 12685 140 5461 185518 42645 5221 14873 75049 14 0 182308 55141 11669 18982 121738 12 0 615460 55950 6489 14791 114538 22 0 24 181040 49402 9098 17004 111767 15911 408 15072644308 55428 9380 20022 98439 26 0 186590 48446 7716 15150 120024 125 0 181872 47039 6161 14789 111214 199 24 170360 51418 9838 21756 117119 47 0 16 439443 50290 7070 13295 115554 153880 170412 Bảng 3.10: Số liệu thực nghiệm công nghệ với dung lượng 43G Serial Size of NumberNum of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB Folder of files record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 43G 48546 19876115520180717122625 20180717130923 43 24.68 1.27 7.40 4.17 6.02 9.70 63599 58545 60644 59582 60473 61971 195341 189565 192732 191353 193045 193870 145524 9812 128 3780 625142 62291 8094 18606 111148 43G 48546 19876115520180717163657 20180717172159 45 39.61 1.12 10.50 3.31 5.82 13.46 63732 58495 60700 58583 60350 62533 195348 152126 189443 190502 191882 194230 130296 5499 0 84 313400 55229 8674 19068 120745 43G 48546 19876115520180719144512 20180719153214 47 12.95 1.50 6.60 4.71 6.55 8.48 152653 148713 150342 149518 150714 150994 105061 99514 103030 102367 102879 103882 155392 17565 158 1782 25108 603086 56325 8512 17616 96245 43G 48546 19876115520180718135118 20180718142857 38 18.28 1.60 10.50 6.46 10.87 14.74 153189 148836 150457 149345 150117 151453 104991 100094 102978 101920 103236 104069 128164 18145 512 3668 24764 473330 67219 14652 31068 110218 43G 48546 19876115520180726074959 20180726083201 42 21.42 1.60 11.10 7.95 11.90 14.92 152667 148028 149553 148508 149131 150175 105879 29539 102286 103959 148924 17669 120 924 27096 658600 68793 11294 27852 114183 43G 48546 19876115520180726105723 20180726113809 41 12.88 1.46 7.40 5.55 7.29 9.36 151961 147941 149564 148782 149427 150368 105865 101241 103822 102907 103935 104796 144760 20531 371 3920 30658 648463 63732 11913 26474 106111 43G 48546 19876115520180726135559 20180726143636 41 13.73 1.66 7.10 5.54 7.44 8.60 152741 147960 149562 148348 149193 150532 105933 100715 103806 102804 104001 104985 160636 19024 244 2736 26712 601978 67485 11444 23568 105050 43G 48546 19876115520180727074340 20180727082242 39 15.17 1.25 8.50 6.31 8.73 10.60 153021 148020 149557 148443 149201 150303 105547 28749 102717 103954 148328 20099 512 3240 27048 597118 65410 12181 27586 108023 43G 48546 19876115520180727104129 20180727112050 39 11.51 2.22 7.20 5.73 7.29 8.70 152795 147981 149859 148412 149561 151308 105774 100464 103500 102274 103697 104784 160732 22017 284 4086 35768 644234 62733 12622 26637 107864 10 43G 48546 19876115520180727134144 20180727142147 40 23.19 1.26 14.00 12.67 15.00 17.18 152590 148011 149371 148303 149039 150074 105756 100798 104072 103321 104397 105059 149768 20784 520 4804 29717 592658 66515 12173 26731 102621 11 43G 48546 19876115520180730074921 20180730083018 41 11.14 1.31 7.20 6.08 7.82 8.87 152157 148044 149474 148514 149256 150240 105387 30791 102995 103988 146392 17962 188 1926 25183 577568 59488 11046 26963 107662 12 43G 48546 19876115520180730110132 20180730114118 40 16.23 1.52 8.50 6.31 8.96 10.52 152581 148078 149773 148676 149310 150608 105821 100533 103564 102713 103609 104592 158680 18981 512 3650 27602 603286 66008 9930 13 43G 48546 19876115520180730142642 20180730150655 40 13.72 2.02 7.30 5.91 7.54 8.68 152438 148116 149687 148446 149325 150679 105706 92757 103047 102231 103408 104353 131248 18949 488 4012 25302 682120 71260 11859 27736 113956 14 43G 48546 19876115520180731072024 20180731075913 39 11.62 2.31 7.50 6.00 7.88 8.97 152637 148239 150015 148967 149881 151047 105198 30137 89292 102118 103253 169628 20771 512 5506 28064 602038 74472 12254 25946 111783 15 43G 48546 19876115520180731094248 20180731102250 40 14.56 2.22 8.80 7.09 9.37 11.01 152979 148276 150038 148959 149351 151147 105447 100267 103268 102147 103604 104365 138916 19172 501 4446 27002 622800 69623 12213 27608 111026 16 43G 48546 19876115520180731133827 20180731141630 38 11.09 2.41 7.70 6.42 8.13 9.20 152925 148208 149885 148782 149450 150826 105473 100388 103442 102424 103859 104561 145304 21221 528 7972 32896 599060 67545 14586 30579 98449 17 43G 48546 19876115520180801091859 20180801100650 48 12.42 1.89 6.60 4.85 6.44 8.49 153158 148362 149888 148939 149511 150495 105539 31089 17927 72 688 22596 693498 54541 8360 35 90763 89319 90720 91974 88473 80555 83268 79552 96702 102592 103782 145768 26244 105838 17664 92798 Bảng 3.11: Số liệu thực nghiệm công nghệ với dung lượng 95G Serial Size of Number Num Folder of files of Start time End time Duration CPU MemmoryUse MemmoryCache ReadKB ReadKB record Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% Max Min Avg 25% 50% 75% 95G 77907 43369366320180718083955 20180718100350 84 15.65 1.60 8.00 6.00 8.26 10.26 154071 148814 151014 149350 150887 152124 104975 80917 101703 100173 102364 103794 165688 23679 1014 8420 37266632631 70003 12981 25143 117752 95G 77907 43369366320180718171131 20180718183852 87 13.35 1.69 7.70 5.94 8.32 10.03 153899 148594 150692 148997 149961 152199 105043 95593 102699 100988 103235 104330 158140 23342 1105 8370 36193656674 60209 10982 23302 100736 95G 77907 43369366320180719091456 20180719104712 92 13.86 1.45 7.50 5.20 7.58 9.65 153902 148557 150562 149242 149743 151738 105354 35012 97779 100200 102651 103936 199736 24617 768 6428 36317625000 63717 9715 22053 109728 95G 77907 43369366320180719175425 20180719193440 100 12.95 1.33 6.80 5.28 7.06 8.59 153059 148653 150436 149471 150694 151639 105171 88884 102757 101985 102857 103867 154004 28356 520 1020046093668238 58514 8736 15925 108047 95G 77907 43369366320180723172112 20180723185802 97 14.82 2.08 7.90 6.08 8.06 9.98 153520 148371 150309 149364 150535 151080 105475 49214 99816 28603 1066 1250445830620627 58840 11063 19188 103193 95G 77907 43369366320180724145539 20180724161825 83 12.27 1.25 7.40 5.84 7.20 9.20 153300 148282 149961 148782 149260 150877 105495 97719 103285 102613 103793 104523 151088 23692 552 7836 37852651412 14 84594 12747 36816 123682 95G 77907 43369366320180725163945 20180725181140 92 17.44 2.08 10.70 8.96 10.83 12.44 153191 147892 149843 148669 149374 151016 105892 96000 103320 102237 103812 104681 166500 25196 776 8624 41662616611 69291 14290 27927 112679 95G 77907 43369366320180726172247 20180726184450 82 14.94 1.51 9.00 7.43 9.32 10.59 153052 147958 150387 148961 150185 152035 105831 100131 103024 101461 103174 104407 173312 20960 680 6580 32768604250 76863 16378 31782 108600 95G 77907 43369366320180727174205 20180727190750 86 14.26 1.35 8.50 6.92 9.12 10.41 152956 148038 150286 148753 150050 152046 105783 94742 102990 101401 103182 104618 160464 22131 1042 8852 34712641252 72481 15264 28050 103979 10 95G 77907 43369366320180730174946 20180730192652 97 16.86 2.04 9.50 7.43 10.30 12.09 153382 148105 150230 148646 150035 151458 105630 96260 103131 101659 103410 104634 172528 23001 948 8072 36292629407 61670 10669 21254 97972 11 95G 77907 43369366320180731163641 20180731181030 94 20.56 1.37 9.50 6.94 10.27 12.01 153354 148213 150300 148662 149581 152159 105550 95626 103010 101373 103410 104644 160496 18742 791 7432 27467672500 60146 11584 23209 91529 12 95G 77907 43369366320180801161527 20180801175510 100 17.90 1.44 7.90 6.29 8.07 9.76 153311 148240 150160 149117 150351 151177 105554 33153 97871 101457 102974 103833 164116 24828 780 1082441328663948 61100 9773 13 95G 77907 43369366320180802084748 20180802101548 88 13.81 2.01 8.20 6.37 8.16 10.28 153585 148342 150495 149331 150214 151749 105473 23800 95510 100189 102365 103945 153060 24690 1028 1044039448605709 61236 12459 24086 100532 14 95G 77907 43369366320180802173917 20180802191857 100 14.32 1.70 7.60 5.45 7.59 9.54 153190 148290 150239 148766 150065 151582 105395 28870 96221 100924 102829 104017 185052 25583 822 7806 38740677671 60384 8380 15 95G 77907 43369366320180803101130 20180803113538 84 22.18 1.52 8.50 6.53 8.30 10.33 153379 148322 150529 149173 149933 152363 105385 26448 95634 100559 101798 103927 154336 21930 960 1065834617677218 75072 15165 27086 110222 16 95G 77907 43369366320180803162132 20180803175156 90 14.40 2.08 8.10 6.30 8.44 10.19 153571 148358 150394 148879 150299 151580 105405 99618 103065 101898 103347 104465 161808 21707 602 7760 31868671616 66931 11444 21844 104952 17 95G 77907 43369366320180806102634 20180806120033 94 13.43 2.30 7.70 6.39 7.70 9.45 153435 148367 150413 149202 150515 151488 105291 31147 97166 28040 1024 1348442936653778 68565 11264 20858 105710 36 101807 102805 103626 155280 100994 102672 103735 162008 18320 97615 18983 100311 3.3 Phân tích, so sánh số liệu thực nghiệm hai hệ thống Để tính số mẫu cần chạy lấy số liệu thực nghiệm ta cần chạy trước 10 mẫu cho loại liệu Từ liệu mẫu ta tính phương sai mẫu Cụ thể mơ hình cũ ta có số phương sai 1.6 mơ hình có phương sai 1.97 Xác xuất sai sót loại II nghĩa power=0.8, khoảng tin cậy 95% chấp nhận sai số vòng phút [1] (đơn vị thời gian lần chạy thực nghiệm phút) Ta có cơng thức tính cỡ mẫu từ ngơn ngữ R sau Hình 3.3: Cơng thức kết tính cỡ mẫu thực nghiệm Từ kết ta thấy số lượng mẫu lớn cho loại liệu 17 mẫu, mơ hình hệ thống cũ ta cần chạy 17*3=51 mẫu Tương tự hệ thống ta chạy 51 mẫu cho ba loại liệu Tổng toàn số mẫu cần chạy cho thực nghiệm hai hệ thống 102 mẫu[1] 37 Import số liệu thực nghiệm tổng hợp vào hệ thống để xử lý ngôn ngữ R Ta dùng lệnh readWorkbook để đọc liệu từ file excel thư viên openxlsx Hình 3.4: Import số liệu vào hệ thống Trong file tổng hợp số liệu có hai sheet Sheet thứ số liệu tổng hợp 51 mẫu hệ thống thứ đưa vào đối tượng system1 Sheet thứ hai số liệu tổng hợp 51 mẫu số liệu thực nghiệm chạy hệ thống thứ hai đưa vào đối tượng system2 Hiển thị liệu sau import để đảm bảo liệu import thành công 38 Sau import số liệu thực nghiệm vào hệ thống, ta thực lấy hai trường dung lượng liệu thời gian chạy thực nghiệm hai hệ thống Sau đưa số liệu vào đối tượng dt Tiếp theo ta dùng hàm lm để tìm phương trình liên hệ dung lượng (Size.of.Folder ) và thời gian chạy liệu (Times) hai hệ thống linear model đặt kết vào đối tượng fit.[2] Hình 3.5: Mối liên hệ thời gian thực nghiệm dung lượng liệu Qua số liệu ta biểu diễn thành phương trình sau: Hệ thống 1: Times = -7.824 + 3.073*Size.of.Folder Hệ thống 2: Times = 10.545 - 2.147*Size.of.Folder Từ phương trình ta thấy hệ thống 1, dung lượng tăng lên 1G thời gian chạy thực nghiệm tăng lên 3.073 phút Đối với hệ thống 2, dung lượng tăng lên 1G thời gian chạy thực nghiệm tăng lên 2.147 phút 39 Từ đối tượng fit chạy lệnh summary để có nhiều thơng tin mối liên hệ thời gian chạy thực nghiệm dung lượng liệu hai hệ thống Hình 3.6: So sánh thời gian import hai hệ thống Theo kết chạy thực nghiệm so sánh từ Hình 4.6 ta có số p=2.2e-16 chứng cho thấy mối liên hệ dung lượng liệu thời gian lần chạy thực nghiệm, mối liên hệ có ý nghĩa thống kê Ngồi mơ hình fit giải thích 99.65% biến thiên sai khác thời gian thực hai hệ thống I II Do có tương tác hai biến Times (hình 4.7) size.of.folder nên cỡ liệu lớn hệ thống II tiết kiệm thời gian 40 Để biểu diễn phân bố số liệu hai hệ thống đồ thị ta dùng hàm scatterplot[2] Trục tung thời gian chạy lần thực nghiệm trục hoành dung lượng liệu chạy thực nghiệm Hình 3.7: Biểu diễn phân bố liệu thực nghiệm hai hệ thống Từ biểu đồ theo Hình 4.7 ta thấy với liệu đầu vào nhỏ thời gian thực nghiệm hai hệ thống không khác nhiều Khi liệu tăng lên số liệu cành chênh lệch Ta thấy dung lượng lên đến 95G thời gian chạy hệ thống thứ hai khoảng 100 phút, với hệ thống thứ tới 300 phút Điều chứng tỏ với công nghệ hệ thống thứ hai đảm bảo hoạt động với liệu lớn, liệu tăng lên lần thời gian chạy tăng lên khoảng lần Trong với hệ thống cũ liệu tăng lên lần thời gian chạy thực nghiệm tăng lên khoảng lần 41 Kết luận, khuyến nghị Kết luận Trong đề tài, từ kết phân tích so sánh giải pháp cũ giải pháp ta thấy kết giải pháp tốt Thời gian thực import số liệu vào hệ thống nhanh hẳn so với giải pháp cũ Ngoài ra, liệu cước khách hàng ngày lớn, năm tăng 20-30%, áp dụng cơng nghệ cũ giải pháp cũ không đáp ứng nhu cầu thực tế Với công nghệ giải pháp hồn tồn đáp ứng yêu cầu này, công nghệ đời để chuyên dùng cho sở liệu lớn, xử lý liệu lớn thời gian thực Nếu áp dụng giải pháp vào thực tế, với thử nghiệm ta thấy thời gian import giảm tới 3-4 lần Thời gian import nhanh đáp ứng KPI Bộ thơng tin truyền thơng (thời gian tra cứu gọi kể từ kết thúc gọi 45 phút) liệu ngày lớn với giải pháp cũ có nguy không đáp ứng Công nghệ sử dụng phần nhớ để lưu trữ liệu nên việc truy xuất liệu nhanh hơn, việc phục vụ công chốt sổ cuối tháng nhanh hơn, đảm bảo cung cấp chi tiết cước cho khách hàng theo cam kết vào mùng hai hàng tháng Khuyến nghị Đây giải pháp so mặt kỹ thuật tốt nhiều so với giải pháp cũ, nhanh 3-4 lần Nhưng mặt chi phí lại khơng hoàn toàn tốt hơn, số phần mềm cần mua quyền (Mulesoft) Tùy thuộc vào mơ hình triển khai mà chi phí đầu tư khác Ngồi để chạy với mơ hình cần phải chuyển đổi liệu từ hệ thống cũ sang hệ thống mới, việc không đơn giản hệ thống cũ có khoảng 15-20T liệu Để chuyển cần đầu tư hạ tầng hạ tầng tạm để chuyển đổi liệu Như vậy, việc áp dụng giải pháp hay không phụ thuộc vào người quản lý Để hệ thống đảm bảo mặt KPI chuyển dịch sang Big Data đáp ứng với nhu cầu liệu ngày lớn nghiệp vụ viễn thơng việc áp dụng giải pháp hồn tồn nên thực Giải pháp cũ khơng thể đáp ứng nhu cầu tăng trưởng liệu vòng 4-5 năm tới Áp dụng cơng nghệ Big Data điều tất yếu phải làm 42 Tài liệu tham khảo [1] D C Montgomery, Design and analysis of experiments, 9th edition, Wiley & Sons, 2017 [2] David J Lilja, Measuring computer performance: A practitioner guide’s, Cambridge University Press, 2004 [3] R Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, WileyInterscience, New York, NY, April 1991 [4] Data Analysis and Graphics Using R – An Example Approach - Cambridge University Press, 2003, John Maindonald [5] Introductory Statistics With R - Springer, 2004 - Peter Dalgaard [6] Linear Models with R - Chapman & Hall/CRC, 2004 - Julian Faraway [7] R Graphics (Computer Science and Data Analysis) - Chapman & Hall/CRC, 2005 - Paul Murrell [8] Modern Applied Statistics with S-Plus - Springer, 4th Edition,2003 [9] Báo cáo Quý KPI chất lượng dịch vụ mạng viễn thông,2019 [10] Báo cáo tổng kết chất lượng dịch vụ mạng viễn thông,2018 [11] Quy trình tính cước cho th bao di động cố định,2016 43 ... áp dụng nhiều công nghệ ngành công nghệ thông tin Đề tài "Áp dụng công nghệ vào việc lưu trữ xử lý liệu" hạn chế hệ thống Billing đưa phương án khắc phục Mục tiêu nghiên cứu Áp dụng công nghệ vào. .. NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN THỨC ỨNG DỤNG CÔNG NGHỆ MỚI VÀO VIỆC XỬ LÝ VÀ LƯU TRỮ DỮ LIỆU Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người... Mỗi loại liệu lưu vào Topic, Topic có nhiều Partition, node lưu nhiều Partition Producer: có nhiệm vụ đẩy liệu vào nhiều topic Người 21 dùng định liệu thơng điệp (mỗi dòng liệu) thuộc vào partition