Tiên đoán lỗi trong dịch vụ cơ sở hạ tầng điện toán đám mây

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH PHAN NGỌC PHỤNG TIÊN ĐỐN LỖI TRONG DỊCH VỤ CƠ SỞ HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH TP.HỒ CHÍ MINH - 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH PHAN NGỌC PHỤNG TIÊN ĐOÁN LỖI TRONG DỊCH VỤ CƠ SỞ HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 1784801010013 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS.TS Trần Cơng Hùng TP.HỒ CHÍ MINH - 2019 i LỜI CAM ĐOAN Tôi cam đoan luận văn Tiên đoán lỗi dịch vụ sở hạ tầng điện tốn đám mây cơng trình nghiên cứu riêng Ngoại trừ tài liệu tham khảo đƣợc trích dẫn luận văn này, số liệu, kết nêu luận văn trung thực chƣa đƣợc cơng bố cơng trình khác Tp Hồ Chí Minh, ngày 15 tháng 12 năm 2019 Phan Ngọc Phụng ii LỜI CẢM ƠN Trong hai năm học tập, nghiên cứu hoàn thành luận văn thạc sĩ, cố gắng nỗ lực thân, nhận đƣợc hƣớng dẫn tận tình q báu q thầy cơ, với động viên, ủng hộ đồng nghiệp, gia đình Với lịng kính trọng biết ơn sâu sắc tơi xin đƣợc gửi lời cảm ơn chân thành tới: Ban giám hiệu tất thầy cô giảng viên, công nhân viên Trƣờng Đại Học Mở Thành Phố Hồ Chí Minh giảng dạy dìu dắt tơi suốt q trình học tập trƣờng Tơi xin gửi lời cảm ơn trân trọng tới PGS.TS Trần Công Hùng, ngƣời Thầy đáng kính ngƣời trực tiếp hƣớng dẫn, tận tình bảo, chia sẻ kiến thức, tài liệu, tạo điều kiện thuận lợi định hƣớng cho tơi suốt q trình thực luận văn Bên cạnh đó, tơi nhận đƣợc nhiều hỗ trợ tận tình từ TS Lê Xuân Trƣờng, TS Trƣơng Hoàng Vinh, ThS Bùi Thanh Khiết đồng nghiệp Trƣờng THPT Hùng Vƣơng Xin gửi lời tri ân đến tất thầy, cô anh chị Tuy nhiên, thời gian có hạn, cố gắng, nhƣng luận văn khó tránh khỏi thiếu sót Tơi mong nhận đƣợc thơng cảm bảo tận tình q thầy bạn Tôi xin chân thành cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH SÁCH HÌNH VẼ vi MỞ ĐẦU ix Chƣơng 1: TỔNG QUAN 1.1 Tổng quan điện toán đám mây 1.1.Lịch sử 1.1.2Điện toán đám mây gì? 1.1.3 Đặc điểm, tính chất điện tốn đám mây Điện tốn đám mây có năm tính chất bật sau [3] .3 1.2 Các mơ hình ứng dụng phát triển tảng điện toán đám mây 1.2.1Mơ hình lớp dịch vụ 1.2.2IaaS – Hạ tầng nhƣ dịch vụ (Infrastructure as a Service – IaaS) 1.2.3PaaS – Nền tảng nhƣ dịch vụ Dịch vụ (Platform as a Service – PaaS) 1.2.4SaaS – Phần mềm nhƣ dịch vụ (Software as a Service – SaaS) .8 1.3 Các mơ hình triển khai ĐTĐM .9 1.3.1Đám mây công cộng (Public Cloud) 10 1.3.2Đám mây riêng (Private Cloud) 11 1.3.3Đám mây hỗn hợp (hybrid cloud) 12 1.4 Lỗi điện toán đám mây 13 1.4.1Giới thiệu [6] 13 1.4.2Lỗi cloud IaaS 15 1.5 Bài toán tiên đoán lỗi sở hạ tầng điện toán đám mây .16 iv Chƣơng 2: CƠ SỞ LÝ THUYẾT 19 2.1 Tập logic mờ 19 2.1.1Lịch sử phát triển 19 2.1.2Các khái niệm 21 2.2 Hệ logic mờ 25 2.2.1Giới thiệu .25 2.2.2Hệ logic mờ Takagi-Sugeno 27 2.3 Các cơng trình liên quan .30 Chƣơng 3: TIÊN ĐOÁN LỖI TRONG HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY DỰA TRÊN HỆ SUY DIỄN MỜ 34 3.1 Dịch vụ hạ tầng điện toán đám mây .34 3.1.1Kiến trúc hệ thống dịch vụ hạ tầng điện toán đám mây 34 3.1.2Ứng dụng đa tầng hệ thống dịch vụ sở hạ tầng điện toán đám mây .35 3.2 Xây dựng giải pháp tiên đốn dựa hệ mờ Takagi-Sugeno 36 3.2.1Mơ hình hóa 36 3.2.2Q trình mờ hóa 37 3.2.3Cơ sở tri thức 45 3.2.4Quá trình lập luận xấp xỉ 45 3.2.5Luật 46 Chƣơng 4: ĐÁNH GIÁ GIẢI PHÁP TIÊN ĐOÁN LỖI 52 4.1 Giới thiệu 52 4.2 Đánh giá kết 55 4.2.1VM LoadBalancer 56 4.2.2Webserver 60 4.2.3Webserver 63 4.2.4Database server 67 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 71 v DANH MỤC CÁC TÀI LIỆU THAM KHẢO 73 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ĐTĐM Cloud Computing Điện toán đám mây Iaas Infrastruture as a Service Dịch vụ sở hạ tầng SaaS Software as a Service Dịch vụ phần mềm PaaS Platform as a Service Dịch vụ tảng VM Virtual machine Máy ảo PM Physical machine Máy lý FL Fuzzy logic Logic mờ FS Fuzzy set Tập mờ FLS Fuzzy logic system Hệ thống logic mờ T2FL Type – Fuzzy logic Logic mờ loại CSP Cloud Service Provider Nhà cung cấp dịch vụ QoS Quality of Service Chất lƣợng dịch vụ vi DANH SÁCH HÌNH VẼ Hình 1.1: Mọi thứ tập trung vào đám mây Hình 1.2: Các mơ hình điện tốn đám mây Hình 1.3: Dịch vụ hạ tầng IaaS (Infrastructure as a Service) Hình 1.4: Dịch vụ tảng PaaS (Platform as a Service) Hình 1.5: Dịch vụ phần mềm SaaS (Software as a Service) Hình 1.6: Mơ hình triển khai điện toán đám mây .10 Hình 1.7: Mơ hình đám mây cơng cộng – Public Cloud 11 Hình 1.8: Mơ hình đám mây tƣ nhân-Private Cloud 12 Hình 1.9: Mơ hình đám mây hỗn hợp – Dybrid Cloud 13 Hình 2.1: Các hàm độ thuộc cho xe nội địa xe ngoại nhập dựa tỷ lệ phần trăm thành phần sản xuất nƣớc 22 Hình 2.2: Các hàm thuộc: 24 Hình 2.3: Cấu trúc hệ thống logic mờ .26 Hình 2.4: Ví dụ hai quy tắc hai tiền đề Loại-1 Takagi-Sugeno FLS 29 Hình 2.5: Ví dụ phân vùng ba quy tắc (M = 3) với đầu vào (N = 1) TS FLS để mơ hình hóa hàm phi tuyến tính 30 Hình 2.6: Xử lý dự đoán lỗi 31 Hình 2.7: Phƣơng pháp dự đoán lỗi đƣợc đề xuất 32 Hình 3.1: Mơ hình dịch vụ sở hạ tầng 34 Hình 3.2: Kiến trúc ứng dụng đa tầng .35 Hình 3.3: Hệ mờ 37 Hình 3.4: Hàm thành viên CPU 37 Hình 3.5: Hàm thành viên nhớ 39 Hình 3.6: Tốc độ xử lý I/O máy chủ 40 Hình 3.7: Hàm thành viên nhiệt độ 42 Hình 3.8: Hàm thành viên băng thông 43 Hình 4.1: Kiến trúc hệ thống ứng dụng thƣơng mại điện tử TPC-W .52 Hình 4.2: Giao diện website TPC-W 52 vii Hình 4.3: Kiến trúc Prometheus 54 Hình 4.4: Grafana với bảng liệu từ Prometheus 55 Hình 4.5: CPU IDLE VM LoadBalancer 56 Hình 4.6: RAM (MB) VM LoadBalancer 57 Hình 4.7: Tốc độ I/O (MBs) VM LoadBalancer .57 Hình 4.8: Temperature (c) VM LoadBalancer 58 Hình 4.9: Network VM LoadBalancer 58 Hình 4.10: Fault VM LoadBalancer 59 Hình 4.11: Cảnh báo lỗi cho máy chủ cân tải 58 Hình 4.12: CPU Webserver 60 Hình 4.13: RAM Webserver 60 Hình 4.14: I/O Disk Webserver .61 Hình 4.15: Temperature Webserver .61 Hình 4.16: Network Webserver .62 Hình 4.17: Fault Webserver 62 Hình 4.18: Cảnh báo lỗi cho máy chủ cân tải 63 Hình 4.19: CPU IDLE Webserver 63 Hình 4.20: RAM Webserver 64 Hình 4.21: I/O Disk Webserver .64 Hình 4.22: Temperature Webserver .65 Hình 4.23: Network Webserver .65 Hình 4.24: Fault Webserver 66 Hình 4.25: Cảnh báo lỗi cho máy chủ cân tải 66 Hình 4.26: CPU IDLE Database server 67 Hình 4.27: RAM Database server .67 Hình 4.28: I/O Disk Database server 68 Hình 4.29: Temperature Database server 68 Hình 4.30: Network Database server 69 Hình 4.31: Fault Database server 69 Hình 4.32: Cảnh báo lỗi cho máy chủ cân tải 70 60 Hình 4.11 cho thấy việc cảnh báo lỗi thời điểm t = 200 đến t = 270; t = 330 đến t = 590 lỗi xảy 4.2.2 Webserver Hình 4.12: CPU Webserver Hình 4.12 CPU thời điểm t = 110 đến t = 120; t = 320, t = 420 đến t = 500 có khả xảy lỗi Hình 4.13: RAM Webserver Hình 4.13 trạng thái Ram thời điểm t = 110 đến t = 120 t = 300 đến t = 320 xảy lỗi 61 Hình 4.14: I/O Disk Webserver Hình 4.14 tốc độ I/O disk, thời điểm từ t = 420 đến t = 430 t = 490 đến t = 510 cao Hình 4.15: Temperature Webserver 62 Hình 4.16: Network Webserver Hình 4.16 đƣờng truyền từ thời điểm t = đến t = 400 bình thƣờng, nhƣng đến thời điểm t = 415 đến t = 515 lƣợng user đồng thời truy cập nhiều hơn, có khả xảy lỗi Hình 4.17: Fault Webserver Hình 4.17 cho thấy cảnh báo lỗi máy webserver vào thời điểm t = 120 đến t = 320 xảy lỗi Cảnh báo lỗi tiếp tục xảy từ t = 410 đến t = 580 tƣơng ứng với CPU, RAM, DISK, TEMP NETWORK TRAFFIC cao 63 Hình 4.18: Cảnh báo lỗi cho máy chủ cân tải Hình 4.18 cảnh báo lỗi thời điểm t = 120 đến t = 135; t = 220 đến t = 600 lỗi xảy 4.2.3 Webserver Hình 4.19: CPU IDLE Webserver Hình 4.19 ban đầu t = đến t = 245 CPU trạng thái rãnh rỗi lƣợng user truy cập đồng thời ít, nhƣng đến t = 250 lƣợng user truy cập nhiều có khả xảy lỗi Sau t = 260 đến t = 600 mức độ truy cập user có giảm xuống 64 Hình 4.20: RAM Webserver Hình 4.20 trạng thái Ram thời điểm t = 10 đến t = 120 t = 300 đến t = 320 xảy lỗi Hình 4.21: I/O Disk Webserver Hình 4.21 I/O disk, thời điểm từ t = 410 đến t = 440 t = 490 đến t = 510 cao 65 Hình 4.22: Temperature Webserver Hình 4.23: Network Webserver Hình 4.23 đƣờng truyền từ thời điểm t = đến t = 400 bình thƣờng, nhƣng đến thời điểm t = 420 đến t = 510 lƣợng user đồng thời truy cập nhiều hơn, có khả xảy lỗi 66 Hình 4.24: Fault Webserver Hình 4.24 cảnh báo lỗi máy webserver vào thời điểm t = 10 đến t = 320 xảy lỗi Cảnh báo lỗi tiếp tục xảy từ t = 420 đến t = 560 tƣơng ứng với CPU, RAM, DISK, TEMP NETWORK TRAFFIC cao Hình 4.25: Cảnh báo lỗi cho máy chủ cân tải 67 Hình 4.25 cảnh báo lỗi thời điểm t = đến t = 120; t = 225 đến t = 220 t = 300 đến t = 600 lỗi xảy 4.2.4 Database server Hình 4.26: CPU IDLE Database server Hình 4.26 từ ban đầu trạng thái CPU thời điểm t = đến t = 360 cao nhƣng đến t = 420 đến t = 540 cao, lúc lƣợng user truy cập đồng thời nhiều Hình 4.27: RAM Database server Hình 4.27 trạng thái Ram thời điểm t = đến t = 120 bình thƣờng, đến t = 130 đến t = 600 cao xảy lỗi 68 Hình 4.28: I/O Disk Database server Hình 4.28 I/O disk, thời điểm t = 280; t = 480 đến t = 540 q cao có khả xảy lỗi Hình 4.29: Temperature Database server Hình 4.29 thời điểm t = 130 t = 430 nhiệt cao có khả xảy lỗi 69 Hình 4.30: Network Database server Hình 4.30 đƣờng truyền mạng thời điểm t = 110 cao lƣợng user truy cập đồng thời nhiều, nhƣng t = 130 đến t = 410 có giảm lƣợng truy cập xuống Sau đó, t = 420 đến t = 550 cao lƣợng user đồng thời truy cập nhiều hơn, có khả xảy lỗi Hình 4.31: Fault Database server Hình 4.31 cảnh báo lỗi máy Database server vào thời điểm t = 140 xảy lỗi Lỗi tiếp tục xảy từ t = 180 đến t = 600 tƣơng ứng với CPU, RAM, DISK, TEMP NETWORK TRAFFIC cao 70 Hình 4.32: Cảnh báo lỗi cho máy chủ cân tải Hình 4.32 cảnh báo lỗi thời điểm t = 115; t = 300 đến t = 370; t = 415 đến t = 600 lỗi xảy 71 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Tiên đoán cần thiết để bảo trì dự đốn khả ngăn chặn cố thất bại chi phí bảo trì Dự đốn bảo trì tiên đốn lỗi thực hành động chủ động Những tiến gần Machine Learning (ML) lƣu trữ đám mây tạo hội tuyệt vời để tận dụng lƣợng liệu khổng lồ đƣợc tạo từ sở hạ tầng đám mây cung cấp chỗ tiên đoán thành phần bị trục trặc lỗi Hiện tại, mơ hình tốn học thống kê phƣơng pháp bật đƣợc sử dụng cho tiên đốn lỗi, chúng dựa mơ hình vật lý suy giảm thiết bị kỹ thuật học máy, tƣơng ứng Điện toán đám mây thƣờng liên quan đến lỗi, nguy lỗi đƣợc xem khả mát, phơi nhiễm vòng đời điện tốn đám mây Nói chung, quản lý rủi ro điện tốn đám mây bao gồm quy trình, phƣơng pháp tiếp cận kỹ thuật đƣợc sử dụng để giảm thiểu rủi ro điện toán đám mây Mặc dù, nhiều nghiên cứu cải tiến đƣợc thực lĩnh vực đám mây, nhƣng số công ty phải chịu số lƣợng lớn thời gian chết kết lỗi đám mây dẫn đến doanh thu đáng kể Các cơng trình nghiên cứu nƣớc ngồi, chun gia cơng nghệ nƣớc có cơng trình nghiên cứu tiên đoán nhận dạng lỗi đƣa giải pháp cụ thể hệ thống ĐTĐM cách tốt để đảm bảo tính sẵn sàng cho ứng dụng tiết kiệm chi phí cho khách hàng Sử dụng phƣơng pháp suy diễn mờ Takagi-Sugeno miền vào hàm rõ biến đầu vào cung cấp chế xấp xỉ phi tuyến với phần luật tuyến tính Suy luận mờ trình ánh xạ điều khiển đầu vào cho tập hợp đầu điều khiển thông qua luật hợp thành mờ Tiềm logic mờ khả ƣớc tính phi tuyến tính cách biểu diễn tri thức tƣơng tự với suy luận ngƣời Luận văn đề xuất phƣơng pháp phát lỗi dựa suy diễn mờ Takagi-Sugeno Theo đó, thơng số đầu vào hệ thống phát lỗi gồm CPU, RAM, DISK I/O, TEMPERATURE, NETWORK Các thơng số đƣợc mờ hóa kết hợp với tập mờ để đƣa tiên đoán lỗi Luận văn đề xuất luật gồm 94 luật 72 đƣợc dựa khảo sát ý kiến chuyên gia hệ thống Các luật đƣợc chia thành ba nhóm (i) có thơng số trạng thái cao đƣa cảnh báo lỗi xảy ra, (ii) thơng số có trạng thái thấp trung bình khơng có lỗi xảy ra, (iii) có thơng số có trạng thái từ trung bình đến cao có lỗi xảy Triển khai hệ thống web thƣơng mại điện tử gồm VM để xử lý: Bộ cân tải gồm VM nhận yêu cầu từ ngƣời dùng điều phối đến webserver Chúng sử dụng NGINX5 với thuật toán cân tải RoundRobin Hệ thống website thƣơng mại điện tử gồm VM làm webserver VM làm máy chủ sở liệu Chúng triển khai ứng dụng TPC-W6 Hƣớng phát triển luận văn: Phát triển lên hệ thống fuzzy type 2…, nâng cấp làm thực nghiệm với nhiều máy chủ kết hợp với thuật toán học máy để tạo nhiều luật https://www.nginx.com/ http://www.tpc.org/tpcw/ 73 DANH MỤC CÁC TÀI LIỆU THAM KHẢO [1] Marco Guazzon, Cosimo Anglano, Massimo Canonico, “Energy – Efficient Resource Management for Cloud Computing Infrastructures”, IEEE Third International Conference on Cloud Computing Technology and Science, (2011) [2] Ian Foster, “Cloud Computing and Grid Computing 360-Degree compared” (2008) [3] Peter Mell, and Tim Grance, “The NIST Definition of Cloud Computing Version 15”, National Institute of Standards and Technology, Information Technology Laboratory, Technical Report (2009) [4] Armbrust, "A View of Cloud Computing" Communications of the ACM, vol 53, no 4, p 50–58, Apr (2010) [5] Peter Mell and Tim Grance, “Effectively and Securely Using the Cloud Computing Paradigm” (2009) [6] Hussaini Adamu, Bashir Mohammed, Ali Bukar Maina, Andrea Cullen “An approach to failure prediction in a cloud based environment” 2017 IEEE 5th International Conference on Future Internet of Things and Cloud (2017) [7] Ravi Jhawar, Marco Santambrogio, “Fault Tolerance Management in Cloud Computing: A System-Level Perspective” (2013) [8] Arvind Kumar, Rama Shankar Yadav, Ranvijay, Ajali Jain “Fault Tolerance in Real Time Distributed System” (IJCSE) International Journal of Computer Science and Engineer Vol No.2 (2011) [9] Albus, J: A therory of cerebellar function Math Biosci 10, 25–61 (1971) [10] Zadeh, L: Fuzzy sets Inf Control 8, 338–353 (1965) [11] VerbruggenH, Babuska R: Fuzzy LogicControl: Advances in Applications.World Scientific (1999) [12] Yamakawa, T: Stabilization of an inverted pendulum by a high-speed fuzzy logic controller hardware system Fuzzy Sets Syst 32 (2), 161–180 Elsevier (1989) [13] Passino, K, Yurkovich, S: Fuzzy Control Addison-Wesley (1998) 74 [14] Takagi, T, Sugeno, M: Fuzzy identification of systems and its applications to modeling and control IEEE Trans Syst Man Cybern 15 (1), 116–132 (1985) [15] Tan Hanh, Bui Dinh Mao, and Bui Thanh Khiet “Research on building fault detection solution for IaaS Cloud Computing based on Fuzzy Logic Algorithm.”, Posts and Telecommunications Institute of Technology International Conference on Computer Research and Development, 5th (ICCRD 2013), Viet Nam (2013) [16] Tran Cong Hung, Nguyen Xuan Phi, “Study the effect of parameters to load balancing in cloud computing”, International Journal of Computer Networks & Communications (IJCNC), Vol 8, No 3, (2016) [17] Hussaini Adamu†, Bashir Mohammed, Ali Bukar Maina, Andrea Cullen, Hassan Ugail, Irfan Awan, Faculty of Engineering and Informatics, University of Bradford, BD7 1DP, UK “An approach to failure prediction in a cloud based enviroment” IEEE 5th International Conference on Future Internet of Things and Cloud (2017) [18] Tariqul Islam and D Manivannan Department of Computer Science University of Kentucky “Predicting Application Failure in Cloud: A Machine Learning Approach” 2017 IEEE 1st International Conference on Cognitive Computing (2017) [19] Chi Yang, Xuyun Zhang, Surya Nepal, and Jinjun Chen: “A Time Efficient Approach for Detecting Errors in Big Sensor Data on Clou”’, Ieee Transactions On Parallel And Distributed Systems, (2015) [20] Ying Jiang, J.H., Jiaman Ding, Yingli Liu “Method of Fault Detection in Cloud Computing Systems”, International Journal of Grid Distribution Computing (2014) [21] Tao Wang, Member, IEEE, Wenbo Zhang, Chunyang Ye, Jun Wei, Hua Zhong, and Tao Huang “FD4C: Automatic Fault Diagnosis Framework for Web Applications in Cloud Computing” (2015) ... Chƣơng 3: TIÊN ĐOÁN LỖI TRONG HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY DỰA TRÊN HỆ SUY DIỄN MỜ 34 3.1 Dịch vụ hạ tầng điện toán đám mây .34 3.1.1Kiến trúc hệ thống dịch vụ hạ tầng điện toán đám mây ... 12 1.4 Lỗi điện toán đám mây 13 1.4.1Giới thiệu [6] 13 1.4. 2Lỗi cloud IaaS 15 1.5 Bài toán tiên đoán lỗi sở hạ tầng điện toán đám mây .16 iv Chƣơng 2: CƠ SỞ LÝ THUYẾT... hình lỗi, dùng mơ hình bayes để so sánh tính hiệu C4.5 [20] (ví dụ tốc độ) 34 Chƣơng 3: TIÊN ĐOÁN LỖI TRONG HẠ TẦNG ĐIỆN TOÁN ĐÁM MÂY DỰA TRÊN HỆ SUY DIỄN MỜ 3.1 Dịch vụ hạ tầng điện toán đám mây