Nghiên cứu mô hình kháng lỗi trong dịch vụ hạ tầng điện toán đám mây

i LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Bình Dương, Ngày tháng năm 2019 Học viên thực luận văn Đặng Thị Hồng Sâm ii LỜI CẢM ƠN Trong suốt trình học tập, nghiên cứu hoàn thành luận văn thạc sĩ, cố gắng nỗ lực thân, em nhận hướng dẫn, giúp đỡ quý báu quý thầy cơ, với động viên khích lệ ủng hộ đồng nghiệp, bạn bè gia đình Với lịng kính trọng biết ơn sâu sắc em xin gửi lời cảm ơn chân thành tới: Xin gửi lời cảm ơn trân trọng tới PGS.TS Trần Công Hùng, người trực tiếp hướng dẫn, tận tình bảo, chia sẻ kiến thức, tài liệu, tạo điều kiện thuận lợi định hướng cho em suốt trình thực luận văn Ban giám hiệu tất Thầy Cô giáo Đại học Thủ Dầu Một giảng dạy dìu dắt em trong suốt trình học tập trường Bên cạnh đó, em nhận nhiều hỗ trợ tận tình từ ThS.Bùi Thanh Khiết đồng nghiệp VNPT Bình Dương Xin gửi lời tri ân đến tất thầy anh chị Tuy nhiên, thời gian hạn hẹp, nỗ lực mình, luận văn khó tránh khỏi thiếu sót Em mong nhận thơng cảm bảo tận tình q Thầy Cô bạn Em xin chân thành cảm ơn! Bình Dương, Ngày tháng năm 2019 Học viên thực luận văn Đặng Thị Hồng Sâm iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT iv DANH SÁCH HÌNH VẼ v CHƯƠNG 1- TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 1.1 Điện toán đám mây gì? 1.2 Các mơ hình dịch vụ điện toán đám mây 1.3 Dịch vụ sở hạ tầng (IaaS) 1.4 Lỗi IaaS 1.5 Vấn đề kháng lỗi điện toán đám mây 1.6 Thách thức việc kháng lỗi điện toán đám mây 1.7 Tham số đo lường phương pháp kháng lỗi cho điện toán đám mây 1.8 Kết luận Chương CHƯƠNG 2- CÁC CƠNG TRÌNH LIÊN QUAN CHƯƠNG 3- MƠ HÌNH KHÁNG LỖI TRÊN ĐIỆN TOÁN ĐÁM MÂY DỊCH VỤ CƠ SỞ HẠ TẦNG 13 3.1 Mơ hình hệ thống 13 3.2 Logic mờ điều khiển mờ 14 3.3 Giải thuật toán tối ưu bầy đàn (PSO) 17 3.4 Xây dựng mơ hình tốn dựa lý thuyết logic mờ thuật toán PSO 19 CHƯƠNG -MÔ PHỎNG VÀ ĐÁNH GIÁ 27 4.1 Môi trường giả lập 27 4.2 Kết 27 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 32 Kết đạt 32 Những vấn đề tồn 32 Hướng phát triển 32 DANH MỤC TÀI LIỆU THAM KHẢO 33 iv DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ĐTĐM Cloud Computing Điện toán đám mây CSDL Database Cơ sở liệu QoS Quality of Service Chát lượng dịch vụ PSO Particle Swarm Optimizarion Phương pháp tối ưu bầy đàn IaaS Infrastruture as a Server Dịch vụ sở hạ tầng SaaS Software as a Service Dịch vụ phần mềm PaaS Platform as a Service Dịch vụ tảng VM Virtual machine Máy ảo PM Physical machine Máy vật lý v DANH SÁCH HÌNH VẼ Hình 1.1 Mơ hình điện tốn đám mây Hình 1.2 Mơ hình dịch vụ Hình 1.3 Kiến trúc dịch vụ sở hạ tầng Hình 3.1 Kiến trúc hệ thống Hình 3.2 Sơ đồ khối điều khiển mờ Hình 3.3 Luật mờ cho tải 19 Hình 3.4 Luật mờ cho nhiệt độ ………… … … 20 Hình 3.5 Mơ hình chiến lược 24 Hình 4.1 Tần số xuất lỗi 50 máy vật lý thời gian t 28 Hình 4.2 Thời gian thực thi theo ε ∈ [0.01; 0.09]……… 28 Hình 4.3 Thời gian thực thi theo số lượng cá thể bầy 29 Hình 4.4 Đánh giá mức độ hiệu thuật toán 29 Hình 4.5 Mức cân tải hệ thống thời gian t 30 Hình 4.6 Tổng tài ngun lãng phí hệ thống thời gian t 30 Hình 4.7 Thời gian thực thuật toán PSOVM PFTSA 30 CHƯƠNG 1- TỔNG QUAN VỀ ĐIỆN TỐN ĐÁM MÂY 1.1 Điện tốn đám mây gì? Điện tốn đám mây (Cloud Computing) theo định nghĩa IBM việc cung cấp tài nguyên máy tính cho người dùng tùy theo mục đích sử dụng thơng qua kết nối Internet Nguồn tài ngun thứ liên quan đến điện tốn máy tính, ví dụ phần mềm, phần cứng, hạ tầng mạng máy chủ mạng lưới máy chủ cỡ lớn Hình 1.1: Mơ hình điện tốn đám mây (Nguồn: http://skansiotech.com) 1.2 Các mơ hình dịch vụ điện toán đám mây Hiện nay, cơng ty cung cấp dịch vụ điện tốn đám mây cung cấp dịch vụ họ theo ba mô hình bản:  Infrastructure as a Service (IaaS): Dịch vụ sở hạ tầng  Platform as a Service (PaaS): Dịch vụ tảng  Software as a Service (SaaS): Dịch vụ phần mềm Hình 2.2:Mơ hình dịch vụ 1.3 Dịch vụ sở hạ tầng (IaaS) Dịch vụ sở hạ tầng dùng để cung cấp hạ tầng ảo cho người dùng, giúp cho người dùng sử dụng dịch vụ theo nhu cầu cách tự động Nhà cung cấp dịch vụ triển khai hạ tầng ảo hệ thống phân tán, cung cấp thêm nhiều dịch vụ để đảm bảo tính IaaS đảm bảo chất lượng dịch vụ Điều hẳn việc cho thuê máy chủ, không gian luu trữ hay thiết bị mạng, máy trạm Những dịch vụ thơng thường tính chi phí sở tính tốn chức lượng tài nguyên sử dụng Những đặc trưng tiêu biểu: cung cấp tài nguyên điện toán mộ dịch vụ bao gồm máy chủ, thiết bị mạng, nhớ, CPU, không gian đĩa cứng, trang thiết bị trung tâm liệu…; chi phí thay đổi tùy theo nhu cầu thực tế; nhiều người thuê dùng chung, chia sẻ tài nguyên điện toán hệ thống; linh động xử lý lỗi; linh động vận hành kiểm soát, thay đổi phần cứng Sau kiến trúc dịch vụ sở hạ tầng: Hình 3.3:Kiến trúc dịch vụ sở hạ tầng Khi thực thi yêu cầu từ người sử dụng, cơng việc thực song song chia sẻ tài nguyên để đáp ứng yêu cầu nhanh tốt Hoặc truy cập kho liệu khác để thỏa mãn nhu cầu khách hàng IaaS phải đảm bảo hiệu suất hiệu chi phí bảo trì điều khiển trung tâm khả tăng tài nguyên để bảo đảm dịch vụ không bị gián đoạn Có 03 thành phần kiến trúc hệ thống đám mây Đó là: cloud manager, cluster manager computer manager Cloud manager điểm truy cập vào đám mây, nơi mà nhà thuê bao đăng ký tài khoản, quản lý tài nguyên mà họ thuê truy cập liệu Nó thực việc truy cập tài nguyên mức Nó định có đủ tài nguyên để đáp ứng yêu cầu khách hàng hay không cluster manager thực yêu cầu Cloud manager thực luật cloud yêu cầu từ khách hàng Cluster manager: chịu trách nhiệm vận hành máy thông qua mạng Cluster manager nhận lệnh/ truy vấn, truy cập tài nguyên từ cloud manager xác định tài nguyên đáp ứng yêu cầu từ người sử dụng Sau thực truy cập tài nguyên Computer manager: hợp tác với hypervisor chạy hệ thống máy tính cluster Trong việc đáp ứng truy vấn từ Cluster manager Cluster manager trả thông tin trạng thái liên quan đến tài nguyên sử dụng có sẵn mà sử dụng 1.4 Lỗi IaaS Lỗi IaaS phân loại dựa vào vị trí xuất hiện, vị trí module chức Lỗi xuất từ phần cứng vật lý, xuất máy chủ ảo hóa, máy ảo… Lỗi điện tốn đám mây có khái niệm sau:  Fault: điều kiện bất thường nhiều thành phần hệ thống Một fault nguyên nhân làm hệ thống không thực thi theo thiết kế ban đầu  Error: trái ngược lý thuyết thực tế thành phần bên hệ thống hệ thống thực thi Một Error nguyên nhân hệ thống không thực thi theo thiết kế ban đầu  Failure: trạng thái hệ thống thực thi không thiết kế ban đầu Một cách hiểu khác cụ thể hơn, lỗi điện toán đám mây loại lỗi:  Lỗi mạng (Network fault): lỗi liên quan tới mạng lưới như: bị lập mạng, gói, gói tin lỗi, đích đến kết nối, lỗi kết nối…  Lỗi phần cứng: Loại lỗi thiết bị phần cứng máy chủ gây như: lỗi nguồn, lỗi CPU, lỗi RAM, HDD, storage, CPU fan, mainboard,  Lỗi truyền tải media: lỗi media bị lỗi trình truyền nhận  Lỗi xử lý: lỗi xảy xử lý hệ điều hành bị lỗi  Lỗi tiến trình: Một lỗi hết tài nguyên lỗi phần mềm  Lỗi dịch vụ hết hạn: hết thời gian phục vụ tài nguyên ứng dụng dùng Lỗi xảy suốt q trình tính tốn tài nguyên hệ thống phân loại như: lỗi bỏ sót, lỗi định thời, lỗi trả lời Cịn phân loại lỗi dựa vào thời gian như:  Lỗi lâu dài: lỗi xảy bị đứt dây mạng, nguồn điện bị mất, thảm họa… Đặc điểm loại lỗi dễ tái tạo lại lỗi Những lỗi gây hậu lớn cho hệ thống làm cho phần hệ thống hoạt động không mong đợi  Những lỗi gián đoạn: lỗi xuất Hầu hết lỗi bỏ qua hệ thống thử nghiệm xuất hệ thống có tải Vì khó dự đốn thiệt hại lỗi gây  Lỗi tạm thời: Những lỗi xảy vài lỗi vốn có từ trước, nhiên, lỗi sửa sai cách cố gắng khôi phục hệ thống đến trạng thái trước khởi động lại phần mềm gửi thông báo Từ khái niệm phân loại lỗi có nghiên cứu phương pháp nhận dạng lỗi cho ĐTĐM như: sử dụng phương pháp phân lớp (classification) phương pháp suy luận (inference) 1.5 Vấn đề kháng lỗi điện toán đám mây Để tăng độ tin cậy cho hệ thống thường có hai hướng chính: hệ thống hồn hảo, hai hệ thống có khả kháng lỗi Hệ thống hoàn hảo hướng tới việc tránh lỗi xảy thông qua thiết kế tốt Các thành phần hệ thống đảm bảo vận hành xác có dấu hiệu bất thường thay Còn kháng lỗi quan điểm khắc phục hậu lỗi, tránh lỗi, ngăn ngừa lỗi để thành phần hoạt động Để đạt điều cần có chế kháng lỗi Có nhiều cách để thực hiện, là: Các thành phần hệ thống cần có dự phịng (redundancy) hoạt động song song Các thành phần phần cứng, phần mềm, vi xử lý, cảm biến, bus, nguồn, Do vậy, hệ thống trở nên phức tạp tốn nhiều chi phí Kháng lỗi vấn đề nghiên cứu quan trọng điện toán đám mây Một hệ thống điện toán đám mây có khả chịu lỗi, có thời gian hoạt động cao, có khả hoạt động tốt bất chấp lỗi Có hai hướng nghiên cứu kháng lỗi là:  Kháng lỗi bị động (reactive fault tolerance): kỹ thuật nhằm giảm bớt ảnh hưởng lỗi gây thực thi ứng dụng cung cấp dịch vụ Có nhiều kỹ thuật khác cho sách này, như: Check pointing/Restart [1] [2] [3] [4], Replication (nhân bản) [5] [6] [7], Task Resubmission (gán lại tác vụ), User defined exception Handling (quản lý lỗi người dùng định nghĩa) 21 Tập luật: Từ tri thức kinh nghiệm thực tế chuyên gia, chọn luật sau [28]: Luật Tiền đề luật Tiên đoán lỗi [0,1] load temperature Low Low Low Medium Low High Medium Low Medium Medium Medium High High Low High Medium High High 3.4.2 Mơ hình cấp phát máy ảo Giả sử sở hạ tầng điện toán đám mây có M máy vật lý Nhờ cơng nghệ ảo hóa, máy vật lý triển khai máy ảo Hệ thống điện tốn đám mây cung cấp tài nguyên máy ảo cho tập ứng dụng đa tầng 𝐀 = {𝐀 𝟏 , 𝐀𝟐 , … , 𝐀𝐧 } Một vector phân bổ tài nguyên 𝚽 = {𝚽 𝟏 , 𝚽 𝟐 , … , 𝚽 𝐧 } định nghĩa số lượng máy ảo phân bổ cho ứng dụng tất máy chủ vật lý Chiến lược cấp phát máy ảo cho ứng dụng 𝐀 𝐢 ∀ 𝐢 ∈ biểu diễn ma trận 𝚽 𝐢 không âm hàng 𝐤 cho tầng 𝐦 cột cho máy vật lý sau: 𝑣 𝛷 = ⎛𝑣 ⋮ ⎝𝑣 𝑣 𝑣 ⋮ 𝑣 ⋯ ⋯ ⋱ ⋯ 𝑣 𝑣 ⋮ 𝑣 ⎞ ( 3.10) ⎠ 𝐢 Trong 𝐯𝐤𝐦 > 𝟎 số lượng máy ảo cấp phát cho ứng dụng thứ 𝐢 tầng thứ 𝐤 máy vật lý thứ 𝐦 Để đảm bảo hệ thống ln có hiệu suất tốt, hệ thống cần sử dụng tài nguyên máy chủ vật lý cách đồng Hay nói cách khác máy ảo phân phối máy vật lý, lúc hệ thống đạt trạng thái cân Để đo hiệu suất sử dụng tài nguyên máy vật lý, dùng công thức sau: ℎ = + + (3.11) 22 Trong đó: - ℎ hiệu suất sử dụng tài nguyên máy vật lý 𝑖 - 𝑐 , 𝑐 số lượng CPU sử dụng số lượng CPU tổng máy vật lý 𝑖 - 𝑟 , 𝑟 số lượng RAM sử dụng số lượng RAM tổng máy vật lý 𝑖 - 𝑑 , 𝑑 số lượng DISK sử dụng số lượng DISK tổng máy vật lý 𝑖 Mức độ cân phân phối tài nguyên hệ thống đo công thức sau: 𝑉= ∑ ( ) (3.12) h giá trị trung bình hiệu suất Đối với nhà cung cấp dịch vụ, để đạt lợi nhuận cao thường họ khai thác tối đa khả phục vụ máy vật lý, tránh tình trạng lãng phí tài nguyên máy vật lý Lãng phí tài nguyên máy vật lý thứ i hệ thống tính sau: 𝑤 = + + (3.13) Trong đó: - 𝑐 , 𝑐 số lượng CPU chưa sử dụng số lượng CPU tổng máy vật lý 𝑖 - 𝑟 , 𝑟 số lượng RAM chưa sử dụng số lượng RAM tổng máy vật lý 𝑖 - 𝑑 , 𝑑 số lượng DISK chưa sử dụng số lượng DISK tổng máy vật lý 𝑖 Mức độ tổng tài nguyên chưa khai thác hệ thống tính sau: 𝑊= ∑ 𝑤 ( 3.14) Để biểu diễn đánh đổi cân tải độ lãng phí tài nguyên, hàm lợi ích đem lại cho người chơi thứ i phục vụ máy ảo biểu diễn sau: 𝐹 = 𝜏𝑉 + (1 − 𝜏)𝑊 ∀ 𝜏 ∈ [0,1] ( 3.15) Chúng ta xem việc điều chỉnh tự động tài nguyên trò chơi khách hàng người chơi Giả sử người chơi thay đổi chiến lược phân 23 bổ hành động điều chỉnh di trú máy ảo từ máy vật lý y sang máy vật lý z sau: 𝑣 −1 𝑎 = 𝑣 đó, v   (3.16) +1 − hành động điều chỉnh bớt máy ảo v + hành động thêm máy ảo Trong trị chơi này, hàm lợi ích trị chơi có ảnh hưởng quan trọng đến định chiến lược người chơi kết trò chơi Mỗi người chơi chọn chiến lược nhằm tối đa hóa thu hoạch họ, hàm mục tiêu sau: 𝐹 (𝛷 ) 𝑀𝑖𝑛 ∑ cho ∑ ∑ ∑ (3.17) ≤ 𝑐 𝑣 Điểm cân Nash trò chơi chiến lược mà khơng người chơi tăng lợi nhuận người chơi khác cố định chiến lược Khi đó, chiến lược người chơi thứ i chiến lược tối ưu kí hiệu p∗ , chiến lược tối ưu người chơi khác ký hiệu p∗ cân Nash chiến lược p∗ tuân thủ theo điều kiện [25], sau: 𝐹 (𝑝 ∗ , 𝑝 ∗ ) ≥ 𝐹 (𝑝 ∗ , 𝑝 ) (3.18) Trong môi trường hệ thống đa tầng, điểm cân khơng ổn định [26] Ngồi ra, khó tìm hiệu Pareto cân Nash Để giải vấn đề đa phần giải thuật dựa giải thuật metaheuristic Các phương án gán máy ảo vào máy vật lý khả thi tìm dựa giải thuật tối ưu đàn kiến Từ tập phương án khả thi dựa vào điều kiện cân Nash chọn phương án tốt Điều kiện dừng thuật toán theo [27] ∑ (𝐹 − 𝐹 )