NGHIÊN CỨU GIẢI PHÁP TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN HIỆU QUẢ TRONG ĐIỆN TOÁN ĐÁM MÂY. TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG Nguyễn Khắc Chiến NGHIÊN CỨU GIẢI PHÁP TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN HIỆU QUẢ TRONG ĐIỆN TỐN ĐÁM MÂY Chun ngành: Kỹ thuật máy tính Mã số: 9.48.01.06 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội - 2019 Cơng trình hồn thành tại: Học viện Cơng nghệ Bưu Viễn thơng Người hướng dẫn khoa học: GS TSKH Hồ Đắc Lộc TS Nguyễn Hồng Sơn Phản biện: Phản biện: Phản biện: Luận án bảo vệ trước Hội đồng cấp Học viện Cơng nghệ Bưu Viễn thơng chấm luận án tiến sĩ họp vào hồi …… …… ngày …… tháng …… năm …… Có thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU TÍNH CẤP THIẾT CỦA LUẬN ÁN Trong điện toán đám mây (CC), tự động điều chỉnh (AS) cung cấp giải phóng tài nguyên tạm thời để phục vụ cho tải ứng dụng biến động mà khơng có can thiệp người cho chi phí tài nguyên thỏa mãn mức thỏa thuận dịch vụ (SLA) hay mục tiêu mức dịch vụ (SLO) ứng dụng Hình 0.1 minh họa trường hợp AS Hình 0.1(a), nhu cầu đến tăng lên, tài nguyên rơi vào tình trạng tải, AS định cung cấp số tài nguyên tạm thời cách thêm VM thêm khả tính tốn (ví dụ: thêm core) cho VM có Ngược lại, hình 0.1(b), AS giải phóng số tài nguyên số lượng yêu cầu giảm xuống cách tắt số VM có giảm cơng suất VM có (ví dụ: giảm số core) Bộ tự động điều chỉnh Bộ tự động điều chỉnh VM VM VM VM Thêm Cores VM VM VM VM Cores VM VM VM VM Cores VM Khách hàng đến Khách hàng đến Khách hàng đến (a) Bộ tự động điều chỉnh Bộ tự động điều chỉnh Loại bỏ VM VM VM VM VM Loại bỏ VM VM VM Loại bỏ Cores VM Khách hàng rời khỏi Khách hàng rời khỏi VM VM VM VM Cores Khách hàng rời khỏi Cores Khách hàng rời khỏi (b) Hình 0.1: Ví dụ trường hợp tự động điều chỉnh Một số khó khăn thách thức cần giải việc xây dựng giải pháp AS, như: - Các nghiên cứu AS mức dịch vụ cịn hạn chế AS bao gồm mơ hình dịch vụ đám mây đa dạng, hầu hết nghiên cứu tập trung vào mức sở hạ tầng AS mức dịch vụ quan trọng dịch vụ chạy tập hợp VM kết nối QoS phụ thuộc vào cách AS xử lý tài nguyên cho VM Các số đo mức dịch vụ số giao dịch đơn vị thời gian cần phải ánh xạ tới số đo mức hệ thống là: mức sử dụng CPU, mạng, - AS môi trường CC hỗn hợp không hỗ trợ tốt Đám mây hỗn hợp, có phần ứng dụng triển khai đám mây riêng phần khác triển khai đám mây công cộng Trong trường hợp này, đám mây công cộng đám mây riêng cung cấp giải pháp AS khác mà khơng tương thích với nhau, có vấn đề khơng tương thích tài nguyên AS hai đám mây - Hiệu AS theo độ tin cậy trình AS khơng quản lý tốt Thất bại q trình AS dẫn đến vi phạm yêu cầu QoS hệ thống là: vấn đề hiệu năng, khả co giãn chí phải chịu chi phí khơng cần thiết - Hạn chế nghiên cứu mối quan hệ AS thuộc tính khác như: độ sẵn sàng, độ tin cậy độ an ninh Ví dụ, cơng từ chối dịch vụ DDoS gây dịch vụ AS để mở rộng hệ thống khơng cần thiết làm tăng chi phí vận hành - Xác định ảnh hưởng chế hệ thống đến dịch vụ AS CC, kỹ thuật cân tải, lập lịch hay di trú, từ đưa giải pháp thích nghi điều kiện AS nhằm nâng cao hiệu đám mây - Các giải pháp AS đề xuất cơng trình đánh giá thực nghiệm môi trường công cụ khác Mỗi giải pháp có ưu hạn chế định Hiện nay, số giải pháp AS phụ thuộc vào người sử dụng đám mây phải xác định cấu hình điều khiển đám mây Kết là, người sử dụng luật định nghĩa trước dẫn đến định điều chỉnh tối ưu cục tốn tiền trả cho nhà cung cấp ứng dụng CC Để khắc phục hạn chế trên, luận án nghiên cứu đề xuất giải pháp AS tài nguyên hiệu CC cách sử dụng điều khiển mờ kết hợp với phương pháp học tăng cường để điều chỉnh cải thiện sách AS thực Phương pháp học tăng cường sử dụng học Q, cho phép hệ thống học từ tương tác với mơi trường, việc học thực thơng qua chế phần thưởng Sự kết hợp điều khiển mờ học Q mờ tạo chế tự thích nghi mạnh mẽ, điều khiển mờ thực việc lập luận mức độ trừu tượng cao hơn, lập luận giống người học Q cho phép thích nghi với điều khiển Bộ AS bắt đầu làm việc mà khơng cần có tri thức ban đầu (với tri thức ban đầu rỗng), tri thức có trình thực hiện, thơng qua chế tiến hóa tri thức để học tập luật tối ưu dùng để điều chỉnh tài nguyên theo tham số đầu vào Ngồi ra, luận án cịn nghiên cứu số vấn đề có ảnh hưởng đến hiệu hoạt động dịch vụ AS kỹ thuật CC: kỹ thuật cân tải, di trú Tiếp theo, luận án nghiên cứu mơ hình hàng đợi để mơ hình hệ thống CC đề xuất mơ hình CC sử dụng mạng hàng đợi – mạng jackson mở nhằm đánh giá số số đo hiệu hệ thống CC ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU Đối tượng nghiên cứu luận án giải pháp kỹ thuật kỹ thuật cân tải di trú CC; mơ hình hóa mơi trường CC mơ hình mạng hàng đợi mở; giải pháp AS tài nguyên hiệu CC Phạm vi nghiên cứu luận án tập trung áp dụng giải pháp, kỹ thuật tảng sở hạ tầng CC PHƯƠNG PHÁP NGHIÊN CỨU Phương pháp nghiêu cứu luận án là: - Với nội dung 1: Luận án nghiên cứu kỹ thuật cân tải di trú CC có, vấn đề hạn chế, sau đề xuất giải pháp để khắc phục hạn chế Sử dụng thực nghiệm để đánh giá tính hiệu kỹ thuật đề xuất - Với nội dung 2: Luận án nghiên cứu mơ hình mạng hàng đợi – mạng Jackson mở, để đề xuất mơ hình cho hệ thống CC Sử dụng mơ để đánh giá tính đắn mơ hình đề xuất - Với nội dung 3: Luận án nghiên cứu logic mờ học tăng cường để đề xuất AS hiệu cho CC Sử dụng thực nghiệm để so sánh, đánh giá với giải pháp có Về thực nghiệm mơ phỏng: Luận án thực thử nghiệm kỹ thuật, giải pháp đề xuất dựa vào công cụ mô CC tự lập trình mơ ngơn ngữ lập trình Java: CloudSim, sử dụng sở liệu sinh ngẫu nhiên, lấy liệu Internet, thiết lập cố định theo cấu hình định,… CÁC ĐĨNG GĨP CỦA LUẬN ÁN Đóng góp luận án bao gồm: - Đề xuất kỹ thuật cân tải hiệu kỹ thuật di trú hiệu CC tạo điều kiện thuận lợi cho việc điều chỉnh tài nguyên giúp cải thiện hiệu trung tâm CC Đã minh chứng chế cân tải có ảnh hưởng đến tính hiệu chế AS tài nguyên kỹ thuật cân tải đề xuất có tác động tích cực đến AS tài nguyên Kết nghiên cứu cơng bố cơng trình TCNN1, TCTN1, HNQT1, HNQT2 trình bày Chương luận án - Đề xuất mơ hình CC sử dụng mạng hàng đợi - mạng Jackson mở, làm sở để đánh giá thông số quan trọng hiệu CC Kết công bố cơng trình TCNN3 trình bày Chương luận án - Đề xuất giải pháp AS tài nguyên hiệu CC: xây dựng AS sử dụng kết hợp kỹ thuật học tăng cường điều khiển logic mờ Kết công bố cơng trình TCNN2, HNQT3, HNTN1 trình bày Chương luận án BỐ CỤC CỦA LUẬN ÁN Luận án xây dựng thành bốn chương sau: Chương trình bày tổng quan tự động điều chỉnh tài nguyên điện toán đám mây, giới thiệu tổng quan AS CC, trình bày khái niệm liên quan Chương trình bày đề xuất chế có ảnh hưởng đến tự động điều chỉnh tài nguyên điện tốn đám mây Chương trình bày đề xuất mơ hình mạng hàng đợi cho hệ thống điện tốn đám mây Chương trình bày giải pháp tự động điều chỉnh tài nguyên cho ứng dụng đa tầng điện toán đám mây Cuối số kết luận hướng phát triển luận án CHƯƠNG : TỔNG QUAN VỀ TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN TRONG ĐIỆN TOÁN ĐÁM MÂY 1.1 CƠ SỞ LÝ THUYẾT 1.1.1 Khái niệm tự động điều chỉnh AS cách để điều chỉnh tăng lên điều chỉnh giảm xuống cách tự động số lượng tài nguyên tính tốn cấp phát cho ứng dụng khách hàng dựa vào nhu cầu khách hàng thời điểm Theo quan điểm học thuật, AS khả sở hạ tầng CC cho phép cung cấp tự động tài nguyên ảo hóa Tài nguyên sử dụng ứng dụng dựa đám mây tự động tăng lên giảm xuống, thích hợp cho việc sử dụng tài nguyên theo nhu cầu ứng dụng 1.1.2 Vòng lặp điều khiển MAPE Đây tốn điều khiển tự động cổ điển, địi hỏi hệ thống AS loại tài nguyên số lượng tài nguyên cấp phát để đạt mục tiêu hiệu định, phản ánh SLA Nó thường thực vòng lặp điều khiển MAPE Chu kỳ kiểm soát liên tục lặp lặp lại theo thời gian Các giai đoạn vòng lặp MAPE gồm: giai đoạn giám sát (M), giai đoạn phân tích (A), giai đoạn lập kế hoạch (P) giai thực (E) 1.1.3 Phương pháp điều chỉnh PHƯƠNG PHÁP ĐIỀU CHỈNH ĐIỀU CHỈNH THEO CHIỀU DỌC ĐIỀU CHỈNH THEO CHIỀU NGANG Hình 1.1: Phương pháp điều chỉnh CC 1.1.4 Kỹ thuật tự động điều chỉnh Kỹ thuật tự động điều chỉnh Kỹ thuật sử dụng luật dựa vào ngưỡng Kỹ thuật sử dụng học tăng cường Kỹ thuật sử dụng lý thuyết hàng đợi Kỹ thuật sử dụng lý thuyết điều khiển Kỹ thuật sử dụng phân tích chuỗi thời gian Hình 1.2: Phân loại kỹ thuật AS 1.1.5 Kiến trúc ứng dụng đa tầng Các ứng dụng đa tầng bao gồm tầng kết nối Tại tầng, yêu cầu dựa vào tầng trước để hồn thành xử lý chuyển đến tầng để xử lý cuối cùng, kết xử lý chuyển đến người dùng Một kiến trúc thích nghi mở rộng thuộc loại thường bao gồm ba tầng: tầng trước, tầng logic ứng dụng tầng sở liệu (ví dụ hình 1.6) Tầng sở liệu thường xem xét điều chỉnh thường bỏ qua tính AS Website Amazon EC2 Load Balancer VM – EBS Vol EBS Vol EBS Vol Master DB VM – Replication Slave DB VM – n EBS Vol EBS Vol EBS Vol Backup (Snapshots) Amazon S3 Hình 1.3: Ví dụ ứng dụng web có kiến trúc ba tầng Trong luận án nghiên cứu kỹ thuật AS theo chiều ngang, tức AS số lượng VM tăng lên giảm xuống theo nhu cầu tải công việc tối thiểu việc sử dụng tài ngun tính tốn Đối với ứng dụng đa tầng, tầng sử dụng nhiều VM 1.1.6 Nền tảng thực nghiệm Các kỹ thuật AS có thường thực nghiệm điều kiện khác nhau, khó có đánh giá so sánh công Các nhà nghiên cứu lĩnh vực tự xây dựng tảng đánh giá riêng, phù hợp với nhu cầu riêng Các tảng đánh giá phân loại thành chương trình mơ phỏng, liệu mẫu tùy chỉnh nhà cung cấp đám mây cơng cộng Ngoại trừ chương trình mơ đơn giản, tiêu chuẩn ứng dụng mở rộng phải thực tảng để thực đánh giá Một số công cụ mô đám mây dùng cho hướng nghiên cứu CloudSim, GreenCloud GroudSim 1.1.7 Tải công việc Tải công việc đầu vào cho ứng dụng liệu (tải cơng việc) tổng hợp, tạo chương trình cụ thể thu từ người dùng thực tế Hệ thống dựa đám mây xử lý hai loại tải công việc chính: lơ (batch) giao tác Tải cơng việc theo lô bao gồm công việc tùy ý, kéo dài, cơng việc địi hỏi nhiều tài ngun, chương trình khoa học chuyển mã video Ví dụ tải công việc giao tác ứng dụng web xây dựng để phục vụ khách hàng HTTP trực tuyến Các hệ thống thường phục vụ loại nội dung trang HTML, hình ảnh luồng video Có thể lưu trữ tĩnh hiển thị tự động máy chủ 1.2 TỔNG QUAN VỀ CÁC CƠNG TRÌNH LIÊN QUAN Phần trình bày tổng quan cơng trình liên quan đến các kỹ thuật tự động điều chỉnh CC, phân tích ưu điểm hạn chế chúng nhằm đề xuất hướng nghiên cứu KẾT LUẬN CHƯƠNG 1: Chương trình bày sở lý thuyết sử dụng luận án khái niệm AS vấn đề liên quan Các cơng trình liên quan đến luận án trình bày theo kỹ thuật AS Trong đó, luận án tập trung vào kỹ thuật sử dụng lý thuyết hàng đợi, lý thuyết điều khiển học tăng cường CHƯƠNG : CÁC ĐỀ XUẤT CƠ CHẾ CƠ BẢN CÓ ẢNH HƯỞNG ĐẾN TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN TRONG ĐIỆN TOÁN ĐÁM MÂY 2.1 ĐẶT VẤN ĐỀ Chương tổng hợp từ cơng trình TCNN1, TCTN1, HNQT1, HNQT2 2.2 ĐỀ XUẤT MỘT KỸ THUẬT CÂN BẰNG TẢI ĐỘNG HIỆU QUẢ TRONG ĐIỆN TOÁN ĐÁM MÂY 2.2.1 Cơ chế chia sẻ tài nguyên điện toán đám mây Kỹ thuật cân tải CC áp dụng mức khác nhau, mức PM mức VM Có hai sách lập lịch áp dụng mức PM để thực cung cấp VM time-shared (TS) space-share (SS) có hai sách lập lịch áp dụng mức VM để thực cung cấp cho tác vụ TS SS Hình 2.2 ví dụ việc chia sẻ tài nguyên dựa vào sách khác mức: Trong ví dụ này, PM có hai core CPU nhận yêu cầu lưu giữ hai VM Mỗi VM yêu cầu hai core có kế hoạch lưu giữ bốn đơn vị tác vụ Cụ thể, tác vụ t1, t2, t3, t4 lưu giữ 𝑉𝑀1 , tác vụ t5, t6, t7 t8 lưu giữ 𝑉𝑀2 Mỗi tác vụ yêu cầu core xử lý Hình 2.2(a) trình bày trường hợp cung cấp, sách SS áp dụng cho việc phân bổ cho VM đơn vị tác vụ Hình 2.2(b), sách SS áp dụng để phân bổ VM tới PM sách TS để phân bổ đơn vị tác vụ tới core xử lý bên VM Cores Cores vm1 vm2 t2 t4 t6 t8 t1 t3 t5 t7 1 Time (a) Cores vm1 vm2 t4 t3 t2 t1 t8 t7 t6 t5 (b) Time Cores t4 t3 t2 t1 t8 t7 t6 t5 (c) vm vm vm vm Time t8 t7 t6 t5 t4 t3 t2 t1 (d) vm vm vm vm Time Hình 2.1: Ảnh hưởng sách khác việc thực thi tác vụ Hình 2.2 (c), VM sử dụng sách cung cấp TS, tác vụ cung cấp dựa sách SS Hình 2.2(d), sách phân bổ TS áp dụng cho VM tác vụ 2.2.2 Phân tích kỹ thuật cân tải động đề xuất Trong cơng trình1 đưa thuật tốn cân tải giám sát tích cực (gọi tắt là: AMLB-Old) Thuật tốn AMLB-Old chưa tính đến kích thước tải cơng việc khả xử lý lại VM VM1 Yêu cầu đến VM2 T7 T4 T3 T2 T6 T5 T1 Hình 2.2: Ví dụ có VM hoạt động James, Jasmin and Verma, Bhupendra (2012), "Efficient VM load balancing algorithm for a cloud computing environment", International Journal on Computer Science and Engineering 4(9), p 1658 Xem ví dụ Hình 2.2, với hai VM: 𝑉𝑀1 , 𝑉𝑀2 Hiện tại, 𝑉𝑀1 chứa yêu cầu T1, T2, T3, T4 VM2 chứa yêu cầu T5, T6, T7 VM1 chứa số yêu cầu nhiều 𝑉𝑀2 , công suất xử lý cịn lại 𝑉𝑀2 lại 𝑉𝑀1 Khi yêu cầu đến, theo thuật toán AMLB-Old, yêu cầu cấp phát cho 𝑉𝑀2 để xử lý Do đó, 𝑉𝑀2 bị tải, số lượng yêu cầu Thuật tốn AMLB-New có tính đến sức mạnh xử lý VM kích thước yêu cầu giao Thời gian đáp ứng dự kiến xác định theo cơng thức sau: Response Time = Fint − Arrt + TDelay, (0.1) đó, Arrt thời điểm đến yêu cầu; Fint thời điểm hoàn thành yêu cầu (tác vụ) người dùng TDelay độ trễ truyền tải + Nếu sách lập lịch SS-SS TS-SS, Fint tính sau: Fint = est(p) + rl Capacity × cores(p) (0.2) + Nếu sách lập lịch SS-TS TS-TS, Fint tính sau: Fint = ct + rl Capacity × cores(p) (0.3) Thời gian thực tác vụ 𝑝 tính sau: Execution Time = rl Capacity × Cores(p) (0.4) đó, est(p) thời gian mà tác vụ p bắt đầu; ct thời gian mô tại; rl tổng số thị tác vụ p (đơn vị tính MI); Cores(p) số core thành phần xử lý theo yêu cầu tác vụ (đơn vị MIPS); Capacity cơng suất xử lý trung bình (tính theo MIPS) core cho tác vụ Tham số Capacity xác định công suất thực cho việc xử lý yêu cầu (tác vụ) VM Ở đây, đề xuất cơng thức để tính tốn Capacity trường hợp để sử dụng thuật toán AMLB-New: (1) Chính sách lập lịch VM SS, sách lập lịch tác vụ SS: np Capacity = ∑ i=1 Cap(i) , np (0.5) đó, Cap(i) sức mạnh xử lý core thứ i, np số lượng core thực có PM xem xét (2) Chính sách lập lịch VM SS, sách lập lịch tác vụ TS: 14 Hình 2.13: Phấn bố tải cơng việc đến ClarkNet trace3 Hình 2.15: Số lượng VM bổ sung sử dụng AMLB-New Hình 2.14: Số lượng VM bổ sung sử dụng Round Robin Hình 2.16: Độ lệch Dev(t) theo cân tải sử dụng Round Robin sử dụng AMLB-New Kết cho thấy việc bổ sung VM trì hiệu suất AS sử dụng kỹ thuật cân tải AMLB-New tốt sử dụng Round Robin KẾT LUẬN CHƯƠNG 2: Chương này, luận án đề xuất kỹ thuật cân tải động hiệu kỹ thuật di trú hiệu CC Cuối đánh giá ảnh hưởng kỹ thuật cân tải CC có chế AS tài nguyên, kết thực mơ tính hiệu kỹ thuật đề xuất đánh giá vai trò, ảnh hưởng kỹ thuật cân tải trường CC có chế AS CHƯƠNG : ĐỀ XUẤT MỘT MƠ HÌNH MẠNG HÀNG ĐỢI CHO HỆ THỐNG ĐIỆN TOÁN ĐÁM MÂY 3.1 ĐẶT VẤN ĐỀ Nội dung chương tổng hợp từ công trình TCNN3 3.2 MƠ HÌNH HĨA ỨNG DỤNG ĐA TẦNG TRÊN ĐIỆN TỐN ĐÁM MÂY 3.2.1 Mơ hình hàng đợi mở cho ứng dụng đa tầng Hình 3.1 mơ hình mạng hàng đợi mở đề xuất cho ứng dụng đa tầng HTTP, ClarkNet ClarkNet HTTP Trace, truy cập 9/7/2018, from http://ita.ee.lbl.gov/html/contrib/ClarkNetHTTP.html 15 Tầng xử lý nghiệp vụ λ1 μ1 λ2 μ1 Bộ cân tải λ Máy chủ sở liệu λ δ λm μm Hình 3.1: Mơ hình mạng hàng đợi mở cho ứng dụng đa tầng CC Ở tập trung vào tính khơng đồng VM, giả sử VM 𝑖 có ci core xử lý, tốc độ thực thi core s đo giga lệnh giây (GIPS) Tốc độ phục vụ VM 𝑖 tính sau: s ∗ ci μi = , (0.18) Z̅ đó, Z̅ số thị trung bình yêu cầu thi VM 𝑖 Mỗi nút VM có tốc độ phụ vụ μi Mơ hình đề xuất hình 3.1 thỏa mãn yêu cầu mạng hàng đợi Jackson mở 3.2.2 Phân tích mơ hình đề xuất Gọi rij xác suất chuyển trạng thái sau yêu cầu xử lý xong nút i chuyển đến nút j Ta có, tổng xác suất chuyển trạng thái mạng hàng đợi mở (ở đây: ri0 xác suất chuyển mạng từ nút i): N ri0 = − ∑ rij , i ∈ [1, N] (0.19) j=1,j≠i Gọi λi tốc độ đến từ bên vào nút thứ i Λi tổng tốc độ đến nút thứ i (bao gồm tốc độ đến từ bên tốc độ chuyển đến từ nút bên hệ thống mạng đến nút thứ i), ta có: N Λi = λi + ∑ Λj rji , i ∈ [1, N] (0.20) j=1,j≠i Gọi Λ = [Λ1 , Λ2 , … , ΛN ]T vector tổng tốc độ đến hàng đợi nút Gọi λ = [λ1 , λ2 , … , λN ]T vector tốc độ đến từ bên ngồi, cơng thức (3.13) viết lại dạng phương trình ma trận sau: Λ = λ + RT Λ, T (0.21) với R ma trận xác suất chuyển trạng thái (R ma trận chuyển vị ma trận R) 16 r11 r21 R=( ⋮ rN1 r12 r12 ⋮ rN1 ⋯ ⋯ ⋱ ⋯ r1N r2N ⋮ ) rNN (0.22) Một mạng Jackson mở xem xét chuỗi Markov thời gian liên tục với vector trạng thái: x̅ = (x1 , x2 , … , xN ), (0.23) với xi số lượng yêu cầu có VM i Sử dụng phương trình trạng thái cân dựa hệ thống Markov Trong Bảng 3.2, mơ tả trạng thái có thể: Bảng 3.1 Bảng mô tả trạng thái Trạng thái Ký hiệu x1 , … , xi−1 , xi , xi+1 , … , xN x1 , … , xi−1 , xi + 1, xi+1 , … , xN x1 , … , xi−1 , xi − 1, xi+1 , … , xN x1 , … , xi−1 , xi + 1, xi+1 , … , xj−1 , xj − 1, xj+1 , … , xN x̅ x̅; i+ x̅; i− x̅; i+ j− Sử dụng nguyên lý cân trạng thái luồng vào trạng thái x̅ luồng khỏi trạng thái x̅, giả sử xi ≥ VM: N N N N ∑ λi px̅;i− + ∑ ∑ μi rij px̅;i+ j− + ∑ μi ri0 px̅;i+ i=1 j=1 i=1 i=1 𝑁 𝑁 (0.24) = ∑ 𝜇𝑖 (1 − 𝑟𝑖𝑖 ) 𝑝𝑥̅ + ∑ 𝜆𝑖 𝑝𝑥̅ 𝑖=1 𝑖=1 Định lý: Phân bố cân cho mạng Jackson mở là: N x px̅ = C ∏ ρi i , với ρi = i=1 Λi < μi Việc cung cấp phân bố chung cho tất VM hệ thống, giải pháp trạng thái ổn định cho phương trình (3.17) là: 𝑥 𝑥 𝑥 𝑝𝑥̅ ≡ 𝑝𝑥1 ,𝑥2 ,…,𝑥𝑁 = (1 − 𝜌1 )𝜌1 (1 − 𝜌2 )𝜌2 … (1 − 𝜌𝑁 )𝜌𝑁𝑁 𝑁 = ∏(1 − 𝜌𝑖 )𝜌𝑖 𝑥𝑖 (0.25) 𝑖=1 N với C = ∏(1 − ρi ) i=1 Số lượng yêu cầu trung bình Li VM i cho hàng đợi M/M/1 với tổng tốc độ đến Λi : 17 Li = ρi , i = 1,2, … , N − ρi (0.26) Tổng số lượng u cầu trung bình tồn mạng tính sau: N L = L1 + L2 + ⋯ + LN = ∑ i=1 ρi − ρi (0.27) Thời gian đợi trung bình yêu cầu mạng với Luật Little: L W= , β (0.28) β = ∑N i=1 λi tổng tốc độ đến từ bên vào mạng Thời gian đáp ứng trung bình yêu cầu mạng VM thứ i (i = 1,2, … , N): Wi = Li = , Λi μi (1 − ρi ) (0.29) Λi tính theo cơng thức (3.4) W ≠ W1 + W2 + ⋯ + WN 3.3 THỰC NGHIỆM VÀ ĐÁNH GIÁ Kết thực nghiệm tiến hành với cụm VM phục vụ yêu cầu từ khách hàng sử dụng dịch vụ web (cụm VMC#1 gồm máy có cấu hình CPU đồng nhất, cụm VMC#2 gồm máy có cấu hình CPU khơng đồng ) Thực nghiệm nhằm đánh giá tham số mô hình, cho số lượng yêu cầu đến 1000, γ= {158,161,164,167,170,173,176,179,181,185, 188} tốc độ xử lý (phục vụ) cân tải μLB = γ ρLB Hình 3.2: Thời gian đợi trung bình cụm VM cho thực nghiệm Thực nghiệm với λ = 185, thực 30 lần tính thời gian đợi trung ̅ Sau đó, tính tốn độ tin cậy 95% cho liệu thực nghiệm liệu tính bình W tốn từ mơ hình 18 Hình 3.3: Thời gian đợi trung bình VM cho thực nghiệm Kết Hình 3.3 cho thấy thời gian đáp ứng trung bình VM1 VM7 nhỏ hai cụm VMC#1 VMC#2 Thực nghiệm nhằm phân tích mối quan hệ thơng số mơ hình với tốc độ đến trung bình λ = 185, điều chỉnh mức độ sử dụng tài nguyên trung bình ρi VM tầng xử lý nghiệp vụ ứng dụng từ 0.71 đến 0.79 Kết thực nghiệm thể bảng 3.2 hình 3.4 Hình 3.4: Thời gian đợi trung bình VM cho thực nghiệm Bảng 3.2 Khoảng tin cậy 95% thời gian đợi trung bình VM cụm ̅ Thời gian đợi trung bình W VM ρi 0.8 0.71 0.73 0.75 0.77 0.79 0.81 VMC Trung bình Cận Cận VMC#1 6.39069 6.20901 6.57238 VMC#2 6.37414 6.16965 6.57863 VMC#1 3987.14 3126.29 4848.00 VMC#2 4115.76 3241.04 4990.49 VMC#1 5256.16 4211.63 6300.7 VMC#2 803.147 701.051 905.243 VMC#1 3430.45 2538.11 4322.80 VMC#2 434.463 401.364 467.562 VMC#1 4127.60 3154.68 5100.51 VMC#2 277.476 249.991 304.960 VMC#1 3756.96 2980.27 4533.66 VMC#2 236.522 219.641 253.403 VMC#1 73.9026 68.5611 79.2442 VMC#2 69.6167 65.9044 73.3289 KẾT LUẬN CHƯƠNG Chương đề xuất mơ hình CC sử dụng mạng Jackson mở, nhằm đánh giá số đo hiệu hệ thống Với kết thực nghiệm, bước đầu đánh giá đắn mơ hình, đưa số đo hệ thống tin cậy 19 CHƯƠNG : GIẢI PHÁP TỰ ĐỘNG ĐIỀU CHỈNH TÀI NGUYÊN CHO ỨNG DỤNG ĐA TẦNG TRÊN ĐIỆN TOÁN ĐÁM MÂY 4.1 ĐẶT VẤN ĐỀ Chương tổng hợp từ cơng trình TCNN2, HNQT3 HNTN1 4.2 KIẾN TRÚC ỨNG DỤNG ĐA TẦNG Phần nghiên cứu kiến trúc ứng dụng đa tầng có dạng hình 1.6 trình bày mục 1.1.5 Chương 4.3 ĐỀ XUẤT MƠ HÌNH TỰ ĐỘNG ĐIỀU CHỈNH 4.3.1 Phân tích mơ hình Việc định AS xem xét trình định Markov (MDP) Tác nhân st at rt st+1 Hệ thống Hình 4.1: Mơ hình tương tác tác nhân hệ thống MDP biểu diễn tương tác hệ thống tác nhân Trong đó, tác nhân (bộ AS) đóng vai trị định nhận thông tin phản hồi từ hệ thống Tại thời điểm t, ta có: - Trạng thái hệ thống ký hiệu st ϵ S với S tập trạng thái hệ thống có thời điểm khác nhau, - Thơng qua trạng thái st hệ thống, tác nhân định thực hành động a t ∈ A(st ) với xác suất πt , - Tác nhân nhận giá trị phần thưởng rt ∈ R thời điểm t + với hệ thống chuyển sang trạng thái st+1 Ánh xạ πt : S → A gọi chiến lược tác nhân Sau thực hành động, hệ thống nhận giá trị phản hồi R t tổng cộng Hàm giá trị trạng thái hệ thống tính kỳ vọng toán học hàm phản hồi R t theo thời gian V π (s) = Eπ {R t |st = s} (0.30) ∗ ∗ Chính sách gọi sách tối ưu, kí hiệu π V giá trị tối ưu π∗ = arg maxπ {V π (s)} (0.31) V ∗ (s) = maxπ {V π (s)} (0.32) 20 Giả sử có n ứng dụng Mỗi ứng dụng j thực thi cụm k VM không đồng Mỗi VM i biểu diễn dạng vector vi = {ci , ri , di } ∀ i ∈ [1, k], ci tham số CPU sử dụng, ri lượng nhớ RAM sử dụng di dung lượng ổ đĩa sử dụng VM thứ i cụm thứ j thời điểm xét Giả sử tham số VM thu thập dạng phần trăm Tài nguyên khả dụng VM tài nguyên sẵn sàng VM phục vụ cho yêu cầu Như vậy, tài nguyên khả dụng VM i cụm thứ j wji tính theo cơng thức sau: wji = α1 (1 − ci ) + α2 (1 − ri ) + α3 (1 − di ), (0.33) đó, α1 , α2 α3 số cho α1 + α2 + α3 = Tài nguyên khả dụng trung bình cụm k VM dành cho ứng dụng j: k w ̅= ∑ wji k (0.34) i=1 Như phương sai k giá trị tài nguyên khả dụng cụm k VM: ∑ki=1(wji − w ̅) (0.35) k Chi phí thuê dịch vụ tính tốn dựa số lượng tài ngun sử dụng theo thời gian Gọi ωt số lượng CPU cấp phát Vì vậy, đơn giá thuê ωt tài nguyên thời điểm t biểu diễn sau: var = p(ωt ) = aωt + b (0 < ωt < c), (0.36) đó, a, b số, c tổng số CPU hệ thống Chi phí sử dụng VM ứng dụng j sử dụng thời gian t tính sau: Uj (t) = − vmj (t) ∗ p(ωt ) , cost max (0.37) với vmj (t) số lượng VM thuê thời gian t ứng dụng j, cost max chi phí tối đa ứng dụng j Chi phí sử dụng Uj (t) sở cho việc tính tốn giá trị phần thưởng thuật toán học tăng cường – học Q mờ 4.3.2 Bộ tự động điều chỉnh 4.3.2.1 Quá trình mờ hóa Các giá trị đầu vào cho điều khiển AS: tài nguyên khả dụng trung bình (w ̅ ), phương sai tài nguyên khả dụng (var) thời gian đáp ứng trung bình (rt) mờ hóa theo hàm thành viên sau đây: 21 Low Medium High Low Medium High 0.5 0.5 0 θ2 θ4 θ1 θ3 Hình 4.2: Hàm thành viên mờ cho tài nguyên khả Good tài nguyên khả dụng (𝑣𝑎𝑟 ) dụng trung bình (𝑤 ̅) Hình 4.3: Hàm thành viên mờ cho phương sai Normal Bad 0.5 φ1 φ2 φ3 Hình 4.4: Hàm thành viên mờ cho thời gian đáp ứng trung bình (𝑟𝑡 ) 4.3.2.2 Quá trình lập luận xấp xỉ Kết hợp hệ thống suy diễn mờ Takagi-Sugeno thuật toán học Q, tập luật suy diễn mờ chế xấp xỉ đầu sau: Luật1 : 𝐍Ế𝐔 x1 s1 ∧ … ∧ xn sn 𝐓𝐇Ì y1 = a11 với q[1,1] mức độ phù hợp lựa chọn đầu y1 = a12 với q[1,2] mức độ phù hợp lựa chọn đầu ………………… y1 = a1m với q[1, m] mức độ phù hợp lựa chọn đầu ra, …………………… Luật i : 𝐍Ế𝐔 x1 s1 ∧ … ∧ xn sn 𝐓𝐇Ì yi = ai1 với q[i, 1] mức độ phù hợp lựa chọn đầu yi = ai2 với q[i, 2] mức độ phù hợp lựa chọn đầu ………………… yi = aim với q[i, m] mức độ phù hợp lựa chọn đầu đó, - xj , j = 1, , n biến đầu vào hệ thống suy diễn mờ định nghĩa không gian S, - aim hành động tác nhân lựa chọn cho tập luật thứ i định nghĩa không gian hành động A rời rạc hóa thành m đoạn, 22 - q[i, m] độ thích hợp lựa chọn giá trị đầu (hành động cục bộ) aim luật Rulei lựa chọn Thành phần học sử dụng kỹ thuật học Q Tại vòng lặp, điều khiển đưa hành động 𝑎 dựa vào trạng thái 𝑠 ký hiệu 𝑄(𝑠, 𝑎) = 𝑞[𝑖, 𝑚] Giá trị phản hồi biểu diễn dạng hàm số giá trị phần thưởng Giả thiết hàm phản hồi có tính chất cộng tính Thành phần điều khiển chọn hành động mà có giá trị phần thưởng tốt tương lai ∞ R t = rt+1 + γrt+2 + γ rt+3 + ⋯ = ∑ γk rt+k+1 , (0.38) k=0 đó, γ hệ số suy giảm thể mức độ quan trọng giá trị phần thưởng tương lai Mỗi phần thưởng tính tốn dựa vào chi phí sử dụng VM sau: rt = U(t) − U(t − 1), (0.39) với 𝑈(𝑡) tính theo cơng thức (4.7) 4.3.2.3 Q trình giải mờ Chính sách 𝜋(𝑥, 𝑎) xác suất chọn hành động 𝑎 từ trạng thái 𝑥, hàm hành động – giá trị Q(x,a) tính theo cơng thức sau: ∞ Qπ = Eπ {∑ γk rt+k+1 } (0.40) k=0 đó, 𝐸𝜋 { } hàm kỳ vọng sách 𝜋 Khi sách thích hợp tìm thấy, vấn đề học tăng cường giải Theo chế suy diễn hệ thống Takagi-Sugeno, tác động đầu 𝑎(𝑥) véctơ đầu vào 𝑥 = (𝑥1 , 𝑥2 , … , 𝑥𝑁 ), xấp xỉ công thức sau: a(x) = ∑i αi (x)aij∗ ∑i αi (x) , (0.41) đó, αi (x) = min(μ1i (x1 ), μi2 (x2 ), … , μiN (xN )) giá trị chân lý mệnh đề y = y i aij∗ tác động đầu lựa chọn luật Rulei , Quá trình học hệ thống xấp xỉ độ thích hợp với lựa chọn q[i, j] giá trị đầu aij với véctơ đầu vào x Do vậy, giá trị tương ứng hàm giá trị trạng thái - hành động xấp xỉ bằng: 23 Q(x, a) = ∑i αi (x)q[i, j∗ ] ∑i αi (x) (0.42) Hàm giá trị trạng thái x hệ thống tính sau: ∑i αi (x) max q[i, j] V(x) = max Q(x, a) = a j ∑i αi (x) (0.43) Trong trình học, hàm giá trị trạng thái-hành động Q giá trị độ thích hợp luật q[i, j∗ ] hiệu chỉnh theo hệ thức lặp sau: Q t (xt , a) ← Q t (xt , a) + η∆Q t , (0.44) đó, η tốc độ học ∆Q t = rt+1 + γ max Q(xt+1 , a t ) − Q(xt , a t ) ′ a Bảng 4.1: Thuật toán tự động điều chỉnh (AS AFQL) 10 11 12 13 14 15 16 17 18 19 /*AFQL * Đầu vào: 𝜂, 𝛾 * Đầu ra: *Hành động 𝑎 */ //khởi tạo giá trị q-values: for (application app in applications) q[i, k] = 0; //sinh luật điều khiển mờ generateFuzzyRules() while(q chưa hội tụ) //xấp xĩ giá trị Q cho ứng dụng trạng thái 𝑥𝑡 hành động 𝑎 for (application app in applications) ∑i αi (xt )q[i, j∗ ] Q(s(t), a) = ∑i αi (xt ) //triển khai hành động a for (application app in applications) applyAction(app, a) //tính giá trị thời điểm t+1 ∆Qt = rt+1 + γ max Q(xt+1 , at ) − Q(xt , at ) ′ a q[i, j] = q[i, j] + η∆Qt αi (xt ) ∑i αi (xt ) 4.3.3 Giải pháp tự động điều chỉnh Hoạt động AS (AFQL) bảng 4.1 Trong trường hợp AS đề xuất, không gian trạng thái hữu hạn (tức có 27 trạng thái kết hợp x x hàm thành viên cho biến tài nguyên khả dụng trung bình (w ̅ ), phương sai tài nguyên khả dụng (var) thời gian đáp ứng trung bình (rt)) AS phải lựa chọn năm hành động {-2, -1, 0, 1, 2} Tuy nhiên phương pháp thiết kế tổng qt áp dụng cho khơng gian trạng thái hành động khác 24 4.4 THỰC NGHIỆM VÀ ĐÁNH GIÁ Luận án xây dựng tập luật chuyên gia, giá trị hành động nằm khoảng [−2, 2], tương ứng với việc loại bỏ VM, loại bỏ VM, khơng làm cả, thêm VM thêm VM Với việc loại bỏ VM, chọn VM có mức khả dụng trung bình nhiều Việc thêm VM, thực thêm VM có cấu hình thấp số VM hoạt động để đảm bảo chi phí thuê nhỏ Kết thực nghiệm Qua thực nghiệm, luận án chọn tham số  = 0.2,  = 0.8  = 0.2 4.4.1 Đánh giá tự động điều chỉnh đề xuất với logic mờ sử dụng tập luật chuyên gia Ở đây, sử dụng tham số =0.2, =0.8 =0.2 cho AS để so sánh với AS sử dụng tập luật chuyên gia Từ hình 4.4 4.5 cho thấy, AS sử dụng kỹ thuật học tăng cường kết hợp với logic mờ (AFQL) thích nghi tốt AS sử dụng logic với tập luật chuyên gia Hình 4.5: So sánh dựa vào thời gian đáp ứng trung bình chi phí Hình 4.6: Biểu đồ hộp so sánh thời gian đáp ứng trung bình chi phí 4.4.2 Đánh giá tự động điều chỉnh đề xuất với liệu khác Luận án tạo ba liệu theo hướng liệu ClarNet, liệu Wiki liệu sinh ngẫu nhiên Kết thực nghiệm đánh giá dựa vào ba liệu thông qua tham số đầu vào gồm tài nguyên khả dụng trung bình (Available load), phương sai tài nguyên khả dụng (Variance Available load), thời gian đáp ứng trung bình (Response time) sau so sánh kết thu theo tổng chi phí thời gian đáp ứng trung bình theo tự động điều chỉnh khác 25 Hình 4.7: So sánh tổng chi phí trường hợp liệu ClarkNet Hình 4.8: So sánh thời gian đáp ứng trung bình trường hợp liệu ClarkNet Với kết thực nghiệm ba liệu cho thấy, tập luật tạo sau học tăng cường kết hợp với điều khiển mờ sử dụng tham số (=0.2, =0.8 =0.2) cho lợi thời gian đáp ứng Tuy nhiên phải chịu tổng chi phí cao Hình 4.9: So sánh tổng chi phí trường hợp liệu Wiki Hình 4.11: So sánh tổng chi phí trường hợp liệu ngẫu nhiên Hình 4.10: So sánh thời gian đáp ứng trung bình trường hợp liệu Wiki Hình 4.12: So sánh thời gian đáp ứng trung bình trường hợp liệu ngẫu nhiên KẾT LUẬN CHƯƠNG Bộ AS xây dựng để điều chỉnh tài nguyên tự động cách sử dụng học tăng cường kết hợp với logic mờ để tăng khả đáp ứng tức thời yêu cầu tài nguyên việc cấp phát/thu hồi tài nguyên tự động dựa vào tài nguyên khả dụng trung bình, phương sai tài nguyên khả dụng của cụm VM thời gian đáp ứng trung bình hệ thống Bên cạnh đó, điều khiển AS cịn cho thấy hiệu mặt chi phí Bộ AS đề xuất khơng cần có tri thức ban đầu mà hoạt động hiệu quả, tri thức có thơng qua việc tích lũy q trình học Phần thực nghiệm, lựa chọn tham số (, , ) thích hợp để tiến hành so sánh hai mơ hình AS sử dụng học tăng cường kết hợp với logic mờ (AFQL) mơ hình 26 AS sử dụng logic mờ (AF) Kết cho thấy AS AFQL hiệu khơng cần có tri thức ban đầu, AS AFQL hoạt động hiệu quả, tri thức có trình hoạt động Tuy nhiên, hiệu AS đề xuất phụ thuộc vào nhiều yếu tố khác, số đoạn phân hoạch giá trị đầu vào, hệ thống suy luận mờ, tham số , , … Đây hướng phát triển luận án để xây dựng AS hiệu áp dụng hiệu vào thực tế KẾT LUẬN 1) Những kết luận án: (1) Luận án nghiên cứu đề xuất kỹ thuật cân tải kỹ thuật di trú hiệu CC tạo điều kiện thuận lợi cho việc điều chỉnh tài nguyên giúp cải thiện hiệu trung tâm điện toán đám mây Tiếp theo, Luận án đánh giá ảnh hưởng kỹ thuật cân tải môi trường CC có AS tài nguyên, giúp cho việc lựa chọn kỹ thuật cân tải hiệu (2) Luận án mơ hình hóa mơi trường CC phức tạp khơng đồng sử dụng mơ hình mạng hàng đợi – mạng Jackson mở, làm sở để đánh giá số đo hiệu trung tâm CC (3) Luận án xây dựng AS hiệu môi trường CC Bộ AS sử dụng kết hợp học tăng cường logic mờ 2) Hướng phát triển luận án: (1) Luận án phát triển theo hướng xây dựng mơ hình sở dựa vào mơ hình hàng đợi khác để đo lường đánh giá hiệu hệ thống điện tốn đám mây Từ có mơ hình lý thuyết đầy đủ hỗ trợ hoạt động nghiên cứu triển khai hệ thống điện toán đám mây (2) Ngồi ra, luận án phát triển theo hướng cấu hình tùy biến tự động điều chỉnh theo trạng thái hệ thống, sở nghiên cứu phân hoạch giá trị đầu vào sử dụng hệ suy luận mờ khác 27 DANH MỤC CÁC CƠNG TRÌNH CƠNG BỐ TẠP CHÍ QUỐC TẾ TCNN1 Nguyen Hong Son, Nguyen Khac Chien (2017), "Load Balancing in Auto Scaling-Enabled Cloud Environments", International Journal on Cloud Computing: Services and Architecture (IJCCSA) Vol 7, No 5, October 2017, pp 15-22 TCNN2 Chien Nguyen Khac, Khiet Bui Thanh, Hung Ho Dac, Vu Pham Tran, Hung Tran Cong, Son Nguyen Hong (2018) “An auto-scaling approach for infrastructure as a service cloud computing based on Fuzzy Q-Learning” Đang phản biện Concurrency and Computation: Practice and Experience Journal Special Issue On: Context-Aware Systems and Applications TCNN3 Chien Nguyen Khac, Khiet Bui Thanh, Hung Ho Dac, Son Nguyen Hong, Vu Pham Tran, Hung Tran Cong (2018) “An open jackson network model for heterogeneous infrastructure as a service on cloud computing” International Journal of Computer Networks & Communications (IJCNC) (2018) http://airccse.org/journal/ijcnc.html (Đã chấp nhận) TẠP CHÍ TRONG NƯỚC TCTN1 Nguyễn Khắc Chiến, Nguyễn Hồng Sơn, Hồ Đắc Lộc, Nguyễn Văn Vịnh (2016), "Nghiên cứu số thuật toán định di trú máy ảo điện tốn đám mây", Tạp chí Khoa học Giáo dục Kỹ thuật trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh 35B (3/2016), pp 74-81 HỘI NGHỊ QUỐC TẾ HNQT1 Nguyen Khac Chien, Nguyen Hong Son, Ho Dac Loc (2016), “Load balancing algorithm based on estimating finish time of services in cloud computing”, International Conference on Advanced Communication Technology (ICACT) at the Phoenix Park, PyeongChang, Korea, pp 228-233, Jan 31-Feb 3, 2016 HNQT2 Nguyen Khac Chien, Vo Sy Giang Dong, Nguyen Hong Son, and Ho Dac Loc (2016), “An Efficient Virtual Machine Migration Algorithm based on Minimization of Migration in Cloud Computing”, International Conference on Nature of Computation and Communication (ICTCC) in Rach Gia city of Vietnam, Springer, pp 62-71 28 HNQT3 Khiet Bui Thanh, Lam Mai Nguyen Xuan, Chien Nguyen Khac, Hung Ho Dac, Vu Pham Tran, Hung Tran Cong (2018), “An autoscaling VM game approach for multi-tier application with Particle swarm optimization algorithm in Cloud computing” International Conference on Advanced Technologies for Communication (ATC) October 18-20, 2018, Ho Chi Minh City, Vietnam HỘI NGHỊ TRONG NƯỚC HNTN1 Nguyễn Khắc Chiến, Bùi Thanh Khiết, Hồ Đắc Hưng, Nguyễn Hồng Sơn, Hồ Đắc Lộc (2017), “Một mơ hình học tăng cường cho vấn đề điều chỉnh tự động tài nguyên CC dựa fuzzy qlearning”, Kỷ yếu Hội nghị Quốc gia lần thứ X Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Đà Nẵng, ngày 17-18/08/2017, pp 535-543