Thuật toán quản lý tài nguyên cho các dịch vụ iot trên môi trường điện toán biên điện toán đám mây

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Thuật toán quản lý tài nguyên cho dịch vụ IoT mơi trường điện tốn biên – điện toán đám mây NGUYỄN TRUNG KIÊN Kien.ntcb190167@sis.hust.edu.vn Ngành Kỹ thuật viễn thông Giảng viên hướng dẫn: PGS TS Nguyễn Hữu Thanh Viện: Điện Tử Viễn Thông Chữ ký GVHD HÀ NỘI, 04/2021 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Trung Kiên Đề tài luận văn: Thuật toán quản lý tài nguyên cho dịch vụ iot mơi trường điện tốn biên – điện toán đám mây Chuyên ngành: Kỹ thuật Viễn Thông CB190167 Mã số SV: Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 13/04/2021 với nội dung sau: • Bổ sung kết luận chương, bổ sung phụ lục phần mềm mô BKedgecloud đề xuất luận văn • Hiệu chỉnh văn phong, đánh số hình ảnh, cơng thức lỗi tả, chế • Hiệu chỉnh mục tài liệu tham khảo ghi rõ tên tác giả Ngày 22 tháng 04 năm 2021 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG iii LỜI CAM ĐOAN Tôi Nguyễn Trung Kiên, mã số học viên CB190167, học viên lớp kỹ thuật viễn thơng 19BKTVT, khóa 2019B Người hướng dẫn PGS TS Nguyễn Hữu Thanh Tôi xin cam đoan tồn nội dung trình bày luận văn Thuật toán quản lý tài nguyên cho dịch vụ IoT mơi trường điện tốn biên – điện tốn đám mây kết q trình tìm hiểu nghiên cứu Các liệu nêu luận văn hoàn toàn trung thực, phản ánh kết mô thực tế Mọi thông tin trích dẫn tuân thủ quy định sở hữu trí tuệ; tài liệu tham khảo liệt kê rõ ràng Tơi xin chịu hồn tồn trách nhiệm với nội dung viết luận văn Hà Nội, ngày 02 tháng 04 năm 2021 Người cam đoan Nguyễn Trung Kiên v MỞ ĐẦU Sự phổ biến rộng rãi hệ thống Internet Van Vật (IoT) ngày đặt thách thức lớn cho nhà cung cấp dịch vụ điện toán đám mây (Cloud) là: phải đảm bảo chất lượng dịch vụ (QoS), ràng buộc tài nguyên tiêu thụ đảm bảo tối ưu lượng tiêu thụ Hệ thống điện toán kết hợp biên – mây (edge-cloud) lên thời gian gần xem phương pháp giải vấn đề kể Bằng cách ứng dụng công nghệ mạng tiên tiến mạng định nghĩa phần mềm (SDN) ảo hóa chức mạng (NFV), ứng dụng IoT triển khai mơ hình biên – mây dạng “chức năng” (VNF) có khả triển khai cách đồng nhất, mềm dẻo, nhanh chóng thiết bị phần cứng khác Tuy nhiên điều lại đặt thách thức cách phân phối VNFs hợp lý để tránh lãng phí tài nguyên lượng, dẫn đến địi hỏi cần có thuật tốn “chọn vị trí” triển khai VNF lên hệ thống biên – mây cách hiệu Vì chun đề này, trước tiên tơi làm rõ vấn đề việc phân phối ứng dụng IoT mơ hình chuỗi dịch vụ (SFC) mơi trường điện tốn biên – mây Trong tơi đặc biệt trọng đến vấn đề đánh đổi giữa tối ưu tài nguyên – lượng với hiệu ứng dụng, việc tài nguyên thực tế thường bị thay đổi cách linh hoạt theo thời gian Sau tơi mơ hình hóa tốn phân phối chuỗi dịch vụ tối ưu đề xuât thuật toán tối ưu tài nguyên – lượng tên “Resource and Energy-aware Service Chain Embedding (RE-SCE)” Thuật tốn tơi đánh giá dựa nhiều tiêu chí là: tỷ lệ chấp nhận yêu cầu, lượng tiêu thụ trung bình, tài nguyên tiêu thụ trung bình độ phức tạp Các kết RE-SCE đem so sánh với thuật toán gần mà có mục tiêu, kết cho thấy RE-SCE vượt trội thuật toán khả tối ưu tài nguyên tiêu thụ, đồng thời thuật toán tiết kiệm lượng với mức tải Ngoài RE-SCE giải vấn đề phân phối quản lý tài nguyên động, phù hợp với toán thực tế Qua luận văn này, em xin gửi lời cảm ơn chân thành tới PGS TS Nguyễn Hữu Thanh người trực tiếp hướng dẫn em hoàn thành luận văn thạc sĩ Em xin gửi lời cảm ơn tới thành viên FIL lab – phịng 618 thư viện Tạ Quang Bửu có ý kiến đóng góp định hướng cần thiết cho em trình thực luận văn thạc sĩ Hà Nội, ngày 02 tháng 04 năm 2021 Người cam đoan Nguyễn Trung Kiên vii TÓM TẮT LUẬN VĂN Mục đích luận văn nhắm tới việc đưa thuật toán quản lý, phân phối tài nguyên cho ứng dụng IoT mơ hình chuỗi dịch vụ SFC tối ưu tài nguyên lượng hệ thống điện tốn triển khai Thuật tốn xây dựng thuật toán dựa kinh nghiệm (heuristic) có khả cho kết theo thời gian thực Thuật toán xây dựng kiểm thử theo kịch yêu cầu khởi tạo/hủy bỏ ứng dụng IoT xảy ngẫu nhiên miền thời gian mô theo thực tế Các kết từ mô cho thấy độ hiệu thuật toán mặt tiết kiệm tài nguyên lượng tốt hẳn so với thuật toán đề xuất gần đây, hồn tồn áp dụng vào mơ hình thực tế Luận văn trình bày thành chương sau: Chương giới thiệu tổng quan lý thuyết mơ hình điện tốn hành hai công nghệ mạng tiên tiến áp dụng vào mơ hình điện tốn Trong trọng đến mơ hình điện tốn biên – mây nhận đông đảo ý giới nghiên cứu cơng ty, tập đồn viễn thơng lớn Những điểm yếu, điểm mạnh lý mơ hình điện tốn, cơng nghệ sử dụng trình bày Chương hai luận văn trình bày vấn đề cịn tồn mơ hình phân phối dịch vụ IoT truyền thống, trọng đến hai vấn đề sử dụng tài nguyên lượng Từ hai vấn đề này, sau luận văn giới thiệu hệ thống IoT có thật trường hợp thực tế để mơ hình hóa nên toán tối ưu tài nguyên- lượng chứng minh tốn có tốn có độ phức tạp cao Chương ba giới thiệu cách chi tiết thuật toán tối ưu đồng thời tài nguyên lượng cho chuỗi dịch vụ IoT, thuật tốn áp dụng cho mơ hình điện tốn biên – mây mà đề cập chương Chương bốn luận văn giới thiệu công cụ mô đề xuất Sau luận văn trình bày kịch mơ thuật tốn đề xuất cơng cụ, kết thuật toán đề xuất tiêu chí khác đem so sánh với thuật tốn có mục tiêu viii MỤC LỤC LỜI CAM ĐOAN iii MỞ ĐẦU vii TÓM TẮT LUẬN VĂN viii MỤC LỤC ix DANH MỤC CÁC TỪ VIẾT TẮT xi DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU xii CHƯƠNG TỔNG QUAN VỀ ĐIỆN TOÁN BIÊN – MÂY VÀ CÁC CÔNG NGHỆ MẠNG THẾ HỆ MỚI 1.1 Khái niệm điện toán đám mây 1.1.1 1.2 1.3 1.4 1.5 1.6 Các mơ hình điện tốn đám mây Ưu nhược điểm điện toán đám mây 1.2.1 Ưu điểm điện toán đám mây 1.2.2 Nhược điểm điện toán đám mây Khái niệm điện toán biên - mây 1.3.1 Điện toán biên 1.3.2 Lợi ích điện tốn biên 1.3.3 Mơ hình kiến trúc điện toán biên – mây Công cụ quản lý hệ thống điện toán 1.4.1 Công cụ quản lý Openstack [3] 1.4.2 Công cụ quản lý Kubernetes SDN – mạng định nghĩa phần mềm 10 1.5.1 Ưu nhược điểm mơ hình mạng SDN 10 1.5.2 Tình hình ứng dụng mạng SDN giới 12 1.5.3 Kiến trúc hệ thống mạng SDN 13 NFV - ảo hóa chức mạng 13 1.6.1 Ảo hóa nói chung 13 1.6.2 Ảo hóa chức mạng NFV 18 CHƯƠNG PHÂN PHỐI DỊCH VỤ IOT THẾ HỆ MỚI: ĐẶT VẤN ĐỀ VÀ MƠ HÌNH HĨA VẤN ĐỀ 24 2.1 Các vấn đề hệ thống IoT 24 2.2 Các phương pháp giải hạnh 25 ix 2.2.1 Xây dựng kiến trúc điện toán biên – mây cho phân phối dịch vụ IoT hệ 25 2.2.2 Kết hợp hai công nghệ SDN NFV vào điện toán biên – mây cho ứng dụng IoT 26 2.2.3 Các thuật toán phân phối chuỗi dịch vụ IoT kiến trúc biên – mây ứng dụng SDN NFV 27 2.3 Các thách thức việc phân phối chuỗi dịch vụ SFC kiến trúc biên – mây 30 2.4 Giới thiệu hệ thống IoT camera giám sát giao thông 31 2.5 Mơ hình hóa tốn phân phối chuỗi dịch vụ IoT tối ưu 33 CHƯƠNG THUẬT TOÁN TỐI ƯU TÀI NGUYÊN - NĂNG LƯỢNG 39 3.1 Mơ hình điện tốn biên mây dùng cho thuật toán 39 3.2 Thuật toán tối ưu tài nguyên, lượng RE-SCE 40 3.2.1 Giải thích tổng quan thuật toán 41 3.2.2 Khối định offload E-Coff 42 3.2.3 Khối nhúng VNF (VNFmapping) 43 3.2.4 Khối nhúng đường mạng ảo (VLmapping) 44 CHƯƠNG MÔ PHỎNG VÀ ĐÁNH GIÁ KẾT QUẢ 47 4.1 Giới thiệu công cụ mô BK-edgecloud 47 4.2 Kịch mô 48 4.2.1 Cấu trúc mạng mô 49 4.2.2 Yêu cầu khởi tạo camera 50 4.3 Các thông số đánh giá 50 4.4 Kết mô 51 4.4.1 Độ hiệu tài nguyên: 51 4.4.2 Độ hiệu lượng: 54 4.4.3 Độ phức tạp thuật toán 56 KẾT LUẬN VÀ KIẾN NGHỊ 58 x DANH MỤC CÁC TỪ VIẾT TẮT Định nghĩa tiếng Anh Amazon Web Service Baseline Capital expenditures Content Delivery Provider Central-Office Rearchitecture as DataCenter FF First-Fit IaaS Infrastructure as a Service IOT Internet of Things ISP Internet Service Provider K8S Kubernetes MITM Man In The Middle Attack NAT Network Address Translation NFV Network Function Virtualization OPEX Operating expenses OS Operating System PaaS Platform as a Service RE-SCE Resource and Energy-aware Service Chain Embedding Rpi Raspberry Pi SaaS Software as a Service SDEC Software-Defined Edge Computing SDN Software-Defined Networking Ký hiệu AWS BL CAPEX CDP CORD SFC SP SSH VM VNF Service Function Chain Service Provider Secure Shell Virtual Machine Virtual Network Function Định nghĩa tiếng Việt Dịch vụ Web Amazon Thuật tốn Baseline Chi phí vốn Nhà cung cấp nội dung số Tổng đài kiến trúc lại thành trung tâm liệu Thuật toán First-Fit Cơ sở hạ tầng dịch vụ Internet vạn vật Nhà cung cấp dịch vụ Internet Nền tảng Kurbernetes Tấn cơng xen Phân giải địa mạng Ảo hóa chức mạng Chi phí vận hành Hệ điều hành Nền tảng dịch vụ Thuật toán nhúng chuỗi SFC tối ưu tài nguyên lượng Máy tính nhúng Rasberry Pi Phần mềm dịch vụ Điện toán biên điều khiển phần mềm Mạng điều khiển phần mềm Chuỗi ứng dụng Nhà cung cấp dịch vụ Giao thức SSH Máy ảo Chức mạng ảo xi DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1: Mơ hình ba tầng kiến trúc điện tốn biên – mây [1] Hình 1.2: Kiến trúc Openstack Hình 1.3: Các mơ-đun Openstack [4] Hình 1.4: Kiến trúc tổng quan K8S Hình 1.5: Sự khác biệt mạng truyền thống mạng SDN 10 Hình 1.6: Các ưu điểm hệ thống mạng SDN 11 Hình 1.7: Ảo hóa loại – Bare-Metal Hypervisor 15 Hình 1.8: Ảo hóa loại – Hosted-Metal Hypervisor 15 Hình 1.9: Mơ hình ảo hóa Container 17 Hình 1.10: Ảo hóa chức mạng NFV 19 Hình 1.11: Kiến trúc tổng quan NFV [6] 20 Hình 1.12: Phân phối dịch vụ mạng truyền thống 22 Hình 1.13: Phân phối dịch vụ theo mơ hình SFC 22 Hình 3.1: Sơ đồ khối hệ thống camera giao thông 32 Hình 3.2: Các khối chức ứng dụng camera giao thơng 32 Hình 4.1: Sơ đồ mạng hệ thống 39 Hình 5.1: Mơ hình mạng thành phố Atlanta 49 Hình 5.2: Lưu lượng giao thơng trích xuất từ liệu Anh Quốc 49 Hình 5.3: Tỷ lệ chấp thuận SFC theo tải 51 Hình 5.4: Mức độ sử dụng tài nguyên hệ thống theo tải 52 Hình 5.5: Mức độ sử dụng tài nguyên tầng điện toán 53 Hình 5.6: Năng lượng sử dụng biến đổi theo mức sử dụng tài nguyên 54 Hình 5.7: Năng lượng trung bình SFC theo tải 55 Hình 5.8: Năng lượng sử dụng biến đổi theo thời gian 55 Hình 5.9: Số lượng di dời trung bình VNF biến đổi theo tải 56 Bảng 1.1: So sánh tính ảo hóa VM ảo hóa container 17 Bảng 5.1: Các thuật toán so sánh 50 xii CHƯƠNG TỔNG QUAN VỀ ĐIỆN TỐN BIÊN – MÂY VÀ CÁC CƠNG NGHỆ MẠNG THẾ HỆ MỚI Chương giới thiệu hai mơ hình điện tốn sử dụng rộng rãi điện toán đám mây điện tốn biên, từ giới thiệu đến mơ hình điện tốn kết hợp thu hút nhiều ý thời gian gần điện toán biên – mây Ngồi ra, hai cơng nghệ mạng hệ Mạng định nghĩa phần mềm (Software-Defined Networking – SDN) Ảo hóa chức mạng (Network Function Virtualization – NFV) giới thiệu chi tiết 1.1 Khái niệm điện toán đám mây Điện toán đám mây (cloud computing), hiểu cách đơn giản là: nguồn điện toán khổng lồ phần mềm, lưu trữ, sức mạnh tính tốn, v.v nằm máy chủ ảo (đám mây) Internet thay máy tính gia đình văn phịng (trên mặt đất) để người kết nối sử dụng họ cần Với dịch vụ sẵn có Internet, doanh nghiệp khơng phải mua trì hàng trăm, chí hàng nghìn máy tính phần mềm Người sử dụng cần chuyên tâm phát triển dịch vụ họ có người khác lo sở hạ tầng công nghệ Ở mô hình điện tốn đám mây, khả liên quan đến công nghệ thông tin cung cấp dạng ''dịch vụ'', cho phép người sử dụng truy cập dịch vụ công nghệ từ nhà cung cấp ''trong đám mây'' mà khơng cần phải có kiến thức, kinh nghiệm cơng nghệ đó, không cần quan tâm đến sở hạ tầng phục vụ cơng nghệ Theo Montazerolghaem '' Điện tốn đám mây hình mẫu thơng tin lưu trữ thường trực máy chủ Internet lưu trữ tạm thời ỏ máy khách, bao gồm máy tính cá nhân, máy tính doanh nghiệp, phương tiện máy tính cầm tay,v.v.'' [1] Trong mơ hình này, phần mềm lưu trữ khơng tồn máy tính cá nhân, máy chủ lớn tập trung, máy chủ ''đám mây'' - nơi họ truy cập cần thiết với trình duyệt kết nối với Internet.Tính linh hoạt điện tốn đám mây khả phân phối tài nguyên theo yêu cầu Điều tạo điều kiện thuận lợi cho việc sử dụng tài nguyên hệ thống, ta không cần thiết phải định phần cứng cụ thể cho nhiệm vụ Trước điện toán đám mây, trang web ứng dụng dựa máy chủ thi hành hệ thống cụ thể Với đời điện tóa đám mây, tài ngun cung cấp mơi trường ứng dụng thực cách độc lập mà khơng quan tâm đến cấu hình cụ thể 1.1.1 Các mơ hình điện tốn đám mây 1.1.1.1 Cơ sở hạ tầng dịch vụ (IaaS): Tầng đáy đám mây tầng dịch vụ sở hạ tầng Ở đây, tập hợp tài sản vật lý máy chủ, thiết bị mạng đĩa lưu trữ đưa dịch vụ cung cấp cho người tiêu dùng Cũng với dịch vụ tảng, ảo hóa phương pháp thường sử dụng để tạo chế độ Các đối tượng ảo bao gồm dịch vụ ảo gồm biến chứa đặc tính dịch vụ ảo CPU yêu cầu, băng thơng u cầu Bên cạnh biến lưu public class Service { private private private private private private private private private private private private int piBelong; String serviceType; double bandwidth; double power; int requestID; int sfcID; boolean belongToEdge; PhysicalServer belongToServer; double cpu_pi; double cpu_server; String status; int serviceID; public Service() { this.setRequestID(0); this.setBelongToEdge(true); this.setBelongToServer(null); this.setStatus("unassigned"); } giữ trạng thái đối tượng dịch vụ ảo nhúng vào thiết bị Các đặc tính kế thừa dịch vụ ảo cụ thể, tùy vào nội dung mô Ví dụ mơ hình chuỗi ứng dụng camera giao thơng dịch ảo mơ class Service kể Capture, Decode, Density Los Thông số tài nguyên tiêu thụ trạng thái tùy chọn khác điều chỉnh, thêm, bớt Class Các Class ảo thuộc đồ hình mạng, bao gồm (VirtualLink, Fattree, Topology) sử dụng cơng cụ để dựng nên mơ hình mạng theo mong muốn, Class sử dụng kèm theo với Class thuộc package substrate để tạo nên mơ hình mạng u cầu Ví dụ Class Fattree Class Fattree: public class FatTree { private int k; final private double BANDWIDTH = 1024; // default bandwidth = 1000; private int totalCore = 0; private int totalAgg = 0; private int totalEdge = 0; private int totalHost = 0; private int totalEdgeHost = 0; private private private private private private list edge 64 Map listPod; // // switch in pod Class Fattree chứa biến thuộc tính để hỗ trợ tạo nên đồ hình mạng Fattree mơ theo trung tâm liệu cách tự động Người sử dụng cần truyền vào biến k số thực để tạo nên mơ hình Fatttree có k-ary tương ứng Trong class này, phương thức genFattree phương thức quan trọng nhất, tạo đối tượng cần thiết cho mơ hình Fattree máy chủ PhysicalServer, thiết bị switch SubstrateSwitch (được chia làm ba loại Edge, Aggr Core Cũng đường mạng vật lý SubstrateLink Các đối tượng tạo vòng lặp với số k tương ứng để tạo nên số lượng theo công thức để tạo nên mơ hình Fattree Một phần phương thức genFattree mô tả đây: 65 public Topology genFatTree(int k) { Topology topo = new Topology(); this.k = k; totalCore = k * k / 4; totalAgg = k * k / 2; totalEdge = k * k / 2; totalHost = k * k * k / 4; // add list Physical Server for (int i = 1; i org.apache.commons commons-math3 3.2 vào tập tin cấu hình Project Maven: Cách thứ hai tải trực tiếp tập tin nhị phân thư viện Apache Common Math từ trang chủ Apache, giải nén thêm vào thư viện mặc định Project theo đường dẫn sau: Sau thử biên dịch Project, Project biên dịch khơng có lỗi liên quan đến thiếu thư viện tức thành công Java Build Path > Library > Add External JARs > [Chọn tất tập tin giải nén có jar] > Apply 78 ... 1.5 1.6 Các mơ hình điện toán đám mây Ưu nhược điểm điện toán đám mây 1.2.1 Ưu điểm điện toán đám mây 1.2.2 Nhược điểm điện toán đám mây Khái niệm điện toán biên - mây ... hợp dịch vụ Dịch vụ không bị hạn chế tầng dịch vụ, truyền thơng dịch vụ, tích hợp dịch vụ, thông tin dịch vụ, kết nối dịch vụ, v.v Các dịch vụ dùng để hỗ trợ cho ứng dụng Các ứng dụng chạy đám mây. .. giả luận văn : Nguyễn Trung Kiên Đề tài luận văn: Thuật toán quản lý tài nguyên cho dịch vụ iot mơi trường điện tốn biên – điện tốn đám mây Chuyên ngành: Kỹ thuật Viễn Thông CB190167 Mã số SV: