Đánh giá hiệu năng và xây dựng mô hình điện toán đám mây sử dụng trong mạng viễn thông 5g

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI TRƯỜNG ĐIỆN – ĐIỆN TỬ LUẬN VĂN THẠC SĨ KHOA HỌC Đề tài: ĐÁNH GIÁ HIỆU NĂNG VÀ XÂY DỰNG MƠ HÌNH ĐIỆN TỐN ĐÁM MÂY SỬ DỤNG TRONG MẠNG VIỄN THƠNG 5G Học viên thực hiện: NGUYỄN ĐÌNH TÂM – 20211247M Lớp: 21A-ET-KTVT Giảng viên hướng dẫn: PGS TS NGUYỄN HỮU THANH Hà Nội, 12-2022 MỞ ĐẦU Điện toán đám mây công nghệ sử dụng Internet máy chủ từ xa trung tâm để trì liệu ứng dụng điện tốn đám mây Ngày nay, cơng nghệ điện tốn đám mây lên đóng vai trị vơ quan trọng sống chúng ta, đặc biệt ngành viễn thông Trong mạng viễn thông 5G, thành phần công nghệ lõi OCS (Online Charging System), EPC (Evolved Packet Core), IMS (IP Multimedia Sub-system), triển khai hoàn toàn tảng điện toán đám mây Với mạng lõi 5G dựa cơng nghệ điện tốn đám mây (cloud-native), nhà cung cấp dịch vụ triển khai mạng 5G cách linh hoạt, độ tin cậy cao, bảo mật vận hành đơn giản Giải pháp cho phép mở rộng loạt dịch vụ di động băng rộng cao cấp, dịch vụ Internet kết nối vạn vật, kết nối thông tin thiết bị máy móc, giúp cải thiện dịch vụ nhằm tăng doanh thu, cải thiện hiệu suất vận hành, nâng cao linh hoạt hiệu quả, đáp ứng dịch vụ đòi hỏi cao nhiều ứng dụng khác Chính lợi trên, việc chuyển đổi mạng 5G lên điện tốn đám mây cơng việc vô thiết yếu Tuy nhiên, hệ thống viễn thông hệ thống phức tạp nhất, yêu cầu khắt khe so sánh với hệ thống thơng thường khác sống Vì vậy, việc chuyển đổi hệ thống viễn thơng lên điện tốn đám mây công việc không dễ dàng Hiện nay, số tập đồn viễn thơng lớn giới Nokia, Erricson, dần thực công chuyển đổi thành công Tuy nhiên, báo cáo cách thức triển khai không hãng tiết lộ cách chi tiết Bên cạnh đó, chưa có nghiên cứu, cơng bố thực việc so sánh hiệu hệ thống lõi viễn thông 5G triển khai mơ hình điện tốn đám mây khác Vì lí đó, em xin đề xuất luận văn ” Đánh giá hiệu xây dựng mơ hình điện tốn đám mây sử dụng mạng viễn thơng 5G” Cụ thể, luận văn đề xuất phương pháp, mơ hình tính bổ sung nhằm triển khai hệ thống viễn thơng 5G lên điện tốn đám mây sử dụng cơng nghệ Kubernetes Bên cạnh đó, luận văn thực đánh giá hiệu kiến trúc cloud native với mơ hình mạng truyền thống, Calico SR-IOV để chứng minh hiệu mạng viễn thông 5G không bị ảnh hưởng chuyển dịch lên điện tốn đám mây Dựa vào kết đó, luận văn đề xuất mơ hình mạng phù hợp với yêu cầu chức khác Em xin gửi lời cảm ơn chân thành tới PGS TS Nguyễn Hữu Thanh, người trực tiếp hướng dẫn em hoàn thành luận văn thạc sĩ Em xin gửi lời cảm ơn tới thành viên FIL lab – phòng 618, thư viện Tạ Quang Bửu trung tâm OCS - Tổng công ty Công nghiệp Công nghệ cao Viettel hỗ trợ, có ý kiến đóng góp định hướng cần thiết cho em trình thực luận văn thạc sĩ LỜI CAM ĐOAN Tơi Nguyễn Đình Tâm, mã số học viên 20211247M, học viên lớp 21A-ET-KTVT Người hướng dẫn PGS TS Nguyễn Hữu Thanh Tơi xin cam đoan tồn nội dung trình bày luận văn “Đánh giá hiệu xây dựng mơ hình điện tốn đám mây sử dụng mạng viễn thông 5G” kết q trình tìm hiểu nghiên cứu tơi Các liệu nêu luận văn hoàn tồn trung thực, phản ánh kết mơ thực tế Mọi thơng tin trích dẫn tn thủ quy định sở hữu trí tuệ; tài liệu tham khảo liệt kê rõ ràng Tôi xin chịu hoàn toàn trách nhiệm với nội dung viết luận văn Hà Nội, ngày 06 tháng 12 năm 2022 Người cam đoan Nguyễn Đình Tâm TĨM TẮT LUẬN VĂN Mục đích luận văn nhắm tới việc xây dựng mơ hình, kiến trúc hệ thống mạng lõi viễn thơng 5G điện tốn đám mây sử dụng công nghệ Kubernetes Kiến trúc đề xuất tập trung vào vấn đề nâng cao hiệu năng, tính tự động hóa cao, có khả giám sát, cảnh báo lỗi hệ thống tăng độ tin cậy, khả dụng Ngoài ra, luận văn thực xây dựng mơ hình testbed để đánh giá hiệu vOCS 4.0 - hệ thống thực tính cước thời gian thực áp dụng 5G Viettel Mô thực kiến trúc sử dụng mô hình mạng truyền thống, Calico SR-IOV Từ kết đánh giá trên, luận văn đề xuất mơ hình mạng dựa ưu, nhược điểm mơ hình để phù hợp u cầu chức hệ thống khác Nội dung luận văn trình bày thành chương sau: Chương giới thiệu tổng quát vOCS - hệ thống tính cước thời gian thực Viettel Bên cạnh đó, nội dung nói q trình hình thành, phát triển từ phiên vOCS 1.0 đến Trong đó, chương tập trung vào lợi ích việc ảo hóa chức mạng, động lực thúc đẩy để phiên vOCS 4.0 nghiên cứu triển khai tới Nội dung chương hai chia làm hai phần Phần đầu tiên, luận văn trình bày kiến trúc Kubernetes sử dụng ứng dụng thông thường, không yêu cầu cao hiệu độ trễ, khả đáp ứng Trong phần thứ hai, luận văn đề xuất phương pháp, mơ hình tính bổ sung nhằm triển khai hệ thống viễn thông 5G lên điện toán đám mây Chương ba luận văn giới thiệu mơ hình mơ để đánh giá hiệu mơ hình mạng Kubernetes Mơi trường testbed sử dụng vOCS 4.0 - hệ thống tính cước thời gian thực hệ thứ Viettel Sau luận văn trình bày kịch mơ phỏng, đề xuất tiêu chí khác đem so sánh Cuối cùng, luận văn thực phân tích, đánh giá kết mơ hình mơ MỤC LỤC MỞ ĐẦU LỜI CAM ĐOAN TÓM TẮT LUẬN VĂN MỤC LỤC KÍ HIỆU VÀ THUẬT NGỮ DANH MỤC HÌNH VẼ DANH MỤC BẢNG BIỂU Chương Hệ thống tính cước thời gian thực vOCS – Viettel 1.1 Giới thiệu tổng quan 1.2 Quá trình phát triển 10 1.3 NFV xu mạng di động 12 1.3.1 Khái niệm 12 1.3.2 Những lợi ích mà NFV mang lại 14 1.3.3 Sự phát triển hệ mạng di động 14 1.4 Thế hệ thứ – vOCS 4.0 16 Chương Xây dựng kiến trúc cloud native mạng viễn thông 5G 19 2.1 Kiến trúc 19 2.1.1 Tổng quan Kubernetes 19 2.1.2 Kiến trúc Kubernetes 19 2.1.3 Các thành phần 20 2.1.4 Container Runtime 21 2.1.5 Kiến trúc mạng 22 2.1.6 Lưu trữ 24 2.1.7 Audit 24 2.1.8 Bảo mật 26 2.2 Kiến trúc cloud native mạng viễn thông 5G 29 2.2.1 Yêu cầu hệ thống 29 2.2.2 Kiến trúc mạng 29 2.2.3 MANO 37 2.2.4 Quản lý lỗi hiệu 41 2.2.5 Quản lý log 43 2.2.7 Tính sẵn sàng cao 44 2.3 Kiến trúc tổng hợp 46 Chương Xây dựng mơ hình mơ đánh giá hiệu mơ hình mạng Kubernetes 47 3.1 Các mơ hình mạng Kubernetes 47 3.1.1 Calico 47 3.1.2 Single Root I/O Virtualization 48 3.2 Xây dựng mơ hình mơ 49 3.2.1 Mô hình testbed 49 3.2.2 Môi trường testbed 50 3.2.3 Xây dựng công cụ giả lập lưu lượng 52 3.2.4 Các thông số đánh giá 52 3.3 Phân tích kết đánh giá 52 3.3.1 Kết testbed 52 3.3.2 Phân tích kết 53 3.3.3 Kết luận 53 Chương Kết luận chung định hướng phát triển 54 TÀI LIỆU THAM KHẢO 55 KÍ HIỆU VÀ THUẬT NGỮ Kí hiệu Mơ tả SR-IOV K8s K9s Single Root I/O Virtualization Viết tắt cụm từ Kubernetes (Số đại diện cho kí tự giữa) Cơng cụ CLI để quản lý, tương tác với K8s với giao diện dòng lệnh trực quan Terminal Container Runtime Interface Container Network Interface Open Container Initiative (Xét tảng cloud) Là ứng dụng, dịch vụ, khả khối lượng cơng việc cụ thể chạy tảng cloud Ứng dụng quản lý điều phối hạ tầng CRI CNI OCI Workloads MANO DANH MỤC HÌNH VẼ Hình 1-1 vOCS – Hệ thống tính cước thời gian thực Viettel 11 Hình 1-2 Mơ hình truyền thống mơ hình NFV 13 Hình 1-3 Cơ sở hạ tầng mạng di động 5G 15 Hình 1-4 Các tính phiên 4.0 vOCS [8] 17 Hình 1-5 Sự phát triển vOCS từ phiên 3.0 đến 4.0 18 Hình 2-1 Kiến trúc cụm Kubernetes 20 Hình 2-2 Cách thành phần cụm Kubernetes 20 Hình 2-3 Container Runtime 21 Hình 2-4 Định tuyến Calico 23 Hình 2-5 Luồng liệu audit logs 26 Hình 2-6 Kiến trúc mạng 30 Hình 2-7 Kiến trúc mạng vật lý 30 Hình 2-8 So sánh kiến trúc thơng thường SR-IOV 32 Hình 2-9 Kiến trúc mạng thứ cấp sử dụng SR-IOV 33 Hình 2-10 Ingress Network 36 Hình 2-11 Egress Network 37 Hình 2-12 Kiến trúc NFV 37 Hình 2-13 Sơ đồ khối chức hệ thống NFV 38 Hình 2-14 Kiến trúc khối chức quản lý lỗi 42 Hình 2-15 Kiến trúc khối chức quản lý log 44 Hình 2-16 Kiến trúc khối chức tính sẵn sàng cao 45 Hình 2-17 Kiến trúc tổng hợp 46 Hình 3-1 Calico 47 Hình 3-2 So sánh kiến trúc Kubernetes sử dụng Calico SR-IOV 49 Hình 3-3 Mơ hình testbed mơ hệ thống vOCS 4.0 49 Hình 3-4 Các mơ hình mạng sử dụng testbed 51 DANH MỤC BẢNG BIỂU Bảng 3-1 Các loại liệu mô testbed 52 Bảng 3-2 Kết testbed 53 Chương Hệ thống tính cước thời gian thực vOCS – Viettel 1.1 Giới thiệu tổng quan OCS (Online Charging System) hay hệ thống tính cước thời gian thực hệ thống biến tính mạng viễn thơng trở thành dịch vụ viễn thông [1] Đối với nhà mạng, hệ thống tính cước ví trái tim tạo sống, khơng tính cước thu tiền mà cịn chứa tồn liệu khách hàng, sản phẩm, dịch vụ, sách kinh doanh,… Hệ thống tính cước thời gian thực nhà mạng có tính tương tự với thành phần Core Banking ngân hàng có mức độ phức tạp quy mô lớn nhiều lần phải phục vụ số lượng dịch vụ, số lượng khách hàng lên tới hàng chục, hàng trăm triệu người yêu cầu thời gian xử lý gần Hiện nay, giới, số lượng doanh nghiệp có khả kinh doanh hệ thống tính cước thời gian thực đếm đầu ngón tay, có tập đồn tiếng Ericson [2] hay Huawei [3] Viettel số doanh nghiệp có đầu tư cao lĩnh vực nghiên cứu sản xuất, sản phẩm công nghệ trạm thu phát sóng 4G (eNodeB), hệ thống chuyển mạch 4G (EPC), hệ thống tổng đài chuyển mạch 3G (MSC), thiết bị truy nhập truyền dẫn quang cho mạng viễn thông (Site Router), doanh nghiệp bước đưa vào sử dụng mạng lưới viễn thông [4] Tiêu biểu vOCS nhà mạng làm chủ hồn tồn hệ thống này, Viettel khơng cịn phải sử dụng hệ thống tính cước nhà cung cấp quốc tế Đây lần công ty Việt Nam nghiên cứu, sản xuất phát triển thành cơng Hệ thống tính cước thời gian thực cho mạng viễn thông vOCS coi dấu mốc quan trọng đánh dấu thành công Viettel nghiên cứu sản xuất mạng viễn thơng Khơng dừng đó, Viettel tiếp tục đưa vOCS trở thành mũi nhọn lĩnh vực kinh doanh sản phẩm công nghệ cao, hướng tới khách hàng nhà mạng viễn thông nước toàn cầu Điều hoàn toàn khả thi vOCS có nhiều ưu điểm mang tính cạnh tranh sau [4] Hệ thống linh hoạt, cá nhân hóa gói cước Đây coi tính ưu việt vOCS so sánh với sản phẩm đối thủ Thông thường, nhà cung cấp đưa hệ thống tính cước mà tính năng, logic định nghĩa trước Với cách thức vậy, nhà mạng tạo gói cước dựa logic sẵn có Điều ảnh hưởng tới sáng tạo việc xây dựng sách, gói cước, dẫn tới chiến lược kinh doanh nhà mạng khơng đạt hiệu mong muốn vOCS khắc phục điều tư khác Doanh nghiệp tạo hệ thống tính cước có khả tùy biến cao, hiểu đơn giản, vOCS tạo mảnh ghép riêng biệt Nhà mạng tùy ý xếp, lắp đặt, sáng Infrastructure Manager - VIM), khối quản lý chức mạng ảo hóa (VNF Manager - VNFM), điều khiển SDN, khối chức mạng thống (Physical Network Function - PNF) Sử dụng mơ hình vMANO giúp giảm chi phí tích hợp triển khai, hạn chế việc phân mảnh q trình quản lý vMANO tự động hóa việc co giản, tăng giảm số lượng máy ảo, pod để đảm bảo hiệu hệ thống giữ ổn định có cố xảy máy chủ khơng hoạt động, lượng khách hàng tăng đột biến,… Bên cạnh đó, vMANO cung cấp giao diện: • Quản lý lỗi hiệu • Quản lý log Các chức trình bày chi tiết phần 2.2.4 Quản lý lỗi hiệu 2.2.4.1 Quản lý lỗi Kubernetes hỗ trợ ba phương pháp dò để kiểm tra tình trạng ứng dụng TCP, HTTP command Các phương pháp dị chia làm loại, dựa kiểm tra ứng dụng sống (Liveness) hay sẵn sàng (Readiness) Các đầu dò Liveness cung cấp khả kiểm tra định trạng ứng dụng Khi có vấn đề xác nhận, ứng dụng khởi động lại Kubelet Các đầu dò Readiness sử dụng để kiểm tra tình trạng pod sau di chuyển (migrating), khởi động lại, cấu hình lại pod Nếu pod không sẵn sàng để thực dịch vụ bình thường, Kubernetes xóa địa IP Pod từ tất dịch vụ để ngăn lỗi liên quan đến dịch vụ Ngồi phương pháp dị này, cụm Kubernetes cịn sử dụng kết hợp cơng cụ giám sát bên ngoài, chẳng hạn Node Exporter Prometheus, để tăng cường kiểm sốt lỗi bị bỏ qua 2.2.4.2 Quản lý hiệu Để tăng tính linh hoạt việc sử dụng tải nguyên cho ứng dụng (khả scale up, scale down), ta cần hiểu cách ứng dụng hoạt động triển khai Ta kiểm tra hiệu ứng dụng cụm Kubernetes cách kiểm tra container, pods, services, thơng số liên quan tồn cụm Kubernetes cung cấp thông tin chi tiết cách sử dụng tài nguyên ứng dụng cấp độ Thông tin cho phép ta đánh giá hiệu ứng dụng nơi loại bỏ nút thắt để cải thiện hiệu chung hệ thống Trong Kubernetes, giám sát ứng dụng không phụ thuộc vào giải pháp giám sát Trên cụm mới, ta sử dụng số liệu tài nguyên (resource metrics pipeline) số liệu đầy đủ (full metrics pipelines) để thu thập số liệu thống kê giám sát Các tài nguyên ngày thu thập thông qua K8s API, Node Exporter, endpoints ứng dụng, … Node Exporter 41 Node Exporter cài đặt dạng pod cụm K8s nhằm nhiệm vụ thu thập thông tin liên quan đến host bao gồm cpu, memory, network, v.v Node Exporter thu thập liệu định kỳ theo khoảng thời gian định, gán nhãn cho chúng xuất endpoint dạng text json, nhớ đệm cho Prometheus thực pull metrics Prometheus Prometheus triển khai dạng Pod cụm K8s thực nhiệm vụ thu thập thông tin metrics liên quan đến cụm K8s, CNF Pod metric, node metrics gửi lên cho MANO quản lý sử dụng Mơ hình kiến trúc Kiến trúc khối chức quản lý hiệu thể Hình 2-14 Hình 2-14 Kiến trúc khối chức quản lý hiệu Trong đó: • Prometheus có nhiệm vụ sau: o Tự động discovery API K8s o Tự động pull microservice metrics o Tự động push metrics lên cho MANO quản lý o Tự động pull rules từ MANO o Pull metrics liên quan đến K8s services sau: ▪ Node exporter bao gồm metrics liên quan đến host: cpu, memory, network, v.v 42 • ▪ Kube-state-metrics metrics cho việc điều phối vận hành cụm: deployment, pod metrics, resource reservation, v.v ▪ Kubernetes control plane metrics: kubelet, etcd, dns, scheduler, v.v ▪ cadvisor: tích hợp với kubelet ▪ SRIOV-metrics-exporter: chứa metric VF node cụm o Cấu hình rules nhận từ MANO để trigger alerts sử dụng PromQL vMANO có nhiệm vụ sau: o Quản lý cảnh báo alert, nhóm hay phân loại alert o Hỗ trợ push chủ động rules xuống cho Prometheus o Hỗ trợ pull chủ động metrics từ Prometheus o Gửi alert đến cho người quản trị hệ thống hiển thị thông tin lên MANO Dashboards 2.2.5 Quản lý log Logging cung cấp cách cho quản trị viên để giữ lại, truy vấn, xử lý cảnh báo kiện xảy môi trường cụm K8s Người quản trị sử dụng thơng tin đăng nhập để phân tích, cảnh báo thời gian thực để lập danh mục làm cụm K8s sử dụng sử dụng Chính thế, việc quản lý log cho hệ thống cloud native 5G công việc quan trọng, đảm bảo cho việc gỡ lỗi nhanh chóng sớm tìm nguyên nhân gây lỗi Kubernetes tạo quản lý log hai cấp độ chủ yếu container log node log • Cấp độ container: Logs tạo container sử dụng stdout stderr, truy cập sử dụng câu lệnh kubectl logs Kubernetes có log drivers cho container runtime, tự động tìm đọc tệp log • Cấp độ node: Bao gồm tệp logs lưu trữ node Ta xem xóa logs từ xa Cụm Kubernetes có hai loại thành phần hệ thống sau: • Loại chạy trực tiếp hệ điều hành, ví dụ kubelet, containerd chúng sử dụng chung hệ thống log hệ điều hành Những log truy cập qua lệnh journalctl thư mục /var/logs/ • Loại thứ hai, giống kube-apiserver, kube-scheduler, … chạy container Những logs tạo thành phần sử dụng giống chế log container khác cụm - stdout stderr Trong Kubernetes, việc xác thực quyền truy cập thường dựa vào vai trò (Role Based Access Control - RBAC) để xác thực truy cập quyền Theo chế RBAC, hệ thống tạo audit log theo quyền người dùng (authorization.k8s.io/decision) lý (authorization.k8s.io/reason) cấp quyền truy cập cho người dùng Kích hoạt audit logs để theo dõi vấn đề xác thực cách cài đặt kubectl 43 Hình 2-15 thể kiến trúc khối quản lý log tập trung cho cụm Kubernetes: Hình 2-15 Kiến trúc khối chức quản lý log Trong đó: Log Agent (Fluent Bit): Là agent có nhiệm vụ đọc liệu từ file định log file tài nguyên, theo plugin hỗ trợ Agent cịn có chức phân tích tin đầu vào thành liệu cụ thể gửi tin đến hệ thống lưu trữ khác (như stdout, kafka, elasticsearch,…) Fluent Bit triển khai dạng container server Controller, Compute vOCS 4.0 Pod • Database (ElasticSearch): Cơ sở liệu phân tán dạng time series, hỗ trợ tìm kiếm mạnh mẽ, xậy dựng tảng Apache Lucene, có khả lưu trữ liệu lớn mở rộng linh hoạt cách bổ sung thêm node cụm cluster ES triển khai server Controller theo mơ hình A-A-A, đồng liệu thành phần • Visualization Module (vMANO): Là cơng cụ trực quan hóa liệu Elasticsearch thơng qua biểu đồ, đồ thị, tìm kiếm, phân tích log, giám sát hoạt động Elasticsearch • 2.2.7 Tính sẵn sàng cao 44 High Availability hay tính sẵn sàng cao môt hệ thống khả vận hành, cung cấp dịch vụ trường hợp có lỗi xảy ra, giảm thiểu khả gián đoạn toàn hệ thống Khi hệ thống thương mại hóa, đặc biệt hệ thống viễn thơng di động việc giảm thiểu thời gian downtime việc vô quan trọng, cần ưu tiên hàng đầu cần lỗi nhỏ xảy ảnh hưởng đến hàng triệu khách hàng Chính thế, việc triển khai hệ thống có tính sẵn sàng cao yếu tố bắt buộc phải có để loại bỏ hiểm nguy trên, đảm bảo trải nghiệm khách hàng ổn định xuyên suốt Hệ thống cloud native sử dụng hai công nghệ Keepalived HAProxy để đảm bảo tính sẵn sàng cao Cụm triển khai hệ thống cloud native gồm node master n node worker sử dụng HAProxy, Keepalived Hình 2-16: Hình 2-16 Kiến trúc khối chức tính sẵn sàng cao Keepalived Keepalived chương trình dịch vụ Linux cung cấp khả tạo độ sẵn sàng cao (High Availability) cho hệ thống dịch vụ khả cân tải (Load Balancing) đơn giản Keepalived sử dụng virtual IP floating IP, nghĩa trường hợp node bị lỗi, địa IP chuyển node cho phép chuyển đổi dự phịng, đạt tính khả dụng cao HAProxy 45 HAProxy viết tắt High Availability Proxy, công cụ mã nguồn mở tiếng ứng dụng cho giải pháp cân tải TCP/HTTP giải pháp máy chủ Proxy (Proxy Server) Sử dụng HAProxy mơ hình giúp cân tải node master cụm 2.3 Kiến trúc tổng hợp Cuối cùng, tổng kết lại tất mơ hình tính bổ sung trên, luận văn đề xuất kiến trúc hồn thiện cloud native cho mạng viễn thơng 5G mơ tả tổng qt Hình 2-17: Hình 2-17 Kiến trúc tổng hợp 46 Chương Xây dựng mơ hình mơ đánh giá hiệu mơ hình mạng Kubernetes 3.1 Các mơ hình mạng Kubernetes Kubernetes thiết kế để hỗ trợ ứng dụng cloud-native, tảng có tính mơ-đun linh hoạt Kubernetes kết hợp plugin, tiện ích bổ sung, dịch vụ giao diện để mở rộng chức cốt lõi tảng Cấu hình tích hợp Kube cách thực thay đổi tùy chỉnh mơi trường mình, tùy chỉnh vượt ngồi việc thay đổi cờ tệp cấu hình cục Plugin định nghĩa thành phần tích hợp liền mạch với phần cịn lại mơi trường, cung cấp tính giống ban đầu mở rộng lệnh có sẵn cho quản trị viên Các plugin sử dụng để thêm hỗ trợ cho phần cứng tùy chỉnh Dưới số network plugin, hay gọi Container Network Interface (CNI) sử dụng phổ biến môi trường Kubernetes 3.1.1 Calico Hình 3-1 Calico Một triển khai network hoàn chỉnh đầy đủ cho Kubernetes Calico (Hình 3-1) Calico cung cấp giải pháp hồn chỉnh, khơng cho phép inter-workload traffic networking mà cịn cho phép áp dụng sách granular network Nó chạy nhiều loại mơi trường premise đám mây công cộng Calico hỗ trợ hai mơ hình triển khai Mơ hình phụ thuộc nhiều vào Giao thức cổng biên (BGP) khơng u cầu đóng gói liệu (data encapsulation) cho 47 Kubernetes inter-workload traffic Lợi ích lớn phương pháp giúp network IP workload nhận thức Tuy nhiên, điều kéo theo trao đổi thông tin định tuyến nodes network với BGP BGP exterior gateway protocol (giao thức cổng ngồi) tiêu chuẩn hóa thiết kế để lưu trữ trao đổi phần lớn thông tin định tuyến IP hệ thống tự trị (AS) Nó giao thức cốt lõi Internet áp dụng rộng rãi trung tâm liệu Để đạt hiệu suất cao nhất, nên chạy Calico network mà không cần overlays encapsulation Mô hình triển khai thứ hai cho Calico tận dụng việc đóng gói liệu overlay network BGP khơng bắt buộc phải sử dụng mơ hình Trường hợp sử dụng điển hình cho overlay networks mạng vật lý quản lý bên thứ ba khơng hỗ trợ định tuyến IP động Kubernetes nodes network devices Calico tự động xây dựng overlay networks với VXLAN IP-in-IP encapsulations mạng vật lý có Bất kỳ inter-workload traffic trước tiên phải gói gọn VXLAN IP-in-IP sau đặt wire, để network devices chọn định tuyến nhắm mục tiêu đến Kubernetes nodes Theo kết nghiên cứu, mơ hình mạng Kubernetes sử dụng Calico cho hiệu hiệu suất sử dụng tài nguyên tốt so với CNI plugin khác Flannel, WeaveNet, Contiv, Cilium, Kube Router Romana [14] 3.1.2 Single Root I/O Virtualization SR-IOV, viết tắt Single Root I/O Virtualization kỹ thuật mà cho phép thiết bị PCI chia thành nhiều thiết bị riêng biệt gồm có Physical Function (PF) nhiều Virtual Function (VF) SR-IOV cung cấp cách tiêu chuẩn cho thiết bị vào/ra vật lý, để PCIe bus trông nhiều thiết bị ảo Trong PF có tất tính PCIe VFs chức nhẹ có đủ cấu hình tài nguyên Việc cấu hình quản lý VFs thực thơng qua PF Vì vậy, nhiệm vụ VF tập trung vào việc di chuyển liệu Bên cạnh đó, tổng băng thơng sẵn có PF chia sẻ cho tất VF SR-IOV cho phép tạo nhiều VF (Virtual Function) thiết bị vật lý Theo lý thuyết, thiết bị hỗ trợ lên đến 256 VF thiết bị PCIe vật lý Trong trường hợp mạng, SR-IOV cho phép card mạng vật lý thể nhiều card PCIe network Mỗi port network vật lý NIC thể Physical Function PF tương tác với số VF cấu hình Cấp phát VF tới máy ảo/container cho phép lưu lượng mạng tới máy ảo/container không cần qua lớp phần mềm hypervisor, liệu truyền trực tiếp VF containers Bởi lưu lượng mạng hồn tồn không cần qua lớp phần mềm hypervisor bao gồm switch ảo, card mạng vật lý chịu trách nhiệm quản lý luồng liệu Hình 3-2 so sánh kiến trúc Kubernetes sử dụng Calico SR-IOV 48 Hình 3-2 So sánh kiến trúc Kubernetes sử dụng Calico SR-IOV 3.2 Xây dựng mô hình mơ 3.2.1 Mơ hình testbed Hình 3-3 Mơ hình testbed mơ hệ thống vOCS 4.0 Mơ hình testbed đánh giá hiệu mơ tả Hình 3-3, xây dựng từ thành phần quan trọng hệ thống vOCS 4.0, gồm có: • CGW (Charging Gateway): Phân hệ đóng vai trị cổng giao tiếp tính cước với hệ thống khác, điều hướng phân phối tin tới OCP 49 • OCP (Online Charging Processor): thành phần hệ thống tính cước, thực chức tính cước thời gian thực cho tất dịch vụ điều khiển băng thông cho dịch vụ data (Mobile data, FTTH, ADSL, ) • ABM (Abnormal): phân hệ thực xử lý phiên voice, data hết hạn, tính lại cước cho khách hàng; hoạt động proxy trước CSDL để xử lý truy vấn • Database: sử dụng Aerospike, sở liệu lưu trữ thông tin hồ sơ (profile) tài khoản khách hàng nhớ (RAM – nhớ truy cập nhanh nhằm hỗ trợ tăng hiệu xử lý thời gian thực nghiệp vụ khác), đồng thời sở liệu vật lý lưu trữ thơng tin cấu hình gói cước Testbed sử dụng cụm database hoạt động chế độ active-active, cụm phục vụ 10 triệu khách hàng 3.2.2 Môi trường testbed Testbed thực với hỗ trợ Trung tâm OCS - Tổng Công ty Công nghiệp Cơng nghệ cao Viettel hệ thống phịng lab Futute Internet Lab, Đại học Bách Khoa Hà Nội Tất mơi trường testbed sử dụng chung cấu hình: • Các container chạy server vật lý với cấu hình 96 core 2.4 Ghz, 256 GB RAM với chip Intel 8260 • Cấu hình container vCPU, 6GB RAM Mơ hình mạng sử dụng testcase thể Hình 3-4: 50 Hình 3-4 Các mơ hình mạng sử dụng testbed Bên cạnh đó, mơ hình testbed cịn áp dụng cơng nghệ “CPU pinning”, hay gọi “Processor Affinity”, cho phép người dùng định tiến trình sử dụng vài lõi Khi chương trình chạy, sử dụng ngẫu nhiên CPU hệ thống Hầu hết máy tính có xử lý đa lõi Bất kỳ chương trình chạy sử dụng lõi CPU hay nói cách khác, hệ điều hành định cách sử dụng lõi cho chương trình Khi dành riêng lõi cho chương trình chỉnh sửa video, điều đảm bảo lõi xử lý dành riêng cho tác vụ Việc giúp cải thiện hiệu suất giảm vấn đề cache, khơng có độ trễ với lõi chun dụng Tuy nhiên, điều có nghĩa chương trình khơng thể sử dụng lõi khác ảnh hưởng đến cân tải Thông thường, hệ điều hành cân áp lực lên CPU cách phân phối nhiều luồng cho nhiều lõi xử lý Tuy nhiên, thiết lập chương trình sử dụng lõi thay tất lõi cơng nghệ CPU pinning Lí Calico CNI chọn testbed Calico chứng minh khả cung cấp băng thơng để truyền tải gói tin lớn hơn, sử dụng tài nguyên so với loại CNI phổ biến khác Flannel, WeaveNet, Contiv, Cilium, Kube Router Romana [15] Phiên Kubernetes sử dụng 1.18, Aerospike phiên 4.13 51 3.2.3 Xây dựng công cụ giả lập lưu lượng Lưu lượng testbed tạo “Traffic generation tool” mô đầy đủ hoạt động khởi tạo, cập nhật, hủy với loại liệu thoại, tin nhắn, data,… (Bảng 3-1) Trong đó, 20 triệu tài khoản giả lập phục vụ node Aerospike Loại liệu Mô tả Thoại Hoạt động Initiate, Update and Terminate (một phiên kéo dài 180 giây cách 120 giây) Data Hoạt động Initiate, Update and Terminate (một phiên kéo dài 45 phút cách 120 giây) SMS Hoạt động Terminate Bảng 3-1 Các loại liệu mô testbed Ngôn ngữ lập trình sử dụng Java để đạt hiệu cao 3.2.4 Các thông số đánh giá Hiệu hệ thống OCS đánh giá dựa yếu tố: • Throughput: tính TPS – Transaction per seconds • Độ trễ gói tin request reply: tính ms • Lượng tài ngun sử dụng: tính CPU 3.3 Phân tích kết đánh giá Kết testbed tác giả luận văn trình bày hội nghị IEEE ICACT, Hàn Quốc vào tháng 3/2022 [16] 3.3.1 Kết testbed Sau thực q trình testbed, có kết so sánh hiệu lượng tài nguyên sử dụng hệ thống sử dụng mơ hình khác Bảng 3-2: Mơ hình Metrics CPU Bare-metal (free CPU) 40% Bare-metal (CPU-pinning) 46% 52 Calico SR-IOV 39% 45% TPS 50000 67000 54000 70000 Latency 2.93 ms 2.9 ms 2.94 ms 2.87 ms Bảng 3-2 Kết testbed 3.3.2 Phân tích kết Xét lượng CPU sử dụng mơ hình bare-metal sử dụng cơng nghệ CPU pinning SR-IOV sử dụng nhiều tài nguyên nhất, 46% 45%, đó, hai mơ hình cịn lại sử dụng xấp xỉ 40% Với việc sử dụng công nghệ “processor affinity”, SR-IOV đạt 70000 TPS, gần gấp rưỡi khả hệ thống cũ sử dụng bare-metal khơng có CPU pinning Điều chứng minh hệ thống vOCS 4.0 đáp ứng số lượng khách hàng lớn nhiều so với vOCS 3.0 đạt Xét độ trễ gói tin, SR-IOV tiếp tục chứng minh khả xử lý với thời gian nhanh 2.87 ms Tuy nhiên, chênh lệch mơ hình khơng đáng kể 3.3.3 Kết luận - Việc sử dụng mô hình mạng SR-IOV cơng nghệ CPU pinning giúp hiệu hệ thống tăng thêm 30% so với với mơ hình cũ - Calico có hiệu cao so sánh với loại CNI khác Flannel, WeaveNet, Contiv, Cilium, Kube Router Romana thấp so với SR-IOV - Nguyên nhân: mơ hình Calico cần thêm tài ngun, thời gian để đóng gói xử lý gói tin, định tuyến đến card mạng Trong đó, SR-IOV giúp container kết nối trực tiếp đến giao diện vật lý, xuyên qua tầng kernel - Dựa vào tính hỗ trợ network hồn thiện mình, Calico phù hợp để thay network mặc định Kubernetes sử dụng để quản trị hệ thống - SRIOV sử dụng môi trường cloud native cho hiệu cao độ trễ tương đương với triển khai bare metal Vì thế, SRIOV phù hợp để truyền liệu thành phần hệ thống giao tiếp với bên ngồi mơi trường viễn thơng 5G 53 Chương Kết luận chung định hướng phát triển Trong khuân khổ nội dung luận văn, em đề xuất phương pháp, mơ hình tính bổ sung nhằm triển khai hệ thống viễn thơng 5G lên điện tốn đám mây sử dụng cơng nghệ Kubernetes Bên cạnh đó, luận văn thực đánh giá hiệu kiến trúc cloud native với mơ hình mạng truyền thống, Calico SRIOV để chứng minh hiệu mạng viễn thông 5G không bị ảnh hưởng chuyển dịch lên điện toán đám mây hệ thống đáp ứng tiêu, yêu cầu kĩ thuật dịch vụ mạng lõi 5G Dựa vào kết đó, luận văn đề xuất mơ hình mạng phù hợp với yêu cầu mục đích khác Hiện nay, bên cạnh SR-IOV, DPDK (Data Plane Development Kit) công nghệ bật nhằm hỗ trợ việc tăng tốc độ xử lý gói tin sử dụng nhiều loại kiến trúc CPU khác Việc tích hợp, sử dụng SR-IOV với DPDK hứa hẹn nâng cao hiệu suất đáng kể cho mạng lõi viễn thơng 5G Ngồi ra, hướng phát triển đề tài tập trung vào việc tối ưu hóa tốc độ đọc ghi ổ cứng dịch vụ yêu cầu cao thông số IOPS (Input/Output per Second) 54 TÀI LIỆU THAM KHẢO [1] https://www.lifecycle-software.com/ocs, truy cập lần cuối ngày 01/12/2022 [2] https://www.ericsson.com/en/portfolio/cloud-software services/digitalbss/charging, truy cập lần cuối ngày 01/12/2022 [3] https://carrier.huawei.com/en/products/service-and-software/MWL-DigitalTransformation-Magazine/A-convergent-billing-system-for-the-5G-era, truy cập lần cuối ngày 01/12/2022 [4] https://vhttekway.vn/news/thiet-bi-vien-thong/he-thong-tinh-cuoc-vien-thongmade-in-vietnam-them-lua-chon-cho-nha-mang, truy cập lần cuối ngày 01/12/2022 [5] https://zingnews.vn/interactive/cau-chuyen-dang-sau-trai-tim-nha-mang-madein-vietnam, truy cập lần cuối ngày 01/12/2022 [6] https://international.viettel.vn/customer/news/detail/phan-mem-tinh-cuoc-thoigian-thuc-cua-viettel-doat-giai-thuong-kinh-doanh-quoc-te, truy cập lần cuối ngày 01/12/2022 [7] https://www.cisco.com/c/dam/m/en_us/solutions/service-provider/vni-forecasthighlights/pdf/Global_2016_Year_in_Review.pdf, truy cập lần cuối ngày 01/12/2022 [8] https://viettelhightech.vn/category-detail/he-thong-tinh-cuoc-thoi-gian-thucvocs, truy cập lần cuối ngày 01/12/2022 [9] https://learn.microsoft.com/en-us/dotnet/architecture/cloud-native/definition, truy cập lần cuối ngày 01/12/2022 [10] https://www.cncf.io/about/who-we-are/, truy cập lần cuối ngày 01/12/2022 [11] https://kubernetes.io/vi/, truy cập lần cuối ngày 01/12/2022 [12] https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHAN GELOG-1.20.md#deprecation, truy cập lần cuối ngày 01/12/2022 [13] https://www.etsi.org/deliver/etsi_gs/nfv/001_099/002/01.02.01_60/gs_nfv00 2v010201p.pdf, truy cập lần cuối ngày 01/12/2022 [14] K B Sanjiv, T Shailesh, R Su, T Munesh, Chandra, and K K Mishra, Advances in Computer, Communication and Computational Sciences Advances in Intelligent Systems and Computing, 2020, ch Networking Analysis and Performance Comparison of Kubernetes CNI Plugins, pp 99–109 [15] R Kumar and M C Trivedi, “Networking analysis and performance comparison of kubernetes cni plugins,” in Advances in Computer, Communication and Computational Sciences Springer, 2021, pp 99–109 [16] Dinh Tam Nguyen, Ngoc Lam Dao, Van Thuyet Tran, Khac Thuan Lang, Thanh Tu Pham, Phi Hung Nguyen, Cong Dan Pham, Tuan Anh Pham, Duc Hai Nguyen, Huu Thanh Nguyen, “Enhancing CNF performance for 5G core network using SR-IOV in Kubernete” in The 24th International Conference on Advanced Communications Technolog, Pyeongchang, Korea (South), 2022 55