Báo cáo thực tập tốt nghiệp đơn vị tổng công ty viễn thông viettel

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA VIỄN THÔNG I - - BÁO CÁO THỰC TẬP TỐT NGHIỆP Đơn vị: TỔNG CÔNG TY VIỄN THÔNG VIETTEL Giảng viên hướng dẫn: Nguyễn Thị Thu Hiên Sinh viên thực hiện: Nguyễn Xuân Minh Mã sinh viên: B18DCVT294 Lớp: D18CQVT06-B Hà Nội, 2022 Nguyễn Xuân Minh – Báo cáo TTTN LỜI MỞ ĐẦU Trong thời điểm nay, thời kỳ bùng nổ công nghệ, đặc biệt Bigdata xu hướng thời gian tới Sau bốn năm học tập Học viện Cơng nghệ Bưu Viễn thơng, em tích lũy cho nhiều kiến thức để đến trình thực tập Đây bước quan trọng việc rèn luyện, làm quen với công việc thực tế Trong giai đoạn này, sinh viên học hỏi thêm nhiều điều, hội để tìm điểm yếu kiến thức khả Từ đó, sinh viên cải thiện bổ sung trước rời ghế nhà trường Trong bốn tuần thực tập Tổng công ty Viễn thông Viettel, em nhận bảo, giúp đỡ tận tình anh chị cơng ty thầy cô trường Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới giảng viên cô Nguyễn Thị Thu Hiên cô Nguyễn Thị Thu Hằng với anh Lê Đức Toàn người hướng dẫn em đơn vị sở suốt trình thực tập Báo cáo gồm phần chính: - Phần I: Báo cáo thực tập VIETTEL - Phần II: Báo cáo thực tập chuyên sâu Trong trình thực báo cáo, tài liệu tham khảo ln có cập nhật mới, giới hạn kiến thức thân, việc sai sót khó tránh khỏi Em mong nhận ý kiến đóng góp nhận xét giảng viên người đọc để hoàn thiện Xin chân thành cảm ơn! Hà Nội, ngày 20, tháng 08, năm 2022 Sinh viên Nguyễn Xuân Minh Nguyễn Xuân Minh – Báo cáo TTTN MỤC LỤC LỜI MỞ ĐẦU MỤC LỤC DANH MỤC VIẾT TẮT DANH MỤC HÌNH ẢNH .4 Phần I: BÁO CÁO THỰC TẬP TẠI VIETTEL Tìm hiểu tổng quan 5G 1.1 Giới thiệu 1.2 Kiến trúc .5 1.2.1 Các thành phần 1.2.2 Mạng truy cập di động vô tuyến 1.2.3 Lõi di dộng .10 1.3 Hoạt động 5G 12 Tìm hiểu DPDK xử lý gói tin 5G GNODEB 13 2.1 Giới thiệu .13 2.2 Thành phần 13 2.2.1 Ring Manager (librte_ring) 14 2.2.2 Memory Pool Manager (librte_mempool) .14 2.2.3 Network Packet Buffer Management (librte_mbuf) 14 2.2.4 Timer Manager (librte_timer) 14 Lập trình Socket giao tiếp TCP Client/Server 14 3.1 Lập trình socket ? 14 3.2 Lập trình phía client server 15 3.2.1 Server .15 3.2.2 Client 15 3.2.3 Mơ tả chương trình 16 3.2.4 Kết .16 Phần II: BÁO CÁO THỰC TẬP CHUYÊN SÂU .17 Tìm hiểu công cụ Bigdata 17 1.1 Kafka 17 1.2 Spark 17 1.3 Hadoop HDFS 17 1.4 Elasticsearch – Kibana 18 Xây dựng luồng spark streaming dự đoán giá nhà 20 2.1 Mô tả chung toán 20 2.2 Mô tả chi tiết toán 20 2.3 Mô tả phần mềm cài đặt hệ thống 21 2.3.1 Mô tả hệ thống 21 2.3.2 Kết đạt 22 2.4 Visualize mơ hình hóa liệu 24 2.4.1 Visualize liệu 24 2.4.2 Mơ hình hóa liệu 25 KẾT LUẬN 27 TÀI LIỆU THAM KHẢO 27 Nguyễn Xuân Minh – Báo cáo TTTN DANH MỤC VIẾT TẮT Ký hiệu UDSF Nghĩa Tiếng Anh User Equipment Radio Access Networks Evolved Packet Core Passive Optical Network Internet Protocol GPRS Tunneling Protocol User Datagram Protocol Transmission Control Protocol Access and Mobility Management Function Session Management Function Policy Control Function Unified Data Management Authentication Server Function Structured Data Storage Network Function Unstructured Data Storage Network NEF UPF DPDK Network Exposure Function User Plane Function Data Plane Development Kit EAL RDD HDFS ELK Environment Abstraction Layer UE RAN EPC PON IP GTP UDP TCP AMF SMF PCF UDM AUSF SDSF Resilient Distributed Datasets Hadoop Distributed File System Elasticsearch, Logstash, and Kibana Nghĩa Tiếng Việt Thiết bị người dùng Mạng truy nhập vơ tuyến Mạng lõi chuyển mạch gói cải tiến Mạng quang thụ động Giao thức Internet Giao thức đường hầm GPRS Giao thức liệu người dùng Giao thức điều khiển truyền vận Chức quản lý di động truy cập cốt lõi Chức quản lý phiên Chức kiểm sốt sách Quản lý liệu hợp Chức máy chủ xác thực Chức mạng lưu trữ liệu có cấu trúc Chức mạng lưu trữ liệu phi cấu trúc Chức tiếp xúc mạng Chức mặt phẳng người dùng Bộ công cụ phát triển chế chuyển tiếp liệu Lớp trừu tượng môi trường Tập liệu phân tán linh hoạt Hệ thống lưu trữ liệu phân tán Nguyễn Xuân Minh – Báo cáo TTTN DANH MỤC HÌNH ẢNH Hình 1.1 Mạng di động bao gồm Mạng truy nhập vô tuyến (RAN) lõi di động Hình 1.2 Lõi di động chia thành Kế hoạch điều khiển Mặt phẳng người dùng, tính kiến trúc gọi CUPS: Tách mặt phẳng người dùng điều khiển Hình 1.3 Trạm gốc phát (và kết nối với) UE hoạt động Hình 1.4 Trạm gốc thiết lập kết nối mặt phẳng điều khiển UE Mobile Core Hình 1.5 Trạm gốc thiết lập nhiều đường hầm UE Mặt phẳng người dùng lõi di động Hình 1.6 Mặt phẳng điều khiển từ trạm gốc đến lõi di động (và trạm gốc đến trạm gốc) đào qua SCTP / IP mặt phẳng người dùng đào qua GTP / UDP / IP Hình 1.7 Các Trạm sở hợp tác để thực bàn giao UE9 Hình 1.8 Các trạm gốc hợp tác để thực truyền đa đường (tập hợp liên kết) tới UE 10 Hình 1.9 Lõi di động 5G (NG-Core) 12 Hình 1.10 Core Components Architecture 13 Hình 1.11 Mơ hình client server TCP 15 Hình 1.12 Kết chat client server 16 Hình 2.1 Kiến trúc Apache Kafka 17 Hình 2.2 Luồng xử lý liệu Spark Streaming 18 Hình 2.3 Kiến trúc Hadoop 19 Hình 2.4 Kiến trúc , mơ hình Elasticsearch 19 Hình 2.5 Luồng xử lý liệu Pipeline 20 Hình 2.6 Dữ liệu Crawl lưu vào kafka topic 22 Hình 2.7 Dữ liệu lưu trữ HDFS 22 Hình 2.8 Kích thước RDD 23 Hình 2.9 Dữ liệu lưu trữ vào Elastichsearch 23 Hình 2.10 Visualize liệu kibana 24 Hình 2.11 Mơ giá trị nhà đất khu vực Hà Nội 24 Hình 2.12 Mơ hình dự đốn giá nhà 25 Hình 2.13 Kết dự đốn giá nhà 26 Nguyễn Xuân Minh – Báo cáo TTTN PHẦN I: BÁO CÁO THỰC TẬP TẠI VIETTEL Tìm hiểu tổng quan 5G 1.1 Giới thiệu 5G mạng di động hệ thứ Đây tiêu chuẩn không dây toàn cầu sau mạng 1G, 2G, 3G 4G 5G cho phép loại mạng thiết kế để kết nối tất người thứ với nhau, bao gồm máy móc, đồ vật thiết bị Công nghệ không dây 5G cung cấp tốc độ liệu cao, độ trễ cực thấp, độ tin cậy cao, dung lượng mạng lớn, tăng tính khả dụng trải nghiệm người dùng đồng cho nhiều người dùng Hiệu suất cao hiệu cải thiện nâng cao trải nghiệm người dùng mang lại khả kết nối ngành Bạn nghe lời cường điệu công nghệ 5G, liệu có thực thay đổi thứ? Để hiểu tiềm giao thức không dây đột phá này, bắt đầu cách kiểm tra cách thức hoạt động 5G từ quan điểm kỹ thuật cách thực lời hứa Bài viết sâu vào 5G, tách biệt cường điệu với thực tế Về bản, 5G hứa hẹn có tốc độ cao hệ trước , lên tới 10 Gbps số trường hợp Công nghệ truyền dẫn 4G tìm nạp liệu với tốc độ khoảng 20Mbps 80Mbps cho 4G +, làm cho tốc độ 10Gps (lý thuyết) 5G (lý thuyết) 10.000Mbps, nhanh 100 lần so với 4G.Ngồi ra, cơng nghệ 5G cho phép gấp 10 lần số lượng thiết bị kết nối khu vực định, so với với 4G.Độ trễ, thời gian cần để trả lại phản hồi từ tín hiệu riêng lẻ, giảm xuống Mạng 4G có tốc độ khoảng 30 đến 70ms, 5G (kể từ thử nghiệm tiến hành vào năm 2021) giảm xuống phạm vi 5-20ms I.2 Kiến trúc I.2.1 Các thành phần Mạng di động cung cấp kết nối không dây với thiết bị di chuyển Những thiết bị này, gọi Thiết bị Người dùng (UE) , theo truyền thống tương ứng với điện thoại thông minh máy tính bảng, ngày bao gồm tơ, máy bay không người lái, máy công nghiệp nông nghiệp, robot, thiết bị gia dụng, thiết bị y tế, v.v Như Hình 1.1 , mạng di động bao gồm hai hệ thống chính: Mạng truy nhập vơ tuyến (RAN) Lõi di động RAN quản lý phổ vơ tuyến, đảm bảo sử dụng hiệu đáp ứng yêu cầu chất lượng dịch vụ người dùng Mobile Core gói chức phục vụ số mục đích:  Cung cấp kết nối Internet (IP) cho dịch vụ liệu thoại  Đảm bảo kết nối đáp ứng yêu cầu QoS Nguyễn Xuân Minh – Báo cáo TTTN   Theo dõi tính di động người dùng để đảm bảo dịch vụ không bị gián đoạn Theo dõi việc sử dụng người đăng ký để lập hóa đơn tính phí Nguyễn Xuân Minh – Báo cáo TTTN Hình 1.1 Mạng di động bao gồm Mạng truy nhập vô tuyến (RAN) lõi di động Lưu ý Mobile Core ví dụ khác thuật ngữ chung Trong 4G, gọi Evolved Packet Core (EPC) 5G, gọi Next Generation Core (NG-Core) Mobile Core phần mạng truy nhập, cung cấp hiệu cầu nối RAN số khu vực địa lý Internet dựa IP lớn 3GPP cung cấp linh hoạt đáng kể cách Mobile Core triển khai mặt địa lý, mục đích chúng tơi, giả sử lần khởi tạo Mobile Core phục vụ khu vực thị mơ hình hoạt động tốt RAN tương ứng sau trải dài hàng chục (hoặc chí hàng trăm) tháp di động Xem xét kỹ Hình 1.1 , thấy Mạng Backhaul kết nối trạm gốc thực RAN với Mobile Core Mạng thường có dây, có khơng có cấu trúc liên kết vịng Hình thường xây dựng từ thành phần hàng hóa tìm thấy nơi khác Internet Ví dụ: Mạng quang thụ động (PON) triển khai Fiber-to-the-Home ứng cử viên hàng đầu cho việc triển khai backhaul RAN Mạng backhaul rõ ràng phần cần thiết RAN, lựa chọn thực không quy định tiêu chuẩn 3GPP Nguyễn Xuân Minh – Báo cáo TTTN Hình 1.2 vẽ lại thành phần từ Hình 1.1 để làm bật hai điểm khác biệt quan trọng Đầu tiên trạm gốc có thành phần tương tự (được mô tả ăngten) thành phần kỹ thuật số (được mô tả cặp xử lý) Thứ hai Mobile Core phân chia thành Mặt phẳng điều khiển Mặt phẳng người dùng, tương tự việc phân chia mặt phẳng điều khiển / liệu mà quen thuộc với Internet Hình 1.2 Lõi di động chia thành Kế hoạch điều khiển Mặt phẳng người dùng, tính kiến trúc gọi CUPS: Tách mặt phẳng người dùng điều khiển I.2.2 Mạng truy cập di động vô tuyến Bây mô tả RAN cách phác thảo vai trò trạm gốc.Đầu tiên, trạm gốc thiết lập kênh không dây cho UE thuê bao khởi động chuyển giao UE hoạt động Kênh giải phóng UE không hoạt động khoảng thời gian định trước Sử dụng thuật ngữ 3GPP, kênh không dây cho cung cấp dịch vụ mang Nguyễn Xuân Minh – Báo cáo TTTN Hình 1.3 Trạm gốc phát (và kết nối với) UE hoạt động Thứ hai, trạm gốc thiết lập kết nối “Mặt phẳng điều khiển 3GPP” UE thành phần Mặt phẳng điều khiển lõi di động tương ứng, chuyển tiếp lưu lượng báo hiệu hai trạm Lưu lượng báo hiệu cho phép xác thực UE, đăng ký theo dõi tính di động Nguyễn Xuân Minh – Báo cáo TTTN Thư viện cung cấp API để cấp phát miễn phí mbufs, thao tác với đệm gói sử dụng để mang gói mạng 2.2.4 Timer Manager (librte_timer) Thư viện cung cấp dịch vụ hẹn cho đơn vị thực thi DPDK, cung cấp khả thực thi chức khơng đồng Nó gọi chức định kỳ, gọi lần Nó sử dụng giao diện hẹn cung cấp Lớp trừu tượng môi trường (EAL) để có tham chiếu thời gian xác bắt đầu sở lõi theo yêu cầu Lập trình Socket giao tiếp TCP Client/Server 3.1 Lập trình socket ? SocKet giao diện lập trình (API – Application Program Interface) ứng dụng mạng thơng qua giao diện lập trình điều khiển việc truyền thơng máy sử dụng giao thức mức thấp TCP,UDP… , Có thể tưởng tượng thiết bị truyền thông chiều tương tự tệp tin, gửi/nhận liệu máy, tương tự việc đọc ghi tệp tin Hình 1.11 Mơ hình client server TCP 3.2 Lập trình phía client server 3.2.1 Server Các bước để tạo lên chương trình phía server:  Tạo socket với hàm socket (int family, int type, int protocol) tham số theo thứ tự họ giao thức, kiểu socket, kiểu giao thức 18 Nguyễn Xuân Minh – Báo cáo TTTN     Gán địa cho socket bind (int sockfd, const struct sockaddr *sockaddr, socklen_t addrlen) tham số mô tả socket vừa tạo, trỏ chỏ đến địa socket, độ lớn địa Chỉ định socket lắng nghe kết nối listen (int sockfd, int backlog) sockfd mơ tả socket vừa tạo, backlog số lượng tối đa kết nối chờ Chờ/chấp nhận kết nối accept (int sockfd, struct sockaddr *cliaddr, socklen_t *addrlen) có tham số mô tả socket vừa tạo, trỏ tới cấu trúc địa socket tiến trình kết nối đến, độ lớn cấu trúc địa Thiết lập kết nối với máy chủ TCP connect (int sockfd, const struct sockaddr *servaddr, socklen_t addrlen) 3.2.2 Client Các bước để tạo lên chương trình phía client  Tạo socket với hàm socket (int family, int type, int protocol) tham số theo thứ tự họ giao thức, kiểu socket, kiểu giao thức  Connect tới địa server với hàm connect(sock, (struct sockaddr *)&serv_addr, sizeof(serv_addr)  Đọc liệu từ server ghi vào biến buffer read( sock , buffer, 1024) 3.2.3 Mơ tả chương trình         3.2.4 Server mở công kết nối 8080 Client nhập địa ip để kết nối với server qua cổng 8080 Server hiển thị địa ip cổng client, Người dùng nhập chuỗi kí tự từ bàn phím Client đọc chuỗi kí tự gửi cho server Server nhận tin nhắn từ client trả tin nhắn nhận viết hoa kí tự Client hiển thị thơng báo từ server Lặp đến client Kết 19