Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh

Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thông ở Tây Ninh.

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN ĐỨC TRUNG NGHIÊN CỨU MƠ HÌNH HỌC SÂU ĐỂ DỰ BÁO KHÁCH HÀNG RỜI MẠNG VIỄN THÔNG Ở TÂY NINH ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP HỒ CHÍ MINH – NĂM 2023 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG NGUYỄN ĐỨC TRUNG NGHIÊN CỨU MƠ HÌNH HỌC SÂU ĐỂ DỰ BÁO KHÁCH HÀNG RỜI MẠNG VIỄN THÔNG Ở TÂY NINH Chuyên ngành: Hệ thống thông tin Mã số: 8.48.01.04 ĐỀ ÁN TỐT NGHIỆP THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS HUỲNH TRỌNG THƯA TP.HỒ CHÍ MINH - NĂM 2023 i LỜI CAM ĐOAN Tôi cam đoan đề án tốt nghiệp thạc sĩ: “Nghiên cứu mô hình học sâu để dự báo khách hàng rời mạng viễn thơng Tây Ninh” cơng trình nghiên cứu tơi Tơi cam đoan số liệu, kết nêu đề án trung thực chưa cơng bố cơng trình khác Khơng có sản phẩm/nghiên cứu người khác sử dụng đề án mà không trích dẫn theo quy định TP Hồ Chí Minh, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Đức Trung ii LỜI CẢM ƠN Trong suốt trình học tập nghiên cứu thực đề án tốt nghiệp thạc sĩ, nỗ lực thân, nhận hướng dẫn nhiệt tình q báu q Thầy Cơ, với động viên ủng hộ gia đình, bạn bè đồng nghiệp Với lịng kính trọng biết ơn sâu sắc, xin gửi lời cảm ơn chân thành tới: Tôi xin chân thành cảm ơn Thầy TS Huỳnh Trọng Thưa, người thầy kính u hết lịng giúp đỡ, hướng dẫn, động viên, tạo điều kiện cho tơi suốt q trình thực hồn thành đề án tốt nghiệp thạc sĩ Ban Giám Đốc, Phòng đào tạo sau đại học quý Thầy Cô tạo điều kiện thuận lợi giúp tơi hồn thành đề án Tơi xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp quan động viên, hỗ trợ tơi lúc khó khăn để tơi học tập hoàn thành đề án Mặc dù có nhiều cố gắng, nỗ lực, thời gian kinh nghiệm nghiên cứu khoa học hạn chế nên khơng thể tránh khỏi thiếu sót Tơi mong nhận góp ý quý Thầy Cô bạn bè đồng nghiệp để kiến thức tơi ngày hồn thiện Xin chân thành cảm ơn! TP Hồ Chí Minh, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Đức Trung iii DANH SÁCH HÌNH VẼ Hình 0.1: Thị phần th bao dịch vụ truy cập Internet doanh nghiệp Hình 0.2: Tăng trưởng lượng người dùng Internet Việt Nam Hình 1.1: Tăng trưởng lưu lượng truy cập Internet Việt Nam 2020-2021 Hình 2.1: Mơ hình CNN 14 Hình 3.1: Trích liệu quan sát liệu 22 Hình 3.2: Thống kê mô tả trường liệu biến liên tục 23 Hình 3.3: Biểu đồ phân bổ tháng sử dụng 25 Hình 3.4: Loại hình thuê bao 26 Hình 3.5: Số lần báo hỏng 27 Hình 3.6: Số lần gọi kiểm tra khơng hài lịng 28 Hình 3.7: Đường truyền tích hợp 29 Hình 3.8: Khơng phát sinh lưu lượng 30 Hình 3.9: Thuê bao nợ cước tháng 31 Hình 3.10: Số lần gọi kiểm hài lòng 32 Hình 3.11: Cấu trúc mạng CNN 34 Hình 3.12: Sơ đồ tổng qt mơ hình dự báo 36 Hình 4.1: Code Python Xử lý liệu mơ hình Sequential 40 Hình 4.2: Code Python xây dựng mơ hình Sequential 40 Hình 4.3: Mơ hình Sequential thu 40 Hình 4.4: Mơ hình Sequential thu với thông số lớp 41 Hình 4.5: Code Python Xử lý liệu mơ hình GR & VSN 43 Hình 4.6: Code Python mã hóa đầu vào mơ hình GR & VSN 44 Hình 4.7: Code Python hàm GR 45 Hình 4.8: Code Python hàm VSN tích hợp GR 45 Hình 4.9: Code Python cài đặt biến GRN 46 Hình 4.10: Code Python xây dựng mơ hình GR VSN 46 Hình 4.11: Code Python chạy huấn luyện với mơ hình GR & VSN 47 Hình 4.12: Code Python Xây dựng mơ hình Wide & Deep 49 Hình 4.13: Cấu trúc mơ hình Wide & Deep [17] 49 Hình 4.14: Code Python Xây dựng mơ hình Deep & Cross 50 iv Hình 4.15: Cấu trúc mơ hình Deep & Cross 50 Hình 4.16: Biểu đồ so sánh mơ hình học sâu thử nghiệm 51 Hình 4.17: Sơ đồ thiết kế ứng dụng web 52 Hình 4.18: Giao diện trang nhập liệu dự đoán thuê bao 53 Hình 4.19: Giao diện trang nhập liệu file excel 54 Hình 4.20: Giao diện trang kết dự đoán từ file nhiều khách hàng 54 v DANH SÁCH BẢNG Bảng 3.1: Thông tin liệu toán 21 Bảng 4.1 : Tổng hợp đánh giá mô hình với liệu 51 vi DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT VIẾT TẮT NGHĨA TIẾNG ANH NGHĨA TIẾNG VIỆT AI Artificial Intelligence Trí tuệ nhân tạo ANN Artificial Neural Network Mạng nơ-ron nhân tạo CNN Convolutional Neural Network Mạng nơ-ron tích chập FTTH Fiber To The Home Cáp quang cho hộ gia đình ITC Information & Communications Technologies Cơng nghệ thông tin truyền thông GR Gated Residual Phần dư cổng GSN Gated Selection Networks Mạng lựa chọn có cổng xDSL Digital Subcriber Line Kênh thuê bao số ML Machine Learning Học máy VSN Variable Selection Networks Mạng lựa chọn biến số vii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH SÁCH HÌNH VẼ iii DANH SÁCH BẢNG v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT .vi MỤC LỤC vii MỞ ĐẦU .1 Tính cấp thiết đề án Tổng quan đề án Mục tiêu, ý nghĩa khoa học thực tiễn Đối tượng phạm vi nghiên cứu 6 4.1 Đối tượng nghiên cứu .6 4.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 5.1 Phương pháp nghiên cứu lý thuyết 5.2 Phương pháp nghiên cứu thực nghiệm .6 Bố cục đề án .7 CHƯƠNG 1: TỔNG QUAN VỀ DỰ BÁO KHÁCH HÀNG RỜI MẠNG CÁP QUANG 1.1 Tổng quan mạng cáp quang thuê bao .8 1.1.1 Mạng cáp quang 1.1.2 Cạnh tranh trạng khách hàng rời mạng 1.2 Bài toán dự báo khách hàng rời mạng cáp quang 11 CHƯƠNG 2: CÁC MƠ HÌNH HỌC SÂU VÀ CƠNG TRÌNH LIÊN QUAN 13 2.1 Mơ hình học sâu toán dự báo 13 2.2 Các cơng trình nghiên cứu nước 15 2.3 Các công trình nghiên cứu giới 16 viii CHƯƠNG 3: XÂY DỰNG MÔ HÌNH DỰ BÁO 21 3.1 Bộ liệu toán 21 3.2 Thiết kế mơ hình .33 3.2.1 Giới thiệu mô hình CNN Keras Deep Learning .33 3.2.2 Ý tưởng xây dựng mơ hình dự báo khách hàng rời mạng cáp quang 35 3.3 Phương pháp đánh giá 37 CHƯƠNG 4: THÍ NGHIỆM VÀ ĐÁNH GIÁ 39 4.1 Mơ hình Sequential .39 4.1.1 Xử lý liệu 40 4.1.2 Xây dựng mơ hình Sequential 40 4.1.3 Kết .41 4.2 Mơ hình Gated Residual Variable Selection Networks .42 4.2.1 Xử lý liệu 42 4.2.2 Xây dựng mơ hình 43 4.2.3 Kết .47 4.3 Mơ hình Wide, Deep and Cross Network 48 4.3.1 Xử lý liệu 49 4.3.2 Xây dựng mơ hình 49 4.3.3 Kết .51 4.4 Kết tổng hợp 51 4.5 Xây dựng ứng dụng dự báo khách hàng rời mạng cáp quang 52 4.5.1 Thiết kế ứng dụng 52 4.5.2 Giao diện ứng dụng 53 4.5.3 Kết áp dụng ứng dụng .54 KẾT LUẬN VÀ KIẾN NGHỊ 55 Kết nghiên cứu đề án 55 Hạn chế đề án 56 Vấn đề kiến nghị hướng nghiên cứu: .57 DANH MỤC TÀI LIỆU THAM KHẢO 59 47 4.2.3 Kết learning_rate = 0.001 dropout_rate = 0.15 batch_size = 265 num_epochs = 20 encoding_size = 16 model = create_model(encoding_size) model.compile( optimizer=keras.optimizers.Adam(learning_rate=learning_rate), loss=keras.losses.BinaryCrossentropy(), metrics=[keras.metrics.BinaryAccuracy(name="accuracy")], ) # Create an early stopping callback early_stopping = tf.keras.callbacks.EarlyStopping( monitor="val_loss", patience=5, restore_best_weights=True ) print("Start training the model ") train_dataset = get_dataset_from_csv( train_data_file, shuffle=True, batch_size=batch_size ) valid_dataset = get_dataset_from_csv(valid_data_file, batch_size=batch_size) model.fit( train_dataset, epochs=num_epochs, validation_data=valid_dataset, callbacks=[early_stopping], ) print("Model training finished.") print("Evaluating model performance ") test_dataset = get_dataset_from_csv(test_data_file, batch_size=batch_size) _, accuracy = model.evaluate(test_dataset) print(f"Test accuracy: {round(accuracy * 100, 2)}%") Hình 4.11: Code Python chạy huấn luyện với mơ hình GR & VSN Sau huấn luyện với learning_rate = 0.001, dropout_rate = 0.15, batch_size 265, encoding_size = 16 số epochs = 50, kết đạt sau: loss: 0.3207 - accuracy: 0.8888 Tức độ xác 88.88%, tỷ lệ mát 32.07% = 48 4.3 Mơ hình Wide, Deep and Cross Network Mơ hình học với Wide, Deep, Cross networks có nhiều ưu điểm sau: Kết hợp sức mạnh mơ hình rộng (wide) mơ hình sâu (deep): Mơ hình kết hợp khả học mối quan hệ phức tạp khả học mối quan hệ đơn giản Mơ hình rộng có khả tìm hiểu quy luật đơn giản mối quan hệ tương quan đặc trưng, mơ hình sâu có khả học mối quan hệ phức tạp biểu diễn đặc trưng ẩn sâu Học mối quan hệ chéo (cross) đặc trưng: Mơ hình khái qt hóa mối quan hệ chéo đặc trưng q trình học Điều cho phép mơ hình học tương tác đặc trưng tạo đặc trưng từ kết hợp chúng Mở rộng cho liệu thưa (sparse data): Mơ hình Wide, Deep, Cross có khả xử lý liệu thưa (sparse data) cách hiệu Với liệu thưa, có nhiều đặc trưng có giá trị 0, mơ hình học tương tác đặc trưng tạo dự đốn xác Hiệu suất tốt tốn dự đốn: Mơ hình Wide, Deep, Cross chứng minh có hiệu suất tốt nhiều toán dự đoán, quảng cáo trực tuyến, khuyến nghị sản phẩm, tìm kiếm người dùng Mơ hình có khả học biểu diễn mối quan hệ phức tạp đặc trưng, từ cung cấp dự đốn xác có giá trị Mơ hình linh hoạt dễ triển khai: Mơ hình Wide, Deep, Cross triển khai nhiều tảng mơi trường khác Nó thực sử dụng công cụ thư viện học sâu phổ biến TensorFlow Keras Mơ hình Wide, Deep, Cross networks kết hợp sức mạnh mơ hình rộng, mơ hình sâu mơ hình chéo, giúp giải vấn đề liên quan đến dự đoán phân loại toán thực tế 49 4.3.1 Xử lý liệu Chia tập liệu thành tập tập train tập test với tỉ lệ 85 /15 Sử dụng mơ hình Wide, Deep and Cross Network from sklearn.model_selection import train_test_split x_train, x_test, y_train, y_test = train_test_split(x,y,test_size=0.15, random_state = 0) print(x_train.shape) print(y_train.shape) print(y_test.shape) print(x_test.shape) 4.3.2 Xây dựng mơ hình Mơ hình Wide and Deep Networks def create_wide_and_deep_model(): inputs = create_model_inputs() wide = encode_inputs(inputs) wide = layers.BatchNormalization()(wide) deep = encode_inputs(inputs, use_embedding=True) for units in hidden_units: deep = layers.Dense(units)(deep) deep = layers.BatchNormalization()(deep) deep = layers.ReLU()(deep) deep = layers.Dropout(dropout_rate)(deep) merged = layers.concatenate([wide, deep]) outputs = layers.Dense(units=NUM_CLASSES, activation="softmax")(merged) model = keras.Model(inputs=inputs, outputs=outputs) return model Hình 4.12: Code Python Xây dựng mơ hình Wide & Deep Hình 4.13: Cấu trúc mơ hình Wide & Deep [17] 50 Mơ hình Deep and Crosss def create_deep_and_cross_model(): inputs = create_model_inputs() x0 = encode_inputs(inputs, use_embedding=True) cross = x0 for _ in hidden_units: units = cross.shape[-1] x = layers.Dense(units)(cross) cross = x0 * x + cross cross = layers.BatchNormalization()(cross) deep = x0 for units in hidden_units: deep = layers.Dense(units)(deep) deep = layers.BatchNormalization()(deep) deep = layers.ReLU()(deep) deep = layers.Dropout(dropout_rate)(deep) merged = layers.concatenate([cross, deep]) outputs = layers.Dense(units=NUM_CLASSES, activation="softmax")(merged) model = keras.Model(inputs=inputs, outputs=outputs) return model Hình 4.14: Code Python Xây dựng mơ hình Deep & Cross Hình 4.15: Cấu trúc mơ hình Deep & Cross 51 4.3.3 Kết Sau huấn luyện với batch_size = 256 số epochs = 50, kết đạt với sau: loss: 0.3246 - accuracy: 0.8839 Tức độ xác 88.39%, tỷ lệ mát 32.46% 4.4 Kết tổng hợp Với nhóm mơ hình kết quả, ta thu sau: Bảng 4.1: Tổng hợp đánh giá mơ hình với liệu Mơ hình Sequential GR & VSN Deep, Wide & Cross Tỷ lệ mát (Loss) 31.99% 32.07% 32.46% Độ xác (Accuracy) 88.53% 88.88% 88.39% Kết mơ hình học sâu 100.00% 88.88% 88.53% 90.00% 88.39% 80.00% 70.00% 60.00% 50.00% 40.00% 31.99% 32.07% 32.46% 30.00% 20.00% 10.00% 0.00% Sequential GR & VSN Tỷ lệ mát (Loss) Deep, Wide & Cross Độ xác (Accuracy) Hình 4.16: Biểu đồ so sánh mơ hình học sâu thử nghiệm Dưới nhận xét phân tích kết quả: - Mơ hình Sequential đạt tỷ lệ mát (Loss) 31.99% độ xác (Accuracy) 88.54% Đây mơ hình có kết tỷ lệ mát tốt mơ hình 52 đề xuất Mặc dù kết không tốt mơ hình GR & VSN, có khả dự đốn hiệu suất ổn định - Mơ hình GR & VSN đạt tỷ lệ mát (Loss) 32.07% độ xác (Accuracy) 88.88% Nó cho thấy khả dự đoán tốt hiệu suất cao so với mơ hình khác - Mơ hình Wide &Deep networks, Deep & Cross networks đạt tỷ lệ mát (Loss) 32.46% độ xác (Accuracy) 88.39% Đây coi mơ hình tham chiếu để so sánh với mơ hình khác Kết tương đối gần giống với mơ hình khác Tổng quan, mơ hình cho kết tương đối gần với mức độ xác xấp xỉ 88.6% tỷ lệ mát khoảng 32.1% Tuy nhiên, mơ hình GR & VSN đề xuất đạt hiệu suất tốt số mơ hình thử nghiệm Dựa kết trên, ta kết luận mơ hình GR & VSN cho kết tốt với tỷ lệ mát tương đối tốt độ xác cao phù hợp Mơ hình Sequential, Deep & Wide Deep & Cross cho kết gần tương đương với nhau, với tỷ lệ mát độ xác khơng có khác biệt lớn 4.5 Xây dựng ứng dụng dự báo khách hàng rời mạng cáp quang 4.5.1 Thiết kế ứng dụng TRANG CHỦ PHÂN TÍCH DỮ LIỆU XÁC ĐỊNH ĐẶC TRƯNG tTRƯNG XÂY DỰNG MƠ HÌNH Hình 4.17: Sơ đồ thiết kế ứng dụng web KẾT QUẢ DỰ ĐOÁN 53 Ứng dụng web xây dựng thư viện ReactJS để tạo giao diện người dùng tương tác Đồng thời, sử dụng Flask, framework Python, để xây dựng API phía server Việc sử dụng ngơn ngữ Python cho server giúp cho việc truy xuất mơ hình cách thuận tiện so với việc sử dụng ngôn ngữ khác Ứng dụng cung cấp chức sau: - Chức dự đoán thuê bao: Người dùng yêu cầu nhập thông tin cần thiết thuê bao vào chức Kết dự đoán hiển thị cho người dùng biết liệu khách hàng có khả rời mạng hay hoạt động - Chức dự đoán danh sách thuê bao (File Excel): Người dùng chọn file liệu thuê bao mà họ chuẩn bị từ máy tính họ để tải lên hệ thống (Có thể tải file mẫu từ ứng dụng) Sau kích chọn "Dự đốn", liệu từ file gửi đến phía server kết dự đoán trả dạng bảng liệu Bảng hiển thị kết dự đốn giúp người dùng nhận biết thơng tin thuê bao có khả rời mạng thuê bao hoạt động Ngoài người dùng tải kết dự đốn hệ thống máy tính 4.5.2 Giao diện ứng dụng Một số hình ảnh kết xây dựng ứng dụng dự đoán khả rời mạng khách hàng phương pháp học sâu: Hình 4.18: Giao diện trang nhập liệu dự đốn th bao 54 Hình 4.19: Giao diện trang nhập liệu file excel Hình 4.20: Giao diện trang kết dự đoán từ file nhiều khách hàng 4.5.3 Kết áp dụng ứng dụng Dựa liệu thu thập được, lấy 100 mẫu khách hàng sử dụng ứng dụng để đưa kết dự báo sau kiểm tra lại thực tế kết sau: - Trường hợp dự báo đúng: ứng dụng dự báo khách hàng rời mạng thực tế khách hàng rời mạng chiếm 54% - Trường hợp dự báo sai: ứng dụng dự báo khách hàng không rời mạng thực tế khách hàng rời mạng chiếm 22% - Trường hợp dự báo gần đúng: ứng dụng khách hàng rời mạng khách hàng sử dụng chiếm 24% Sau đó, kiểm tra thực tế khách hàng khách hàng có vấn đề khơng hài lòng dịch vụ mạng 55 KẾT LUẬN VÀ KIẾN NGHỊ Kết nghiên cứu đề án Kết luận mơ hình học sâu thực bao gồm: Mơ hình Sequential Keras: Đây mơ hình học sâu truyền thẳng (feedforward) đơn giản phổ biến thư viện Keras Mơ hình Sequential cho phép bạn xây dựng chuỗi lớp nơ-ron, lớp liên kết với lớp trước sau Điều phù hợp cho tốn phân loại dự đốn khơng có cấu trúc phức tạp, điều chỉnh lớp siêu tham số để tối ưu mơ hình theo u cầu cụ thể tốn Mơ hình Gated Residual Variable Selection Networks: Đây hai mơ hình học sâu khác với mục tiêu tối ưu hóa hiệu suất khả học mạng Gated Residual sử dụng khối residual cổng gating để tăng cường khả học mạng Variable Selection Networks sử dụng để lựa chọn biến số quan trọng từ liệu đầu vào Cả hai mơ hình áp dụng lĩnh vực khác máy học điều chỉnh để phù hợp với yêu cầu cụ thể tốn Mơ hình Wide & Deep networks Deep & Cross networks: Đây hai mơ hình kết hợp mạng nơng (shallow) mạng sâu (deep) để tận dụng tính chất rộng rãi tính chất phức tạp liệu Mơ hình Wide & Deep networks kết hợp mạng nông với mạng sâu để cung cấp khả học đa dạng mơ hình hóa mối quan hệ phức tạp Mơ hình Deep & Cross networks sử dụng mạng chéo (cross-network) để mơ hình hóa tương tác biến số đầu vào Cả hai mơ hình phù hợp cho tốn có liệu phức tạp quan hệ khơng tuyến tính Để chọn mơ hình tối ưu nhất, cần xem xét yếu tố sau: - Loại liệu tốn: Một số mơ hình có ưu điểm việc xử lý liệu cụ thể phân loại, mơ hình khác có khả mơ hình hóa mối quan hệ phức tạp Tùy thuộc vào toán cụ thể cần giải mà đề án lựa chọn mơ hình phù hợp - Khả học: Mơ hình Gated Residual Variable Selection Networks thiết kế để cải thiện khả học mạng Nếu liệu bạn đòi hỏi 56 khả học mạnh mẽ tập trung vào việc lựa chọn biến số quan trọng, xem xét sử dụng mơ hình - Phức tạp đa dạng liệu: Nếu liệu bạn có tính chất rộng rãi phức tạp, mơ hình Wide & Deep networks Deep & Cross networks phù hợp việc mơ hình hóa mối quan hệ tương tác biến số Dựa kết thực nghiệm, đề án có số mơ hình học sâu đề xuất đánh giá hiệu suất chúng việc dự đoán khách hàng rời mạng cáp quang Trên sở ta thấy mơ hình Gated Residual Variable Selection Networks mơ hình phù hợp toán mà Đề án nghiên cứu Hạn chế đề án Dựa kết thực nghiệm liệu sử dụng, nêu số điểm hạn chế nhận xét liệu kết sau: - Kích thước đa dạng liệu: Để đảm bảo hiệu suất độ xác mơ hình, định cuối phụ thuộc vào kích thước đa dạng liệu Nếu liệu không đủ lớn không đại diện cho trường hợp đa dạng, khả dự đốn độ xác mơ hình bị hạn chế - Các đặc trưng thông tin liệu: Để đạt kết tốt, mơ hình cần sử dụng đặc trưng thông tin quan trọng Nếu liệu không cung cấp đầy đủ thông tin khơng có đặc trưng quan trọng, mơ hình khơng thể khai thác tối đa tiềm - Phân phối cân lớp liệu: Nếu liệu không phân phối cân lớp (khách hàng rời mạng cáp quang không rời mạng), việc đánh giá độ xác tỷ lệ mát bị ảnh hưởng Mơ hình có xu hướng dự đoán tốt cho lớp liệu phổ biến hơn, gây cân đối đánh giá hiệu suất - Độ tin cậy kết quả: Kết đưa từ mơ hình có ý nghĩa phạm vi liệu cài đặt thực nghiệm cụ thể Chúng phản ánh hiệu 57 suất mơ hình ngữ cảnh nghiên cứu cụ thể khơng tổng qt hố cho tình khác - Cần tiếp tục nghiên cứu kiểm tra: Mặc dù kết đạt ấn tượng, việc tiếp tục nghiên cứu kiểm tra liệu khác môi trường thực tế khác cần thực để xác định tính khả quan ổn định mơ hình - Phạm vi ứng dụng toán: phạm vi ứng dụng toán áp dụng cho khách hàng sử dụng mạng cáp quang nhiều lĩnh vực cần áp dụng dự báo khả khách hàng có tiếp tục sử dụng dịch vụ hay không như: khách hàng sử dụng dịch vụ điện thoại di động, dịch vụ truyền hình… Vấn đề kiến nghị hướng nghiên cứu: Với kết thực nghiệm liệu, nghiên cứu có đề xuất sau: - Tiếp tục tăng cường liệu: Một cách để cải thiện hiệu suất mơ hình tăng cường liệu Bạn xem xét thêm phương pháp tạo thêm liệu nhân tạo, chồng chéo thay đổi liệu có để tạo liệu đa dạng - Tìm hiểu đặc trưng quan trọng: Thực phân tích đặc trưng để hiểu rõ đặc trưng quan trọng cách chúng ảnh hưởng đến việc dự đoán khách hàng rời mạng cáp quang Điều giúp cải thiện mơ hình cách chọn lọc tạo đặc trưng - Tinh chỉnh tham số: tiếp tục tinh chỉnh siêu tham số mơ hình để tìm cấu hình tốt Thử nghiệm so sánh hiệu suất mơ hình với giá trị khác siêu tham số nhằm đạt kết tốt - Mở rộng phạm vi đánh giá: Đánh giá mơ hình tập liệu khác nhau, bao gồm tập liệu kiểm tra không sử dụng trình huấn luyện Điều giúp xác định khả tổng qt hố mơ hình đảm bảo áp dụng vào tình thực tế 58 - So sánh với phương pháp khác: Nghiên cứu so sánh mô hình bạn với phương pháp dự đốn khách hàng rời mạng cáp quang khác, bao gồm phương pháp học máy truyền thống 59 DANH MỤC TÀI LIỆU THAM KHẢO [1] “Internet Việt Nam 2023: Số liệu xu hướng phát triển” Vnetwork [Online] Available: https://www.vnetwork.vn/vi/news/internet-viet-nam-2023-solieu-moi-nhat-va-xu-huong-phat-trien [Accessed: 16-Mar-2023] [2] Báo cáo chiến lược phát triển khách hàng VNPT (2020) [3] “Giá cước Internet Việt Nam thuộc nhóm rẻ giới” Báo điện tử Vietnamnert Truy cập 16 tháng 12 năm 2021 [Online] Available: https://vietnamnet.vn/gia-cuoc-internet-viet-nam-thuoc-nhom-re-nhat-the-gioi801585.html [Accessed: 16-Dec-2021] [4] “VNPT 25 năm kết nối toàn cầu” Báo điện tử Tuổi Trẻ [Online] Available: https://tuoitre.vn/vnpt-cung-25-nam-ket-noi-toan-cau- 2022111911275792.htm [Accessed: 19-Nov-2022] [5] “Đối thủ Internet cáp quang” baodautu [Online] Available: https://baodautu.vn/doi-thu-moi-cua-internet-cap-quang-d137132.html [Accessed: 29-Mar-2023] [6] Emmert-Streib, F., Yang, Z., Feng, H., Tripathi, S., & Dehmer, M (2020) An introductory review of deep learning for prediction models with big data Frontiers in Artificial [7] E Hoseinzade and S Haratizadeh Cnnpred: Cnn-based stock market prediction using a diverse set of variables Expert Systems with Applications, 129:273–285, 03 2019 [8] Nguyễn Trọng Thắng, Vịng Thình Nam (2021) “Nghiên cứu nhân tố ảnh hưởng đến hài lòng khách hàng chất lượng dịch vụ internet cáp quang FiberVNN VNPT thành phố Phan Rang - Tháp Chàm” Tạp chí Cơng Thương, [Online] Available: https://tapchicongthuong.vn/bai-viet/nghien-cuu-cac-nhan-toanh-huong-den-su-hai-long-cua-khach-hang-ve-chat-luong-dich-vu-internet-capquang-fibervnn-tai-vnpt-thanh-pho-phan-rang-thap-cham-78799.htm.[Accessed: 28-Feb-2021] 60 [9] Dương Thị Hịa Bình, Ngụy Thế Dương, “Xây dựng mơ hình học sâu dự đốn xu hướng giá chứng khoán”, Trường ĐH Sư Phạm TP.HCM, 2022 [10] Võ Đức Vinh, Trần Văn Lăng “Dự báo khách hàng thuê bao rời mạng Fiber”, Tạp chí khoa học, Trường ĐH Tin Học Ngoại Ngữ TP.HCM, 2022 [11] Lewlisa Saha, Hrudaya Kumar Tripathy, Tarek Gaber 2, Hatem El-Gohary and El-Sayed M El-kenawy, “Deep Churn Prediction Method for Telecommunication Industry” Sustainability 2023, 15(5), 4543 [12] Liu, L., & Chen, R.-C (2017) A novel passenger flow prediction model using deep learning methods Transportation Research Part C, Emerging Technologies, 84, 74–91 [13] E Diaz-Aviles et al, “Towards real-time customer experience prediction for telecommunication operators,” 2015 [14] M K Banjanin, M Stojčić, D Drajić, Z Ćurguz, Z Milanović, and A Stjepanović, “Adaptive modeling of prediction of telecommunications network throughput performances in the domain of Motorway coverage,”, Appl Sci (Basel), vol 11, no 8, p 3559, 2021 [15] A R Rajput, “Introduction to ANN,” GeeksforGeeks, 17-Jul-2018 [Online] Available: https://www.geeksforgeeks.org/introduction-to-ann-set-4-network- architectures [Accessed: 24-May-2023] [16] “About keras,” Keras.io [Online] Available: https://keras.io/about/ [Accessed: 24-May-2023] [17] HARSHIT KAPOOR, “Wide vs Deep vs Wide & Deep Neural Networks” [online] Available: https://www.kaggle.com/code/hkapoor/wide-vs-deep-vs-widedeep-neural-networks 61 BẢN CAM ĐOAN Tôi cam đoan thực việc kiểm tra mức độ tương đồng nội dung đề án qua phần mềm DoIT cách trung thực đạt kết mức độ tương đồng 12% toàn nội dung đề án Bản đề án kiểm tra qua phần mềm cứng đề án nộp để bảo vệ trước hội đồng Nếu sai xin chịu hình thức kỷ luật theo qui định hành Học viện TP HCM, ngày 12 tháng 10 năm 2023 Học viên thực đề án Nguyễn Đức Trung