Đánh giá chất lượng dịch vụ truyền video trên mạng không dây di động

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Bùi Hoài Nam ĐÁNH GIÁ CHẤT LƯỢNG DỊCH VỤ TRUYỀN VIDEO TRÊN MẠNG KHÔNG DÂY DI ĐỘNG LUẬN VĂN THẠC SĨ NGÀNH: CÔNG NGHỆ THÔNG TIN HÀ NỘI- 2018     BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Bùi Hoài Nam ĐÁNH GIÁ CHẤT LƯỢNG DỊCH VỤ TRUYỀN VIDEO TRÊN MẠNG KHÔNG DÂY DI ĐỘNG Chuyên ngành : Công Nghệ Thông Tin Mã số đề tài : CNTT15B-30 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS NGÔ HỒNG SƠN HÀ NỘI- 2018     LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS Ngô Hồng Sơn, Viện Công nghệ thông tin Truyền thông - Trường Đại học Bách Khoa Hà Nội, người thầy dành nhiều thời gian tận tình bảo, hướng dẫn, giúp đỡ tơi suốt q trình tìm hiểu hồn thành đề tài Thầy người định hướng đưa nhiều góp ý q báu q trình tơi thực luận văn Tôi xin chân thành cảm ơn thầy, cô Viện Công nghệ thông tin Truyền thông - Trường Đại học Bách Khoa Hà Nội cung cấp cho kiến thức tạo cho điều kiện thuận lợi suốt trình tơi học tập trường Tơi xin cảm ơn gia đình, người thân, bạn bè ln động viên tạo điều kiện tốt cho Tôi xin chân thành cảm ơn!   LỜI CAM ĐOAN Tơi Bùi Hồi Nam cam kết luận văn cơng trình nghiên cứu thân tơi hướng dẫn PGS.TS Ngô Hồng Sơn Các kết nêu luận văn trung thực, chép tồn văn cơng trình khác Hà Nội, ngày 28 tháng 12 năm 2018 Học viên Bùi Hoài Nam   MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ĐẶT VẤN ĐỀ CHƯƠNG : CƠ SỞ LÝ THUYẾT 11 1.1 TỔNG QUAN VỀ 4G LTE 11 1.1.1 Giới thiệu 4G LTE 11 1.1.2 Các giai đoạn phát triển công nghệ viễn thông di động .11 1.1.3 Tại phải cần hệ mạng .12 1.1.4 Các đặc tính LTE 12 1.2 CÁC PHƯƠNG PHÁP TRUYỀN VIDEO 13 1.3 CÁC PHƯƠNG PHÁP ĐÁNH GIÁ CHẤT LƯỢNG DỊCH VỤ 14 1.3.1 Phương pháp chủ quan 14 1.3.2 Phương pháp khách quan 14 1.4 YẾU TỐ ẢNH HƯỞNG ĐẾN CHẤT LƯỢNG DỊCH VỤ TRUYỀN VIDEO TRÊN MẠNG 4G 14 1.4.1 Chất lượng dịch vụ - QoS 14 1.4.2 Chất lượng trải nghiệm - QoE 16 1.4.3 Hệ số tốc độ không đổi - CRF 17 1.4.4 Tỉ số tín hiệu cực đại nhiễu - PSNR 17 1.4.5 Cấu trúc tương tự - SSIM 19 1.5 TÓM TẮT CHƯƠNG .21 CHƯƠNG 2: ĐÁNH GIÁ CHẤT LƯỢNG DỰA TRÊN PHƯƠNG PHÁP KHÁCH QUAN SỬ DỤNG HỆ SỐ KHÔNG ĐỔI CRF 22 2.1 MỘT SỐ PHƯƠNG PHÁP ĐÁNH GIÁ CƠ BẢN 22 2.1.1 Phương pháp chủ quan 22 2.1.2 Phương pháp đánh giá khách quan 23 2.1.2.1 Mơ hình khơng tham chiếu (non_zero_ reference) 23 2.1.2.2 Mơ hình tham chiếu đầy đủ (full_reference) 23 2.1.2.3 Mơ hình tham chiếu rút gọn (reduce_reference) .24   2.2 đủ Tác động hệ số tốc độ không đổi CRF vào mơ hình tham chiếu đầy 25 2.2.1 Lựa chọn giải pháp 25 2.2.2 Kịch thử nghiệm đánh giá chất lượng video 26 2.3 Tóm tắt chương 27 CHƯƠNG : MÔ PHỎNG, ĐÁNH GIÁ THỬ NGHIỆM 28 3.1 GIỚI THIỆU CHƯƠNG 28 3.2 MÔI TRƯỜNG MÔ PHỎNG 28 3.2.1 Công cụ Lena – LTE/EPC 28 3.2.2 Bộ công cụ Evalvid 29 3.3 Quá trình mơ truyền video qua mạng khơng dây di động (LTE) với yếu tố truyền khác 31 3.3.1 Cài đặt thông số 31 3.3.2 Q trình mơ 32 3.4 KẾT QUẢ THỬ NGHIỆM, ĐÁNH GIÁ 36 3.4.1 Kết đo PSNR SSIM dựa vào hệ số tỷ lệ mã hóa CRF 36 3.4.2 Thông số video đầu sau gán hệ số CRF 40 3.4.3 Phân tích gói tin chuyển video qua mạng LTE tùy thuộc vào tốc độ mã hóa 42 3.4.4 Phân tích, so sánh với việc truyền video gốc 43 3.4.5 MOS Đánh giá chất lượng video thu so với video gốc qua thang điểm 44 3.5 Tóm tắt chương 45 KẾT LUẬN 46 TÀI LIỆU THAM KHẢO 48   DANH MỤC CÁC CHỮ VIẾT TẮT CRF Constant rate factor Hệ số tốc độ khơng đổi PSRN Peak signal-to-noise ratio Tỉ số tín hiệu cực đại nhiễu SSIM Structural Similarity Cấu trúc tương tự MOS Mean Opinion Score Điểm ý kiến trung bình GSM UMTS Global System for Mobile Hệ thống thơng tin di động toàn Communications cầu Universal Mobile Hệ thống viễn thơng di động Telecommunications Systems tồn cầu LTE Long Term Evolution Tiến hóa dài hạn DL Downlink Đường xuống UL Uplink Đường lên QoS Quality of Services Chất lượng dịch vụ QoE Quality of experience Chất lượng trải nghiệm EPC Evolved Packet Core Lõi gói cải tiến EPS Evolved Packet System Hệ thống gói cải tiến E-UTRAN HSDPA MIMO OFDMA Evolved UMTS Terrestrial Radio Mạng truy nhập vô tuyến mặt Access Network High-Speed đất UMTS Downlink Packet Truy nhập gói đường xuống tốc Access độ cao Multiple-input and multiple- output Nhiều đầu vào – nhiều đầu Orthogonal Frequency Division Đa truy cập đa phân chia theo Multiple Access tần số trực giao RRC Radio Resource Control Kiểm sốt tài ngun vơ tuyến SC-FDMA Single Carrier Frequency Đa truy cập đa phân chia theo   Division Multiple Access SCTP Stream Control tần số sóng mang đơn Transmission Giao thức truyền điều khiển Protocol luồng TE Terminal Equipment Thiết bị đầu cuối UE User Equipment Thiết bị người dùng   DANH MỤC CÁC BẢNG Bảng 2.1 thang điểm MOS 23 Bảng 2.2 thiết lập kịch thử nghiệm 27 Bảng 3.1 Cài đặt thông số mạng LTE 32 Bảng 3.2 Các số PSNR SSIM (giá trị trung bình) kịch thử nghiệm 36 Bảng 3.3 Độ lệch chuẩn số PSNR SSIM kịch thử nghiệm 37 Bảng 3.4 Thông số video đầu thu sau gán hệ số CRF 40 Bảng 3.5 Tỷ lệ % gói sau gán hệ số CRF truyền qua LTE 42 Bảng 3.6 So sánh giá trị truyền video gốc video gắn CRF 44 Bảng 3.7 Đánh giá chất lượng video qua thang điểm MOS 45   DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1 Mơ hình khơng tham chiếu 23 Hình 2.2 Mơ hình tham chiếu đầy đủ 24 Hình 2.3 Mơ hình tham chiếu rút gọn 25 Hình 3.1 Sơ đồ khối truyền video mạng khơng dây di động 31 Hình 3.2 Gán hệ số CRF vào video cần truyền 33 Hình 3.3 Q trình truyền gói tin UDP từ Server đến Client 34 Hình 3.4 Kết thúc q trình truyền gói 34 Hình 3.5 Quá trình xây dựng lại video truyền đến người nhận 34 Hình 3.6 Giá trị số PSNR thu 35 Hình 3.7 Giá trị số SSIM thu 35 Hình 3.8 Giá trị trung bình PSNR với hệ số CRF 38 Hình 3.9 Giá trị trung bình SSIM với hệ số CRF 38 Hình 3.10 Độ lệch chuẩn PSNR với hệ số CRF 39 Hình 3.11 Độ lệch chuẩn SSIM với hệ số CRF 39 Hình 3.12 Kích thước video giảm tăng hệ số CRF 41 Hình 3.13 Tốc độ mã hóa giảm tăng hệ số CRF 41 Hình 3.14 Tỷ lệ phần trăm gói bị kịch 43   Tính tốn PSNR từ file video gốc video nhận  psnr 352 288 420 tempete_cif.yuv tempete_out.yuv > psnr.txt Hình 3.6 Giá trị số PSNR thu Tính tốn SSIM từ file video gốc video nhận  psnr 352 288 420 tempete_cif.yuv tempete_out.yuv ssim > ssim.txt Hình 3.7 Giá trị số SSIM thu 35   3.4 KẾT QUẢ THỬ NGHIỆM, ĐÁNH GIÁ 3.4.1 Kết đo PSNR SSIM dựa vào hệ số tỷ lệ mã hóa CRF Sau chạy tất kịch thử nghiệm, ta thu giá trị PSNR SSIM, tính tốn giá trị trung bình giá trị ta thu bảng bên SỐ KỊCH BẢN CHỈ SỐ CRF PSNR SSIM (giá trị trung (giá trị trung bình) bình) 23.86 0.76 30.03 0.86 21.92 0.67 12 29.81 0.84 16 26 0.82 20 27.01 0.77 24 27.02 0.78 28 26.95 0.82 32 26.46 0.83 10 36 24.26 0.76 11 40 22.25 0.65 12 44 20.6 0.51 Bảng 3.2 Các số PSNR SSIM (giá trị trung bình) kịch thử nghiệm 36   Từ giá trị PSNR SSIM thu được, ta tiếp tục tính độ lệch chuẩn dựa giá trị thu SSIM HỆ SỐ PSNR CRF (độ lệch chuẩn) 9.58 0.2 7.43 0.16 7.11 0.19 12 7.67 0.19 16 5.12 0.15 20 7.84 0.22 24 6.57 0.22 28 4.09 0.13 32 0.77 0.01 10 36 0.64 0.02 11 40 0.62 0.03 12 44 0.51 0.03 SỐ KỊCH BẢN (độ lệch chuẩn) Bảng 3.3 Độ lệch chuẩn số PSNR SSIM kịch thử nghiệm Từ giá trị PSNR SSIM thu được, tiến hành tính độ lệch chuẩn giá trị với để lấy kết so sánh 37   35 30 PSNR 25 20 15 10 0 12 16 20 24 28 32 36 40 44 CRF Hình 3.8 Giá trị trung bình PSNR với hệ số CRF Phân tích biểu đồ (hình 3.7) ta dễ dàng nhận thấy gán hệ số CRF cao giá trị PSNR giảm Giá trị thông thường PSNR nén video nằm khoảng từ 30 – 50 dB, giá trị cao chất lượng tốt, với việc truyền tín hiệu video qua mạng khơng dây có tổn thất khoảng 20 – 25 dB chấp nhận Ở hình 3.7 ta thấy gán hệ số CRF từ 36 – 44 giá trị PSNR nằm khoảng 20- 25 dB, lúc kích thước video chất lượng giảm đáng kể 0.9 0.8 SSIM 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 12 16 20 24 28 32 36 40 CRF Hình 3.9 Giá trị trung bình SSIM với hệ số CRF 38   44 Ở biểu đồ giá trị trung bình SSIM (hình 3.8), ta thấy giá trị SSIM giảm tăng hệ số CRF 12 10 PSNR 0 12 16 20 24 28 32 36 40 44 CRF Hình 3.10 Độ lệch chuẩn PSNR với hệ số CRF Tại biểu đồ độ lệch chuẩn PSNR (hình 3.9), sau tăng hệ số CRF lên mức 36-44 độ lệch PSNR dần giảm 0, có nghĩa độ lệch giảm mức video truyền giảm thiểu gói tin bị truyền tốt 0.25 0.2 SSIM 0.15 0.1 0.05 0 12 16 20 24 28 32 36 40 CRF Hình 3.11 Độ lệch chuẩn SSIM với hệ số CRF 39   44 Cũng PSNR số độ lệch chuẩn SSIM giảm tăng hệ số CRF lên đến 36 3.4.2 Thông số video đầu sau gán hệ số CRF Các yếu tố CRF kiểm soát tốc độ mã hóa đầu từ mã hóa, xác định có bit sử dụng khung hình Điều xác định kích thước chất lượng nội dung video Bằng cách tăng hệ số CRF, chất lượng video giảm tốc độ mã hóa bị giảm theo Khi gán hệ số CRF lớn thu video có kích thước nhỏ Điều giúp việc chuyển video với kích thước nhỏ qua mạng LTE trở nên dễ dàng Kích thước SỐ KỊCH CHỈ SỐ BẢN CRF 18.6 MB 16604 kbps 12.1 MB 10846 kbps 9.59 MB 8559 kbps 12 7.37 MB 6582 kbps 16 5.39 MB 4805 kbps 20 3.71 MB 3305 kbps 24 2.41 MB 2150 kbps 28 1.41 MB 1253 kbps 32 729 KB 627 kbps 10 36 318 KB 268 kbps 11 40 144 KB 119 kbps 12 44 84.6 KB 65 kbps video Tốc độ mã hóa truyền Bảng 3.4 Thông số video đầu thu sau gán hệ số CRF 40   20000 Kích thước video theo KB 18000 16000 14000 12000 10000 8000 6000 4000 2000 0 12 16 20 24 28 32 36 40 44 CRF Hình 3.12 Kích thước video giảm tăng hệ số CRF Kích thước video nén nhỏ dần tăng hệ số CRF, điều làm cho dễ dàng truyền video qua mạng LTE với kích thước nhỏ gọn mà giữ chất lượng hình ảnh tối ưu, giảm thiểu gói, chiếm băng thơng, tài ngun 18000 16000 Tốc độ mã hóa 14000 12000 10000 8000 6000 4000 2000 0 12 16 20 24 28 32 36 40 44 CRF Hình 3.13 Tốc độ mã hóa giảm tăng hệ số CRF Tốc độ mã hóa giảm theo hệ số CRF tăng lên, tạo luồng video với số bit nhỏ hơn, mang đầy đủ thông tin 41   3.4.3 Phân tích gói tin chuyển video qua mạng LTE tùy thuộc vào tốc độ mã hóa SỐ KỊCH BẢN Mất gói I Mất gói P cho cho khung hình khung hình Mất gói P cho khung hình (%) Tổng số tổn thất gói khung (%) (%) hình (%) 0.00 6.59 0.00 6.54 0.00 5.43 0.00 5.38 0.00 12.40 0.00 12.31 0.00 8.91 0.00 8.85 0.00 6.59 0.00 6.54 0.00 12.02 0.00 11.92 50.00 12.02 0.00 12.31 0.00 5.81 0.00 5.77 0.00 0.39 0.00 0.38 10 0.00 0.00 0.00 0.00 11 0.00 0.00 0.00 0.00 12 0.00 0.00 0.00 0.00 Bảng 3.5 Tỷ lệ % gói sau gán hệ số CRF truyền qua LTE 42   14 Tỷ lệ phần trăm các gói bị mất 12 10 0 12 16 20 24 28 32 36 40 44 CRF Hình 3.14 Tỷ lệ phần trăm gói bị kịch Phân tích biểu đồ (Hình 3.13), sau tăng hệ số CRF số gói bị khung hình giảm dần Video nén với hệ số CRF lớn có kích thước nhỏ hơn, có lúc có suy giảm chất lượng Chính điều này, video nén với hệ số CRF tạo video với kích thước nhỏ hơn, dẫn đến việc truyền chúng qua mạng LTE dễ dàng không bị xảy ta tình trạng mát 3.4.4 Phân tích, so sánh với việc truyền video gốc Ở so sánh việc truyền video gốc không gán CRF video gán CRF = 36 Tại lại chọn CRF = 36, giá trị tỉ lệ gói tin khơng cịn bị PSNR (giá trị trung bình) SSIM (giá trị trung bình) Video không gán CRF Video gán CRF = 36 30.74 26.26 0.9 0.76 43   PSNR (độ lệch chuẩn) 5.88 0.64 SSIM (độ lệch chuẩn) 0.11 0.02 I = 9.09 / P = 13.87 I = 0.00 / P = 0.00 B = 0.00 / all % 13.46 B = 0.00 / all % = 0.00 0.03 0.01 Kích thước video 2.66 MB 318 KB Tốc độ mã hóa 2478 kbps 268 kbps Packet Lost (I,P,B, % tổng thể khung hình bị mất) end-to-end delay (trung bình) Bảng 3.6 So sánh giá trị truyền video gốc video gắn CRF Ta dễ dàng nhận thấy có khác biệt lớn file video truyền qua mạng LTE Ở video khơng gán CRF tổng số gói tin bị 13.46, video gán CRF = 36 khơng bị gói tin Thời gian delay trung bình video gốc 0.03, cịn video có CRF 0.01 Kích thước video truyền khác Vì vậy, ta dễ dàng suy được, việc gán hệ số CRF vào không làm ảnh hưởng tới chất lượng video, mà cịn giúp việc truyền gói tin qua mạng LTE dễ dàng với việc kích thước nhỏ tốc độ mã hóa nhỏ 3.4.5 Đánh giá chất lượng video thu so với video gốc qua thang điểm MOS Dựa vào bảng 3.3 sau thu thập đủ số liệu video gốc video truyền sau gán hệ số CRF, ta tiến hành đánh giá chất lượng chủ quan video thang điểm MOS để so sánh xem mức độ chấp nhận video mức HỆ SỐ CRF GIÁ TRỊ PSNR MOS Video gốc 30.74 44   23.86 30.03 21.92 12 29.81 16 26.00 20 27.01 24 27.02 28 26.95 32 26.46 36 24.26 40 22.25 44 20.60 Bảng 3.7 Đánh giá chất lượng video qua thang điểm MOS Dựa vào bảng 3.5 bảng 3.8 ta thấy rằng, sau gán hệ số CRF từ khoảng 32 – 44 giá trị PSNR, SSIM, kích thước, chất lượng có thay đổi đáng kể Với hệ số CRF 36 chất lượng video mức thấp, mạng khơng dây di động tạm chất nhận 3.5 Tóm tắt chương Chương mơ trình truyền video sau gán hệ số CRF thông qua việc truyền mạng không dây di động Kết sau thu cho thấy việc sử dụng hệ số khơng đổi CRF mang đến giá trị Khi gán hệ số CRF tốc độ mã hóa giảm, kích thước video giảm theo dẫn đến việc truyền qua mạng không dây di động dễ dàng hơn, đỡ tốn tài nguyên 45   KẾT LUẬN Trong luận văn thực công việc sau Về sở lý thuyết:  Tìm hiểu, tổng hợp vấn đề mạng di động 4G-LTE, yếu tố ảnh hưởng đến chất lượng truyền video  Tổng hợp phương pháp đánh giá chất lượng dịch vụ truyền video mạng không dây di động Về thử nghiệm, đánh giá :  Mô trình truyền video sau gán hệ số tốc độ không đổi  Đánh giá số : gói, hình, chất lượng hình ảnh video sau nhận  Đánh giá yếu tố gây nên suy giảm chất lượng truyền video mạng không dây di động Thông qua việc đánh giá đo lường chất lượng PSNR SSIM với việc gán hệ số CRF để truyền video thông qua mạng LTE đánh giá với tốc độ mã hóa cao dẫn đến kích thước video lớn hơn, dẫn đến việc phải truyền tải nhiều gói tin qua mạng LTE, dẫn đến gói nhiều Và thơng qua bảng đánh giá thang điểm MOS ta đánh giá chất lượng phù hợp với người sử dụng Từ đó, ta điều chỉnh cho phù hợp với người xem mà không làm giảm chất lượng nhiều so với video gốc Qua thử nghiệm trên, với việc sửa đổi hệ số CRF giá trị PSNR SSIM bị ảnh hưởng theo, lựa chọn khơng hệ số CRF dẫn đến việc gói truyền qua mạng LTE Chính truyền video qua mạng LTE cần ý đến tốc độ mã hóa, dung lượng video để tránh tình trạng bị gói tin truyền 46   Vậy để đánh giá chất lượng dịch vụ truyền video qua mạng LTE, cần quan tâm đến giá trị PSNR SSIM, sử dụng thêm bảng đánh giá MOS để tìm giải pháp tối ưu nhất, để truyền video với chất lượng tốt mà khơng bị gói, ảnh hưởng đến chất lượng video ảnh hưởng đến tốc độ truyền gói tin 47   TÀI LIỆU THAM KHẢO Bài báo: [1] 3GPP TR 36.201, “Long Term Evolution LTE Physical layer’ General Description (Release 8)”, 9/2007 [2] G.1010: “End-user multimedia QoS categories”, ITU-T, 11/2011 [3] Rodrigues, D., Silva, D., Cerqueira, E., & Monteiro, E Quality of Service and Quality of Experience in Video Streaming International Workshop on Traffic Management and Traffic Engineering for the Future Internet (FITraMEn 08), Porto, Portugal, 2008 [4] Q HUYNH-THU and M GHANBARI, "Scope of validity of PSNR in image/video quality assessment", 2008 [5] Wang, Zhou; Bovik, A.C.; Sheikh, H.R.; Simoncelli, E.P "Image quality assessment: from error visibility to structural similarity" IEEE Transactions on Image Processing 04/2004 [6] ITU-T Rec P.10 “Vocabulary for performance and quality of service”, 2006 [7] Klaue, B Rathke, and A Wolisz (2003) EvalVid, A Framework for Video Transmission and Quality Evaluation 13th International Conference on Modelling Techniques and Tools for Computer Performance Evaluation, Urbana, IllinoiChis, USA, 09/2003 [8] J Klaue, B Rathke, and A Wolisz, "EvalVid - A Framework for Video Transmission and Quality Evaluation", 13th International Conference on Modelling Techniques and Tools for Computer Performance Evaluation, pp 255-272, Urbana, Illinois, USA, September 2003 [9] Zoran Kotevski ;Pece Mitrevski; ,”Experimental Comparison of PSNR and SSIM Metrics for Video Quality Estimation” Part 2, pp.357-366, 2010 ICT Innovations 2009 doi: 10.1007/978-3-642-10781-8_37 [10] Z Kotevski and P Mitrevski, “Experimental Comparison of PSNR and SSIM Metrics for Video Quality Estimation,” ICT Innovations 2009, pp 357–366, 2010 Website: [11] http://www.3GPP.org 48   [12] https://wikipedia.org [13] https://slhck.info/video/2017/02/24/crf-guide.html [14] http://networks.cttc.es/mobile-networks/software-tools/lena/ [15] http://trac-e.eas.asu.edu/yuv/ [16] https://www.itu.int 49   ... đánh giá chất lượng dịch vụ video truyền mạng khơng dây di động Tìm hiểu tham số ảnh hưởng đến chất lượng video, chất lượng đường truyền Tìm hiểu phương thức đánh giá chất lượng dịch vụ video theo... nghẽn mạng 1.4.1 Chất lượng dịch vụ - QoS QoS sử dụng tiêu chuẩn quốc tế chất lượng dịch vụ viễn thông, bao gồm chất lượng dịch vụ di động có 4G Chất lượng dịch vụ QoS đánh giá khách hàng chất lượng. .. dùng đánh giá mức độ cung cấp dịch vụ nhà mạng tốt hay không tốt Dịch vụ xem video trực tuyến mạng viễn thông di động dịch vụ giá trị gia tăng hoạt động tảng viễn thông di động Chất lượng dịch vụ