Đánh giá Chất lượng Trải nghiệm Dịch vụ Mạng Viễn thông Bằng Mô hình Dòng bit và Học máy

MỤC LỤC

MỞ ẦU

  • Chất lượng dịch vụ QoS và chất lượng trải nghiệm QoE, mối quan hệ giữa QoS, QoE
    • QoS, QoE ối với mạng 5G

      QoS về bản chất là một khái niệm kỹ thuật và nó cho phép các nhà khai thác mạng tách lưu lượng thành các luồng dịch vụ dựa trên các thuộc tính, chẳng hạn như các loại lưu lượng (thoại, video hoặc iều khiển) hoặc các yêu cầu ứng dụng (thông lượng, ộ trễ và / hoặc jitter), sau ó vận chuyển từng luồng dịch vụ phù hợp, dẫn ến nhu cầu tối ưu hóa và bảo trì mạng ngày càng tăng. • Mạng 5G ược khuyến nghị cung cấp cảnh báo sự kiện khi có lỗi mà mức QoS ã thương lượng không ược áp ứng hoặc ảm bảo và cung cấp thông báo về các sự kiện QoS cho người dùng ược xác thực theo các kịch bản xác ịnh trước (ví dụ: mỗi khi băng thông của các tham số QoS giảm xuống dưới ngưỡng xác ịnh, người dùng ược ủy quyền sẽ ược thông báo và sự kiện ược ghi log lại).

      Hình 1: QoE trong hệ thống sinh thái cho nhà cung cấp ứng dụng/dịch vụ [1]
      Hình 1: QoE trong hệ thống sinh thái cho nhà cung cấp ứng dụng/dịch vụ [1]

      BÀI TOÁN ÁNH GIÁ CHẤT

      • Phạm vi ánh giá, lĩnh vực áp dụng của mô hình dòng bit

        Mô hình có một phần học máy là Rừng ngẫu nhiên (Random Forest) và dựa trên 14 ặc trưng [21]. Các ặc trưng liên quan ến thời lượng dừng hình, tần suất dừng hình, O.21 và O.22 và ược liệt kê dưới ây. 1) Tổng số sự kiện dừng hình xảy ra trong phiên truyền thông, không bao gồm sự kiện dừng hình lúc khởi tạo. 2) Tổng thời lượng của tất cả các sự kiện dừng hình. 3) Tần suất của các sự kiện dừng hình: số lượng các sự kiện dừng hình (không bao gồm số lần dừng hình khởi tại) chia cho ộ dài của phương tiện truyền thông. 4) Tÿ lệ thời lượng dừng hình: Tÿ lệ giữa thời lượng dừng hình stallDur trên tổng ộ dài phương tiện truyền. 5) Thời gian trôi qua từ khi bắt ầu sự kiện dừng hình cuối cùng ến khi kết thúc video. Sự kiện dừng hình khi khởi tạo bị loại trừ khỏi tính toán của ặc trưng này. Giá trị của ặc trưng này ược ặt thành T nếu không có hiện tượng dừng hình nào trong phiên. Tức là sẽ chia iểm thành 3 phần và tính trung bình của từng phần. 12) Tính trung bình của tất cả các iểm O.21 tương ứng với nửa ầu của phiên truyền. 13) Tính trung bình của tất cả các iểm O.21 tương ứng với nửa sau của phiên truyền. Các thông số ược kiểm tra là: tốc ộ bit video mục tiêu, tốc ộ khung hình video, thời lượng phân oạn, ộ phân giải mã hóa video, mã hóa video và cấu hình, số khung hình video, thời lượng khung hình video, dấu thời gian trình diễn khung hình, dấu thời gian giải mã khung hình, kích thước khung hình video, loại của mỗi hình ảnh và dòng bit của video. • Pq: Mô-un tích hợp chất lượng (ITU-T P.1203.3) [21]: Mô-un này dự oán tác ộng của các biến ổi chất lượng nghe nhìn và các sự kiện dừng hình ối với chất lượng mà người dùng cuối trải nghiệm trong việc phát trực tuyến di ộng a phương tiện và trong các ứng dụng mạng cố ịnh bằng cách sử dụn phát trực tuyến tốc ộ bit thích ứng.

        Nó ược tính toán dựa trên số lượng sự kiện dừng hình (numStalls), tổng trọng số của các sự kiện dừng hình (totalStallLen) và trung bình của khoảng thời gian giữa các sự kiện dừng hình (avgStallInterval) ược mô tả trong ITU-T P.1203.3 như Hình 2.6. Mô hình ược mô tả ở ây có thể áp dụng cho video tải xuống liên tục và phát trực tuyến thích ứng, trong ó chất lượng mà người dùng cuối trải nghiệm bị ảnh hưởng bởi sự suy giảm mã hóa âm thanh và/hoặc video do mã hóa, thay ổi tÿ lệ không gian hoặc các biến ổi về tốc ộ khung hình video, cũng như sự suy giảm truyền phát tín hiệu do sự trễ khi tải dữ liệu khởi tạo, bị dừng hình (cả hai ều gây ra bởi sự tải lại dữ liệu -rebuffering ở khách hàng) và sự thích ứng của phương tiện truyền thông. Các hiệu ứng do mức âm thanh, nhiễu tín hiệu và các hiệu ứng từ nguồn phát như rung video hoặc một số ặc tính màu nhất ịnh (các yếu tố âm thanh hoặc video tương tự khác) và các suy giảm khác liên quan ến tải dữ liệu không ược phản ánh trong iểm ánh giá ược tính bằng mô hình này.

        • o lường thông tin cảm nhận thời gian gian TI dựa trên tính năng chênh lệch chuyển ộng, Mn (i,j), là sự khác biệt giữa các giá trị pixel (của mặt phẳng ộ chói) tại cùng một vị trí trong không gian nhưng tại các thời iểm hoặc khung liên tiếp.

        Hình 2.2: Phương pháp o ạc cho các tính huống khác nhau [8].
        Hình 2.2: Phương pháp o ạc cho các tính huống khác nhau [8].

        THỰC NGHIỆM VÀ ÁNH GIÁ

        Bài toán thực nghiệm

        Trong quá trình ánh giá mô hình, sử dụng phân bổ phần dư sai lệch giữa giá trị dự oán và giá trị thực tế ể nhận dạng sai số lớn nhất có thể gặp phải khi ánh giá mô hình. 3 Sai số tuyệt ối trung bình MAE ánh giá ộ lớn trung bình của các lỗi trong một tập hợp các dự báo mà không cần xem xét dấu hiệu của chúng. Thuật toán ào tạo tìm hiểu một mô hình dựa trên tập ào tạo và sau ó ánh giá mức ộ tốt của nó dựa trên Tập kiểm thử.

        • ào tạo nhiều mô hình khác nhau trên bộ ào tạo và sau ó tìm ra mô hình tốt nhất bằng cách xem hiệu suất trên tập xác thực. Sau khi chọn ra mô hình tốt nhất, chúng ta sẽ xem nó hoạt ộng tốt như thế nào bằng cách kiểm tra hiệu suất của nó trên tập kiểm thử.

        Phần mềm và dữ liệu thực nghiệm

          Cơ sở dữ liệu SQoE-III, cho ến nay là cơ sở dữ liệu lớn nhất và thực tế nhất của loại hình phát video trực tuyến, bao gồm tổng cộng 450 video ược tạo từ nội dung nguồn và các mẫu biến dạng a dạng, với sáu thuật toán thích ứng trong 13 iều kiện mạng ại diện. Tất cả các video phát trực tuyến ược ánh giá bởi 34 ối tượng và ánh giá toàn diện ược thực hiện trên hiệu suất của 15 mô hình QoE khách quan từ bốn loại liên quan ến hiệu quả của chúng trong việc dự oán QoE chủ quan. • Cơ sở dữ liệu ánh giá chất lượng video trên thiết bị di ộng LIVE (LIVEMVQA) bao gồm 10 video tham chiếu và 200 video bị méo với năm kiểu biến dạng: nén H.264, dừng hình, rớt khung hình, thích ứng tốc ộ và mất gói kênh không dây.

          Dựa theo log ghi ược, các phiên ược tái tạo lại bằng cách kết hợp <biểu diễn tốc ộ bit truyền trực tuyến= với việc bổ sung các khung trống vào video thử nghiệm ể mô phỏng việc chèn bộ ệm khi khởi tạo và chèn các khung giống hệt nhau tại thời iểm chèn bộ ệm ể mụ phỏng sự kiện dừng hỡnh. Mặc dù xu hướng chung của MOS liên quan ến thời gian bộ ệm khi khởi tạo, phần trăm tái tạo bộ ệm, số lần tái tạo bộ ệm, số lần chuyển ổi tốc ộ bit và cường ộ chuyển ổi tốc ộ bit trung bình, không có cái nào ủ ể dự oán chính xác QoE.

          Hình 3.2: Hình ảnh chụp màn hình nội dung video [28]
          Hình 3.2: Hình ảnh chụp màn hình nội dung video [28]

          Môi trường thực nghiệm

          Duanmu và cộng sự ó thờm vào các ặc trưng mới ể tăng hiệu suất của mô hình. Cấu hình biến ổi chất lượng của các video phát trực tuyến ược minh họa trong Hình 3.4.

          Kịch bản thực nghiệm

            Tiếp theo bỏ i các ặc trưng có ộ tương quan thấp với MOS như Tÿ lệ trên lớp chất lượng video cao nhất - Ratio on minimum sequense quality layer, vì có ặc trưng mới với mức ộ tương quan cao hơn nhiều. Mô hình hồi quy tăng cường (Gradient boosting Regression) ược chọn làm mô hình chính cho nghiên cứu QoE, như một công cụ mạnh hơn Rừng ngẫu nhiên(Random Forest), hiệu suất các mô hình như trong Bảng 3.5. Mô hình hồi quy tăng cường là một tập hợp các công cụ ước lượng ơn giản (ối với cây trường hợp), các bộ ước lượng ơn giản này ược ào tạo dựa trên phần dư của thuật toán của cây trước ó.

            Ban ầu, chúng ta cần xác ịnh hiệu suất cơ bản của từng mô hình và sau ó chọn mô hình hoạt ộng tốt nhất ể tối ưu hóa hơn nữa bằng cách sử dụng iều chònh siờu tham số. Một loạt lựa chọn các siêu tham số tối ưu ã ược thực hiện, lúc ầu sử dụng tìm kiếm ngẫu nhiên trên lưới bằng phương pháp RandomizedSearchCV, bao gồm xác thực chéo ShuffleSplit bằng cách sử dụng năm phân vùng ngẫu nhiên, sau ó các tham số ược tinh chònh bằng cỏch tỡm kiếm xoay vũng bởi GridSearchCV, cũng với xỏc thực chộo (Hỡnh 3.18).

            Hình 3.6: Phân bổ sự kiện dừng hình
            Hình 3.6: Phân bổ sự kiện dừng hình

            Kết quả thực nghiệm

            Bộ siêu tham số hyperparameter_grid ược tìm kiếm bao gồm: loss, n_estimators, max_depth, min_samples_leaf, min_samples_split, max_features. Dự oán về mô tả dòng màu xanh lam trên tập kiểm thử và ường màu xanh lục hiển thị kết quả trên tập hợp xác thực.

            Hình 3.20: Phân phối phần dư của ánh giá Gradient boost Regression QoE
            Hình 3.20: Phân phối phần dư của ánh giá Gradient boost Regression QoE

            Tối ưu khối lượng xử lý khi ào tạo

            Các biểu ồ trong Hình 3.22 cũng cho thấy hiệu suất của mô hình tốt hơn trong khi thời gian thực hiện nhanh hơn.

            Hình 3.22: Kết quả cải tiến mô hình.
            Hình 3.22: Kết quả cải tiến mô hình.