Ước lượng băng thông sử dụng mô hình mạng nơ-ron LSTM

Ước lượng băng thông đường truyền là một vấn đề quan trọng trong truyền phát video. Với mục đích nâng cao chất lượng trải nghiệm cho người dùng bằng cách điều chỉnh các thông số kịp thời theo sự biến đổi của băng thông, nhiều nghiên cứu đã xây dựng những mô hình nhằm dự đoán chính xác tốc độ băng thông tại một thời điểm nhất định.

Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Ước lượng băng thơng sử dụng mơ hình mạng nơ-ron LSTM Vũ Hữu Tiến∗ , Nguyễn Trọng Trung Anh† , Phạm Văn Sự‡ , Thippaphone Sisouvong∗ , Lê Hải Châu† ∗ Khoa Đa phương tiện Khoa Viễn thông I ‡ Khoa Kỹ thuật điện tử I Học viện Cơng nghệ Bưu Viễn thơng Email: {tienvh, anhntt, supv}@ptit.edu.vn, thipphaphonesisouvong@gmail.com, chaulh@ptit.edu.vn † Tóm tắt—Ước lượng băng thông đường truyền vấn đề quan trọng truyền phát video Với mục đích nâng cao chất lượng trải nghiệm cho người dùng cách điều chỉnh thông số kịp thời theo biến đổi băng thông, nhiều nghiên cứu xây dựng mơ hình nhằm dự đốn xác tốc độ băng thông thời điểm định Trong báo này, để đạt hiệu cao việc ước lượng băng thông cho truyền phát video, ý tưởng sử dụng mơ hình mạng nơ-ron hồi quy chúng tơi áp dụng cho tốn ước lượng băng thơng Trong giải pháp đề xuất chúng tôi, ưu điểm nhớ dài-ngắn hạn với kết nối phản hồi kết hợp khả tối ưu hóa mạng nơ-ron tận dụng để xây dựng mơ hình với nhiều tập liệu khác Kết nghiên cứu đưa đánh giá tính khả thi phương pháp đề xuất Từ khóa—Ước lượng băng thơng, LSTM, Mạng nơ-ron I GIỚI THIỆU Trong năm trở lại với tốc độ phát triển nhanh chóng thiết bị di động máy tính bảng, điện thoại, máy tính xách tay, nhu cầu sử dụng dịch vụ phát trực tuyến video ngày trở nên đa dạng Dữ liệu cho phát trực tuyến hình ảnh dần trở thành loại liệu sử dụng nhiều lưu lượng mạng Các khảo sát nghiên cứu gần phần lớn lưu lượng liệu dành cho di động đến từ liệu phát trực tuyến video, lưu lượng dự báo tiếp tục tăng nhanh thập kỷ [1] [2] Để cấp chất lượng đảm bảo trải nghiệm người dùng với khối lượng liệu video di dộng lớn vậy, tốc độ bit thích ứng cho truyền liệu băng thơng có sẵn cần thiết [3] [4] Đối với việc truyền phát video cho phép thực liên tục trình chuẩn bị phát nội dung đa phương tiện video, audio, đến người dùng trình truyền phát nội dung đa phương tiện diễn ra, người dùng khơng ISBN 978-604-80-5958-3 54 cần phải tải tồn nội dung muốn xem trước, thay vào đó, họ tải dần phần nén file video chia nhỏ phần để sử dụng Trong trình truyền, thay đổi băng thơng có ảnh hưởng lớn chất lượng trải nghiệm người dùng Để có giải pháp tốt cho việc chuẩn bị phát nội dung video đảm bảo chất lượng trải nghiệm theo yêu cầu người dùng, nhu cầu đoán biết trước thay đổi, biến động băng thơng cần thiết Do đó, với phát triển loại hình dịch vụ hướng video, ước lượng băng thơng tốn quan trọng quan tâm nghiên cứu rộng rãi Để ước lượng băng thông cho truyền phát video, nhiều hướng tiếp cận đề xuất phát triển hiệu để thích ứng với tình trạng đường truyền khơng ổn định, đặc biệt kết nối không dây hay kết nối qua môi trường Internet công cộng [5] [6] [7] [8] [9] [10] Nghiên cứu [5] đưa thuật tốn ước lượng băng thơng dựa phân đoạn cuối Thuật toán ước lượng băng thông dựa theo chế đơn giản dựa mối quan hệ băng thông đo cuối mạng với tốc độ bit thời luồng video sau: 1) băng thông mạng đo cuối cao mức tốc độ bit luồng phân đoạn tải có tốc độ bit tăng lên ngược lại, 2) tốc độ bit tải giảm xuống băng thơng đo nhỏ tốc độ bit luồng Cách tiếp cận cho phép xử lý đơn giản, đạt hiệu cao thích nghi nhanh với biến động băng thơng, nhiên, làm cho tốc độ bit phân đoạn thay đổi nhiều ảnh hưởng đến chất lượng trải nghiệm người dùng Một hướng khác ước lượng dựa kỹ thuật làm mịn băng thông [6] Đặc điểm thuật toán nội suy nhiều lần cố gắng để suy tốc độ bit đạt từ giá trị băng thông đo Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) lần lặp trước Giải pháp giúp hạn chế thay đổi nhanh liên tục tốc độ bit dự đốn gây tượng đóng băng video việc lưu đệm giảm mạnh băng thông xuống thấp đột ngột Bên cạnh đó, cơng nghệ trí tuệ nhân tạo (AI) công nghệ quan tâm phát triển ứng dụng rộng khắp thời gian gần [11] [12] Công nghệ AI áp dụng để giải tốn ước lượng dự đốn băng thơng nhờ ưu điểm vượt trội Trong báo cáo [7] [8] [9], phương pháp tiếp cận dựa thuật tốn học máy ước lượng băng thơng nhằm trì video chất lượng cao không gián đoạn đưa Mơ hình QoE trình bày so sánh dựa chất lượng trải nghiệm người sử dụng Trong báo này, đề xuất sử dụng mơ hình mạng nơ-ron hồi quy nhớ dài-ngắn hạn cho thuật toán học máy ước lượng băng thông Mạng nơ-ron với ưu điểm khả tổng qt hóa tốn song song với cấu trúc mạng ghi nhớ dùng để phân tích khả dự đoán liệu chuỗi thời gian ứng với băng thông hiệu Các thực nghiệm liệu thực tế triển khai để đánh giá hiệu giải pháp đề xuất Ngoài ra, so sánh giải pháp đề xuất với giải pháp ước lượng băng thông hiệu áp dụng phần mềm chạy video tiếng ExoPlayer Google phát triển [13] Kết so sánh cho thấy tính hiệu giải pháp đề xuất II GIẢI PHÁP ƯỚC LƯỢNG BĂNG THƠNG SỬ DỤNG MƠ HÌNH MẠNG NƠ-RON HỒI QUY Chúng ta xem xét hệ thống mạng nơ-ron truyền thẳng minh họa Hình [14] [15] Kiến trúc sử dụng tầng đầu vào, hai tầng ẩn tầng đầu Dữ liệu đầu vào gồm n đặc điểm, mục tiêu đầu tính tốn dựa thơng số nút mạng kiến trúc Trong mạng nơ-ron truyền thẳng, liệu truyền qua tầng thuật toán học dựa tín hiệu truyền ngược Giả sử W định nghĩa ma trận trọng số cấu trúc mạng nơ-ron, wij đại diện cho phần tử nút mạng, giá trị trạng thái t + tối ưu dựa công thức: ∂E(t) (1) ∂wij , η tốc độ E hàm tính mát giá trị đầu dự đoán giá trị đầu chuẩn từ tập liệu sử dụng để huấn luyện Mạng nơ-ron truyền thẳng có khả tổng quát hóa hiệu quả, nhiên xử lý liệu có dạng chuỗi thời gian tuần tự, thơng tin từ trạng thái trước cung cấp khả ghi nhớ cho cấu trúc mạng nơ-ron Mơ hình wij (t + 1) = wij (t) − η ISBN 978-604-80-5958-3 55 Hình Kiến trúc mạng nơ-ron truyền thẳng hai tầng ẩn mạng nơ-ron hồi quy thiết kế nút mạng so sánh với cấu trúc mạng nơ-ron truyền thằng minh họa Hình Xem xét vector trạng thái x(1), x(2), x(3), , x(t) chuỗi liệu đầu vào Mạng nơ-ron hồi quy ghi nhớ cách xử lý vector x(t) dựa tín hiệu từ trạng thái (t − 1) dể ánh xạ chuỗi đầu Tuy nhiên, khả ghi nhớ trạng thái hạn chế giá trị tín hiệu truyền ngược Công thức (1) giảm dần bước thời gian cách xa Từ giảm tốc độ hội tụ W A Bộ nhớ dài ngắn hạn (LSTM) Cấu trúc mạng nơ-ron hồi quy có tác dụng phản ánh lại tín hiệu nút mạng [15] Tuy nhiên tốn ước lượng thơng, khả ghi nhớ nhiều bước thời gian sử dụng để đưa giải pháp hiệu cho q trình dự đốn Bộ nhớ dài-ngắn hạn dựa cấu trúc mở rộng nút mạng thể Hình Cấu trúc nhớ dài-ngắn hạn dựa khả ghi nhớ mạng nơ-ron hồi quy, bổ sung thêm trạng nút mạng ba cổng: f orget − gate, input − gate, output − gate Xuyên suốt trình huấn luyện, trạng thái nút mạng ghi nhớ qua việc đánh giá tín hiệu f orget − gate, f Giả sử trạng thái t, giá trị f (t) tính theo cơng thức sau đây: f (t) = σ(Wf,x x(t) + Wf,h h(t − 1) + bf ) (2) Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) Hình Mạng truyền thẳng mạng hồi quy Hình Cấu trúc nút mạng LSTM , W biểu diễn ma trận trọng số b hệ số bias input − gate đưa hai giá trị i(t) c (t) định thông tin ghi nhớ trạng thái nút mạng Công thức biểu thị sau: i(t) = σ(Wi,x x(t) + Wi,h h(t − 1) + bi ) c (t) = tanh(Wc ,x x(t) + Wc ,h h(t − 1) + bc ) (3) (4) Giá trị c(t) cập nhật từ kết trạng thái trước với phép nhân Hadamard theo phần tử: c(t) = f (t) · c(t − 1) + i(t) · c (t) (5) Giá trị đầu y(t) output − gate xác định dựa giá trị đầu thời điểm (t − 1) giá trị đầu vào thời điểm t qua công thức sau: y(t) = σ(Wo,x x(t)+Wo,h h(t−1)+bo )·tanh(c(t)) (6) Cấu trúc nút mạng ghi nhớ trạng thái thêm vào mơ hình mạng nơ-ron hồi quy tạo nên khả ghi nhớ dài hạn Bằng việc lưu giá trị c(t), thông tin từ trạng thái cách xa thời điểm đưuọc lưu mạng Đối với liệu chuỗi thời gian băng thơng, mạng nơ-ron hồi quy tích hợp nhơ dài-ngắn hạn làm tăng khả ước lượng xác hiệu ISBN 978-604-80-5958-3 56 B Định nghĩa tốn Để ước lượng băng thơng sử dụng nhớ dài-ngắn hạn, toán định nghĩa dạng ước lượng quan hệ liệu đầu vào x mục tiêu đầu y Thuật toán học áp dụng huấn luyện liệu xử lý mẫu theo chu kì lặp Mỗi mẫu huấn luyện biểu thị (x, y), x = [x1 , x2 , , xn ] ∈ R1×n vector liệu vào n-chiều Ta định nghĩa mục đích huấn luyện nhằm ước lượng quan hệ ràng buộc f[.] liệu vào liệu (x → y) để mục tiêu dự đoán: yˆ = f [x(t), θ] (7) ước lượng xác mục tiêu thực tế Các tham số mơ hình thể vector θ Sai số mẫu t-th định nghĩa khác mục tiêu dự đoán mục tiêu thực tế: e(t) = y(t) − yˆ(t) (8) Để xác định thay đổi trình ước lượng, lõi dự đốn theo dõi qua chu kì lặp Thuật tốn học tối thiểu hóa lỗi dự đốn để xác định thông số cấu trúc mạng nơ-ron Lỗi dự đốn E(t) cho mẫu t-th tính cơng thức: E(t) = e2 (t) (9) Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thơng tin (REV-ECIT2021) C Tiêu chí đánh giá ước lượng Mơ hình LSTM đánh giá dựa số tiêu chí thời gian huấn luyện, sai số trung bình kiến trúc mạng Trong báo này, với toán dự đoán giá trị chuỗi thuộc lớp tốn hồi quy thông số thường sử dụng để đánh giá độ xác RMSE (căn bậc hai sai số trung bình bình phương) RMSE xác định theo công thức sau: RM SE = N N (y(t) − yˆ(t))2 (10) Hình Tóm tắt kiến trúc mạng LSTM sử dụng mô đánh giá i=1 III THỰC NGHIỆM VÀ ĐÁNH GIÁ A Tập liệu thiết lập mô Để kiểm định giải pháp ước lượng băng thơng sử dụng mơ hình mạng nơ-ron LSTM đề xuất, nghiên cứu sử dụng tập liệu nhật trình băng thơng 4G/LTE Bỉ [16] [17] Đây tập liệu ghi lại nhật trình băng thơng tải xuống mạng 4G/LTE người dùng sử dụng thiết bị di động di chuyển nhiều cung đường khác nhiều phương tiện di chuyển khác từ đến tàu Dữ liệu phân thành với liệu người dùng cung đường với phương tiện di chuyển xác định Mỗi tập liệu chia thành hai phần: 75% sử dụng cho huấn luyện 25% sử dụng cho kiểm tra Trong báo này, nhóm nghiên cứu sử dụng kiến trúc mạng gồm hai tầng LSTM Tầng thứ gồm 32 nút Tầng thứ hai gồm 10 nút Tóm lược kiến trúc tham số tương ứng trình bày Hình giải pháp ước lượng băng thơng sử dụng mơ hình mạng nơron LSTM cài đặt ngôn ngữ Python với thư viện Pytorch [18] Quá trình huấn luyện thực máy tính để bàn (desktop) sử dụng hệ điều hành Windows 10 với cấu hình có trang bị GPU (ASUS TUF GTX1660, CUDA: 1408, 1845 MHz, 6GB GDDR5) Với tập liệu, việc huấn luyện tiến hành với 150 epochs kích thước bó (batch size) 64 B Kết thảo luận Trước hết kết đánh giá thông qua biến đổi hàm tổn thất (loss) trình bày Hình Đây kết sử dụng tập liệu nhật trình băng thông người sử dụng di chuyển cung đường phương tiện xe buýt Từ Hình ta thấy mơ hình hội tụ nhanh, khoảng với 20 epochs Điều cho thấy thời gian huấn luyện giảm Kết giải pháp đề xuất phù hợp với việc áp dụng cho ứng dụng thời gian thực ISBN 978-604-80-5958-3 57 Hình Đường cong tổn thất mạng trình huấn luyện kiểm tra với tập liệu xe buýt truyền tải video tốc độ bít thích nghi Ngồi ra, kết đạt thấy việc chọn mơ hình hoàn toàn phù hợp hội tụ đường tổn thất huấn trình huấn luyện trình kiểm tra Sự tiệm cận đường tổn thất trình kiểm tra so với trình huấn luyện cho thấy mơ hình đề xuất khơng bị tình trạng overfitting underfitting Xu với tất tập liệu lại, chẳng hạn với tập liệu nhật trình băng thơng người sử dụng di chuyển cung đường phương tiện xe tơ Hình Chất lượng giải pháp ước lượng băng thơng sử dụng mơ hình mạng nơ-ron LSTM đánh giá thông qua phù hợp dự đốn quan sát từ biểu đồ biểu diễn thay đổi băng thông Hình Tính xác giải pháp đề xuất cịn khảo sát thơng quan đánh giá RMSE Bảng I Cần ý rằng, đơn vị đánh giá sai số băng thông Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thơng Cơng nghệ Thơng tin (REV-ECIT2021) Hình Đường cong tổn thất mạng trình huấn luyện kiểm tra với tập liệu xe ô tô Hình So sánh biến thiên băng thơng q trình dự đốn kiểm tra với tập liệu xe buýt Hình So sánh biến thiên băng thông Giải pháp đề xuất giải pháp Đối sánh với liệu xe buýt tập test thông với giải pháp ước lượng băng thông hiệu áp dụng thực tế phần mềm ExoPlayer Google phát triển [13] (đặt tên giải pháp Đối sánh) Hình minh họa thay đổi băng thơng dự đốn mơ hình đề xuất so với giải pháp Đối sánh Các kết đạt thể Hình cho thấy băng thơng dự đốn giải pháp đề xuất bám sát tốt so với giải pháp Đối sánh Sự cải thiện độ xác băng thơng dự đốn Giải pháp đề xuất cịn quan sát thông qua so sánh RMSE so với giải pháp ước lượng băng thông áp dụng phần mềm ExoPlayer Chẳng hạn, với tập liệu test người sử dụng phương tiện di chuyển xe buýt, RMSE phương pháp đề xuất 958.75 giải pháp Đối sánh 1017.62 IV KẾT LUẬN theo Kbps Chúng ta thấy RMSE q trình test cao chút so với đại lượng trình huấn luyện KẾT QUẢ Tập liệu Xe đạp Xe buýt Xe ô tô Đi Tàu Bảng I RMSE CỦA GIẢI PHÁP ĐỀ RMSE huấn luyện 1247.032 858.75 971.590 1253.389 1183.649 XUẤT RMSE kiểm tra 1272.886 958.75 1002.532 1282.537 1158.637 Để kiểm chứng, nghiên cứu này, thực tiến hành so sánh độ xác dự báo băng ISBN 978-604-80-5958-3 58 Trong báo này, giải pháp ước lượng băng thông dựa vào mơ hình mạng nơ-ron LSTM đề xuất nhằm đưa dự đốn xác biến đổi băng thông phép kịp thời điều chỉnh thơng số hệ thống truyền phát video góp phần nâng cao chất lượng trải nghiệm cho người dùng Trong giải pháp đề xuất chúng tôi, ý tưởng sử dụng mơ hình mạng nơ-ron hồi quy áp dụng cho tốn ước lượng băng thơng nhằm tận dụng ưu điểm nhớ dài-ngắn hạn với kết nối phản hồi kết hợp khả tối ưu hóa mạng nơ-ron để xây dựng mơ hình với nhiều tập liệu khác Các thực nghiệm đánh giá hiệu giải pháp đề xuất triển khai tập liệu băng thông mạng thực tế Đồng thời so sánh giải pháp đề xuất với giải pháp ước lượng băng Hội nghị Quốc gia lần thứ 24 Điện tử, Truyền thông Công nghệ Thông tin (REV-ECIT2021) thông sử dụng phổ biến Các kết đạt cho thấy hiệu giải pháp đề xuất cải thiện độ xác băng thơng dự đốn so với giải pháp đối sánh [8] H Mao, R Netravali, and M Alizadeh, “Neural adaptive video streaming with pensieve,” in Proceedings of the Conference of the ACM Special Interest Group on Data Communication, ser SIGCOMM ’17 New York, NY, USA: Association for Computing Machinery, 2017, p 197–210 [Online] Available: https://doi.org/10.1145/3098822.3098843 [9] M De Filippo De Grazia, D Zucchetto, A Testolin, A Zanella, LỜI CẢM ƠN M Zorzi, and M Zorzi, “Qoe multi-stage machine learning Nghiên cứu tài trợ Tập đoàn Naver (Hàn for dynamic video streaming,” IEEE Transactions on Cognitive Communications and Networking, vol 4, no 1, pp 146–161, quốc) đề tài mã số 04-PTIT-NAVER 2018 [10] A Biernacki, “Traffic prediction methods for quality improveTÀI LIỆU THAM KHẢO ment of adaptive video,” Multimedia Systems, vol 24, p [1] V Cisco, “Cisco visual networking index: Forecast and trends, 531–547, 2018 2017–2022,” White Paper, February 2019 [11] I Sarker, “Deep learning: A comprehensive overview on tech[2] Interdigital, “The sustainable future of video entertainment,” niques, taxonomy, applications and research directions,” SN White Paper, November 2020 COMPUT SCI., vol 420, no 2, 2021 [3] R Prasad, C Dovrolis, M Murray, and K Claffy, “Bandwidth [12] A Khan, A Sohail, U Zahoora, and A S Qureshi, “A survey of estimation: metrics, measurement techniques, and tools,” IEEE the recent architectures of deep convolutional neural networks,” network, vol 17, no 6, pp 27–35, 2003 Artif Intell Rev., vol 53, p 5455–5516, 2020 [4] K Bouraqia, E Sabir, M Sadik, and L Ladid, “Quality of [13] Google, “Exoplayer,” Tech Rep [Online] Available: experience for streaming services: Measurements, challenges and https://github.com/google/ExoPlayer insights,” IEEE Access, vol 8, pp 13 341–13 361, 2020 [14] S Hochreiter and J Schmidhuber, “Long Short-Term Memory,” [5] L R Romero, “A dynamic adaptive http streaming video service Neural Computation, vol 9, no 8, pp 1735–1780, 11 1997 for google android,” 2011 [Online] Available: https://doi.org/10.1162/neco.1997.9.8.1735 [6] S Gouache, G Bichot, A Bsila, and C Howson, “Distributed [15] Y Yu, X Si, C Hu, and J Zhang, “A Review of Recurrent amp; adaptive http streaming,” in 2011 IEEE International Neural Networks: LSTM Cells and Network Architectures,” Conference on Multimedia and Expo, 2011, pp 1–6 Neural Computation, vol 31, no 7, pp 1235–1270, 07 2019 [7] S K Khangura, M Fidler, and B Rosenhahn, “Machine learning [Online] Available: https://doi.org/10.1162/neco_a_01199 for measurement-based bandwidth estimation,” Computer [16] J van der Hooft, S Petrangeli, T Wauters, R Huysegems, P R Communications, vol 144, pp 18–30, 2019 [Online] Available: Alface, T Bostoen, and F De Turck, “Http/2-based adaptive https://www.sciencedirect.com/science/article/pii/S0140366419303457 streaming of hevc video over 4g/lte networks,” IEEE Communications Letters, vol 20, no 11, pp 2177–2180, 2016 [17] G University, “4g/lte bandwidth logs.” [Online] Available: https://users.ugent.be/ jvdrhoof/dataset-4g/ [18] Deep Learning With PyTorch Manning, July 2020 ISBN 978-604-80-5958-3 59 ... VÀ ĐÁNH GIÁ A Tập liệu thiết lập mô Để kiểm định giải pháp ước lượng băng thông sử dụng mơ hình mạng nơ-ron LSTM đề xuất, nghiên cứu sử dụng tập liệu nhật trình băng thơng 4G/LTE Bỉ [16] [17] Đây... hạn với tập liệu nhật trình băng thơng người sử dụng di chuyển cung đường phương tiện xe ô tô Hình Chất lượng giải pháp ước lượng băng thơng sử dụng mơ hình mạng nơ-ron LSTM đánh giá thơng qua phù... pháp đề xuất II GIẢI PHÁP ƯỚC LƯỢNG BĂNG THƠNG SỬ DỤNG MƠ HÌNH MẠNG NƠ-RON HỒI QUY Chúng ta xem xét hệ thống mạng nơ-ron truyền thẳng minh họa Hình [14] [15] Kiến trúc sử dụng tầng đầu vào, hai