Phát videp 360 độ trực tuyến trên http2

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐÔNG Á BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2021-2022 PHÁT VIDEO 360 ĐỘ TRỰC TUYẾN TRÊN HTTP/2 Sinh viên tham gia: Phạm Anh Tuấn Trần Thị Hải Yến Giáo viên hướng dẫn: ThS Nguyễn Viết Hùng Khoa: Công Nghệ Thông Tin Bắc Ninh - 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐÔNG Á BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC SINH VIÊN NĂM HỌC 2021-2022 PHÁT VIDEO 360 ĐỘ TRỰC TUYẾN TRÊN HTTP/2 Sinh viên tham gia: Phạm Anh Tuấn Trần Thị Hải Yến Giáo viên hướng dẫn: ThS Nguyễn Viết Hùng Khoa: Công Nghệ Thông Tin Bắc Ninh - 2022 MỤC LỤC LỜI CẢM ƠN DANH MỤC CÁC TỪ VIẾT TẮT .4 DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ Chương :TỔNG QUAN .6 1.1 Lý chọn đề tài .6 1.2 Đặt vấn đề 1.3 Đề xuất hướng giải Chương : PHƯƠNG PHÁP ĐỀ XUẤT .11 2.1 Đặt vấn đề 11 2.2 Tile layer 14 2.3 Bitrate 16 2.3 Chọn tile layer 18 2.4 Kết thúc late tile layer 27 2.5 Cập nhật tile layer 29 2.6 Loại bỏ enhance layer qua sử dụng 32 Chương : ĐÁNH GIÁ 34 3.1 Cài đặt thử nghiệm .34 3.2 Kết thí nghiệm .35 Chương : KẾT LUẬN 41 4.1 Kết luận 41 4.2 Hướng phát triển .41 LỜI CẢM ƠN Sau thời gian học tập nghiên cứu Trường Đại học công nghệ Đông Á, biết ơn kính trọng, chúng chúng em xin gửi lời cảm ơn chân thành tới phòng, khoa thuộc khoa Công Nghệ Thông Tin Trường Đại học công nghệ Đơng Á, thầy nhiệt tình hướng dẫn giảng dạy tạo điều kiện thuận lợi giúp chúng em suốt trình học tập, nghiên cứu hoàn thiện đề tài nghiên cứu khoa học Đặc biệt, chúng em xin tỏ lòng biết ơn sâu sắc tới thầy Nguyễn Viết Hùng, người thầy trực tiếp hướng dẫn, giúp đỡ nhóm chúng chúng em trình thực đề tài nghiên cứu Tuy nhiên điều kiện lực thân hạm chế, chuyên đề nghiên cứu khoa học chắn khơng tránh khỏi thiếu sót Kính mong nhận đóng góp ý kiến thầy giáo, bạn bè để đề nghiên cứu nhóm chúng em hoàn thiện Chúng em xin chân thành cảm ơn! DANH MỤC CÁC TỪ VIẾT TẮT STT Chữ viết tắt Giải thích BL Base layer HTTP/2 Hypertext Transfer Protoco EL Enhance layer S-VAS Smooth Viewport Adaptive Streaming SVC Scalable Video Coding VAS Viewport Adaptive Streaming DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ Hình 2.1: Giải đánh đổi khả thích ứng mạng viewport .15 Hình 2.2: Xác định viewport khu vực lân cận 21 Hình 2.3: Hai dấu vết chuyển động đầu thực thí nghiệm 27 Hình 2.4: Hai dấu vết băng thơng mạng thực thí nghiệm 27 Hình 2.5: Hai dấu vết chuyển động đầu thí nghiệm chúng tơi 30 Hình 2.6: Mơ q trình loại bỏ enhance layer qua sử dụng 33 Hình 3.1: Hai dấu vết băng thơng mạng sử dụng thí nghiệm .34 Hình 3.2: Viewport bitrate (kbps) kích thước buffer theo thời gian .36 Hình 3.3: Số lượng tile theo thời gian phương pháp đề xuất 36 Hình 3.4: Viewport bitrate (kbps) kích thước buffer (giây) .37 Hình 3.5 Tốc độ bit viewport (kbps) theo thời gian theo vết băng thông 39 Bảng 3.1: Hiệu suất phương pháp theo dấu vết đầu thực 37 Bảng 3.2: Hiệu suất phương pháp theo dấu vết băng thông .37 Bảng 3.3: Hiệu suất phương pháp theo dấu vết chuyển động đầu #1 #2 39 Chương :TỔNG QUAN 1.1 Lý chọn đề tài Công nghệ thực tế ảo thay đổi cách người giao tiếp tương tác với giới kỹ thuật số, mang lại biến đổi cho ngành cơng nghiệp trị chơi, giải trí Thị trường thực tế ảo toàn cầu dự kiến tăng trưởng 18% hàng năm bảy năm tới Video 360 độ (nói ngắn gọn 360 độ) nội dung thực tế ảo Video 360 độ ghi lại hình ảnh hướng xung quanh camera thời điểm, cho phép người dùng tự thay đổi hướng nhìn xem video từ nhiều góc nhìn khác Người xem kéo chuột để di chuyển chậm (đối với máy tính) xoay hướng dựa vào cử (đối với điện thoại) để nhìn góc độ từ video Mục đích việc tạo video 360 độ giúp người xem có trải nghiệm chân thực hơn, tốt hơn, sống động Video 360 mang đến chế độ xem phong phú, cho phép người lựa chọn góc xem cách chủ động Khi thưởng thức video 360 độ, bạn có hội trải nghiệm cảm giác sống với người quay phim Từ đường cua lượn tàu siêu tốc, bầu trời đầy khung cảnh núi rừng tới kiện thể thao hàng ngàn người theo dõi, bạn cảm nhận chân thực gần tất diện Các phần mềm để xử lý hậu kỳ video 360 phát triển tối ưu Sau giai đoạn sản xuất xử lý, cần có tảng, không gian phù hợp để đăng tải, chia sẻ trải nghiệm công nghệ này, Youtube Facebook ông lớn lĩnh vực Những video dạng có nhãn “video 360 độ” góc phía bên tay trái đăng tải Youtube Facebook xem máy tính, thiết bị tảng IOS Android Công nghệ phát triển, hội để người dùng tiếp cận với video 360 độ mở rộng hơn, đơn giản Video 360 độ áp dụng nhiều lĩnh vực từ giáo dục, chế tạo, đến giải trí, nhờ vào phổ biến kính thực tế ảo kết nối Internet tốc độ cao Chúng ta thấy video 360 độ ngày trở nên phổ biến gần gũi hơn, đặt nhiều vấn đề cấp bách ngành công nghiệp internet nói chung xử lý video 360 độ nói riêng 1.2 Đặt vấn đề Video 360 có nhiều độ phân giải tốc độ khung hình (frame) cao so với video phẳng thơng thường Kích thước liệu khổng lồ video 360 độ đặt vấn đề thách thức cho việc phát trực tiếp loại video đặc biệt thông qua mạng hạn chế tài nguyên Ví dụ, để tạo trải nghiệm thực tế, khiến cho người dùng đắm chìm thực không gian 360 độ, video 360 độ dự kiến có độ phân giải 24K tỷ lệ khung nhìn (viewport) là: 60 fps Do đó, video 360 yêu cầu băng thông cao phát trực tuyến qua mạng hạn chế tài nguyên Tuy nhiên, việc chia sẻ nội dung đa phương tiện công việc tốn nhiều tài ngun, địi hỏi băng thơng mạng đáng kể để giải mã, tính tốn với độ phức tạp cao tiêu tốn nhiều lượng (cụ thể pin) để phát trực tuyến Mặc dù mạng 5G cải thiện tốc độ truyền tải, nhà cung cấp mạng phải tiếp tục vật lộn với khối lượng lớn lưu lượng video di động Cisco ước tính dung lượng mạng tăng gấp lần từ năm 2017 đến năm 2022, chiếm 79% tổng lưu lượng liệu di động vào cuối năm 2022 Hơn nữa, bất chấp cải tiến liên tục dạng mã hoá video mã hoá video hiệu cao (HEVC) Vấn đề trở nên trầm trọng việc áp dụng nhiều công nghệ thực tế ảo tăng cường (AR) thực tế ảo (VR), video ba chiều (3D) 360 độ Theo ước tính ngành khác nhau, chúng yêu cầu băng thông mạng khổng lồ từ 50Mbps cho video 720p, từ 500Mbps cho video 4K VR, đến hàng chục Gbps cho video 360 VR sống động, chân thật ( trải nghiệm tốt nhất…) Người xem sử dụng vô số thiết bị với đặc điểm tính khác nhau, xem, tình xảy người xem gặp phải gián đoạn nguồn lực có hạn bị thay đổi cường độ mạng cách đột ngột Trên thực tế, hạn chế băng thông mạng dung lượng pin thường đề cập số thách thức việc phát trực tuyến video 360 độ Đồng thời, người dùng ngày có ý thức chất lượng với gia tăng nội dung hình có độ phân giải cực cao (UHD) Họ dường quan tâm nhiều đến phong phú hữu ích nội dung video Trong bối cảnh này, ngày có nhu cầu giải pháp thích ứng để cung cấp cho người dùng trải nghiệm tốt xem video 360 độ Việc áp dụng phương pháp phát trực tiếp thông thường cho video 360 độ tiêu tốn lượng lớn tài nguyên mạng, điều không mong muốn mạng di động hạn chế tài nguyên 1.3 Đề xuất hướng giải Để giảm băng thông bắt buộc để phát trực tuyến video 360, phương pháp Viewport Adaptive Streaming (VAS) đề xuất Do tầm nhìn hạn chế người dùng kính thực tế ảo, phần video mà người dùng xem (tức viewport) chiếm khoảng 15-20% video 360 độ đầy đủ Do đó, giảm liệu truyền cách truyền trực tuyến viewport chất lượng cao phần video lại chất lượng thấp Có hai phương pháp tiếp cận, thích ứng với viewport phổ biến phương pháp tiếp cận dựa tile phương pháp tiếp cận phụ thuộc vào khung nhìn Trong Phương pháp tiếp cận dựa tile, video 360 độ ban đầu chia theo không gian thành phần không xếp chồng gọi tile Các tile riêng lẻ mã hóa thành nhiều phiên với mức chất lượng khác Với vị trí viewport người dùng băng thông mạng khả dụng, hệ thống chọn mức chất lượng cao cho tile bên viewport mức chất lượng thấp cho tile khác Trong Phương pháp tiếp cận phụ thuộc vào viewport, video 360 độ ban đầu không chia thành tile, thay vào đó, nhiều vị trí viewport làm mục tiêu chọn Sau đó, vị trí số vị trí viewport chọn, video 360 độ gốc mã hóa để chất lượng khu vực viewport cao khu vực nằm ngồi tầm nhìn người xem Để điều chỉnh chế độ xem (viewport), phiên có chế độ xem gần với vị trí viewport chọn phân phối Viewport Adaptive Streaming (VAS) tính tốn giảm u cầu băng thơng lên đến 80% so với phương pháp truyền phát thông thường [1], [2] Để đạt hiệu suất cao, phương pháp VAS khơng u cầu dự đốn băng thơng mạng xác mà cịn phải dự đốn viewport xác [3] Vị trí viewport tương lai người dùng dự đốn từ thơng tin viewport khứ người dùng [4], hành vi nhiều người dùng [5] đặc điểm video [6] Vì phương pháp dự đốn viewport có hiệu viewport dự đoán dài [2], tile liền kề với viewport phân phối với chất lượng cao [4] Trong tài liệu này, Viewport Adaptive Streaming (VAS) thực cách tiếp cận dựa tile Trong VAS dựa tile, video 360 độ chia thành nhiều phần gọi tile Mỗi tile mã hóa độc lập thành nhiều phiên khác với bitrate (mức chất lượng) khác Vì người dùng có xu hướng thay đổi hướng xem xem video 360, chế độ xem thường thay đổi phiên phát trực tuyến Theo hướng xem người dùng, người ta nên chọn phiên chất lượng cao cho tile chồng lên viewport người dùng (tức tile hiển thị) phiên chất lượng thấp cho tile cịn lại Do đó, phương pháp thích ứng VAS điều chỉnh tỷ lệ bitrate tile dựa vào viewport thay đổi theo thời gian Ngoài ra, thơng lượng mạng di động dao động đáng kể theo thời gian Thông lượng mạng giảm với biên độ lớn dẫn đến gián đoạn việc phát video, điều làm ảnh hưởng trực tiếp đến trải nghiệm xem người dùng Một vấn đề quan trọng khác việc thiết kế giải pháp Viewport Adaptive Streaming cân khả thích ứng mạng khả thích ứng người dùng Đặc biệt, để đảm bảo phát lại video mượt mà thay đổi mạng, máy khách cần phải đệm số lượng liệu video trước phát Kích thước liệu đệm lớn đối phó tốt với biến động mạng Bên cạnh đó, yếu tố quan trọng ảnh hưởng đến chất lượng trải nghiệm (QoE) VAS độ mượt chất lượng viewport Khi có chuyển đổi chất lượng đáng kể segment, chúng tạo cảm giác khơng thoải mái làm giảm trải nghiệm người xem Hệ tương tự xảy có chuyển đổi chất lượng mức tile liền kề viewport Do đó, để mang đến trải nghiệm hài lịng cho người dùng, điều quan trọng phải có chất lượng viewport mượt mà segment video segment video, điều chỉnh bitrate tile theo thông lượng mạng thay đổi theo thời gian, đệm số lượng video trước phát video máy khách Tuy nhiên, ảnh hưởng tiêu cực đến độ xác dự đốn viewport làm giảm hiệu VAS Do đó, tồn cân khả thích ứng mạng độ nhạy viewport Viewport Adaptive Streaming Để giải vấn đề này, đề xuất phương pháp sau: Scalable Video Coding để mã hóa tile riêng lẻ thành base layer nhiều enhance layer cách đệm base layer tải xuống enhance layer trước thời gian phát, đạt đồng thời khả phát lại video mượt mà khả thích ứng viewport; phương pháp Smooth VAS (S-VAS) cung cấp chất lượng viewport mượt mà cho người dùng thay đổi băng thông mạng chuyển động đầu người dùng thay đổi theo thời gian Để cung cấp bitrate cho viewport mượt mà segment, số lượng enhance tile điều chỉnh động tùy theo sai số dự đốn viewport Ngồi ra, tổng tốc độ bit phân bổ cho tile chọn để đối phó với thay đổi 30 Hình 2.5: Hai dấu vết chuyển động đầu thí nghiệm Cụ thể, liên tục ước tính lại vị trí viewport Nếu giá trị ước tính bao gồm số tile ban đầu chưa yêu cầu, gửi yêu cầu bổ sung cho tile layer Bắt đầu 𝛺 (𝑉 ) biểu thị tập viewport tiles đưa vị trí viewport ước tính V Đặt 𝑉 (𝑡) vị trí viewport ước tính thời điểm t, thời điểm 𝑡 +   ∆𝑡, chúng tơi có vị trí viewport ước tính 𝑉 (𝑡 + ∆𝑡 ) Đặt 𝛺46F biểu thị tập hợp tile 𝛺O𝑉 (𝑡 + ∆𝑡)P khơng nằm 𝛺O𝑉 (𝑡)P Chúng tơi có: 𝛺26F = 𝛺 x𝑉 (𝑡 + ∆𝑡) − 𝛺O𝑉 (𝑡)Py (5) Thuật toán 2.4: Cập nhật tile layer cho viewport Input: 𝛺(t), 𝛺 (𝑡 + ∆𝑡 ) Caculate 𝛺26F and 𝛺G$H using Eq (5) and Eq (6); if ½𝛺26F ½> then Select a tile m’ in 𝛺26F ; foreach mỴ 𝛺G$H 𝐝𝐨 set priority (m’, 1, 0); send PRIORITY frame for tiles m; end foreach kỴ 𝛺26F 𝐝𝐨 send request for tile k; 31 10 end 11 end Các tile 𝛺26F gọi new viewport tiles tile 𝛺G$H gọi old viewport tiles Tương tự, chúng tơi tính tốn tập hợp tile có 𝛺O𝑉(𝑡 )P nhưng khơng phải 𝛺O𝑉 (𝑡 + ∆𝑡)P 𝛺G$H = 𝛺O𝑉 (𝑡)P − 𝛺(𝑉 (𝑡) + ∆𝑡) (6) Bởi nhiều khả tile 𝛺26F viewport tile thực tế 𝛺G$H , việc giao tile 𝛺26F thực Layer cao chọn cho tile 𝛺26F Khi việc giao tất tile 𝛺26F hoàn thành, việc giao tile 𝛺G$H tiếp tục Trong HTTP/2, thứ tự tile layer phân phối định cách sử dụng tính gọi ưu tiên luồng (stream priofity) Tính ưu tiên luồng cho phép máy khách máy chủ xác định phụ thuộc luồng Ví dụ, luồng A đặt phụ thuộc vào luồng B, việc phân phối luồng B bắt đầu sau luồng A bị chấm dứt Quá trình cập nhật tile layer mơ tả thuật tốn 2.4 - Chương trình thực hiện: if (fin_s_num != req_s_num && sid > && fid > 0) { iter_down_elapsed_time = std::chrono::duration_cast( get_time() - client->timing.connect_end_time) count() metric.iter_start_time[iter_id]; if (iter_down_elapsed_time > 0.5 * metric.iter_down_time_budget[iter_id] && !metric.iter_re_decide[iter_id] && cancelled_request_stream.size() == 0) { metric.iter_re_decide[iter_id] = true; adaptation(client, session, iter_id, iter_down_elapsed_time); 32 } } Kiểm tra xem số luồng hoàn thành (fin_s_num) khác với số luồng yêu cầu (req_s_num), segment segment thứ (sid > 0) đồng thời tồn vị trí viewport bắt đầu tính tốn thời gian lặp lại trình tải xuống (iter_down_elapsed_time) Sau tính tốn tiếp tục kiểm tra điều kiện thời gian vòng lặp tải xuống (iter_down_elapsed_time) lớn nửa thời gian lại để tải xuống (metric.iter_down_time_budget[iter_id]) khơng có u cầu để chấm dứt luồng chạy (cancelled_request_stream) tiếp tục trình lặp lại việc tải xuống tile, đồng thời cập nhật lại viewport (adaptation()) 2.6 Loại bỏ enhance layer qua sử dụng - Định nghĩa thuật toán: Trong hầu hết logic thích ứng, khách hàng yêu cầu segment tốt (tức phân đoạn có chất lượng cao nhất) để ngăn chặn việc tái đệm Tuy nhiên điều kèm với giá thường xuyên bị chuyển đổi chất lượng ảnh hưởng lớn đến chất lượng trải nghiệm, logic thích ứng chủ yếu tuân theo biến động mạng Các biện pháp tối ưu tập trung vào mục tiêu cuối hạn chế biến động tốc độ bit segment liên tiếp Tuy nhiên việc trì tốc độ bit ổn định segment khơng thiết chuyển đổi thành mức độ chất lượng định phức tạp video thay đổi theo thời gian Điều có nghĩa độ phức tạp video biến động băng thông cần xem xét chung logic thích ứng Hơn nữa, phát, buffer hấp thụ số biến thể tốc độ bit, kiện tái tạo đệm thường xuyên xảy môi trường mạng có biến động lớn Giải pháp khả thi để trì mức buffer tốttrong tối đa hóa chất lượng trải nghiệm ưu tiên thực tối ưu hóa mức buffer Do chúng tơi đề xuất thuật toán cắt bỏ lượng enhance layer buffer đồng thời qua sử dụng để giảm tải nhớ đệm cho máy khách Khi bắt đầu phiên phát trực tuyến, tải lượng buffer trước vào máy khách, lượng buffer có chất lượng tile base layer Khi mức buffer đạt giá trị B xác định khơng phải đoạn kết thúc video, khách hàng định nên tải xuống dựa mức 𝐵):3 hành Đặt 𝐵#%4 ngưỡng 33 đảm bảo mức đệm không bị nguy hiểm Nếu 𝐵#%4 < 𝐵):3 < B - 1, máy khách tải xuống BL segment Nếu mức buffer giảm xuống 𝐵#%4 , tức 𝐵):3 < 𝐵#%4 , máy khách tải xuống BL segment 𝐵):3 đạt đến giá trị B Nếu không, khách hàng tải xuống El phân đoạn phát Theo thời gian 𝑡' đến thời gian 𝑡' +  𝜏 , enhancement layers segment #2 tải xuống Nếu băng thông thực đủ để phát enhance segment coi segment qua sử dụng Việc cần làm xác định thời điểm người dùng xem Lấy thời điểm người dùng xem 𝑡' , thời lượng segment 𝜏, sau xem xong xố ln 𝑡' +  𝜏 khỏi nhớ đệm Như làm giảm kích thước đệm, giải phóng nhớ, giúp cho q trình xử lý trở nên nhanh chóng Hình 2.6: Mơ q trình loại bỏ enhance layer qua sử dụng - Chương trình thực hiện: void clear_enhance_layer_unnecessary(){ if(internal_tile_id>0&& metric.internal_req_stream[internal_tile_id-1]!=NULL){ delete[] metric.internal_req_stream[internal_tile_id-1]; metric.internal_req_stream[internal_tile_id-1] = NULL; } } Chúng ta gọi function trình phát video qua segment Đầu tiên kiểm tra điều kiện vị trí tile (internal_tile_id) segment thứ trở đi, enhance layer tile trước (internal_tile_id-1) phải đc load ta loại bỏ enhance layer segment trước khỏi buffer, vị trí phía trước tile không tồn enhance layer Đây phương pháp giải phóng buffer hiệu đảm bảo cho người dùng trở lại xem segment với base layer 34 Chương : ĐÁNH GIÁ 3.1 Cài đặt thử nghiệm Đánh giá hiệu suất phương pháp đề xuất, xây dựng môi trường kiểm thử (test-bed) bao gồm máy client kết nối với server qua mạng truyền thống Phương pháp đề xuất đặt máy client nghttp2, thư việc HTTP/2 mã nguồn mở Các điều kiện mạng bao gồm băng thông độ trễ mô công cụ DummyNet [20], mà chạy máy client Độ trễ từ đầu đến cuối đặt thành 0.5ms tất thi nghiệm Hình 3.1: Hai dấu vết băng thông mạng sử dụng thí nghiệm Chúng tơi sử dụng video 360 độ định dạng chiếu Cubemap Video có thời lượng 70 giây, độ phân giải 2880x1920, tốc độ frame 30fps Video chia thành 24 tiles cách phân vùng mặt khối thành tile kích thước Mỗi tile mã hoá thành layer Base layer có tốc độ bit 125kbps Tốc độ bit giây thứ hai enhecement layer 200kbps 400kbps Thời lượng segment giây Hai dấu vết chuyển động đầu Hình sử dụng Trong phương pháp đề xuất, giá trị S thuật toán (3) thiết lập thành 3, Giá trị ∆𝑡 thuật toán đặt thành nửa thời gian ngân sách tải xuống Kích thước nhớ đệm B đặt thành giây Ngưỡng 𝐵#%4 đặt thành giây Phương pháp đề xuất so sánh với phương pháp tham khảo ký hiệu UTD2017, đề xuất [1] Phương pháp UTD2017 sử dụng Scalable Video Coding để mã hoá tile thành nhiều layer Để thích ứng với viewport, 35 layer chọn cho tất viewport tile cho phép thơng lượng mạng 3.2 Kết thí nghiệm 3.2.1 Dấu vết băng thông đơn giản: Trong phần này, điều tra hiệu suất phương pháp đề xuất theo dấu vết băng thông đơn giản Cụ thể, băng thông đặt thành 12Mbps 14 giây Sau giảm xuống 1Mbps giây Băng thông tăng lên 5Mbps thời điểm t = 19s Tại thời điểm t=40s, băng thông tăng lên 12Mbps không thay đổi kết thúc phiên trực tuyến Hình 3.2 cho ta thấy tốc độ bit viewport kích thước buffer theo thời gian phương thức đề xuất tham chiếu theo dấu vết băng thông đơn giản dấu vết chuyển động đầu số #8 hình 3.1 Số lượng tile yêu cầu, viewport tile tile bị huỷ theo thời gian phương pháp đề xuất hiển thị Hình 3.3 Chúng ta thấy phương pháp đề xuất đạt tỷ lệ viewport bitrate cao phương pháp UTD2017 cho hầu hết segment Điều vì, nhờ vào thuật toán lựa chọn tile layer để xuất, phương pháp chúng tơi u cầu số lượng enhecement layer cao phương pháp UTD2017 thấy Hình 3.2 Ngồi ra, sơ đồ cập nhật tile layer viewport-awre tile đề xuất, cải thiện chất lượng viewport Hình 3.3 36 Hình 3.2: Viewport bitrate (kbps) kích thước buffer theo thời gian phương thức đề xuất tham chiếu theo dấu vết thông đơn giản (Dấu vết chuyển động đầu #1) Hình 3.3: Số lượng tile theo thời gian phương pháp đề xuất Khi thông lượng giảm đáng kể từ 12Mbps xuống 1Mbps tời điểm t=14s, thấy kích thước buffer phương pháp UTD2017 giảm mạnh, dẫn đến gián đoạn thời điểm t = 19s Mặt khác, phương pháp đề xuất giảm thiểu tác động việc giảm thơng lượng kích thước đệm client cách huỷ late tile layer thấy Hình 3.3 Do đó, gián đoạn phát lại tránh thấy Hình 3.3 Cần lưu ý tải xuống phương thức đề xuất 37 Hình 3.4: Viewport bitrate (kbps) kích thước buffer (giây) Bảng 3.1: Hiệu suất phương pháp theo dấu vết đầu thực Số liệu Dấu vết chuyển động đầu #1 Dấu vết chuyển động đầu #2 UTD2017 Đề xuất Giảm UTD2017 Đề xuất Giảm Trung bình viewport bitrate - 1761.23 1942.63 -9.34% 1724.78 1940.16 587.95 371.84 36.76% 648.52 345.16 46.78% 247.10 189.04 23.50% 241.37 170.56 29.33% (kbps) 11.10% Trung bình biến động viewport bitrate segment(kbps) Trung bình biến động viewport bitrate segment(kbps) Bảng 3.2: Hiệu suất phương pháp theo dấu vết băng thông Dấu vết chuyển động đầu Dấu vết chuyển động đầu Thông số #1 UTD2017 #2 Đề xuất UTD2017 Đề xuất 38 Trung bình viewport bitrate (kbps) Mức buffer giảm thiểu tối đa (s) 344.10 484 357.34 509.7 1.3 1.3 1.5 1.4 base layer từ thời gian t = 20s đến t=29s Trong khoảng thời gian này, máy khách nạp lại buffer mức độ buffer vượt B=6s Từ t=30s đến cuối phiên phát trực tuyến, thấy phương pháp đề xuất lần đạt tỷ lệ viewport bitrate cao phương pháp UTD2017 cho hầu hết segment, Cám ơn bạn đến thuật toán tile layer selection sơ đồ tile layer nhận biết người dùng Bitrate viewport trung bình buffer tối đa phương pháp đề xuất tham chiếu theo hai dấu vết chuyển động đầu thể Hình Có thể thấy phương pháp đề xuất vượt trội so với phương pháp UTD2017 hai điều khoản viewport bitrate giảm buffer Đặc biệt, phương pháp cải thiện tỷ lệ viewport bitrate trung bình 9,34% 11,10% cho dấu vết chuyển động #1 #2, tương ứng Hơn nữa, phương pháp đề xuất cung cấp mức độ buffer ổn định với giảm buffer tối đa thấp phương pháp UTD2017 3.2.2 Băng thông thật: Trong phần này, điều tra hiệu suất phương pháp đề xuất cách sử dụng dấu vết rộng thần thực Với mục đích đó, chúng tơi sử dụng hai dấu vết băng thông mạng từ mạng 4G cung cấp [6] Các dấu vết băng thông sử dụng hiển thị Hình 3.1 Hình 3.5 cho thấy viewport bitrate kích thước buffer theo thời gian phương pháp đề xuất phương pháp UTD2017 theo dấu vết băng thông #1 dấu vết băng thơng #2 Như thấy Hình 3.5, viewport bitrate phương pháp đề xuất cao phương pháp UTD2017 cho hầu hết segment Điều ngụ ý phương pháp chúng tơi có hiệu việc cải thiện chất lượng xem theo dấu vết băng thơng thực 39 Hình 3.5 Tốc độ bit viewport (kbps) theo thời gian theo vết băng thông # # Bảng 3.3 hiển thị viewport bitrate trung bình việc giảm đệm tối đa phương pháp đề xuất tham chiếu theo hai dấu vết băng thông mạng hai dấu vết chuyển động đầu Chúng ta thấy phương pháp đề xuất vượt trội so với phương pháp UTD2017 hai điều khoản viewport bitrate trung bình giảm buffer tối đa Cụ thể, tốc độ viewport bitrate trung bình phương pháp đề xuát cao 19%-20% so với phương pháp UTD2017 cho hai trường hợp Ngoài ra, phương pháp đề xuất ln có giảm đệm tối đa thấp so với phương pháp UTD2017 Điều ngụ ý thuật toán chấm dứt late tile layer đề xuất có hiệu việc xử lý biến thể thông qua mạng Bảng 3.3: Hiệu suất phương pháp theo dấu vết chuyển động đầu #1 #2 Dấu vết chuyển động đầu Dấu vết chuyển động đầu #1 #2 Thơng số Trung bình viewport bitrate (kbps) Mức buffer giảm thiểu tối đa (s) UTD2017 Đề xuất UTD2017 Đề xuất 344.10 484 357.34 509.7 1.3 1.3 1.5 1.4 587.95 371.84 648.52 345.16 Trung bình biến động viewport bitrate segment(kbps) 40 Trung bình biến động viewport bitrate segment(kbps) 247.10 189.04 241.37 170.56 41 Chương : KẾT LUẬN 4.1 Kết luận Trong viết này, chúng tơi đề xuất phương pháp thích ứng để phát video 360 độ, điều chỉnh video theo biến thể thông lượng mạng hành vi người dùng Sự cân thích ứng với người dùng thích ứng với mạng giải cách sử dụng SVC Phương pháp đề xuất cung cấp chất lượng khung nhìn mượt mà thay đổi băng thông mạng chuyển động đầu người dùng thay đổi theo thời gian Ngoài ra, phương pháp lựa chọn tile layer hiệu đề xuất Để giảm thiểu tác động việc giảm thơng lượng nghiêm trọng, tính kết thúc luồng HTTP/2 được sử dụng cách hiệu Người ta thấy phương pháp đề xuất cải thiện tốc độ bit trung bình viewport lên tới 11,10%, cung cấp mức buffer ổn định so với phương pháp tham chiếu, đồng thời tăng trải nghiệm người dùng qua độ mượt mà video Kết thử nghiệm cho thấy phương pháp đề xuất giảm tới 46% thay đổi tốc độ bit chế độ xem phân đoạn tốc độ bit phân đoạn dao động lên đến 32% Có thể thấy phương pháp đề xuất mang lại hiệu đáng kể cho việc tiết kiệm băng thơng, kiểm sốt tốt đệm (buffer), tăng mức ổn định cho bitrate, đặc biệt góp phần tạo độ mượt mà cho video, tăng chất lượng trải nghiệm người dùng Tuy nhiên hạn chế phương pháp chưa sâu vào việc cải thiện khung nhìn, chưa hồn tồn kiểm sốt độ mượt mà khung nhìn Mục tiêu phương pháp làm ổn định bitrate, ổn định lượng buffer cho video độ mượt mà segment 4.2 Hướng phát triển Trong tương lai tiếp tục phát triển, cải tiến phương pháp sau: Cung cấp viewport mượt mà cấp khung hình Tốc độ khung hình ảnh hưởng trực tiếp đến chất lượng hình ảnh trải nghiệm thực tế người xem Sử dụng tốc độ khung hình khác mang đến trải nghiệm xem khác Tốc độ khung hình cao mang đến hiệu ứng hình ảnh sắc nét rõ ràng hơn, hấp dẫn người xem so với tốc độ khung hình thấp Người xem theo dõi quan sát chuyển động 42 chi tiết xác Do dự tính chúng tơi cung cấp tốc độ frame giao động khoảng từ 30fps – 60fps Tận dụng tối đa lượng băng thông để cải thiện tốc độ bit cho vừa ổn định vừa có tốc độ trung bình cao Tức băng thông đạt tốc độ cao q, chúng tơi lấy lượng băng thơng không khai thác triệt khu vực viewport mà lấy lượng vừa đủ để đảm bảo chất lượng ổn định, phần cịn lại chúng tơi bù vào khu vực lân cận hay vùng nằm xa viewport phòng trường hợp người dùng thay đổi hướng xem đột ngột ngẫu nhiên Như vừa đảm bảo độ biến thiên ổn định, vừa tránh lãng phí tài nguyên mạng Hơn nữa, người dùng thiết bị di động ngày nhận thức chất lượng video, kết hợp viewport với chế để giảm chất lượng video cách có kiểm sốt, với mục đích hỗ trợ người dùng có trải nghiệm tốt tình hạn chế tài nguyên Trong phương pháp đề xuất trên, chúng tơi ước tính viewport người dùng, nhiên tồn sai số ước tính Mặc dù chúng tơi tối ưu hố sai số trường hợp người dùng di chuyển đầu nhanh điều mà hướng đến tương lai trường hợp người dùng di chuyển đầu nhanh mà trường hợp khác Tức sai số ước tính tối giản hết mức có thể, điều đồng nghĩa với việc ước tính viewport xác khoảng 90%-95% Như giảm thiểu lượng buffer cho vùng không cần thiết, tiết kiệm đáng kể băng thông làm tăng hiệu suất tiến trình 43 TÀI LIỆU THAM KHẢO [1] A T Nasrabadi, A Mahzari, J D Beshay, and R Prakash, “Adaptive 360-degree video streaming using Scalable Video Coding,” in Proc 25th ACM Multimedia, Mountain View, California, USA, Oct 2017, pp 1689–1697 [2] L Sun, F Duanmu, Y Liu, Y Wang, Y Ye, H Shi, and D Dai,“Atwo- tier system for on-demand streaming of 360 degree video over dynamic networks,” IEEE Journal on Emerging and Selected Topics in Circuits and Systems, vol 9, no 1, pp 43–57, March 2019 [3] M BenYahia, Y LeLouedec, G Simon, and L Nuaymi, “Http/2-based, streaming solutions for tiled omnidirectional videos,” in 2018 IEEE ISM, Dec 2018, pp 89–96 [4] C Ozcinar, A De Abreu, and A Smolic, “Viewport-aware adaptive 360 video streaming using tiles for virtual reality,” in 2017 IEEE International Conference on Image Processing (ICIP), Beijing, China, Sep 2017, pp 2174–2178 [5] M Belshe, R Peon, and M Thomson, “Hypertext transfer protocol version (http/2),” Tech Rep., 2015 [6] J van der Hooft, S Petrangeli, T Wauters, R Huysegems, P R Alface, T Bostoen, and F De Turck, “Http/2-based adaptive streaming of hevc video over 4g/lte networks,” IEEE Communications Letters, vol 20, no 11, pp 2177–2180, Nov 2016 [7] X Corbillon, F De Simone, and G Simon, “360-degreee video head movement dataset,” in Proc 8th ACM MMsys, ser MMSys’17 Taipei, Taiwan: ACM, 2017, pp 199–204 [8] D V Nguyen and H T T Tran and T C Thang, “Impact of delays on 360-degree video communications,” in 2017 TRON Symposium (TRONSHOW), 12 2017, pp 1–6 [9] D H Nguyen, M Nguyen, N P Ngoc, and T C Thang, “An adaptive method for low-delay 360 vr video streaming over http/2,” in 2018 IEEE Seventh International Conference on Communications and Electronics (ICCE), July 2018, pp 261–266 [10] J Chakareski, R Aksu, X Corbillon, G Simon, and V Swaminathan, “Viewportdriven rate-distortion optimized 360 video streaming,” in 2018 IEEE International Conference on Communications (ICC), MO, USA, May 2018, pp 1–7 44 [11] M Carbone and L Rizzo, “Dummynet revisited,” SIGCOMM Comput Commun Rev., vol 40, no 2, pp 12–20, Apr 2010 [Online] Available: http://doi.acm.org/10.1145/1764873.1764876