Giảm thiểu thời gian bắt đầu cho các ứng dụng truyền tải video định dạng MP4 sử dụng kỹ thuật lấy trước và cache thông tin header

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TIẾN NAM GIẢM THIỂU THỜI GIAN BẮT ĐẦU CHO CÁC ỨNG DỤNG TRUYỀN TẢI VIDEO ĐỊNH DẠNG MP4 SỬ DỤNG KỸ THUẬT LẤY TRƢỚC VÀ CACHE THÔNG TIN HEADER (Reducing Startup Time for MP4 Video Streaming Applications using Atom Header Prefetching) LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2014 2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TIẾN NAM GIẢM THIỂU THỜI GIAN BẮT ĐẦU CHO CÁC ỨNG DỤNG TRUYỀN TẢI VIDEO ĐỊNH DẠNG MP4 SỬ DỤNG KỸ THUẬT LẤY TRƢỚC VÀ CACHE THÔNG TIN HEADER (Reducing Startup Time for MP4 Video Streaming Applications using Atom Header Prefetching) Ngành : Công nghệ thông tin Chuyên ngành : Truyền dữ liệu và Mạng máy tính Mã số LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. HOÀNG XUÂN TÙNG Hà Nội – 2014 3 LỜI CAM ĐOAN Tôi xin cam đoan, đây là công trình nghiên cứu của bản thân. Các số liệu, kết quả trình bày trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình luận văn nào trƣớc đây. . Hà nội, ngày 30 tháng 10 năm 2014 Nguyễn Tiến Nam 4 MỤC LỤC Lời cam đoan Mục lục Danh mục các ký hiệu, các chữ viết tắt Danh mục các bảng Danh mục các hình vẽ, đồ thị MỞ ĐẦU 1 CHƢƠNG I: Video streaming trên mạng Internet 12 1.1 Tổng quan về video streaming trên mạng Internet. 12 1.2 Kiến trúc hệ thống video streaming 13 1.2.1 Kiến trúc chung và chức năng các thành phần 13 1.2.2 Một số giao thức thƣờng dùng cho video streaming 15 1.2.3 Video Cache 17 1.2.4 Các định dạng tệp tin video thƣờng dùng cho video streaming 19 1.3 Định dạng MP4 20 1.3.1 Sự phổ biến của định dạng MP4 20 1.3.2 Cấu trúc của tập tin MP4 21 1.4 Quá trình streaming video định dạng MP4 30 2 CHƢƠNG II - Một số phƣơng pháp video streaming sử dụng video định dạng MP4 32 2.1 Phƣơng pháp tải về tiến bộ sử dụng giao thức HTTP 32 2.2 Các phƣơng pháp, giao thức video streaming sử dụng giao thức HTTP dựa trên streaming thích ứng tốc độ bit. 33 2.2.1 Streaming thích ứng tốc độ bit 33 2.2.2 Phƣơng pháp MPEG DASH 35 2.2.3 Giao thức Microsoft Smooth Streaming 39 2.2.4 Giao thức HLS 41 3 CHƢƠNG III: Phƣơng pháp Atom Caching. 44 3.1 Động cơ của đề xuất 44 3.2 Mô hình hoạt động của Atom Caching 45 5 3.3 Các thành phần trên máy chủ MP4_atom_caching 46 3.3.1 Hoạt động của máy chủ MP4_atom_caching 47 3.4 Các thành phần trên máy khách MP4_atom_caching 52 3.4.1 Ứng dụng Media player 52 3.4.2 Thƣ viện xử lý video 52 3.5 Triển khai 54 3.5.1 Giao thức truyền tải giữa máy chủ và máy khách 54 3.5.2 Triển khai máy chủ MP4_atom_caching 54 3.5.3 Triển khai máy khách MP4_atom_caching 55 4 CHƢƠNG IV: Đánh giá hiệu năng của phƣơng pháp Atom Caching 58 4.1 Kết quả thí nghiệm 59 4.2 So sánh Atom Caching và phƣơng pháp tải về tiến bộ sử dụng giao thức HTTP. 61 4.2.1 Trƣờng hợp 1: Băng thông giữa máy chủ và máy khách là 512 Kbps. 61 4.2.2 Trƣờng hợp 2: Băng thông giữa máy chủ và máy khách là 2 Mbps. 62 4.3 So sánh Atom Caching với HLS. 64 4.3.1 Trƣờng hợp 1: Băng thông giữa máy chủ và máy khách là 512 Kbps. 64 4.3.2 Trƣờng hợp 2: Băng thông giữa máy chủ và máy khách là 2 Mbps. 65 4.4 Đánh giá kết quả mô phỏng. 66 KẾT LUẬN TÀI LIỆU THAM KHẢO 6 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt DASH Dynamic Adaptive Streaming over HTTP Streaming tự động thích ứng dựa trên giao thức truyền tải siêu văn bản FTP File Transfer Protocol Giao thức truyền tập tin HLS Hypertext Transfer Protocol Live Streaming Truyền dòng dữ liệu trực tiếp sử dụng giao thức truyền tải siêu văn bản HTTP Hypertext Transfer Protocol Giao thức truyền tải siêu văn bản IEC International Electrotechnical Commission Ủy ban kỹ thuật điện quốc tế ISO International Organization for Standardization Tổ chức tiêu chuẩn hóa quốc tế MDAT Media data Dữ liệu truyền thông đa phƣơng tiện MOOV Movie metadata Siêu dữ liệu video MPEG Moving Picture Experts Group Nhóm các chuyên gia hình ảnh động RTCP Real-Time Control Protocol Giao thức quản lý thời gian thực RTP Real-time Transport Protocol Giao thức truyền thông thời gian thực RTSP Real-Time Streaming Protocol Giao thức truyền dòng dữ liệu thời gian thực 7 DANH MỤC CÁC BẢNG Bảng 1.1: Một số định dạng tập tin thƣờng dùng cho video streaming 19 Bảng 1.2: Thông tin một số phần của chuẩn MPEG-4 22 Bảng 1.3: Một số kiểu atom của định dạng MP4 27 Bảng 1.4: Một số thông số của 4 tập tin video MP4 mẫu 28 Bảng 4.1: Thông số 3 tệp tin video sử dụng để đo đạc 59 Bảng 4.2: Kết quả đo thời gian bắt đầu trung bình khi sử dụng phƣơng pháp Atom Caching và sử dụng phƣơng pháp tải về tiến bộ sử dụng giao thức HTTP trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 512 Kbps 62 Bảng 4.3: Kết quả đo thời gian bắt đầu trung bình khi sử dụng phƣơng pháp Atom Caching và sử dụng phƣơng pháp tải về tiến bộ sử dụng giao thức HTTP trong trƣờng hợp tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 2 Mbps 63 Bảng 4.4: Kết quả đo thời gian bắt đầu trung bình khi sử dụng phƣơng pháp Atom Caching và sử dụng HLS trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách là 512 Kbps 64 Bảng 4.5: Kết quả đo thời gian bắt đầu trung bình khi sử dụng phƣơng pháp Atom Caching và sử dụng HLS trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 2 Mbps 66 8 DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1:Kiến trúc của hệ thống video streaming 13 Hình 1.2 :Cấu trúc bộ mã hóa và giải mã video MPEG-4 23 Hình 1.3: Định dạng MP4 là mở rộng của định dạng tệp tin ISO (ISO base media file format, MPEG-4 Part 12) 24 Hình 1.4:Cấu trúc định đạng ISO Base Media Format MPEG-4 part 12 26 Hình 1.5: Ví dụ một đoạn nhỏ của tệp tin MP4 26 Hình 1.6: Một vài atom của một tập tin MP4 mẫu 27 Hình 1.7: Tập tin MP4 trƣớc khi sử dụng kỹ thuật MP4 fast start 30 Hình 1.8: Tập tin MP4 sau khi sử dụng kỹ thuật fast start 31 Hình 2.1: Tổng quan về kỹ thuật streaming thích ứng tốc độ bit dựa trên giao thức HTTP 33 Hình 2.2: Ví dụ đơn giản về hoạt động của DASH 35 Hình 2.3: Kiến trúc DASH 37 Hình 2.4: Cấu trúc tệp tin trình bày phƣơng tiện truyền thông của DASH 38 Hình 2.5: Cấu trúc định dạng tệp tin MP4 dùng cho Microsoft Smooth Streaming 40 Hình 2.6: Cấu trúc từng „chunk‟ của Microsoft Smooth Streaming 40 Hình 2.7: Các thành phần và hoạt động của HLS 42 Hình 2.8 : Định dạng tập tin chỉ mục của HLS 43 Hình 3.1: Mô hình hoạt động của phƣơng pháp đề xuất 45 Hình 3.2: Các thành phần trên máy chủ MP4_atom_caching 46 Hình 3.3 : Hoạt động của dịch vụ upload video 47 Hình 3.4 :M_process và S_process thao tác với Q_ring 48 Hình 3.5: Cấu trúc hàng đợi Q_ring 49 Hình 3.6: Hoạt động của M_process 50 Hình 3.7: Hoạt động của S_process 51 Hình 3.8: Hoạt động của dịch vụ phân phối video 51 Hình 3.9: Các thành phần trên máy khách MP4_atom_caching 52 Hình 3.10: Lƣu đồ hoạt động của plugin atom header caching ở máy khách 53 Hình 4.1: Thông tin cài đặt hệ thống đánh giá hiệu năng 58 Hình 4.2: Cấu trúc tệp tin emulator.txt 61 Hình 4.3 :Kết quả đo đạc trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 512 Kbps. 62 Hình 4.4 :Kết quả đo đạc trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 2Mbps 63 9 Hình 4.5: Kết quả đo đạc trong trƣờng hợp thiết lập tốc độ tối đa của kết nối HTTP giữa máy chủ và máy khách bằng 512 Kbps 65 10 LỜI MỞ ĐẦU Khoảng những năm nửa cuối thập niên 90, việc xem một video trên mạng là rất khó khăn. Tuy nhiên, sau khi Internet bùng nổ vào năm 1993, ngƣời ta đã bắt đầu thử nghiệm việc truyền video trên Internet. Ngày nay, với sự phát triển nhanh chóng của mạng Internet, các ứng dụng đa phƣơng tiện trong đó có video streaming đã trở thành nhu cầu không thể thiếu của ngƣời dùng. Đối với các định dạng tệp tin video truyền thống, dữ liệu chỉ có thể hiển thị khi đã đƣợc tải về toàn bộ tệp tin. Với các tệp tin video chất lƣợng cao có dung lƣợng lớn thì công việc này sẽ tiêu tốn rất nhiều thời gian. Một tập tin video có thể mất thời gian thực tế để tải về lớn hơn chiều dài của video. Streaming video cho phép ngƣời sử dụng bắt đầu xem các video đƣợc lƣu trữ trên máy chủ streaming mà không cần tải về trƣớc tập tin. Mục tiêu chính của luận văn là cung cấp cái nhìn tổng thể về video streaming trên mạng Internet, một số mô hình video streaming trên mạng Internet và đề xuất phƣơng pháp mới giúp giảm thiểu thời gian bắt đầu cho các ứng dụng truyền tải video định dạng MP4. Phƣơng pháp đề xuất, Atom caching, sử dụng kỹ thuật lấy trƣớc và cache thông tin header của file video nhằm rút ngắn thời gian trễ khởi động của một phiên xem video. Tác giả cũng tiến hành phân tích, đo đạc, và đánh giá ƣu, nhƣợc điểm của các mô hình video streaming đang đƣợc áp dụng trên thực tế so với phƣơng pháp đƣợc đề xuất. Bố cục luận văn đƣợc tuân thủ chặt chẽ theo mẫu ban hành của trƣờng Đại Học Công Nghệ - ĐHQGHN gồm 4 chƣơng chính, ngoài ra còn có các phần mở đầu, kết luận và tài liệu tham khảo. Phần kết luận nêu tóm tắt các vấn đề đã trình bày trong các chƣơng, đánh giá các kết quả đã đạt đƣợc, đồng thời đƣa ra các định hƣớng nghiên cứu, phát triển tiếp theo. Nội dung các chƣơng đƣợc tóm tắt nhƣ sau: Chƣơng 1: Video streaming trên mạng Internet. Chƣơng 2: Một số phƣơng pháp video streaming sử dụng video định dạng MP4. Chƣơng 3: Phƣơng pháp Atom Caching Chƣơng 4: Đánh giá hiệu năng của phƣơng pháp Atom Caching. Trong quá trình hoàn thành luận văn của mình, tác giả đã hết sức cố gắng, song luận văn còn những hạn chế nhất định, tác giả rất mong nhận đƣợc những góp ý để vấn đề nghiên cứu này ngày càng đƣợc hoàn thiện hơn. Qua đây, tác giả xin chân thành cảm ơn TS. Hoàng Xuân Tùng, thầy đã gợi ý về đề tài, thầy [...]... Sample3 .mp4: Các thông số tƣơng tự với video Sample2 .mp4 tuy thời lƣợng video chỉ bằng ½ so với tập tin Sample2 .mp4 Độ lớn atom header của tệp tin Sample3 .mp4 là 2.0 MB Tệp tin Sample4 .mp4: Các thông số tƣơng tự với video Sample3 .mp4 tuy thời lƣợng video chỉ bằng ½ so với tập tin Sample3 .mp4 Độ lớn atom header của tệp tin Sample4 .mp4 là 1.0 MB 1.4 Quá trình streaming video định dạng MP4 Mỗi tập tin MP4. .. định dạng video phổ biến nhất sử dụng bởi các website MP4 chiếm tới 69% định dạng video sử dụng trên các website, và 58% định dạng video sử dụng trên các thiết bị di động MP4 tƣơng thích với hầu hết các máy tính, điện thoại di động, máy tính bảng , đồng thời MP4 cũng đƣợc sử dụng bởi hầu hết các dịch vụ lƣu trữ video và các website hiện nay Trƣớc kia, muốn play các video thông qua trình duyệt web thì... bảng 1.4, độ lớn của atom header phụ thuộc vào thời lƣợng video Đối với các video thời lƣợng dài, độ lớn atom header sẽ là đáng kể Chính vì vậy thời gian bắt đầu của các video này cũng sẽ khá lớn Hiện nay, các phƣơng pháp đang đƣợc áp dụng trong thực tế có thể giúp giảm thời gian bắt đầu khi streaming video định dạng MP4 dựa chủ yếu trên hai kỹ thuật: + Kỹ thuật caching: atom header đƣợc lƣu trữ ở nơi... 19 1.2.4 Các định dạng tệp tin video thƣờng dùng cho video streaming Các tệp tin video thƣơng đƣợc chia thành 2 loại: tệp tin video codec và tệp tin video không codec Một số định dạng tập tin video, khi nhìn vào phần mở rộng của tập tin video có thể xác định đƣợc loại codec mà video đó sử dụng nhƣ: WMV, MOV… Tuy nhiên, một số loại tập tin không chỉ định chính xác loại codec nào khi nhìn vào phần mở... streaming Với kỹ thuật này, atom header sẽ nhanh chóng đƣợc truyền tải đến máy khách + Kỹ thuật chia nhỏ: video sẽ đƣợc chia thành các đoạn nhỏ hơn Mỗi đoạn video nhỏ này có thời gian ngắn nên sẽ có thời gian bắt đầu nhỏ hơn 32 2 CHƢƠNG II - Một số phƣơng pháp video streaming sử dụng video định dạng MP4 2.1 Phƣơng pháp tải về tiến bộ sử dụng giao thức HTTP Phƣơng pháp tải về tiến bộ sử dụng giao thức... phổ thông thƣờng nhầm lẫn giữa MP4 và MPEG-4 - MPEG-4 là một phƣơng pháp nén âm thanh, hình ảnh kỹ thuật số, MPEG-4 đƣợc thiết kế để trở thành một chuẩn cho một nhóm các phƣơng pháp mã hóa âm thanh và video MPEG-4 có thể đƣợc sử dụng để nén dữ liệu audio, video cho các trang web, sử dụng cho phƣơng tiện truyền thông, cũng nhƣ cho các ứng dụng phát sóng truyền hình bằng giọng nói - MP4 là một định dạng. .. từ cuối tập tin về đầu tập tin MP4 (nằm ngay sau atom „ftyp‟) Hình 1.8 là ví dụ một video MP4 chƣa đƣợc “fast start”, atom moov đang nằm ở cuối tệp tin Hình 1.7: Tập tin MP4 trước khi sử dụng kỹ thuật MP4 fast start Sau khi thực hiện kỹ thuật MP4 fast start với video MP4 này Atom moov đã đƣợc chuyển lên trƣớc so với atom mdat nhƣ hình vẽ 1.9 31 Hình 1.8: Tập tin MP4 sau khi sử dụng kỹ thuật fast start... ảnh nhằm đáp ứng theo yêu cầu của từng ngƣời sử dụng, nhiều kỹ thuật điều khiển chất lƣợng dịch vụ tầng ứng dụng đã đƣợc đƣa ra Có 2 kỹ thuật thƣờng đƣợc dùng ở đây: 15 + Kỹ thuật điều khiển tắc nghẽn + Kỹ thuật kiểm soát lỗi Kỹ thuật điều khiển tắc nghẽn đƣợc sử dụng để ngăn ngừa mất gói dữ liệu và giảm trễ nhằm kiểm soát lỗi Kỹ thuật kiểm soát lỗi nhằm phát hiện và sửa đổi khi các gói tin bị lỗi bit... streaming sẽ lấy video và âm thanh đã đƣợc nén và lƣu trong các thiết bị lƣu trữ sau đó cùng với phần mềm quản lý chất lƣợng dịch vụ QoS (Quality of Service) tầng ứng dụng điều chỉnh video và âm thanh thành các luồng bit tùy theo tình trạng mạng và các yêu cầu QoS Tiếp theo sử dụng các giao thức truyền tải nén các chuỗi bit rồi gửi các gói tin video và âm thanh qua mạng Internet Các gói tin truyền tải trong... thiết bị play video Hiện tại, với việc các trình duyệt hỗ trợ HTML5 có thể play trực tiếp tập tin MP4 của các website sử dụng HTML 5 MOV – Apple QuickTime QuickTime Movie là định dạng đƣợc Apple Movie phát triển Cũng là một định dạng thƣờng đƣợc sử dụng trên Internet 1.3 Định dạng MP4 1.3.1 Sự phổ biến của định dạng MP4 Theo khảo sát của Sorenson Media [7], định dạng MP4 đã trở thành định dạng video phổ . TIẾN NAM GIẢM THIỂU THỜI GIAN BẮT ĐẦU CHO CÁC ỨNG DỤNG TRUYỀN TẢI VIDEO ĐỊNH DẠNG MP4 SỬ DỤNG KỸ THUẬT LẤY TRƢỚC VÀ CACHE THÔNG TIN HEADER (Reducing Startup Time for MP4 Video Streaming. TIẾN NAM GIẢM THIỂU THỜI GIAN BẮT ĐẦU CHO CÁC ỨNG DỤNG TRUYỀN TẢI VIDEO ĐỊNH DẠNG MP4 SỬ DỤNG KỸ THUẬT LẤY TRƢỚC VÀ CACHE THÔNG TIN HEADER (Reducing Startup Time for MP4 Video Streaming. [7], định dạng MP4 đã trở thành định dạng video phổ biến nhất sử dụng bởi các website. MP4 chiếm tới 69% định dạng video sử dụng trên các website, và 58% định dạng video sử dụng trên các thiết