Nghiên cứu giải pháp mạng ngang hàng cho hệ thống truyền hình theo yêu cầu

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ -* - CAO LÊ MẠNH HÀ NGHIÊN CỨU GIẢI PHÁP MẠNG NGANG HÀNG CHO HỆ THỐNG TRUYỀN HÌNH THEO YÊU CẦU Ngành: Công nghệ Thông tin Chuyên ngành: Truyền liệu mạng máy tính Mã số: 60 48 15 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Văn Tam Hà Nội - 2009 MỤC LỤC LỜI CAM ĐOAN .Error! Bookmark not defined LỜI CẢM ƠN Error! Bookmark not defined MỞ ĐẦU .10 CHƢƠNG – TỔNG QUAN 13 1.1 Khái quát truyền hình theo yêu cầu 13 1.2 Truyền hình theo yêu cầu dựa mô hình tập trung 16 1.2.1 Những hạn chế mô hình tập trung 16 1.2.1.a Cách tiếp cận dựa Unicast 16 1.2.1.b Cách tiếp cận dựa Multicast 20 1.2.2 Một số hệ thống VoD Error! Bookmark not defined 1.3 Truyền hình theo yêu cầu dựa mạng ngang hàngError! Bookmark not defined 1.3.1 Khái quát mạng ngang hàng Error! Bookmark not defined 1.3.2 Phân loại mạng ngang hàng Error! Bookmark not defined 1.3.2.a Phân loại theo cấu trúc liên kết Error! Bookmark not defined 1.3.2.b Phân loại theo phương thức tìm kiếm Error! Bookmark not defined 1.3.3 Mô hình VoD ngang hàng: tiềm thách thứcError! Bookmark not define 1.3.4 Giới thiệu số hệ thống VoD ngang hàngError! Bookmark not defined 1.3.4.a GnuStream Error! Bookmark not defined 1.3.4.b P2Cast Error! Bookmark not defined 1.3.4.c BiToS Error! Bookmark not defined 1.4 Nhận xét - đánh giá Error! Bookmark not defined CHƢƠNG – HỆ THỐNG GIẢI PHÁP PPVoDError! Bookmark not defined 2.1 Tổng quan hệ thống Error! Bookmark not defined 2.1.1 Ý tưởng xây dựng Error! Bookmark not defined 2.1.2 Các thành phần hệ thống Error! Bookmark not defined 2.1.3 Hoạt động hệ thống Error! Bookmark not defined 2.2 Cơ chế quản lý mục Error! Bookmark not defined 2.2.1 Tổ chức mục Error! Bookmark not defined 2.2.2 Cập nhật mục Error! Bookmark not defined 2.3 Phân phối lƣu đệm liệu Error! Bookmark not defined 2.4 Tạo dòng truyền tải video streaming Error! Bookmark not defined 2.4.1 Lựa chọn peer cung cấp Error! Bookmark not defined 2.4.2 Giải thuật lập lịch Error! Bookmark not defined 2.4.3 Đánh giá độ phức tạp giải thuật Error! Bookmark not defined 2.4.4 Thiết lập phiên streaming Error! Bookmark not defined 2.5 Vấn đề bảo mật hệ thống Error! Bookmark not defined CHƢƠNG - MÔ PHỎNG VÀ ĐÁNH GIÁ HIỆU NĂNGError! Bookmark not defined 3.1 Các tham số kịch mô Error! Bookmark not defined 3.2 Kết mô Error! Bookmark not defined 3.2.1 Khả đáp ứng hệ thống Error! Bookmark not defined 3.2.2 Lưu lượng tải truy cập server Error! Bookmark not defined 3.2.3 Tác động băng thông video server Error! Bookmark not defined 3.2.4 Mức độ cộng tác peer Error! Bookmark not defined 3.2.5 Thời gian khởi tạo đệm Error! Bookmark not defined 3.2.6 Các kích thước mạng khác Error! Bookmark not defined CHƢƠNG – MỘT MÔ HÌNH ỨNG DỤNG CHO IPTVError! Bookmark not defined 4.1 Tình hình phát triển dịch vụ IPTV Việt NamError! Bookmark not defined 4.2 Tổ chức hệ thống cung cấp dịch vụ VoD Error! Bookmark not defined 4.3 Khả triển khai ứng dụng Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 22 DANH MỤC CÁC TỪ VIẾT TẮT  ALMT (Application Level Multicast Tree): Cây multicast tầng ứng dụng  BGP (Border Gateway Protocol): Giao thức tìm đường nòng cốt Internet  C/S (Client/Server): Mô hình Khách/Chủ  CBR (Constant bit rate): Tốc độ bit không đổi  CDN (Content Distribution Network): Mạng phân phối nội dung  DHT (Distributed Hash Table): Bảng băm phân tán  IPTV (Internet Protocol Television): Phương thức truyền hình qua mạng Internet  ISP (Internet Service Provider): Nhà cung cấp dịch vụ Internet  LRU (Least Recently Used): Chiến lược chọn thành phần sử dụng nhớ  P2P (Peer-to-Peer): Mạng đồng đẳng, mạng ngang hàng  RTT (Round Trip Time): Thời gian trễ trọn vòng (của gói tin/tín hiệu)  STB (Set-top Box): Hộp chuyển đổi tín hiệu Tivi  VoD (Video on Demand): Truyền hình/video theo yêu cầu DANH MỤC HÌNH VẼ Hình 1.1-1: Mô hình vật lý hệ thống VoD .14 Hình 1.1-2: Mô hình quảng bá tập trung .15 Hình 1.1-3: Mô hình quảng bá phi tập trung .16 Hình 1.2.1.a-1: Phân phối media theo cách tiếp cận Client/Server .18 Hình 1.2.1.a-2: Phân phối media theo cách tiếp cận dựa proxy 19 Hình 1.2.1.a-3: Phân phối media sử dụng mạng CDN 20 Hình 1.2.1.b-1: Kỹ thuật Batching sử dụng kênh server, 21 bắt đầu sau đợt 20 phút 21 Hình 1.2.1.b-2: Kỹ thuật Patching (unicast) Error! Bookmark not defined Hình 1.2.1.b-3: Phân phối media sử dụng kỹ thuật multicast tầng mạngError! Bookmark no Hình 1.2.1.b-4: Phân phối media sử dụng kỹ thuật multicast tầng ứng dụngError! Bookmark Hình 1.2.2-1: Ảnh chụp hình CNN PipelineError! Bookmark not defined Hình 1.2.2-2: Ảnh chụp hình YouTube Error! Bookmark not defined Hình 1.2.2-3: Ảnh chụp hình Uitzending GemistError! Bookmark not defined Hình 1.3-1: Thống kê lưu lượng mạng toàn cầu CacheLogic năm 2006Error! Bookmark Hình 1.3.1-1: Kiến trúc Peer-to-Peer Error! Bookmark not defined Hình 1.3.2.a-1: Phân tán video a) theo dây truyền,Error! Bookmark not defined b) theo dạng c) theo swarm peer.Error! Bookmark not defined Hình 1.3.2.b-1: Phân loại mô hình mạng ngang hàng.Error! Bookmark not defined Hình 1.3.2.b-2: Tiến trình tìm kiếm trao đổi liệu mạng Naspter.Error! Bookmark Hình 1.3.2.b-3: Tiến trình tìm kiếm trao đổi liệu mạng Gnutella.Error! Bookmar Hình 1.3.2.b-4: Tiến trình tìm kiếm trao đổi liệu mạng KaZaa.Error! Bookmark Hình 1.3.4.b-1: Giải thuật tiếp nhận Client P2CastError! Bookmark not defined Hình 1.3.4.c-1: Cơ chế hoạt động BiTos Error! Bookmark not defined Hình 1.3.4.c-2: Cơ chế chọn mảnh BiTos Error! Bookmark not defined Hình 2.1.3-1: Minh họa kiến trúc hệ thống Error! Bookmark not defined Hình 2.1.3-2: Minh họa chế trao đổi Client Web server.Error! Bookmark not def Hình 2.1.3-3: Minh họa chế trao đổi Client Tracker.Error! Bookmark not define Hình 2.1.3-4: Minh họa chế trao đổi peer gửi yêu cầu peer cung cấp Error! Bookmark not defined Hình 2.1.3-5: Một ví dụ cách thức kết hợp băng thông từ peer cung cấp Error! Bookmark not defined Hình 2.1.3-6: Giải thuật thực hệ thống Error! Bookmark not defined Hình 2.2.2-1: Ví dụ minh họa cách thức tổ chức phân cụmError! Bookmark not defined Hình 2.4.2-1: Các giải thuật Round Robin Bandwidth ProportionError! Bookmark not de Hình 2.4.2-2: Giải thuật đề xuất Error! Bookmark not defined Hình 2.4.2-2: Minh họa việc gán block cho supplier sử dụng giải thuật Error! Bookmark not defined Round Robin, Bandwidth Proportion Estimate TimeError! Bookmark not defined Hình 2.5-1: Một peer bị công chuyển tiếp nội dung ô nhiễmError! Bookmark not define cho peer khác mạng Error! Bookmark not defined Hình 3.1.2-1: Các kiểu tần suất truy cập khác áp dụngError! Bookmark not d mô Error! Bookmark not defined Hình 3.2.1-1: Kết mô khả đáp ứng hệ thốngError! Bookmark not defin với tần suất truy cập khác Error! Bookmark not defined Hình 3.2.2-1: Lưu lượng tải truy cập server ứng với 72 tần suất truy cập khác Error! Bookmark not defined Hình 3.2.3-1: Tác động băng thông server hiệu hệ thống .Error! Bookmark not defined Hình 3.2.4-1: Số lượng peer phục vụ đồng thời hệ thốngError! Bookmark not de ứng với mức độ cộng tác khác peer.Error! Bookmark not defined Hình 3.2.4-1: Lưu lượng tải truy cập server Error! Bookmark not defined ứng với mức độ cộng tác khác peer.Error! Bookmark not defined Hình 3.2.5-1: Thời gian khởi tạo đệm ứng với giải thuật RR, BP ET Error! Bookmark not defined Hình 3.2.6-1: Khả phục vụ hệ thống Error! Bookmark not defined ứng với kích thước mạng khác Error! Bookmark not defined Hình 4.1-1: Ảnh chụp hình iTV, lấy từ địa www.iTV.vnError! Bookmark not defin Hình 4.1-2: Tốc độ truyền liệu IPTV công nghệ DSLError! Bookmark not define Hình 4.2-1: Cấu trúc giải pháp cung cấp dịch vụ VoDError! Bookmark not defined DANH MỤC BẢNG BIỂU Bảng 1-1: So sánh ưu, nhược điểm mô hìnhError! Bookmark not defined Bảng 2-1: Các ký hiệu sử dụng giải thuậtError! Bookmark not defined MỞ ĐẦU Sự phổ biến Internet băng thông rộng mở giai đoạn phát triển bùng nổ ứng dụng truyền thông đa phương tiện (multimedia streaming) Sức hấp dẫn ứng dụng (đặc biệt lĩnh vực giải trí) khiến cho số lượng người dùng tăng lên nhanh chóng Tuy nhiên, theo xu phát triển số lượng người dùng ngày nhiều mà nhu cầu chất lượng ngày cao đòi hỏi băng thông phục vụ hệ thống ngày lớn Với cách tiếp cận hầu hết hệ thống dựa mô hình Client/Server (sử dụng vài server lưu trữ liệu phục vụ cho tất client) với đặc điểm tiêu tốn băng thông ứng dụng multimedia streaming khiến cho server có nguy bị tải Đặc biệt hệ thống truyền hình theo yêu cầu (Video on demand - VoD), có số lượng người xem lớn, lượng chương trình phong phú, tiêu tốn lượng lớn băng thông mạng cần nhiều dung lượng lưu trữ Nhận thấy hạn chế này, giải pháp quảng bá video dựa IP multicast đề xuất Mặc dù xuất từ năm 90 tốn nhiều nỗ lực đầu tư - nghiên cứu đến triển khai không đồng nhà cung cấp dịch vụ khác khiến cho công nghệ multicast không phổ biến Để đạt hiệu mong muốn, nhiều công ty lớn phải chấp nhận giải pháp proxy-base mạng phân phối nội dung CDN có chi phí thuê bao tốn Nhưng số lượng người dùng ngày tăng dẫn đến chi phí cho hệ thống ngày nhiều lại cản trở cho mục tiêu thương mại Việc xây dựng hệ thống VoD đạt hiệu quy mô tiết kiệm mặt chi phí điều mà nhà cung cấp dịch vụ truyền hình qua mạng hướng tới Tuy lên năm gần công nghệ mạng ngang hàng Peer-to-Peer (P2P) thu hút nhiều quan tâm ý Nhờ việc cho phép peer phục vụ lẫn tận dụng hiệu tài nguyên dư thừa hệ thống nên giải pháp P2P khắc phục hạn chế kiến trúc Client/Server Công nghệ không cho phép hệ thống đáp ứng lượng lớn truy cập tăng đột biến mà có khả mở rộng quy mô (scalability) Hơn giải pháp P2P không cần đến yêu cầu đặc biệt phần cứng mạng nên dễ triển khai Những đầu tư nghiên cứu cho Peer-to-Peer ngày nhiều dẫn đến kết ứng dụng P2P ngày phổ biến, số kể ứng dụng chia sẻ file (BitTorrent, uTorrent, eMule), ứng dụng hội thoại qua mạng VoIP (Skype)… Mặc dù vậy, việc xây dựng ứng dụng quảng bá video dựa mạng ngang hàng video ondemand gặp nhiều khó khăn - thách thức Khó khăn chủ yếu xuất phát từ nhược điểm mạng ngang hàng mức độ tham gia đóng góp tài nguyên peer không đồng đều, peer tham gia ngắt kết nối khỏi hệ thống vào thời điểm Trong ứng dụng VoD lại loại ứng dụng yêu cầu hiệu thời gian thực băng thông lớn Điều khiến cho việc xây dựng ứng dụng VoD dựa mạng ngang hàng trở nên phức tạp hẳn so với mô hình Client/Server Mặt khác hầu hết ứng dụng ngang hàng ứng dụng miễn phí, VoD vốn loại hình dịch vụ chủ yếu cung cấp công ty truyền thông nhà cung cấp dịch vụ Việc chuyển đổi hệ thống sang kiến trúc phân tán Peer-to-Peer mà trì phương thức quản lý dịch vụ kiến trúc tập trung Client/Server điều không đơn giản Mục đích luận văn “Nghiên cứu giải pháp mạng ngang hàng cho hệ thống truyền hình theo yêu cầu” nhằm đưa giải pháp cho vấn đề kể Ý tưởng giải pháp luận văn xây dựng hệ thống video on demand dựa kiến trúc mạng ngang hàng lai ghép, nhằm kết hợp ưu điểm kiến trúc ngang hàng túy Client/Server Trong server trì chức quản lý, mạng ngang hàng sử dụng để giảm tải cho server Với đặc điểm mang tính phức tạp toán xây dựng hệ thống có nhiều khía cạnh cần phải xét đến, khuôn khổ luận văn mình, tác giả tập trung vào bốn nội dung chính: - Xây dựng chế quản lý mục nhằm quản lý liệu phân tán hỗ trợ peer tìm kiếm chia sẻ tài nguyên - Nghiên cứu chế lưu đệm (caching) để giúp cho việc tìm kiếm download peer thuận tiện tối ưu - Với đặc tính biến động (dynamic) hỗn tạp (heterogeneous) mạng ngang hàng Tác giả xây dựng giải thuật lập lịch nhằm kết hợp băng thông từ nhiều peer cung cấp phục vụ cho yêu cầu streaming đảm bảo chất lượng dịch vụ (playback quality) cho client - Thông qua tìm hiểu vấn đề bảo mật, tác giả đánh giá lựa chọn giải pháp bảo mật thích hợp cho hệ thống để đối phó với hình thức công ô nhiễm (pollution attack) hình thức công đặc trưng hệ thống media streaming dựa mạng ngang hàng  Luận văn có cấu trúc sau: Luận văn bao gồm năm chương, Chương tìm hiểu đánh giá hạn chế cách tiếp cận dựa mô hình tập trung Client/Server, sau tổng quan mạng ngang hàng giới thiệu số hệ thống VoD dựa mạng ngang hàng Nội dung Chương tập trung mô tả hệ thống giải pháp PPVoD, phần đầu tổng quan hệ thống, đề cập đến chế quản lý mục phương thức lưu đệm tìm kiếm phân đoạn video Trong chương tác giả đề xuất giải thuật lập lịch media streaming, phần cuối chương đề cập đến vấn đề bảo mật cho hệ thống Chương trình bày mô thử nghiệm đánh giá hiệu hệ thống PPVoD Chương đề cập đến mô hình ứng dụng cho IPTV Cuối cùng, Chương kết luận định hướng phát triển đề tài tương lai CHƢƠNG – TỔNG QUAN 1.1 Khái quát truyền hình theo yêu cầu Truyền hình theo yêu cầu (Video on demand / VoD) hệ thống cho phép người dùng lựa chọn để xem nội dung video theo yêu cầu Đây công nghệ truyền hình tương tác cho phép người xem (các thuê bao) xem trực tiếp thu lại chương trình để xem sau Một hệ thống VoD truyền thống, góc độ người dùng bao gồm TiVi hộp chuyển đổi tín hiệu STB (set-top box) Bên cạnh đó, dịch vụ cung cấp qua mạng Internet cho máy tính gia đình, máy tính xách tay, dòng điện thoại cao cấp thiết bị giải trí số Người dùng có quyền lựa chọn xem video (từ video clip tin tức, thể thao, giải trí Internet phim đầy đủ có độ nét cao) từ nhà cung cấp dịch vụ Internet (ISP) công ty truyền hình cáp, ngồi nhà có toàn quyền điều khiển việc xem video giống việc sử dụng đầu DVD thông thường, bao gồm chức phát hình (play), tạm dừng (pause), tua nhanh (fast forward), tua lại (rewind), nhảy qua khung hình trước/sau (skip) Phần lớn dịch vụ video on-demand có từ hàng trăm đến hàng nghìn phim, từ cũ đến Ngoài có chương trình TV cho phép người dùng download để xem Thậm chí vài nhà cung cấp dịch vụ lưu toàn chương trình TV suốt hàng tháng để người dùng xem lại khoảng thời gian sau Để cung cấp đủ băng thông cho dịch vụ truyền hình qua mạng, nhà cung cấp dịch vụ phải sử dụng đường truyền xDSL tốc độ cao mạng truyền hình cáp để phân phối nội dung video tới người xem Ví dụ công ty AT&T LightSpeed Mỹ sử dụng mạng Fiber-to-the-Neighborhood (FTTN) Kiến trúc mạng gồm vài siêu đầu cuối (Super Head End - SHE) quốc gia lượng lớn tổng đài phân phối video địa phương (Video Hub Office - VHO) Các siêu đầu cuối SHE đóng vai trò điểm tập trung cung cấp nội dung video quảng bá on-demand phạm vi quốc gia Mỗi tổng đài tập trung VHO đảm nhận phục vụ thư viện lớn video theo yêu cầu phân phối nội dung thông qua chuyển đổi truy cập địa phương (local access switch) tới khách hàng Có hai kiểu hệ thống video on demand bao gồm: streaming video on demand download video on demand Hệ thống streaming VoD cho phép xem phim gần trực tiếp Trong với hệ thống download VoD phim phải tải xuống toàn trước bắt đầu xem Nội dung luận văn tập trung chủ yếu vào vấn đề streaming video on demand Hình 1.1-1: Mô hình vật lý hệ thống VoD Liên quan đến khái niệm video on-demand có thuật ngữ live streaming, progressive download thường gặp nhiều tài liệu khác Chúng ta phân biệt thuật ngữ sau: - Real-time/live streaming: xem video trực tiếp Có nghĩa client gửi yêu cầu xem video (sau bắt đầu phát) xem video từ thời điểm phát từ thời điểm bắt đầu video - Progressive download/video on-demand: xem video từ đầu Người xem xem video lựa chọn vào thời gian lựa chọn thích hợp Sự phân biệt hình thức live streaming on-demand streaming bị lu mờ số phần mềm phía client lưu lại dòng video thời gian thực phát lại cần thiết Tuy nhiên xem streaming trực tiếp Một số thuật ngữ liên quan đến khái niệm bit rate video cần phải quan tâm bao gồm: - Tốc độ bit phát lại (Playback bit rate): Số bit sử dụng giây cho việc trình diễn audio video sau mã hóa (nén liệu) - Tốc độ bit không đổi (Constant bit rate): Video có tốc độ bit không đổi sử dụng tổng số bit giây vào thời điểm phát hình - Tốc độ bit thay đổi (Variable bit rate): Với video có tốc độ bit thay đổi, tổng số bit giây khác Kỹ thuật cho phép sử dụng nhiều bit giây cho đoạn video audio phức tạp cho đoạn video audio đơn giản Dựa công nghệ quảng bá sử dụng phân chia truyền hình theo yêu cầu theo hai loại: - Tập trung hóa (Centralized): Có server đơn (hoặc nhóm server) gửi video cho tất client - Phi tập trung (Non-centralized): Không có phân biệt client server, client chủ động tham gia vào việc gửi video cho client khác Trong cách tiếp cận dựa phương thức quảng bá tập trung, server chịu trách nhiệm lưu trữ, truy xuất truyền liệu Mặt khác client chịu trách nhiệm giải mã phát hình Phần lại ứng dụng logic đặt client, server chia cho hai Hình 1.1-2: Mô hình quảng bá tập trung Cách tiếp cận dựa phương thức quảng bá phi tập trung sử dụng giải pháp dựa mạng ngang hàng (Peer-to-Peer) Đặc điểm mạng ngang hàng cho phép peer (đồng đẳng) cộng tác với mà không cần tới thành phần trung tâm Cũng có cách tiếp cận khác kết hợp hệ thống kể trên, hệ thống có server sử dụng client để làm giảm băng thông yêu cầu server Những hệ thống gọi hệ thống lai ghép Hình 1.1-3: Mô hình quảng bá phi tập trung 1.2 Truyền hình theo yêu cầu dựa mô hình tập trung 1.2.1 Những hạn chế mô hình tập trung Dựa theo phương thức phân phối liệu, cách tiếp cận theo mô hình tập trung phân thành hai loại: đơn phát (unicast-base) đa phát (multicastbase) Những phân tích làm rõ ý tưởng hạn chế cách tiếp cận 1.2.1.a Cách tiếp cận dựa Unicast Trong cách tiếp cận dựa unicast unicast stream thiết lập cho client Cụ thể có ba cách tiếp cận sử dụng kết nối unicast cho streaming theo yêu cầu: tập trung (Centralized), ủy nhiệm (Proxy) mạng phân phối nội dung (Content Distribution Networks - CDN) Tập trung (Centralized) Cách tiếp cận tập trung theo mô hình Client/Server sử dụng nhiều server có cấu hình mạnh, băng thông rộng nhớ lưu trữ lớn để phục vụ cho yêu cầu streaming Cách tiếp cận có ưu điểm dễ triển khai quản lý Tuy nhiên với ứng dụng đòi hỏi băng thông cao VoD hệ thống gặp khó khăn để đạt thông lượng truyền tải mong muốn Do hạn chế phương thức phân phối liệu hệ thống mạng, bất chấp việc có sử dụng UDP, TCP hay giao thức truyền tải khác VoD server phải truyền thông với client cách độc lập Bởi client gửi yêu cầu cho phân đoạn khác video chí có nhiều client yêu cầu phân đoạn video lại thời điểm khác nội dung video Điều buộc server phải lặp lặp lại việc truyền tải nội dung liệu giống truyền luồng liệu độc lập cho client, khiến cho hệ thống bị hạn chế khả mở rộng (scalability) Mặt khác, có nhiều người truy cập đồng thời chất lượng dịch vụ lại giảm hạn chế tài nguyên server Còn server bị cố (single point of failure) dẫn đến ngưng hoạt động toàn hệ thống Không thế, xuất phát từ hạn chế cách tiếp cận dựa mô hình tập trung làm nảy sinh hai vấn đề khác là: chi phí cao tải nặng đường backbone mạng - Chi phí cao xuất phát từ yêu cầu băng thông nhớ lưu trữ Để đánh giá vấn đề chi phí, xem xét ví dụ: hệ thống để đạt khả phục vụ 1000 người xem đồng thời, với chất lượng hình ảnh tương đương TV cần phải mã hóa video theo chuẩn MPEG-4 bitrate 1.5Mbps, đòi hỏi dung lượng hệ thống phải đạt cỡ 1.5Gbps Để đạt dung lượng chi phí thuê bao đường truyền cho hệ thống lớn Mặt khác, hệ thống trì thư viện bao gồm 1000 video (được mã hóa theo chuẩn MPEG-4), với độ dài chừng video có dung lượng xấp xỉ 1.4GB Dẫn đến dung lượng lưu trữ cần thiết để lưu toàn video vào khoảng 1.4Terabyte Không thế, để đáp ứng nhu cầu người xem theo thời gian số lượng video phải đưa vào hệ thống ngày nhiều Cho dù có sử dụng nhiều server để giảm tải chi phí triển khai trì hệ thống tốn - Vấn đề tải nặng đường backbone mạng xuất có số lượng lớn client truy cập vào server đồng thời, phần lớn lưu lượng truyền tải phải qua mạng diện rộng WAN Việc liệu phải truyền qua nhiều chặng (hop) mạng dễ làm xuất khả biến thiên độ trễ tỉ lệ mát gói tin cao tượng nghẽn mạng xuất lúc Hình 1.2.1.a-1: Phân phối media theo cách tiếp cận Client/Server Ủy nhiệm (Proxy) Trong cách tiếp cận dựa proxy, proxy server đặt gần khu vực có máy khách (client domain) Đối với video có kích thước lớn, proxy lưu đệm (cache) vài file video nguyên vẹn Một số kỹ thuật caching đề xuất cho phép proxy lưu đệm phần file video có nhiều video lưu đệm đồng thời Trong kỹ thuật lưu đệm phần đầu (prefix caching) [25], proxy lưu vài khung hình video để làm giảm thời gian chờ (startup delay) Trong kỹ thuật lưu đoạn (staging caching) [30], proxy lưu lại phần có tần suất truy cập lớn (bursty portions) để lại phần có tần suất truy cập thấp (smoother) cho server trung tâm Điều giúp làm giảm bớt yêu cầu ngặt nghèo băng thông đường truyền mạng WAN Một tập khung hình không liên tục chọn để lưu đệm nhằm thuận tiện cho chức điều khiển tua nhanh tua ngược Cách tiếp cận proxy biến thể giúp tiết kiệm băng thông, giảm thời gian chờ có biến thiên độ trễ nhỏ Mặt hạn chế cách tiếp cận đòi hỏi phải triển khai quản lý proxy nhiều địa điểm khác Việc triển khai proxy giúp làm tăng lực tổng thể hệ thống làm tăng chi phí lên gấp nhiều lần Mặc dù lực hệ thống tăng lên bị giới hạn kết hợp tài nguyên proxy Điều giúp chuyển tượng ngẽn cổ chai (bottleneck) từ điểm trung tâm sang vài điểm phân tán không loại bỏ hoàn toàn Hình 1.2.1.a-2: Phân phối media theo cách tiếp cận dựa proxy Mạng phân phối nội dung (Content Distribution Network) Một cách tiếp cận khác dựa unicast thuê bên thứ ba (third-party) cung cấp nội dung cho khách hàng Bên thứ ba Mạng phân phối nội dung (Content Delivery Network - CDN) Các CDN Akamai Digital Island triển khai hàng nghìn máy chủ vùng biên (edge) Internet Ví dụ Akamai triển khai 10,000 server (Yahoo sử dụng mạng Akamai) Những server (còn gọi đệm lưu trữ) cài đặt nhiều POP (point of presence) nhà cung cấp dịch vụ Internet (ISP) cỡ lớn (như AT&T Sprint) Ý tưởng đặt nội dung gần với client liệu phải truyền qua chặng Mạng CDN lưu đệm nội dung nhiều server định hướng cho client truy cập vào server thích hợp Hiệu chi phí vấn đề mấu chốt cách tiếp cận này, đặc biệt việc phân phối file lớn phim: người điều hành mạng CDN tính giá cho nhà cung cấp nội dung theo MB phục vụ Chi phí phân phối chấp nhận trang Web tương đối nhỏ có văn với vài ảnh Tuy nhiên, chi phí đáng kể dịch vụ media streaming file media nhìn chung có kích thước lớn Hình 1.2.1.a-3: Phân phối media sử dụng mạng CDN 1.2.1.b Cách tiếp cận dựa Multicast Các cách tiếp cận dựa multicast đạt tận dụng tài nguyên tối ưu nhờ việc phục vụ nhiều client stream Ý tưởng thiết lập phiên kết nối multicast client đăng ký Việc thực cách tạo phân phối multicast (Multicast distribution tree) Các cách tiếp cận dựa multicast thực tế phù hợp với hình thức streaming trực tiếp (live streaming) client đồng hóa, nghĩa tất client nhận phần stream thời điểm Để khắc phục đặc tính không đồng dịch vụ streaming theo yêu cầu, có nhiều ý tưởng đề xuất Những ý tưởng bao gồm kỹ thuật batching patching  Batching (xử lý theo đợt) Đã có vài giao thức batching giao thức phát quảng bá so le (staggered broadcasting) dạng đơn giản Giả sử có K kênh server phát quảng bá tốc độ tương đương tốc độ phát hình (giả sử tốc độ phát không đổi CBR) Mỗi kênh phát quảng bá toàn video bắt đầu phát vào thời điểm so le kênh Khi thời gian chờ lớn client video có độ dài S S/K Nếu chương trình TV dài 60 phút phân thành đợt 20 phút, server nhóm client lại sau: Thời điểm bắt đầu chương trình TV (kéo dài 60') :00 :20 :40 Client tham gia phiên khoảng thời gian: (:40, :00] (:00, :20] (:20, :40] Hình 1.2.1.b-1: Kỹ thuật Batching sử dụng kênh server, bắt đầu sau đợt 20 phút Trong ví dụ này, có client gửi yêu cầu cho server server ghi nhận lại yêu cầu Nếu có client gửi yêu cầu vào lúc 7giờ 15 phút phải đợi đến 20 phút trước server bắt đầu streaming đến tất client gửi yêu cầu suốt 20 phút vừa qua Một client gửi yêu cầu chậm thời điểm batching chút phải đợi 20 phút, sớm đợi Một số giao thức batching khác mô tả chi tiết tài liệu [1] Những giao thức batching giảm thời gian chờ client cách phân biệt phần khác video Các phân đoạn đầu video phát quảng bá thường xuyên phân đoạn sau Thực việc cách phát quảng bá phân đoạn đầu tốc độ truyền cao làm cho phân đoạn đầu ngắn phân đoạn sau Đối với giao thức này, để xem video client phải download từ nhiều kênh server đồng thời Do băng thông client nhớ lưu trữ cần thiết phải cao so với giao thức phát quảng bá so le  Patching Hạn chế kỹ thuật batching hỗ trợ dịch vụ VoD thật sự, bắt buộc client phải đợi khoảng thời gian Để batching cho VoD thật áp dụng kỹ thuật patching Giả sử sau bắt đầu chƣơng trình TV có client tham gia muộn vào broadcast stream Tuy nhiên client cần đến phần video từ lúc bắt đầu broadcast stream lúc bắt đầu tham gia Lúc client phải thiết lập kết nối unicast với server để "vá lại" (patching) nghĩa lấy phần thiếu file Có hai stream truyền đến client tốc độ phát hình đầy đủ: patch stream batch TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh: [1] A Hu "Video-on-demand broadcasting protocols: A comprehensive study", in Proceedings of the IEEE Infocom, April 2001 [2] A Rowstron and P Druschel, "Pastry: Scalable, Distributed Object Location and Routing for Large-Scale Peer-to-Peer Systems", in Proc of 18th IFIP/ACM International Conference on Distributed Systems Platforms (Middleware 2001), Heidelberg, Germany, November 2001 [3] B.Zhao, J Kubiatowicz, Jeseph, Anthony, “Tapestry: An Infrastructure for Fault-tolerant Wide-area Location and Routing”, U.C Berkeley Technical Report UCB/CDS-01-1141, April 2001 [4] Bram Cohen "Incentives build robustness in BitTorrent" Workshop on Economics of Peer-to-Peer Systems, May 2003 [5] CNN pipeline review by pc magazine Internet, http://www.pcma-g.com/article2/0,1895,1896416,00.asp Februari 2007 [6] CNN pipeline Website: http://www.cnn.com/pipeline [7] D S Milojicic, V Kalogeraki, R Lukose, K Nagaraja, J Pruyne, B Richard, S.Rollins, Z Xu, "Peer-to-Peer computing", Technical Report HPL-2002-57, HP Laboratories, Palo Alto [8] Dongyan Xu, Mohamed Hefeeda, Susanne Hambrusch, and Bharat Bhargava, "On Peer-to-Peer Media Streaming", in Proc of Int Conf on Distributed Computing Systems 2002, Austria, July 2002 [9] Ernesto,"P2P-Next Introduces Live BitTorrent Streaming", http://torrentfreak.co-m/p2p-next-introduces-live-bittorrent-streaming-080718, July 2008 [10] Forbes Internet, December 2006 http://www.forbes.com/intelligentinfrastruc-ture/2006/04/27/video-youtubemyspace_cx_df_0428video.html [11] Gnutella Website: http://www.gnutella.com [12] I Stoica, R Morris, D Karger, M Kaashoek, H Balakrishnan, "Chord: A Scalable Peer-to-Peer Lookup Service for Internet Applications", in Proceedings of ACM SIGCOMM ’01, 2001 [13] J Kurose Y Guo, K Suh and Don Towsley, "P2cast: Peer-to-peer patching scheme for vod service", in Proceedings of the 12th international conference on World Wide Web, pages 201–209, Budapest, Hungary, May 2002 [14] Jin B Kwon, Heon Y Yeom, "Distributed Multimedia Streaming over Peerto-Peer Networks", 2003 [15] K Aberer, M Hauswirth, “Peer-to-Peer Information Systems: Concepts and Models, State-of-the-Art and Future Systems”, in Proceedings of ICDE’02, 2002 [16] KaZaa Website: http://www.kazaa.com/us/index.htm [17] Michalis Faloutsos Aggelos Vlavianos, Marios Iliofotou, "BiTos: Enhancing bittorrent for supporting streaming applications", In IEEE INFOCOM, 2006 [18] Mohamed M Hefeeda, Bharat K Bhargava, and David K Y Yau, "A Hybrid Architecture for Cost-Effective On-Demand Media Streaming", Computer Networks 44 (2004) [19] Napster Website: http://www.napster.com [20] Nate Anderson, "Major EU P2P research project hopes to kill traditional TV", http://arstechnica.com/news.ars/post/20080718-major-eu-p2p-researchproject-hopes-to-kill-traditional-tv.html, July 2008 [21] Padhye, J Kurose, D Towsley, R Koodli, "A Model-based TCP-friendly Rate Control Protocol', in Proceedings of NOSSDAV’99, 1999 [22] Peer-to-Peer Working Group Website: http://www.P2Pwg.org [23] R Rejaie, M Handley, and D Estrin, "RAP: An End-to-End Rate-based Congestion Control Mechanism for Realtime Streams in the Internet", in proceedings of IEEE INFOCOM’99, 1999 [24] S Ratnasamy, P Francis, M Handley, R Karp, S Shenker, "A Scalable Content-Addressable Network", in Proceedings of ACM SIGCOMM ’03, 2003 [25] S Sen, J Rexford, and D Towsley, "Proxy prefix caching for multimedia streams", in IEEE INFOCOM’99, NewYork, USA, March 1999 [26] Wikipedia, "CNN Pipeline", http://en.wikipedia.org/wiki/CNN_Pipeline, Februari 2007 [27] Xinyan Zhang, Jiangchuan Liu, Bo Li, Tak-Shing Peter Yum, "CoolStreaming /DONet: A Data-Driven Overlay Network for Efficient Live Media Streaming", 2004 [28] Xu-Xian Jiang and Yu Dong, "Gnustream: A mpeg video streaming system over peer-to-peer network", project report for cs590n p2p networks and services Technical report, Fall 2002 [29] Y Dong D Xu D Jiang and B Bhargava, "Gnustream: a p2p media streaming system prototype", in Proceedings of the International Conference on Multimedia and Expo (ICME), volume 2, pages 325–328, July 2003 [30] Y Wang, Z Zhang, D Du, and D Su, "A network-conscious approach to end-to-end video delivery over wide area networks using proxy servers", in Proc of IEEE INFOCOM’98, San Francisco, CA, USA, April 1998 Tài liệu tiếng Việt: [31] http://vietnamnet.vn/cntt/2007/09/740453 [32] Nguyễn Văn Tam, tập giảng "Mạng máy tính nâng cao", viện Công nghệ thông tin, 2006 [33] Nguyễn Đại Thọ, tập giảng "Công nghệ mạng ngang hàng", trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2006-2007 [...]... văn Nghiên cứu giải pháp mạng ngang hàng cho hệ thống truyền hình theo yêu cầu là nhằm đưa ra một giải pháp cho vấn đề kể trên Ý tưởng chính của giải pháp trong luận văn là xây dựng hệ thống video on demand dựa trên kiến trúc mạng ngang hàng lai ghép, nhằm kết hợp những ưu điểm của cả kiến trúc ngang hàng thuần túy và Client/Server Trong đó server vẫn duy trì các chức năng quản lý, còn mạng ngang hàng. .. CHƢƠNG 1 – TỔNG QUAN 1.1 Khái quát về truyền hình theo yêu cầu Truyền hình theo yêu cầu (Video on demand / VoD) là hệ thống cho phép người dùng lựa chọn để xem nội dung video theo yêu cầu Đây là một công nghệ truyền hình tương tác cho phép những người xem (các thuê bao) có thể xem trực tiếp hoặc thu lại các chương trình để xem về sau Một hệ thống VoD truyền thống, dưới góc độ người dùng có thể bao... trưng đối với các hệ thống media streaming dựa trên mạng ngang hàng  Luận văn có cấu trúc như sau: Luận văn bao gồm năm chương, Chương 1 tìm hiểu và đánh giá những hạn chế của các cách tiếp cận dựa trên mô hình tập trung Client/Server, sau đó là tổng quan về mạng ngang hàng và giới thiệu một số hệ thống VoD dựa trên mạng ngang hàng Nội dung Chương 2 tập trung mô tả hệ thống giải pháp PPVoD, phần đầu... thống có server nhưng vẫn sử dụng các client để làm giảm băng thông yêu cầu đối với server Những hệ thống này được gọi là hệ thống lai ghép Hình 1.1-3: Mô hình quảng bá phi tập trung 1.2 Truyền hình theo yêu cầu dựa trên mô hình tập trung 1.2.1 Những hạn chế của mô hình tập trung Dựa theo phương thức phân phối dữ liệu, cách tiếp cận theo mô hình tập trung có thể phân thành hai loại: đơn phát (unicast-base)... hoặc được chia ra cho cả hai Hình 1.1-2: Mô hình quảng bá tập trung Cách tiếp cận dựa trên phương thức quảng bá phi tập trung sử dụng những giải pháp dựa trên các mạng ngang hàng (Peer-to-Peer) Đặc điểm của các mạng ngang hàng là cho phép các peer (đồng đẳng) cộng tác với nhau mà không cần tới một thành phần trung tâm Cũng có cách tiếp cận khác là sự kết hợp của các hệ thống kể trên, hệ thống có server... (heterogeneous) của mạng ngang hàng Tác giả xây dựng giải thuật lập lịch nhằm kết hợp băng thông từ nhiều peer cung cấp phục vụ cho một yêu cầu streaming và đảm bảo chất lượng dịch vụ (playback quality) cho các client 4 - Thông qua tìm hiểu về vấn đề bảo mật, tác giả đã đánh giá và lựa chọn giải pháp bảo mật thích hợp cho hệ thống để đối phó với hình thức tấn công ô nhiễm (pollution attack) là hình thức tấn... yêu cầu hiệu năng thời gian thực và băng thông lớn Điều này đã khiến cho việc xây dựng các ứng dụng VoD dựa trên mạng ngang hàng trở nên phức tạp hơn hẳn so với mô hình Client/Server Mặt khác hầu hết các ứng dụng ngang hàng hiện nay đều là các ứng dụng miễn phí, còn VoD vốn là một loại hình dịch vụ chủ yếu được cung cấp bởi các công ty truyền thông hoặc các nhà cung cấp dịch vụ Việc chuyển đổi hệ thống. .. thiết lập cho mỗi client Cụ thể là có ba cách tiếp cận sử dụng kết nối unicast cho streaming theo yêu cầu: tập trung (Centralized), ủy nhiệm (Proxy) và mạng phân phối nội dung (Content Distribution Networks - CDN) Tập trung (Centralized) Cách tiếp cận tập trung theo mô hình Client/Server sử dụng một hoặc nhiều server có cấu hình mạnh, băng thông rộng và bộ nhớ lưu trữ lớn để phục vụ cho các yêu cầu streaming... :40] Hình 1.2.1.b-1: Kỹ thuật Batching sử dụng 3 kênh server, bắt đầu sau từng đợt 20 phút Trong ví dụ này, mỗi khi có một client gửi yêu cầu cho server thì server sẽ ghi nhận lại các yêu cầu này Nếu có một client gửi yêu cầu vào lúc 7giờ 15 phút thì nó sẽ phải đợi đến 7 giờ 20 phút trước khi server bắt đầu streaming đến tất cả các client đã gửi yêu cầu trong suốt 20 phút vừa qua Một client gửi yêu cầu. .. VHO đảm nhận phục vụ một thư viện lớn các video theo yêu cầu và phân phối nội dung thông qua các bộ chuyển đổi truy cập địa phương (local access switch) tới các khách hàng Có hai kiểu hệ thống video on demand bao gồm: streaming video on demand và download video on demand Hệ thống streaming VoD cho phép xem phim gần như trực tiếp Trong khi đó với hệ thống download VoD bộ phim phải được tải xuống toàn