Dịch vụ luồng trên mạng xếp chồng

Dịch vụ luồng mạng xếp chồng LỜI NÓI ĐẦU Tốc độ phát triển khoa học công nghệ nói chung công nghệ thông tin nói riêng ngày lớn Đi kèm với nhu cầu thông tin, giải trí mạng Internet Nếu ban đầu, việc sử dụng Internet dừng mức độ tìm kiếm thông tin, liên lạc, check mail ngày nay, việc xem phim, nghe nhạc đặc biệt truyền hình trực tuyến ngày thu hút quan tâm nhiều người, đặc biệt giới trẻ Vấn đề đặt làm để chất lượng truyền tin, tâm hình ảnh cải thiện, hệ thống có lớn bỏ nhiều chi phí để xây dựng Mạng ngang hàng (P2P) đời không nằm mục đích Ưu điểm bật phương pháp xây dựng mạng này, tận dụng băng thông mạng, chất lượng dịch vụ cải thiện mà không cần thay đổi hạ tầng vật lý mạng Internet sẵn có Tuy nhiên mạng P2P số hạn chế cần cải tiến để hướng tới người dùng môt cách thân thiện chất lượng dịch vụ tốt Mục đích đồ án nêu lên cần thiết việc đời mạng P2P, khảo sát, đánh giá số mạng P2P, cuối nêu vấn đề tồn tại, xu hướng phát triển mạng ngang hàng Em xin chân thành cảm ơn TS.Nguyễn Hữu Thanh, môn kỹ thuật thông tin, đại học Báck Khoa Hà Nội, tận tình giúp đỡ đóng góp nhiều ý kiến bổ ích trình thực đề tài Page 1     Dịch vụ luồng mạng xếp chồng TÓM TẮT ĐỒ ÁN Mục đích đồ án nêu cần thiết việc đời mạng ngang hàng P2P, từ tới nghiên cứu kiến trúc mạng P2P nói chung, mạng P2P TV nói riêng Nêu ưu khuyết điểm hướng phát triển cho mạng Đồ án trình bày thành chương Chương đầu tiên, ta vào nghiên cứu công nghệ truyền tải liệu phương pháp tạo luồng Trong chương ta tìm hiểu tổng quan công nghệ phát luồng số đặc tính nó, tiếp phương thức truyền phát luồng, xem xét công nghệ truyền hình phát triển IPTV, từ nêu lý đời mạng P2P Chương ta vào kiến trúc mạng P2P, phân loại chúng theo mức độ tập trung phân loại theo kiến trúc mạng (mạng có cấu trúc không cấu trúc) Chương đề cập tới việc định hướng cho mạng P2P mới, khả sát đánh giá thuật toán lập lịch cho mạng P2P TV, đánh giá hiệu việc định tuyến Chương cuối cùng, đánh giá số hệ thống IPTV có qua thí nghiệm đo lưu lượng, thống kê để hiểu rõ hành trạng hệ thống Từ đưa số ý tưởng để cải tiến, tăng chất lượng dịch vụ Page 2     Dịch vụ luồng mạng xếp chồng ABSTRACT The main purpose of this thesis is to present the necessary of P2P network, and to study general structures of P2P network and P2P TV network It also states some disadvantages of P2P network and mentions some trends of developing this structure The thesis includes four chapters, which can be summarized as follows: In the first chapter, we focus on studying the data transmission technology according to streaming method The beginning of this chapter presents general view of data transmission technology according to stream transmission method and its characteristics Then, we introduce some methods of delivering stream, consider the developing technology of television – IPTV, and present the reasons for bringing P2P network to the world In the next chapter, we present the the structure of P2P network, classify them according to centralized level as well as network architecture (architecture and nonarchitecture) The third chapter mentions the orientations of new form of P2P, investigatigation, evaluation of scheduling algorithms for P2P TV network Also, we evaluate the effectiveness of routing In the final chapter, we appraise some existed IPTV systems by testing traffic, statistics to understand the acting status of the systems thoroughly Since then, we state some ideas to improve service quality Page 3     Dịch vụ luồng mạng xếp chồng LỜI CAM ĐOAN Tôi tên Nguyễn Hoài Sơn - học viên lớp Cao học Kỹ thuật điện tử - Khoá 20082010 - Khoa Điện tử viễn thông- Trường Đại học Bách Khoa Hà Nội Tôi xin cam đoan luận văn thạc sỹ khoa học tự làm, không chép nguyên Các nguồn tài liệu thu thập dịch từ tài liệu chuẩn nước Số liệu luận văn số liệu thực tế, không bịa đặt Nếu có sai phạm xin chịu trách nhiệm trước hội đồng tốt nghiệp nhà trường Học viên cao học Nguyễn Hoài Sơn Page 4     Dịch vụ luồng mạng xếp chồng MỤC LỤC LỜI NÓI ĐẦU TÓM TẮT ĐỒ ÁN LỜI CAM ĐOAN .4 DANH SÁCH CÁC TỪ VIẾT TẮT .10 PHẦN MỞ ĐẦU .11 CHƯƠNG 12 CÔNG NGHỆ TRUYỀN TẢI DỮ LIỆU BẰNG PHƯƠNG PHÁP TẠO LUỒNG12 1.1 Mở đầu 12 1.2 Tổng quan công nghệ phát luồng số đặc tính: .13 1.2.1 Giới thiệu khái quát: 13 1.2.2 Thế phát luồng: .14 1.2.3Các đòi hỏi với công nghệ phát luồng 17 1.3 Tìm hiểu phương thức truyền phát luồng .33 1.3.1 Giới thiệu phương thức bản: 33 1.3.1.1 IP-Unicast.(Phát đơn bá) 34 1.3.1.2 IP- Multicast.(Phát đa bá) 35 1.3.1.3 Broadcast(phát quảng bá) 36 1.3.2 Công nghệ CDN ( content delivery network) 37 1.4 Công nghệ truyền hình IPTV 39 1.4.1 Giải pháp CDN ZTE 40 1.4.2 Giải pháp CDN Cisco 46 1.4.3 Tổng kết IPTV 48 CHƯƠNG 50 MẠNG NGANG HÀNG (P2P) 50 2.1 Khái niệm .50 2.2 Phân loại P2P theo kiến trúc mạng (có cấu trúc cấu trúc) 52 2.2.1.1 Mạng ( Single-tree streaming) 53 2.2.1.2 Mạng nhiều (Multi-Tree Streaming) 56 2.2.2 Mạng ngang hàng không cấu trúc (Unstructured P2P) 57 2.2.2.1Khái niệm 57 2.2.2.2 Ưu điểm 58 2.2.2.3 Nhược điểm 59 2.3Phân loại mức độ tập trung 59 2.3.1Cấu trúc tập trung với server 59 Page 5     Dịch vụ luồng mạng xếp chồng 2.3.2 Cấu trúc phân tán với nhiều server 60 2.3.3Cấu trúc phân tán 61 2.3.4Cấu trúc mạng sử dụng Super-peer 61 CHƯƠNG 65 CÁC THUẬT TOÁN DÙNG TRONG MẠNG P2P 65 3.1 Định tuyến cho P2P hệ mới: 65 3.2 Khảo sát đánh giá thuật toán lập lịch cho mạng P2P-TV 68 3.2.1 Khái niệm .68 3.2.1.1Mục tiêu đặt cho việc thiết kế mạng P2P-TV 69 3.2.1.2Đánh giá hoạt động P2P-TV qua tiêu kỹ thuật 69 3.2.1.3Các thông số mạng cần thay đổi xem xét thuật toán 71 3.2.2 Các thuật toán lập lịch ( scheduling algorithms) .72 3.2.2.1 Một số kí hiệu hay dùng 72 3.2.2.2 Bộ lập lịch cho liệu (Chunk Scheduler)[1] [2] 73 3.2.2.3 Bộ lập lịch cho peer (Peer Schedulers)[1] [2] 74 3.2.2.4 Đo băng thông hoạt động mạng P2P .81 3.2.2.5 Nhận xét 83 3.3 Đánh giá hiệu việc định tuyến cho P2P-TV .84 3.3.1 Đặt vấn đề .84 3.3.2 Nhận biết ISP mạng P2P-TV 87 3.3.2.1 Ý tưởng .87 3.3.2.2 Khảo sát [7][29] 89 3.5 Nhận xét 98 CHƯƠNG 99 ĐÁNH GIÁ MỘT SỐ HỆ THỐNG IPTV P2P ĐÃ CÓ VÀ Ý TƯỞNG THIẾT KẾ KHẮC PHỤC CÁC NHƯỢC ĐIỂM HIỆN TẠI 99 4.1 Đánh giá số hệ thống IPTV P2P qua thí nghiệm [32] 99 4.1.1 Giới thiệu 99 4.1.2 Công trình liên quan 100 4.1.3 Thiết lập thí nghiệm 101 4.1.4 Phương thức thu thập liệu 102 4.1.5 Phân tích kết đo 103 4.1.6 Các quan sát chung .103 4.2 Ý tưởng thiết kế hệ thống P2P-TV hoàn chỉnh 113 TÀI LIỆU THAM KHẢO .115 Page 6     Dịch vụ luồng mạng xếp chồng DANH SÁCH HÌNH VẼ Hình 1.1 Sự tương tự việc tải xuống phát luồng với việc uống nước 13 1.2.4 Cấu trúc dùng cho phát luồng số giao thức phát luồng: 18 Hình 1.2 Mô hình lý thuyết kênh truyền phát luồng 19 Hình 1.3 23 Một ví dụ gói IP dùng cho chuyển vận đóng gói theo định dạng MPEG-2 23 Hình 1.4 Định dạng mào đầu RTP 27 Hình 1.5: IP-Unicast 34 Hình 1.6: IP-multicast .35 Hình 1.7: IP- Broadcast 37 Hình 1.8: Hệ thống CDN 38 Hình 1.9: Cách phân chia liệu từ server trung tâm server lưu trữ .39 Hình 1.10 Mô hình kiến trúc cung cấp dịch vụ IPTV .40 Hình 1.11 : Kiến trúc hệ thống CDN ZTE 41 Hình1.12: Chức chuyển tiếp tiếp sóng 45 Hình 1.13: Mô hình mạng phân phối liệu Cisco 46 Hình 1.14: Lưu trữ suốt giúp CE hoàn thiện yêu cầu cho nội dung giống .48 Hình 2.1: Mạng ngang hàng 50 Hình 2.2: Hiện tượng thắt cổ chai .51 Hình 2.3 : Truyền đoạn nhỏ liệu mạng P2P 52 2.2.1 Mạng ngang hàng có cấu trúc (Structured P2P) 53 Hình 2.4: Mạng P2P cấu trúc 54 Hình 2.5: Minh họa ảnh hưởng nút ngắt kết nối 55 Hình 2.6: Quá trình khôi phục lại .55 Hình 2.7: Mạng P2P nhiều 56 Hình 2.8 : Mạng ngang hàng tập trung hệ thứ nhất(Napster) 60 Hình 2.9: Mô hình nhiều cụm server 60 Hình 2.10: Mô hình phân tán 61 Hình 2.11: Mô hình sử dụng super-peer 62 Page 7     Dịch vụ luồng mạng xếp chồng Hình 2.12: Chia sẻ file mạng BitTorren 63 Hình 3.1: So sánh độ trễ 78 Hình 3.2: So sánh độ trễ 99% 78 Hình 3.3: Ảnh hưởng số nút đến kết đo .82 Hình 3.4: So sánh độ nhạy băng thông công cụ 82 Hình 3.5: Sự ảnh hưởng nhiều lẫn công cụ đo 83 Hình 3.6: Minh họa việc trả cước phí cho miền ISP 85 Hình 3.7: Minh họa trình trì kết nối với lớp overlay 88 Hình 3.8: Các cách kết nối miền ISP 90 Hình3.9: Giá trung bình kết nối lớp trường hợp tải khác nhau, kết nối ISP khác 92 Hình 3.10: Thành phần loại lưu lượng mạng 93 Hình 3.12: Tốc độ phát liệu trung bình miền ISP .94 Hình 3.13: Hàm phân bố xác xuất độ trễ 94 Hình 3.14a Ảnh hưởng kích thước lớp overlay .95 Hình 3.14b : Ảnh hưởng số miền ISP .95 Hình 3.15: Ảnh hưởng kích thước đệm đến lưu lượng trong/ngoài miền ISP 96 Hình 3.16: Ảnh hưởng tượng churn 97 Hình3.17: Kết thu Planetlab .97 Hình 4.1: Bối cảnh thí nghiệm đo Mỗi nút PC thông thường kết nối trực tiếp tới Internet thông qua mạng trường học 102 Hình 4.2: ví dụ tổng thông lượng tải gửi lên ứng dụng TVAnts Tất ứng dụng có mẫu thông lượng 104 Hình 4.3: Kích thước gói trung bình tương ứng với độ dài phiên bên ngang hàng 106 Hình 4.4: Các sách tải video: tổng lượng lưu lượng, lưu lượng 10 vị trí bên ngang hàng hàng đầu lưu lượng bên ngang hàng đứng đầu Thời gian khung đo 60 giây 109 Hình 4.5: Lân cận bên ngang hàng tất ứng dụng Thời gian khung đo 60 giây .112 Page 8     Dịch vụ luồng mạng xếp chồng Hình 4.6: Ví dụ thời gian tồn bên ngang hàng chia sẻ video TVAnts Tất ứng dụng có phân bố dạng Weibull thời gian tồn bên ngang hàng chia sẻ video 113 Page 9     Dịch vụ luồng mạng xếp chồng DANH SÁCH CÁC TỪ VIẾT TẮT Viết tắt Đầy đủ Ý nghĩa P2P Peer to peer Mạng ngang hàng ISP Internet service provider Nhà cung cấp dịch vụ internet P2P-TV Peer to peer television Truyền hình mạng ngang hàng CDN Content delivery network Mạng chia sẻ dung lượng TCP Transmission Control Protocol Giao thức điều khiển truyền vận UDP User Datagram Protocol Giao thức truyền tin OSPF Open Shortest Path First Một giao thức định tuyến BGP Border Gateway Protocol Giao thức định tuyến liên mạng HTTP Hypertext Transfer Protocol Giao thức truyền siêu văn IP Internet Protocol Một giao thức lớp ADSL Asymmetric Digital Subscriber Một dạng thuê bao internet có Line băng thông tải xuống cao băng thông gửi lên mạng NSD Người sử dụng Người dùng dịch vụ IPTV Internet Protocol Television Là hệ thống cung cấp dịch vụ truyền hình số thông qua mạng IP Page 10     Dịch vụ luồng mạng xếp chồng thời điểm kết thúc phiên thời điểm mà nhận đoạn liệu TCP có tải tin cuối Độ dài phiên phụ thuộc vào đoạn liệu TCP có tải tin Chúng tính toán độ dài phiên dựa UDP cách điều khiển tải tin 4.1.5 Phân tích kết đo Trong mục này, kết công trình đo Trước tiên phân tích lưu lượng tất ứng dụng sau đóm điểm sách tải sử dụng ứng dụng để lấy nội dung video lân cận bên ngang hàng mà chúng trì Cuối cùng, cho biết quãng thời gian tồn nội dung video bên ngang hàng tất ứng dụng 4.1.6 Các quan sát chung Bảng PPStream dựa TCP Phần yếu lưu lượng PPLive dựa TCP lưu lượng SOPCast hầu hết lại dựa UDP TVAnts cân đối TCP UDP Tất ứng dụng thông lượng tải tương đối ổn định cao chút so với tốc độ bít video thông lượng chiều lên biến động lớn tốc độ cao Để ví dụ, hình cho thấy tổng thông lượng tải gửi lên TVAnts Đồ thị biểu diễn tất ứng dụng khác tìm thấy [10] Các kết dự kiến lẽ nút cố gắng tải video tốc độ bit ổn định chúng có lực gửi lên rộng rãi Page 103     Dịch vụ luồng mạng xếp chồng Hình 4.2: ví dụ tổng thông lượng tải gửi lên ứng dụng TVAnts Tất ứng dụng có mẫu thông lượng Các mẫu lưu lượng: Các ứng dụng P2P ứng dụng độc quyền riêng thừa nhận có dùng chế hội tụ bên ngang hàng trao đổi thông tin kiện liệu bên ngang hàng lân cận dùng Donet Trong mạng lưới P2P thế, bên ngang hàng lặp lặp lại việc tìm kiếm bên ngang hàng khác thiết lập phiên báo hiệu phiên video phiên video thường có thời gian tồn dài lẽ người dùng muốn xem toàn trận đấu, phiên báo hiệu thường ngắn thời gian Hơn nữa, kích thước gói luồng video dự kiến lớn kích thước gói phiên báo hiệu xác định mức trung bình Hình hiển thị phụ thuộc kích thước gói trung bình theo độ dài phiên sử dụng thang đo log-log PPLive (Hình 3(a)) PPStream (Hình 3(b)) có mẫu lưu lượng TCP tương tự PPLive dùng UDP phiên UDP PPLive biến thiên từ ngắn tới dài, kích thước gói trung bình cảu chúng nhỏ ổn định Lưu lượng UDP PPLive vận chuyển phiên báo hiệu PPLive PPStream cho thấy hai tụm mẫu lưu lượng TCP chúng: tụm đồ thị thể phiên báo hiệu (các gói kích thước nhỏ thời gian phiên ngắn) tụm phía bên phải đồ thị Page 104     Dịch vụ luồng mạng xếp chồng phiên video (kích thước gói lớn thời gian phiên dài) PPLive PPStream dùng TCP để vận chuyển lưu lượng video báo hiệu xem xét khác phiên báo hiệu dựa UDP TCP PPLive Căn mẫu lưu lượng SOPCast (Hình 3(c)), quan sát thấy sử dụng UDP Chúng ta quan sát tụm (báo hiệu) phía bên phải (video) đồ thị chúng không hình thành rõ ràng cho SOPCast chuyển vận lưu lượng báo hiệu video UDP Chúng có phân tích kỹ để hiểu có phiên dựa TCP So sánh với ứng dụng đo khác, mẫu lưu lượng TVAnts cho thấy cân việc sử dụng TCP UDP (Hình 3(d)) Chúng ta phân biệt tụm báo hiệu video chúng chứa lưu lượng TCP UDP TVAnts vận chuyển phiên báo hiệu video TCP UDP Tuy nhiên, phần lớn hầu hết lưu lượng TVAnts vận chuyển TCP (xấp xỉ 75%, bảng 1) Bảng tổng hợp quan sát từ Hình 3: tất ứng dụng đem đo có mẫu lưu lượng khác PPStream sử dụng TCP cho lưu lượng video báo hiệu PPLive bổ sung thêm UDP cho số lưu lượng báo hiệu, TVAnts dùng TCP UDP cho tất loại lưu lượng, SOPCast dùng toàn UDP Đây khác biệt quan trọng tất ứng dụng xem xét tất ứng dụng, quan sát thấy lưu lượng video hầu hết vận chuyển TCP, vốn giao thức dành cho ứng dụng đa phương tiện theo thời gian thực ứng dụng phát luồng video thông thường Internet, TCP điều chỉnh để đến với tất kiểu người dùng Internet, có sau lọc hệ thống NAT Bảng 2: tổng hợp quan sát mẫu lưu lượng Page 105     Dịch vụ luồng mạng xếp chồng Hình 4.3: Kích thước gói trung bình tương ứng với độ dài phiên bên ngang hàng Để đánh giá tổng lượng lưu lượng báo hiệu dấu vết, phân tách lưu lượng video báo hiệu giải thuật nghiệm suy đề xuất [6] Giải thuật hoạt động sau: phiên (có địa IP cổng), đếm số lượng gói có kích thước lớn 1000 byte Nếu phiên mà có 10 gói lớn thế, gán cho phiên video loại bỏ gói nhỏ (