Nghiên cứu tìm hiểu bài toán sao lưu dữ liệu phân tán ứng dụng bào việc triển khai hệ thống thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Tiến Thành NGHIÊN CỨU TÌM HIỂU BÀI TOÁN SAO LƯU DỮ LIỆU PHÂN TÁN, ỨNG DỤNG VÀO VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành : Kỹ thuật máy tính truyền thơng Hà Nội – Năm 2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Tiến Thành NGHIÊN CỨU TÌM HIỂU BÀI TOÁN SAO LƯU DỮ LIỆU PHÂN TÁN, ỨNG DỤNG VÀO VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành : Kỹ thuật máy tính truyền thơng NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Hà Quốc Trung Hà Nội – Năm 2012 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Lời cam đoan Tơi xin cam đoan luận văn cao học đề tài “Nghiên cứu tìm hiểu toán lưu liệu phân tán, ứng dụng vào việc triển khai hệ thống thông tin” công trình nghiên cứu thân Những số liệu, hình vẽ thử nghiệm tự tơi nghiên cứu tính toán Hà nội, ngày 12 tháng năm 2012 Tác giả luận văn Trần Tiến Thành Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Danh mục Bảng Bảng 1.1 So sánh kiến trúc Client/Server Peer to Peer 12 Table 3.1 Bảng Locator Table 42 Bảng 3.2 So sánh thơng lượng trung bình Client 49 Bảng 3.3 Bảng so sánh tải máy chủ 49 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Danh mục hình vẽ Hình 1.1 : Kiến trúc Client – Server Hình 1.2: Hệ thống ngang hàng tuý 11 Hình 1.3: Hệ thống ngang có cấu trúc 12 Hình 2.1 Mơ hình lưu phân tán hệ thống Client/Server 14 Hình 2.2 : Mơ hình kết nối FTP từ Client tới Server 20 Hình 2.3 : Mơ hình kết nối Active FTP 21 Hình 2.4 : Mơ hình kết nối Passive FTP 22 Hình 2.5 : Mơ hình Reverse Proxy 24 Hình 2.6 : Mơ hình Cache 26 Hình 2.7: Kiến trúc siêu ngang hàng 31 Hình 2.8: Hoạt động mạng siêu ngang hàng 32 Hình 2.9: Mạng siêu ngang hàng dư cấp 33 Hình 2.10 Kiến trúc Napster 37 Hình 2.11 Kiến trúc Gnutella 38 Hình 3.1 : Mơ hình Cache mạng ngang hàng 40 Hình 3.2 : Client kết nối vào mạng 41 Hình 3.3 : Cache Registration 41 Hình 3.4 : Client đọc đối tượng 42 Hình 3.5 : Client cập nhật/ghi đối tượng 44 Hình 3.6 : Mơ hình hệ thống khơng có cache 46 Hình 3.7 : Mơ hình Cache client 47 Hình 3.8 : Mơ hình Cache mạng ngang hàng 48 Hình 3.9 : Mơ hình hệ thống lưu phân tán sử dụng Sopcast 53 Hình 3.10 Xem truyền hình trực tuyến phần mềm Sopcast 55 Hình 3.11 Chọn Kênh - Đài PTTH Hà nội phần mềm Sopcast 56 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Lời mở đầu Trong cấu trúc mạng Internet nay, mơ hình mạng Client/Server mơ hình mạng ngang hàng (P2P) hai mơ hình ứng dụng phổ biến Một toán thường ứng dụng hệ thống dựa hai mơ hình tốn lưu liệu phân tán Các mơ hình lưu liệu phân tán tổ chức theo kiểu mạng ngang hàng số lượng lại lớn lưu lượng Ngược lại, mơ hình lưu liệu phân tán theo kiểu Client/Server lớn số lượng, sử dụng hầu hết hệ thống mạng nay, lưu lượng lại chiếm lưu lượng qua mạng ngang hàng Nghiên cứu lưu liệu phân tán hai mơ hình Client/Server mạng ngang hàng (P2P) giúp người quản trị công nghệ thông tin biết cách lựa chọn ứng dụng giải pháp lưu liệu phù hợp với yêu cầu toán đặt Đó lý tơi lựa chọn đề tài “Nghiên cứu, tìm hiểu tốn lưu liệu phân tán ứng dụng vào việc triển khai hệ thống thông tin” Từ trước tới quản trị mạng Đài PT-TH Hà nội, chuyên cập nhật nghiên cứu công nghệ để ứng dụng cho cơng việc chun mơn Đài Trong tơi có nghiên cứu giải pháp lưu liệu phân tán chủ yếu dựa mơ hình mạng Client/Server, nghiên cứu giải pháp Client/server thơng thường giải pháp Client/Server có cache nhằm giải yêu cầu toán truyền phát video chất lượng mạng Internet Tuy nhiên, giải pháp ứng dụng mơ hình Client/Server mắc phải số nhược điểm bị tắc nghẽn “nút cổ chai”, Server phải chịu tải lớn số lượng người xem gia tăng, tính mở rộng hệ thống bị hạn chế Vì mục đích nghiên cứu luận văn để đưa giải pháp lưu liệu phân tán tốt hơn, luận văn đề xuất giải pháp lưu liệu phân tán có cache dựa mơ hình mạng ngang hàng Giải pháp có ưu điểm tính sẵn sàng cao, khơng bị tắc nghẽn “nút cổ chai” hay tải Server, tính co giãn cao nhiều máy tham gia vào mạng hiệu hệ thống cao Giải pháp phù hợp với mơ hình phát video mạng Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Luận văn trình bày tổng quan mơ hình Client/Server, mơ hình Client/Server nâng cao, mơ hình mạng ngang hàng, ứng dụng mơ hình mạng P2P, lưu liệu phân tán, đặc biệt mơ hình sử dụng cache Từ đề xuất giải pháp lưu liệu phân tán có cache dựa P2P, thử nghiệm giải pháp ứng dụng thử nghiệm giải pháp việc truyền phát Audio Video mạng Internet Đài PT-TH Hà nội Luận văn chia thành bốn chương: Chương : Giới thiệu Chương : Tổng quan công nghệ Chương : Ứng dụng thử nghiệm giải pháp lưu liệu phân tán dựa mạng P2P việc triển khai hệ thống thông tin Chương : Kết luận Để hồn thành luận văn tơi xin chân thành cảm ơn TS Hà Quốc Trung, người nhiệt tình hướng dẫn giúp tơi hồn thành tốt luận văn Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng MỤC LỤC Lời mở đầu MỤC LỤC CHƯƠNG I GIỚI THIỆU 1.1 Kiến trúc Client/Server 1.1.1 Mơ hình Client/Server thơng thường 1.1.2 Mô hình Client/Server mở rộng 1.2 Kiến trúc Peer to Peer (Mạng ngang hàng) 10 1.2.1 Mạng ngang hàng khơng có cấu trúc (Pure Peer-to-peer Systems) 10 1.2.2 Mạng ngang hàng có cấu trúc (Structured) 11 1.3 So sánh kiến trúc Client/Server Peer to Peer 12 Bảng 1.1 So sánh kiến trúc Client/Server Peer to Peer 12 1.4 Sao lưu phân tán dựa P2P 13 CHƯƠNG II : TỔNG QUAN VỀ CÔNG NGHỆ 14 2.1 Công nghệ lưu phân tán 14 2.1.1 Khái niệm chung 14 2.1.2 Sao lưu phân tán hệ thống Client/Server: 14 2.1.3 Sao lưu phân tán hệ thống P2P 15 2.1.4 Các toán áp dụng giải pháp lưu liệu phân tán P2P 16 2.1.4.1 Dạng liệu thô 16 2.1.4.2 Dạng liệu Dòng (Streaming data) 16 2.1.4.3 Bài toán lưu phân tán sử dụng GIS 18 2.2 Các mơ hình Client-Server 20 2.2.1 Hệ thống truyền file FTP (File Transfer Protocol) 20 2.2.2 Proxy ngược (Reverse Proxy) 24 2.2.3 Mơ hình Cache 25 2.3 Công nghệ Peer to Peer (P2P) 27 2.3.1 Giới thiệu mạng ngang hàng (peer to peer – P2P) 27 2.3.1.1 Khái niệm 27 2.3.1.2 Đặc điểm mạng ngang hàng 27 2.3.1.3 Tiện ích mạng P2P mang lại 28 2.3.1.4 Những khó khăn thiết kế mạng ngang hàng 28 2.3.1.5 Các ứng dụng mạng ngang hàng 30 2.3.2 Mơ hình mạng P2P tiên tiến 30 2.3.2.1 Kiến trúc siêu ngang hàng (Super-peer Architecture) 31 2.3.2.2 Mạng siêu ngang hàng dư (Super-peer Redundancy) 33 2.3.2.3 Ưu điểm nhược điểm kiến trúc siêu ngang hàng 34 2.3.3 Một số ứng dụng chia sẻ file ngang hàng 36 CHƯƠNG III ỨNG DỤNG GIẢI PHÁP SAO LƯU DỮ LIỆU PHÂN TÁN DỰA TRÊN MẠNG P2P TRONG VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN 40 3.1 Giải pháp lưu liệu phân tán dựa mạng P2P 40 3.1.1 Mơ hình hệ thống : 40 3.1.2 Cơ chế hoạt động chức phân hệ 40 3.2 Thử nghiệm giải pháp 45 3.2.1 Kịch mơ hình thử nghiệm 45 3.2.1.1 Kịch thử nghiệm 45 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng 3.2.1.2 Mơ hình thử nghiệm 46 3.2.2 Dự kiến kết thử nghiệm 48 3.2.3 Đánh giá mơ hình thử nghiệm 50 3.3 Ứng dụng thử nghiệm giải pháp cho hệ thống thông tin Đài PT-TH Hà nội 52 3.3.1 Mơ hình thử nghiệm Hệ thống lưu phân tán video sử dụng mạng ngang hàng Sopcast 52 3.3.2 Mục đích hệ thống 54 3.3.3 Kịch thử nghiệm 54 3.3.4 Kết thử nghiệm 56 Chương : Kết luận 57 Tài liệu tham khảo 58 Học viên: Trần Tiến Thành Viện Công nghệ thơng tin Lớp cao học Kỹ thuật máy tính-Truyền thơng CHƯƠNG I GIỚI THIỆU Internet ngày thay đổi phát triển nhiều chủ yếu phát triển, vận hành theo mơ hình phổ biến Client/Server Peer-to-Peer, có mơ hình lai kết hợp kết hợp mơ hình Đối với toán triển khai diện rộng, liệu dung lượng lớn, phục vụ số lượng truy cập lúc nhiều sử dụng mơ hình mạng ngang hàng đem lại hiệu cao mặt hiệu năng, cịn mơ hình Client/Server thường áp dụng hầu hết tốn cịn lại Các giải pháp lưu liệu phân tán ứng dụng mơ hình nhằm giải toán chia sẻ lưu liệu phân tán Ngày nay, người sử dụng dạng liệu dung lượng lớn ngày nhiều nên để đáp ứng nhu cầu hệ thống có xu hướng thường sử dụng giải pháp lưu liệu mạng ngang hàng 1.1 Kiến trúc Client/Server 1.1.1 Mơ hình Client/Server thơng thường Mơ hình Client-Server thơng thường mơ hình phổ biến mạng máy tính, mơ hình tầng, áp dụng rộng rãi mơ hình trang web có Server Client Client Client Hình 1.1 : Kiến trúc Client – Server Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Hình 3.5 Client cập nhật/ghi đối tượng Học viên: Trần Tiến Thành 44 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng 3.2 Thử nghiệm giải pháp Phần thử nghiệm giải pháp lưu liệu phân tán sử dụng cache mạng ngang hàng So sánh giải pháp với mơ hình Client/Server phân tán có cache khơng có cache xét theo thơng lượng Client tải Server 3.2.1 Kịch mơ hình thử nghiệm 3.2.1.1 Kịch thử nghiệm Kịch : Thử nghiệm lấy mẫu máy tính Client (N) kết nối mạng Internet, thiết kế thử nghiệm mơ hình : - - - Hệ thống khơng có nhớ Cache dựa mạng Client/Server Hệ thống có nhớ Cache địa phương dựa mạng Client/Server Hệ thống có nhớ Cache mạng ngang hàng Băng thông máy chủ (Bs) băng thông máy Client (Bc) 400 (packet/s), tỷ lệ cache cục cho gói tin (Pl) 50% Chạy hệ thống để đo lường thông lượng Client để đưa kết so sánh mơ hình xem thơng lượng Client mơ hình lớn Kịch 2: Thử nghiệm giả sử 100 máy tính kết nối mạng Internet, với thiết kế thử nghiệm mơ Với băng thông máy chủ (Bs) băng thông máy Client (Bc) 400 (packet/s), tỷ lệ cache cục cho gói tin (Pl) 50% số lượng yêu cầu trung bình máy Client (requests/s) R 20 Học viên: Trần Tiến Thành 45 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng 3.2.1.2 Mơ hình thử nghiệm a Mơ hình hệ thống khơng Cache Theo kịch 1, ta bố trí mơ hình hệ thống hình vẽ Trong hệ thống có máy Client kết nối với Server theo mơ Client/Server Máy Client thực chức yêu cầu, server thực chức đáp ứng yêu cầu Số lần đáp ứng tổng số lần yêu cầu từ máy Client Client Client Client Client INTERNET Client Server Hình 3.6 : Mơ hình hệ thống khơng có cache Đối với kịch hình vẽ tương tự khác số máy Client tăng thêm 100 lần Con số 100 số giả định, triển khai thử nghiệm thực tế với phần mềm ta biết số lượng máy Client qua đếm số lượng máy tính kết nối đến Học viên: Trần Tiến Thành 46 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng b Mơ hình hệ thống có Cache Client Theo kịch 1, q trình chạy hệ thống, Client có cache để lưu lại đối tượng triệu gọi Mỗi Client triệu gọi đối tượng lần thứ trở lấy trực tiếp từ cache Client Client Cache Cache Client INTERNET Client Cache Client Cache Cache Server Cache Hình 3.7 : Mơ hình Cache client c Mơ hình hệ thống có Cache mạng ngang hàng Trong hệ thống gồm máy Client có Cache bố trí theo mơ hình mạng ngang hàng Theo máy đóng vai trò vừa Client vừa Server, client yêu cầu hệ thống trả đối tượng đó, hệ thống gửi u cầu cho tồn mạng Các máy nghe có liệu phối hợp với phân chia liệu thành nhiều mảnh truyền mảnh cho Client có yêu cầu Học viên: Trần Tiến Thành 47 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Client/Host Client/Host Cache Cache INTERNET Client/Host Cache Cache Client/Host Cache Hình 3.8 : Mơ hình Cache mạng ngang hàng 3.2.2 Dự kiến kết thử nghiệm Xét tiêu chí : Thơng lượng Client (lượng packet Client truyền tới máy nhận), Tải máy chủ Ký hiệu : N : số lượng Client R : số lượng yêu cầu trung bình máy Client (requests/s) Bs : Băng thông máy chủ (Server) (packet/s) - số lượng gói tin truyền tới Server giây Bc : Băng thông Client (packet/s) - số lượng gói tin truyền tới Client giây Học viên: Trần Tiến Thành 48 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Pl : tỷ lệ Cache cục cho gói tin (Cache cho gói tin bị hạn, bảo mật từ server, lỗi đường truyền mạng Client rời khỏi mạng đột ngột) Pg : tỷ lệ Cache tồn cục cho gói tin tích tỷ lệ Cache cục cho gói tin (Pl) tất peer mạng Thông lượng Client : Với : N=5, Pl =0.5, Pg = Pl^N, Bs = Bc =400, M : thông lượng cache Hệ thống Kết dự kiến (packets/s) Thông lượng Client Khơng có Cache Bs 80 N (1-Pl) x M + Pl x Bs Có Cache Cache mạng 0.5×M+40 N (1-Pl) x M + Pl x [(1-Pg) x Bc + Pg x Bs ] N ngang hàng ~0.5×M+400+2.5 Bảng 3.2 So sánh thơng lượng trung bình Client Giả sử có N= Client mạng, tỷ lệ cache cục bị Pl = 50% Pg = 0,5^5 = 0.03125 (≈ 0), băng thơng máy chủ = băng thông máy client (Bs = Bc = 400 packets/s), có giá trị thơng lượng cột Kết Nhìn vào cột Kết thấy, tỷ lệ cache cục cao, thơng lượng client mơ hình cache mạng ngang hàng lớn thông lượng Client mơ hình mạng có cache cục mơ hình mạng khơng cache • Tải Máy chủ : Với : N=100, Pl =0.5, R=20 Tải máy chủ Kết dự kiến(requests) Khơng có Cache N×R 2.000 Có Cache N×R×Pl 1.000 Cache mạng ngang hàng N×R×Pg 2.000 x 0.5^100 ≈ Bảng 3.3 Bảng so sánh tải máy chủ Học viên: Trần Tiến Thành 49 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Kết dự kiến cho thấy hệ thống khơng có Cache dung lượng gói tin khoảng lớn 100 Kb (nghĩa băng thông server = 100 Kb x packet/s x 2000 = 200 Mbps >100 Mbps Server đáp ứng (Nếu Server chạy đường 100 Mbps) Ở hệ thống có cache local giúp giảm 50% tải Server Còn hệ thống Cache mạng ngang hàng với số lượng 100 Client tham gia vào mạng Server khơng phải chịu tải 3.2.3 Đánh giá mơ hình thử nghiệm Đối với hệ thống khơng có cache máy Client gửi yêu cầu cho máy Server có máy Client gửi u cầu thời gian đáp ứng nhanh có nhiều máy Client đồng thời gửi yêu cầu tốc độ đáp ứng cho Client bị giảm xuống Mỗi Client lặp lại yêu cầu gửi cho Server thời gian đáp ứng lần Khả đáp ứng đồng thời Server Client khoảng 100 máy tính trường hợp gói tin dung lượng 100 Kb đáp ứng 1000 máy tính lúc trường hợp dung lượng gói tin khoảng 10 Kb Ở mơ hình 2, có cache Client hiệu hệ thống hơn, Client truy cập nhanh hơn, Server đỡ tải Ở mơ hình 3, có cache mạng ngang hàng; máy tính nguồn chuyên cung cấp nội dung cho Client không bị chịu tải Từ kết thử nghiệm dự kiến cho ta thấy mơ hình mơ hình thích hợp với tốn khơng có q nhiều lưu chuyển liệu Client Server lúc Số lượng tối đa Client truy cập lúc tới Server khoảng 1000 (do bị giới hạn băng thông tới máy chủ) Tất nhiên, mơ hình Client/Server cho phép hàng triệu Client truy cập hệ thống, trường hợp áp dụng giải pháp phân tải Server, Server bố trí nhiều địa điểm khác client khơng truy cập lúc Học viên: Trần Tiến Thành 50 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Với liệu dạng dịng Video trực tiếp (live) phiên kết nối Client gói tin liên tục truyền tải Tải Server tải Client cộng lại Nếu số lượng Client lớn quá, server không đáp ứng Tuy nhiên, với mô hình cache mạng ngang hàng, nhiều liệu video truyền client, nhiều máy Client tham gia Server cung cấp nội dung khơng phải chịu tải Tóm lại, theo đánh giá mơ hình lưu liệu phân tán có cache dựa mơ hình mạng ngang hàng ứng dụng vào toàn truyền liệu lớn liên tục cho nhiều Client truy cập lúc phù hợp Những tốn cịn lại mà lưu lượng truyền Client Server lúc 1000 nút nên áp dụng mơ hình Client/Server Học viên: Trần Tiến Thành 51 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng 3.3 Ứng dụng thử nghiệm giải pháp cho hệ thống thông tin Đài PT-TH Hà nội Sau nghiên cứu lý thuyết lưu liệu phân tán dựa mơi trường mạng ngang hàng, tơi thấy ứng dụng giải pháp vào mảng công việc Đài phát sóng qua mạng Hiện tại, Đài phát truyền hình trực tuyến video clip thơng qua hệ thống website Đài (hanoitv.vn) theo mơ hình Client/Server Trong giai đoạn đầu triển khai, chưa có nhiều người truy cập hệ thống chưa tải Tuy nhiên, sau người dân có thói quen sử dụng Tivi truy cập Internet xem truyền hình trực tuyến qua Tivi sử dụng giải pháp gây tải muốn phát video chất lượng cao (ví dụ HD) có số lượng người truy cập lúc lớn 3.3.1 Mơ hình thử nghiệm Hệ thống lưu phân tán video sử dụng mạng ngang hàng Sopcast Mơ hình hệ thống lưu phân tán sử dụng mạng ngang hàng Sopcast áp dụng việc phát video mạng Internet phục vụ đơng đảo người xem ngồi trước máy tính nối mạng khắp nơi Thế giới nước Trong hệ thống có sử dụng phần mềm Sopcast, phần mềm miễn phí sử dụng cơng nghệ P2P cho phép xem tivi hay nghe radio trực tuyến qua Internet, chạy máy tính cá nhân Server có kết nối Internet, chia sẻ đường link truyền hình trực tuyến Đài PT-TH Hà nội, phần mềm có khả chia sẻ cho 10.000 máy tính - Nguồn lấy từ đường link Media Stream Server đặt VDC, sử dụng giao thức mms : mms://123.30.191.62/htv1 Hệ thống gồm : - Stream Media Server đặt VDC có kết nối với đường line TV kênh HanoiTV1 để thu chương trình truyền hình trực tiếp, mã hóa, phát Học viên: Trần Tiến Thành 52 Viện Công nghệ thơng tin thành dịng Lớp cao học Kỹ thuật máy tính-Truyền thơng video lên mạng Internet theo địa mms://123.30.191.62/htv1 - Server cấu hình mạnh, chạy ổn định đặt Đài có kết nối mạng Internet Server có cài phần mềm Sopcast Phần mềm vừa có chức Sopcast server lại vừa có tính Client Trong trường hợp cấu hình phần mềm để có tính nguồn phát video mạng P2P - Các máy tính người xem có cài phần mềm Sopcast, có tính chọn kênh, danh sách kênh, người dùng chọn kênh Đài Hà nội để xem - Stream Media Server (Đặt VDC Data centre) - Tivi kênh HanoiTV - INTERNET - Firewall - Cache Client cài Sopcast - Cache Client cài Sopcast Stream Media Server (có cài Sopcast) Hình 3.9 : Mơ hình hệ thống lưu phân tán sử dụng Sopcast Học viên: Trần Tiến Thành 53 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Hệ thống có ưu điểm khơng phải đầu tư nhiều Server, băng thông tốc độ đường truyền cho máy chủ Do truyền video phân tán mạng ngang hàng nên Stream Media Server phát hình với chất lượng cao HD, máy tính người xem có kết nối ADSL xem tốt mà khơng giật 3.3.2 Mục đích hệ thống Xây dựng hệ thống phát hình mạng Internet chất lượng cao đáp ứng nhu cầu đa dạng người xem, đặc biệt giới văn phịng, người dân thành phố có kết nối Internet Đón đầu xu hướng xem thơng tin giải trí mạng Internet 3.3.3 Kịch thử nghiệm - Ở ISP VDC, đặt Stream media Server phát Internet luồng video với thông số : Phân giải hình : 320x288 Khung hình : 25 frame/s Bit rate : 361Kbps - Tại Đài đặt Server có cài phần mềm Sopcast, cấu hình chạy đường link media streaming : mms://123.30.191.62/htv1 Trong hệ thống cần phải dùng máy Server để đảm bảo hệ thống chạy ổn định liên tục, dùng máy PC chạy 24/24 không đảm bảo - Trên máy trạm người truy cập cài phần mềm Sopcast Sau hình ảnh phần mềm chạy : Học viên: Trần Tiến Thành 54 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Hình 3.10 Xem truyền hình trực tuyến phần mềm Sopcast Học viên: Trần Tiến Thành 55 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Ở hình trên, hình phía phần mềm Sopcast hiển thị trễ khoảng 30s so với hình phía chạy trực tiếp đường link mms, điều thời gian trễ máy trạm chuyển tiếp Hình 3.11 Chọn Kênh - Đài PTTH Hà nội phần mềm Sopcast 3.3.4 Kết thử nghiệm Trong q trình thử nghiệm, tơi thấy ban đầu số lượng máy tính kết nối hình ảnh giật trễ so với chạy link trực tiếp Tuy nhiên, số lượng kết nối tăng dần lên hình ảnh xem client tốt trễ so với trường hợp mạng có client Học viên: Trần Tiến Thành 56 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Chương : Kết luận Luận văn đưa nhìn tổng quan lưu liệu phân tán, đặc biệt mơ hình cache, lưu phân tán hệ thống Client/Server hệ thống mạng ngang hàng, loại toán áp dụng giải pháp lưu liệu phân tán dựa mạng ngang hàng Trong đó, luận văn có trình bày kiến thức tìm hiểu mơ hình Client/Server mơ hình FTP, mơ hình Reverse Proxy, đặc biệt mơ hình Cache Ngồi tìm hiểu cơng nghệ Peer to Peer, mơ hình ứng dụng mơ hình P2P Tơi đề xuất giải pháp lưu liệu phân tán có cache dựa P2P Trong giải pháp có trình bày chế hoạt động chức giải pháp cách Client kết nối vào mạng P2P, Client đọc đối tượng từ cache nào, cách ghi cập nhận đối tượng cache Để đánh giá hiệu việc áp dụng mơ hình lưu liệu phân tán hệ thống thông tin thiết kế hai kịch thử nghiệm để thử nghiệm mơ hình kết nối mạng; lưu phân tán mạng Client/Server không cache, lưu phân tán mạng Client/Server có cache mơ hình lưu phân tán có cache mạng ngang hàng Đánh giá mô hình tơi thấy mơ hình Client/Server có cache ứng dụng phù hợp với hầu hết toán trừ toán phải làm việc với dạng liệu lớn, lượng truy cập lúc nhiều Những tốn phù hợp với mơ hình lưu liệu phân tán dựa mạng ngang hàng Cuối đưa giải pháp lưu liệu phân tán dựa mạng P2P vào ứng dụng thử nghiệm cho hệ thống thông tin Đài PT-TH Hà nội cách sử dụng phần mềm miễn phí Sau cài đặt thử nghiệm, hệ thống cho kết thử nghiệm khả quan xem chương trình truyền hình Đài trực tuyến qua mạng P2P với chất lượng tốt Học viên: Trần Tiến Thành 57 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Tài liệu tham khảo Wikipedia http://vi.wikipedia.org/wiki/ Mạng_đồng_đẳng http://en.wikipedia.org/wiki/Peer-to-peer http://www.pplive.com http://www.sopcast.com http://www.napster.com Designing a DHT for low latency and high throughput Frank Dabek, Jinyang Li, Emil Sit, James Robertson, M Frans Kaashoek, Robert Morris Proceedings of the 1st conference on Symposium on Networked Systems Design and Implementation (2004) Zheng, C., Shen, G., Li, S.: Distributed Prefetching Scheme for Random Seek Support in Peer-to-Peer Streaming Applications In: Proc of ACM MM, pp 29–38 (2005) Học viên: Trần Tiến Thành 58 ... nghệ thông tin biết cách lựa chọn ứng dụng giải pháp lưu liệu phù hợp với yêu cầu toán đặt Đó lý tơi lựa chọn đề tài ? ?Nghiên cứu, tìm hiểu tốn lưu liệu phân tán ứng dụng vào việc triển khai hệ. .. KHOA HÀ NỘI - Trần Tiến Thành NGHIÊN CỨU TÌM HIỂU BÀI TOÁN SAO LƯU DỮ LIỆU PHÂN TÁN, ỨNG DỤNG VÀO VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành : Kỹ... số ứng dụng chia sẻ file ngang hàng 36 CHƯƠNG III ỨNG DỤNG GIẢI PHÁP SAO LƯU DỮ LIỆU PHÂN TÁN DỰA TRÊN MẠNG P2P TRONG VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN 40 3.1 Giải pháp lưu liệu phân