Một trong các bài toán thường được ứng dụng trong các hệ thống hiện nay dựa trên hai mô hình này là bài toán sao lưu dữ liệu phân tán.. Ngược lại, các mô hình sao lưu dữ liệu phân tán th
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Tiến Thành NGHIÊN CỨU TÌM HIỂU BÀI TOÁN SAO LƯU DỮ LIỆU PHÂN TÁN, ỨNG DỤNG VÀO VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành : Kỹ thuật máy tính truyền thơng Hà Nội – Năm 2012 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061131591391000000 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Trần Tiến Thành NGHIÊN CỨU TÌM HIỂU BÀI TOÁN SAO LƯU DỮ LIỆU PHÂN TÁN, ỨNG DỤNG VÀO VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC Chuyên ngành : Kỹ thuật máy tính truyền thông NGƯỜI HƯỚNG DẪN KHOA HỌC : TS Hà Quốc Trung Hà Nội – Năm 2012 Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Lời cam đoan Tơi xin cam đoan luận văn cao học đề tài “Nghiên cứu tìm hiểu toán lưu liệu phân tán, ứng dụng vào việc triển khai hệ thống thơng tin” cơng trình nghiên cứu thân Những số liệu, hình vẽ thử nghiệm tự tơi nghiên cứu tính tốn Hà nội, ngày 12 tháng năm 2012 Tác giả luận văn Trần Tiến Thành Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Danh mục Bảng Bảng 1.1 So sánh kiến trúc Client/Server Peer to Peer 12 Table 3.1 Bảng Locator Table 42 Bảng 3.2 So sánh thơng lượng trung bình Client 49 Bảng 3.3 Bảng so sánh tải máy chủ 49 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Danh mục hình vẽ Hình 1.1 : Kiến trúc Client – Server Hình 1.2: Hệ thống ngang hàng tuý 11 Hình 1.3: Hệ thống ngang có cấu trúc 12 Hình 2.1 Mơ hình lưu phân tán hệ thống Client/Server 14 Hình 2.2 : Mơ hình kết nối FTP từ Client tới Server 20 Hình 2.3 : Mơ hình kết nối Active FTP 21 Hình 2.4 : Mơ hình kết nối Passive FTP 22 Hình 2.5 : Mơ hình Reverse Proxy 24 Hình 2.6 : Mơ hình Cache 26 Hình 2.7: Kiến trúc siêu ngang hàng .31 Hình 2.8: Hoạt động mạng siêu ngang hàng .32 Hình 2.9: Mạng siêu ngang hàng dư cấp 33 Hình 2.10 Kiến trúc Napster 37 Hình 2.11 Kiến trúc Gnutella 38 Hình 3.1 : Mơ hình Cache mạng ngang hàng 40 Hình 3.2 : Client kết nối vào mạng 41 Hình 3.3 : Cache Registration 41 Hình 3.4 : Client đọc đối tượng 42 Hình 3.5 : Client cập nhật/ghi đối tượng 44 Hình 3.6 : Mơ hình hệ thống khơng có cache 46 Hình 3.7 : Mơ hình Cache client .47 Hình 3.8 : Mơ hình Cache mạng ngang hàng 48 Hình 3.9 : Mơ hình hệ thống lưu phân tán sử dụng Sopcast 53 Hình 3.10 Xem truyền hình trực tuyến phần mềm Sopcast 55 Hình 3.11 Chọn Kênh - Đài PTTH Hà nội phần mềm Sopcast 56 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Lời mở đầu Trong cấu trúc mạng Internet nay, mơ hình mạng Client/Server mơ hình mạng ngang hàng (P2P) hai mơ hình ứng dụng phổ biến Một toán thường ứng dụng hệ thống dựa hai mơ hình tốn lưu liệu phân tán Các mơ hình lưu liệu phân tán tổ chức theo kiểu mạng ngang hàng số lượng lại lớn lưu lượng Ngược lại, mơ hình lưu liệu phân tán theo kiểu Client/Server lớn số lượng, sử dụng hầu hết hệ thống mạng nay, lưu lượng lại chiếm lưu lượng qua mạng ngang hàng Nghiên cứu lưu liệu phân tán hai mơ hình Client/Server mạng ngang hàng (P2P) giúp người quản trị công nghệ thông tin biết cách lựa chọn ứng dụng giải pháp lưu liệu phù hợp với yêu cầu tốn đặt Đó lý tơi lựa chọn đề tài “Nghiên cứu, tìm hiểu tốn lưu liệu phân tán ứng dụng vào việc triển khai hệ thống thông tin” Từ trước tới quản trị mạng Đài PT-TH Hà nội, chuyên cập nhật nghiên cứu công nghệ để ứng dụng cho công việc chuyên môn Đài Trong tơi có nghiên cứu giải pháp lưu liệu phân tán chủ yếu dựa mơ hình mạng Client/Server, tơi nghiên cứu giải pháp Client/server thơng thường giải pháp Client/Server có cache nhằm giải yêu cầu toán truyền phát video chất lượng mạng Internet Tuy nhiên, giải pháp ứng dụng mơ hình Client/Server mắc phải số nhược điểm bị tắc nghẽn “nút cổ chai”, Server phải chịu tải lớn số lượng người xem gia tăng, tính mở rộng hệ thống bị hạn chế Vì mục đích nghiên cứu luận văn để đưa giải pháp lưu liệu phân tán tốt hơn, luận văn đề xuất giải pháp lưu liệu phân tán có cache dựa mơ hình mạng ngang hàng Giải pháp có ưu điểm tính sẵn sàng cao, khơng bị tắc nghẽn “nút cổ chai” hay tải Server, tính co giãn cao nhiều máy tham gia vào mạng hiệu hệ thống cao Giải pháp phù hợp với mơ hình phát video mạng Học viên: Trần Tiến Thành Viện Công nghệ thơng tin Lớp cao học Kỹ thuật máy tính-Truyền thơng Luận văn trình bày tổng quan mơ hình Client/Server, mơ hình Client/Server nâng cao, mơ hình mạng ngang hàng, ứng dụng mơ hình mạng P2P, lưu liệu phân tán, đặc biệt mô hình sử dụng cache Từ đề xuất giải pháp lưu liệu phân tán có cache dựa P2P, thử nghiệm giải pháp ứng dụng thử nghiệm giải pháp việc truyền phát Audio Video mạng Internet Đài PT-TH Hà nội Luận văn chia thành bốn chương: Chương : Giới thiệu Chương : Tổng quan công nghệ Chương : Ứng dụng thử nghiệm giải pháp lưu liệu phân tán dựa mạng P2P việc triển khai hệ thống thông tin Chương : Kết luận Để hồn thành luận văn tơi xin chân thành cảm ơn TS Hà Quốc Trung, người nhiệt tình hướng dẫn giúp tơi hồn thành tốt luận văn Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng MỤC LỤC Lời mở đầu MỤC LỤC CHƯƠNG I GIỚI THIỆU 1.1 Kiến trúc Client/Server 1.1.1 Mơ hình Client/Server thơng thường 1.1.2 Mơ hình Client/Server mở rộng 1.2 Kiến trúc Peer to Peer (Mạng ngang hàng) 10 1.2.1 Mạng ngang hàng khơng có cấu trúc (Pure Peer-to-peer Systems) 10 1.2.2 Mạng ngang hàng có cấu trúc (Structured) 11 1.3 So sánh kiến trúc Client/Server Peer to Peer 12 Bảng 1.1 So sánh kiến trúc Client/Server Peer to Peer 12 1.4 Sao lưu phân tán dựa P2P 13 CHƯƠNG II : TỔNG QUAN VỀ CÔNG NGHỆ 14 2.1 Công nghệ lưu phân tán 14 2.1.1 Khái niệm chung 14 2.1.2 Sao lưu phân tán hệ thống Client/Server: 14 2.1.3 Sao lưu phân tán hệ thống P2P 15 2.1.4 Các toán áp dụng giải pháp lưu liệu phân tán P2P 16 2.1.4.1 Dạng liệu thô 16 2.1.4.2 Dạng liệu Dòng (Streaming data) 16 2.1.4.3 Bài toán lưu phân tán sử dụng GIS 18 2.2 Các mơ hình Client-Server 20 2.2.1 Hệ thống truyền file FTP (File Transfer Protocol) 20 2.2.2 Proxy ngược (Reverse Proxy) 24 2.2.3 Mơ hình Cache 25 2.3 Công nghệ Peer to Peer (P2P) 27 2.3.1 Giới thiệu mạng ngang hàng (peer to peer – P2P) 27 2.3.1.1 Khái niệm 27 2.3.1.2 Đặc điểm mạng ngang hàng 27 2.3.1.3 Tiện ích mạng P2P mang lại 28 2.3.1.4 Những khó khăn thiết kế mạng ngang hàng 28 2.3.1.5 Các ứng dụng mạng ngang hàng 30 2.3.2 Mơ hình mạng P2P tiên tiến 30 2.3.2.1 Kiến trúc siêu ngang hàng (Super-peer Architecture) 31 2.3.2.2 Mạng siêu ngang hàng dư (Super-peer Redundancy) 33 2.3.2.3 Ưu điểm nhược điểm kiến trúc siêu ngang hàng 34 2.3.3 Một số ứng dụng chia sẻ file ngang hàng 36 CHƯƠNG III ỨNG DỤNG GIẢI PHÁP SAO LƯU DỮ LIỆU PHÂN TÁN DỰA TRÊN MẠNG P2P TRONG VIỆC TRIỂN KHAI HỆ THỐNG THÔNG TIN 40 3.1 Giải pháp lưu liệu phân tán dựa mạng P2P 40 3.1.1 Mơ hình hệ thống : 40 3.1.2 Cơ chế hoạt động chức phân hệ 40 3.2 Thử nghiệm giải pháp 45 3.2.1 Kịch mơ hình thử nghiệm 45 3.2.1.1 Kịch thử nghiệm 45 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng 3.2.1.2 Mơ hình thử nghiệm 46 3.2.2 Dự kiến kết thử nghiệm 48 3.2.3 Đánh giá mơ hình thử nghiệm 50 3.3 Ứng dụng thử nghiệm giải pháp cho hệ thống thông tin Đài PT-TH Hà nội 52 3.3.1 Mơ hình thử nghiệm Hệ thống lưu phân tán video sử dụng mạng ngang hàng Sopcast 52 3.3.2 Mục đích hệ thống 54 3.3.3 Kịch thử nghiệm 54 3.3.4 Kết thử nghiệm 56 Chương : Kết luận 57 Tài liệu tham khảo 58 Học viên: Trần Tiến Thành Viện Công nghệ thông tin Lớp cao học Kỹ thuật máy tính-Truyền thơng CHƯƠNG I GIỚI THIỆU Internet ngày thay đổi phát triển nhiều chủ yếu phát triển, vận hành theo mơ hình phổ biến Client/Server Peer-to-Peer, có mơ hình lai kết hợp kết hợp mơ hình Đối với toán triển khai diện rộng, liệu dung lượng lớn, phục vụ số lượng truy cập lúc nhiều sử dụng mơ hình mạng ngang hàng đem lại hiệu cao mặt hiệu năng, cịn mơ hình Client/Server thường áp dụng hầu hết tốn cịn lại Các giải pháp lưu liệu phân tán ứng dụng mơ hình nhằm giải toán chia sẻ lưu liệu phân tán Ngày nay, người sử dụng dạng liệu dung lượng lớn ngày nhiều nên để đáp ứng nhu cầu hệ thống có xu hướng thường sử dụng giải pháp lưu liệu mạng ngang hàng 1.1 Kiến trúc Client/Server 1.1.1 Mơ hình Client/Server thơng thường Mơ hình Client-Server thơng thường mơ hình phổ biến mạng máy tính, mơ hình tầng, áp dụng rộng rãi mô hình trang web có Server Client Client Client Hình 1.1 : Kiến trúc Client – Server Học viên: Trần Tiến Thành