ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c ỨNG DỤNG CHIA SẺ FILE NGANG HÀNG c
1 BÀI TẬP LỚN MÔN CHUYÊN ĐỀ MẠNG Đề tài: CHIA SẺ FILE NGANG HÀNG Mục lục: I Tổng quan Mạng ngang hàng ……………………………………….4 II Các lĩnh vực ứng dụng P2P ……………………………………….11 I Tổng quan Mạng ngang hàng Giới thiệu: - Mạng ngang hàng (Peer-to-Peer – P2P) bắt đầu xuất từ 1999 thu hút quan tâm giới CNTT năm gần Đặc biệt việc áp dụng mô hình P2P việc xây dựng ứng dụng chia sẻ file (file sharing), điện thoại Internet (Internet-based telephony) đạt nhiều thành công - Hiện ứng dụng P2P chiếm khoảng 50% (thậm chí 75%) băng thông Internet Định nghĩa P2P: - “Mạng ngang hàng kiểu mạng thiết kế cho thiết bị có chức khả thiết bị nhau” Mạng P2P khái niệm máy trạm (client) hay máy chủ (server), mà có khái niệm nốt (peers) đóng vai trò client server Mô hình mạng Client/Sever Mô hình mạng P2P - Overlay network:Là mạng máy tính xây dựng mạng khác Các nodes mạng overlay xem nối với liên kết ảo (logical links), liên kết ảo bao gồm nhiều liên kết vật lí mạng Rất nhiều mạng P2P gọi overlay networks xây dựng hoạt động Internet VD: Gnutella, Freenet, DHTs … Dial-up Internet telephone network overlay network So sánh mô hình P2P với mô hình Client/Server: P2P Client/Server - Một mạng ngang hàng cho phép node (PCs) đóng góp, chia sẻ nguồn tài nguyên với Tài nguyên riêng rẽ node (ổ cứng, CD-ROM, máy in … Các nguồn tài nguyên truy cập từ node mạng - Dữ liệu lưu trữ Server trung tâm, tốc độ cao (Tốc độ truy cập thường lớn so với mạng P2P) - Khi máy client yêu cầu lấy thông tin thời gian phải gửi yêu cầu theo - Các node đóng vai trò Client (truy vấn tiêu chuẩn server định ra, yêu cầu chấp nhận máy server trả thông tin mà thông tin) Server (cung cấp thông client yêu cầu tin) Ưu, nhược điểm mạng P2P, Client/Server: P2P + Ưu điểm: - Client/Server + Ưu điểm: Không cần server riêng, client chia sẻ tài nguyên Khi mạng mở rộng khả hoạt động hệ thống tốt - Tốc độ truy cập nhanh - Khả mở rộng cao - Hoạt động với loại ứng dụng - Rẻ - - Dễ cài đặt bảo trì Sử dụng với ứng dụng chia sẻ CSDL - Thuận lợi cho việc chia file, máy in, CD-ROM v.v… - Đáng tin cậy (có server riêng) - Mức độ an toàn cao + Nhược điểm: + Nhược điểm: - Chậm - Cần server riêng (nghẽn cổ chai) - Không tốt cho ứng dụng CSDL - Đắt - Kém tin cậy - Phức tạp việc bảo trì, trì hoạt động mạng 6 II Phân loại mạng ngang hàng Mạng ngang hàng phân loại theo mục đích sử dụng, ví dụ: • Chia sẻ file (file sharing) • Điện thoại VoIP (telephony) • Đa phương tiện media streaming (audio, video) • Diễn đàn thảo luận (Discussion forums) Mạng ngang hàng phân loại theo mức độ tập trung mạng (đối với P2P overlay networks) - Mạng ngang hàng không cấu trúc (unstructured): cấu trúc mạng có nơi lưu trữ nội dung (files) hoàn toàn không liên quan đến cấu trúc hình học mạng (overlay topology) Bao gồm: + Hệ thống mạng ngang hàng tập trung (Centralized): + Hệ thống mạng ngang hàng túy (Pure) + Các mạng ngang hàng lai (Hybrid) - Mạng ngang hàng có cấu trúc (Structured): Hệ thống mạng ngang hàng tập trung (Centralized) Đây mạng ngang hàng hệ thứ nhất, đặc điểm dựa máy chủ tìm kiếm trung tâm, gọi mang ngang hàng tập trung (centralized Peer-to-Peer networks) Cấu trúc Overlay mạng ngang hàng tập trung mô tả mạng hình Nguyên tắc hoạt động - Mỗi client lưu trữ files định chia sẻ với node khác mạng Một bảng lưu trữ thông tin kết nối người dùng đăng kí (IP address, connection bandwidth ….) Một bảng liệt kê danh sách files mà người dùng định chia sẻ (tên file, dung lượng, thời gian tạo file …….) Mọi máy tính tham gia mạng kết nối với máy chủ tìm kiếm trung tâm, yêu cầu tìm kiếm gửi tới máy chủ trung tâm phân tích, yêu cầu giải máy chủ gửi trả lại địa IP máy chứa tài nguyên mạng trình truyền file thực theo chế mạng ngang hàng, host với mà không cần quan máy chủ trung tâm Ưu điểm : - Dễ xây dựng Tìm kiếm file nhanh hiệu Nhược điểm : Vấn đề luật pháp, quyền Dễ bị công Cần quản trị mạng (central server) Napster mạng ngang hàng đặc trưng cho hệ thống mạng ngang hàng hệ thứ nhất, chúng dùng cho việc chia sẻ file người dùng Internet, sử dụng rộng rãi, nhiên nhanh chóng bị thị trường yếu tố luật pháp Khái niệm kiến trúc Napster sử dụng ứng dụng khác như: Audiogalaxy, WinMX 9 Với Napster, việc tìm kiếm file bị thất bại bảng tìm kiếm máy chủ lý không thực Chỉ có file truy vấn việc lưu trữ phân tán, máy chủ đóng vai trò nút cổ chai Khả tính toán lưu trữ máy chủ tìm kiếm phải tương xứng với số nút mạng hệ thống, khả mở rộng mạng bị hạn chế nhiều Mạng ngang hàng túy (Pure) Mạng ngang hàng túy dạng khác hệ thứ hệ thống mạng ngang hàng Không máy chủ tìm kiếm tập trung mạng Napster, khắc phục vấn đề nút cổ chai mô hình tập trung Tuy nhiên vấn đề tìm kiếm mạng ngang hàng túy lại sử dụng chế Flooding, yêu cầu tìm kiếm gửi cho tất node mạng láng giềng với nó, điều làm tăng đáng kể lưu lượng mạng Đây yếu điểm mạng ngang hàng túy Các phần mềm tiêu biểu cho mạng ngang hàng dạng Gnutella 4.0, FreeNet Mạng ngang hàng túy (Gnutella 4.0, FreeNet) Ưu điểm : - Dễ xây dựng - Đảm bảo tính phân tán hoàn toàn cho node tham gia mạng, node tham gia rời khỏi mạng cách tùy ý mà không ảnh hưởng đến cấu trúc mạng Nhược điểm: - Tốn băng thông Phức tạp tìm kiếm Các node có khả khác (CPU power, bandwidth, storage) phải chịu tải (load) 10 Các mạng ngang hàng lai Hybri Nguyên tắc hoạt động Để khắc phục nhược điểm mạng ngang hàng túy, mô hình mang ngang hàng phát triển với tên gọi mạng ngang hàng lai Đây gọi mạng ngang hàng hệ Phần mềm tiêu biểu cho mạng ngang hàng kiểu Gnutella 0.6 JXTA (Juxtapose) JXTA bắt đầu phát triển SUN từ 2001 (Đây giao thức P2P mã nguồn mở) JXTA sử dụng cho PCs, mainframes, cell phones, PDAs – để giao cách không tập trung Skype xây dựng dựa cấu trúc - - - - Trong mô hình mạng ngang hàng lai tồn trật tự phân cấp việc định nghĩa Super Peers Các SupperPeer tạo thành mạng không cấu trúc, có khác SupperPeers ClientPeers mạng, SupperPeer có nhiều kết nối đến ClientPeers Mỗi SupperPeer chứa danh sách file cung cấp ClientPeer địa IP chúng trả lời yêu cầu truy vấn từ ClientPeer gửi tới Ưu điểm : Hạn chế việc Flooding query, làm giảm lưu lượng mạng, tránh tượng nút cổ chai (do có nhiều SuperPeers) Khắc phục nhược điểm khác CPU power, bandwidth … mạng ngang hàng túy, SuperPeer chịu tải chính, node khác chịu tải nhẹ 11 Mạng ngang hàng có cấu trúc Structured Đặc điểm: - Topo mạng kiểm soát chặt chẽ - File trỏ tới File đặt vị trí xác đinh Điều quan trọng hệ thống có cấu trúc cung cấp liên kết (mapping) nội dung (ví dụ: id file) vị trí node (ví dụ: địa node) Việc thường dựa cấu trúc liệu bảng băm phân tán (Distributed Hash Table) Dựa cấu trúc bảng băm phân tán có nhiều nghiên cứu đề xuất mô hình mạng ngang hàng có cấu trúc, điển hình cấu trúc dạng vòng: Chord, Pastry…, cấu trúc không gian đa chiều: CAN, Viceroy Ưu điểm: Khả mở rộng hệ thống mạng mô hình không cấu trúc thường bị hạn chế kỳ thuật việc xây dựng mạng chẳng hạn như: Mô hình tập trung dẫn tới việc thắt nút cổ chai mở rộng, kỹ thuật Flooding dẫn tới việc tăng lưu lượng mạng mở rộng mạng Trong khả mở rộng với mô hình mạng có cấu trúc nâng cao rõ rệt Nhược điểm: - Việc quản lí cấu trúc topo mạng gặp khó khăn, đặc biệt trong trường hợp tỷ lệ vào/ra mạng nodes cao Vấn đề cân tải mạng 12 II Các lĩnh vực ứng dụng P2P Sự đời mạng ngang hàng tạo cách thức quản lý cho hàng loạt lĩnh vực ứng dụng Bài đưa cách nhìn tổng quát cho vấn đề lĩnh vực ứng dụng mạng ngang hàng như: giao tiếp (communication), chia sẻ file (file sharing), băng thông (bandwidth), vấn đề lưu trữ (storage), chu trình xử lí (processor cycles) Giao tiếp (communication): - Đóng vai trò quan trọng ứng dụng mạng ngang hàng - Là nhân tố định mạng ngang hàng cung cấp thông tin Peers nguồn tài nguyên sẵn sàng mạng - Tạo khả cho Peer kết nối trực tiếp với Peer khác yêu cầu nguồn tài nguyên - Một ví dụ điển hình ứng dụng mạng ngang hàng giao tiếp hệ thống chuyển tin nhắn trực tiếp (instant messaging) Instant messaging: + Thông thường, server trung tâm lưu trữ thông tin danh sách người dùng đăng kí + Khi có giao tiếp node, việc tìm kiếm người dùng (node khác) thực hiệntrên server + Trong trường hợp người dùng không online , hệ thống phải lưu trữ tin nhắn người dùng online + Các dịch vụ điển hình: Napster, ICQ, Jabber Chia sẻ Files (File sharing) - - - Có thể nói ứng dụng sử dụng nhiều mạng ngang hàng chia sẻ file Theo ước tính khoảng 70% lưu lượng mạng Internet cho để trao đổi file đặc biệt file âm nhạc (hơn tỷ file âm nhạc download tuần) Đặc điểm vấn đề chia sẻ file Peer có file download với vai trò Client làm cho chúng sẵn sàng với Peer khác vai trò Server Vấn đề chủ yếu cho mạng ngang hàng nói chung cho vấn đề chia sẻ file riêng vấn đề tìm kiếm Trong ngữ cảnh hệ thống chia sẻ file, có ba mô hình khác phát triển: mô hình flooded request, mô hình thư mục trung tâm mô hình hướng tài liệu Các mô hình 13 - minh hoạ qua ứng dụng thực mạng ngang hàng sau: Gnutella, Naspter FreeNet Trong hệ thống Gnutella, tập trung hoá, file lưu trữ Peer hệ thống có yêu cầu tìm kiếm File, máy tính gửi yêu cầu đến Peer láng giềng tìm thấy máy chứa file cần tìm Tiếp theo trình trao đổi file trực tiếp hai máy tính mạng - Trong hệ thống Naspter, có tập trung hoá Khi máy tham gia vào mạng, danh mục file đăng ký lưu trữ Server trung tâm, có yêu cầu tìm kiếm, máy tính hỏi Server trung tâm vị trí file Sau việc trao đổi file thực hai máy tính với - Trong hệ thống Freenet, file không lưu trữ đĩa cứng peer cung cấp chúng mà lưu trữ vị trí khác mạng Mục đích việc phát triển mạng Freenet làm cho thông tin lưu trữ truy cập mà không cần biết định danh Với tổ chức vậy, chủ sở hữu node mạng tài liệu lưu trữ đĩa cứng máy Vì lý mà Peer file cung cấp số định danh khác Khi file tạo, truyền qua peer láng riêng tới peer có số định danh gần với số định danh file lưu trữ Băng thông Bandwidth) Do yêu cầu khả truyền dẫn mạng ngày đòi hỏi cao đặc biệt số lượng lớn liệu đa phương tiện tăng nhanh, hiệu việc sử dụng băng thông ngày trở nên quan trọng Hiện nay, hướng tiếp cận tập trung file lưu trữ Server truyền từ tới máy khách yêu cầu sử dụng chủ yếu Trong trường hợp số lượng yêu cầu tăng nhanh dẫn tới tình trạng nút cổ chai Với hướng tiếp cận theo mạng ngang hàng vấn đề cân tải đạt tối ưu tận dùng tối đa hướng truyền dẫn hệ thống mạng - Tăng cường khả cân tải mạng: Khác với kiến trúc Client/Server mạng ngang hàng lai nhận cân tải tốt Với mô hình Client/Server yêu cầu truy vấn thông tin việc truyền liệu thực máy chủ máy khách, làm cân tải có nhiều yêu cầu kết nối tới máy chủ Trong mô hình mạng ngang hàng, có yêu cầu truy vấn thực máy tính tham gia mạng với máy chủ, vấn đề truyền file thực hai máy tính tham gia mạng với nhau, điều dẫn đến việc phân bố tải 14 hệ thống mạng - Chia sẻ việc sử dụng băng thông: Mạng ngang hàng làm tăng khả download truyền file chế tận dụng đường truyền tới peer tham gia mạng Một file liệu lớn chia thành khối liệu nhỏ độc lập nhau, khối liệu chuyển đồng thời đến peer khác cuối đến peer yêu cầu chúng Tại peer yêu cầu khối liệu ghép lại thành file liệu ban đâu Các phần mềm điền hình việc chia sẻ băng thông phần mềm download file, chẳng hạn như: BitTorrent, FlashGet… 15 Các chu trình xử lý (Processor Cycles): Có thể nhận thấy ứng dụng đòi hỏi cần phải có sức mạnh tính toán người ta thường tìm cách xây dựng máy tính mạnh, đắt tiền chưa trọng vào việc tận dụng khả tính toán máy tính nối mạng Ngày yêu cầu đòi hỏi tính toán hiệu cao thao tác tính toán tin sinh học, tài chính, đo lường mà nhiều nghiên cứu ứng dụng mạng ngang hàng vào xử lý tính toán đưa Bằng việc sử dụng ứng dụng mạng ngang hàng để bó cụm chu trình xử lý nhận khả tính toán ngang với siêu máy tính đắt tiền Trong mạng máy tính suốt với máy tính khác tất node kết nối mạng tạo thành máy tính logic Không gian lưu trữ (Storage Space): Hiện với hệ thống cần có yêu cầu mặt lưu trữ liệu cao người ta thường lựa chọn giải pháp lưu trữ như: - DAS (Direct Attached Storage) NAS (Network Attached Storage): SAN (Storage Area Networks): Bên cạnh ưu điểm giải pháp tồn số nhược điểm như: - Kém hiệu việc sử dụng hệ thống lưu trữ sẵn có Phải tăng cường việc lưu liệu Tăng tải mạng công ty Tuy nhiên, băng thông mạng ngày cải thiện cao, tính kết nối liên thông ngày dễ dàng cho phép thay đổi cách thức quản lý vấn đề lưu trữ liệu, giải cách hiệu vấn đề lưu trữ không đỏi hỏi nhiều vấn đề quản trị hệ thống Với mạng lưu trữ ngang hàng nói chung giả thiết có phần không gian sẵn có máy tính PC sử dụng Mạng lưu trữ ngang hàng cụm máy tính xây dựng mạng máy tính tồn tại, chia sẻ tất lưu trữ sẵn có mạng 16 III Tổng kết Hiện tại, mô hình Peer to Peer cho nắm giữ khoảng 40 – 70% lưu lượng Internet giới, đa số dùng để chia sẻ file vi phạm quyền phải cám ơn Peer to Peer giúp nhiều thứ phát triển, chẳng hạn Linux… họ sử dụng Peer to Peer để giám gánh nặng chi phí việc lưu trữ phần mềm 17 Tài liệu tham khảo Ralf Steinmetz and Klaus Wehrle “Peer-to-Peer Systems and Applications “ Juniper Network’s doccuments “System Basics Configuration Guide” www.juniper.net Morgan.Kaufmann.P2P.Networking.and.Applications.Dec.2008 Juniper Network’s doccuments “ERX Command Reference Guide” www.juniper.net Juniper Network’s doccuments “M320 – Hwguide ” www.juniper.net Andy Oram “Peer to Peer: Harnessing the Power of Disruptive Technologies” OReilly Publishing, first edition March 2001 Page 9,page 19 Chapter [...]... Các dịch vụ điển hình: Napster, ICQ, Jabber 2 Chia sẻ Files (File sharing) - - - Có thể nói ứng dụng được sử dụng nhiều nhất của mạng ngang hàng đó là chia sẻ file Theo ước tính khoảng 70% lưu lượng mạng trên Internet được cho là để trao đổi các file đặc biệt là các file âm nhạc (hơn 1 tỷ các file âm nhạc được download mỗi tuần) Đặc điểm của vấn đề chia sẻ file là các Peer có các file được download với... trò của một Server Vấn đề chủ yếu cho mạng ngang hàng nói chung và cho vấn đề chia sẻ file nó riêng là vấn đề tìm kiếm Trong ngữ cảnh của hệ thống chia sẻ file, có ba mô hình khác nhau được phát triển: mô hình flooded request, mô hình thư mục trung tâm và mô hình hướng tài liệu Các mô hình này 13 - được minh hoạ qua các ứng dụng thực của mạng ngang hàng sau: Gnutella, Naspter và FreeNet Trong hệ thống... quát cho vấn đề các lĩnh vực ứng dụng của mạng ngang hàng nh : giao tiếp (communication), chia sẻ file (file sharing), băng thông (bandwidth), vấn đề lưu trữ (storage), các chu trình xử lí (processor cycles) 1 Giao tiếp (communication ): - Đóng một vai trò quan trọng trong các ứng dụng mạng ngang hàng - Là nhân tố quyết định trong các mạng ngang hàng vì nó cung cấp thông tin về các Peers và các nguồn... tính tham gia mạng với nhau, điều này dẫn đến việc phân bố tải đều trên 14 hệ thống mạng - Chia sẻ việc sử dụng băng thông: Mạng ngang hàng có thể làm tăng khả năng download và truyền các file do cơ chế tận dụng đường truyền tới các peer tham gia mạng Một file dữ liệu lớn được chia thành các khối dữ liệu nhỏ độc lập nhau, các khối dữ liệu này được chuyển đồng thời đến các peer khác nhau và cuối cùng... tăng lưu lượng mạng khi mở rộng mạng Trong khi đó khả năng mở rộng với mô hình mạng có cấu trúc được nâng cao rõ rệt Nhược điểm: - Việc quản lí cấu trúc của topo mạng gặp khó khăn, đặc biệt trong trong trường hợp tỷ lệ vào/ra mạng của các nodes cao Vấn đề cân bằng tải trong mạng 12 II Các lĩnh vực ứng dụng của P2P Sự ra đời của mạng ngang hàng đã tạo ra cách thức quản lý mới cho hàng loạt các lĩnh... Client/Server các mạng ngang hàng lai có thể nhận được sự cân bằng tải tốt hơn Với mô hình Client/Server thì cả yêu cầu truy vấn thông tin và việc truyền dữ liệu đều được thực hiện giữa máy chủ và máy khách, sẽ làm mất sự cân bằng tải khi có nhiều yêu cầu kết nối tới máy chủ Trong mô hình mạng ngang hàng, chỉ có yêu cầu truy vấn được thực hiện giữa máy tính tham gia mạng với máy chủ, còn vấn đề truyền file được... trên cấu trúc bảng băm phân tán đã có nhiều nghiên cứu và đề xuất ra các mô hình mạng ngang hàng có cấu trúc, điển hình là cấu trúc dạng vòng: Chord, Pastry…, và cấu trúc không gian đa chiều: CAN, Viceroy Ưu điểm: Khả năng mở rộng hệ thống mạng trong mô hình không cấu trúc thường bị hạn chế bởi các kỳ thuật trong việc xây dựng mạng chẳng hạn nh : Mô hình tập trung dẫn tới việc thắt nút cổ chai khi...11 4 Mạng ngang hàng có cấu trúc Structured Đặc điểm: - Topo mạng được kiểm soát chặt chẽ - File hoặc con trỏ tới File được đặt ở một vị trí xác đinh Điều quan trọng đối với những hệ thống có cấu trúc là cung cấp sự liên kết (mapping) giữa nội dung (ví d : id của file) và vị trí node (ví d : địa chỉ node) Việc này thường dựa trên một cấu trúc dữ... được nối mạng Ngày nay do những yêu cầu đòi hỏi tính toán hiệu năng cao như các thao tác tính toán trong tin sinh học, trong tài chính, trong đo lường mà nhiều nghiên cứu ứng dụng mạng ngang hàng vào xử lý tính toán đã được đưa ra Bằng việc sử dụng các ứng dụng mạng ngang hàng để bó cụm các chu trình xử lý có thể nhận được khả năng tính toán ngang bằng với một siêu máy tính đắt tiền Trong một mạng mỗi... trong mạng của công ty Tuy nhiên, băng thông mạng ngày càng được cải thiện cao, tính kết nối liên thông ngày một dễ dàng đã cho phép thay đổi cách thức quản lý vấn đề lưu trữ dữ liệu, giải quyết một cách hiệu quả vấn đề lưu trữ và không đỏi hỏi nhiều về vấn đề quản trị hệ thống Với mạng lưu trữ ngang hàng nói chung nó được giả thiết rằng chỉ có một phần không gian sẵn có trên máy tính PC được sử dụng Mạng ... mạng ngang hàng chia sẻ file Theo ước tính khoảng 70% lưu lượng mạng Internet cho để trao đổi file đặc biệt file âm nhạc (hơn tỷ file âm nhạc download tuần) Đặc điểm vấn đề chia sẻ file Peer có file. .. sẵn sàng với Peer khác vai trò Server Vấn đề chủ yếu cho mạng ngang hàng nói chung cho vấn đề chia sẻ file riêng vấn đề tìm kiếm Trong ngữ cảnh hệ thống chia sẻ file, có ba mô hình khác phát triển:... việc bảo trì, trì hoạt động mạng 6 II Phân loại mạng ngang hàng Mạng ngang hàng phân loại theo mục đích sử dụng, ví dụ: • Chia sẻ file (file sharing) • Điện thoại VoIP (telephony) • Đa phương