Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)

Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc (Luận văn thạc sĩ)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU LOAN GIẢI PHÁP BACKUP DỮ LIỆU, SỬ DỤNG CƠ CHẾ PHÂN CỤM ĐỘNG TRONG MẠNG NGANG HÀNG CĨ CẤU TRÚC LUẬN VĂN THẠC SỸ: NGÀNH CƠNG NGHỆ THÔNG TIN Hà Nội - Năm 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN HỮU LOAN GIẢI PHÁP BACKUP DỮ LIỆU, SỬ DỤNG CƠ CHẾ PHÂN CỤM ĐỘNG TRONG MẠNG NGANG HÀNG CÓ CẤU TRÚC Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SỸ: NGÀNH CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Hoài Sơn Hà Nội - Năm 2017 LỜI CẢM ƠN Lời xin gửi lời cảm ơn chân thành sâu sắc đến thầy giáo TS Nguyễn Hoài Sơn, người thầy vô tâm huyết hướng dẫn, giúp đỡ động viên suốt thời gian nghiên cứu hồn thiện luận văn Tơi xin chân thành cảm ơn thầy, cô giáo Khoa Công nghệ Thông tin trường Đại học Công nghệ - Đại học Quốc gia Hà Nội truyền đạt kiến tạo điều kiện tốt suốt q trình tơi học tập nghiên cứu trường Tôi xin chân thành cảm ơn anh Nguyễn Đình Nghĩa, người giúp đỡ, hướng dẫn hỗ trợ nhiệt tình tơi suốt trình nghiên cứu xây dựng luận văn Tôi xin chân thành cảm ơn tất bạn học viên cao học chia sẻ giúp đỡ tơi nhiều q trình hồn thành mơn học trường Nhân xin chân thành cảm ơn gia đình, bạn bè đồng nghiệp ủng hộ tinh thần, tạo điều kiện để học tập nghiên cứu chương trình thạc sỹ Đại học Công nghệ Đại học Quốc gia Hà Nội Hà Nội, ngày 28 tháng năm 2017 Học Viên Nguyễn Hữu Loan LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sỹ công nghệ thông tin “Giải pháp backup liệu sử dụng chế phân cụm động, mạng ngang hàng có cấu trúc” cơng trình nghiên cứu riêng tơi hướng dẫn TS Nguyễn Hồi Sơn, khơng chép lại người khác Các tài liệu tham khảo trích dẫn thích đầy đủ Hà Nội, ngày 28 tháng năm 2017 Học Viên Nguyễn Hữu Loan MỤC LỤC MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ KIẾN TRÚC HỆ THỐNG MẠNG NGANG HÀNG 1.1 Hệ thống P2P tập trung 1.2 Hệ thống P2P phân tán 12 1.3 Hệ thống P2P hỗn hợp 21 CHƯƠNG 2: CÁC PHƯƠNG PHÁP BACKUP DỮ LIỆU TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC 23 2.1 Cơ chế backup theo successor list 23 2.2 Phân cụm tĩnh mạng Chord 26 2.2.1 Phương pháp tách cụm tĩnh 26 2.2.2 Phương pháp backup file 27 2.3 Kết luận 30 CHƯƠNG 3: PHƯƠNG PHÁP PHÂN CỤM ĐỘNG VÀ CƠ CHẾ BACKUP 31 3.1 Nguyên tắc chung 31 3.2 Phương pháp tách nhập cụm 35 3.3 Phân mảnh đưa file vào mạng 37 3.4 Backup node rời mạng 38 3.4.1 Backup mảnh liệu nằm cụm 38 3.4.2 Backup mảnh liệu nằm cụm 39 CHƯƠNG 4: ĐÁNH GIÁ HIỆU QUẢ PHƯƠNG PHÁP TÁCH NHẬP CỤM SỬ DỤNG CƠ CHẾ PHÂN CỤM ĐỘNG 41 4.1 Chương trình mơ 41 4.2 Đánh giá so sánh số thông số phương pháp tách nhập cụm theo chế phân cụm động so với phân cụm tĩnh 45 4.2.1 Tỷ lệ khôi phục file ban đầu thành công (khi cố định thời gian sống node tăng số file) 45 4.2.2 Tỷ lệ khôi phục file ban đầu thành công (cố định số lượng file thay đổi thời gian sống) 46 4.2.3 Chi phí cho việc trì mảnh 47 4.2.4 So sánh file ban đầu thành công thay đổi số lượng node cụm 48 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 DANH MỤC CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Giải nghĩa Từ viết tắt Broadcast Là cách thức truyền gói tin từ điểm tới tất điểm Capacity Khả lưu trữ node Chord Là giao thức mạng ngang hàng biểu diễn mạng dạng vòng tròn Node Diễn tả thực thể mạng peer máy tính kết nối mạng DHT (Distributed Hash Table) Bảng băm phân tán Entry Là bước định tuyến bảng định tuyến Mobile agent Là chương trình có khả di chuyển cách tự trị từ nút mạng sang node mạng khác để hoàn tất tác vụ ID (Identification number) Số định danh Peer Một node mạng ngang hàng P2P (Peer to peer) Mạng ngang hàng Random walk Là chế node tìm kiếm thu thập danh sách Hub sau liên kết trực tiếp tới chúng Server Máy chủ Supernode Là node tương tự server, có khả chuyển tiếp thông tin kết nối tới nhiều node khác hệ thống DANH MỤC HÌNH VẼ Hình 1-1 Phân loại kiến trúc P2P Hình 1-2 Mơ hình mạng Napster 10 Hình 1-3 Mơ hình trao đổi tìm kiếm thơng tin Gnutella 13 Hình 1-4 Mơ hình mạng sử dụng giao thức Chord (mạng Chord) 16 Hình 1-5 Bảng định tuyến với không gian định danh ID=8 node mạng (0,1,3) 17 Hình 1-6 Mạng Chord với node key 18 Hình 1-7 Q trình tìm kiếm khóa node 19 Hình 1-8 Mơ tả bước tham gia mạng node .20 Hình 1-9 Mơ hình hệ thống P2P hỗn hợp Bestpeer 22 Hình 2-1 Thủ tục thực hàm get(k) 25 Hình 2-2 Thủ tục giao thức trì tồn cục 26 Hình 2-3 Thủ tục giao thức trì cục 26 Hình 2-4 Hình a mô tả node cụm với khả lưu trữ (20,35,42,57,73,82,18,54) Hình b mơ tả danh sách node có dung lượng lưu trữ lớn lấy từ hình a 28 Hình 3-1 Phương pháp đánh số cụm phân bậc 32 Hình 3-2 Quá trình tách cụm 2.1.1 thành hai cụm 2.1.1.1 2.1.1.2 32 Hình 3-3 Quá trình nhập cụm 1.1.1 1.1.2 để thành cụm 1.1 33 Hình 3-4: Mạng chord với cụm 1.1, 1.2 33 Hình 3-5: Quá trình chuyển node đầu cụm cho node tham gia trước node đầu cụm 34 Hình 3-6 Q trình chuyển thơng tin node đầu cụm rời mạng 35 Hình 3-7 Mơ tả việc tham gia node vào hệ thống 35 Hình 3-8 Mô tả node rời hệ thống 36 Hình 3-9 Quá trình cập nhật liệu cụm 37 Hình 3-10 Quá trình backup phân mảnh file đưa vào mạng .37 Hình 3-11 Mơ tả cách quản lý key file mảnh 38 Hình 3-12 Q trình node rời mạng cập nhật thơng tin 38 Hình 3-13 Lưu đồ kiểm tra backup mảnh bị 39 Hình 3-14 Mơ tả node định kỳ kiểm tra backup hai cụm đứng trước sau 40 DANH MỤC CÁC BIỂU ĐỒ Biểu đồ 4-1 So sánh tỷ lệ khôi phục file ban đầu thành công phân cụm tĩnh phân cụm động 46 Biểu đồ 4-2 So tỷ lệ file ban đầu thành công phân cụm tĩnh phân cụm động thay đổi thời gian sống node .47 Biểu đồ 4-3 So sánh chi phí trì mảnh phân cụm tĩnh phân cụm động .48 Biểu đồ 4-4 Tỷ lệ phục hồi công file thay đổi số lượng node tách, nhập cụm 49 DANH MỤC CÁC BẢNG Bảng 1-1 Bảng finger table [7] 16 Bảng 4-1: So sánh khác phân cụm tĩnh phân cụm động 45 MỞ ĐẦU Trong năm gần đây, mạng ngang ngàng phát triển nhanh chóng, nhiều ứng dụng sử dụng mạng ngang hàng để hỗ trợ chia sẻ file, video, tin nhắn nhanh Bittorrent, eDonkey, Fshare tool, Megadownloader Các ứng dụng sử dụng phương pháp phân mảnh để chia sẻ file, máy mạng liên kết với để lấy mảnh từ nhiều nguồn khác để có đầy đủ mảnh lắp ghép thành file Phương pháp vừa giảm tải cho máy, vừa lấy thơng tin nhanh dễ dàng hơn, tận dụng băng thông không cần sử dụng server trung tâm với cấu hình cao bị nghẽn cổ chai số lượng truy cập vào hệ thống lớn Trong thời kỳ đầu phát triển mạng ngang hàng, việc tìm kiếm, chia sẻ thơng tin thơng qua hình thức sử dụng chế broadcast, chế phát tràn thông báo tới máy mạng, gây tốn tài nguyên hiệu tìm kiếm thấp khơng đảm bảo việc qt thơng tin cho tồn hệ thống Mạng ngang hàng có cấu trúc hình thành sau khắc phục nhược điểm chế broadcast, thông qua việc sử dụng bảng băm phân tán DHT (Distributed Hash Table), điển Chord, CAN[12], Kademlia, Tapestry, Kelips Theo phương pháp này, không gian ID tổ chức dạng vòng, liệu mạng quản lý dạng (key, value), node liên kết biết đến thông qua bảng định tuyến Với cấu trúc này, máy tính cần tìm liệu, cần áp dụng giao thức chung để xác định nút mạng chịu trách nhiệm cho liệu sau liên lạc trực tiếp đến nút mạng để lấy kết Mặc dù mạng ngang hàng có cấu trúc cho thấy ưu điểm vượt trội thông qua việc sử dụng bảng băm DHT bảng định tuyến để tìm kiếm chia sẻ thơng tin, q trình hoạt động mạng nhiều vấn đề chưa giải Trong đó, có vấn đề đảm bảo việc phục hồi liệu mạng node mạng thường xuyên gia nhập rời khỏi mạng khả cân tải node chưa cao Luận văn “Giải pháp backup liệu, sử dụng chế phân cụm động mạng ngang hàng có cấu trúc” đề xuất phương pháp cải tiến việc backup liệu, theo chế phân cụm động nhằm khắc phục vấn đề nêu Về bố cục, nội dung luận văn bao gồm chương: Chương 1: Tổng quan kiến trúc hệ thống mạng ngang hàng: Chương giới thiệu kiến trúc mạng ngang hàng kiến trúc tập trung, kiến trúc phân tán kiến trúc hỗn hợp, kiến trúc có đặc điểm riêng sâu vào mô tả số hệ thống áp dụng với kiến trúc Chương 2: Các phương pháp backup liệu mạng ngang hàng có cấu trúc: Mơ tả chế backup mạng ngang hàng có cấu trúc, dựa giao thức Chord So sánh hai phương pháp backup successor list (phương pháp backup Chord nguyên thủy) phân cụm tĩnh Chương 3: Phương pháp phân cụm động chế backup: Đưa nguyên tắc phương pháp chung việc tách cụm động, nêu phương pháp phân mảnh liệu trường hợp xử lý việc backup liệu Chương 4: Đánh giá hiệu phương pháp tách nhập cụm theo chế phân cụm động: Mơ tả hoạt động chương trình mơ phỏng, so sánh tiêu chí phân cụm tĩnh phân cụm động Kết luận hướng phát triển: Tóm tắt, đề xuất hướng phát triển ... HỮU LOAN GIẢI PHÁP BACKUP DỮ LIỆU, SỬ DỤNG CƠ CHẾ PHÂN CỤM ĐỘNG TRONG MẠNG NGANG HÀNG CĨ CẤU TRÚC Ngành: Cơng nghệ thơng tin Chun ngành: Hệ thống thông tin Mã số: 60.48.01.04 LUẬN VĂN THẠC SỸ:... dụng với kiến trúc Chương 2: Các phương pháp backup liệu mạng ngang hàng có cấu trúc: Mơ tả chế backup mạng ngang hàng có cấu trúc, dựa giao thức Chord So sánh hai phương pháp backup successor... chưa giải Trong đó, có vấn đề đảm bảo việc phục hồi liệu mạng node mạng thường xuyên gia nhập rời khỏi mạng khả cân tải node chưa cao Luận văn Giải pháp backup liệu, sử dụng chế phân cụm động mạng