Một phương pháp phi tập trung cho cân bằng tải trong các mạng ngang hàng có cấu trúc luận văn ths công nghệ thông tin

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HIÊN MỘT PHƯƠNG PHÁP PHI TẬP TRUNG CHO CÂN BẰNG TẢI TRONG CÁC MẠNG NGANG HÀNG CÓ CẤU TRÚC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HIÊN MỘT PHƯƠNG PHÁP PHI TẬP TRUNG CHO CÂN BẰNG TẢI TRONG CÁC MẠNG NGANG HÀNG CÓ CẤU TRÚC Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN ĐẠI THỌ Hà Nội – 2015 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới TS.Nguyễn Đại Thọ, Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội, người thầy dành nhiều thời gian tận tình bảo, hướng dẫn, giúp đỡ suốt trình tìm hiểu, nghiên cứu Thầy người định hướng đưa nhiều góp ý quý báu trình thực luận văn Tôi xin chân thành cảm thầy, cô khoa Công nghệ thông tin – Trường Đại học Công nghệ - ĐHQGHN cung cấp cho kiến thức tạo cho điều kiện thuận lợi suốt trình học tập trường Tôi bày tỏ lòng biết ơn giúp đỡ lãnh đạo quan, đồng nghiệp cung cấp tài liệu cho lời khuyên quý báu Tôi xin cảm ơn gia đình, người thân, bạn bè động viên tạo điều kiện tốt cho Tôi xin chân thành cảm ơn! Hà Nội, tháng năm 2015 Học viên Nguyễn Thị Hồng Hiên LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu riêng tôi, thực hướng dẫn TS Nguyễn Đại Thọ Các kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội, tháng năm 2015 Học viên Nguyễn Thị Hồng Hiên MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ LỜI MỞ ĐẦU Chương Giới thiệu tổng quan 11 1.1.Bài toán cân tải mạng ngang hàng có cấu trúc 11 1.2.Một số hướng nghiên cứu cân tải mạng ngang hàng có cấu trúc 12 1.3 Hướng tiếp cận luận văn kết đạt 13 1.4 Cấu trúc luận văn 13 1.5 Kết luận 14 Chương Các kiến thức sở liên quan 15 2.1 Mạng ngang hàng 15 2.1.1 Khái niệm mạng ngang hàng 15 2.1.2 Các đặc trưng mạng ngang hàng 16 2.1.3 Các loại mạng ngang hàng 16 2.2 Bảng băm phân tán (DHT) 17 2.3 Chord 18 2.3.1 Khái niệm 18 2.3.2 Không gian định danh 19 2.3.3.Định tuyến 19 2.3.4.Truy vấn vòng Chord 20 2.3.5 Cơ chế ổn định mạng vòng Chord 21 2.4 Khái niệm liên quan đến tải 21 2.5 Nguyên nhân gây cân tải 22 2.6 Các phương pháp cân tải 23 2.6.1.Phương pháp di chuyển server ảo một-một 23 2.6.2.Phương pháp di chuyển server ảo một-nhiều 23 2.6.3.Phương pháp di chuyển server ảo nhiều-nhiều 24 Chương Giải pháp cân tải phi tập trung 26 3.1 Xây dựng Chord 26 3.2 Chèn 29 3.3 Hoán đổi 31 Chương Mô đánh giá 33 4.1 Bộ mô Jonathan Ledlie 33 4.2 Mô tả mô giải pháp cân tải 35 4.3 Kết 40 4.3.1 Lượng truy vấn node thay đổi 41 4.3.2 Độ lệch truy vấn node thay đổi 43 Chương Kết luận 44 TÀI LIỆU THAM KHẢO 46 46 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Viết tắt PS VS DHT DHTs ID Ý nghĩa Physical Server Virtual Server Distributed Hash Table Distributed Hash Tables Identifier DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 2.1 Phân loại hệ thống mạng ngang hàng 16 Hình 2.2 Mô hình bảng băm phân tán 18 Hình 2.3 Không gian định danh 6-bit Chord 19 Hình 2.4 Vòng tròn định danh Chord với node [6] 20 Hình 2.5 Sơ đồ thuật toán di chuyển server ảo nhiều-nhiều Error! Bookmark not defined Hình 3.1 Vòng Chord ban đầu 28 Hình 3.2 Vòng Chord 28 Hình 3.3 Ví dụ vòng Chord 30 Hình 3.4 Sơ đồ thuật toán giải pháp 32 Hình 4.1 Mô tả trình hoạt động giải pháp 37 Hình 4.2 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Uniform) 41 Hình 4.3 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 0.8) 42 Hình 4.4 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 1.2) 42 Hình 4.5 Tỷ lệ phần trăm truy vấn thành công độ skew mạng thay đổi 43 LỜI MỞ ĐẦU Lưu trữ chia sẻ liệu Internet mối quan tâm hàng đầu đặt nhiều thách thức Khi nhu cầu chia sẻ thông tin tăng, mô hình client/server có nhiều hạn chế băng thông việc xử lý liệu Trong mô hình này, client kết nối với server Tài nguyên tập trung server để cung cấp cho client Các máy client đóng vai trò thụ động, yêu cầu dịch vụ từ server mà không cung cấp dịch vụ cho client khác Khi mà số lượng client tăng nhanh, server đáp ứng cho client, bị tải mạng bị sập Khắc phục nhược điểm đó, mạng ngang hàng đời Mạng ngang hàng có loại: không cấu trúc có cấu trúc Với mạng ngang hàng cấu trúc, mối liên hệ máy liệu Điều dẫn đến việc tìm kiếm không thành công yêu cầu tìm kiếm bị chuyển ngẫu nhiên đến máy mạng, chưa đến đích TTL = 0, yêu cầu tìm kiếm bị loại bỏ Một yêu cầu tìm kiếm không nhận kết quả, đảm bảo máy có khả đáp ứng yêu cầu tồn Mặt khác, mạng ngang hàng cấu trúc, package tìm kiểm thường chuyển phát tràn tới lượng lớn máy gây việc tốn lượng băng thông lớn Với mạng ngang hàng có cấu trúc, hạn chế khắc phục cách sử dụng bảng băm phân tán (DHT) Nó định nghĩa liên kết node mạng theo thuật toán cụ thể, node lưu trữ liệu phân bố cách hiệu quả, đồng thời xác định node mạng chịu trách nhiệm phần liệu mạng cách chặt chẽ Đã có nhiều cấu trúc mạng ngang hàng sử dụng DHT CAN, Chord, Partry… Trong đó, Chord sử dụng nhiều nghiên cứu tối ưu mạng cân tải Chord tổ chức không gian định danh định tuyến cách đơn giản, hiệu Theo nghiên cứu trước, mạng ngang hàng có cấu trúc hoạt động hiệu máy (node) liệu phân bố không gian định danh đồng đều, số truy vấn đến liệu ngang nhau, khả node giống nhau…Tuy nhiên, thực tế node tham gia vào mạng ngẫu nhiên, nên giả thiết không xảy Các node máy tính cá nhân, lúc máy tham gia vào mạng nên tài nguyên node biến khoảng thời gian Do đó, hệ thống mạng bị cân tải Hiện nhiều nghiên cứu cân tải đề xuất theo hai hướng: không sử dụng server ảo có sử dụng server ảo Trong luận văn này, xin theo hướng nghiên cứu cân tải sử dụng server ảo mạng ngang hàng có cấu trúc Chord Một số phương pháp cân tải dựa server ảo tiêu biểu di chuyển server ảo, log(N) server ảo, k-choices Với phương pháp cân tải di chuyển server ảo, server vật lý quản lý số server ảo Nếu có server vật lý nặng tải, ta di chuyển server ảo từ server vật lý sang server vật lý nhẹ tải, đảm bảo sau chuyển hai server nhẹ tải Ứng với việc di chuyển server ảo, ta có ba thuật toán di chuyển: một-một, một-nhiều, nhiều-nhiều Trong thuật toán di chuyển server ảo một-một, server vật lý nhẹ tải chọn định danh ID bất kỳ, kiểm tra xem node có ID nặng tải hay nhẹ tải, node nặng tải bắt đầu thực chuyển server ảo Trong thuật toán di chuyển server ảo một-nhiều, server vật lý nhẹ tải thông báo tải cho directory, server vật lý nặng tải lấy thông tin server vật lý nhẹ tải từ directory, sau xác định server vật lý nhẹ tải thỏa mãn để di chuyển server ảo Trong thuật toán di chuyển server ảo nhiều-nhiều, global pool sử dụng để quản lý server ảo, bước trung gian để chuyển server ảo từ node nặng tải sang node nhẹ tải Global pool cấu trúc liệu cục sử dụng để tính toán cấp phát cuối cùng, tải chuyển thuật toán kết thúc Đây hạn chế thuật toán này, phá vỡ tính phi tập trung mạng ngang hàng Ngoài ra, node mạng biết địa global pool, nên global pool dễ bị công Vấn đề đặt phải đưa phương pháp cân tải khắc phục nhược điểm tập trung hóa thuật toán cân tải di chuyển server ảo nhiều-nhiều Xuất phát từ yêu cầu đặt ra, xin đưa giải pháp cân tải phi tập trung dựa server ảo cách xây dựng thêm vòng Chord dựa vào độ lệch tải node vòng Chord cũ Kết mô cho thấy hiệu giải pháp gần xấp xỉ hiệu thuật toán cân tải nhiều-nhiều 10 Hình 3.4 Sơ đồ thuật toán giải pháp Như vậy, chương đãã trình bày giải pháp cân tải phi tập p trung ssử dụng server ảo cải tiến n cho phương pháp di chuyển chuy server ảo nhiều-nhiềuu sử s dụng global pool nói chương ương Thu Thuật toán chưa cải thiện đượcc hi hiệu thuật toán di chuyển n server ảo nhiều-nhiều, nhiên, bước đầu u phá vvỡ tính tập trung thuậtt toán di chuyển chuy server ảo nhiều-nhiều, u, hoàn toàn có th thể hoạt động bình thường mà không sợ hệệ thống bị đổ vỡ bị công 32 Chương Mô đánh giá Để so sánh giải pháp với phương pháp có, chương mô tả mô giải pháp Trước đó, tác giả Jonathan Ledlie xây dựng mô thuật toán cân tải: k-choices, di chuyển một-một, threshold proportion Khóa luận tốt nghiệp “Cân tải mạng ngang hàng” tác giả Nguyễn Thị Mi mô thêm phương pháp di chuyển nhiều-nhiều phương pháp cân tải phi tập trung dựa server ảo [3] Chương vào việc thực mô phỏng, từ đánh giá hiệu phương pháp có giải pháp cân tải 4.1 Bộ mô Jonathan Ledlie Bộ mô Jonathan Ledlie [5] thực thuật toán cân tải kiến trúc mạng ngang hàng có cấu trúc Chord Nó viết C++ hệ điều hành Linux Sau đó, dựa mô này, tác giả Nguyễn Thị Mi sửa đổi để mô chạy Window Trong đó, ID node xếp trật tự không gian định danh vòng Chord Bộ mô gồm bước thực hàm main file lb.cc: node tham gia thoát khỏi mạng, update bảng định tuyến, thực truy vấn cân tải  Các node tham gia thoát khỏi mạng Việc tham gia thoát khỏi mạng node mô tả thông qua birth(myInitialVsCount) death() Trong mô phỏng, tác giả sử dụng phân bố Pareto để mô tả trình vào/ra node mạng Ở đây, tác giả dùng hai file đầu vào: - Một file chứa thông tin khả riêng (capacity) node file gnutelle.4096n File gồm hai cột: cột định danh ID node, cột thứ hai capacity node Ví dụ: 10 106 10 10 106 10 … 33 - Một file chứa thông tin vào/ra node vòng file pareto.4096n.3hours File gồm cột: cột số vòng (round) tính theo giây, thời gian bắt đầu 0, cột thứ hai mô tả hoạt động node thời điểm (b/d/w/r/q) với b: birth, d: death, w: chuyển đổi tải, r: trạng thái ghi node true q: xuất cuối file để kết thúc chương trình Cột thứ ba định danh ID node thực hành động cột thứ hai Ví dụ: b 0 b b 10 b 100 b 1000 b 1002 …  Cập nhật bảng định tuyến Ban đầu server ảo có bảng định tuyến rỗng Sau đó, sử dụng chế định tuyến Chord để hoàn thiện bảng định tuyến Nếu server ảo có định danh a, hàng i bảng định tuyến successor key a+2i mod D (với D = 2160) Các server ảo dùng hàm fixFingers() file fingers.cc để cập nhật bảng định tuyến Mỗi hàng bảng định tuyến hay gọi finger có timeout 30s Mỗi lần finger sử dụng thành công timeout thiết lập lại Khi node rời bỏ mạng, server ảo trỏ đến node không thông báo  Thực truy vấn Các hàm phân bố thực file distribution.cc Nếu truy vấn gửi tới node giống phân bố truy vấn gọi phân bố uniform Ngược lại, truy vấn gửi đến node không đồng phân bố truy vấn gọi phân bố Zipf Dưới hàm phân bố Zipf: ( , , ) = ∑ ⁄ ( ⁄ ) Trong đó, N số lượng node truy vấn, k thứ hạng node truy vấn (node có thứ hạng cao bị truy vấn nhiều) thị đặc điểm phân bố Giá trị giá trị lũy thừa biểu đại diện cho mức độ truy vấn node có thứ hạng khác Ta sử dụng giá trị biến thiên để xem xét xem thuật toán cân tải cho kết trường hợp mạng có độ skew khác nhau: = 0.8, = 1.2 34 Truy vấn khởi tạo từ node với đích chọn từ phân bố đồng phân bố Zipf Mỗi hop truy vấn sử dụng finger thích hợp để định tuyến truy vấn đích Nếu hop node nặng tải truy vấn thất bại Ngược lại, truy vấn thành công chúng đến node đích  Cân tải Trung bình 30s, node kiểm tra cân tải lần Node kiểm tra tải thời hay tải định mức target (0.99x 0.1x capacity) Nếu bị cân tải, node thực cân tải theo thuật toán: di chuyển server ảo một-một, threshold, k-choices proportion Code thuật toán cân tải nằm chủ yếu file server.cc Với việc gán giá trị cho tham số activeLBmethod, ta chạy với thuật toán tương ứng Nếu activeLBmethod = ‘t’ thuật toán cân tải di chuyển server ảo một-một Nếu activeLBmehthod = ‘g’ thuật toán cân tải threshold Nếu activeLBmehthod = ‘p’ thuật toán cân tải proportion Nếu activeLBmehthod = ‘k’ thuật toán cân tải k-choices Còn activeLBmehthod = ‘-’ không sử dụng thuật toán cân tải 4.2 Mô tả mô giải pháp cân tải Các node vật lý cài đặt class PhysicalServer PS vòng Chord bao gồm trường sau: id – định danh node, capacity – tải định mức, work – tải thời, mismatch – độ lệch tải, isOverload – trạng thái node, newid – id node vòng Chord Các server ảo cài đặt class VirtualServer VS node lưu gồm trường: double key – định danh server ảo, int original_PS_ID – định danh node quản lý VS, workPerRound – tải VS Các hàm thực bước giải pháp cân tải mô tả file honghien.cc Vòng Chord tạo dựa vào độ lệch tải vòng Chord cũ, sử dụng hàm NCN_create_nChord(numberOfOverloadPS) Độ lệch tải mismatch tải định mức C tải thời W node vòng Chord ban đầu tính công thức: m=C-W 35 Dựa vào độ lệch tải này, ID node vòng Chord xác định sau: if (ps[i].getCapacity() > ps[i].getWorkPerRound()) { newID = ps[i].getId() + (int)(floor(ps[i].getMismatch())) * FACTOR; ps[i].setNewID(newID); // them truong new_id cho PS } else { newID = ps[i].getId(); ps[i].setNewID(newID); // PS nang tai co id moi bang id cu numberOfOverloadPS = numberOfOverloadPS + 1; } Nếu có PS nặng tải thực chèn NCN_insert_nChord() Nếu đến lúc đó, PS nặng tải mà chèn chuyển sang bước hoán đổi NCN_dislodge_nChord() Thuật toán mô tả theo sơ đồ khối hình 4.1: 36 Hình 4.1 Mô ttả trình hoạt động giải pháp Mỗi node có bảng b định tuyến cài đặt class PsFinger file server.h: 37 class PsFinger { private: ChordID *psfinger; // Mang cac finger public: PsFinger(); ~PsFinger(); void fixPsFingers(ChordID newId); ChordID getPsKey(int index) { return (ChordID) psfinger[index]; } }; Tại bước chèn, ta phải thực tìm node thỏa mãn điều kiện định danh id phải lớn giá trị cụ thể Ở ta sử dụng hàm findBestFitPs(PhysicalServer*inputPs,ChordID pivotId)với đầu vào node tìm kiếm inputPs giá trị cho trước pivotId Hàm nằm file honghien.cc cài đặt sau: PhysicalServer* findBestFitPs(PhysicalServer* inputPs, ChordID pivotId) { map::iterator p; while (true){ ChordID successorId = inputPs->getPsFingerId(0); if (successorId == pivotId) { ps = findSuccessor(successorId); return ps; } else if (successorId > pivotId) { p = pServers.find(successorId); return p->second; } else{ ChordID key = findClosetPreceding(currentPs, pivotId); p = pServers.find(key); currentPs = p->second; 38 } } Ở đây, ta sử dụng hàm hàm tìm successor node có định danh newID: findSuccessor(ChordID newID)và hàm tìm predecessor node có định danh pivotId: findClosetPreceding(PhysicalServer* currentPs, ChordID pivotId) PhysicalServer* findSuccessor(ChordID newID) { map::iterator p; p = pServers.upper_bound(newID); if (p == pServers.end()) { p = pServers.begin(); } return p->second; } ChordID findClosetPreceding(PhysicalServer* currentPs, ChordID pivotId) { ChordID key = 0; ChordID currentId = currentPs->getNewID(); for (int i = fingerPsCount - 1; i >= 0; i ) { key = currentPs->getPsFingerId(i); if (pivotId > key && key > currentId) { return key; } } return -1; } Sau bước chèn, ta lại kiểm tra số PS nặng tải, số PS nặng tải =0 thuật toán kết thúc thành công, không chuyển sang bước hoán đổi Tại bước hoán đổi, thực hoán đổi quay lại bước chèn Thuật toán kết thúc không PS nặng tải hoán đổi 39 Khi tạo vòng Chord mới, chèn VS vào PS nhẹ tải hoán đổi VS PS ta cần phải update bảng định tuyến node PS Ở tất bước gọi hàm updateNewChord() file honghien.cc void updateNewChord() { ASSERT(pServers.size() == psActiveCount); map::iterator p = NULL; for (p = pServers.begin(); p != pServers.end(); p++) { ((PhysicalServer*) p->second)->fixPsFingers(); } } Bảng định tuyến PsFinger node gồm cột: cột thứ id, cột thứ hai successor(id) tương ứng Khi cập nhật vòng Chord mới, bảng định tuyến phải cập nhật theo Hàm cập nhật bảng định tuyến fixPsFingers node nằm file honghien.cc cài đặt sau: void PsFinger::fixPsFingers(ChordID newId) { ChordID rowId = 0; PhysicalServer* ps = NULL; for (int i = 0; i < fingerPsCount; i++) { rowId = newId + fingerStep[i]; ps = findSuccessor(rowId); psfinger[i] = ps->getNewID(); } } 4.3 Kết Theo đánh giá tác giả trước, phương pháp cân tải di chuyển server ảo có kết tốt phương pháp k-choices, proportion threshold, nên so sánh kết thử nghiệm mô trường hợp: Di chuyển server ảo một-một, Di chuyển server ảo nhiều-nhiều, Giải pháp cân tải phi tập trung đề xuất luận văn Trong file lb.cc, tham số activeLBmethod sử dụng để chạy thuật toán cân tải Ta thay đổi tham số activeLBmethod tương ứng với thuật 40 toán: giá trị ‘t’ (di chuyển server ảo một-một), ‘d’ (di chuyển server ảo nhiềunhiều), ‘h’ (giải pháp cân tải phi tập trung mới) 4.3.1 Lượng truy vấn node thay đổi Trong mô phỏng, để biểu diễn lượng truy vấn đến node giây (một round) ta dùng tham số queryPerRound Mô mô tả hoạt động 4096 node có khả trung bình capacityAverage = 100, thời gian sống trung bình 3600 giây thực khoảng 1000 round để xem xét hiệu mạng sử dụng thuật toán cân tải hai trường hợp: truy vấn đồng (uniform) truy vấn không đồng (zipf với =0.8 với =1.2 ) Hình 4.2 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Uniform) Khi truy vấn mạng phân bố đều, dạng Uniform, hiệu giải pháp cân tải phi tập trung thuật toán di chuyển server ảo nhiều-nhiều ngang tốt so với thuật toán di chuyển server ảo một-một Đặc biệt, lượng truy vấn đến node tăng q =10 khác biệt rõ 41 Hình 4.3 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 0.8) Hình 4.4 Tỷ lệ phần trăm truy vấn thành công lượng tải thay đổi (truy vấn dạng Zipf 1.2) Khi truy vấn mạng dạng phân bố Zipf, giải pháp cân tải phi tập trung hoạt động có hiệu ngang so với thuật toán di chuyển server ảo nhiều-nhiều 42 4.3.2 Độ lệch truy vấn node thay đổi Để đánh giá thuật toán hoạt động độ skew mạng tăng ( node bị truy vấn nhiều khác nhau), ta sử dụng thông số sau: queryPerRound = 10, lifeTimeAverage = 3600, capacityAverage = 100 Thay đổi tham số keyDistStr với các giá trị: U, Z/0.8/4096, Z/1.2/4096 để tạo trạng thái skew mạng Hình 4.5 Tỷ lệ phần trăm truy vấn thành công độ skew mạng thay đổi Từ đồ thị trên, ta nhận thấy rằng, độ skew mạng thay đổi, giải pháp cân tải đề xuất có hiệu hoạt động ngang với phương pháp di chuyển server ảo nhiều-nhiều tốt phương pháp di chuyển server ảo mộtmột Với kết thu được, ta thấy thuật toán cân tải phi tập trung thuật toán di chuyển server ảo nhiều-nhiều hoạt động hiệu so với thuật toán di chuyển server ảo một-một Chúng hoạt động tốt đồng truy vấn dạng Uniform dạng Zipf Như vậy, thuật toán cân tải phi tập trung thành công việc phá vỡ tính tập trung hóa thuật toán di chuyển server ảo nhiều-nhiều, mang lại tính chất phi tập trung ban đầu cho mạng ngang hàng có cấu trúc 43 Chương Kết luận Từ việc nghiên cứu mạng ngang hàng, mạng ngang hàng có cấu trúc, ưu nhược điểm mạng so với mô hình mạng client/server, chế quản lý node liệu hệ thống mạng ngang hàng, nguyên nhân gây cân tải thuật toán cân tải có theo hướng sử dụng server ảo mạng ngang hàng có cấu trúc Chord, luận văn đề xuất giải pháp cân tải phi tập trung khắc phục nhược điểm tập trung hóa phương pháp di chuyển server ảo trước Dựa mô thuật toán cân tải Chord tác giả Jonathan Ledlie tác giả Nguyễn Thị Mi, luận văn mô giải pháp cân tải phi tập trung đề xuất thu kết khả quan, ngang với phương pháp trước  Về mặt nội dung, luận văn đạt kết sau: - Tìm hiểu sở lý thuyết mạng ngang hàng, so sánh ưu nhược điểm với mô hình mạng client/server, mạng ngang hàng có cấu trúc, bảng băm phân tán, Chord, chế ổn định mạng Chord - Tìm hiểu khái niệm liên quan đến tải, nguyên nhân gây cân tải mạng ngang hàng có cấu trúc, thuật toán cân tải theo hướng sử dụng server ảo có - Đã đề xuất giải pháp cân tải phi tập trung dựa server ảo mạng ngang hàng có cấu trúc dựa phương pháp có Giải pháp khắc phục nhược điểm tập trung phương pháp di chuyển server ảo nhiều-nhiều cách không sử dụng global pool - cấu trúc liệu để lưu trữ server ảo gây nặng tải thực cân tải cho hệ thống, mà dựa vào độ lệch tải node vòng Chord cũ để xây dựng thêm vòng Chord mới, từ dựa vào cách truy vấn vòng Chord để tìm node thỏa mãn yêu cầu thuật toán - Đã nghiên cứu mô thuật toán cân tải trước tác giả trước Từ đó, mô giải pháp cân tải phi tập trung đề xuất tiến hành phân tích đánh giá kết thu được, so sánh với kết phương pháp trước hai trường hợp: truy vấn đến node mạng tăng, độ lệch truy vấn đến node biến thiên Qua kết mô đạt cho thấy giải pháp đề xuất phá vỡ tính tập trung hóa phương pháp di chuyển server ảo nhiều-nhiều, có hiệu gần tương đương với thuật toán di chuyển server ảo nhiều-nhiều 44  Hướng phát triển luận văn: Từ kết thu được, ta thấy giải pháp cân tải phi tập trung có kết ngang với phương pháp di chuyển server ảo nhiều-nhiều trước Trong nghiên cứu cần phải cải tiến giải pháp để hiệu cân tải tốt hẳn so với phương pháp cũ Theo hướng nghiên cứu, ta tìm hiểu thêm vấn đề bảo mật để đảm bảo hệ thống khỏi tác nhân nguy hiểm mạng ngang hàng có cấu trúc 45 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Thị Lệ Hằng (2009), Sử dụng thông tin gần kề vị trí khảo duyệt web, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [2] Lê Anh Tuấn (2014), Định tuyến an toàn cấu trúc bảng băm phân tán Chord kép, Luận văn thạc sĩ trường Đại học Công nghệ, Đại học Quốc gia Hà Nội [3] Nguyễn Thị Mi (2009), Cân tải mạng ngang hàng có cấu trúc, Khóa luận tốt nghiệp đại học trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Tiếng Anh [4] A Rao, K Lakshminarayanan, S Surana, R Karp, and I Stoica Load Balancing in Structured P2P Systems In Proceedings of the Second International Workshop on Peer-to-Peer Systems (IPTPS ’03), Berkeley, CA, February 2003 [5] J Ledlie and M Seltzer Distributed, secure load balancing with skew, heterogeneity, and churn Technical Report TR-31-04, Harvard University, December 2004 [6] Sonesh Surana, Brighten Godfrey, Karthik Lakshminarayanan, Richard Karp, Ion Stoica (2004), Load Balancing in Dynamic Structured Peer-to-peer Systems [7] I Stoica, R Morris, D Karger, M F Kaashoek, and H Balakrishnan Chord: A scalable peer-to-peer lookup service for internet applications In Proceedings of the ACM SIGCOMM ’01 Conference, August 2001 46 [...]... Trình bày một số khái niệm và các kiến thức liên quan về mạng ngang hàng, mạng ngang hàng có cấu trúc, bảng băm phân tán, Chord, các vấn đề gây mất cân bằng tải trong mạng ngang hàng có cấu trúc và giới thiệu các phương pháp cân bằng tải di chuyển server ảo hiện nay Chương 3 Phương pháp cân bằng tải phi tập trung mới Dựa vào những phương pháp cân bằng tải di chuyển server ảo trước đã trình bày trong chương... là giải pháp tốt nhất 25 Chương 3 Giải pháp cân bằng tải phi tập trung mới Một trong những điều kiện cần thiết cho khả năng mở rộng của mạng ngang hàng dựa trên DHT là cân bằng tải Các phương pháp cân bằng tải của hệ thống DHT đã được giới thiệu trong khá nhiều nghiên cứu như [3] Trong các phương pháp cân bằng tải đã có, phương pháp di chuyển server ảo nhiều-nhiều có kết quả tốt hơn các phương pháp khác... tài 1.5 Kết luận Chương này giới thiệu về bài toán cân bằng tải, những yêu cầu đặt ra cần giải quyết đối với bài toán cân bằng tải trong mạng ngang hàng có cấu trúc, đồng thời trình bày một số hướng nghiên cứu về cân bằng tải trong mạng ngang hàng có cấu trúc hiện nay, hướng tiếp cận, nêu ra giải pháp cân bằng tải mới phi tập trung, kết quả đạt được và cấu trúc của luận văn 14 Chương 2 Các kiến thức... thấy giải pháp cân bằng tải mới có hiệu quả ngang bằng thuật toán di chuyển server ảo nhiều-nhiều 1.4 Cấu trúc của luận văn Nội dung của luận văn gồm 4 chương: Chương 1 Giới thiệu tổng quan Giới thiệu bài toán cân bằng tải trong mạng ngang hàng có cấu trúc, trình bày một số hướng nghiên cứu về cân bằng tải trong mạng ngang hàng có cấu trúc hiện nay và hướng tiếp cận của luận văn Chương 2 Các kiến thức... gây nặng tải cho nó 2.6 Các phương pháp cân bằng tải hiện nay Hiện nay trong mạng ngang hàng có cấu trúc đã có nhiều phương pháp cân bằng tải sử dụng server ảo như k-choices [5], log (N) server ảo [5], di chuyển server ảo: một- một, một- nhiều, nhiều-nhiều [6]… Các phương pháp di chuyển server ảo được đánh giá là có kết quả tốt hơn các phương pháp cân bằng tải sử dụng server ảo còn lại Ở đây, trong khuôn... được Khi đó, các hệ thống mạng ngang hàng có cấu trúc rất dễ bị mất cân bằng tải giữa các node, làm mất hiệu quả trong việc truy vấn, tìm kiếm Với yêu cầu thực tế đặt ra, các hệ thống mạng ngang hàng có cấu trúc cần thỏa mãn được sự cân bằng tải, làm cho hệ thống hoạt động hiệu quả hơn 1.2 .Một số hướng nghiên cứu về cân bằng tải trong mạng ngang hàng có cấu trúc hiện nay Hiện nay, đã có rất nhiều nghiên... dụng server ảo Luận văn đưa ra một giải pháp cân bằng tải phi tập trung dựa trên server ảo, khắc phục nhược điểm tập trung hóa của phương pháp di chuyển server ảo nhiều-nhiều Dựa vào độ lệch tải của các node trên vòng Chord cũ, ta đi xây dựng vòng Chord mới Sau đó thực hiện các bước cân bằng tải trong vòng Chord mới này Giải pháp cân bằng tải mới này cho những kết quả cân bằng tải ngang bằng thuật toán... máy trong mạng ngang hàng không có cấu trúc đã tiêu tốn băng thông lớn, hiệu quả tìm kiểm thấp Để nâng cao được hiệu quả tìm kiếm, tránh tiêu tốn lượng băng thông lớn, người ta sử dụng hệ thống mạng ngang hàng có cấu trúc Hệ thống mạng ngang hàng có cấu trúc sử dụng bảng băm phân tán (DHT) để tổ chức các máy (node) trong hệ thống mạng một cách hiệu quả như cấu trúc CAN, Partry, Chord… Trong đó, cấu trúc. .. dụng trong 1 năm…Hệ thống mạng ngang hàng ra đời đầu tiên là mạng ngang hàng không có cấu trúc, sau đó là sự ra đời của mạng ngang hàng có cấu trúc khắc phục những nhược điểm của mạng ngang hàng không có cấu trúc Các hệ thống mạng ngang hàng không có cấu trúc vẫn còn những hạn chế nhất định Với đặc điểm là không có mối liên hệ giữa một máy và dữ liệu nó quản lý, yêu cầu tìm kiếm được phát tràn cho lượng... trong mạng ngang hàng có cấu trúc Chord Có một số nghiên cứu tiêu biểu về cân bằng tải có sử dụng server ảo trong Chord như di chuyển server ảo, log(N), k-choices [5] Với các phương pháp di chuyển server ảo [6], để có thể cân bằng tải ta sẽ chuyển server ảo gây nặng tải từ một node nặng tải sang một node nhẹ tải, sao cho khi chuyển xong thì node nhẹ tải không trở thành nặng tải và đảm bảo tải của server ... HỌC CÔNG NGHỆ NGUYỄN THỊ HỒNG HIÊN MỘT PHƯƠNG PHÁP PHI TẬP TRUNG CHO CÂN BẰNG TẢI TRONG CÁC MẠNG NGANG HÀNG CÓ CẤU TRÚC Ngành: Công nghệ Thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 604 8010 4... dụng năm…Hệ thống mạng ngang hàng đời mạng ngang hàng cấu trúc, sau đời mạng ngang hàng có cấu trúc khắc phục nhược điểm mạng ngang hàng cấu trúc Các hệ thống mạng ngang hàng cấu trúc hạn chế định... quan mạng ngang hàng, mạng ngang hàng có cấu trúc, bảng băm phân tán, Chord, vấn đề gây cân tải mạng ngang hàng có cấu trúc giới thiệu phương pháp cân tải di chuyển server ảo Chương Phương pháp cân