Thông tin tài liệu
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HOÀNG LÊ MINH THUẬT GIẢI CHO RAM STORAGE DỰA TRÊN MƠ HÌNH P2P Chun ngành: Khoa học Máy tính LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2011 ii CƠNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : TS Phạm Trần Vũ Cán chấm nhận xét 1: TS Trần Văn Hoài Cán chấm nhận xét 2: TS Trần Vũ Bình Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG TP HCM ngày 02 tháng 08 năm 2011 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: TS Thoại Nam TS Phạm Trần Vũ TS Trần Vũ Bình TS Trần Văn Hồi TS Nguyễn Quốc Minh Xác nhận Chủ tịch Hội đồng đánh giá LV Bộ môn quản lý chuyên ngành sau luận văn sửa chữa (nếu có) Chủ tịch Hội đồng đánh giá LV Bộ mơn quản lý chuyên ngành ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc -oOo - Tp.HCM, ngày … tháng … năm 201 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: HOÀNG LÊ MINH Phái: Nam Ngày, tháng, năm sinh: 01/01/1984 Nơi sinh: QUẢNG BÌNH Chuyên ngành: Khoa học máy tính MSHV: 00708200 I TÊN ĐỀ TÀI : THUẬT GIẢI CHO RAM STORAGE DỰA TRÊN MƠ HÌNH P2P II NHIỆM VỤ VÀ NỘI DUNG : - Nghiên cứu sở lí thuyết, đề xuất thuật giải cho hệ thống lưu trữ hiệu cao nhớ RAM với kiến trúc phân tán dựa mạng P2P đạt yêu cầu tính cân bằng, tính hiệu ổn định - Đồng thời học viên phải đưa phương pháp đánh mô hình đánh giá để chứng minh tính hiệu thuật giải III NGÀY GIAO NHIỆM VỤ : IV NGÀY HOÀN THÀNH NHIỆM VỤ : V CÁN BỘ HƯỚNG DẪN : TS Phạm Trần Vũ CÁN BỘ HƯỚNG DẪN CN BỘ MÔN (Học hàm, học vị, họ tên chữ ký) QL CHUYÊN NGÀNH TRƯỞNG KHOA….……… (Họ tên chữ ký) LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ công trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 15 tháng 06 năm 2011 Hoàng Lê Minh Thuật giải cho RAM Storage dựa mơ hình P2P LỜI CẢM ƠN Tôi xin gởi lời cảm ơn chân thành sâu sắc đến TS.Phạm Trần Vũ Thầy tận tình hướng dẫn, định hướng tơi từ cách đặt vấn đề, phương pháp nghiên cứu khoa học, đến công việc cụ thể luận án Tôi xin cảm ơn gia đình động viên tạo điều kiện tốt để tơi tiếp tục theo đuổi việc học tập nghiên cứu Tôi trân trọng dành tặng thành luận văn cho Cha Mẹ Nhờ công lao dưỡng dục Người mà chúng có thành ngày hơm Con xin hứa tiếp tục cố gắng phấn đấu để vươn cao Học viên: Hoàng Lê Minh Thuật giải cho RAM Storage dựa mơ hình P2P TÓM TẮT ĐỀ TÀI Ứng dụng tảng Cloud xuất ngày rộng rãi, nhiều nhà cung cấp dịch vụ cho đời trung tâm ứng dụng tảng Các Cloud khơng cịn đơn sử dụng kiến trúc siêu máy tính hay mainframe trước mà tập hợp máy chủ tổ chức theo mạng ngang hàng P2P Để nâng cao hiệu hệ thống lưu trữ, sở liệu tổ chức lại theo mơ hình NoSQL, cụ thể Keyvalue store Kiến trúc xuất thực tế với mạng mua bán lớn giới Amazon Đề tài luận văn phát triển hiệu kiến trúc việc tổ chức lưu trữ lên nhớ RAM mạng chủ riêng biệt Cloud P2P Yêu cầu đề tài luận văn thuật giải tổ chức server phân bố liệu lên nhớ RAM máy chủ P2P nhằm đạt yêu cầu tính cân bằng, tính hiệu ổn định hệ thống lưu trữ phục vụ cho xây dựng Cloud, trọng vào việc áp dụng cho Cloud có tính chất riêng biệt tập trung trung tâm xử lí liệu Đề tài nhắm đến đưa thuật giải cho mơ hình P2P nhỏ hơn, với máy chủ hiệu áp dụng phương pháp Amazon, vốn hoạt động hiệu Internet P2P Cloud lớn Thuật giải cho RAM Storage dựa mơ hình P2P MỤC LỤC CHƯƠNG I: GIỚI THIỆU ĐỀ TÀI .6 1 Giới thiệu Clouding Computing 6 2 Cloud Computing kiến trúc mạng P2P .9 3 Nhu cầu xây dựng RAM STORAGE cho Cloud dựa P2P 13 4 Giới thiệu toán mục tiêu đề tài 14 5 Triển khai đề tài .16 CHƯƠNG II: CƠ SỞ LÍ THUYẾT .18 1 Mạng ngang hàng 18 1.1 Khái niệm mạng ngang hàng (P2P Network) 18 1.2 Mạng ngang hàng Internet (Internet P2P Network) 19 1.3 Phân loại mạng ngang hàng 20 1.4 Ưu điểm mạng ngang hàng 20 1.5 Mạng ngang hàng có cấu trúc khơng cấu trúc 21 2 NoSQL Key-value store 22 3 Consistent Hashing Distributed Hash Table 25 4 Các khái niệm hệ thống: 27 4.1 Server ảo (Node ảo - virtual server) 27 4.2 Capacity hay khả lưu trữ server 28 4.3 Các API hệ thống 28 5 Các giải pháp hệ thống lưu trữ P2P 29 5.1 Chord Network 29 5.2 Dynamo Storage system 30 5.3 Cassandra 31 5.4 Memcache 32 CHƯƠNG III: THUẬT GIẢI CHO RAM STORAGE DỰA TRÊN P2P 33 1 Các ý tưởng phân bố liệu ban đầu .33 1.1 Phân bố ngẫu nhiên 34 1.2 Phân bố 35 1.3 Phân bố theo tí lệ 35 1.4 Dựa theo tìm kiếm node bị cân 36 1.5 So sánh chiến lược cân tải 37 2 3 4 Phương pháp phân hoạch server (Partitioning) 38 Áp dụng Consistent Hash 40 Thuật giải định tuyến 41 Thuật giải cho RAM Storage dựa mơ hình P2P 4.1 Mạng P2P lai: 42 4.2 Mạng P2P tcúy 43 4.2.1 Thuật giải đơn giản 43 4.2.2 Thuật giải Chord 46 5 Các tác vụ server .48 5.1 Hàm shutdown() 48 5.2 Hàm join() 49 6 Cải tiến trình tham gia mạng server (join) 50 7 Nhân (Replication) Quản lí phiên (Version Control) 52 7.1 Replication 52 7.2 Version Control 53 CHƯƠNG IV: HIỆN THỰC VÀ ĐÁNH GIÁ THUẬT GIẢI 55 1 Phương pháp tiêu đánh giá 55 2 Hệ thống mô nhằm đánh giá kết .56 2.1 Môi trường công cụ 56 2.2 Kiến trúc chương trình mơ 56 2.3 Hệ thống liệu đầu vào chương trình 58 2.4 Thí nghiệm kết 59 2.4.1 Thí nghiệm 59 2.4.2 Thí nghiệm 61 2.4.3 Thí nghiệm 62 2.4.4 Thí nghiệm 63 Hình 20: So sánh hiệu phép chia server ảo CHƯƠNG V: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 65 CHƯƠNG V: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 66 Tài liệu tham khảo Error! Bookmark not defined. PHỤ LỤC 1: NGUỒN GỐC DỮ LIỆU CỦA BÀI TOÁN 70 LÝ LỊCH TRÍCH NGANG 71 Thuật giải cho RAM Storage dựa mơ hình P2P CHƯƠNG I: GIỚI THIỆU ĐỀ TÀI Giới thiệu Clouding Computing Thời gian vài năm qua, đông đảo lớp chuộng công nghệ nhắc đến ngày thường xuyên thuật ngữ Cloud Computing (hay gọi tắt Cloud – Điện toán đám mây) Đầu tiên, Cloud nhắc tới tảng lý thuyết, sau xuất ngày phổ biến ứng dụng thực tế Đặc biệt với iCloud – gói dịch vụ điện tốn đám mây hãng công nghệ tiếng Apple – sau đời tạo sốt với hàng chục triệu người quan tâm toàn giới Từng bước, Cloud đường trở thành tảng hệ thống thông tin tương lai Vậy Cloud mà có sức thu hút ảnh hưởng lớn vậy? Để định nghĩa Cloud Computing, trước tiên quay trở lại thuật ngữ rộng hơn: Cloud services Đây thuật ngữ dùng để mô tả dịch vụ theo yêu cầu (on-demand), yêu cầu mặt dịch vụ đáp ứng nhanh chóng, nơi, lúc, người dùng không cần quan tâm tài nguyên sử dụng đặt đâu, cách thức cấu Có thể kể số dịch vụ xếp vào dạng Cloud services như: Yahoo! Mail, Gmail, Amazon Web Services, Salesforce[1.1]… Thuật ngữ "Cloud computing" đời năm 2007 khơng phải để nói trào lưu mới, mà để khái quát lại hướng sở hạ tầng thông tin vốn diễn từ năm trước Quan niệm diễn giải cách đơn giản: nguồn điện toán khổng lồ phần mềm, dịch vụ (Cloud services) nằm máy chủ ảo (Cloud) Internet thay máy tính gia đình văn phòng để người kết nối sử dụng họ cần Như vậy, Cloud computing khái niệm hồn chỉnh cho xu hướng khơng nhiều doanh nghiệp khơng có máy chủ riêng, PC cài số phần mềm tất phụ thuộc vào Cloud Chẳng hạn, họ đăng ký dịch vụ hosting cho website công ty, thuê công cụ quản lý doanh thu từ Salesforce.com, Thuật giải cho RAM Storage dựa mơ hình P2P lấy liệu khảo sát thị trường từ tổ chức Survey Monkey Và tất nhiên, họ dùng Google để tìm kiếm, phân tích, chia sẻ lưu trữ tài liệu Với dịch vụ sẵn có Internet, doanh nghiệp khơng phải mua trì hàng trăm, chí hàng nghìn máy tính phần mềm Họ cần tập trung vào kinh doanh, sản xuất có người khác đảm bảo sở hạ tầng công nghệ thay họ Google, nằm số hãng ủng hộ điện tốn máy chủ ảo tích cực hoạt động kinh doanh họ dựa việc phân phối Cloud (virtual server), hai dịch vụ bật "Google App engine" – cung cấp hệ thống application server ảo - hay "Google docs" - ứng dụng văn phịng - để xử lí lưu trữ liệu Hình 1: Minh họa Cloud Computing[1.1] Vậy thực tế có mơ hình Cloud, dựa vào phạm vi sử dụng Cloud, chia Cloud thành dạng: Public Cloud, Private Cloud Hybrid Cloud Public Cloud Thuật giải cho RAM Storage dựa mơ hình P2P 57 Distributed Application data put(key, data) get (key) Distributed hash table Hash function (CH) lookup(ke ) lookup(key) node IP address Lookup service node node … node Hình 16: Kiến trúc tổng quan chương trình mơ Tổng quan chương trình mơ gồm ba layer • Application layer: tầng ứng dụng, nơi gửi nhận yêu cầu xử lí lưu trữ liệu cho mạng P2P, yêu cầu đến với server mạng • Hash layer: sử dụng Consistent Hashing cài đặt server nhằm hash đối tượng liệu, kết sử dụng cho layer tìm kiếm • Lookup service layer: cài đặt server vật lí, sử dụng kết hash để tìm vị trí lưu trữ, lookup service hoạt động dạng thuật giải định tuyến mạng Tuy nhiên với private P2P, cần dùng server chứa thông tin tồn cấu hình mạng, lookup service này, đơn giản cần hỏi server tìm kết Kiến trúc tổng quan chương trình kiến trúc triển khai thực tế nhiều hệ thống lưu trữ phân bố Dưới mơ hình UML – Class Diagram cho phần chương trình mơ phỏng, minh họa phần lõi mạng Các đối tượng mạng mô instance class cùngvới prototype tác vụ Thuật giải cho RAM Storage dựa mô hình P2P 58 2.3 Hệ thống liệu đầu vào chương trình Bộ liệu kiểm tra bao gồm ba files chính: scenario.txt chứa key theo định dạng sau: File sinh ngẫu nhiên khoảng đảm bảo khơng chứa liệu trùng file scenario_get.txt chứa key mà client request đến hệ thống cách ngẫu nhiên thực tác vụ get đối tượng với định danh key Thuật giải cho RAM Storage dựa mơ hình P2P 59 scenario_random.txt chứa key client request đến hệ thống tác vụ insert, delete, get ngẫu nhiên Các file sinh ngẫu nhiên khoảng đảm bảo khơng chứa liệu trùng file Đồng thời nhằm dễ dàng kiểm tra thuật giải sửa đổi cấu hình mạng, lưu giữ file network.properties chứa thông tin Chi tiết file đề cập phần phụ lục 2.4 Thí nghiệm kết 2.4.1 Thí nghiệm Dùng chương trình simulator với số server N = 10, tập hợp liệu test gồm file chứa 106 đối tượng (file scenario.txt), 15% ngưỡng cân cho server vượt giá trị trung bình lưu trữ Cho chương trình chạy nhiều lần với tập liệu với hai thuật giải phân bố ngẫu nhiên chia đều, liệu chương trình ghi lại dùng để thống kê Tất lệnh vào P2P lệnh insert(key, Data) Mục đích thí nghiệm nhằm kiểm tra so sánh phân bố liệu vào server tốc độ cân hệ thống thông qua tính tốn số Standard Deviation theo số lượng đối tượng lưu trữ Giải thuật Thuật giải cho RAM Storage dựa mơ hình P2P 60 nhanh chóng làm giảm số giảm số xuống nhỏ đạt hiệu Kết thể bên dưới: 250 200 150 equally_load random fix_rate 100 50 0 500 1000 1500 2000 2500 3000 3500 Hình 17: Phân bố số Standard Deviation theo khối lượng liệu Biểu đồ cho thấy phương pháp phân bố server ngẫu nhiên (random) dựa theo nguyên thủy DHT cho kết phương pháp chia nhiều, đặc biệt dung lượng mạng lớn dần lên, phương pháp ngẫu nhiên không ổn định, lần chạy khác cho kết tương đối khác Đặc biệt thuật giải phân hoạch đưa đạt tốc độ cân tốt, với khoảng 1000 đối tượng lưu trữ hệ thống cân bằng, số Standard Deviation hội tụ mạng lưu trữ 2000 đối tượng Thí nghiệm chứng minh hiệu phương pháp phân bố server điều kiện bình thường mạng P2P (khơng có biến động cấu trúc mạng) Trong thực tế triển khai ứng dụng, trường hợp thông thường private P2P, tần suất gia tăng suy giảm server nhỏ so với thời gian ổn định mạng Trong phần lớn trường hợp, phương pháp chia theo tỉ lệ (sử dụng tỉ lệ chia “vàng” Thuật giải cho RAM Storage dựa mơ hình P2P 61 bậc 2) có kết tương tự phương pháp random, sau số thí nghiệm so sánh phương pháp ngẫu nhiên phương pháp luận văn 2.4.2 Thí nghiệm Thí nghiệm 2.a: Nhằm đo đạc độ lệch server có tải cao thấp phương pháp luận văn đưa phân bố liệu Kết nhằm cho thấy tính cân liệu server sử dụng phân bố Với cách cài đặt thơng số cấu thí nghiệm 1, kết ghi lại thể biểu đồ bên 20 18 16 14 12 Chia 10 30 77 24 65 21 60 18 53 13 41 10 86 77 92 25 10 19 53 13 94 83 27 Hình 18: Độ lệch lớn server ảo Kết sau lần chạy ngẫu nhiên, sau phân bố 106 đối tượng liệu vào mạng, biểu đồ trên, chênh lệch server ảo tải lớn nhỏ 18 đối tượng mạng tải 30.774 đối tượng, tải server tải lớn server tối đa 18 * 10 = 180 đối tượng, số nho so với khả tải server vật lí Một lần nữa, phương pháp phân hoạch chứng minh tính hiệu Lặp lại thí nghiệm 2.a nhiều lần, ta thấy kết không thay đổi nhiều, cân server tốt Nếu lặp lại thí nghiệm với hai phương pháp cịn lại, khơng dễ để thấy chúng có độ lệch lớn tăng dần theo Thuật giải cho RAM Storage dựa mơ hình P2P 62 khối lượng liệu, độ lệch suy đơn giản từ việc phân tích số Standard Deviation, số cao, phân tán số lượng đối tượng lưu trữ server (tính trung bình server ảo) lớn Thí nghiệm 2.b: Thí nghiệm so sánh ba phương pháp theo cách tính số lượng server bị cân phân bố liệu Kết thể rõ, phương pháp làm nhiều server cân ngược lại Thông số cấu thí nghiệm trên, chạy với ba phương pháp, kết cho bảng dưới: Số server Số server cân cân Ngẫu nhiên Theo tỉ lệ Phương pháp luận văn 0 Tổng số Kết thí nghiệm 2.b cho ta thấy rõ ràng phương pháp luận văn đưa đạt kết tốt với khơng có server cân bằng, hai phương pháp lại, kết tương đương Một lần nữa, thấy ưu điểm phương pháp đưa 2.4.3 Thí nghiệm Tiêu chí thứ hai cần xem xét khả lưu trữ mạng Cùng số lượng server, khả lưu trữ server ảo nhau, ví dụ 10000 đối tượng Chúng ta so sánh giải thuật tổ chức đưa kết mạng lưu trữ nhiều đối tượng liệu mà không server bị tràn (overload) Hay cách tương tự với số lượng server cố định, xem phương pháp cho kết số lượng liệu lưu trữ nhiều Tiêu chí nhằm đo lường tính hiệu lưu trữ liệu Rõ ràng theo lí thuyết độ lệch server lớn mạng nhanh dẫn đến tượng overload server tải lớn, nhiên kiểm tra thực tế Sử dụng liệu trên, kết cho với phương pháp luận văn đề ra, mạng bắt đầu xuất tải 70% (~70.000 Thuật giải cho RAM Storage dựa mơ hình P2P 63 đối tượng), đạt hiệu suất cực cao (trung bình server ảo / server * 10 server ~ 70 server ảo), dễ hiểu số Standard Deviation nhỏ Trong phương pháp ngẫu nhiên đạt ~50% với ~50.000 đối tượng liệu xuất overload Làm thí nghiệm theo cách tiếp cận khác, khảo sát hiệu lưu trữ liệu theo thời gian, mà cụ thể có gia tăng server cần tăng lực lưu trữ mạng Ban đầu, thiết lập thông số cho server lưu trữ tối đa trung bình KX đối tượng liệu (với K số server ảo server, K1
Ngày đăng: 03/02/2021, 22:58
Xem thêm:
