Tổ chức thông tin và giải thuật khám phá tài nguyên cho môi trường lưới p2p

7 Danh mục hình Hình 1.1: Mạng VN-Grid kết nối thành viên Đại Học Quốc Gia 12 Hình 1.2: Băng thơng kết nối host site site với 13 Hình 1.3: Kiến trúc Globus MDS-2 15 Hình 1.4: Kiến trúc Condor 16 Hình 1.5: Chord - cấu trúc vòng chiều 17 Hình 1.6: CAN: (a)-Không gian chiều với node, (b)-Trước node tham gia, (c)- Sau node tham gia 18 Hình 1.7: Kiến trúc đề xuất [13] 21 Hình 1.8: Kiến trúc Grid 23 Hình 1.9: Một số topology P2P 24 Hình 1.10: Mơ hình P2P theo kiểu tập trung (a), không tập trung (b) kiểu lai (c) 25 Hình 2.1: Mơ hình lớp tổ chức thơng tin tài nguyên services sử dụng 30 Hình 2.2: Các VO (c) hình thành cách biến đổi đồ thị (a) kết nối vật lý host thành đồ thị đầy đủ (b) kết nối luận lý với băng thông xác định 33 Hình 3.1: Sơ đồ lớp thay đổi GridGain 39 Hình 3.2: Sơ đồ khám phá tài nguyên 40 Hình 3.3: Giải thuật xây dựng VO 42 Hình 3.4: Giải thuật xây dựng VO.NET 44 Hình 4.1: Biểu đồ thể thời gian tham gia mạng node theo thứ tự 46 Hình A.1: Sơ đồ lớp cho interface Grid 54 Hình A.2: Map/Reduce cho grid task 58 Hình A.3: Sơ đồ lớp cho GridTask 59 Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P Hình A.4: Sơ đồ lớp cho GridMulticastDiscoverySpi 62 Hình A.5: Sơ đồ lớp cho Gridnode 65 Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P Danh mục bảng biểu Bảng 1.1: So sánh Grid P2P 26 Bảng 4.1: Kết cho trường hợp thử nghiệm 46 Bảng 4.2: Kết cho trường hợp thử nghiệm 47 Bảng 4.3: Kết cho trường hợp thử nghiệm 47 Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 10 Tổng quan 1.1 Mở đầu Bắt đầu từ năm 90, có nhiều nghiên cứu Grid computing khắp giới Với nhiều bắt nguồn nghiên cứu khác như: compute grids, data grids, science grids, access grids, knowledge grids, cluster grids, terra grids, commodity grids,…; nhìn chung tập trung vào khả chia sẻ tài nguyên Và ngày nay, với môi trường lưới ngày phát triển rộng lớn tài nguyên chia sẻ ngày khổng lồ, nhu cầu tìm kiếm tài nguyên đạt chất lượng định quan tâm Vì vậy, vấn đề đặt hệ thống tính tốn lưới diện rộng cần xây dựng, tổ chức khám phá tài nguyên hướng đến chất lượng dịch vụ (QoS), đặc biệt quan tâm đến dịch vụ mạng Với đặc thù mạng Việt Nam, việc quản lý tập trung tài nguyên không hiệu khả mở rộng thấp Chính vậy, mục tiêu luận án hướng đến việc xây dựng sở hạ tầng lưới cho tài nguyên phân bổ quản lý cách hiệu nhằm đáp ứng tốt yêu cầu khám phá tài nguyên hướng đến chất lượng dịch vụ Hướng tiếp cận đưa dựa việc phân chia tổ chức ảo (VOs) áp dụng công nghệ P2P [3], [5] lên tổ chức ảo 1.2 Phát biểu vấn đề Ta thấy với ứng dụng tính tốn lớn tài ngun hệ thống đơn lẻ đáp ứng yêu cầu tốc độ tính tốn thời gian cho phép để hồn tất tác vụ Vì cần phải tận dụng tài nguyên thỏa mãn khả xử lý liên lạc hệ thống khác Grid Computing giải pháp hướng đến thân hệ thống song song phân bố, cho phép chia sẻ, lựa chọn, tích hợp tài nguyên phân bố động mặt địa lý theo runtime tùy thuộc vào Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 11 tính khả dụng, dung lượng, hiệu suất, chi phí, yêu cầu chất lượng dịch vụ (QoS) người sử dụng tài nguyên (Grid is a type of parallel and distributed system that enables the sharing, selection, and aggregation of geographically distributed ‘autonomous’ resources dynamically at runtime depending on their availability, capability, performance, cost, and users’ quality-of-service requirements” - Buyya 2002) Thực tế, với yêu cầu toán: “ứng dụng song song chạy 300 processors với 25Mb/s băng thơng kết nối chúng” tài ngun thích hợp nằm rải rác grid node mà việc tìm kiếm để đảm bảo yêu cầu liên lạc tài nguyên phải đạt băng thông cho phép chưa có middleware hỗ trợ Ứng dụng vào dự án thực tế , VN-Grid, dự án trọng điểm ĐHQG-TPHCM, với mục tiêu xây dựng hạ tầng lưới tính tốn chia sẻ tài nguyên trường thành viên ĐHQG-TPHCM cho tốn có khối lượng tính tốn lớn tiến tới việc hình thành hạ tầng lưới tính tốn quốc gia, vấn đề băng thơng liên lạc tài nguyên chia sẻ thật hướng nghiên cứu đóng góp cấp thiết Đặc trưng mạng VN-Grid (mạng Đại học Quốc gia) bao gồm nhiều trường Đại học kết nối lại với theo kiểu P2P (như VNU: Đại học Quốc gia Hà Nội, HUT: Đại học Bách Khoa Hà Nội, HCMUT: Đại học Bách Khoa TPHCM,…) Dưới ví dụ cho mơ hình kết nối mạng VN-Grid (hình 1.1): Tổ chức thông tin giải thuật khám phá tài nguyên cho mơi trường lưới P2P 12 Hình 1.1: Mạng VN-Grid kết nối thành viên Đại Học Quốc Gia Và grid node (hay site), có số host kết nối với băng thông này, số khác kết nối với băng thông khác; site với site khác có băng thơng kết nối riêng (như hình 1.2 bên dưới) Như vậy, cần tìm kiếm tài nguyên thỏa mãn băng thơng kết nối đó, cần mơ hình để gom nhóm tổ chức ảo (VO) vùng loại băng thơng với nhau, từ đưa giải thuật khám phá tài nguyên cách hiệu Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 13 50 M 20M 10M 10 0M Hình 1.2: Băng thơng kết nối host site site với 1.3 Các cơng trình liên quan Tính đến thời điểm tại, Grid computing phát triển qua hệ (theo phân loại De Roure, Baker, Jennings & Shadbolt – 2003): • Thế hệ tập trung chủ yếu vào giải pháp cho việc chia sẻ tài ngun tính tốn có hiệu suất cao môi trường phân bố Một dự án điển hình I-WAY (Foster, Geisler, Nickless, Smith & Tuecke 1997) [15] • Thế hệ phải kể đến đời middleware giúp giải vấn đề quy mơ, tính khơng đồng nhất, khả thích ứng mơi trường phân bố, tập trung vào khả tính tốn diện rộng với khối lượng liệu khổng lồ Đã có số dự án Grid tiêu biểu cho hệ thứ hai như: Globus toolkit (Foster & Kesselman - 1997) [22], Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 14 Condor (Condor - 2006) [17], Nimrod / G (Buyya, Abramson & giddy 2000) [19], DataGrid (DataGrid - 2006) [18] • Cuối hệ thứ ba đà phát triển Nó định yêu cầu cho cộng tác phân bố (distributed collaboration) môi trường ảo Thế hệ chọn hướng tiếp cận service oriented nhấn mạnh đến tầm quan trọng tự động kích hoạt agent tính toán Kiến trúc dịch vụ lưới mở (OGSA) (Foster, Kesselman, Nick & Tuecke 2002) thực phiên Globus Toolkit phiên (The Globus Alliance 2006) [20] Semantic Grid (De Roure, Jennings & Shadbolt - 2003) [21] điển hình cho công nghệ Grid hệ thứ ba Như vậy, trải qua nhiều nghiên cứu hướng tiếp cận khác nhau, xét riêng phương diện khám phá tài nguyên, có số Grid middleware cấp cao phát triển Nhìn chung, xếp theo hướng: Khám phá tài nguyên hệ thống Grid Những giải pháp đưa dựa vào mơ hình tập trung có cấu trúc tầng client/server Globus Toolkit [22], Condor [17], Unicore [28]: • Trong Globus Tookit 2, Monitoring and discovery service (MDS-2) cung cấp thông tin trạng thái thành phần hệ thống thông qua LDAP MDS-2 bao gồm cung cấp thông tin tài nguyên gọi Grid Tài nguyên Information Service (GRIS) dịch vụ tổng hợp Grid Index Information Service (GIIS) GRIS trả lời cho yêu cầu thơng tin tài ngun Grid node hệ điều hành, phiên bản, hay thông tin động CPU nhớ Khi GIIS kết hợp thông tin cung cấp GRIS quản lý tổ chức ảo (Virtual organization – VO) Nhờ vậy, thơng tin khai thác, tìm kiếm ứng dụng Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 15 Grid Dưới mơ hình kiến trúc tầng MDS-2 GIIS tầng để nhờ trả lời yêu cầu người dùng thông tin tất tài nguyên VO bên Hình 1.3: Kiến trúc Globus MDS-2 Tương tự, MDS-3 phát triển, kiến trúc tầng áp dụng Tuy nhiên có cải tiến tích hợp với mơ hình OGSA [29] mà tài nguyên Grid Service có Index Service (cũng dạng Grid Serivce) chịu trách nhiệm tổng hợp thông tin Grid Service đăng ký với Và nay, với Globus Toolkit 4, MDS-4 hổ trợ thêm Web Services Tài nguyên Framework (WSRF) [30] • Condor áp dụng mơ hình lập lịch tập trung Trong đó, Central Manager (CM) chịu trách nhiệm chính: lập lịch tác vụ, thu thập thơng tin tài nguyên nhận request từ người dùng Thông qua ClassAd, dạng ngôn ngữ đặc tả, tài nguyên job mô tả phân loại để từ CM đóng vai trị đối tác mơi giới có nhiệm vụ lựa chọn đánh giá tài nguyên cung cấp cho người dùng (Ở đây, nguồn tài nguyên Condor đại diện Resource-owner Agent (RA) Mỗi RA định kỳ kiểm tra trạng thái tài Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 16 nguyên sau xây dựng ClassAd cho tài nguyên gửi chúng đến CM) Hình 1.4: Kiến trúc Condor • Trong Unicore, phận khám phá tài nguyên Incarnation Database (IDB) The IDB cung cấp thông tin sau: (1) Địa port instance Target System Information (TSI) (2) Hiện thể lệnh trừu tượng (3) Thông tin dung lượng, lực tài nguyên Khám phá tài ngun hệ thống P2P: mơ hình P2P dựa đặc tính tất thành phần hệ thống có mức độ trách nhiệm hoạt động đồng thời vừa client vừa server, ngược lại hồn tồn với mơ hình cổ điển clientserver Hệ thống P2P chia thành hai loại (loại cấu trúc khơng cấu trúc) dựa giao thức kết nối cách thức tổ chức peer: • Hệ thống P2P có cấu trúc cấu cứng nhắc kết nối peer với Thông qua Distributed Hash Table (DHT), peer file ánh xạ vào index tương ứng theo tùy vào khóa chúng Điển hình Chord [31], hệ thống P2P có cấu trúc đề xuất đầu tiên, với cấu trúc vòng chiều, node trì thơng tin O(log N) node khác phân giải khoảng O(log N) thông điệp truy vấn node Các thông Tổ chức thông tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 55 o Nếu kết GridJobResultPolicy.REDUCE hàm reduce(List) gọi node lại nhận yêu cầu hủy việc thực thi o Nếu kết GridJobResultPolicy.FAILOVER job bị đánh dấu failed Và node tương ứng định thông qua thực interface GridFailoverSpi Nếu sử dụng GridTaskAdapter adapter cho việc thực GridTask tự động fail job trường hợp sau: ƒ Job tự động failed node crash Trong trường hợp hàm GridJobResult.getException() trả instance GridTopologyException exception ƒ Việc thực thi job bị reject, ví dụ remote node nhận lệnh cancel trước kịp thực thi job Trơng trường hợp hàm GridJobResult.getException() trả instance GridExecutionRejectedException exception Một tất kết nhận hàm result(GridJobResult, List) trả GridJobResultPolicy.REDUCE, hàm reduce(List) gọi để tổng hợp kết thành kết cuối Khi hàm hoàn thành việc thực thi task hồn tất Kết trả người dùng thông qua hàm GridTaskFuture.get() Tài nguyên Injection Hiện thực grid task inject với tài nguyên cách sử dụng IoC Các tài ngun sau inject: • GridTaskSessionResource • GridInstanceResource • GridLoggerResource Tổ chức thơng tin giải thuật khám phá tài nguyên cho môi trường lưới P2P 56 • GridHomeResource • GridExecutorServiceResource • GridLocalNodeIdResource • GridMBeanServerResource Grid Task Adapters Grid task kèm với nhiều adapter để thuận tiện cho việc sử dụng GridTaskAdapter cung cấp thực cho hàm GridTask.result(GridJobResult, List) với chức automatic fail-over với node khác node failed crash (được phát GridTopologyException exception) việc từ chối thực job (nhận diện GridExecutionRejectedException exception) Sau ví dụ việc thực task dùng GridTaskAdapter: public class MyFooBarTask extends GridTaskAdapter { // Inject load balancer @GridLoadBalancerResource GridLoadBalancer balancer; // Map jobs to grid nodes public Map