Nghiên cứu và phát triển phương pháp quản lý, môi giới tài nguyên trên lưới dựa trên phần mềm agent based software

CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học :TS THOẠI NAM Cán chấm nhận xét : Cán chấm nhận xét : Luận văn thạc sĩ bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng năm 2009 LỜI CAM ĐOAN Tôi xin cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ lu ận văn, công việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 30 tháng 11 năm 2008 Võ Hồng Kiệt Lời cám ơn Trãi qua thời gian để hoàn thành đề tài gặp khơng khó khăn nghiên cứu phát triển, qua mang lại cho em nhiều kiến thức bổ ích, tích lũy nhiều kinh nghiệm quý báo đồng thời nâng cao hiểu biết em ĩnh l v ực tính tốn lưới nói chung phương pháp quản lý môi giới tài ngun mơi trường tính tốn lưới nói riêng Em xin chân thành cám ơn Thầy, Cô trường Đại học Bách Khoa Tp Hồ Chí Minh đặc biệt thầy cô khoa Khoa học máy tính trường tận tình truyền đạt kiến thức cho em suốt thời gian học tập, nguyên cứu trường Đặc biệt em xin chân thành cám ơn TS Thoại Nam, người mở đường, định hướng, tạo điều kiện thuận lợi tận tình hướng dẫn em thực đề tài Con ghi nhớ hỗ trợ động viên ba, mẹ học tập, nguyên cứu chuyên ngành Khoa học máy tính q trình thực đề tài Tôi xin cám ơn tất người thân, anh chị em đồng nghiệp, bạn bè động viên giúp đỡ nhiều thời gian qua Xin chân thành cám ơn! TĨM TẮT Tính tốn lưới, nhắm tới mục tiêu cho phép chia cộng tác tài nguyên vi mô rộng lớn, lên phương pháp tính tốn phân tán đầy hứa hẹn Đây môi trường cho phép nhà cung cấp tài nguyên chia cộng tác với người sử dụng tài nguyên Để quản lý việc môi giới tài nguyên nhà cung cấp người sử dụng hiệu thách thức lớn Mặc dù có r ất nhiều nguyên cứu phương pháp định thời khác kết chưa thỏa mãn Gần người ta đ ề nghị phương pháp tác nhân phần mềm (software agents) Phương pháp dựa tương tác, thương lượng agent để cung cấp hạ tầng sở cho việc quản lý môi giới tài nguyên lưới Đề tài giới thiệu tổng quan mơ hình tác nhân phần mềm, tương tác, thương lượng agent để thực thi yêu cầu công việc người dùng phương pháp thương lượng để gia nhập team gồm nhà cung cấp tài nguyên Giải pháp đề tài phát triển từ giải pháp thương lượng agent để thực thi yêu cầu cơng việc Trong trọng yếu tố: quản lý chặt chẽ team cung cấp tài nguyên, chất lượng dịch vụ cung cấp tài nguyên tốt độ hài lòng người sử dụng tài nguyên Kết thử nghiệm cho thấy kết khả quan phương pháp cải tiến ABSTRACT Grid computing, which aims at enabling wide-area resource sharing and collaboration, is emerging as a promising distributed computing paradigm It involves sharing and collaboration among resource providers and resource consumers Efficient managing and brokering resources in Grids is a big challenge Unfortunately, the uptake of the Grid, while speeding-up recently, is still unsatisfactory Recently, it was suggested that software agents can provide an infrastructure for resource brokering and management in Grids This agent –based approach is based on collaborations, negotiations among agents to provide framework for resource brokering and management in Grids We overview the model of software agents, interactions, negotiations among agents to select the team that execute the user job Moreover, the procedure that helps workers selecting the team proposed In this work, we introduce an extended negotiation solution for selecting the team execute the user job In this case, we pay special attentions to the features: more closely team management, better service of managing resources, more satisfied resource consumers The experiments show that the solution is quite nice MỤC LỤC MỤC HÌNH ươ ươ GIỚI THIỆU 12 QUẢN LÝ VÀ MÔI GIỚI TÀI NGUYÊN TRÊN LƯỚI BẰNG MƠ HÌNH AGENT 14 Lịch sử phát triển 14 Mơ hình Agent theo phương pháp thương lượng 15 2.1 Các đội agent quảng cáo thông tin .16 2.2 Người sử dụng muốn đóng góp tài nguyên cho Grid 17 2.3 Người sử dụng có nhu cầu sử dụng tài nguyên Grid 19 2.4 Quan hệ LMaster - LMirror 19 2.5 Thu thập thông tin để tích lũy tri thức hoạt động mơi giới tài ngun mơ hình agent 21 Kiến trúc CIC 22 3.1 Tương tác LAgent – CIC 22 3.2 Hiện thực CIC 26 Các quy trình nghiệp vụ 31 4.1 Chọn đội agent để thực thi công việc 31 4.1.1 Dữ liệu người dùng nhập vào 31 4.1.2 Thương lượng (Negotiations) 35 4.1.3 Phân tích đa tiêu chuẩn (MCA) 39 4.2 Chọn team để tham gia vào .39 4.2.1.Chọn team để tham gia vào 42 4.2.2 Thương lượng .43 4.2.3 Quản lý team .44 ươ MƠ HÌNH CHỌN ĐỘI AGENT ĐỂ THỰC THI CÔNG VIỆC CẢI TIẾN 46 Những khuyết điểm mơ hình chọn đội Agent để thực thi công việc: 46 Mơ hình đề nghị cải tiến 47 ươ 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ 50 Kịch 1: User chọn team để thực thi công việc (9 team worker) .50 Kịch 2: Worker chọn team để join vào 57 ươ ươ Kịch 3: User chọn team để thực thi công việc (45 team 45 worker) 62 Kịch 4: Kịch cho giải thuật cũ 71 Đánh giá .72 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 74 TÀI LIỆU THAM KHẢO 75 DANH MỤC HÌNH ình 1: Sơ đồ Use Case hệ .16 ố 2: User giao tiếp với Lagent định nghĩa điều kiện LAgent request CIC cung cấp team thỏa mãn yêu cầu 18 ình 3: Giao tiếp LAgent LMaster để tìm team gia nhập vào / tìm team thực thi yêu cầu công 19 ình ệ ình ình ình ình ình ình ình ình ình 4: Giao tiếp LMaster 21 5: Luồng thực thi Request/Result kiến trúc CIC đa phân .27 6: Luồng Request/Result kiến trúc CIC đa Agent phân 27 án 7: Sơ đồ tuần tự: CIC xử lý yêu cầu dùng thêm CICIA (CIC Internal Agent) .28 8: So sánh hai kiến trúc phân CIC phân luồng đa 30 9: Sơ đồ tương tác giao thức FIPA Contract Net 36 10: Sơ đồ tương tác agent tìm team để gia nhập 41 11: Sơ đồ tương tác User-CIC-Master cải 47 ế 12: Sơ đồ tương tác User-CIC- 49 13: Giao diện JADE Container - CICAgent, CICInternalAgent, CICDbAgent, Master, Worker .52 ình ình ình ình ì ình ình ình ình ình 14: Giao diện User đặc tả yêu tài 53 ên 15: Danh sách team thỏa mãn yêu cầu CICAgent truy vấn 54 16: Giao diện cho phép User chọn team để thực thi công 55 ệ 17: Team gởi kết công việc cho .55 18: User nhận kết thực công 56 ệ 19: Giao diện cho 57 20: Worker đặc tả khả tài nguyên 58 ình 21: Worker lấy danh sách team cho gia nhập 59 22: Worker cập nhật trạng thái sau gia nhập 60 ình 23: Giao diện 61 24: Giao diện JADE Container - CICAgent, CICInternalAgent, CICDbAgent, 45 Master, 45 Worker 64 ình ình ình ình ình ình ình 25: Tất Master thông báo diện Worker đăng ký v 65 26: Worker lựa chọn team để tham gia 66 27: WorkerD thành viên Mirror MasterD Worker tham gia .67 28: Giao diện trạng thái MasterD cập .68 ậ 29: User đặc tả tài nguyên yêu cầu Submit lên cho 69 30: CICAgent trả cho User danh sách team sẵn sàng cho lựa .70 ọ 31: User luậ chọn team F để thực thi công việc sau thực thi team F thông báo kết công việc cho .70 ình ình ình ình ình ình 32: User nhận thông báo kết công 71 ệ 33: User đặc tả tài nguyên yêu cầu - Giải thuật 71 ũ 34: Giải thuật MCA tự động chọn team I3 để thực thi công việc thông báo cho 72 35: team I3 thực thi công việc thông báo kết cho 72 36: User nhận thông báo kết công việc 72 10 CÁC THUẬT NGỮ Agent: Thực thể phần mềm biểu diễn đối tượng tương tác lưới Resource Provider: Nhà cung cấp tài nguyên lưới Service Level Agreement: Hợp đồng dịch vụ tài nguyên người sử dụng nhà cung cấp Contract Net Protocol: Giao thức thực hợp đồng dịch vụ YellowPages: Phương pháp mà team đưa thông tin quảng cáo lên CIC Team: Một nhóm worker kết hợp thành Các worker muốn gia nhập team phải thỏa mãn tiêu chuẩn trưởng nhóp (Master) đưa Master: Agent đứng đầu quản lý team Worker: Thành viên team Mirror: Worker đảm nhiệm vai trị trưởng nhóm trưởng nhóm bị down CIC: Nơi team đưa thơng tin quảng cáo lên User: Người có nhu cầu sử dụng tài nguyên JADE: Java Agent DEvelopment Framework 11 MasterI([],1,2,3,4) WorkerAgent NoOfCPU CPUSpeed Memory Amount (MHz) (GB) Disk Space WorkerA([],1,2,3,4) 1000 0.5 10 WorkerB([],1,2,3,4) 1500 15 WorkerC([],1,2,3,4) 2000 1.5 16 20 WorkerD([],1,2,3,4) 2500 64 25 WorkerE([],1,2,3,4) 1000 0.5 10 WorkerF([],1,2,3,4) 1500 15 WorkerG([],1,2,3,4) 2000 1.5 16 20 WorkerH([],1,2,3,4) 2500 64 25 WorkerI([],1,2,3,4) 3000 256 30 3000 63 256 30 Salary (GB) Hình 24: Giao diện JADE Container - CICAgent, CICInternalAgent, CICDbAgent, 45 Master, 45 Worker UserAgent 64 Hình 25: Tất Master thơng báo diện Worker đăng ký vào CIC 65 Hình 26: Worker lựa chọn team để tham gia vào 66 Hình 27: WorkerD thành viên Mirror MasterD Worker tham gia vào 67 Hình 28: Giao diện trạng thái MasterD cập nhật 68 Hình 29: User đặc tả tài nguyên yêu cầu Submit lên cho CICAgent 69 Hình 30: CICAgent trả cho User danh sách team sẵn sàng cho lựa chọn Hình 31: User luậ chọn team F để thực thi công việc sau thực thi team F thông báo kết cơng việc cho User 70 Hình 32: User nhận thông báo kết công việc 4.4 Kịch 4: Kịch cho giải thuật cũ Danh sách Agent giống kịch 3: - CICAgent, CICInternalAgent, CICDbAgent - 45 MasterAgent (45 team), Master(A,B,C,D,E,F,G,H,I)([],1,2,3,4) - 45 WorkerAgent - UserAgent Hình 33: User đặc tả tài nguyên yêu cầu - Giải thuật cũ 71 Hình 34: Giải thuật MCA tự động chọn team I3 để thực thi công việc thông báo cho User Hình 35: team I3 thực thi cơng việc thơng báo kết cho User Hình 36: User nhận thông báo kết công việc 4.5 Đánh giá 72 Qua thử nghiệm vừa cho thấy giải thuật cải tiến trả cho User danh sách có chất lượng tốt Cho phép User tự lựa chọn nhà cung cấp tài nguyên để thực thi cơng việc làm hài lịng User phương pháp cũ Phương pháp cũ r ất khó tìm nhà cung cấp tài nguyên tối ưu b ản chất thay đổi nhanh Grid Thời gian trả danh sách team cho User 73 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Đề tài trình bày cơng việc phát triển hệ thống môi giới tài nguyên lưới dựa agent Tập trung vào vấn đề: tảng lý thuyết dẫn tới đề nghị giải pháp, phát thảo mơ hình hệ thống agent based tóm tắt kinh nghiệm thơng qua thí nghiệm để dẫn tới định lựa chọn thực mơ hình kiến trúc tốt cho CIC Phần mơ hình nghiệp vụ, mô tả minh họa cách agent chọn team để thực thi công việc hệ thống Đã thảo luận khuyết điểm mơ hình giao tiếp đề xuất thực mô hình giao tiếp khắc phục khuyết điểm Tiếp theo mơ t ả tiến trình có liên quan worker gia nhập vào team Qua tiến hành thử nghiệm môi giới tài nguyên với nhiều kịch khác với thông tin tài nguyên yêu cầu khác User cho kết tốt Kết chứng tỏ khả thật mơ hình mơi giới tài nguyên lưới dựa agent triển khai mơi trường tính tốn lưới Đề tài đưa giải pháp cung cấp cho user quyền lựa chọn nhà cung cấp tài nguyên Để có đủ thơng tin cho user tin tưởng chọn nhà cung cấp thích hợp, phần định hướng phát triển đề tài, ngồi cịn phải tối ưu chi phí sử dụng tài nguyên, tạo cạnh tranh lành mạnh cho nhà cung cấp tài nguyên hướng phát triển đề tài 74 Chương TÀI LIỆU THAM KHẢO [1] C B˘adic˘a, A B˘adit˘a,M Ganzha,M Paprzycki, Developing a Model Agent based E-commerce System In: Jie Lu et al (eds.) E-Service Intelligence Methodologies, Technologies and Applications, Springer, Berlin, 2007, 555–578 [2] J Cao, D J Kerbyson, G R Nudd, Performance evaluation of an agent based resource management infrastructure for Grid computing In: Proceedings of the First IEEE/ACMInternational Symposiumon Cluster Computing and the Grid, 2001, 311–318 [3] K Chmiel, D Tomiak, M Gawinecki, P Kaczmarek, M Szymczak, M Paprzycki, Testing the Efficiency of JADE Agent Platform In: Proceedings of the ISPDC 2004 Conference, IEEE Computer Society Press, Los Alamitos, CA, 2004, 49–57 [4] M Dominiak, W Kuranowski, M Gawinecki, M Ganzha, M Paprzycki, Utilizing agent teams in Grid resource management — preliminary considerations In: Proceedings of the IEEE J V Atanasoff Conference, IEEE CS Press, Los Alamitos, CA, 2006, 46–51 [5] M Dominiak, W Kuranowski, M Gawinecki, M Ganzha, M Paprzycki, Efficient Matchmaking in an Agent-based Grid Resource Brokering System, Proceedings of the International Multiconference on Computer Science and Information Technology, PTI Press, 2006, 327–335 [6] O F Rana, B Di Martino, Grid performance and resource management using mobile agents, In: Performance analysis and Grid computing, 2004, 251–263 [7] FIPA Contract Net Interaction Protocol Specification, http://www.fipa.org/specs/fipa00029/SC00029H.html [8] I Foster, N R Jennings, C Kesselman, Brain Meets Brawn: Why Grid and Agents Need Each Other, AAMAS’04, July, 2004, ACM Press, 2004, http://www.semanticGrid.org/documents/003-foster_i_Grid.pdf [9] M Ganzha, M Gawinecki, P Kobzdej, M Paprzycki, C B˘adic˘a, Towards trust management in an agent-based e-commerce system—initial considerations, In: A Zgrzywa (ed.) Proceedings of the MISSI 2006 Conference, Wroclaw University of Technlogy Press, Wroclaw, Poland, 225–236 [10] JADE: Java Agent Development Framework See http://jade.cselt.it 75 [11] Jena—A Semantic Web Framework for Java See http://jena sourceforge.net/ [12] J Dodgson, M Spackman, A Pearman, L Phillips, DTLR multi-criteria analysis manual, UK: National Economic Research Associates, 2001 [13] S.S Manvi, M.N Birje, B Prasad, An Agent-based Resource Allocation Model for computational Grids, Multiagent and Grid Systems, 1(1), 2005, 17–27 [14] D Ouelhadj, J Garibaldi, J MacLaren, R Sakellariou, K Krishnakumar, A multiagent infrastructure and a service level agreement negotiation protocol for robust scheduling in Grid Computing In: Peter M A Sloot et al (eds.), Advances in Grid Computing—EGC 2005, Lecture Notes in Computer Science, 3470, Springer-Verlag, 2005, 651–660 [15] SPARQL Query Language for RDF See: http://www.w3.org/TR/rdf-sparql-query [16] H Tianfield, R Unland, Towards self-organization in multi-agent systems and Grid computing, Multiagent and Grid Systems, 1(2), 2005, 89–95 [17] D Trastour, C Bartolini, C Preist, Semantic Web Support for the BusinesstoBusiness E-Commerce Lifecycle, Proceedings of the International World Wide Web Conference, ACM Press, New York, USA, 2002, 89–98 [18] M Dominiak, , M Gawinecki, W Kuranowski, M Paprzycki, S Margenov, I Lirkov (2007) Utilizing Agent Teams in Grid Resource Brokering International Journal of Multiagent and Grid Systems , M Paprzycki, I Lirkov (2007) Trust Management in an Agent-based Grid Resource Brokering System - Preliminary Considerations In: M Todorov (ed.), Applications of Mathematics in Engineering and Economics'33, American Institute of Physics, College Park, MD [19] , Maciej Gawinecki, Marcin Paprzycki, Ivan Lirkov, [20] Wojciech Kuranowski, Svetozar Margenov (2007) Forming and managing agent teams acting as resource brokers in the Grid preliminary considerations International Journal of Computational Intelligence Research [21] Wojciech Kuranowski, Marcin Paprzycki, , Maciej Gawinecki, Ivan Lirkov, Svetozar Margenov (2007) Agents as resource brokers in grids - forming agent teams In: Proceedings of the LSSC Meeting, Springer [22] Richard Olejnik, Bernard Toursel, , Marcin Paprzycki (2007) Combining software agents and grid middleware In: C Cerin, K.-C Li (eds.) Proceeding of the GPC 2007 Conference, Springer, Berlin, LNCS 4459, 678-685 76 [23] Mateusz Dominiak, , Marcin Paprzycki (2007) Selecting grid-agent-team to execute user-job — initial solution, Proceedings of the Conference on Complex, Intelligent and Software Intensive Systems, IEEE CS Press, Los Alamitos, CA, 249-256 [24] Mateusz Dominiak, Wojciech Kuranowski, Maciej Gawinecki, , Marcin Paprzycki (2006) Efficient Matchmaking in an Agent-based Grid Resource Brokering System, Proceedings of the International Multiconference on Computer Science and Information Technology, PTI Press, 327-335 [25] Mateusz Dominiak, Wojciech Kuranowski, Maciej Gawinecki, , Marcin Paprzycki (2006) Utilizing agent teams in grid resource management — preliminary considerations In: Proceedings of the IEEE J V Atanasoff Conference, IEEE CS Press, Los Alamitos, CA, 46-51 77 ... HÌNH AGENT 2.1 Lịch sử phát triển Công việc nguyên cứu phát triển phương pháp quản lý môi giới tài nguyên dựa Agent kế thừa từ nhà nguyên cứu trước Họ nhận thấy software agent đóng vai trị quan... ta đ ề nghị phương pháp tác nhân phần mềm (software agents) Phương pháp dựa tương tác, thương lượng agent để cung cấp hạ tầng sở cho việc quản lý môi giới tài nguyên lưới Đề tài giới thiệu tổng... thống phần mềm lớn Với đề tài này, mục tiêu quan trọng software agent đóng vai trị quan trọng phát triển Grid Trước có nh ững nguyên cứu phát triển software agent sau: Nghiên cứu việc áp dụng phương