Nghiên cứu và xây dựng một framework mô tả workflow có khả năng tự thích nghi với đặc tính tài nguyên của môi trường tính toán lưới

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA LÊ NGUYÊN VĨNH PHÚ NGHIÊN CỨU VÀ XÂY DỰNG MỘT FRAMEWORK MƠ TẢ WORKFLOW CĨ KHẢ NĂNG TỰ THÍCH NGHI VỚI ĐẶC TÍNH TÀI NGUN CỦA MƠI TRƯỜNG TÍNH TỐN LƯỚI Chun ngành: Khoa học Máy tính LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 02 năm 2008 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : TS Nguyễn Tuấn Anh Cán chấm nhận xét : TS Phạm Trần Vũ Cán chấm nhận xét : TS Trần Viết Huân Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày 20 tháng 02 năm 2008 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch: TS Trần Văn Hoài Thư ký: TS Phạm Trần Vũ Ủy viên: TS Nguyễn Tuấn Anh Ủy viên: TS Trần Viết Huân Ủy viên: TS Nguyễn Đức Cường ĐẠI HỌC QUỐC GIA TP HCM CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày tháng năm NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên : Ngày, tháng, năm sinh : Lê Nguyên Vĩnh Phú 16/3/1980 Giới tính : Nam  / Nữ  Nơi sinh : Quảng Ngãi Chuyên ngành Khoa học máy tính MSHV : 00705148 : I - TÊN ĐỀ TÀI: NGHIÊN CỨU VÀ XÂY DỰNG MỘT FRAMEWORK MÔ TẢ WORKFLOW CĨ KHẢ NĂNG TỰ THÍCH NGHI VỚI ĐẶC TÍNH TÀI NGUN CỦA MƠI TRƯỜNG TÍNH TỐN LƯỚI II - NHIỆM VỤ VÀ NỘI DUNG: Phần 1: Tìm hiểu khái niệm công nghệ liên quan đến Workflow, môi trường tính tốn lưới Khảo sát, đánh giá mơi trường tính tốn lưới khác như: Triana, GridAnt, GridFlow, Askalon … Phân tích nhược điểm mơ hình làm sở cho việc đề xuất mơ hình workflow cải tiến có khả thích nghi tốt với mơi trường bất đồng Grid Tìm hiểu cơng cụ lập trình lưới hướng đối tượng POP-C++ để xây dựng Framework Workflow Phần 2: Đề xuất mơ hình workflow Mơ hình có khả thích nghi với đặc tính mơi trường lưới thơng qua khả kết hợp nhiều thực với yêu cầu tài nguyên khác thành phần workflow Phần 3: Sử dụng cơng cụ lập trình lưới POP-C++ thực framework hỗ trợ Workflow Triển khai ứng dụng hoàn toàn dựa vào POP-C++ III - NGÀY GIAO NHIỆM VỤ : 10-10-2006 IV - NGÀY HOÀN THÀNH NHIỆM VỤ : 20-02-2008 V - HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS Nguyễn Tuấn Anh Nội dung đề cương Luận văn thạc sĩ Hội Đồng Chuyên Ngành thơng qua CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MƠN QUẢN LÝ CHUYÊN NGÀNH TS NGUYỄN TUẤN ANH LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Ngày 20 tháng 02 năm 2008 Lê Nguyên Vĩnh Phú LỜI CẢM ƠN TRANG LỜI CẢM ƠN Tài liệu kết việc nghiên cứu luận văn thạc sĩ trường Đại Học Bách Khoa Tp.HCM, khoa Công Nghệ Thông Tin Tôi mong viết diễn đạt cách dễ hiểu việc xây dựng framework mơ tả workflow có khả tự thích nghi với đặc tính tài nguyên mơi trường tính tốn lưới Nhân hội này, tơi muốn bày tỏ lịng cảm ơn chân thành đến thầy hướng dẫn TS Nguyễn Tuấn Anh, giúp đỡ nhiều việc nghiên cứu giai đoạn làm đề cương luận văn giai đoạn luận văn tốt nghiệp Thầy có đóng góp quý báu chân thành trình làm luận văn Ngồi ra, tơi muốn bày tỏ lịng cảm ơn sâu sắc đến thầy cô khoa Công Nghệ Thông Tin giảng dạy truyền đạt tri thức cho suốt thời gian qua Tơi xin trân trọng cảm ơn đến Phịng Đào Tạo Sau Đại Học, trường Đại Học Bách Khoa Tp.HCM hỗ trợ nhiều thời gian học trường Cuối cùng, tơi muốn bày tỏ lịng cám ơn đến người bạn gia đình ủng hộ chia sẻ trình nghiên cứu đề tài Kính chúc người sức khoẻ, thành đạt hạnh phúc TP.HCM, ngày 20 tháng 02 năm 2008 Học viên Lê Nguyên Vĩnh Phú GVHD: TS Nguyễn Tuấn Anh HVTH: Lê Nguyên Vĩnh Phú ĐỀ TÀI TRANG ĐỀ TÀI Việc xây dựng triển khai hiệu ứng dụng song song môi trường lưới thách thức Để chạy hiệu quả, ứng dụng có nhu cầu tính tốn lớn cần phải song song hóa với nhiều mức độ song song khác từ mức mịn (fine grain parallelism) đến mức thô (coarse grain, loosely coupled parallelism) việc lựa chọn mức độ song song phải định thực thi ứng dụng Workflow mơ hình thích hợp để đặc tả song song hóa đa mức độ Tuy nhiên, mơ hình workflow dạng tương đối tĩnh qua mức độ song song cố định sẵn thiết kế chương trình NGHIÊN CỨU VÀ XÂY DỰNG MỘT FRAMEWORK MƠ TẢ WORKFLOW CĨ KHẢ NĂNG TỰ THÍCH NGHI VỚI ĐẶC TÍNH TÀI NGUN CỦA MƠI TRƯỜNG TÍNH TỐN LƯỚI GVHD: TS Nguyễn Tuấn Anh, tuananh.nguyen@hcmut.edu.vn GVHD: TS Nguyễn Tuấn Anh HVTH: Lê Nguyên Vĩnh Phú ĐẶT VẤN ĐỀ TRANG ĐẶT VẤN ĐỀ Sự xuất môi trường lưới tính tốn phát triển nhanh công nghệ Internet tạo thách thức cho người lập trình ứng dụng phát triển hệ thống Những mơ hình lập trình cổ điển bộc lộ số khó khăn hạn chế sử dụng Grid, điều dẫn đến yêu cầu cách lập trình mới, mơ hình lập trình để phát triển ứng dụng tính tốn hiệu suất cao (HPC) Thêm vào đó, để có ứng dụng Grid hồn chỉnh, ngồi mơ hình lập trình, ngơn ngữ lập trình phù hợp, ta cần ứng dụng có khả thích nghi cao với mơi trường Grid để tận dụng mạnh mà Grid computing mang lại cho chúng tơi Bên cạnh đó, việc xây dựng triển khai hiệu ứng dụng song song môi trường lưới thách thức Để chạy hiệu quả, ứng dụng có nhu cầu tính tốn lớn cần phải song song hóa với nhiều mức độ song song khác từ mức mịn (fine grain parallelism) đến mức thô (coarse grain, loosely coupled parallelism) việc lựa chọn mức độ song song phải định thực thi ứng dụng Workflow mơ hình thích hợp để đặc tả song song hóa đa mức độ Tuy nhiên, mơ hình workflow dạng tương đối tĩnh qua mức độ song song cố định sẵn thiết kế chương trình Trước xu hướng đó, nhiều hệ thống Grid Workflow đề xuất, nghiên cứu nhằm tận dụng sức mạnh môi trường Grid để chia sẻ, quản lý, xử lý tập liệu lớn Thành phần tương tác người sử dụng giúp mô tả workflow phát triển hoàn chỉnh bao gồm: hỗ trợ giao diện đồ họa, ngơn ngữ mơ tả workflow XML, số hệ thống hỗ trợ sinh mã tự động dựa vào mô tả người dùng Nhưng đa số hệ thống mắc phải hạn chế khơng hỗ trợ bậc khác tính song song Nghĩa ứng dụng chứa nhiều cấu hình, cấu hình trình bày bậc song song ứng dụng Từ nhu cầu thiết sót đó, việc thiết kế hệ thống quản lý workflow động trở nên cần thiết Tuy nhiên, tính chất động hệ thống workflow xử lý nhiều mức, giai đoạn khác nhau, khía cạnh khác Ở đây, đề tài tập trung nghiên GVHD: TS Nguyễn Tuấn Anh HVTH: Lê Nguyên Vĩnh Phú ĐẶT VẤN ĐỀ TRANG cứu, xây dựng framework mô tả, quản lý workflow động dựa mơ hình lập trình lưới đối tượng song song mà ngôn ngữ POP-C++ môi trường run-time POP-C++ đại diện cho phép định task workflow thực thi dựa nhu cầu tài nguyên Nói cách khác cấu hình ứng dụng framework lựa chọn lúc thực thi Vì có khả thích nghi với thay đổi, bất ổn môi trường lưới Luận văn tổ chức thành bốn thành phần chính: Phần 1: Giới thiệu Trong phần gồm chương  Chương 1: Tổng quan  Chương 2: Một số hệ thống Grid Workflow Management  Chương 3: Hệ thống lập trình lưới POP-C++ Phần 2: Nghiên cứu sở lý thuyết Phần gồm chương  Chương 4: Kiến trúc hệ thống Grid Workflow Management System  Chương 5: Mơ hình đối tượng song song Phần 3: Xây dựng framework Trong phần gồm chương  Chương 6: Kiến trúc tổng quát  Chương 7: Mô tả framework  Chương 8: Hiện thực framework Phần 4: Tổng kết Trong phần bao gồm chương  Chương 9: Kết luận GVHD: TS Nguyễn Tuấn Anh HVTH: Lê Nguyên Vĩnh Phú MỤC LỤC TRANG MỤC LỤC LỜI CẢM ƠN ĐỀ TÀI .2 ĐẶT VẤN ĐỀ PHẦN 10 GIỚI THIỆU 10 Chương TỔNG QUAN 11 1.1 Động 11 1.2 Mục tiêu 11 1.3 Grid 12 1.3.1 Động lực phát triển 12 1.3.2 Các lĩnh vực Grid Computing: 13 1.3.3 Những khó khăn: 13 1.4 Một số mơ hình lập trình 14 1.4.1 Mô hình truyền thơng điệp 14 1.4.2 Mơ hình chia sẻ nhớ phân bố .15 1.4.3 Song song đồng (bulk synchronous parallel) 15 1.5 Workflow 16 1.6 Grid workflow 17 1.6.1 Giới thiệu .17 1.6.2 Động lực 18 1.6.3 Kết luận 19 Chương MỘT SỐ HỆ THỐNG QUẢN LÝ GRID WORKFLOW (GWMS) 20 2.1 Condor DAGMan 20 2.2 Triana 21 2.3 GridAnt 22 2.4 GridFlow .23 2.5 Askalon 24 GVHD: TS Nguyễn Tuấn Anh HVTH: Lê Nguyên Vĩnh Phú ... CĨ KHẢ NĂNG TỰ THÍCH NGHI VỚI ĐẶC TÍNH TÀI NGUYÊN CỦA MƠI TRƯỜNG TÍNH TỐN LƯỚI II - NHIỆM VỤ VÀ NỘI DUNG: Phần 1: Tìm hiểu khái niệm cơng nghệ liên quan đến Workflow, mơi trường tính tốn lưới Khảo... nghi mơi trường Grid bất đồng bất ổn định 1.2 Mục tiêu Trong đề tài này, ta xây dựng mơ hình workflow có khả tự thích nghi với đặc tính tài ngun mơi trường tính tốn lưới từ mơ hình xây dựng framework. .. trình lưới hướng đối tượng POP-C++ để xây dựng Framework Workflow Phần 2: Đề xuất mơ hình workflow Mơ hình có khả thích nghi với đặc tính môi trường lưới thông qua khả kết hợp nhiều thực với yêu