Bài toán workflow scheduling trong môi trƣờng điện toán đám mây

Bài toán workflow scheduling trong môi trƣờng điện toán đám mây

Bài tốn workflow scheduling mơi trƣờng điện tốn đám mây Kiều Tuấn Dũng Trƣờng Đại học Công nghệ Chuyên ngành: Công nghệ phần mềm; Mã số: 60 48 10 Cán hƣớng dẫn khoa học: TS Phạm Ngọc Hùng Năm bảo vệ: 2012 Abstract Tổng quan điện toán đám mây, khái niệm cần thiết việc thực thi workflow mơi trƣờng điện tốn đám mây Trình bày khái niệm phƣơng pháp tối ƣu bày đàn PSO cách xây dựng giải thuật PSO để giải toán tối ƣu Giải thuật lập lịch sử Heuristic dựa tối ƣu bầy đàn đề xuất: tốn lập lịch ứng dụng luồng cơng việc; xử lý liệu toán dùng giải thuật PSO; giải thuật Heuristic dựa PSO Cài đặt, trình tiến hành bảng số liệu thử nghiệm với phân tích Đƣa kết đạt đƣợc nêu dự định nghiên cứu Keywords: Cơng nghệ phầm mềm; Bài tốn; Điện tốn đám mây Content TĨM TẮT Đối với cơng ty hay doanh nghiệp, việc quản lý liệu xử lý toán cho hiệu toán ƣu tiên hàng đầu Muốn doanh nghiệp phải đầu tƣ tính tốn nhiều loại chi phí khác nhƣ: phần cứng, phần mềm, mạng, chi phí bảo trì, sửa chữa, nâng cấp, quản lý, kiểm sốt bảo mật … Mơ hình điện tốn đám mây (Cloud Computing) đáp ứng đƣợc yêu cầu đặt đƣợc công ty, doanh nghiệp hƣớng đến Sử dụng mơ hình này, cơng ty, doanh nghiệp cần trả phí cho ứng dụng luồng cơng việc (workflow) mà họ dùng (loại cơng việc địi hỏi nhiều cơng đoạn xử lý theo trình tự định trƣớc) mà không cần đầu tƣ nhiều vào sở hạ tầng, nhƣ quan tâm nhiều đến công nghệ Tuy nhiên, nhiều vấn đề hệ thống xử lý đám mây xuất nhƣ: để sử dụng cách hiệu tài nguyên phân tán có, giảm thiểu chi phí tính tốn truyền thơng … Từ tốn lập lịch cho ứng dụng workflow đƣợc đặt nội dung hƣớng tới đề tài Luận văn tập trung vào biểu diễn giải thuật heuristic dựa vào giải thuật tối ƣu bầy đàn (Particle Swarm Optimization – PSO) để lập lịch ứng dụng cho tài ngun đám mây mà đƣa vào tính tốn chi phí tính tốn chi phí truy cập liệu Luận văn thử nghiệm với ứng dụng luồng công việc môi trƣờng mô CloudSim cách thay đổi chi phí tính tốn truyền thơng Luận văn so sánh chi phí tiết kiệm sử dụng giải thuật PSO với hai giải thuật Random RoundRobin có Kết luận văn PSO đạt đƣợc tiết kiệm chi phí hiệu so với Random RoundRobin Bằng cách thử nghiệm môi trƣờng mô CloudSim kiểm chứng đƣợc hiệu giải thuật PSO vấn đề tiết kiệm chi phí hiệu thực thi ứng dụng workflow mơi trƣờng điện tốn đám mây, luận văn hi vọng đem lại kết có ý nghĩa thực tiễn, hƣớng nghiên cứu ứng dụng thực tế để xử lý hiệu tốn tiết kiệm chi phí doanh nghiệp I GIỚI THIỆU Mơ hình hợp tác nhiều thử nghiệm khoa học nhiều lĩnh vực nhƣ sinh học cấu trúc, vật lý lƣợng cao, khoa học thần kinh liên quan đến việc sử dụng nguồn liệu phân tán Kết quả, việc phân tích tập liệu đƣợc biểu diễn cấu trúc hóa nhƣ luồng cơng việc (workflow) khoa học Những luồng công việc khoa học thƣờng cần phải xử lý lƣợng liệu lớn hoạt động tính tốn chun sâu, Hệ thống quản lý luồng công việc khoa học đƣợc sử dụng để quản lý thử nghiệm khoa học cách che giấu chi tiết thực thi luồng công việc tài nguyên phân tán đƣợc cung cấp nhà cung cấp dịch vụ đám mây Điện toán đám mây (cloud computing) mơ hình cho tính toán phân tán mà cung cấp hạ tầng, tảng phần mềm (các ứng dụng) nhƣ dịch vụ Các dịch vụ đƣợc tạo sẵn nhƣ dịch vụ th bao (trả phí cho sử dụng) dành cho khách hàng Điện tốn đám mây giúp cung cấp linh hoạt nhiều tài nguyên tính tốn cho ứng dụng khách hàng vị trí xác định (US amazon ví dụ 1) dựa yêu cầu họ Cũng nhƣ vậy, ứng dụng lựa chọn vị trí lƣu trữ để lƣu trữ liệu (Amazon S3 2) vị trí tồn cầu Để đạt đƣợc hiệu tính tốn chi phí hiệu lập lịch công việc (task) liệu ứng dụng mơi trƣờng điện tốn đám mây, lập lịch phải có sách lập lịch khác thay đổi theo hàm mục tiêu: tối thiểu tổng thời gian thực thi, tối thiểu tổng chi phí thực thi, cân tải tài nguyên đƣợc sử dụng gặp ràng buộc deadline ứng dụng, v.v Luận văn tập trung vào nghiên cứu tối thiểu tổng chi phí thực thi ứng dụng tài nguyên đƣợc cung cấp nhà cung cấp dịch vụ đám mây, nhƣ Amazon GoGrid Luận văn đạt đƣợc điều cách sử dụng phƣơng pháp meta-heuristic đƣợc gọi tối ƣu bầy đàn (Particle Swarm Optimization – PSO) http://aws.amazon.com http://aws.amazon.com/s3/ http://www.gogrid.com PSO kỹ thuật tìm kiếm tối ƣu tồn cục tự thích nghi đƣợc giới thiệu Kennedy Eberhart [4] Giải thuật tƣơng tự giải thuật dựa vào quần thể khác nhƣ giải thuật di truyền nhƣng khơng có tổ hợp lại tác nhân quẩn thể Thay vào đó, dựa ứng xử xã hội cá thể Trong hệ, cá thể tự điều chỉnh quỹ đạo dựa vị trí tốt (local best) vị trí cá thể tốt (global best) quần thể Khái niệm làm tăng tính tự nhiên cá thể nhanh chóng đạt tới giá trị tối ƣu toàn cục với giải pháp tốt PSO trở nên phổ biến, phát triển trở thành hƣớng nghiên cứu rộng rãi nhiều ứng dụng năm gần tính đơn giản mà hiệu với chi phí thấp Một số ứng dụng sử dụng PSO: vấn đề điều khiển phản ứng điện áp (reactive voltage control problem), khai phá liệu, kỹ thuật hóa học, nhận dạng mẫu, kỹ thuật môi trƣờng PSO đƣợc ứng dụng để giải vấn đề NP-Hard nhƣ lập lịch phân bổ cơng việc Đóng góp luận văn là:  Luận văn xây dựng mơ hình phân bổ cơng việc (task) – tài ngun (resource) (phân bổ công việc cho tài nguyên tính tốn xử lý) để tổi thiểu tồn chi phí thực thi  Luận văn thiết kế giải thuật heuristic sử dụng PSO để giải vấn đề phân bổ công việc – tài nguyên dựa mơ hình đề xuất Phần cịn lại luận văn đƣợc cấu trúc nhƣ sau: chƣơng trình bày tổng quan điện toán đám mây, khái niệm cần thiết việc thực thi workflow môi trƣờng điện toán đám mây Chƣơng nghiên cứu khái niệm chi tiết giải thuật PSO, vấn đề xây dựng giải thuật PSO để giải toán tổng quan Vấn đề tốn lập lịch luồng cơng việc đƣợc trình bày chƣơng Đồng thời, chƣơng trình bày phƣơng pháp giải toán giải thuật PSO thiết kế giải thuật heuristic sử dụng PSO để giải vấn đề phân bổ công việc – tài ngun dựa mơ hình đề xuất Chƣơng trình bày cài đặt tốn, kết toán Và cuối cùng, chƣơng tổng kết lại luận văn hƣớng nghiên cứu II LẬP LỊCH WORKFLOW TRONG MƠI TRƢỜNG ĐIỆN TỐN ĐÁM MÂY Tổng quan điện toán đám mây Từ năm 2015 có khoảng 15 tỉ thiết bị kết nối đến internet hầu hết thiết bị thơng minh ví dụ nhƣ note book, netbook, điện thoại thơng minh, tơ thơng minh chí ti vi thông minh tất chúng kết nối đến internet cần phải có giải pháp cho linh hoạt để đáp ứng đƣợc dịch vụ cho hàng loạt thiết bị - Đó điện tốn đám mây Theo dự báo Intel giá trị thị trƣờng dịch vụ điện tốn đám mây đạt tới số 43 tỉ đô la Mỹ vào năm 2012 khẳng định vòng năm tới dịch vụ điện tốn đám mây đạt tới mức tăng trƣởng gộp năm 27% số ấn tƣợng cao gấp năm lần so với dịch vụ truyền thống khác lĩnh vực IT IBM doanh nghiệp tiên phong khai trƣơng trung tâm điện toán đám mây Việt Nam vào tháng năm 2008 với khách hàng Công ty cổ phần công nghệ truyền thông Việt Nam Cịn Microsoft tháng vừa qua thức ký kết biên ghi nhớ với tập đoàn FPT nhằm thúc đẩy Điện toán đám mây Việt Nam Sự phát triển Điện toán đám mây đƣợc sơ đồ hóa theo nhƣ Hình 2.1 dƣới đây: mở đầu công nghệ Clustering xuất phát từ nhu cầu đảm bảo hoạt động cho máy chủ hệ thống mạng, clustering cho phép sử dụng nhiều máy chủ kết hợp với tạo cụm (cluster) có độ tin cậy cao (giảm thiểu khả rủi ro), có khả chịu đựng chấp nhận sai sót Grid Computing, hệ thống phân tán đƣợc bố trí song song, tận dụng nguồn tài nguyên độc lập rải rác mặt địa lý, gần giống nhƣ Clustering, đời để giải tốn lớn khơng giới hạn mặt không gian địa lý tảng hệ điều hành Theo sau lại nhu cầu tính tốn cao với mục đích tiết kiệm phi phí, tính tốn theo nhu cầu (utility computing) Ngƣời sử dụng phải trả chi phí cho mà họ sử dụng giống nhƣ trả tiền theo hóa đơn điện, nƣớc hàng tháng Tôi thuê sử dụng máy chủ 1h tơi trả phí cho 1h mà sử dụng anh Nhu cầu thuê phần cứng trả tiền cho sử dụng chuyển tiếp sang mơ hình th phần mềm có trả phí Tơi khơng cần phải đầu tƣ nhiều phần mềm, cần sử dụng, tơi th anh trả phí theo dịch vụ mà anh đƣa Và cuối cùng, điện toán đám mây tổng hợp toàn nhu cầu, tiện ích dịch vụ mà mơ hình trƣớc đem lại Tất tài nguyên (phần cứng, phần mềm) đƣợc sử dụng nhƣ dịch vụ, sẵn sàng đáp ứng lúc, nơi với chi phí hợp lý Sự phát triển cơng nghệ tính tốn hình thành Điện tốn đám mây Điện toán đám mây (Cloud Computing) Phần mềm dịch vụ Điện toán theo nhu cầu Điện toán lưới (Utility Computing) Tính tốn phân cụm (Grid Computing) (Clustering) Tính tốn hiệu cao Máy tính trao đổi qua giao thức Các phân cụm độc lập liên kết với (SaaS) Cung cấp tài ngun tính tốn nhƣ dịch vụ có đo lƣờng mức độ sử dụng Thuê ứng dụng nhƣ dịch vụ thông qua mạng Internet Tính tốn song song cho tốn lớn Hình 1: Sự phát triển cloud computing từ clustering Ý tƣởng tảng Điện toán đám mây phát triển từ lâu giới nhƣng gần với bùng nổ Internet công nghệ mạng nhƣ nhu cầu thị trƣờng tên tuổi lớn giới bắt đầu đƣa ý tƣởng trở thành ứng dụng thật thị trƣờng Việt Nam Workflow (Luồng công việc) Định nghĩa luồng công việc (workflow): Theo Ravneet [13], luồng công việc hay quy trình nghiệp vụ (bussiness process) thứ tự bƣớc, tác vụ, kiện tƣơng tác làm nên quy trình để thực cơng việc Lợi ích việc thực thi luồng cơng việc mơi trường Điện tốn đám mây: Theo Ravneet [13], đƣa luồng công việc vào thực thi môi trƣờng điện toán đám mây cho phép sử dụng dịch vụ đám mây khác Lợi ích việc khả mở rộng ứng dụng Khơng giống nhƣ mơi trƣờng lƣới, mơi trƣờng điện tốn đám mây cho phép mở rộng tài nguyên đám mây theo thời gian thực để đáp ứng nhu cầu thực thi Khả co giãn đám mây cho phép mở rộng quy mơ linh hoạt có nhu cầu lớn giảm nhu cầu thấp Điều cho phép hệ thống quản lý luồng công việc đáp ứng đƣợc nhu cầu chất lƣợng dịch vụ theo u cầu ứng dụng Mơ hình lấy ngƣời dùng làm trung tâm mơi trƣờng điện tốn đám mây làm tăng tính thân thiện thỏa mãn yêu cầu ngƣời dùng Mơ hình kinh doanh "trả cho bạn sử dụng" làm giảm chi phí thực thi luồng cơng việc Cụ thể, lợi ích việc thực thi mơi trƣờng điện tốn đám mây bao gồm: Ảo tƣởng nguồn tài nguyên vô hạn (Illusion of infinite resources): ngƣời dùng đƣa yêu cầu tài nguyên cần thiết cho ứng dụng thời điểm nào; Tài nguyên thuê (Lease): ngƣời sử dụng trực tiếp xác định nguồn tài nguyên cần thuê cách hợp lý để lập lịch cho tính tốn họ Mơ hình lý tƣởng làm giảm chi phí lập lịch; Tính co giãn (Elasticly): cho phép ngƣời dùng thuê đƣợc phân bổ tài nguyên theo nhu cầu Hệ thống workflow dễ dàng phát triển thu nhỏ nguồn tài nguyên theo thời gian Thách thức việc thực thi luồng cơng việc mơi trường Điện tốn đám mây: Theo Ravneet [13], thách thức gặp phải thực thi luồng công việc môi trƣờng Điện tốn đám mây bao gồm: Chi phí: thực tế, số dịch vụ điện toán đám mây miễn phí, nhƣng số dịch vụ khơng Điều đồng nghĩa với việc ngƣời sử dụng phải tiền cho mà họ sử dụng Do vậy, chi phí trở thành mối quan tâm lớn ứng dụng workflow Nếu đƣa hai thuộc tính thời gian chi phí, ngƣời sử dụng phải đƣa định trả nhiều chi phí để giảm thời gian thực tiết kiệm chi phí cách cho phép kéo dài thời gian thực thi lâu miễn thời hạn cuối để thực cơng việc đƣợc đáp ứng Thỏa thuận cấp độ dịch vụ: với hầu hết dịch vụ điện toán đám mây đến từ tổ chức thƣơng mại lớn, thỏa thuận cấp độ dịch vụ trở thành mối quan tâm quan trọng cho nhà cung cấp dịch vụ khách hàng Do cạnh tranh cung cấp dịch vụ lên, nhà cung cấp phải đảm bảo: chất lƣợng dịch vụ (QoS) tốt cho khách hàng điều khoản phải rõ ràng cho việc bồi thƣờng trƣờng hợp vi phạm Khối lượng liệu: tùy thuộc vào dịch vụ đƣợc cung cấp, khối lƣợng liệu cần thiết đƣợc vận chuyển qua dịch vụ Nền tảng hỗ trợ: tùy thuộc vào dịch vụ, tảng hỗ trợ yêu cầu dịch vụ ứng dụng đám mây nhân tố hạn chế Ngồi vấn đề trên, có thách thức khác nhƣ vấn đề an ninh, tuân thủ quy định minh bạch liệu Sự cần thiết việc thực thi workflow mơi trường Điện tốn đám mây: Chúng ta thấy đƣợc lợi ích thực thi luồng công việc [13] môi trƣờng điện toán đám mây Hơn nữa, ứng dụng luồng công việc thƣờng yêu cầu môi trƣờng thực thi phức tạp bao gồm: hệ điều hành cụ thể, thƣ viện, cấu trúc tệp tin hệ thống, nhiều chƣơng trình ứng dụng tệp tin cấu hình Mơi trƣờng thƣờng khó tạo tài ngun lƣới Ngồi ra, vị trí lƣới có cấu hình khác nhau, kết thƣờng phải nỗ lực thêm thời gian để chuyển tới vị trí Máy ảo cho phép phát triển ứng dụng tạo đầy đủ tùy biến, cấu hình mơi trƣờng thực thi đặc biệt cho ứng dụng họ III PHƢƠNG PHÁP TỐI ƢU BẦY ĐÀN (PSO) Giải thuật tối ưu hóa bầy đàn (Particle Swarm Optimization – PSO) lấy ý tƣởng từ cách đàn chim tìm thức ăn, nguồn nƣớc Theo giả thuyết toán, cá thể ban đầu đƣợc dựng lên khơng gian Mỗi cá thể có vận tốc ban đầu, cá thể có kênh liên lạc Các cá thể sau di chuyển khơng gian lời giải, cá thể đƣợc đánh giá hay nhiều tiêu chuẩn thích nghi, cá thể di chuyển phía cá thể tốt phạm vi chúng Quần thể ban đầu gồm n cá thể (mỗi cá thể lời giải cho toán, nhƣng chƣa tối ƣu) Mỗi cá thể thứ i quần thể đƣợc biểu diễn vector xi m chiều (giá trị m tùy thuộc vào toán khác cách xử lý khác nhau), vector vận tốc vi m chiều với i = 1,…,n Hàm mục tiêu toán f: Rm →R Mơ tả thuật tốn chi tiết sau: B1: Khởi tạo quần thể với việc khởi tạo vector vị trí xi vector vận tốc vi cho cá thể thứ i, i = 1, , n (cho cá thể Pi quần thể P(n)) B2: Khởi tạo thơng tin ban đầu vị trí tốt cá thể quần thể pbesti = xi (khởi tạo vị trí tốt cá thể thứ i vị trí khởi tạo tại) gbest = (f(xi)), i = 1, n (khởi tạo vị trí tốt quần thể vị trí nhỏ tất vị trí tất cá thể khởi tạo) B3: Bƣớc lặp với điều kiện lặp xác định trƣớc (sau số lần lặp cho trước sau số lần lặp mà không thu kết tốt hơn) for 1