Một số thuật toán giải bài toán phân công nhiệm vụ trong hệ thống tính toán không đồng nhất

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG NGUYỄN THỊ HỒNG NHUNG MỘT SỐ THUẬT TỐN GIẢI BÀI TỐN PHÂN CƠNG NHIỆM VỤ TRONG HỆ THỐNG TÍNH TỐN KHƠNG ĐỒNG NHẤT LUẬN VĂN THẠC SĨ: KHOA HỌC MÁY TÍNH THÁI NGUYÊN 2012 Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tơi xin cam đoan tồn luận văn: "Một số thuật toán giải toán phân cơng nhiệm vụ hệ thống tính tốn khơng đồng nhất" thân tơi thực hướng dẫn PGS.TS Đặng Quang Á Nếu sai tơi xin chịu hình thức kỷ luật theo quy định Thái Nguyên, tháng 06 năm 2012 Người thực Nguyễn Thị Hồng Nhung Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC TRANG PHỤ BÌA LỜI CAM ĐOAN MỤC LỤC i DANH MỤC CÁC BẢNG iii DANH MỤC CÁC HÌNH iv LỜI NÓI ĐẦU CHƢƠNG I: GIỚI THIỆU SƠ LƢỢC VỀ HỆ THỐNG TÍNH TỐN KHƠNG ĐỒNG NHẤT MỘT SỐ BÀI TỐN PHÂN CƠNG NHIỆM VỤ 1.1 GIỚI THIỆU SƠ LƢỢC VỀ HỆ THỐNG TÍNH TỐN KHÔNG ĐỒNG NHẤT 1.1.1 Giới thiệu 1.1.2 Mơ hình khái niệm HC 1.2 GIỚI THIỆU MỘT SỐ BÀI TỐN PHÂN CƠNG NHIỆM VỤ 1.2.1 Bài tốn phân cơng nhiệm vụ hệ thơng tính tốn khơng đồng nhất…………………………………………………………………………… 1.2.2 Bài toán lập lịch thực hành 13 1.2.3 Bài toán lập lịch gia công 14 1.3 KẾT LUẬN 15 CHƢƠNG II: MẠNG NƠ RON VÀ GIẢI THUẬT DI TRUYỀN GIẢI BÀI TỐN KHƠNG ĐỒNG NHẤT 16 2.1 GIỚI THIỆU VỀ MẠNG NƠ -RON 16 2.1.1 Lịch sử phát triển 16 2.1.2 Mơ hình mạng nơ-ron nhân tạo 17 2.2 PHẠM VI ỨNG DỤNG CỦA MẠNG NƠ -RON 21 2.2.1 Những tốn thích hợp 21 2.2.2 Các lĩnh vực ứng dụng mạng nơ-ron 22 2.2.3 Ƣu nhƣợc điểm mạng nơ-ron 22 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii 2.3 MẠNG HOPFIELD 23 2.3.1 Mạng Hopfield rời rạc 24 2.3.2 Mạng Hopfield liên tục: 25 2.3.3 Mạng Hopfield với toán tối ƣu 27 2.4 GIỚI THIỆU GIẢI THUẬT DI TRUYỀN 30 2.4.2 Các bƣớc quan trọng việc áp dụng thuật giải di truyền 31 2.4.3 Các phƣơng thức biến hóa giải thuật di truyền 32 2.4.4 Các giải thuật di truyền lai 36 2.5 GIẢI THUẬT DI TRUYỀN VỚI BÀI TOÁN TỐI ƢU 37 2.5.1 Ánh xạ hàm mục tiêu sang hàm phù hợp 37 2.5.2 Tỷ lệ hoá giá trị phù hợp 38 2.5.3 Mã hoá tham biến nhờ véctơ nhị phân 39 2.5.4 Bài toán tối ƣu ràng buộc 39 2.6 KẾT LUẬN 40 CHƢƠNG III: MỘT SỐ THUẬT TOÁN GIẢI BÀI TỐN PHÂN CƠNG NHIỆM VỤ TRONG HỆ THỐNG TÍNH TỐN KHƠNG ĐỒNG NHẤT 41 3.1 MỘT SỐ THUẬT TỐN GIẢI QUYẾT BÀI TOÁN 41 3.1.1 Mạng Nơron Hopfield với toán TSAP 42 3.1.2 Thuật toán lai Mạng Noron Hopfield-Giải thuật di truyền 45 3.1.3 Thuật toán lai Mạng Noron Hopfield mô luyện kim 47 3.2 THỬ NGHIỆM VÀ KẾT QUẢ TÍNH TỐN 49 3.2.1 Các trƣờng hợp thử nghiệm thông số metaheuristic 49 3.2.2 GA cho mục đích so sánh 51 3.2.3 Kết phân tích 52 3.3 KẾT LUẬN 53 KẾT LUẬN 55 TÀI LIỆU THAM KHẢO 57 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iii DANH MỤC CÁC BẢNG Bảng 3.1: Trƣờng hợp thử nghiệm với 15 công việc xử lý 50 Bảng 3.2: So sánh kết thu đƣợc HNNGA HNNSA 53 Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn iv DANH MỤC CÁC HÌNH Hình 1.1: Mơ hình trạm làm việc Hình 1.2: Mơ hình khái niệm hệ thống HC Hình 2.1: Mơ hình nơ ron sinh học 17 Hình 2.2 : Mơ hình Nơ-ron 20 Hình 2.3: Mơ hình mạng Hopfield 23 Hình 2.4: Ví dụ lời giải bái toán sánh cặp với n = 28 Hình 2.5: Lƣu đồ mơ tả cấu trúc giải thuật di truyền 32 Hình 2.6: Lƣu đồ thuật tốn trình chọn lọc 33 Hình 2.7: Lƣu đồ thuật tốn q trình lai ghép 35 Hình 2.8: Lƣu đồ thuật tốn q trình đột biến 36 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -1- LỜI NÓI ĐẦU Hiện nay, máy tính có tốc độ xử lý cao, đơi thực số cơng việc dùng đến phần nhỏ khả tốc độ Điều cơng việc khác cần đến u cầu tính tốn khác phải có máy tính có khả khác để đáp ứng yêu cầu Một máy tính có cấu trúc đơn lẻ, khơng đáp ứng đƣợc tất u cầu tính tốn cơng việc mà có kết tốt nhƣ Vì vậy, việc sử dụng mơi trƣờng tính tốn khơng đồng thích hợp Trong hệ thống khơng đồng nhất, gồm có xử lý song song, phân phối, cụm, lƣới đƣợc ứng dụng lĩnh vực nhƣ: công nghiệp, phịng thí nghiệm, quan, trƣờng học, phân tích thiết kế mơi trƣờng thời gian thực Một vấn đề nghiên cứu quan trọng hệ thống tính tốn khơng đồng làm để xắp xếp có thứ tự cơng việc cần thực để tối ƣu hiệu xuất trình thực tốn phân cơng nhiệm vụ Bài tốn phân cơng nhiệm vụ hệ thống tính tốn khơng đồng toán phức tạp, q trình phân cơng nhiệm vụ cần phải linh hoạt sử lý tình khác nhau, hồn cảnh khác Tuy nhiên tính tốn mạng nơron Hopfield lại cho phép giải tốt tốn có nhiều tính phức tạp Vì vậy, ứng dụng mạng nơron Hopfield, giải thuật di truyền tốn phân cơng nhiệm vụ hệ thống tính tốn không đồng hứa hẹn giải pháp khả thi Nhận thức đƣợc vấn đề có gợi ý, định hƣớng PGS TS Đặng Quang Á em mạnh dạn nghiên cứu đề tài " Một số thuật tốn giải tốn phân cơng nhiệm vụ hệ thống tính tốn khơng đồng nhất" Nội dung luận văn gồm có ba chƣơng: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -2- Chƣơng I: Giới thiệu sơ lƣợc hệ thống tính tốn khơng đồng nhất, mơ hình khái niệm hệ thống khơng đồng nhất, tốn phân công nhiệm vụ Chƣơng II: Giới thiệu sơ lƣợc mạng nơ ron, mạng nơ ron Hopfield, giải thuật di truyền, giải thuật di truyền với toán tối ƣu Chƣơng III: Giới thiệu số thuật toán giải tốn phân cơng nhiệm vụ hệ thống tính tốn không đồng Trong chƣơng tập trung giới thiệu phƣơng pháp tiếp cận lai meta-heuristic cho toán phân cơng nhiệm vụ hệ thống tính tốn khơng đồng Phƣơng pháp tiếp cận bao gồm mạng Noron- Hopfield (HNN) để quản lý ràng buộc vấn đề, sử dụng hai thuật tốn tìm kiếm tồn cục khác để nâng cao chất lƣợng giải pháp đƣợc tìm thấy, là: Thuật tốn lai ghép mạng Nơron Hopfield - giải thuật di truyền thuật toán lại mạng Nơron Hopfield- mô luyện kim Qua luận văn em xin chân thành cảm ơn: PGS TS Đặng Quang Á Viện Cơng nghệ thơng tin tận tình giúp đỡ, động viên, định hƣớng, hƣớng dẫn em nghiên cứu hoàn thành luận văn Em xin cảm ơn thầy cô giáo viện Công nghệ thông tin, thầy cô giáo Trƣờng Đại học Công nghệ thông tin truyền thông ĐH Thái nguyên, giảng dạy giúp đỡ em hai năm học vừa qua, cảm ơn giúp đỡ nhiệt tình bạn đồng nghiệp Xin chân thành cảm ơn! Thái Nguyên, tháng 06 năm 2012 Ngƣời viết luận văn Nguyễn Thị Hồng Nhung Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -3- CHƢƠNG I GIỚI THIỆU SƠ LƢỢC VỀ HỆ THỐNG TÍNH TỐN KHƠNG ĐỒNG NHẤT MỘT SỐ BÀI TỐN PHÂN CƠNG NHIỆM VỤ 1.1 GIỚI THIỆU SƠ LƢỢC VỀ HỆ THỐNG TÍNH TỐN KHƠNG ĐỒNG NHẤT Hệ thống tính tốn khơng đồng hiệu suất cao (sau gọi HC), môi trƣờng bao gồm máy với khả tính tốn khác kết nối với liên kết tốc độ cao Mơi trƣờng thích hợp để đáp ứng nhu cầu tính tốn nhóm tốn lớn, áp dụng đa dạng cho ứng dụng Một yếu tố quan trọng việc đạt đƣợc hiệu suất tốt có từ mơi trƣờng HC khả phân cơng có hiệu ứng dụng máy móc lịch trình thực họ 1.1.1 Giới thiệu Máy tính hiệu suất cao đơi thực số nhiệm vụ dùng đến phần nhỏ khả hiệu suất tốc độ Điều nhiệm vụ khác có u cầu tính tốn khác mà kết cần thiết cho khả máy tính khác Một kiến trúc máy tính đơn lẻ đáp ứng tất yêu cầu tính tốn nhiệm vụ khác tốt nhƣ Vì vậy, việc sử dụng mơi trƣờng tính tốn khơng đồng thích hợp Hệ thống tính tốn khơng đồng (HC), bao gồm loại máy khác đƣợc kết nối với liên kết tốc độ cao Một hệ thống cung cấp loạt khả năng, cấu trúc, phối hợp để thực nhiệm vụ với yêu cầu thực khác cách khai thác tính khơng đồng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -4- hệ thống Một hệ thống HC bao gồm tập hợp máy tính hiệu suất cao Một nhóm bao gồm loại máy khác tạo thành hệ thống HC Ngồi ra, nhóm đƣợc xử lý nhƣ máy tính đơn HC Một hệ thống HC phần mạng lƣới lớn Một ứng dụng giả định bao gồm nhiều nhiệm vụ độc lập (tức khơng giao tiếp) Nó đƣợc giả định số nhiệm vụ đƣợc tiếp tục phân tách thành hai nhiều công việc phụ giao tiếp với Các cơng việc phụ có liệu phụ thuộc số đó, nhƣng đƣợc giao cho máy khác thực Hình 1.1: Mơ hình trạm làm việc Xét hình 1.1: Trong cho thấy ví dụ giả thuyết chƣơng trình ứng dụng với thành phần khác tốt phù hợp để thực kiến trúc máy tính khác Các ứng dụng ví dụ bao gồm nhiệm vụ đƣợc phân tách thành bốn công việc phụ liên tiếp Ứng dụng thực cho 100 đơn vị thời gian máy trạm bản, nơi mà công việc phụ phù hợp với kiến trúc máy tính có số lƣợng thời gian bên dƣới hình [5] Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -43- 𝑐𝑖𝑗 = 𝑀 𝑛ế 𝑢 𝑖 = 𝑗 𝑛ế 𝑢 𝑘𝑕á𝑐 (3.3) Lƣu ý ma trận có số hàng (mỗi nhiệm vụ đƣợc giao cho vi xử lý), có vài số cột (cùng vi xử lý quản lý số nhiệm vụ) Áp dụng định nghĩa nêu trên, Nơron thần kinh xij đƣợc cập nhật theo thứ tự tự nhiên nhƣ sau: i = 1, 2, , N, j = 1, 2, , M Giới thiệu quy tắc sửa đổi cách thực việc cập nhật tế bào thần kinh cách ngẫu nhiên hàng (biến i) Theo cách này, thay đổi giải pháp khả thi xẽ đƣợc tăng lên Với 𝜋(𝑖) hoán vị ngẫu nhiên i = 1, 2, , N Quy tắc cập nhật HNN là: 𝑥𝜋 𝑖 𝑗 𝑡 = 𝑖𝑠𝑔( 𝑁 𝑝=1 𝑝≠𝜋(𝑖) ⁡ (𝑀,𝑗 +𝑐 𝑗 ,𝜋 𝑖 ,𝑝 ) 𝑥 )∀𝑖, 𝑗 𝑞=max ⁡ (1,𝑐 𝑗 ,𝜋 𝑖 ,𝑝 +1) 𝑝𝑞 (3.4) 𝑞 ≠𝑗 Nguyên tắc cập nhật kết chạy dòng X theo thứ tự đƣợc đƣa hoán vị 𝜋(𝐢), nhƣng cột đƣợc cập nhật theo thứ tự tự nhiên j = 1, 2, , M Một chu kỳ đƣợc xác định tập hợp N × M tế bào thần kinh đƣợc cập nhật theo thứ tự định Trong chu kỳ, tế bào thần kinh đƣợc cập nhật lần theo thứ tự định 𝜋(i), đƣợc cố định trình thực thuật toán Sau chu kỳ, hội tụ HNN đƣợc chọn HNN đƣợc coi hội tụ khơng có tế bào thần kinh bị thay đổi trạng thái suốt chu kỳ Trạng thái cuối HNN giải pháp tiềm cho TSAP, đáp ứng đầy đủ ràng buộc vấn đề đƣợc đƣa Tuy nhiên, ý giải pháp đƣợc tìm thấy không khả thi nhiệm vụ không đƣợc phân cơng  Ví dụ minh họa Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -44- Trong phần ứng dụng mạng Nơron Hopfield nhị phân trình bầy phần để giải tốn Xem xét tốn TSAP đƣợc hình thành nhiệm vụ vi xử lý Trong cơng việc địi hỏi số lƣợng định nguồn tài nguyên, mà đƣợc đại diện wi = 4, i= {1, 2, 3, 4}, tối đa nguồn tài nguyên có sẵn cho vi xử lý ri = 4, i = {1, 2, 3, 4} Với giá trị cho wi ri, để giải pháp có tính khả thi cần phân cơng nhiệm vụ cho vi xử lý Sử dụng công thức (3.3), ma trận ràng buộc C liên quan đến vấn đề là: C= 0 0 0 0 0 Giả sử giải pháp không khả thi ban đầu, tạo cách ngẫu nhiên có giá trị nhƣ sau: X0 = 0 1 0 1 0 Áp dụng công thức (3.4) cho giải pháp ban đầu X0, cần phải chọn thứ tự cập nhật hàng cột Lựa chọn thứ tự tự nhiên hàng cột cho đơn giản, trƣờng hợp hoán vị định nghĩa thứ tự cập nhật = {1, 2, 3, 4} Để đạt đƣợc giải pháp khả thi, áp dụng công thức (3.4) toán tử isgn X0, nhận đƣợc kết sau đây: Xfinal = 0 0 0 0 1 0 Rất dễ dàng để kiểm tra trƣờng hợp có hai chu kỳ hội tụ giải pháp cuối Xfinal từ giá trị X0 ban đầu Lƣu ý rằng, Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -45- tình trạng ban đầu mạng X0 để cập nhật (𝜋) không thay đổi Trạng thái cuối đƣợc xác định Xfinal, trạng thái ban đầu khác trật tự cập nhật tạo giải pháp cuối khác Lƣu ý mạng Nơron Hopfield khơng có chức hàm tính tốn, hạn chế vấn đề đƣợc xác định ma trận C toán tử isgn trƣờng hợp 3.1.2 Thuật toán lai ghép Mạng Noron Hopfield - Giải thuật di truyền (HNNGA) Trong thực tế Giải thuật di truyền (GA) đƣợc áp dụng rộng dãi để giải toán toán phức tạp, giải vấn đề dựa vào q trình tiến hóa tự nhiên Đó kỹ thuật giải vấn đề dựa tập hợp giải pháp có cho vấn đề, tính khả thi tiến triển giải pháp thơng qua việc áp dụng tốn tử di truyền Các toán tử di truyền chuẩn GA trình bầy là: + Chọn lọc (Selection) + Lai ghép (Crossover) + Đột biến (Mutation) Nhƣ vậy: Các trình chọn lọc, lai ghép, đột biến đƣợc tiến hành vòng lặp cá thể thay toàn cá thể cũ quần thể Cá thể sinh loại sau: + Bị đột biến sau lai ghép + Lai ghép nhƣng không bị đột biến + Không lai ghép, không đột biến mà đơn giản chép lại Các thông số cần xác định giải thuật di truyền là: Size: Kích cỡ quần thể hay cá thể Pcros: Xác suất lai ghép Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -46- Pmu: Xác suất đột biến Mặc dù giải thuật di truyền mạnh hiệu quả, song khơng phải giải thuật tìm kiếm tối ƣu số lĩnh vực Vì lai ghép giải thuật di truyền với mạng Nơ ron Hopfied tạo giải thuật tốt hơn, khai thác đƣợc tính tìm kiếm tồn cục giải thuật di truyền hội tụ giải thuật tìm kiếm cục Trong phần đề xuất GA đƣợc lai với mạng Hopfield mục đích để nâng cao chất lƣợng giải pháp GA có hệ số quần thể đáp ứng đƣợc giải pháp tiềm cho TSAP, nhƣ chuỗi nhị phân có chiều dài N × M Mỗi chuỗi đại diện cho ma trận chuyển nhƣợng X khác đƣợc thông mạng Hopfield để nhận nhiệm vụ khả thi Quần thể đƣợc phát triển qua hệ việc ứng dụng toán tử di truyền chuẩn, là: Tốn tử lựa chọn, lai ghép đột biến đƣợc mô tả Một phƣơng pháp tối ƣu cho vấn đề truyền cá thể với hệ số thích nghi cao cho hệ sau Bằng cách này, thuật toán ln ln trì giải pháp tốt đƣợc tìm thấy q trình tiến hóa Thuật tốn đầy đủ cho TSAP, đƣợc hình thành GA HNN đƣợc mô tả nhƣ sau: HNNGA algorithm Initialize GA population at random while (max number of generations has not been reached) for (every individual X) Run the HNN to obtain a feasible X Calculate the fitness value of the individual f (X) if X is not feasible, apply a penalty to f (X) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -47- Substitute the GA individual by the new X obtained through the HNN endfor selection crossover mutation end(while) 3.1.3 Thuật toán lai Mạng Noron Hopfield mô luyện kim (HNNSA): Mô luyện kim (SA) đƣợc áp dụng rộng rãi để giải vấn đề tối ƣu hóa tổ hợp Nó đƣợc áp dụng từ q trình vật lý làm nóng chất sau làm lạnh từ từ, thu đƣợc cấu trúc kết tinh bền vững Q trình đƣợc mơ cách hạ thấp nhiệt độ ban đầu cách từ từ hệ thống đạt đến điểm cân bằng, khơng có nhiều thay đổi xảy Mỗi giai đoạn trình bao gồm thay đổi nhiều lần cấu hình, trạng thái cân nhiệt đƣợc đạt tới, sau bắt đầu giai đoạn mới, với nhiệt độ thấp Mong muốn giải pháp thu đƣợc cấu hình giai đoạn cuối Trong tiêu chuẩn SA, thay đổi cấu hình đƣợc thực theo cách sau: cấu hình ban đầu đƣợc xây dựng thay ngẫu nhiên Nếu thu đƣợc cấu hình tốt hơn, đƣợc thay cấu hình tại, khơng xẽ thể thay cấu hình theo xác suất Đây khả thay cao giai đoạn thuật toán, đƣợc giảm giai đoạn Các giải pháp đƣợc tìm thấy SA đƣợc coi giải pháp "đủ tốt", nhƣng khơng đảm bảo tốt (Vì việc áp dụng phƣơng pháp lai mạng Nơ ron Hopfield Giải thuật di truyền để giải Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn -48- TSAP giải pháp khả thi) Mục tiêu cuối thu đƣợc cấu hình liên quan đến SA giải pháp khả thi choTSAP SA tìm kiếm giải pháp khả thi hàm chi phí định, trƣờng hợp hàm chi phí tiêu chuẩn choTSAP Các thành phần quan trọng thuật toán SA là: Hàm mục tiêu xẽ đƣợc giảm thiểu trình xử lý, miêu tả cho giải pháp lựa chọn đột biến thay đổi cấu hình Mô tả vấn đề phân công ma trận X thay đổi từ cấu hình đến cấu hình khác thơng qua tiêu chuẩn đột biến lật số cho trƣớc Nf bit X Thuật toán đầy đủ cho TSAP, đƣợc hình thành SA HNNđƣợc thực theo cách sau: HNNSA algorithm: k = 0; T = T0; Initialize a potential solution at random; Run the HNN to obtain X; evaluate (X, f (X)); if X is not feasible, apply a penalty to f (X) repeat for j = to 𝝃 Xmut = mutate(X); Run the HNN to obtain X; evaluate(Xmut, f (X)); if X is not feasible, apply a penalty to f (X) 𝛼 if((f (Xmut)