Đang tải... (xem toàn văn)
Luận án trình bày những khái niệm lý thuyết cơ bản của tối ưu hóa, làm quen với các dạng bài toán tối ưu đơn cực trị (uni-modal optimization problems) và đa cực trị (multi-modal optimization problems), luận án mô tả một cách chi tiết nội dung các thuật toán tìm kiếm tiêu biểu dựa trên thông tin định hướng,... Mời các bạn cùng tham khảo.
BỘ QUỐC PHÒNG HỌC VIỆN KỸ THUẬT QUÂN SỰ —————————- Vũ Chí Cường MỘT LỚP THUẬT TỐN PHỎNG TIẾN HĨA SINH HỌC DỰA TRÊN THÔNG TIN ĐỊNH HƯỚNG GIẢI BÀI TỐN ĐA CỰC TRỊ TĨM TẮT LUẬN ÁN TIẾN SĨ TỐN HỌC Chun ngành: Cơ sở tốn học tin học Hà Nội - Năm 2016 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI HỌC VIỆN KỸ THUÂT QUÂN SỰ - BỘ QUỐC PHÒNG ——————————————————– Người hướng dẫn khoa học: PGS TS Bùi Thu Lâm Phản biện 1: PGS.TS Hoàng Xuân Huấn - ĐH Quốc gia Hà Nội Phản biện 2: PGS.TS Huỳnh Thị Thanh Bình - ĐH Bách khoa Hà Nội Phản biện 3: TS Nguyễn Đức Dũng - Viện Hàn lâm KH&CN Việt Nam Luận án bảo vệ Hội đồng đánh giá luận án cấp Học viện theo định số 2506/QĐ-HV, ngày 08 tháng năm 2016 Giám đốc Học viện Kỹ thuật Quân sự, họp Học viện Kỹ thuật Quân vào hồi , ngày tháng năm Có thể tìm hiểu luận án tại: - Thư viện Học viện Kỹ thuật Quân - Thư viện Quốc gia Lời mở đầu Thuật tốn tiến hóa sinh học hay gọi ngắn gọn Thuật tốn tiến hóa (Evolutionary Algorithms - EAs) lớp thuật tốn heuristic tối ưu hóa học máy EAs áp dụng rộng rãi thu nhiều thành công việc giải toán tối ưu số tối ưu tổ hợp Về nguyên tắc, EA thuật toán lấy cảm hứng từ trình chọn lọc tự nhiên thuyết tiến hóa Darwin EAs hoạt động tập phương án (còn gọi quần thể - population) để tìm kiếm phương án tối ưu Ngun tắc tính toán dựa vào quần thể khẳng định mơ hình tiềm cho việc giải tốn tối ưu tồn cục [4, 31, 32, 63, 65, 85] Trong trình nghiên cứu phát triển, có dạng EAs truyền thống đề xuất, bao gồm Quy hoạch tiến hóa (Evolutionary Programming - EP), Chiến lược tiến hóa (Evolutionary Strategies - ES), Giải thuật di truyền (Genetic Algorithm - GA) Lập trình di truyền (Genetic Programming - GP) Các đặc điểm quan trọng EAs là: • EAs điều khiển q trình tiến hóa quần thể gồm nhiều cá thể, cá thể đại diện (hay mã hóa) cho phương án (hay lời giải) chấp nhận tốn tối ưu • Các cá thể (offsprings) sinh cách ngẫu nhiên thông qua trình đột biến lai ghép Quá trình đột biến thay đổi (rất nhỏ) cá thể q trình lai ghép hốn đổi thơng tin hay nhiều cá thể • Một hàm đánh giá sử dụng để đo chất lượng hay tính tốn mức độ phù hợp cá thể Cá thể có giá trị đánh giá cao xem tốt cá thể khác Quá trình lựa chọn thực việc lựa chọn ưu tiên cho cá thể tốt với mục đích tạo hệ với cá thể tốt Bên cạnh lớp EAs, khoảng thời gian 15 năm gần đây, có số mơ hình thuật tốn tự nhiên đề xuất, chẳng hạn Tối ưu hóa bầy đàn (PSO) [43], Tối ưu hóa đàn kiến (ACO) [19], Ước lượng thuật toán phân phối (EDA) [49], Hệ miễn nhiễm nhân tạo (AIS) [12], Trong mơ hình này, tốn tử tính tốn lấy cảm hứng từ tượng khác giới tự nhiên bầy chim, đàn cá hay đàn kiến, Trong thiết kế thuật toán heuristic, truyền thống đại, vấn đề sử dụng thông tin định hướng nhận quan tâm nhà nghiên cứu Nếu có thơng tin định hướng tốt q trình tìm kiếm phương án tối ưu diễn nhanh chóng đạt kết tốt Phương pháp tụt Gradient (Gradient Descent), thuật tốn tìm kiếm đơn hình (Simplex Search) [66], thuật tốn tìm kiếm phân tán (Scatter Search) [30, 47] ví dụ điển hình việc sử dụng thơng tin định hướng để giải tốn tối ưu Trong mơ hình thuật tốn tiến hóa mới, lớp thuật tốn tiến hóa vi phân (Differential Evolution) [75] ví dụ khác lợi ích đạt sử dụng thông tin định hướng để dẫn trình tìm kiếm lời giải Tuy nhiên, thuật tốn này, thơng tin định hướng xác định cách cục hệ q trình tiến hóa mà chưa có tính tồn cục, cách tổ chức quản lý thơng tin hướng cịn thiếu tính hệ thống Bởi tồn trường hợp mà thơng tin định hướng làm suy giảm chất lượng (giá trị đánh giá) phương án tìm Vấn đề xác định thông tin định hướng tốt cách thức quản lý, sử dụng thơng tin cách có hệ thống để hỗ trợ q trình tiến hóa chủ đề nghiên cứu luận án Ngồi ra, cách thức tổ chức quản lý cá thể, thấy quần thể cá thể bao hàm thơng tin định hướng, thơng tin định hướng hồn tồn xác định cách có hệ thống hỗ trợ q trình tìm kiếm tiến hóa Luận án tổ chức thành chương nội dung chính, bao gồm: Chương 1: Cơ sở lý thuyết, Chương 2: Những nội dung nghiên cứu liên quan, Chương 3: Thuật toán tiến hóa dựa thơng tin định hướng, Chương 4: Thuật tốn tiến hóa dựa thơng tin định hướng với toán đa cực trị Chương CƠ SỞ LÝ THUYẾT Mục đích chương cung cấp kiến thức sở lý thuyết liên quan đến nội dung nghiên cứu luận án Cấu trúc chương gồm phần Phần đầu trình bày khái niệm lý thuyết tổng quan tối ưu hóa, liên quan nhiều đến thuật tốn tiến hóa Phần thứ hai mô tả nội dung thuật tốn tiến hóa khái niệm, chất, dạng phân loại truyền thống Trong phần này, tác giả dành thời gian để mô tả cách cụ thể thành phần thuật tốn tiến hóa cuối sơ đồ tổng quát thuật tốn Sơ đồ tổng qt EA mô tả Algorithm 1.1 Algorithm 1.1 Sơ đồ tổng qt Thuật tốn tiến hóa Input: µ, λ, κ, θι , θc , θm , θs Output: a∗ cá thể tốt P ∗ quần thể tốt tìm 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: t ←− 0; P (t) ←− initialize(µ); Khởi tạo quần thể ban đầu f (t) ←− evaluate(P (t), µ); Đánh giá cá thể quần thể while (ι(P (t), θι ) = true) P (t) ←− recombine(P (t), θc ); Phép lai ghép P ” (t) ←− mutate(P (t), θm ); Phép đột biến f (t) ←− evaluate(P ” (t), λ); P (t + 1) ←− select(P ” (t), f (t), µ, θs ); Phép lựa chọn t ←− t + 1; end while return P ∗ = P (t); a∗ = best(P (t)); Chương NHỮNG NỘI DUNG NGHIÊN CỨU LIÊN QUAN Sử dụng thông tin định hướng nhận quan tâm nhà nghiên cứu việc thiết kế thuật tốn tính tốn số, truyền thống đại Khảo sát, tìm hiểu thuật toán giúp làm rõ vấn đề sử dụng thông tin định hướng tìm kiếm lời giải hay điều khiển trình tiến hóa Hơn nữa, việc khảo sát cịn giúp thiếu sót, hạn chế thuật tốn để từ tìm cách đề xuất thuật toán Trong chương này, tác giả tiến hành khảo sát thuật tốn tìm kiếm tiếng, bao gồm Thuật tốn tìm kiếm đơn hình (Simplex Search) J.A Nelder R Mead [66], Thuật tốn tìm kiếm phân tán (Scatter Search) F Glover, M Laguna R Martin [30, 47], Thuật tốn tối ưu hóa bầy đàn (Particle Swarm Optimization - PSO) R.C Eberhard J Kennedy [43], cuối Thuật tốn tiến hóa vi phân (Differential Evolution - DE) R Storn K Price [75] Phần thứ hai chương, tác giả tiến hành khảo sát kỹ thuật niching thường dùng Fitness Sharing D E Goldberg J J Richardson [33], Crowding K A De Jong [13], Species-based Jian-Ping Li [50], Clustering-based X Yin N Germay [108] Đây kỹ thuật đặc biệt tích hợp thuật tốn tiến hóa nhằm giải toán tối ưu đa cực trị Phần cuối chương khảo sát mơ hình, kỹ thuật song song hóa thuật tốn tiến hóa Trong phần này, ngồi dạng mơ hình song song truyền thống master/slave, island, cellular hybrid [8, 9, 42], tác giả cịn trình bày kỹ thuật đồng tiến hóa hợp tác (Cooperative Co-evolution - CC) M A Potter đề xuất năm 1994 [70, 71] Chương THUẬT TỐN TIẾN HĨA DỰA TRÊN THƠNG TIN ĐỊNH HƯỚNG 3.1 Thuật tốn DEAL Một chìa khóa dẫn đến thành cơng thiết kế thuật tốn tiến hóa có thơng tin định hướng tốt để dẫn trình tìm kiếm Trong luận án này, thông tin định hướng xây dựng từ tập cá thể ưu tú mà tác giả gọi tập ETS (Elite Set) Đó tập cá thể có giá trị đánh giá tốt cá thể khác lại (cá thể xếp hạng hai) quản lý, trì suốt q trình tiến hóa Có hai dạng thông tin định hướng luận án quan tâm: • Hướng hội tụ (CD - Convergence Direction) hướng cá thể xếp hạng hai quần thể với cá thể ưu tú tập ETS • Hướng tản mát (SD - Spread Direction) hướng hai cá thể ưu tú tập ETS Thuật tốn tiến hóa dựa hai dạng thông tin định hướng tác giả đặt tên Direction-guided Evolutionary ALgorithm hay DEAL Sơ đồ thuật tốn DEAL mơ tả Algorithm 3.2 Trong thuật toán DEAL, thủ tục generation() thủ tục quan trọng nhất, gồm 10 bước mô tả cụ thể trang sau Algorithm 3.2 Sơ đồ Thuật tốn DEAL Input: N kích thước quần thể; θc , θm , σ1 , σ2 tham số điều khiển Output: a∗ cá thể tốt tìm 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: t ←− 0; P (t) ←− initialize(N ); f (t) ←− evaluate(P (t)); ET S(t) ←− selectElite(P (t)); while (termination() = true) M (t) ←− P (t); M (t) ←− generation(M (t), θc , θm , σ1 , σ2 ); C(t) ←− M (t) ∪ ET S(t); ET S(t) ←− selectElite(C(t)); P (t + 1) ←− M (t); t ←− t + 1; end while return a∗ = best(P (t)); Bước 1: index = Bước 2: Lựa chọn ngẫu nhiên cá thể cha pr Bước 3: Lựa chọn hướng hội tụ d1 Bước 4: Xác định cá thể thử nghiệm s1 cách lai ghép pr với cá thể sinh dịch chuyển pr theo hướng hội tụ d1 với bước nhảy định hướng σ1 xác suất lai ghép θc Bước 5: Đánh giá s1 , Nếu s1 tốt pindex thay mindex = s1 Bước 6: Lựa chọn hướng tản mát d2 Bước 7: Xác định cá thể thử nghiệm s2 cách lai ghép pr với cá thể sinh dịch chuyển pr theo hướng tản mát d2 với bước nhảy định hướng σ2 xác suất lai ghép θc Bước 8: Đột biến s2 theo xác suất đột biến θm Bước 9: Đánh giá s2 , Nếu s2 tốt pindex+1 mindex+1 = s2 Bước 10: index = index + 2, Lặp lại Bước duyệt hết cá thể M 3.1.1 Độ phức tạp tính tốn Độ phức tạp thuật toán DEAL O(mN logN ), N kích thước quần thể, m số hệ tiến hóa 3.1.2 Các tùy chọn bước nhảy định hướng DEAL sử dụng tham số σ1 σ2 để điều chỉnh độ lớn véc tơ định hướng d1 d2 Các tham số gọi bước nhảy định hướng giá trị khác chúng có ảnh hưởng đến chất lượng thuật toán 3.1.3 Các chiến lược lai ghép Trong DEAL tác giả sử dụng cá thể cha pr vừa làm cá thể đột biến vừa làm cá thể lai ghép để sinh cá thể thử nghiệm s1 s2 Đây chiến lược lai ghép thứ Chiến lược lai ghép thứ hai sử dụng cá thể theo thứ tự pindex pindex+1 làm cá thể lai ghép Thuật toán gọi MDEAL (Modified Strategy for DEAL) 3.2 3.2.1 Song song DEAL với kỹ thuật đồng tiến hóa hợp tác Mơ hình song song Mơ hình song song DEAL với kỹ thuật đồng tiến hóa hợp tác biểu diễn Hình 3.1 Tại master node, quần thể (Population) gồm cá thể khởi tạo ngẫu nhiên không gian tìm kiếm Quần thể phân chia (Decomposition) thành quần thể (subPopulation) tương ứng với phần tốn Một cá thể tồn cục tốt xác định quản lý suốt trình tiến hóa (Current best) Các quần thể (SubPop) cá thể tốt toàn cục thời (Current best) phân phát tới slave node để tiến hóa cách độc lập đồng thời Hình 3.1: Mơ hình song song PCCDEAL Tại slave node, quần thể tiến hóa DEAL số vòng lặp xác định trước (ký hiệu Evolution_Cycle) Sau Evolution_Cycle, slave lựa chọn cá thể tốt làm đại diện cho (Representative) gửi cho master node nhằm tham gia trình cập nhật cá thể tồn cục tốt Q trình cập nhật diễn Hình 3.2 Hình 3.2: Mơ hình cập nhật cá thể tối ưu tồn cục 10 tác giả cịn tiến hành thực nghiệm thuật toán DE với mã nguồn cung cấp [75] Kết thực nghiệm MDEAL DE so sánh với kết thực nghiệm thuật tốn phổ biến khác cơng bố [48], bao gồm thuật toán RCCRO (Real-coded version of Chemical Reaction Optimization) [48], GA (Genetic Algorithm), FEP (Fast Evolutionary Programming), CEP (Classical Evolutionary Programming), FES (Fast Evolutionary Strategy), CES (Conventional Evolutionary Strategy), RCBBO (Real-coded Biogeography-based optimization) [35], CMAES (Covariance Matrix Adaptation Evolution Strategy) [37] G3PCX (Generalized Generation Gap model with PCX) [16] Đây thuật tốn tiến hóa nối tiếng có thành cơng ghi nhận lịch sử phát triển thuật tốn tiến hóa Kết thực nghiệm cho thấy: Trong MDEAL xếp hạng với toán (F2 , F3 , F5 , F6 ) DE xếp hạng với toán (F4 ) Tuy nhiên, DE xếp hạng hai tốn cịn lại Một điều thú vị MDEAL DE thuật tốn tiến hóa sử dụng thơng tin định hướng để điều khiển q trình tiến hóa Điều lần cho thấy tính hiệu thuật tốn tiến hóa sử dụng thơng tin định hướng Phân tích hành vi thuật tốn MDEAL DE tốn (xem Hình 3.4) ta dễ dàng nhận thấy MDEAL hội tụ nhanh DE (đường màu đỏ nằm đường màu xanh) 3.3.2 Thực nghiệm cho DEAL song song Bảng 3.2: Danh sách toán thực nghiệm cho DEAL song song ID F0 F1 F2 F3 F4 Name of Problems Sphere’s Problem Schwefel’s Problem 2.21 Rastrigin’s Problem Ackley’s Problem Griewank’s Problem Properties Unimodal, Separable Unimodal, Non-separable Multimodal, Separable Multimodal, Non-separable Multimodal, Non-separable Ranges [-100, 100] [-100, 100] [-5, 5] [-32, 32] [-600, 600] Tác giả phức tạp hóa tốn thực nghiệm cách tăng số chiều toán D = 500 Khi đó: M axF Es = 5.000×D = 2.500.000 Các tham số thực nghiệm khác bao gồm sau: Kích thước quần thể N = 100, θc = 0.90, θm = 0.01, số hệ tiến hóa slave Evolution_Cycle = 1, 10 14 F1: Schwefed Problem F2: Rastrigin Problem 10 −2000 F3: Ackley Problem 10 10 MDEAL DE −4000 MDEAL DE 0 10 10 −6000 −10 −8000 −5 10 10 −10000 −20 −10 10 10 MDEAL DE −12000 −14000 −30 (a) 10 12 14 (x100) F4: Griewank Problem 10 −15 (b) 10 12 14 (x100) F5: Pernalized Problem 10 10 10 10 10 (c) 10 12 14 (x100) F6: Pernalized Problem 10 10 0 10 10 −5 10 −10 −10 10 10 −10 10 −20 10 MDEAL DE MDEAL DE MDEAL DE −20 10 −20 10 −15 10 −30 (d) 10 12 14 (x100) 10 −30 (e) 10 12 14 (x100) 10 (f) 10 12 14 (x100) Hình 3.4: Giá trị tối ưu trung bình đạt D = 30 toán (a) Schwefed’s problem; (b) Rastrigin’s problem; (c) Ackley’s problem; (d) Griewank’s problem; (e) Pernalized problem 1; and (f) Pernalized problem Phân tích thời gian thực thi tính tốn hệ số tăng tốc Phân tích hiệu thuật tốn PCCDEAL Thơng thường kỹ thuật song song hóa làm tăng hiệu suất mặt thời gian thực thi thuật toán Tuy nhiên, trường hợp này, luận án sử dụng kết hợp song song với kỹ thuật đồng tiến hóa hợp tác Do thuật tốn PCCDEAL làm tăng chất lượng lời giải, nghĩa giá trị phương án tốt tìm cuối thuật tốn cải thiện 3.4 Kết luận Thuật toán DEAL có số đặc trưng như: • Tổ chức sử dụng cân đối dạng thông tin định hướng: (1) hướng hội tụ hướng từ cá thể hạng hai đến cá thể ưu tú (2) hướng tản mát hướng cá thể ưu tú • Các thơng tin định hướng quản lý cách toàn cục Tập cá thể ưu tú tổ chức liên tục cập nhật 15 20 Evolution Cycle=1 Evolution Cycle=5 Evolution Cycle=10 Ideal 18 16 14 12 10 2 10 12 14 16 18 20 Hình 3.5: Hệ số tăng tốc PCCDEAL suốt trình tiến hóa • Có tùy chọn bước nhảy tiến hóa • Có chiến lược lai ghép khác tương ứng với phiên DEAL MDEAL Các kết thực nghiệm cho thấy DEAL MDEAL làm việc tốt với lớp toán tối ưu đơn cực trị toán tối ưu đa cực trị có phương án tối ưu tồn cục Hiệu thuật tốn MDEAL so sánh với thuật tốn tiến hóa tiếng khác Đặc biệt tính hiệu MDEAL DE lần khẳng định lợi thuật tốn tiến hóa dựa thơng tin định hướng Cũng chương này, tác giả tiến hành song song hóa thuật tốn DEAL nhằm nâng cao lực tính toán phải giải toán phức tạp Mơ hình song song mà tác giả sử dụng mơ hình song song kết hợp mơ hình song song master/slave truyền thống kỹ thuật đồng tiến hóa hợp tác 16 Chương THUẬT TỐN TIẾN HĨA DỰA TRÊN THƠNG TIN ĐỊNH HƯỚNG VỚI BÀI TỐN ĐA CỰC TRỊ 4.1 DEAL với kỹ thuật Fitness Sharing Thuật toán DEAL kết hợp với kỹ thuật Fitness Sharing gọi tên SharingDEAL Trong SharingDEAL, thủ tục generation() thuật toán DEAL viết lại sau: Bước 1: Xây dựng quần thể trộn M Tương tự 10 bước thủ tục generation() thuật toán DEAL Tuy nhiên cá thể thử nghiệm S1 S2 không đánh giá so sánh nhằm thay cá thể cha mẹ mà tiếp tục bổ sung vào quần thể M Bước 2: Tính tốn giá tri chia sẻ (fitness sharing) tất cá thể quần thể M Bước 3: Sắp xếp quần thể M theo thứ tự giảm dần giá trị chia sẻ Bước 4: Loại bỏ nửa cá thể xấu M Trong bước này, nửa số cá thể M có giá trị chia sẻ thấp bị loại bỏ Tuy nhiên, cần phải bảo tồn cá thể ưu tú (có giá trị đánh giá cao nhất) quần thể M Quần thể M có kích thước kích thước quần thể P tiếp tục thực bước thuật toán DEAL Độ phức tạp tính tốn SharingDEAL tính O(mN ), m số hệ tiến hóa, N kích thước quần thể 17 4.2 DEAL với kỹ thuật Crowding CrowdingDEAL có thủ tục generation() viết lại sau: Bước 1: index = Bước 2: Lựa chọn ngẫu nhiên cá thể cha pr Bước 3: Lựa chọn hướng hội tụ d1 Bước 4: Xác định cá thể thử nghiệm s1 cách lai ghép pr với cá thể sinh dịch chuyển pr theo hướng d1 với bước nhảy định hướng σ1 xác suất lai ghép θc Bước 4+: Tìm kiếm cá thể cha m1 tương tự với cá thể s1 Bước 5: Đánh giá s1 so sánh s1 với m1 Nếu s1 tốt m1 thay m1 = s1 Bước 6: Lựa chọn hướng tản mát d2 Bước 7: Xác định cá thể thử nghiệm s2 cách lai ghép pr với cá thể sinh dịch chuyển pr theo hướng d2 với bước nhảy định hướng σ2 xác suất lai ghép θc Bước 8: Đột biến s2 theo xác suất đột biến θm Bước 8+: Tìm kiếm cá thể cha m2 tương tự với cá thể s2 Bước 9: Đánh giá s2 so sánh s2 với m2 Nếu s2 tốt m2 thay m2 = s2 Bước 10: index = index + Lặp lại Bước duyệt hết cá thể M Độ phức tạp tính tốn CrowdingDEAL O(mN ) với m số hệ tiến hóa, N kích thước quần thể 4.3 DEAL với kỹ thuật Species-based Thuật toán tiến hóa gọi SpeciedDEAL SpeciesDEAL sử dụng điều kiện khởi động lại sau: • TC01 (tình hội tụ sớm): Khởi động lại chênh lệch giá trị đánh giá tất cá thể tiểu quần thể bé T olf un = 10−12 • TC02 (tình hội tụ sớm): Khởi động lại độ lệch chuẩn giá trị đánh giá tất cá thể tiểu quần thể 18 bé T olX = 10−12 • TC03 (tình bị kẹt): Khởi động lại chênh lệch giá trị đánh giá tốt (giá trị tối ưu) đạt glast = 10 hệ gần Bước 1: Khởi tạo quần thể P có kích thước N Bước 2: Xác định tập SSS phân chia lồi tương ứng Nếu kích thước lồi nhỏ n0 khởi tạo ngẫu nhiên số cá thể miền xác định loài lồi có kích thước lớn n0 Bước 3: Với loài, thực thuật toán DEAL điều kiện khởi động lại thỏa mãn Bước 4: Kết hợp tất loài giữ lại N cá thể tốt Bước 5: Quay lại bước tất loài thỏa mãn điều kiện khởi động lại Bước 6: Quay lại bước điều kiện dừng thuật toán thỏa mãn Thuật tốn SpeciesDEAL có độ phức tạp tính tốn O(mN logN ) 4.4 DEAL với kỹ thuật Clustering-based Thuật tốn NBCDEAL bổ sung 01 tiêu chí TC04: • TC04 (tình lãng phí): Khởi động lại miền xác định cụm chứa phương án tối ưu tìm thấy Cấu trúc dạng bước thuật tốn NBCDEAL mơ tả sau: Bước 1: Khởi tạo quần thể P cách ngẫu nhiên Bước 2: Áp dụng kỹ thuật NBC để phân tách quần thể P thành cụm cá thể riêng biệt Bước 3: Với cụm cá thể Thực thuật toán DEAL cho cụm cá thể điều kiện khởi động lại thỏa mãn Bước 4: Nếu điều kiện dừng chương trình chưa thỏa mãn Quay lại bước 19 Độ phức tạp tính tốn NBCDEAL O(mN logN ) 4.5 Các thực nghiệm 4.5.1 Mơi trường thực nghiệm Các tốn thực nghiệm Luận án sử dụng tập toán thực nghiệm đề xuất gần IEEE CEC’2013 liệt kê Bảng 4.1 Bảng 4.1: Danh sách toán thực nghiệm ID F1 F2 F3 F4 F5 F6 F6 F7 F7 F8 F9 F10 F11 F11 F11 F11 F12 F12 F12 F12 Name Five-Uneven-Peak Trap Equal Maxima Uneven Decreasing Maxima Himmelblau Six-Hump Camel Back Shubert Shubert Vincent Vincent Modified Rastrigin Composition Function Composition Function Composition Function Composition Function Composition Function Composition Function Composition Function Composition Function Composition Function Composition Function Dimension 1 2 3 2 2 10 10 20 No of optima 4 18 81 36 216 12 6 6 8 Các tham số thực nghiệm • N = 40 ∗ D với tốn có số chiều D ≤ N = 120 với tốn cịn lại 20 • M axF Es = × 104 với toán từ F1 − F5 , M axF Es = × 105 với tốn có D = cịn lại, M axF Es = × 105 với tốn có D ≥ • Độ xác ( = 10−i với i = 1, 2, , • Số lần chạy độc lập: N R = 50 • Tham số điều khiển DEAL: pc = 0.90, pm = 0.01 Các độ đo • Tỷ lệ đạt đỉnh PR • Tỷ lệ thành công SR 4.5.2 Thực nghiệm 1: Hiệu suất SharingDEAL Trong phần này, tác giả tiến hành thực nghiệm thuật toán SharingDEAL N R = 50 lần chạy độc lập Để so sánh luận án sử dụng kết thực nghiệm DE/nrand/1, DEAL SharingDE Trong DE/nrand/1 phiên chuẩn thuật tốn tiến hóa vi phân DE, kết thực nghiệm DE/nrand/1 lấy từ công bố báo [54] DEAL thuật tốn gốc, khơng sử dụng kỹ thuật niching SharingDE thuật toán R Thomsen đề xuất [33] 4.5.3 Thực nghiệm 2: Hiệu suất CrowdingDEAL Bên cạnh thực nghiệm CrowdingDEAL, tác giả tiến hành thực nghiệm sử dụng kết thuật toán khác CDE R Thomsen [99] CrowdingDE M G Epitropakis [21] Kết thuật tốn CDE tác giả lập trình lại với thơng tin thuật tốn điều kiện thực nghiệm cơng bố [99] cịn kết CrowdingDE kết CrowdingDE/nrand/1 nêu [54] 4.5.4 Thực nghiệm 3: Hiệu suất SpeciesDEAL Để so sánh, đánh giá SpeciesDEAL, tác giả thực lại thuật tốn SpeciesDE Xiadong Li với thơng tin công bố [51, 21 53] Các điều kiện thực nghiệm SpeciesDE tuân thủ khuyến cáo Xiaodong Li [51, 53] phù hợp với SpeciesDEAL 4.5.5 Thực nghiệm 4: Hiệu suất NBCDEAL Để so sánh, đánh giá NBCDEAL với thuật toán khác, luận án sử dụng kết thực nghiệm thuật toán NEA2 (Niching the CMA-ES via Nearest-Better Clustering) M Preuss đạt hạng thi thiết kế thuật toán năm 2013 [55] kết thực nghiệm thuật toán LSEAGP (Localised Search Evolutionary Algorithm using a Gaussian Process) J.E Fieldsend đạt hạng hai thi năm 2015 [56] Số liệu NBCDEAL kết tốt NBCDEAL_Op1 điều chỉnh tham số φ 4.5.6 So sánh đồng thời thuật toán đề xuât Trong phần này, tác giả lựa chọn 04 thuật toán đánh giá cao thời gian gần với đầy đủ đặc trưng thuật toán tiến hóa để so sánh với thuật tốn tác giả đề xuất giải lớp tốn tối ưu đa cực trị • NEA2 - Niching the CMA-ES via Nearest-Better Clustering • dADE/nrand/1 - A Dynamic Archive Niching Differential Evolution algorithm for Multimodal Optimization • LSEAGP - Localised Search Evolutionary Algorithm using a Gaussian Process • LSEAEA - Localised Search Evolutionary Algorithm using an Evolutionary Algorithm Thực kiểm định Friedman giá trị trung bình độ đo PR toàn trường hợp mức độ xác, tác giả thu số liệu Bảng 4.2 Từ Bảng 4.2, giá trị Asymp.Sig = 9.46E − 32 < 0.05 có đủ sở để khẳng định có khác biệt độ đo PR thuật toán mức ý nghĩa 5% Tiến hành xếp hạng thuật toán theo trung bình thứ hạng theo kiểm định Friedman ta có kết so sánh Bảng 4.3 Kết Bảng 4.3 cho thấy thuật toán NBCDEAL đạt thứ hạng tốt nhất, thuật tốn NEA2 đạt hạng nhì dADE/nrand/1 đạt hạng 22 Bảng 4.2: Kiểm định Friedman thuật toán N dADE NEA2 LSEAGP LSEAEA ShDEAL CrDEAL SpDEAL NDEAL 100 100 100 100 100 100 100 100 Mean 0.7425 0.7939 0.7302 0.7477 0.3698 0.5012 0.6842 0.7549 Descriptive Statistics Std Min Max 0.3030 0.2333 0.3268 0.3236 0.3927 0.4178 0.3738 0.3020 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 25th 0.6308 0.6670 0.6670 0.6150 0.0990 0.0778 0.3898 0.5378 Percentiles 50th 0.8300 0.8515 0.7900 0.9030 0.1670 0.4595 0.8915 0.9570 75th 1.0000 1.0000 1.0000 1.0000 0.9395 1.0000 1.0000 1.0000 Test Statistics N 100 Chi-Square 162.520 df Asymp Sig 9.46E-32 Bảng 4.3: Thứ hạng thuật toán theo kiểm định Friedman dADE NEA2 LSEAGP LSEAEA ShDEAL CrDEAL SpDEAL NDEAL Mean Rank 4.84 5.52 4.80 4.83 2.82 3.19 4.33 5.69 Rank ba Các thuật toán SpeciesDEAL, CrowdingDEAL SharingDEAL đạt thứ hạng Ngoài kiểm định Friedman Test, tác giả thực kiểm định Wilcoxon nhằm xác định khác biệt cặp thuật toán NBCDEAL với dADE/nrand/1, NBCDEAL với NEA2, NBCDEAL với LSEAGP NBCDEAL với LSEAEA Kết kiểm định Wilcoxon biểu diễn Bảng 4.4 Kết từ Bảng 4.4 cho thấy khẳng định khác cặp thuật toán dADE/nrand/1 NBCDEAL, LSEAGP NBCDEAL giá trị Asymp.Sig tương ứng 0.031 < 0.05 0.036 < 0.05 Tuy nhiên giá trị Asymp.Sig = 0.074 > 0.05 cặp 23 Bảng 4.4: Kiểm định Wilcoxon thuật toán dADE - NDEAL NEA2 - NDEAL LSEAGP - NDEAL LSEAEA - NDEAL Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Negative Ranks Positive Ranks Ties Total Z Asymp Sig (2-tailed) N 46 24 30 100 35 32 33 100 46 18 36 100 47 18 35 100 Mean Rank 35.00 36.46 Sum of Ranks 1610.00 875.00 24.37 44.53 853.00 1425.00 29.41 40.39 1353.00 727.00 28.70 44.22 1349.00 796.00 Test Statistics dADE NEA2 -NDEAL -NDEAL -2.151 -1.787 031 074 LSEAGP -NDEAL -2.093 036 LSEAEA -NDEAL -1.807 071 NEA2 NBCDEAL Asymp.Sig = 0.071 > 0.05 cặp LSEAEA NBCDEAL cho thấy chưa đủ sở thống kê với mức ý nghĩa 5% để khẳng định khác thuật toán 4.6 Kết luận Trong chương này, luận án trình bày thuật tốn SharingDEAL, CrowdingDEAL, SpeciesDEAL NBCDEAL kết hợp thuật toán DEAL với kỹ thuật niching phổ biến Các kết thực nghiệm so sánh kiểm định thống kê cho thấy thuật tốn đề xuất có lợi so với thuật tốn tiến hóa loại việc giải lớp toán tối ưu đa cực trị phổ biến Thuật tốn NBCDEAL so sánh với thuật tốn tiến hóa đánh giá tốt 24 Kết luận Thuật tốn tiến hóa lĩnh vực nghiên cứu khó khăn hấp dẫn đầy tiềm Việc nghiên cứu, đề xuất thuật tốn ln nhận quan tâm nhiều nhà khoa học Một xu hướng thiết kế dựa vào thông tin định hướng, thuật toán theo xu hướng khẳng định ưu tính tốn tiến hóa nói riêng tính tốn số nói chung Với mục tiêu thiết kế thuật tốn tiến hóa mới, so sánh với thuật tốn tiến hóa đề xuất Luận án tập trung nghiên cứu từ nội dung mang tính lý thuyết tối ưu hóa, tính tốn tiến hóa với thuật tốn tiến hóa đến nội dung mang tính kỹ thuật thiết kế thực nghiệm thuật toán Cho đến luận án đạt số kết sau đây: Luận án đề xuất thuật tốn tiến hóa dựa thơng tin định hướng DEAL - Direction-guided Evolutionary ALgorithm với số đặc trưng: • Sử dụng cân đối dạng thông tin định hướng: (1) hướng hội tụ - hướng từ cá thể (hạng 2) đến cá thể ưu tú (2) hướng tản mát - hướng cá thể ưu tú • Các thơng tin định hướng quản lý cách toàn cục Tập cá thể ưu tú tổ chức lưu trữ tệp ETS liên tục cập nhật suốt q trình tiến hóa • Có tùy chọn khác bước nhảy định hướng chiến lược lai ghép • Có thể mở rộng nâng cao hiệu tính tốn thơng qua kỹ thuật song song hóa Thuật tốn song song hóa DEAL có tên PCCDEAL (Parallel CoOperative CoEvolution for DEAL) xây dựng mô hình song song kiểu khơng hồn tồn giống với mơ hình master/slaves truyền thống Các kết lý thuyết thực nghiệm kiểm tra đánh giá cho thấy tính hiệu mơ hình 25 Luận án đề xuất thuật tốn tiến hóa dựa thơng tin định hướng nhằm giải toán tối ưu đa cực trị với thuật toán SharingDEAL, CrowdingDEAL, SpeciedDEAL NBCDEAL giải pháp kết hợp DEAL phương pháp niching phổ biến Kết thực nghiệm thuật toán cho thấy: Trong giải pháp kết hợp thuật toán EA với phương pháp niching nhằm giải toán tối ưu đa cực trị lựa chọn thuật tốn DEAL cho kết tốt, so sánh với số thuật tốn tiến hóa thành công thời gian gần Tuy nhiên, từ kết nghiên cứu đạt nhận thấy số vấn đề cần tiếp tục đầu tư nghiên cứu thêm, là: Đối với vấn đề sử dụng dạng thông tin định hướng Luận án tổ chức sử dụng cân đối thông tin hướng hội tụ thông tin hướng tản mát nhằm đảm bảo cân đối chung tính hội tụ tính đa dạng thuật tốn ngẫu nhiên Sự cân đối giải nhiều lớp toán Tuy nhiên lớp toán cụ thể khác nhau, vấn đề thích nghi ưu tiên hướng hội tụ hay hướng tản mát cần quan tâm Đối với vấn đề song song hóa thuật tốn DEAL Để đánh giá hiệu mơ hình song song đề xuất, luận án sử dụng kỹ thuật chia chiều thực phân tách toán thành toán thành phần Tuy nhiên, kỹ thuật đơn giản thực có hiệu lớp tốn tối ưu khả tách Cịn tốn khơng khả tách, kết thực nghiệm cho thấy nhiều khó khăn vướng mắc Bởi quan tâm đến kỹ thuật chia toán nhiệm vụ nghiên cứu Thuật toán DEAL thiết kế thực nghiệm với nhiều toán, kết thử nghiệm cho thấy khả quan Tuy nhiên tốn thử nghiệm mang tính lý thuyết, xây dựng từ kinh nghiệm thiết kế vận hành thuật tốn Sẽ trịn vẹn thuật toán DEAL thử nghiệm với tốn thực tế 26 Danh sách cơng trình tác giả Ct1 Chi Cuong Vu, Huu Hung Nguyen, and Lam Thu Bui A parallel cooperative coevolution evolutionary algorithm In Third International Conference on Knowledge and Systems Engineering, KSE 2011, October 14-17, 2011, pages 48–53, 2011, IEEE Press Ct2 Chi Cuong Vu, Lam Thu Bui, and Huu Hung Nguyen Towards a theoretic model for parallelization of cooperative coevolutionary algorithms Journal of Science and Technology: the Section on Information and Communication Technology (JICT), (150):32–48, 2012 Ct3 Chi Cuong Vu, Lam Thu Bui, and Hussein A Abbass DEAL: A direction-guided evolutionary algorithm In Simulated Evolution and Learning - 9th International Conference 2012, Lecture Notes in Computer Science, vol 7673, December 16-19, 2012, pages 148–157, 2012, Springer Berlin Heidelberg Ct4 Chi Cuong Vu and Lam Thu Bui Fitness sharing for the direction-guided evolutionary algorithm Journal of Science and Technology: the Section on Information and Communication Technology (JICT), (4):34–46, 2014 Ct5 Chi Cuong Vu and Lam Thu Bui The direction-based evolutionary algorithm with a crowding mechanism In Advanced Technologies for Communications (ATC), 2014 International Conference on, pages 175–180, Oct 2014, IEEE Press 27 Tài liệu tham khảo 28 ... so sánh kiểm định thống kê cho thấy thuật toán đề xuất có lợi so với thuật tốn tiến hóa loại việc giải lớp toán tối ưu đa cực trị phổ biến Thuật toán NBCDEAL so sánh với thuật tốn tiến hóa đánh... thống kỹ thuật đồng tiến hóa hợp tác 16 Chương THUẬT TỐN TIẾN HĨA DỰA TRÊN THƠNG TIN ĐỊNH HƯỚNG VỚI BÀI TOÁN ĐA CỰC TRỊ 4.1 DEAL với kỹ thuật Fitness Sharing Thuật toán DEAL kết hợp với kỹ thuật. .. tốn tiến hóa với thuật tốn tiến hóa đến nội dung mang tính kỹ thuật thiết kế thực nghiệm thuật toán Cho đến luận án đạt số kết sau đây: Luận án đề xuất thuật tốn tiến hóa dựa thông tin định hướng