Nghiên cứu thuật toán tiến hóa và ứng dụng trong giải bài toán tối ưu số

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH NGUYỄN THỊ TÂN NGHIÊN CỨU THUẬT TỐN TIẾN HĨA VÀ ỨNG DỤNG TRONG GIẢI BÀI TOÁN TỐI ƯU SỐ Chuyên ngành: Công nghệ thông tin Mã số: LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS Vũ Chí Cường Vinh, 2018 LỜI CẢM ƠN Để hồn thành đề tài luận văn thạc sĩ “Thuật tốn tiến hóa ứng dụng giải tốn tối ưu số” cách hồn chỉnh, bên cạnh nỗ lực cố gắng thân cịn có hướng dẫn nhiệt tình q Thầy Cô, động viên ủng hộ gia đình bạn bè suốt thời gian học tập nghiên cứu thực luận văn thạc sĩ Xin chân thành bày tỏ lòng biết ơn đến Thầy TS Vũ Chí Cường người hết lịng giúp đỡ tạo điều kiện tốt cho tơi hồn thành luận văn Xin chân thành bày tỏ lòng biết ơn đến tồn thể q thầy Viện Kỹ thuật Công nghệ – Trường Đại học Vinh tận tình truyền đạt kiến thức quý báu tạo điều kiện thuận lợi cho suốt trình học tập nghiên cứu thực đề tài luận văn Cuối cùng, tơi xin chân thành cảm ơn đến gia đình, anh chị bạn đồng nghiệp hỗ trợ cho tơi nhiều suốt q trình học tập, nghiên cứu thực đề tài luận văn thạc sĩ cách hoàn chỉnh Vinh, ngày tháng năm 2018 MỤC LỤC LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH, CÁC BẢNG BIỂU MỞ ĐẦU Lý chọn đề tài Lịch sử vấn đề Đối tượng phạm vi nghiên cứu Mục đích, nhiệm vụ nghiên cứu Phương pháp nghiên cứu Đóng góp luận văn Cấu trúc luận văn CHƯƠNG 1: TỔNG QUAN VỀ THUẬT TOÁN TIẾN HOÁ 11 2.1 Thuật toán tiến hoá 11 2.1.1 Khái niệm thuật toán tiến hoá 11 2.1.2 Các dạng thuật toán tiến hoá 12 2.2 Một số thuật toán tiến hoá 12 2.2.1 Thuật toán di truyền 12 2.2.2 Thuật toán tối ưu bầy đàn (Particle Swarm Optimization – PSO) 18 2.2.3 Thuật toán tối ưu đàn kiến (Ant Colony Optimization - ACO) 21 2.2.4 Thuật toán Tiến hoá vi phân (Differential Evolution - DE) 23 CHƯƠNG 2: TÌM HIỂU VỀ CÁC BÀI TỐN TỐI ƯU SỐ 27 2.1 Tổng quan toán tối ưu số 27 2.1.1 Tổng quan 27 2.1.2 Bài toán tối ưu số 28 2.2 Các toán tối ưu 28 2.2.1 Các toán tối ưu không ràng buộc 28 2.2.2 Bài tốn tối ưu có ràng buộc 35 CHƯƠNG 3: CÀI ĐẶT VÀ THỰC NGHIỆM 38 3.1 Cài đặt thuật toán 38 3.1.1 Thuật toán GA 38 3.1.2 Thuật toán PSO 38 3.1.3 Thuật toán ACO 40 3.1.4 Thuật toán DE 42 3.2 Thực nghiệm 44 3.2.1 Bài toán thực nghiệm 44 3.2.2 Tham số thực nghiệm 45 3.2.3 Kết thực nghiệm 46 3.3 Đánh giá 56 KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 59 DANH MỤC CÁC TỪ VIẾT TẮT TT 10 11 Từ viết tắt Viết đầy đủ EAs GAs DE PSO ACO AS EP ES GP BTQHTT BTQHPTT Evolutionary Algorithms Genetic Algorithms Differential Evolution Particle Swarm Optimization Ant Colony Otimization Ant System EvolutionaryProgramming EvolutionaryStrategies GeneticProgramming Bài toán quy hoạch tuyến tính Bài tốn quy hoạch phi tuyến tính DANH MỤC CÁC HÌNH, CÁC BẢNG BIỂU Hình 1.1: Sơ đồ tổng quan giải thuật di truyền 16 Hình 1.2: Sơ đồ điểm tìm kiếm phương pháp PSO .20 Hình 1.4: Thơng tin định hướng DE 25 Hình 2.1: Đồ thị hàm Sphere Function .31 Hình 2.2: Đồ thị hàm Schwefel Function 32 Hình 2.3: Đồ thị hàm Shubert Functions 33 Hình 2.4: Đồ thị hàm Rosenbrock Function 34 Hình 2.5: Đồ thị hàm Ackley Function 35 Hình 2.6: Đồ thị hàm Griewank Function 36 Hình 2.7: Đồ thị hàm Rastrigin Function .37 Bảng 1.1 Một số thuật toán ACO theo thứ tự xuất .21 Bảng 3.1 Kết so sánh thuật toán – Hàm Sphere .48 Bảng 3.1 Kết so sánh thuật toán – Hàm Schwefel 49 Bảng 3.1 Kết so sánh thuật toán – Hàm Rosenbrock 50 Bảng 3.1 Kết so sánh thuật toán – Hàm Shubert .51 Bảng 3.1 Kết so sánh thuật toán – Hàm Ackley .52 Bảng 3.1 Kết so sánh thuật toán – Hàm Griewank 53 Bảng 3.1 Kết so sánh thuật toán – Hàm Rastrigin 54 Bảng 3.1 Kết so sánh thuật toán – Hàm G1 55 Bảng 3.1 Kết so sánh thuật toán – Hàm G2 56 Bảng 3.1 Kết so sánh thuật toán – Hàm G3 57 MỞ ĐẦU Lý chọn đề tài Tối ưu hoá lĩnh vực nghiên cứu kinh điển toán học có ảnh hưởng đến nhiều lĩnh vực khoa học – công nghệ kinh tế – xã hội Trong thực tế, việc tìm giải pháp (nghiệm) tối ưu cho vấn đề (bài tốn) chiếm vai trị quan trọng Tuy nhiên việc tìm giải pháp tối ưu ngày có nhiều khó khăn toán tối ưu thường toán hộp đen, tính chất tiên nghiệm chưa biết Ngay hàm mục tiêu tốn xác định rõ phần nhiều số lại tốn NP-khó Trong bối cảnh vậy, nhiều kỹ thuật khác nhau, đặc biệt kỹ thuật heuristic đưa nhằm tìm kiếm lời giải gần cho tốn Thuật tốn tiến hóa (Evolutionary Algorithms - EAs) kỹ thuật EAs lấy cảm hứng từ trình chọn lọc tự nhiên thuyết tiến hóa Darwin Nó hoạt động quần thể lời giải để tìm kiếm lời giải tối ưu, quần thể lời giải phải trải qua q trình tiến hóa nhiều chu kỳ với phép biến đổi mang tính di truyền lai ghép, đột biến, lựa chọn Hiện nay, EAs ứng dụng rộng rãi nhiều lĩnh vực phức tạp EAs chứng tỏ hiệu vấn đề khó giải phương pháp thông thường hay phương pháp cổ điển, tốn cần có lượng giá, đánh giá tối ưu kết thu Chính vậy, EAs trở thành đề tài nghiên cứu thú vị thu hút nhiều quan tâm nhà nghiên cứu ngồi nước Trong q trình nghiên cứu phát triển, có dạng EAs truyền thống đề xuất, bao gồm Quy hoạch tiến hóa (Evolutionary Programing – EP), Chiến lược tiến hóa (Evolutionary Strategies – ES), Giải thuật di truyền (Genetic Algorithm – GA) Lập trình di truyền (Genetic Programming – GP) Tuy nhiên khoảng 20 năm gần đây, số mơ hình thuật tốn tiến hóa đề xuất, chẳng hạn Tối ưu bầy đàn (PSO), Tối ưu đàn kiến (Ant colony optimization - ACO), Tiến hóa sai phân (Differential Evolution - DE),… Trong mơ hình này, thủ tục tính tốn lấy ý tưởng từ tượng khác giới tự nhiên bầy chim, đàn cá, đàn kiến,… Với mục tiêu tìm hiểu EAs ứng dụng nó, sau gợi ý giáo viên hướng dẫn, lựa chọn nội dung “Thuật tốn tiến hóa ứng dụng giải toán tối ưu số” làm đề tài luận văn tốt nghiệp Lịch sử vấn đề Nghiên cứu thuật tốn tiến hóa nói chung dạng thuật tốn cụ thể nói riêng nhận nhiều quan tâm nhà khoa học, nhà nghiên cứu Trên giới, từ lâu tồn cộng đồng chuyên nghiên cứu lĩnh vực nói trên, có website chuyên biệt liên tục cập nhật thông tin, nghiên cứu bật lĩnh vực, chẳng hạn: - Website http://www1.icsi.berkeley.edu/~storn/code.html trang web thuật toán tiến hóa vi phân DE hai tác giả Kenneth Price Rainer Storn - Website http://www.swarmintelligence.org/tutorials.php Xiaohui Hu, chuyên trang thuật toán PSO - Website http://iridia.ulb.ac.be/dorigo/ACO/index.html chuyên trang thuật toán ACO Tại Việt Nam, nhiều nhóm nghiên cứu thuật tốn tiến hóa hình thành trường đại học, viện nghiên cứu Tiêu biểu kể đến : - Nhóm nghiên cứu thuật tốn tiến hóa, giải thuật di truyền PGS.TS Bùi Thu Lâm Học viện Kỹ thuật Quân ([1][15]) - Nhóm nghiên cứu tối ưu hóa bầy đàn PGS.TS Hồng Xn Huấn Trường Đại học Công nghệ - Đại học Quốc gia Hà nội ([2][13][14]) - Nhóm nghiên cứu lập trình di truyền PGS.TS Nguyễn Xuân Hoài Trường Đại học Hà Nội ([17]) - Nhóm nghiên cứu thuật tốn tiến hóa, tối ưu đàn kiến GS.TS Nguyễn Thanh Thủy, PGS.TS Huỳnh Thị Thanh Bình Trường Đại học Bách khoa Hà Nội ([11]) Việc khảo sát thuật tốn tiến hóa ứng dụng giải toán tối ưu số TS Vũ Mạnh Xuân (Trường Đại học Thái Nguyên) nghiên cứu công bố báo “Khảo sát số giải thuật tiến hóa giải tốn tối ưu số” Tạp chí Khoa học Công nghệ, số (43) năm 2007 ([13]) Trong báo này, tác giả khảo sát 03 thuật toán bao gồm Giải thuật di truyền, Chiến lược tiến hóa, Mơ tơi luyện tiến hành thực nghiệm lớp gồm 06 toán tối ưu số Đây thuật toán tiến hóa bản, giới thiệu từ lâu Ngồi lớp 06 tốn tối ưu số chưa đủ đại diện cho loại toán tối ưu số khác Bởi nhiệm vụ nghiên cứu, cập nhập, giới thiệu thuật tốn tiến hóa ứng dụng chúng giải nhiều lớp toán tối ưu số mục tiêu nghiên cứu luận văn Đối tượng phạm vi nghiên cứu - Nghiên cứu tổng quát thuật toán tiến hoá, vào số thuật toán cụ thể thuật toán di truyền (GA), thuật toán tối ưu bầy đàn (PSO), thuật toán tối ưu đàn kiến (ACO), thuật toán tiến hoá vi phân (DE)… - Nghiên cứu toán tối ưu số gồm toán tối ưu ràng buộc không ràng buộc - Nghiên cứu việc ứng dụng thuật toán tiến hoá nêu để giải toán tối ưu số bản, đưa kết thử nghiệm thuật toán cho số hàm cụ thể so sánh kết Mục đích, nhiệm vụ nghiên cứu Nghiên cứu, cập nhập, giới thiệu thuật tốn tiến hóa ứng dụng chúng giải nhiều lớp toán tối ưu số Phương pháp nghiên cứu - Nghiên cứu, tìm hiểu tài liệu liên quan - Viết chương trình - Thử nghiệm phân tích kết Đóng góp luận văn Luận văn bổ sung thêm tài liệu tham khảo lý thuyết thực nghiệm thuật toán tiến hoá Các kết nghiên cứu luận văn lần khẳng định tính hiệu thuật toán tiến hoá việc giải toán tối ưu số Luận văn nghiên cứu, khảo sát cách có hệ thống dạng thuật tốn tiến hóa từ thuật tốn di truyền cổ điển (GA) đến thuật tốn đại tiến hóa vi phân (DE), tối ưu bầy đàn (PSO), tối ưu đàn kiến (ACO) Các thuật tốn mơ tả chi tiết kèm theo mã nguồn xây dựng môi trường matlab Kết thực nghiệm thuật tốn nói lớp lớn toán tối ưu với điều kiện thực nghiệm cho so sánh, đánh giá bước đầu tính hiệu thuật toán khảo sát Cấu trúc luận văn Báo cáo luận văn cấu trúc 03 chương: Chương 1: Tổng quan thuật tốn tiến hố Tìm hiểu thuật tốn tiến hoá vào số thuật toán tiến hoá cụ thể GA, DE, PSO, ACO… 46 o Hệ số gia tốc: c2=2.0 - Thuật toán ACO: o Trọng số mũ Pheromone: alpha=1 o Trọng số mũ Heuristic: beta=1 o Tỷ lệ bay hơi: rho=0.05 - Thuật toán DE: o Bước nhảy đột biến: beta lấy ngẫu nhiên khoảng [0.2, 0.8] o Xác suất lai ghép: pCR=0.2 3.2.3 Kết thực nghiệm Kết 50 lần chạy độc lập ghi nhận tính tốn thống kê theo bảng sau Mỗi bảng thực việc so sánh kết giá trị đánh giá tốt 04 thuật toán với toán thử nghiệm Chúng tơi đính kèm biểu đồ so sánh trung bình giá trị đánh giá thu theo hệ tiến hóa 47 Giá trị đánh giá Thuật tốn Trung bình GA 3.7647 Biểu đồ so sánh Nhỏ -70.6604 PSO 2,50E-208 3,39E-225 ACO 3,89E-09 7,87E-12 DE 1,54E-22 3,24E-23 Bảng 3.1 Kết so sánh thuật toán – Sphere Function 48 Giá trị đánh giá Thuật tốn Trung bình Biểu đồ so sánh Nhỏ GA 65.5583 65.4782 PSO 798.5128 798.5128 ACO 922.9329 922.9329 DE 759.2909 759.2909 Bảng 3.2 Kết so sánh thuật toán – Hàm Schwefel 49 Giá trị đánh giá Biểu đồ so sánh Thuậ t tốn GA Trung Nhỏ bình 1.0717 1.0642 PSO 0 ACO 1,94 3,89E-09 7,87E-12 DE Bảng 3.3 Kết so sánh thuật toán – Hàm Rosenbrock 50 Giá trị đánh giá Biểu đồ so sánh Thuậ t tốn Trung bình Nhỏ GA -45.0990 -57.9735 PSO -186,731 -186,731 ACO -133,929 -140,161 DE -186,731 -186,731 Bảng 3.4 Kết so sánh thuật toán – Hàm Shubert 51 Giá trị đánh giá Thuật toán Trung bình Biểu đồ so sánh Nhỏ GA -0.9660 -55.4801 PSO 8.8818e-16 8.8818e-16 ACO DE 5,422132 8.8818e-16 5,422132 8.8818e-16 Bảng 3.5 Kết so sánh thuật toán – Hàm Ackley 52 Giá trị đánh giá Thuật toán Biểu đồ so sánh Trung Nhỏ bình GA PSO ACO DE -1.0589 0,002268 -7.4403 0.064408 0,000444 0.064408 Bảng 3.6 Kết so sánh thuật toán – Hàm Griew 53 Giá trị đánh giá Thuật tốn Trung bình GA -1.8840 Biểu đồ so sánh Nhỏ -30.9494 PSO 0 ACO 5 DE 0 Bảng 3.7 Kết so sánh thuật toán – Hàm Rastrigin 54 Giá trị đánh giá Thuật tốn Trung bình Biểu đồ so sánh Nhỏ GA 5.6486 -188.5203 PSO -1,00E+15 -1,00E+15 ACO -2,49E+31 -2,49E+31 DE -9,76e+26 -9,76e+26 Bảng 3.8 Kết so sánh thuật toán – Hàm G1 55 Giá trị đánh gía Thuật tốn Trung bình GA 0.0431 Biểu đồ so sánh Nhỏ -7.2055 - PSO -41248.642 ACO -40728,8 -40730,9 -40999.499 -40999.499 DE 41248.642 Bảng 3.9 Kết so sánh thuật toán – Hàm G2 56 Giá trị đánh giá Thuật toán Biểu đồ so sánh Trung Nhỏ bình GA -1.4330 -1.2910e+03 PSO -30 -30 ACO DE 7.72 -15 -15 Bảng 3.10 Kết so sánh thuật toán – Hàm G3 3.3 Đánh giá Căn vào bảng so sánh kết thực nghiệm thuật toán nghiên cứu, thấy rằng: - Đối với toán Sphere: Thuật toán PSO cho kết tốt (2.50E-208) thuật toán DE ACO cho kết - Đối với toán Schwefel: Thuật toán DE cho kết tốt (759.2909), thuật toán PSO cho kết thứ ACO cho kết thứ - Đối với toán Rosenbrock: Thuật toán PSO cho kết tối ưu (0) khoảng hệ từ 600 đến 700, thuật toán DE cho kết tốt thứ (3.89E09) ACO cho kết (1.94) 57 - Đối với toán Shubert: Cả hai thuật toán PSO DE cho kết tối ưu (f(x*)=-186.731), ACO cho kết Tuy nhiên thuật tốn PSO có tốc độ hội tụ nhanh - Đối với toán Ackley: Tương tự toán Shubert, hai thuật toán PSO DE cho kết gần tối ưu (8.8818E-16) Tuy nhiên thuật tốn PSO có tốc độ hội tụ nhanh - Đối với toán Griew: Thuật tốn DE cho kết tốt Có lần chạy DE đạt kết tối ưu (f(x*)=0) Thuật toán ACO - Đối với toán Rastrigin: Cả hai thuật toán PSO DE cho kết tối ưu sau số hệ tiến hóa Tốc độ hội tụ PSO nhanh - Đối với toán G1: Thuật toán ACO cho kết tốt nhất, sau DE PSO - Đối với toán G2: Thuật toán PSO cho kết tốt nhất, sau DE ACO - Đối với toán G3: Tương tự toán G2 58 KẾT LUẬN Luận văn bổ sung thêm tài liệu tham khảo lý thuyết thực nghiệm thuật toán tiến hoá Các kết nghiên cứu luận văn lần khẳng định tính ứng dụng hiệu thuật toán tiến hoá việc giải toán tối ưu Luận văn nghiên cứu, khảo sát cách có hệ thống dạng thuật tốn tiến hóa từ thuật tốn di truyền cổ điển (GA) đến thuật tốn tiến hóa tiến hóa vi phân (DE), tối ưu bầy đàn (PSO), tối ưu đàn kiến (ACO) Các thuật tốn mơ tả chi tiết kèm theo mã nguồn xây dựng mơi trường matlab Qua q trình nghiên cứu thực nghiệm, chúng tơi nhận thấy thuật tốn tiến hóa đại thuật tốn nói lớp lớn toán tối ưu với điều kiện thực nghiệm cho so sánh, đánh giá bước đầu tính hiệu thuật tốn khảo sát Qua q trình nghiên cứu thử nghiệm thuật tốn tiến hố tơi thấy thuật tốn tiến hố có hiệu tốt giải toán tối ưu số, thuật tốn PSO DE thuật tốn tốt nhất, chúng so sánh với nhiều tốn với tính chất khác Tuy nhiên khuôn khổ luận văn tốt nghiệp cao học thạc sĩ, dừng lại xem xét thuật toán tiến hóa dạng mà chưa tìm hiểu dạng cải tiến, phát triển thuật toán Các thực nghiệm dừng lại 10 toán tối ưu số mà tất Hy vọng công việc thực tương lai 59 TÀI LIỆU THAM KHẢO [1] Vũ Chí Cường, Một lớp thuật tốn tiến hóa sinh học dựa thơng tin định hướng giải tốn đa cực trị, Luận án Tiến sĩ chuyên ngành Cơ sở toán tin học, Học viện Kỹ thuật Quân sự, 2016 [2] Đỗ Đức Đông, Phương pháp tối ưu đàn kiến ứng dụng, Luận án tiến sĩ, Viện công nghệ thơng tin, 2012 [3] Hồ Minh Đích, Nghiên cứu giải thuật di truyền ứng dụng vào giải số tốn thống kê, Luận văn thạc sĩ Cơng nghệ thơng tin, Đại học Đà Nẵng, 2011 [4] Hoàng Kiếm, Thuật giải di truyền, NXB Giáo dục, Hà Nội, 2000 [5] Nguyễn Đức Nghĩa, Tối ưu hóa, NXB Giáo dục, 2002 [6] Nguyễn Đình Thúc, Trí tuệ nhân tạo – Lập trình tiến hố, NXB Giáo dục, Hà Nội, 2001 [7] Nguyễn Đình Thúc (2001), Lập trình tiến hố, Nxb GD, Hà Nội [8] Bùi Minh Trí, Bài tập tối ưu hoá, NXB Khoa học Kỹ Thuật, Hà Nội, 2002 [9] Nguyễn Hải Thanh, Tối ưu hóa - Giáo trình cho ngành Tin học Công nghệ thông tin, NXB Bách Khoa Hà Nội, 2006 [10] Nguyễn Đình Thái, Trí tuệ nhân tạo – Lập trình tiến hóa [11] Nguyễn Sơn Tùng, Nghiên cứu Giải thuật đàn kiến để giải tốn phức tạp, Luận văn Thạc sĩ cơng nghệ thông tin, Đại học Bách Khoa Hà Nội, 2012 [12 Hồng Hữu Việt, Trí tuệ nhân tạo nâng cao [13] Vũ Mạnh Xuân, Khảo sát số giải thuật tiến hố giải tốn tối ưu số, Tạp chí Khoa học & công nghệ - số 03(43), 2007 60 [14] Dong Do Duc, Huan Hoang Xuan, A fast and efficient Ant Colony Optimization for Haplotype Inference by pure parsimony, Proc, Of 3rd Int Cont Knowledge and System Engineering, Ha Noi, Viet Nam, 14-7 Oct.2011 [15] Lam Thu Bui, Yew-Soon Ong, Nguyen Xuan Hoai, Hisao Ishibuchi, Ponnuthurai Nagaratnam Suganthan (Eds.): Simulated Evolution and Learning Lecture Notes in Computer Science 7673, Springer 2012, isbn 9783-642-34858-7, December 2012 [16]Momin Jamil – Xin SheYang - A Literature Survey of Benchmark Functions For Global Optimization Problems,2013 [17] Quang Uy Nguyen, Tuan Anh Pham, Xuan Hoai Nguyen, James McDermott: Subtree semantic geometric crossover for gennetic programming Genetic Programming and Evolvable Machines 17(1):25-53 (2016) [18] Swagatam Das, Ponnuthurai Nagaratnam Suganthan, Differential Evolution: A Survey of the State-of-the-Art, IEEE TRANSACTIoNS ON EVOLUTIONARY COMPUTATIoN, VoL 15, No 1, FEBRUARY 2011 [19] Stuart J Russell and Peter Norvig, Artifical Intelligence: A Modern Approach, Prentice Hall Second edition, 2002 ... lớp toán tối ưu số mục tiêu nghiên cứu luận văn Đối tượng phạm vi nghiên cứu - Nghiên cứu tổng quát thuật toán tiến hoá, vào số thuật toán cụ thể thuật toán di truyền (GA), thuật toán tối ưu bầy... đàn (PSO), thuật toán tối ưu đàn kiến (ACO), thuật toán tiến hoá vi phân (DE)… - Nghiên cứu toán tối ưu số gồm tốn tối ưu ràng buộc khơng ràng buộc - Nghiên cứu việc ứng dụng thuật toán tiến hoá... Việc khảo sát thuật tốn tiến hóa ứng dụng giải toán tối ưu số TS Vũ Mạnh Xuân (Trường Đại học Thái Nguyên) nghiên cứu công bố báo “Khảo sát số giải thuật tiến hóa giải tốn tối ưu số? ?? Tạp chí Khoa