Kết hợp mạng nơ ron RBF với thuật toán ACO giải bài toán MLP

Bài viết Kết hợp mạng nơ ron RBF với thuật toán ACO giải bài toán MLP trình bày việc cải tiến việc tìm kiếm địa phương khi dùng mạng nơ-ron RBF kết hợp với thuật toán SMMAS_LS, nên đã thể hiện ưu điểm vượt trội thông qua kết quả thực nghiệm chạy trên các bộ dữ liệu chuẩn TSPLIB[

Tuyển tập Hội nghị Khoa học thường niên năm 2018 ISBN: 978-604-82-2548-3 KẾT HỢP MẠNG NƠ-RON RBF VỚI THUẬT TOÁN ACO GIẢI BÀI TOÁN MLP Đặng Thị Thu Hiền Khoa Công nghệ thông tin - Trường Đại học Thủy lợi, email: hiendt@tlu.edu.vn GIỚI THIỆU CHUNG PHƯƠNG PHÁP NGHIÊN CỨU Mạng nơ-ron nhân tạo (Artifical Neural Network) nói chung Mạng nơ-ron RBF (Radial Basis Function) cơng cụ hữu hiệu để giải tốn nội suy, hồi quy, tìm kiếm địa phương… Bài tốn cực tiểu độ trễ (Minimum Latency Problem MLP) tốn thuộc lớp NP-Khó Đây tốn nhận nhiều quan tâm nghiên cứu ứng dụng thực tế chúng Có nhiều phương pháp đề xuất để giải toán Trong lên phương pháp meta-heuristic, có hàng loạt tác giả đề xuất A Salehipour et al [3] đề xuất thuật toán meta-heuristic dựa GRASP (Greedy randomized adaptive search procedure) VNS (Variable neighborhood search), M Silva et al [4] đề xuất thuật toán meta-heuristic khác dựa lược đồ GRASP, ILS (Iterated local search) RVND (Random variable neighborhood descend) Phương pháp tối ưu hóa đàn kiến (Ant Colony Optimization - ACO) cách tiếp cận meta-heuristic tương đối hiệu với toán MLP Thuật toán ACO Dorigo đề xuất lần AS (Ant System) đến có nhiều biến thể MMSA (Max-Min Ant System), SMMAS (Smooth Min-Max Ant System) chưa có tìm kiếm địa phương bộc lộ nhược điểm Trong báo [1] tác giả đề xuất việc kết hợp thêm tìm kiếm địa phương tạo thuật tốn SMMAS_LS bước đầu có ưu điểm Bài báo tiếp tục cải tiến việc tìm kiếm địa phương dùng mạng nơ-ron RBF kết hợp với thuật toán SMMAS_LS, nên thể ưu điểm vượt trội thông qua kết thực nghiệm chạy liệu chuẩn TSPLIB[5] 2.1 Bài toán MLP Cho đồ thị đầy đủ Kn với tập đỉnh V = {1,2,…,n} ma trận chi phí khơng âm C = { cij | i,j=1,2,…,n} với cij khoảng cách hai đỉnh i j Giả sử T = (v1, v2,…,vn) hành trình xuất phát từ v1 (đường xuất phát từ v1 qua đỉnh đồ thị lần) Kn Kí hiệu P(v1,vk) đoạn đường từ v1 đến vk hành trình T Ta gọi độ trễ đỉnh vk hành trình T, ký hiệu lat(vk), độ dài đường P(v1,vk): k 1 lat  v k    i 1 c  vi , vi1  , k  1, 2,K , n Độ trễ hành trình T, ký hiệu L(T) định nghĩa tổng độ trễ tất n đỉnh thuộc nó: L  T    k 1 lat  v k  Giả sử v1 đỉnh cho trước, toán MLP yêu cầu tìm hành trình xuất phát từ đỉnh v1 với độ trễ nhỏ 2.2 Phương pháp ACO Dựa theo quy luật di chuyển theo vết mùi (pheromone trail) đàn kiến Các thuật toán ACO sử dụng kết hợp thông tin kinh nghiệm (heuristic) học tăng cường qua vết mùi kiến nhân tạo để giải toán tối ưu tổ hợp cách đưa tìm đường tối ưu đồ thị cấu trúc toán Thuật toán ACO hệ kiến (AS) đến có nhiều biến thể Thuật tốn SMMSA: Có tư tưởng giống MMAS Sau cá thể kiến xây dựng lời giải xong Chỉ cho phép cá thể kiến tốt cập nhật mùi vịng lặp thuật tốn (I-best (cá thể kiến tốt vòng 163 Tuyển tập Hội nghị Khoa học thường niên năm 2018 ISBN: 978-604-82-2548-3 lặp tại) G-best (cá thể kiến tốt đến thời điểm tại)) Để tránh tượng tắc nghẽn SMMAS sử dụng hai cận max, min để khống chế vết mùi cạnh Các vết mùi ban đầu khởi tạo max cho tất cạnh Sau vòng lặp bay với hệ số  Hơn nữa, việc thay max không ảnh hưởng tới việc k L  w(t)  học tăng cường Do đó, thuật tốn SMMAS đưa quy tắc cập nhật mùi sau: ij  t  1  1    ij  t   ij  t  đó:  nÕu c¹nh  i, j thuéc w  t  ij  t    max min nÕu kh¸c Khi giải toán tối ưu tổ hợp MLP, thuật toán ACO cho hiệu tốt kết hợp với tìm kiếm địa phương Các thuật tốn tìm kiếm địa phương tìm lời giải tối ưu cục áp dụng chúng để cập nhật mùi Nên áp dụng tìm kiếm địa phương vết mùi cạnh khác lớn 2.3 Mạng nơ-ron RBF Mạng nơ-ron RBF [6] mạng tầng truyền tới Để đơn giản phát biểu mạng nơ-ron RBF thơng qua tốn Nội suy (hay gọi mạng nội suy RBF cho gọn) Mạng RBF dùng để nội suy hàm thực n biến f :D (Rn)  Rm Là mạng gồm tầng, tầng vào gồm n nút cho vectơ tín hiệu vào x  Rn, tầng ẩn gồm N nơ-ron nơ-ron thứ k có tâm mốc nội suy xk đầu hàm bán kính k (x) tương ứng, tầng gồm m nơ-ron xác định giá trị hàm nội suy f(x) Để đơn giản, ta xét m=1, m>1 nơ-ron tầng huấn luyện độc lập theo thuật toán Đến trọng số tầng thường tìm nhờ phương pháp gradient biến thể để cực tiểu hàm E N E   ((x k )  y k ) k 1 Hàm E không bị rơi vào cực tiểu địa phương có cực tiểu tồn cục nên phương pháp hội tụ KẾT QUẢ NGHIÊN CỨU 3.1 Thuật toán cải tiến SMMAS_RBF Kết hợp thuật toán SMMAS SMMAS_LS với tìm kiếm địa phương mạng RBF để giải toán MLP cách tiếp cận đầy tiềm Thuật toán SMMAS áp dụng trực tiếp cho toán MLP với đồ thị cấu trúc G(V, E, H, ) khơng gian tìm kiếm tập hành trình Ràng buộc  thỏa mãn hành trình kiến xây dựng hành trình (là chu trình Hamiton), biểu diễn hoán vị số đỉnh Bảng Lược đồ thuật toán SMMAS_RBF Procedure Thuật toán SMMAS_RBF Input: G = (V,E) Output: Một chu trình tốt tổng độ dài nó; BEGIN Khởi tạo tham số, ma trận mùi, m kiến repeat for k = to m Kiến k xây dựng lời giải; Cải tiến lời giải kiến k xây dựng tìm kiếm cục dùng mạng RBF; end for Cập nhật mùi; Cập nhật lời giải tốt nhất; until (Điều kiện kết thúc); Đưa lời giải tốt nhất; END Quá trình kiến xây dựng lời giải theo thủ tục bước ngẫu nhiên thực sau: Lựa chọn đỉnh xuất phát (kiến khởi gán hàm ngẫu nhiên khoảng từ (1,n) Thực lặp bước mở rộng cách thêm đỉnh kiến chưa qua tất đỉnh thăm Tại đỉnh kiến lựa chọn đỉnh thông qua thông tin heuristic thông tin vết mùi, chọn ngẫu nhiên đỉnh thêm vào theo phân bố xác xuất Quay trở lại đỉnh xuất phát Sau tất kiến xây dựng lời giải xong Ta tìm kiếm cục cải thiện lời giải mạng RBF Cuối cập nhật vết mùi đường mà kiến qua 164 Tuyển tập Hội nghị Khoa học thường niên năm 2018 ISBN: 978-604-82-2548-3 Lặp lại bước tìm lời giải tối ưu 3.3 So sánh SMMAS, SMMAS_LS SMMAS_RBF 3.2 Dữ liệu thực nghiệm Thực thuật tốn SMMAS có tìm kiếm địa phương RBF đổi đỉnh cải thiện lời Thực nghiệm liệu chuẩn tốn TSP TSPLIB [5]: eil51.tsp, giải Cứ sau 250 bước lặp mà khơng tìm thấy eil76.tsp, att532.tsp… Bộ liệu phức tạp có lời giải tốt khởi tạo lại vết mùi Nhận xét: Kết thực nghiệm cho thấy, kích thước 51 đến 2392 đỉnh Chúng cài đặt ba thuật toán SMMAS, SMMAS_LS với thời gian chạy 20 giây, thuật toán SMMAS_RBF Với liệu chạy 10 SMMAS_RBF tốt so với SMMAS lần để lấy kết tốt nhất, xấu kết SMMAS_LS, cột giá trị trung trung bình để so sánh Cả ba thuật tốn bình, tốt nhất, tồi nhất, kết khơng chênh lệch nhiều, thể tính ổn định thuật tốn viết ngôn ngữ C++ Bảng Kết so sánh SMMAS, SMMAS_LS SMMAS_RBF Dữ Liệu SMMAS SMMAS_LS Tốt Nhất Tồi Nhất TB eil51 11304 11891 11594 9778 9867 9833 9743 9823 9783 eil76 22271 23492 22995 17863 18117 17979 16489 17892 17190.5 eil101 34372 36315 35468 27779 28505 28201 265386 278932 272159 d198 1235769 1300265 1273921 984011 1005367 996461 964753 983248 974000.5 kroA100 1235681 1293697 1267358 956108 969423 962482 944256 967624 955940 8371530 8276317 6355808 6471739 6413166 6334356 6457324 6395840 lin318 8163565 Tốt Nhất Tồi Nhất SMMAS_RBF TB Tốt Nhất Tồi Nhất TB pcb442 16212359 16763344 16557123 11140846 11315859 11221289 10435674 11287451 10861562 att532 8720962 8907848 8790766 8720962 8907848 8790766 8697543 8897465 8797504 st70 24171 25547 24861 20887 20988 20916 20123 20988 20555.5 KẾT LUẬN TÀI LIỆU THAM KHẢO Tối ưu hóa đàn kiến phương pháp tiếp cận có nhiều ứng dụng để giải toán tối ưu tổ hợp Khi kết hợp với mạng nơron nhân tạo cho kết khả quan Bài báo trình bày phương pháp tối ưu đàn kiến, mạng nơ-ron RBF, đề xuất thuật toán kết hợp SMMAS tìm kiếm địa phương dùng mạng nơ-ron RBF để giải toán MLP Kết thực nghiệm cho thấy SMMAS_RBF có tìm kiếm địa phương RBF bước đầu cho kết tốt hẳn so với SMMAS AMMAS_LS với thời gian chạy Trong thời gian tới tiếp tục cải tiến thuật toán mạng nơ-ron RBF Hy vọng có kết đầy hứa hẹn [1] Đặng Thị Thu Hiền (2017), “Một hướng tiếp cận giải toán cực tiểu độ trễ MLP”, Hội nghị thường niên trường Đại học Thủy Lợi 11/2017 [2] K Chaudhuri, B Goldfrey, S Rao (2003), and K Talwar, Path, Tree and minimum latency tour, Proc FOCS, 2003, pp 36-45 [3] A Salehipour, K Sorensen, P Goos, and O.Braysy (2011), Efficient GRASP+VND and GRASP+VNS metaheuristics for the traveling repairman problem, J Operations Research, Vol No 2, pp 189-209 [4] M Silva, A Subramanian, T Vidal, and L Ochi (2012), A simple and effective metaheuristic for the Minimum Latency Problem, J Operations Research, Vol 221, No 3, pp 13-520 [5] https://www.iwr.uniheidelberg.de/groups/comopt/software/TSPLIB95/ [6] T.M Mitchell, Machine learning, McGrawHill, 1997 165 ... kiến, mạng nơ- ron RBF, đề xuất thuật toán kết hợp SMMAS tìm kiếm địa phương dùng mạng nơ- ron RBF để giải toán MLP Kết thực nghiệm cho thấy SMMAS _RBF có tìm kiếm địa phương RBF bước đầu cho kết. .. khác lớn 2.3 Mạng nơ- ron RBF Mạng nơ- ron RBF [6] mạng tầng truyền tới Để đơn giản chúng tơi phát biểu mạng nơ- ron RBF thơng qua tốn Nội suy (hay gọi mạng nội suy RBF cho gọn) Mạng RBF dùng để... phương pháp hội tụ KẾT QUẢ NGHIÊN CỨU 3.1 Thuật toán cải tiến SMMAS _RBF Kết hợp thuật tốn SMMAS SMMAS_LS với tìm kiếm địa phương mạng RBF để giải toán MLP cách tiếp cận đầy tiềm Thuật toán SMMAS áp