Thuật toán hệ kiến Max - Min và ứng dụng

Từ đó đến nay ACO ngày càng thu hút được sự quan tâm và nghiên cứu của giới khoa học và hiệu quả nổi trội của nó được chứng minh bằng thực nghiệm như giải quyết các bài tối ưu tổ hợp đi

ĐẠI HỌC QUỐC GIA HÀ NỘI

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS Hoàng Xuân Huấn

Hà Nội - 2004

MỤC LỤC

Trang

MỞ ĐẦU 1

Chương 1 – LƯỢC SỬ PHÁT TRIỂN CỦA CÁC THUẬT TOÁN ACO 3

1.1 Nguồn gốc sinh học của các thuật toán kiến 3

1.2 Truyền thông gián tiếp-stigmergy 7

1.3 Quá trình phát triển của các thuật toán ACO 7

1.3.1 Hệ kiến và bài toán TSP 7

1.3.1.1 Bài toán TSP 7

1.3.1.2 Hệ kiến 9

1.3.2 Hệ đàn kiến 12

1.3.3 Thuật toán hệ kiến Max-Min 15

Chương 2 - PHƯƠNG PHÁP TỐI ƯU HOÁ ĐÀN KIẾN: ACO 17

2.1 Một số heuristic ACO 17

2.2 Meta-heuristic tối ưu hoá đàn kiến 18

2.2.1 Bài toán tổng quát 18

2.2.2 Thuật toán ACO tổng quát 20

2.2.3 Xây dựng lời giải 23

2.2.4 Cập nhật mùi 24

2.3 Đặc tính hội tụ của vết mùi 25

2.4 Các thuật toán trong ACOmin 28

Chương 3 - THUẬT TOÁN HỆ KIẾN MAX-MIN 31

3.1 Thuật toán hệ kiến MAX-MIN 31

3.1.1 Giới thiệu hệ kiến Max-Min 31

3.1.4 Giá trị thông số  34

3.1.5 Khởi tạo vết mùi 35

3.1.6 Phương thức cập nhật mùi 35

3.1.7 Một số nguyên lý ứng dụng 36

3.2 Hệ kiến MAX-MIN trơn 39

Chương 4 - MỘT SỐ ỨNG DỤNG CỦA HỆ KIẾN MAX-MIN 43

4.1 Cách giải bài toán tối ưu tổ hợp 43

4.2 Một số ứng dụng 44

4.2.1 Bài toán phân công bậc hai 45

4.2.2 Bài toán lập thời khóa biểu 48

KẾT LUẬN 54

Tài liệu tham khảo 56

Phụ lục 59

- 1 -

MỞ ĐẦU

ác bài toán tối ưu tổ hợp (Combinatorial Optimization Problems -

COP) đóng góp vai trò quan trọng trong thực tế, có rất nhiều ứng dụng trong lĩnh vực kinh tế, sản xuất Khi giải các bài toán tối ưu tổ hợp khó thường gặp trở ngại lớn, các thuật toán truyền thống thường khó giải quyết, các thuật toán mô phỏng tự nhiên như luyện kim, di truyền, tiến hóa, hệ kiến tỏ ra có ưu thế hơn Trong một thập kỷ qua các thuật toán ACO tỏ ra là phương pháp nổi trội để giải quyết các bài toán tối ưu tổ hợp khó

Tối ưu hóa đàn kiến (Ant Colony Optimization - ACO) là cách tiếp cận meta -

heuristic tương đối mới được đề xuất đầu tiên bởi Marco Dorigo và các đồng nghiệp năm 1991 Một trong những thành công đầu tiên của lớp thuật toán

ACO là giải quyết tốt bài toán nổi tiếng Người chào hàng (Traveling Salesman Problem-TSP) với số thành phố khá lớn, hơn 2000 Từ đó đến nay

ACO ngày càng thu hút được sự quan tâm và nghiên cứu của giới khoa học và hiệu quả nổi trội của nó được chứng minh bằng thực nghiệm như giải quyết

các bài tối ưu tổ hợp điển hình: Bài toán phân công bậc hai (Quadratic Assignment Problem-QAP), Bài toán lập lịch công việc (Job-shop Scheduling Problem-JSP), Bài toán định đường xe tải (Vehicle Rouling Problem -VRP), Bài toán tô màu đồ thị (Graph Coloring Problem-GCP), Bài toán siêu dãy chung ngắn nhất (Shortest Colnmon Supersequence Poblem-SCS)…

Trong ACO, hệ kiến Max-Min (Max-Min Ant System-MMAS) tỏ ra đơn

giản, thông dụng và được rất nhiều người ưa dùng so với các thuật toán kiến trước đó như hệ kiến (Ant System-AS), hệ đàn kiến (Ant Conoly System-

ACS) Hệ kiến Max-Min là thuật toán đầu tiên đề xuất cập nhật mùi theo tư

tưởng Max-Min Năm 1999, nhằm mục đích đưa ra một lược đồ làm việc chung cho các thuật toán kiến, Marco Dorigo, Luca M Gambardella và

C

Gianni Di Cao đã khái quát hóa thành lớp ACO và ứng dụng một cách phong phú để giải quyết các bài toán tối ưu tổ hợp tĩnh và động

Nội dung của luận văn sẽ khảo cứu về các thuật toán ACO theo quy tắc cập

nhật mùi Min Trên cơ sở đó chúng tôi đề xuất thuật toán hệ kiến Min trơn (Max-Min Smooth Ant System-MMSAS) và thử nghiệm với bài toán TSP Kết quả thực nghiệm cho thấy hệ kiến Max-Min trơn có ưu điểm hơn hệ kiến Max-Min trong bài toán được xét

Max-Ngoài phần mở đầu và phần kết luận, luận văn được tổ chức như sau:

Chương 1: Giới thiệu nguồn gốc sinh học của thuật toán kiến, cách truyền thông gián tiếp và lược sử phát triển của các thuật toán ACO

Chương 2: Trình bày về phương pháp tối ưu hoá đàn kiến:ACO

Chương 3: Giới thiệu về thuật toán hệ kiến Max-Min và đề xuất cách cập nhật

mùi theo Max-Min trơn, các kết quả thực nghiệm tốt mà hệ kiến Max-Min trơn

đạt được

Chương 4: Trình bày hai ứng dụng điển hình của hệ kiến Max-Min đó là bài

toán phân công bậc hai và bài toán thời khóa biểu

- 3 -

CHƯƠNG 1

LƯỢC SỬ PHÁT TRIỂN CỦA CÁC THUẬT TOÁN ACO

Trong chương này chúng tôi giới thiệu lược sử phát triển của các thuật toán ACO, bắt đầu từ các thí nghiệm sinh học về cách chọn đường đi của các con kiến thực rồi đến hình thành ý tưởng thuật toán từ các thí nghiệm đó, sau

đó là sự ra đời của hệ kiến, hệ đàn kiến, hệ kiến Max-Min

Các thuật toán kiến có được nhờ sự quan sát cách chọn đường đi của các con kiến thực Các con kiến là các côn trùng sống trong các bầy đàn và sống thành

xã hội, chúng xuất hiện trên trái đất cách đây đã hơn 100 triệu năm, số lượng của chúng khoảng 106

con (xem [13]) Sự tổ chức bầy đàn của các con kiến trong xã hội kiến có cấu trúc cao đã thu hút nhiều nghiên cứu sinh học

Trong xã hội kiến, các con kiến thợ thường xuyên tìm kiếm thức ăn đem về tổ

và đặc biệt là làm thế nào các con kiến có thể tìm được đường đi ngắn nhất từ

tổ của chúng tới nguồn thức ăn?

1.1 Nguồn gốc sinh học của các thuật toán kiến

Trong quá trình đi từ tổ đến nguồn thức ăn và ngược lại, các con kiến

rải xuống đất một hoá chất gọi là mùi (tên khoa học là pheromone) và tạo nên

các vết mùi (pheromone trail) Các con kiến ngửi thấy mùi và chúng có

khuynh hướng chọn theo xác suất, các đường đi được đánh dấu bởi sự tập trung mùi mạnh Vết mùi cho phép các con kiến tìm ra đường quay lại của chúng tới nguồn thức ăn hoặc tổ, nó cũng có thể được sử dụng bởi các con kiến khác để tìm ra vị trí nguồn thức ăn

Thực nghiệm cho thấy rằng, cách thức theo vết mùi (pheromone trail following behavior) này là một phương pháp luận hiệu quả để tìm ra đường đi

ngắn nhất

Hình 1: Cách tìm đường đi của kiến

Các con kiến thường để lại mùi (một chất hóa học đặc biệt mà chúng có thể ngửi được) trên đường đi Bằng cách để lại mùi như vậy, chúng sẽ tạo ra các vết mùi để lại trên đường đi từ tổ đến nguồn thức ăn và ngược lại Trong thực tế, bằng cách cảm nhận những vết mùi như vậy những con kiến khác có thể tìm đường tới các nguồn thức ăn do những con kiến trước đã tìm ra Đồng thời, chúng có thể dựa vào đó để tìm được đường đi ngắn nhất từ tổ đến các nguồn thức ăn

Nhằm nghiên cứu các cách tìm đường đi của các con kiến trong điều kiện quan sát được J.L.Deneubourg [19] và các đồng nghiệp đã làm một thí nghiệm sử dụng một cây cầu đôi nối từ tổ đến nguồn thức ăn, hình 2 Tổ của một đàn kiến với nguồn thức ăn được ngăn bởi một các cầu đôi mà hai nhánh của nó bằng nhau để nghiên cứu sự lưu lại các vệt mùi và hành vi của chúng Tiếp đó các con kiến được thả và tự do đi lại giữa tổ và nguồn thức ăn và phần trăm số kiến chọn nhánh nào để đi được quan sát theo thời gian Kết quả

là sau một giai đoạn ban đầu có sự do dự, trong chốc lát các con kiến có khuynh hướng chọn và hội tụ về cùng một đường đi

- 5 -

Trong thí nghiệm trên, ban đầu không có mùi trên 2 nhánh, nên các nhánh được chọn có cùng một xác suất Tuy nhiên, do sự thăng giáng tự nhiên, sau một giai đoạn ban đầu, nhánh trên được chọn nhiều hơn nhánh dưới Bởi vì các con kiến rải mùi trong khi đi, số kiến lớn hơn ở nhánh trên thì lượng mùi mạnh hơn, do đó kích thích nhiều con kiến chọn nó hơn

Hình 2: Mô hình thí nghiệm cầu đôi 2 nhánh dài bằng nhau

Tiếp đó họ thay đổi thí nghiệm trên tới trường hợp mà trong đó các nhánh có chiều dài khác và thu được kết quả là theo thời gian dần dần hầu hết con kiến đều đi vào nhánh ngắn hơn

Kết quả được giải thích như sau: Do kỹ thuật rải mùi như nhau, khi thực nghiệm bắt đầu, hai nhánh cầu đều không có mùi, như vậy lúc đầu các con kiến chọn một trong hai nhánh theo xác suất là như nhau tức là một nửa số con kiến sẽ chọn nhánh ngắn và nửa còn lại sẽ chọn nhánh dài Trong quá trình tìm kiếm thức ăn và đưa về tổ, con kiến luôn để lại vệt mùi trên hai nhánh cầu Do nhánh ngắn hơn, thời gian con kiến đi sẽ ít hơn (đồng nghĩa với số lần các con kiến đi lại nhiều hơn), lượng mùi trên nhánh này sẽ nhiều hơn, nên theo thời gian các con kiến sẽ chọn nhánh ngắn hơn để đi do cường

độ vệt mùi trên nhánh này cao hơn, minh hoạ trong hình 3

Tổ kiến

Nhánh dưới Nhánh trên

Thức ăn

Hình 3: Thí nghiệm cầu đôi

(a) Các con kiến bắt đầu khám phá chiếc cầu

(b) Hầu hết các con kiến chọn đường đi ngắn nhất

Trong các thuật toán kiến, cây cầu đôi ở thí nghiệm của Deneubourg được thay bằng một đồ thị cấu trúc và các vết mùi của con kiến là những vết mùi nhân tạo Đồng thời khi muốn giải quyết những bài toán phức tạp hơn những bài toán của con kiến thực, người ta cung cấp thêm cho con kiến nhân tạo một số khả năng đặc biệt như bộ nhớ và khả năng để lại một lượng mùi tỷ

lệ với hiệu quả của lời giải tìm được (một hành vi tương tự như hành vi của con kiến thực khi chúng mang thức ăn quay về tổ để lại một lượng mùi tỷ lệ với lượng thức ăn kiếm được)

Mỗi con kiến đơn lẻ chỉ có một sự đóng góp rất nhỏ trong quá trình tìm

đường đi Mặc dù một con kiến đơn lẻ về nguyên tắc có khả năng xây dựng một lời giải (Ví dụ: tìm ra một đường đi giữa tổ và nguồn thức ăn), nhưng cả đàn kiến mới là đối tượng biểu diễn cách thức "tìm đường đi ngắn nhất" Cách thức này là một thuộc tính nổi bật (emergent) của đàn kiến Cũng cần chú ý là các con kiến có thể thực hiện cách thức riêng biệt này bằng cách sử dụng một

dạng truyền thông gián tiếp-stigmergy bằng cách rải mùi

- 7 -

1.2 Truyền thông gián tiếp-stigmergy

Dạng truyền thông stigmergy được đưa ra trong công trình của Grassé [20] (Bellicositermes Natalensis và Cubitermes), stigmergy là "Mô phỏng các thợ (workers-một đẳng cấp trong các đàn mối) bởi hiệu suất mà chúng đạt

được"

Mặc dù Grassé giới thiệu thuật ngữ stigmergy để giải thích các hành vi

của xã hội đàn mối, nhưng sau đó thuật ngữ này được dùng để mô tả dạng

truyền thống gián tiếp bởi sự thay đổi môi trường có thể quan sát được ở xã

hội côn trùng

Những đặc trưng của stigmergy:

- Tính vật lý tự nhiên của thông tin được sinh ra bởi các côn trùng truyền thông, tương ứng với sự thay đổi các trạng thái môi trường vật lý mà được thăm bởi các côn trùng

- Tính cục bộ tự nhiên của thông tin được sinh ra, chỉ có thể được truy

cập bởi các côn trùng thăm trạng thái đó

Vì vậy ta có thể nói truyền thông stigmergy là một dạng truyền thông

gián tiếp dựa vào thay đổi thông tin qua tác động vật lý làm thay đổi môi trường

1.3 Quá trình phát triển của các thuật toán ACO

Hệ kiến là thể hiện đầu tiên và điển hình của các thuật toán ACO, hầu hết các thuật toán ACO hiện dùng đều được phát triển từ thuật toán này Vì vậy, trước khi giới thiệu các thuật toán ACO, chúng tôi giới thiệu hệ kiến và

các cải tiến quan trọng của chúng là hệ đàn kiến và hệ kiến Max-Min

1.3.1 Hệ kiến và bài toán TSP

1.3.1.1 Bài toán TSP

Bài toán TSP được phát biểu như sau:

Bài toán người chào hàng (TSP-Traveling Salesman Problem) khá đơn giản: Người chào hàng phải tìm một đường đi khép kín đi qua mọi thành phố trong địa phận của anh ta đúng một lần và trở về nơi xuất phát để tổng độ dài (chi phí) của đường đi là nhỏ nhất

Bài toán TSP bậc n được phát biểu dưới dạng một bài toán đồ thị như sau: Cho một đồ thị G = (V, E), trong đó tập đỉnh V = {1, 2, , n) ký hiệu các thành phố, E = {{i, j } , i, j  V} mỗi cạnh (i, j) V có độ dài dij tương ứng (dij là khoảng cách từ thành phố i tới thành phố j và d i,j  d ,i nếu đó là đường một chiều) Tìm đường đi qua tất cả các đỉnh của G mỗi đỉnh đúng một lần và trở về nơi xuất phát sao cho tổng chi phí của các cạnh thuộc đường đi (n cạnh) là nhỏ nhất

Như vậy, với đồ thị không đối xứng sẽ có (n 1 )! đường đi chấp nhận

được và

2

)!

1 (n

với đồ thị đối xứng Với n lớn thì ta không thể tìm hết các đường đi và chỉ có thể tìm được một lời giải đủ tốt bằng các phương pháp truyền thống như: Quy hoạch động, nhánh và cận, tìm kiếm địa phương, tìm kiếm heuristic, tính toán tiến hóa hay là các phương pháp kết hợp giữa chúng TSP là bài toán tối ưu tổ hợp khó và có nhiều ứng dụng, nó vẫn được xem là bài toán mẫu dùng để kiểm tra hiệu quả của các thuật toán tối ưu tổ hợp

Khi G là đồ thị có hướng thì bài toán TSP được gọi TSP không đối

xứng (Asymmeric Traveling Salesman Problem-ATSP), trường hợp còn lại gọi

là TSP đối xứng (gọi tắt là TSP) Để đơn giản, ta xét bài toán trên đồ thị vô hướng, sau này ta dùng ký hiệu TSP

Tiếp theo chúng tôi sẽ trình bày các thuật toán kiến dựa trên tư tưởng lời giải của bài toán TSP

- 9 -

1.3.1.2 Hệ kiến

Hệ kiến (Ant System-AS) được đề xuất từ cách ứng xử được đề cập ở

trên của các con kiến thực, là một thuật toán mà trong đó một tập các con kiến nhân tạo hợp tác với nhau để tìm lời giải của một bài toán bằng việc trao đổi thông tin thông qua mùi được rải trên các cạnh của một đồ thị

Có nhiều thuật toán AS như ant-cycle, ant-density, và ant-quantity, ở đây chúng tôi chỉ xét thuật toán ant-cycle Do thuật toán ant-cycle có kết quả

thực nghiệm tốt hơn hai thuật toán kia, nên sau này nó được gọi đơn giản là thuật toán AS, trong khi hai thuật toán còn lại về sau không còn được nghiên cứu và phát triển nữa

Hệ kiến hoạt động như sau: mỗi con kiến sinh ra một đường đi (tour)

bằng cách chọn những thành phố theo một qui tắc chọn thành phố mới

(state transition rule) ngẫu nhiên, những con kiến thích đi tới các thành phố

mà nối với những cạnh ngắn có lượng mùi cao Khi tất cả các con kiến đã

hoàn thành đường đi của nó, một qui tắc cập nhật mùi toàn cục (global

pheromone updating rule) được áp dụng:

i) Một tỉ lệ mùi bị bốc hơi trên tất các các cạnh bởi một hệ số bay

hơi mùi cho trước (những cạnh không được làm tươi sẽ ít được con kiến chú ý)

ii) Mỗi con kiến rải một lượng mùi lên các cạnh thuộc đường đi

tương xứng với chiều dài đường đi của nó (hay nói cách khác

là các cạnh thuộc về nhiều đường đi ngắn là những cạnh nhận lượng mùi lớn hơn)

Tiến trình trên được lặp lại

Để giải bài toán TSP, AS dùng biến vết mùi i,j kết hợp với mỗi cạnh (i,j) và ban đầu được khởi tạo bởi giá trị 0 Có m con kiến nhân tạo, ở bước lặp t

chúng thực hiện các thủ tục xây dựng lời giải và cập nhật mùi như sau:

Xây dựng lời giải

Ban đầu mỗi con kiến được đặt ngẫu nhiên tại các thành phố và thăm các thành phố khác để xây dựng đường đi với thủ tục tuần tự theo quy tắc chuyển trạng thái sau:

Quy tắc chuyển trạng thái: Qui tắc chọn thành phố mới, được gọi là qui tắc

tỉ lệ ngẫu nhiên (random-proportional rule), được cho bởi công thức (1.1), là

công thức đưa ra xác suất chọn thành phố j để di chuyển tới đối với kiến k khi đang ở thành phố i

Giả sử kiến k đang ở thành phố i, nó sẽ chọn thành phố j tiếp theo với xác suất:

(

) (

, ,

, ,

,

i J u

u i u i

j i j i k

j

i

k

t t

Hai tham số , thể hiện: xác suất lựa chọn cạnh (i, j) tỷ lệ thuận với cường

độ vết mùi ij(t) tại bước lặp t đang xét Jk(i) là tập các đỉnh chưa được con kiến k đi qua khi nó ở đỉnh i (để làm lời giải khả thi)

Thông tin heuristic

Cập nhật mùi:

Trong AS, qui tắc cập nhật toàn cục được thực hiện như sau: Khi tất cả các con kiến đã xây dựng xong đường đi của nó, mùi được cập nhật trên tất cả các cạnh theo công thức (1.2)

)()

()1()1

1)

k

ij

Lk(t) là chiều dài của đường đi được thực hiện bởi kiến k tại bước lặp t, còn m

là số các con kiến được sử dụng

Tham số  được sử dụng để làm bay hơi các vết mùi trên các cạnh và cho phép lãng quên những cạnh ít sử dụng (các cạnh không thuộc hành trình của con kiến nào sẽ có cường độ mùi giảm rất nhanh theo hàm mũ của số vòng lặp) Với những cạnh có con kiến đi qua, lượng mùi sẽ được tăng thêm một lượng là 1/Lk.

Ƣu và nhƣợc điểm của AS

AS có một số ưu điểm:

 Việc tìm kiếm ngẫu nhiên dựa trên các thông tin heuristic làm cho việc tìm kiếm linh hoạt và mềm dẻo trên không gian tìm kiếm rộng, nó hơn phương pháp heuristic sẵn có, do đó cho ta lời giải tốt hơn và có thể tìm được lời giải tối ưu

 Sự kết hợp được việc học tăng cường (reinforcement learning),

trong đó những lời giải tốt sẽ được sự tăng cường cao hơn thông qua thông tin về cường độ vết mùi , cho phép ta từng bước thu hẹp không gian tìm kiếm mà vẫn không bỏ qua những lời giải tốt Do đó nâng cao chất lượng thuật toán

Nếu (i,j) thuộc chu trình của kiến k ngược lại

Nhược điểm:

Giả sử w*(t) là chu trình có độ dài ngắn nhất mà các con kiến tìm được đến lần lặp t thì sau Nc lần lặp w*(Nc) cho ta lời giải đủ tốt Mặc dù AS là hữu dụng cho việc khám phá lời giải tốt hoặc tối ưu cho các bài toán TSP nhỏ (tới 30 thành phố), thời gian cần để tìm những kết quả tốt như vậy trên những bài toán lớn đối với AS là khó đạt được Khi số đỉnh lớn thì lượng mùi trên mỗi cạnh không thuộc lời giải tốt nhanh chóng dần về không nên hệ AS kém hiệu quả Chất lượng thuật toán phụ thuộc nhiều vào chất lượng của thông tin heuristic, mà điều này thì chúng ta rất khó can thiệp vào

Hệ đàn kiến sẽ đưa ra ba thay đổi chính để cải thiện hiệu suất của hệ kiến khi áp dụng vào các bài toán lớn, được trình bày ở phần tiếp theo

1.3.2 Hệ đàn kiến

Hệ đàn kiến (Ant Colony System-ACS) là thuật toán được xây dựng trên

AS dựa tên ý tưởng tăng tầm quan trọng của các thông tin được tích luỹ bởi các con kiến trước nhằm cải thiện hiệu suất khi áp dụng cho các bài toán TSP

có hướng kích thước lớn (trên 50 thành phố) So với AS, ACS có ba cải tiến sau:

i) Qui tắc chọn thành phố mới cung cấp một cách thức

cân bằng giữa sự khám phá cạnh mới với sự khai thác

độ ưu tiên và thông tin được tích luỹ về bài toán

ii) Qui tắc cập nhật mùi toàn cục (global updating

pheromone rule) được áp dụng chỉ với các cạnh thuộc

về đường đi tốt nhất

pheromone rule), được áp dụng trong khi các con kiến

xây dựng một lời giải cho nó

- 13 -

Trong ACS, ở bước lặp t các quy tắc chuyển trạng thái (1.1) và cập nhật mùi (1.2) thay đổi như sau:

Quy tắc chuyển trạng thái:

Giả sử con kiến k đang ở đỉnh i, nó chọn đỉnh s tiếp theo nhờ quy tắc:

ij ij N

j i k { ( ) } max

Ở đây q là một số ngẫu nhiên phân phối đều trong [0, l], q0 là một tham số

(0q0 1), còn j là đỉnh được chọn theo công thức (1.1) với =1

Qui tắc chọn thành phố theo công thức (1.1) và (1.4) được gọi là qui tắc tỉ lệ

giả ngẫu nhiên (pseudo-random proportional rule) Theo qui tắc chọn thành

phố mới này, hướng các con kiến di chuyển đến các nút được nối với cạnh ngắn có lượng mùi lớn Tham số q0 quyết định mức quan trọng tương quan giữa sự khai thác các đường đi cũ đối với sự khám phá đường đi mới

Quy tắc cập nhật mùi :

Mùi sẽ được cập nhật theo cả hai quy tắc : Cập nhật địa phương và cập nhật

toàn cục

Cập nhật mùi địa phương:

Trong khi đang xây dựng một lời giải (tức là đường đi) của mình, mỗi con kiến sẽ cập nhật mùi cho cạnh (i, j) mà nó đi qua bằng cách áp dụng qui tắc cập nhật địa phương của công thức (1.5)

) , ( )

1 ( ij i j

Luật này có tác dụng giúp các con kiến tránh hội tụ về cùng một đường

đi, điều này giải thích không khó: khi đặt 0 = (nLnn-1) trong đó n là số đỉnh,

Lnn là chiều dài của một lời giải do một heulistic sinh ra từ trước (giai đoạn

khởi tạo và do  (i,j) (i, j)  (i, j) nên cứ sau mỗi lần cập nhật địa phương

i,j lại giảm đi một lượng ((i, j)-  (i, j)) làm giảm đi mức độ "hấp dẫn" của

các cạnh được thăm khiến cho các con kiến sẽ chú ý thăm các cạnh chưa bao giờ được thăm, tránh được tình trạng hội tụ tới cùng một đường đi

Ngoài ra ACS sử dụng một cấu trúc dữ liệu gọi là danh sách tuyển chọn

(candidate list-cl), cấu trúc này có nhiệm vụ cung cấp thêm thông tin heuristic

cục bộ cho thủ tục xây dựng lời giải Với một thành phố cho trước, danh sách

này sẽ chứa hữu hạn cl thành phố lân cận được ưu tiên đến hơn (cl là một

tham số của thuật toán) Các con kiến khi đến một thành phố bất kì, nó sẽ đọc tuần tự danh sách này từ đầu đến cuối (danh sách được sắp theo thứ tự tăng dần của khoảng cách nối thành phố hiện lại với thành phố lân cận tương ứng)

và chọn thành phố đầu tiên chưa nằm trong đường đi của nó làm thành phố kế tiếp, khi không có thành phố nào trong danh sách thỏa mãn tính chất này thì các thành phố bên ngoài danh sách chưa được thăm sẽ được chọn theo luật chuyển trạng thái Các kết quả khi chạy ACS trên các bài toán chuẩn được đem so sánh với các siêu heuristic khác đã cho thấy ACS là heuristic tốt nhất

về chất lượng lời giải cũng như thời gian thực hiện (có thể không quan trọng

vì các heuristic khác có thể thực hiện trên các máy khác nhau và được viết mã

chưa tối ưu…)

Cập nhật mùi toàn cục :

Trong ACS chỉ duy nhất con kiến toàn cục tốt nhất (là con kiến đã xây dựng đường đi ngắn nhất trong các bước lặp) là được phép rải mùi Sự chọn lựa này cùng với việc sử dụng qui tắc tỉ lệ giả ngẫu nhiên nhằm mục đích làm cho việc tìm kiếm thực tế hơn: Các con kiến tìm kiếm trong một lân cận của

- 15 -

đường đi tốt nhất được tìm thấy cho đến bước lặp hiện tại của thuật toán Việc cập nhật toàn cục được thực hiện sau khi tất cả các con kiến đã hoàn thành xong đường đi của chúng Mùi được cập nhật bởi qui tắc cập nhật toàn cục của công thức (1.6)

Cập nhật mùi toàn cục được áp dụng cho những cạnh (i, j) thuộc đường đi ngắn nhất w*(t) theo công thức :

) (

1 )

1.3.3 Thuật toán hệ kiến Max-Min

Hệ kiến Max-Min (Max-Min Ant System-MMAS) được cải tiến từ AS bằng

cách chỉ cho phép một con kiến tốt nhất cập nhật mùi (con kiến có hành trình tốt nhất w(t) kể từ khi bắt đầu thuật toán hoặc con kiến có hành trình tốt nhất w(t) tại bước lặp hiện tại) Để tránh hiện tượng tắc nghẽn (stagnation): do

nồng độ mùi tập trung ở một số cung quá cao nên các con kiến lựa chọn đi lựa chọn lại các cung đó, MMAS đưa vào hai cận, cận trên (max) và cận dưới (min) để khống chế nồng độ các vết mùi trên mỗi cung Chính vì vậy thuật

toán được gọi là hệ kiến Max-Min về sau các thuật toán ACO có tính chất này cũng gọi là thuật toán Max-Min

MMAS khống chế nồng độ các vết mùi bằng cách sử dụng cận dưới

min

 có giá trị nhỏ nhất và cận trên có giá trị lớn nhất là max, nghĩa là tất cả các cạnh ít được con kiến đi qua có xác suất nhỏ nhưng vẫn lớn hơn 0 nhiều lần và hạn chế lựa chọn đi lựa chọn lại một cạnh tốt của các con kiến (cạnh này tập trung mùi mạnh) Điều này làm cho thuật toán tránh được tình trạng tắc nghẽn trong quá trình tìm kiếm, đặc biệt khi số vòng lặp lớn nó sẽ tăng khả năng khám phá cho những con kiến Các vết mùi khi khởi tạo luôn có giá

trị lớn nhất cho tất cả các cạnh làm cho luôn đạt được sự bốc mùi mạnh, hấp dẫn các con kiến Sau mỗi lần lặp trên tất cả các cạnh, lượng mùi đều bị bốc hơi theo một tỷ lệ như nhau, do tham số 

Chỉ các cạnh thuộc lời giải tốt nhất toàn cục w*(t) mới được rải thêm một lượng mùi do chính con kiến tìm ra lời giải đó thực hiện (trong thực nghiệm lời giải tốt trong vòng lặp hiện tại được rải thêm mùi sẽ tốt hơn vì nó tăng khả năng khám phá cho các con kiến) Nồng độ mùi trên các cạnh ít được sử dụng sẽ giảm chậm nhưng trên các cạnh thuộc lời giải tốt vẫn được gia tăng nên các con kiến vẫn ưa chọn nhiều hơn

Trong hệ kiến Max-Min thủ tục xây dựng lời giải giống như trong AS

còn quy tắc cập nhật mùi thực hiện như sau:

Cập nhật mùi:

ij ij

))((

min

1

ij ij

t w L

ngược lại (i, j)w(t)

1997, Thomas Stutzle và Holger H Hoos đề xuất hệ kiến Max-Min, là thuật toán đầu tiên sử dụng cận trên và cận dưới để khống chế vết mùi, các vết mùi không bị dần về 0 do đã bị chặn dưới Khi thử nghiệm hệ kiến MAX-

MMAS được ưa dùng hơn vì nó đơn giản, dễ sử dụng

Nhằm mục đích đưa ra một lược đồ làm việc tổng quát cho các thuật toán kiến, năm 1999 Marco Dorigo, Luca M Gambardella và Gianni Di Cao

đã đề xuất phương pháp tối ưu hoá đàn kiến: ACO ACO là một heuristic, sẽ trình bày ở phần tiếp theo Trong ACO, hệ kiến, hệ đàn kiến, hệ

meta-kiến Max-Min có những đặc điểm hoàn toàn khớp với ACO nên có thể xem

chúng là những ứng dụng cụ thể của ACO

Ở phần tiếp theo chúng tôi sẽ trình bày phương pháp tối ưu hóa đàn kiến cho lớp bài toán ACOmin, sau đó là cơ sở lý thuyết cho vết mùi của hệ

Max-Min và đặc tính hội tụ của vết mùi theo quan điểm Max-Min trên hai thuật

toán có hiệu suất tốt trong các thuật toán ACO đó là: Hệ đàn kiến và hệ kiến

Max-Min

2.2 Meta-heuristic tối ưu hoá đàn kiến (ACO metaheuristic)

Các con kiến nhân tạo được sử dụng trong ACO hợp tác với nhau trong việc tìm các lời giải tốt cho các bài toán tối ưu tổ hợp khó Sự hợp tác là một thành phần quan trọng của ACO: đó là sự chọn lựa để phân phối các tài nguyên tính toán cho các con kiến nhân tạo Các con kiến này truyền thông một cách gián tiếp bởi stigmergy Các lời giải tốt là một đặc tính nổi bật của

sự tương tác (bằng cách hợp tác) này

Các con kiến nhân tạo có đặc tính 2 mặt: Mặt thứ nhất, chúng trừu tượng các đặc điểm cách tìm đường của các con kiến mà gần như là mấu chốt của cách thức tìm đường đi ngắn nhất được thấy trong các đàn kiến thực Mặt kia, là những khả năng mà không thể có ở các con kiến thực như có bộ nhớ, rải mùi theo tỷ lệ có thể điều khiển được, các khả năng này được đưa thêm vào tùy thuộc đặc trưng của bài toán áp dụng nhằm mục đích là để ACO trở thành một cách tiếp cận kỹ thuật (engineering) cho việc thiết kế và thực hiện các hệ thống phần mềm cho các bài toán tối ưu tổ hợp khó

2.2.1 Bài toán tổng quát

Các thuật toán ACO được áp dụng để giải các bài toán tối ưu tổ hợp, các đặc trưng của lớp các bài toán tối ưu tổ hợp được phát biểu như sau:

Xét bài toán cực tiểu hóa (S, f,), trong đó S là tập hợp hữu hạn trạng thái, f

là hàm mục tiêu xác định trên S (với sS có giá trị hàm mục tiêu là f(s)), còn

19

- là một tập các ràng buộc để xác định S qua các thành phần của tập hữu hạn

C và các liên kết của tập này Mục tiêu của bài toán cực tiểu hoá là tìm ra một trạng thái tối ưu s*, một trạng thái có giá trị cực tiểu

Bài toán tối ưu tổ hợp (S, f,) được ánh xạ thành một bài toán có các đặc tính sau :

1) Cho một tập hữu hạn gồm n thành phần C = {c1, c2, …, cn} Ta ký hiệu

X là tập các dãy trong C độ dài không quá h:

c Với mọi u0  C0, thủ tục mở rộng nêu trên xây dựng được mọi phần tử của X* Không giảm tổng quát, ta giả thiết rằng có tương ứng 1-1 giữa các phần tử trong X* được mở rộng từ mỗi u0 trong C0

Ví dụ: Với bài toán TSP thì S là các chu trình trên đồ thị đầy, f là độ dài

đường đi,  là ràng buộc các chu trình qua mọi đỉnh (và mỗi đỉnh đúng một

lần) còn C0 là tập các đỉnh của đồ thị

Với các bài toán như vậy ta xây dựng đồ thị đầy với tập đỉnh V mà mỗi đỉnh của nó tương ứng với mỗi thành phần của C và có thể dùng các thuật toán theo lược đồ ở mục 2.2.2 để giải

2.2.2 Thuật toán ACO tổng quát

Với bài toán tối ưu tổ hợp ở trên ta có thể áp dụng thủ tục mở rộng để xây dựng X*

và tìm được lời giải tốt nhờ phương pháp vét cạn, nhưng trên thực tế khi số thành phần n của C lớn, trong TSP là khi số đỉnh nhiều thì phương pháp vét cạn không giải quyết được

Nói chung, bài toán thuộc lớp NP-khó, thông thường ta sẽ có các phương pháp heuristic để tìm lời giải đủ tốt cho bài toán Các thuật toán ACO kết hợp thông tin heuristic này với phương pháp học tăng cường nhờ mô phỏng hành

vi của đàn kiến để tìm lời giải tốt hơn

Giả sử với mỗi cạnh nối các đỉnh i, j C có trọng số heuristic hi,j để định hướng chọn thành phần mở rộng là j khi thành phần cuối của xk là i theo thủ tục nêu trên (hi,j >0 (i,j)) Đàn kiến m con sẽ xây dựng lời giải trên đồ thị đầy có trọng số G=(V,E,H,), trong đó V là tập đỉnh của đồ thị tương ứng với tập thành phần C đã nêu ở trên, E là tập các cạnh (nối các thành phần của C),

H là vectơ các trọng số heuristic của cạnh tương ứng (trong bài toán TSP nó

là vectơ mà mỗi thành phần =1 d ij , dij là độ dài của cạnh nối đỉnh i với đỉnh j) còn  là vectơ vết mùi tích luỹ được, ban đầu được khởi tạo bằng 0 Các vết mùi có thể được gắn ở đỉnh, ở cạnh hoặc cả hai, trong bài toán TSP thì các vết mùi được gắn ở cạnh còn trong một số bài toán khác, chẳng hạn bài toán thời khóa biểu (trình bày ở chương 4) thì lượng mùi được gắn ở đỉnh của đồ thị G

Đồ thị G được gọi là đồ thị xây dựng

Với điều kiện kết thúc đã chọn (với số lần lặp Nc định trước) thuật toán ACO tổng quát cho các bài toán tối ưu tổ hợp tĩnh được mô tả hình thức như sau:

21

-Các bài toán tối ưu tổ hợp tĩnh là những bài toán mà các đặc trưng của nó được cho trước và không thay đổi khi bài toán được giải Một trong những bài toán như vậy là bài toán TSP, trong đó vị trí các thành phố và khoảng cách tương ứng giữa chúng là các giá trị ban đầu của bài toán và không bị thay đổi khi chạy

Procedure Ansts_generation_and activity()

Procedure Thuật toán ACO cho bài toán tối ưu tổ hợp tĩnh

Khởi tạo vết mùi và đặt giá trị cho các tham số

While not (điều kiện dừng) do

Các con kiến xây dựng lời giải và chọn lời giải tốt nhất

Áp dụng tìm kiếm địa phương (có hoặc không)

While (các tài nguyên khả dụng) do

Schedule_the creation_of a_new_ant();

Thuật toán ACO ở dạng giả mã

Các thủ tục xây dựng lời giải và cập nhật mùi được trình bày ở mục tiếp theo

2.2.3 Xây dựng lời giải

Sau khi khởi tạo các tham số và lượng mùi ban đầu, các con kiến được đặt ngẫu nhiên lên các đỉnh của đồ thị để xuất phát và sau đó chúng xây dựng đường đi bằng cách dịch chuyển từ đỉnh này sang đỉnh khác trên đồ thị sau mỗi bước lặp, đỉnh được chọn để dịch chuyển dựa vào nồng độ mùi trên cung nối đỉnh hiện tại đến đỉnh đó và kết hợp thông tin heuristic Trong khi di chuyển sang các đỉnh khác, ràng buộc  được sử dụng để tránh cho kiến xây dựng lời giải không khả thi Sau khi các con kiến xây dựng xong hành trình của chúng, mùi được cập nhật trên các cung

Các con kiến xây dựng lời giải ngẫu nhiên theo thủ tục mở rộng tuần tự nêu trên với xác suất chọn đỉnh tiếp theo như sau:

Quy tắc chuyển trạng thái:

Giả sử kiến s đã xây dựng xk=<u0 ,uk>, nó chọn đỉnh y thuộc J(xk) để xk+1=<u0, , uk, y> với xác suất:

|

(

) (

, ,

, ,

k

x J j

j u j u

y u y u

h x

ngược lại

ta sẽ xem x(r) và s(r) như nhau và không phân biệt X*

với S Ký hiệu w(t) là lời giải tốt nhất các con kiến tìm được cho tới lúc này và wi(t) là lời giải tốt nhất tại bước lặp t Trong lý thuyết để tiện cho việc chứng minh, các tác giả

đã chọn w(t) còn trong thực nghiệm wi(t) lại tỏ ra hiệu quả hơn do việc này tăng cường tính khám phá của thuật toán Do giả thiết (3-c) của bài toán và để tiện trình bày, về sau ta sẽ không phân biệt mỗi xX* với trạng thái sS tương ứng

2.2.4 Cập nhật mùi

Sau khi các con kiến kết thúc thủ tục xây dựng lời giải, mùi bắt đầu được cập nhật Gọi s* là lời giải tốt vừa được tìm thấy và st là lời giải ở bước lặp t, f(st) và f(s*) là 2 hàm mục tiêu Lượng mùi trên các cung bị giảm do thừa số

, nó được gọi là hệ số bay hơi mùi, chỉ có các cung thuộc s* lượng mùi mới được tăng lên Khi đó ở mỗi bước lặp cường độ vết mùi sẽ thay đổi theo quy tắc sau:

ij ij

j

i , )  ( 1  ) 

Nếu f(st)<f(s*), s*st : Lấy lời giải tốt nhất

*) ( :

* ) ,

( i j  s ij  ij  g s

 ( i , j ) : ij  max  min, ij : Các vết mùi không dần về 0 Trong đó (0, 1), min >0 là một tham số, giả sử g là một hàm giá trị thực xác định trên S sao cho 0 g(s) ,  s  S nếu

)'()

(s f s

f  g(s) g(s')

25

-Khởi tạo vết mùi

Đặt s*=s’, s’ là một lời giải khả thi được sinh ra tại bước lặp đầu tiên

(i, j), đặt (i, j)=0

Trong đó 0 là một tham số, min  0  +

Sau khi khởi tạo vết mùi, thuật toán lặp thủ tục xây dựng lời giải và cập nhật mùi cho đến khi gặp điều kiện dừng Kí hiệu lớp các thuật toán ACO sử dụng quy tắc cập nhật mùi ở trên là ACOgb,min , trong đó gb là quy tắc cập nhật mùi toàn cục được dùng, còn min là cận dưới của vết mùi trong phạm vi bị khống chế

2.3 Đặc tính hội tụ của vết mùi

Sau khi được khởi tạo, các thủ tục xây dựng đường đi, bay hơi mùi và thêm lượng mùi được lặp cho đến khi gặp điều kiện dừng Gọi w(t) là lời giải tốt nhất tìm được tại bước lặp t, đặt max là giá trị lớn nhất và min là giá trị nhỏ nhất của vết mùi

Để chứng minh đặc tính hội tụ của vết mùi dùng cho các bài toán tìm

đường đi và làm cơ sở cho cập nhật mùi theo quy tắc Max-Min trơn (sẽ được

trình bày ở chương sau), chúng tôi sẽ chứng minh các mệnh đề và các định lý sau:

Mệnh đề 1: với mỗi cạnh (i, j)E ta có:

)) ( (

1

Chứng minh:

Lượng mùi lớn nhất có thể thêm vào cung (i, j) sau mỗi lần lặp là g(w(t)) Sau khi cập nhật lần 1, vết mùi lớn nhất là (1).0 g(w(t)), sau khi cập nhật lần 2 là (1 )2 0 (1 ) ( ( )) ( ( ))

t w g t w

1 0

max

)) ( ( ) 1 (

) 1 ( )



mà 01, khi t thì tổng trên hội tụ tại:

))((

1 )

( lim )

( ) ,

 ở bước lặp t* (t* là bước lặp đầu tiên tìm thấy lời giải tối ưu)

27

-Chứng minh:

Do lời giải tối ưu đã tìm thấy, các cung không thuộc lời giải tối ưu sẽ không nhận được lượng mùi nào, giá trị của chúng sẽ bị giảm do bốc hơi bởi thừa số  Ở bước lặp tiếp theo sau t*:  min max

*

)

1(,max)

Điều trên dễ thấy do các mệnh đề 1 và 3, khi tìm thấy lời giải tối ưu thì

ij=max còn các cạnh không thuộc lời giải tối ưu lượng mùi sẽ bay hơi do thừa

số  và khi t đủ lớn, lượng mùi trên các cạnh này sẽ giảm dần về min Vậy

max min  ( ) 



t

min min

min

).

1 (



 P t t

Các thuật toán ACOgb, min đều thỏa mãn tính chất này Nhưng trong thực tế, các bài toán tối ưu cỡ lớn không thể tìm ra được lời giải tối ưu nên định lý không có ý nghĩa thực tế

2.4 Các thuật toán trong ACOmin

Ở mục trước đã trình bày lớp ACOgb,min, ký hiệu ACOmin là lớp các thuật toán ACO dùng cập nhật mùi theo tư tưởng Max-Min ACOmin khác ACOgb,min ở chỗ không dùng quy tắc cập nhật mùi toàn cục Trong mục này chúng tôi phân tích 2 thuật toán MMAS và ACS thuộc lớp ACOmin

i) MMAS là thuật toán có hiệu suất tốt và được ưa dùng nhất

trong các thuật toán ACO, nó đã giải quyết tốt các bài toán nổi tiếng như bài toán người chào hàng, phân công bậc hai, thời khóa biểu Dễ nhận thấy MMAS thuộc lớp ACOmin do quy tắc cập nhật mùi toàn cục, nó chỉ có hai điểm khác nhỏ so với ACOmin Thứ nhất nó gán giá trị tường minh cho max, thứ hai

29

-nó cho phép lựa chọn cách cập nhật mùi tại bước lặp tốt nhất hoặc toàn cục (được trình bày ở chương 3)

ii) ACS là một thuật toán tốt nữa trong các thuật toán ACO, nó

cũng thuộc lớp ACOmin nhưng không dễ nhận thấy như MMAS Chúng tôi trình bày một số điểm của ACS để định lý

1 có thể áp dụng cho thuật toán này

ACS có 3 điểm khác ACOmin là:

- Thứ nhất: ACS chọn đỉnh mới theo qui tắc tỉ lệ giả ngẫu nhiên Tại mỗi bước lặp, con kiến có hai lựa chọn: Cung có lượng mùi cao hoặc theo công thức (2.1), lựa chọn đầu tiên theo xác suất q0, còn lựa chọn thứ hai với xác suất (1-q0), trong đó 0q01 là một tham số

- Thứ hai: ACS không cho bay hơi mùi trên tất cả các cung mà

sử dụng quy tắc cập nhật mùi sau:

Cập nhật mùi ngoại tuyến:

Nếu f(st)<f(s*), s*st

*) ( ).

1 ( :

* ) , ( i j  s ij    ij   g s

, ( uk y  xk  uk y     uk y   