Luận văn thạc sĩ kỹ thuật: Nghiên cứu ứng dụng hệ thống đa tác tử trong quản lý sóng thần ở Việt Nam

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ NÔNG NGHIỆP VÀ PTNT TRUONG ĐẠI HỌC THUY LỢI

NGUYÊN PHƯƠNG ANH HÙNG CƯỜNG

NGHIÊN CỨU UNG DỤNG HE THONG ĐA TÁC TỬ: TRONG QUAN LÝ SONG THAN Ở VIỆT NAM

LUẬN VĂN THẠC SĨ

HÀ NỘI, NĂM 2021

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ NÔNG NGHIỆP VÀ PTNT TRUONG ĐẠI HỌC THỦY LỢI

NGUYEN PHƯƠNG ANH HÙNG CƯỜNG

NGHIÊN CỨU UNG DỤNG HE THONG ĐA TÁC TỬ: TRONG QUAN LÝ SÓNG THAN Ở VIỆT NAM

"Ngành (chuyên ngành) : Céng nghệ thông tinMã số: 8480201

NGƯỜI HƯỚNG DẪN KHOA HỌC _ TS Lê Nguyễn Tuan Thành

HA NỘI, NĂM 2021

LỜI CAM DOAN

Tôi xin cam đoạn đây là Luận văn thge sĩ của bản thân tôi Các kết quả trong Luận văn thạc sĩ này à trùng thực, không sao chp từ bắt kỳ một nguồn nào và dưới bắt kỳ hình thức nào Việc tham khảo các nguồn tả liệu (nêu có) đã được thực hiện trích dẫn và ghỉ nguồn tài liệu tham khảo đúng quy định.

Hộ viên thực hiện

Nguyén Phuong Anh Hing Cuong

LỜI CÁMƠN

Lời đầu ú em xin chân thành gửi lời cảm ơn tỏi các thiy cô trong trường Dai học “Thủy Lợi nói chung và các thiy cô giáo trong Khoa Công nghệ thông tin nói riên những người đã nhiệtình giảng day và truyền đạt những kiến thúc cần thiết trong suốt thời gian em học tập tai trường để em có thể hoàn thành tốt quá trình học tập của mình.

"Đặc biệt, em xin gửi lời cảm ơn chân thành vả sâu sắc đến TS Lé Nguyễn Tuần Thành,

"người đã tr tiếp hướng dẫn tận tình chỉ bảo em trong suốt quá tình fim Luận van thạc

Do kiến thức còn hạn hẹp và khả năng còn hạn ché, kinh nghiệm thực tế không có nhiễ thồi gan có hạn nên trong Luận van thạc sĩ côn nhiề điễm thiểu sót Kính mong quý

thay cô va các bạn thông cảm, đưa ra những góp ý quỷ báu dé Luận văn thạc sĩ của em

được hoàn thiện hơn.

Em xin chân thành cảm ơn!

MỤC LỤC

DANH MỤC CÁC HÌNH ẢNH DANH MỤC BANG BIE

DANH MỤC CÁC TỪ VIET TAT.

1.1.4 Thich thức đối với hệ thông da tác tử.

1.1.5 _ Ứng dụng của hệ thống đa tác tir

133 Ngôn ngữ giao tigp của tá từ

1.4 Qua tinh ra quyết định trong các hệ thống đa tác từ

1.4.1 Cân bằng Nash

1.42 Phương pháp loại bỏ lặp lại

1.5 Su phéi hợp trong các hệ thông da tác tr 1.5.1 Phốihợp thông qua gino thie

152 Phốihợp qua đồ thị

1.5.3 Phối hợp thông qua các mô hình niễm tin

1.6 Quá tình học rong các hệ thống đa ác tử 16.1 Học tập chủ động

162 Học tập phan ting16/3 Học tập dựa trên hệ quả

17 Mô bình hoá và mô phòng da te tr

17.1 Giới thiệu về mô hình hóa 1.7.2 Giớithiệu v8 mô phỏng

1.7.3 Một số nền tảng mô hình hóa và mô phỏng da tác tir

124 Nan tàng NetLogo L8 Tổng kếtchương

'CHƯƠNG 2 MO HÌNH HOA BÀI TOÁN SƠ TAN SÓNG THAN 2 Bai todn sơ tin sóng thần

2.1.1 Kháiniệm về sống thin

2.1.2 Thực trang nghiên cứu sóng thin ở Việt Nam

2.1.3 - Mức độ nguy hiém sóng than trong khu vực biển Đông2.114 Bài toán sơ tấn sing thin

2.2 Khảo sit ede mô hình sơ tán sóng thần đã được phát triển

2.3 Xây dựng mô hình sơ tán song thần ở Đà N

3.2 So sánh các chiến thuật sơ tân cho khách du lich

3.3 Hiệu quả của việc nhận thức đây đủ về khu vục bị ảnh hưởng KẾT LUẬN VÀ HƯỚNG PHÁT TRIÊN

“TÀI LIỆU THAM KHẢO.

DANH MỤC CÁC HÌNH ẢNH

Hình 1.1 Mô hình tác tử trí tuệ nhân tạo được đề xuất bởi Russell và Norvig vào năm 1995 [2] 3Hình 1.2 Các khối xây dựng điền hình của một tác từ tự tr 5Hình 1.3 Phân loại hệ thống đa tác tử dựa trên các thuộc tính khác nhau [1], 12Mình 1.4 Kiến trúc tác tir phân cắp [1] 13 Hình 1.5 Một vi dy về “Superholon” với các vòng lồng nhau tương tự như kiến trúc đa tắc tử phân cấp [1] 15 Hình 1.6 Kiến trúc đa tác tử liên mình sử dụng các nhôm chồng chéo [1] 16 Hình 1.7 Kiến trúc da tác tir nhóm với chế độ xem một phần các nhóm khác [1] 18

Hình 1.8 Giao tiếp giữa các tác từ [1] 19

Hinh 1.9 Giao tiếp bảng den giữa các tác tử [1] 20 Hình 1.10 Giao tiếp bảng den sử dung giao tiếp từ xa giữa các nhóm tác tử [1 2!Hình 1.11 KQML, - Cấu trúc ngôn ngữ phân lớp [1] 231.12 Phân loại các công cu, nén ting mô hình và mô phòng da tác tử [4] 35

Hình 1.13 Cita số hiển thị giao diện của mô hình một đàn kiến kiếm thức ăn, được

cung cắp sin trong thư viện của NetLogo 38 Hình 1.14 Cita số hiển thị thông tin của mô hình 38

Hình 2.1 Vận tốc lan truyền của sóng thin với những độ sâu khác nhau [6] "

Hình 2.2 Sóng thin hình thành do động đất ở các đới hút chim [6] 42Hình 2.3 Sóng thin hình thành do trượt lở đắt [7] 2

inh 2.4 Thiệt hai do thảm hos động đất, sóng thin gây ra tại Nhật Bản ngày

11/08/2011 d4 Hình 2.5 Bản dé kiến tạo khu vực biên Đông Nam A [7| 46 Hình 2.6 Bản đồ địa chấn kiến tạo lãnh thổ Việt Nam [8] 47 Hình 2.7 Sơ dé phân bổ vùng nguồn sóng thin trên Biển Đông [9] 50

Hình 2.8 Mang lưới đường bộ trong khu vực nghiên cứu được trích xuất từ

'OpenStreelMap, 5ãHình 2.9 Vị tr các điểm tra ân trong khu vực nghiên cứu ¬

Hình 3.1 Giao điện tổng quan mô bình sơ tan sông than tại Đà Nẵng 56

Mình 3.2 Mô hình sau khi thiết lập hoàn thành 37 Hinh 3.3 Giao diện tham số đầu vào các tác tử con người và phương tiện giao thong.59 Hình 3.4 Các tủy chọn khác rong mô hình 59

Hình 3.5 Kết quả chạy mô hình so tán sống thần tại Ba Nang 60

Hình 3.6 Ty lệ phần trim về thương vong của dan bản địa va khách du lich, theo thời gian thực 64

Hinh 3.7 Tỷ lệ phần trim đã sơ tn thành công vào địa điểm trú én của dan bản địa và

hich du lich, theo thời gian thực 64

DANH MỤC BANG BIEU

Bang 3.1 Thiết lập các điểm trú ân.

ic tham số đầu vào của mô hình

n thuật sơ tan theo hiệu ứng đám đông

DANH MỤC CÁC TU VIET TAT

TÊN VIET TAT TỪ ĐÂY DU NGHĨA TIENG VIỆT MAS Multi Agent System HỆ thống da tá từ

ABM ‘Agent-based modeling (MG hình ha đựa rên tác tr

ABMS Agent-based modeling and | Môhinhhóa vàmôphỏng dựa

KIE Knowledge Interchange Format | Binh dang trao đổi tr thức

KQML Knowledge Query and Ngôn ngữ thao tác và truy vấn

‘Manipulation Language tr thúc

FIPA Foundation for Intelligent | Môinhchotáctử vi thong

MỞ DAU

Hoat động dia chất của vành dai lửa Thái Bình Dương là nguyên nhân chính dẫn đến hằng loạt vụ sóng thần có sức tần phá kinh hoàng trong lich sử nhân loại Tối ngày 22

tháng 12 năm 2018, một trận sóng thần đã xảy ra sau hoạt động của núi lửa Anak

Krakatau Trận sóng thần xuất hiện sau khi một mảng rộng 0.64 km vuông ở sưởn tây nam núi lửa Anak Krakatau đồ sụp xuống biển, gây lở dat dưới biển Sóng than kết hop với tiểu cường tạo ra những cơn sông cao 3 m, tin công vùng bở biễn phia nam dioSumatra và phía tay đảo Java Thảm họa này khiến ít nhất 373 người đã thiệt mạng, 1459 người bị thương và 128 người vẫn mắt tích Trước đó là trận sóng thin xảy ra vào ngày 28 thing 9 năm 2018, cũng tại thành phố Donggala và Palu, trên đảo Trung ‘Sulawesi thuộc Indonesia đã liên tục hứng chịu hai trận động đắt mạnh 6,1 độ Richter và 7.5 độ Richter làm rung chuyển cả khu vục Toàn bộ vịnh đã bị tin công bởi sóng thần với chiều cao từ 22 m đến 6 m và vào sâu trong đất in khoảng 500m tính từ bờ biển Sóng thin đã cướp di sinh mạng của 2073 người, làm 10679 người bị thương và 680 nạn nhân mắt ích Những thiệt hại vé người vã ti sản này do những trận sông thin

ây ra phải mắt nhiều năm mới có thé khắc phục được.

"Để giảm thiểu thiệt hại gây ra bởi các thảm hoạ thiên nhiên, các nhà nghiên cứu đã để xuất nhiều cách tiếp cận Một trong số các cách tiếp cận được sử dụng nhiều là mô hình hoá và mô phông các hệ thống quản lý thiên tri, rong đó hệ thông da te ừ được sử <dung phổ biển hơn cả, Hệ thống da tá tử là một cách tiếp cận mới nhưng có ưu điểm, tip cho mô hình hoá, mô phỏng và phân tích nhiều bài oán phức tạp trong thực tế màcác hệ thống khác khó có thể làm được Hệ thống đa ác tử bao gồm tập hợp các tá tử tương tác lẫn nhau và giao tiếp với môi trường xung quanh nhằm đạt được những mục tiêu của chúng Khi sử dụng hệ thống đa tác tử, ta thu được những kết quả mô phòng của các bai toán phức tạp trong thực tế một cách hiệu quả hơn Nhờ các kết quả được cai thiện này, quả trình ra quyết định được hi trợ chính xác hơn và ải hiện chất lượng

của quản lý khủng hoảng,

Quan lý sóng thần là một nh vục bao quát rộng lớn bao gồm việc lập kế hoạch cho các sự kiện song thần có thé xây ra trong tương lai gin; liên quan điviệc phản ứng với cá sự kiện tiêu cục trong và sau khi sóng thin đập đến và thực hiện một cuộc sơ tấn quy mô lớn Mục đích của nghiên cứu đặt ra là thực hiện sơ tán sau khi sóng thin ập đến Day là thành phần quan trọng tong lĩnh vực quản lý sóng thin,

Mi tiêu của luận văn này gm có bai phần: nghiên cứu lý thuyết về hệ thống da tác từ

và áp dụng vào bãi toán sơ tin sóng thin trong thực tổ Phin nghiên cứu lý thuyết bao

gồm: Nghiễn cứu các hệ thống da tác tử hiện có và nghiên cứu tiến tri sơ tán sóng

thần trong thực tế ở Việt Nam Phin thực ngbao gốm: Mô hình hoá so tin sóngthần sử dụng công cụ NetLogo, sau đồ ding các kich bản khác nhau tiến hành mô phông mô hình này Sau khi thực hiện mô phỏng mô hình, các kết quả thu được từ các kịch bản thử nghiệm sẽ mang ra so sánh, phân tích, đánh giá hiệu qua.

Bồ cục của luận văn được trình bày trong 3 chương như sau: Chương 1 Tổng quan về hệ thing da te từ

Chương 2 Mô hình hóa bài toán sơ tínsóng thanChương 3 Mô phỏng mô hình sơ tán sóng thin

CHUONG1 TỎNG QUAN VEHỆ THONG ĐA TA

LL Giới thiệu về hệ thống đa tác tir LLL Giới thiệu chung vé tác tie

Đến thời điễm hin ti, các nhà nghiên cấu trong lnh vục tí tuệ nhân ạo vẫn chưa thống nhất được một định nghĩa cho khái niệm “Tae tử” (Agent) Lý do đầu tiên và quan trọng nhất cho điều này a do tin ph biển của từ “Aent” khiến cho nó không thé được

sở hữu bởi bat cứ một lĩnh vực cụ thé nào Thứ hai, các tác tử có thé hiện điện ở nhiều.

dạng vật chất khác nhau, từ rõ bét đến mang mắy tin, Thử ba, ứng dung của tác từ rấtda dạng và không thể khái quát được Các nhà nghiên cứu đã sử dung các thuật ngữ như “sofibots” (tác tử phần mém), “knowbots” (tác tử trì thức] “taskbots” (tác tử dựa trên,nhiệm vụ) dựa trên môi trường ứng dụng nơi các tác tử được sử dung [1]

Định nghĩa vé tác từ đạt được sự đồng thuận lớn nhất là của Russell và Norvig Họ định nghĩa tic tử là một thực thé tự trị linh hoạt có khả năng nhận thức môi trường thông qua các cảm biển được kết nồi với nó Các hoạt động này tác động lên môi trường thông qua ác bộ truyền động Định nghĩs này không bao gằm toàn bộ phạm vi ie đặc điểm ma tắc từ phải có Một hình ảnh thường được sử dụng để minh hoa tác từ bằng định nghĩa của Russell và Norvig [2] , được chỉ ra trong Hình 1.1 Mô hình tác tử trí tuệ nhân tạo.được dé xuắt bởi Russell và Norvig vio năm 1995

Ilva Norvig vào nim

Dé phân bgt tc từ với các định nghĩa khác tương tự với nỗ (vi dụ như hệ thống chuyên

gia ~ expert systems và bộ điều khiển phân tan ~ distributed controllers), một số đặc

điểm quan trọng dưới đây sẽ thể hiện rõ rằng hơn sự khác biệt giữa tác tir và các hệ này

= Tình trang (iateảnes): Điều này db cập đn sự tương tắc của mộttc từ với môi

trường thông qua việc sử dụng các cảm biến va kết quả của việc chấp hành các hành động một cách có ổ chức Mỗi trường mà tc ừ có mặt là một phần không thể thiếu trong thiết kế của nó Tat cả các yêu tô đầu vào đều được nhận trực tiếp do các tác tử tương tác với môi trường của chúng Tác tử trực tiếp tác động lên môi trưởng.

thông qua các bộ truyễn động và không chỉ đóng vai tr là cố vẫn cấp cao Thuộc.

tỉnh này giúp phân biệt nỗ với các hệ thống chuyên gia ~ một hệ thẳng mà các nút quyết định hoặc thực thé đề xuất các thay đổi thông qua tắc tác từ trung gian và không ảnh hưởng trực tiếp đến môi trường.

= Quyén te chỉ (autonomy): Đây là đặc trưng quan trọng nhất của tác tử Tỉnh tự chủcó thé được định nghĩa là khả năng của một tác tử la chọn hành động của minh một

cách độc lip ma không cổ sự can thiệp từ bên ngoài của ác tắc tr khắc trong mangđối với trường hợp hệ thống đa tác tử hoặc sự can thiệp của con người Tinh tự chủ:

ở chỗ mỗi tác tứ đều6 tính tự chủ bên trong và tính tự chủ về hành động.

“Tính tự chủ bên trong có nghĩa ki mỗi tác tr đều có một trang thái độc lập, ách biệt

với các tác tử khác, các tác tử khác không thẻ can thiệp hay truy nhập vào trạng thái

“Tính tự chủ bên ngoài thể hiện ở chỗ mỗi tác tử này đều có th tự quyết định

các hành động của chính nó, các hành động nảy có thể là hành động đơn lẻ hoặc một

hành động dựa trên trang thải hiện thời của tác tử này ma không có sự can

thiệp của yếu tổ môi trường bên ngoài hay các tác tử khác.

~ _ Khả năng suy điền (inferential capability): Khả năng của một tác tử làm việc trên các đặc tả của các đối tượng trong môi trường như suy luận một đối tượng bằng cách. tổng quát hóa thông tin Diều nảy có thể được thực hiện bằng cách sử dụng các nội ‘dung liên quan của thông tin

~ _ Khả năng dap ứng (responsiveness): Đặc tính này cực kỳ quan trọng đối với các ứng

‘dung thời gian thực, Tinh phan ứng có thể được hiểu li khả năng tác tử có thể nhận.biết được môi trường xung quanh hay các tác tử thông qua bộ phận cảm cảm biến.Sau đồ tác từ dựa trên nhận biết đó để đáp ứng kịp thời những thay đổi xảy ra trongmôi trường mã nó đang hoạt động Tính phản ứng được thể hiện rõ nhất ở các tác tử

hoạt động trên các môi trường có tính mở và hay thay đổi như Internet, môi trường,mạng phân tin hay môi trường vật lý Phản ứng củamộtse tử khi có sự thayđồi từ môi tường đối với môi trường mà nó đang hoạt động đều nhằm mục đích thực

hiện mục tiêu của tác tử đỏ.

Tinh chủ động (pro-activeness): Khi mỗi trường có sự thay đỗi, một chuỗi hành động

sẽ được xác định cần thực hiện bởi tác tử trong môi trường đó chứ không chỉ phản

{img lại những thay đổi này một cách đơn giản Mỗi tác tử sẽ tự chủ động trong việc

khởi động và thực hiện chuỗi hành động phản ứng này Điều này nhằm tăng cường

các hành động hướng tới mục tiêu thay vi chỉ phản ứng với một sự thay đổi cụ thé trong môi trường, Tác tử phải có kha năng thích ứng với bắt ky thay đổi nào trong môi trường năng động.

Hanh vi xã hội (social behaviour): Mặc đủ quyết định của tác tử phãi không có sự can thiệp từ bên ngoài, nó vẫn phải có khả năng tương tác với các nguồn bên ngoài khi phát sinh nhu cầu để đạt được một mục tiê 1 cụ thể, Nó cũng phải có khả năng

chia sẽ kiến thức này và giúp các tác từ khác giải quyết một vẫn d8 cụ thé (rường

hợp hệ thing da te ti) Mỗi tác tử phải có khả năng học hỏi knh nghiệm của các thực thé giao tiếp khác có thé là con người, các ác tử khác trong mang hoặc bộ điều khiển thống kê Các tác tử ngoải việc hướng tới mục tiêu của riêng mình thì còn có Khả năng trơng tác với các ti tr khác, các hoạt động tương tắc này rt da dang bao

gẳm cạnh tranh, phối hợp, thương lượng Sự tương tác giữa các tắc tử để hướng

tối mục tiêu chung cña hệ thông

Một số thuộc tính khác được liên kết với các tác tử bao gồm tính di động, tính liên tục.

theo thời gian, hành vi cộng tác Dựa trên việc liệu một thực thé máy tính có thé đáp.‘ing tắt cả hoặc một vai thuộc tính trên, các tác tử có thé được chỉ định thêm là tác tử

u hoặc mạnh.

“Tuy nhiên, rất khô để xác định đặc tinh của các tác ử chỉ dựa trên những đặc tính nảy.

Nó cũng phải dựa trên sự phúc tạp liên quan đến thiết kể, chức năng sẽ được thực hiện

và inh hợp lý được thể hiện112 Khái gm về hệ da tác nik

Hệ thống đa tác từ (MAS) là một phần mở rộng của công nghệ tác từ trong đó một nhómsắc tic từ bị được kết nổi linh hoạt hành động trong một môi trường để đạt được mục

tiêu chung Điều này được thực hiện bằng cách hợp tác hoặc cạnh tranh, chia sẽ hoặc

không chia sé kiến thức với nhau.

Hệ thống đa tá từ đã được áp dụng rộng ri trong nhiều tah vue ứng dụng với các bài toán thực tế nhờ những lợi ích thiết thực và to lớn nó đã thực hiện được Trong các hệ thống lớn, kh sử dụng công nghệ MAS sẽ dem lại một số lợi ích

~ Việc tính toán song song và hoạt động không đồng bộ sẽ giúp hệ thống tăng tốc độ tu quả của các hoạt động

~ HG thống sẽ bị xuống cấp khi một hoặc nhiễu tác từ bị lỗi, Do đó, nó làm tăng độ tin

và mạnh mỹ củ hệ thông

= Kha ning mở rộng và tính nh hoạt có nghĩ là có thé thêm các tá từ khí c thiết

= Các tác tử riêng lẻ có chi phí thấp hơn nhiều so với kiến trúc tập trung, điều nay giúp giảm được chỉ phí

Tác tử có cấu trúc mô-đun, điều này khiến cho chúng có thể đễ dàng thay thé khi cược ghép vào trong các hệ thống khắc và có thé nâng cấp hệ thống dễ đăng hơn hệ

thống nguyên khối Từ đó, các tác tir này có khả năng tái sử dung,

Mặc dù hệ thống đa tác tử có các tính năng có lợi hơn hệ thống tác tử đơn lẻ, nhưng chúng cũng đưa ra một số hạn chế quan trọng được nhắc đến dưới đây.

~ _ Mới trưởng: Trong một hệ thông nhiều tắc tử, mỗi tác từ phải dự đoán hành động của các tic tử khác đễ quyết định hành động tố uu sẽ hướng tới mục tiêu Nguyên

nhân là do hanh động của một tác tử không chỉ điều chinh môi trường của chính nó. mà còn của các tác tử lân cận Vấn trở nên phức tạp hơn nữa nmỗi trường biển đổi én te với kiểu học đồng thời vi kiễu học này có thẻ din đến hành vi không ôn định và có thể gây ra hỗn loan, Ngoài ra, mỗi tác tử edn phải phân biệt giữa các tác động gây ra do các biển thể trong chỉnh môi trường và các bảnh động cửa tác từ khác,

= Nhận thức: Trong một hệ thống nhiều tác tử phân tắn, mỗi tác tử có khả năng cảm

biển và các tá từ nằm rã rác khip noi trong mdi trường nhưng phạm vi phủ sóng

của các cảm biển được kết nổi giữa các tie tử bị hạn chế Điều này giới hạn hoạt

đồng của tùng tá từ trong mỗi trường Do đồ, việc đạt được một giải pháp toàn cầu bing cách này trở nên khó thy hiện và các quyết định dựa trên các quan sắt từng phan được thực hiện bởi mỗi tác tử có thé là không tối ưa.

= Tink tru tượng: Trong hệ thing đa ắc tú, giả định ring toàn bộ không gian hình.

động của tác tử được tác tử đó nhận biết và việc ánh xạ không gian trạng thái sang

không gian hành động có thể được thực hiện bằng kinh nghiệm, Trong hệ thống đa

tắc ức mọi tác từ không tri qua tất cả các tang thái ĐỂ tạo một bản đổ, nó phải có

khả năng học hỏi kinh nghiệm từ các tác từ khác6 khả năng hoặc quyra quyi

định tương tự Bằng cách tạo ra sự liên lạc giữa các tắc tử, trong trường hợp các tác, từ hợp tác với các mục tiêu tương tự có thể được thực hiện một cách dễ ding, Mỗi tức từ cố gắng tăng cơ hội chiến thẳng của chính mình trong trường hợp cúc tác từ

này có mỗi tương tác cạnh tranh với nhau, vì vậy chúng sẽ không chia sé thông tin

Do đó, điề

của tác tử khác phải được ghỉ nhận lại để tạo ra một mô hình hiệu quả hơn về môi cắn tết là phải định lượng khối lượng thông tin địa phương và khả năng trường,

= Giái quyét sung đột: Xung a bit nguồn từ vie thiểu tằm nhin toàn cục cho mỗitác tử Một tác tử lựa chọn một hành động để s la đỏi một trạng thái nội bộ cụ thể có.

thể gây ra ảnh hưởng không tốt cho một tác tử khác Trong trường hợp này, thong

tin về các rằng buộc, sở thích hành động và mye tiêu wu tiên của các tác tử phải được.

chia sẽ giữa các bên để cải thiện sự hợp ác Một vin để chính là biết khi nào nêntruyền đạt thông tin này và cho tác tử nào

= Suy luận: Có thể đễ đàng rút ra suy luận của một hệ thống đa tác tử bằng cách ánhxạ không gian trạng thái với không gian hành động dựa trên các phương pháp thử.

sai Tuy nhiên trong hệ thống đa tác tử, điều này rất khó vì môi trường đang được.

sửa đỗi bởi nhiều tá tử có th tương tác với nhau hoặc cỏ thé không tương tác với nhau Hơn nữa, một hệ thống da tác tử ma trong đỏ các tác tử có các mục tiêu khác nhau và kha năng đa dạng được gọi là các tác tử không đồng nhất Những tác tử này 6 thể không hợp tic và cạnh tranh với nhau Việc xác định một cơ chế suy luận phù

hợp với khả năng của từng tác tử tử nên quan trọng để đạt được giải pháp tối ưu

toàn cục,

Không nhất thiết phải sử dụng hệ thông đa tác từ cho tắt cả các ứng dụng Một số lĩnh

vực ứng dụng cụ thể có thể yêu cẫu trong tác với những người hoặc tổ chức Khác nhau 6 các mục iêu xung đột hoặc chung có thể sử dụng các lợi thé do hệ thống da te tử thể hiện trong thiết kế của minh.

1.1.3 Các đặc diém của hệ da tác tử"MAS có các đặc diém chính như sau:

sót và khả năng giải quyết vin để thiểu sót dẫn tới Lượng thông tin thi

tác tử chỉ có một tim nhìn hạn chế.

~ _ Không có một hệ thống điều khiển toàn cục.

~ Dữ liệu không,trùng~ Tinh toán không đồng bộ.

"Những wu điểm chính của hệ đa tác tử:

ái quyết các vẫn đề phức tạp của tie từ

= _ Đối với từng tác tử riêng lẽ hệ cho phép g

~ _ Việ tích hợp với các hệ hng và các chương trình có trở nên dễ ding hơn

đề có cau trúc tương tự với hệ da tác tử, việc mô hình hóa sử dụng ra một cách tự nhiên va trực giác.

= Đối với các vẫn đề mà thông tin có tính phân tần, hệ da tác tử có thể giải quyết tốt

MAS có các hiệu quả đạt được về mặt hiệu năng:

~ _ Hiệu quả tính toán (computational efficiency): wu điểm từ việc tính toán đồng thời

cùng với chi cin truyền những dữ liệu ở mức cao chứ không phải là các dit liệu ở dẫn tới giảm được việc truyền thông

~ Tinh tin cậy (reliability): do các tác tử với các khả năng dư thừa hoặc phối hợp tương

úthích hợp mang tinh động nên dễ đàng tìm được hoặc thay thể, đảm nhận công

việc của những tác từ lỗi tạo ra khả năng phục hồi tuyệt vời của các thành phần trong

= Khả năng mở rộng (extensibility): số lượng và khả năng của các tác tử lành hoạt,

nói cách khác chúng có thé thay di nhanh chóng

~ _ Mạnh mẽ (robust): vì thông tin thích hợp được trao đổi giữa các tác tử nên tính không.

chắc chắn được chấp nhận

= Kh năng bảo tỉ (maintainability): do tính mé-dun của thành phần nên hệ thống bao gằm nhiều thành phần dễ bảo tỉ hơn.

= Tinh dap ting (responsiveness): do có tính mô-đun, không cin phải dung đến toàn bộ hệ thông, các vẫn đề vẫn có thể được giải quyết một cách đơn lễ

~ Tinh uyễn chuyển (flexibility): việc tổ chức giải quyết vẫn đề hiện tại có thể thích

thích nghỉ nhanh chóng bởi các ác tử với các khả năng khác nhau

= _ Tải sử dạng (reuse): các chức năng xác định của mỗi tác tử có thể sử đụng lại nhằm,

ic vấn đề khác

giải quyết trong những nhóm te ừ khác nhau LIA Thách thức đối với hệ thẳng da tác te

Ngoài những ưu điểm nỗi bật, hệ thống đa tác tử cũng phải đổi mặt với không ít thách

thức, khổ khăn Dưới đầy là một số vẫn đong thết kế v cải dt

= Vin đ biển didn, mô tả, phân chi và phân bổ các, tổng hợp kết qu trong một nhóm

ccác tác tử được thực hiện như thé nào?

= Khả năng tryễn tin vi tương ti lẫn nhau giữa các te tử sẽ sử dụng phương pháp

nao để tạo ra? Ngôn ngữ và giao thức truyền thông nao sẽ được sử dung?

> Đối với ic hành động và quyết định của tác tử, với mục tiêu trắnh những tương táccgây hại thực hiện như thé nào?

= Các thức hợp tá ác tr không đồng nhất với khi lượng t thức khác nhau,giữa các cách thức suy luận và biểu diễn bành động, kế hoạch khác nhau như thé nào ? Vấn 48 nhận biết được trạng thái của quá trình phối hợp như thể nào?

~ _ Trong quá trình phối hợp bành động, những dự định mâu thuẫn giữa một nhớm các

giữa các tác tử trong nhóm này xác định thé nao?

= Vẫn để cân bằng hiệu quả tính toán cục bộ và truyền thông, tổng quát hơn là việc phân

~_ Đối với các hệ thống da tác tử trong thực tế, việc kỹ thuật hoá và áp dụng các kỳ nguồn lục có hạn một cách hợp lý?

thuật nay bằng phương pháp nào? Việc thiết kế nền và phát triển các phương pháp.luận cho MAS được thực hiện như thé nào?

“Cũng như nhiều hướng nghiên cứu và công nghệ khác, ác từ không phổi là một côngnghệ hay một hướng nghiên cứu độc lập hoàn toàn mới Tác tử được hình thành từ việc nghiên cứu nhiều công nghệ khác nhau với nhiều hướng nghiên cứu, đồng thời sử dụng sắc kết quả từ các hướng nghiên cứu này để xây dựng nên nó ĐỂ tăng hiệu quả củanhững ứng dụng hiện tại mà không phải nghiên cứu ứng dụng mới, tác tử sẽ được sửdung kết hợp với các ứng dụng này, điều này còn cho phép bổ trợ tầng khả năng của cácứng dụng đó Các lĩnh vực nghiên cứu liên quan tới tắc từ bao gồm:

~ Trí tuệ nhân tạo.

© Mạng máy tỉnh, inemet, intranet

~ _ Công nghệ phần mềm.

115 ing đụng của hệ thing da tie tit

“Các ứng dụng của tác tử và hệ dang tác tử rit da dang và phong phú, nhờ dé trong thực tế đã có rit nhiều các ứng dụng thảnh công của tác tứ và hệ tác tử, Giải pháp sử dung túc tử trong những môi trường ứng dụng khác nhau có các ứng dung tiêu biểu thể hiện

uu điểm

~ _ Ứng dung trong quản lý sản xuất Hệ thống ứng dung được xây dựng dưới dang các

tức tử cộng tác với nhau trong đó các thành phần của xưởng cùng với mỗi xưởng

c tử, từng tác tử có kế hoạch và khả năng của riêng mình.Từ tác từ mức trên phân chia các công vige xuống các te tử mức dưới thấp hơn vàxuống tới từng vị ti công việc tủy thuộc và kha năng của chúng Tiêu biểu của hệ

thống này là hệ thống YAMS Trong các lĩnh vực như hỗ trợ thiết kể sản phẩm, sản

xuất và quản ý robot công nghiệp hệ te tử còn được sử dụng như một biện pháp tốivu hơn

~ _ Tác tử quan lý luồng công việc (workflow): hệ thống British Telecom xây dựng dựa

trên ADEPT ADEPT lả điển hình cho loại hệ thống mô hình hóa các bộ phận và nhân viên như tác ử thương lượng với tá tử khác để giải quyết công việc, những túc từ cùng cấp dịch vụ đánh giá

~ _ Tác tr tha thập và quản lý thông in: Có hai hệ thống ác te thông tin ti biểu là tác từ lọc và phân loại thư điện tử được gọi là ác ử thông ti cá nhân MAXIMS và hệ âu tw đa tác tử cho phếp lọc và thu thập thông tin được gợi là hệ quản lý vốn

WARRE Tác tử thuộc loại nay chủ yếu được dùng đểải quyết các vẫn đề dư thừa thông tin, Thao tác xử lý chủ yếu của loại tác tử này bao gồm sang lọc va thu thập

thông tin

~ _ Tác từ phục vụ thương mại điện te: Tiêu biểu là hệ thống chợ dign tử Kasbah Các

loại tác tử bao gồm tác tử đầu gitác tử mua hing và chợ điện tử.

~ _ Tác tử giao diện: Phổ biến nhất của tác tir giao diện là thành phần được cung cấplà tác từ Office Assistant.

trong bộ ứng dụng của Microsoft Office có.

= _ Trồ chơi sử dụng tắc từ

1.2 Phân loi các hệ thống đa tác tử

Việc phân loại hệ thing đa tác ử là một công việc Khó khăn vì nỗ có thể được thực hiệndua trên một số thuộc tính khác nhau như kiến trú, học tập, gia tiếp, phối hợp Phân loại chung bao gồm hau hết các tính năng này được thể hiện trong Hình 1.3 Phân loại hệ thống đa tác ử dựa trên các thuộc tinh Khe nhau

12.1 Kiến trúc bên trong

Dựa trên kiến trúc bên trong của các tác tử cụ thể tạo thành hệ thống đa tác tử, nó có thể được phân loại thành hai loại

= Cấu trúc đồng nhất

- Cấu trúc không đồng nhất Cấu trúc đồng nhất

“Trong một kiến trúc đồng nhất, tắt cả các te từ tạo thành hệ thống đa ác tử có cùng một kiến trúc bên trong.ién trúc bên trong đểđến mục tiêu cục bộ, khả năng cảm biển, trạng thái bên trong, cơ ch suy luận và hành động có thể xảy ra Sự khác biệt giữa các tác tử là vị trí thực của nó và một phan của môi trường nơi hành động được thực hiện Mỗi tá tử nhận được đầu vào tired phần khác nhau của môi trường Có th có sự chẳng chéo trong các đầu vào cảm biển nhận được Trong một môi trường phân tén điễn hình, hiểm khi cổ sự chồng chéo cia các đầu vào cảm quan.

Cấu trúc không đồng nhất.

“Trong một kiến trúc không đồng nhất, các tác tử có thể khác nhau về khả năng, cấu trúcvà chức năng, Dựa trên động thái của môi trường và vị tí của tắc tử cụ thể, các hành. dong được tắc tử lựa chọn có thé khác với tác tử nằm ở một phin khác nhưng nó sẽ có cùng chúc năng Kién trúc không đồng nhất giúp làm cho các ứng dụng mô hình hóa

gần với thé giới thực hơn nhiều Mỗi tác từ có thể có các mục tiêu cục bộ Khác nhau cóthể mâu thuẫn với mục tiêu của các tác tử khác Có thé tl y một vi dụ điển hình về điều này trong trỏ chơi Predator-Prey Ở đây, cả con mỗi và động vật ăn thịt đều có thé được mô phòng thành tác tử Mục tiêu của ha tác tử có thé mẫu thuẫn trực iẾp với nhau 1.2.2 TỔ chức tác từtổng thể

“Tổ chức phân cắp

'Tổ chức phãn cấp là một trong những thiết kế tổ chức sớm nhất trong các hệ thống đa cắp Kiến trúc phân cấp đã được áp dụng cho một số lượng lớn các bài toán phân tắn “Trong kiến trúc tác tử phân cắp, các tác tử được sắp xếp trong một cấu trúc giồng cây điển hình Các tác tử ở các cắp khác nhau trên cầu trúc cây có mức độ tự chủ khác nhau. Dữ liệu từ các cấp thấp hơn của hệ thống phân cấp thường chảy ngược lên các tác tử có hệ thông phân cấp cao hon Tin hiệu ám sat chuyển từ cấp

cao hơn xuống cắp thấp hơn Hình 1.4 Kiến trúc tác từ phân cắp cho thấy một kiến

"ie da tác tử ba phân cắp điễn hình Luông tín hiệu điều khiển là từ tác tử wu tiên cao.

Theo sự phân bổ quyền kiểm soát giữa các tác tử, iến trúc phân cắp có thể được phân

loại thêm là một hệ thống phân cấp đơn giản và thống nhất

ing phân cấp đơn giản: Trong một hệ thông phân cấp đơn giản, quyền ra quyết định được cấp bằng cách sử dụng một tác tử duy nhất ở cắp cao nhất của hệ thống phân cắp Vin đề với một hệ thống phân cắp đơn giản là một lỗi duy nhất của tác tử trong hệ

thống phân cấp cao nhất có thể khiến toàn bộ hệ thống bị lỗi

.Hệ thắng phân cắp thẳng nhất: Trong một hệ thống phân cắp théng nhất, quyền hạn

được phân phố giữa cáctc ử khác nhau để tăng hiệu quả, khả năng chu lỗi có sự suy giảm trong trường hợp lỗi đơn và đa điểm Các quyết định được thực hiện bởi các tác từ 6 thông tin thích hợp Các quyết định này chỉ được gửi lên hệ thống phân cắp khi có xung đột lợi ích giữa các tác tử trong hệ thông phân cấp khác nhau.

Vi du về hệ thống da tic tử phân cắp thống nhất áp dụng cho bài toán điễu khiển tn hiệu giao thông 46 thị, Mục tiê là cung cắp khả năng kiểm soát phân tin thôi gian tn hiệu sino thông Điều này nhằm giảm tổng thời gian t8 của các phương tiện trong mang lưới

đường bộ Hệ thống đa tác từ ba cắp phân cấp trong đó mỗi giao lộ được mô hình hóa.

như một tác tử tạo thành các tác tử ở thứ bậc thấp nhất,p theo là ác tác tử khu vựcgiám sát một nhóm các tá tử cấp thấp hơn và cuối cùng là một tác tử giám sắt dinh duy nhất ở đầu hệ thống phân cấp Tác tử ở cấp thấp hon của hệ thống phần cắp quyết định

thời gian đền xanh ti ưu Điễu này dựa trên thông tin địa phương được thu thập tai mỗigiao lộ Các tác từ ở cắp cao hon của hệ thẳng phân cấp sửa đổi quyết định của các ác

tử cắp thắp hon, Đôi khi có thể có xung đột lợi ch hoặc độ tr tổng thể xảy ra ti một

nhóm giao lộ tăng lên do một hành động đã chọn Ở đây, sự kiểm soát tổng thể được

phân bổ đồng nhất giữa cá tất lợi là số lượng và loại thông tin phảitác tử Một diđược truyền đến các tác tir ở cắp cao hơn Đây là một vấn đề không hề nhỏ khi kích

thước mạng tăng lên.

'Tổ chức tác tử Holonic

“Holon’ là một cấu trú tương tự hoặc phân dang (fractal) ổn định và gắn kết bao gồm

một số "holoilàm cấu trúc phụ của nó và bản thân nó là một phin của khung lớn hơn.

Khái niệm về “holon” do Arthur Koestler để xuất để giải thích hành vi xã hội của các

loài sinh vật Tuy nhiên, cấu trúc phân cắp của “holon” và các tương tác của nó đã được

ih vực sản xuất và kinh c

sử dụng.doanh.

mô hình hóa các hành vi tổ chức lớn trong

Trong một hệ thống đa tác tir holonie, một tác tử xuất hiện như một thực thể duy nhất 6 thé bao gồm nhiều tác tử phụ ring buộc với nhau bằng các cam kết, Cc tác te phụ

không bị rang buộc bởi một rằng buộc cứng hoặc bởi quy tắc định sẵn ma thông qua các.

cam kết Những điều này đề cập đến các mỗi quan hệ được đồng ý bởi tit cả ác te tử tham gia bên trong “holon”.

lỗi “holon” chi định hoặc chon một tác tử đứng đầu (Head Agent) có thé giao tiếp với

môi trường hoặc với các tác từ khác nằm trong môi trường Việc lựa chọn tác tử đứng dau thường dựa trên nguồn lực sẵn có, khả năng giao tiếp và kiến trúc bên trong của timg tác tir Trong một hệ thống đa tác tử đồng nhất, việc lựa chọn có thé là ngẫu nhiên và chính sách xoay vòng có thể được sử dụng tương tự như chính sách được sử dụng, với mạng cảm biến không dây phân tin Trong kiến tric không đồng nhất, việc lựa chon cđựa trên khả năng của tác tử Các “holon” được hình thành có thể nhóm lại theo những lợi ích thấy trước trong việc hình thành một cấu trúc nhất quán Chúng tạo thành *Superholons" Hình 1.5 Một vi dụ về “Superholon” với các vòng lồng nhau tương tự như kiến trúc da tác tử phân cấp cho thấy một “Supetholon” được hình thành bằng cách nhóm hai “holon” Tác tử Al và A4 l tác tử đứng đầu các holon” va giao tiếp vớ tắc tử A7, Đây là phần đầu của “superholon”, Kiến trúc có vẻ tương tự như kién trúc của tỏ chức phân cấp Tuy nhiên, tong kiến trú ba chu, cho phép các tương tác cây chéo và

chẳng chéo hoặc các tác tr tạo thành một phần của hai *holon” khác nhau

“Trong thực tế những năm gần đây đã chứng minh tinh ưu việt của tổ chức đa tác tử “holonic”A quyền tự chủ của các tác tử tăng lên như thé nào khi ở trong một nhóm da

tác tứ, Sự trầu tượng hóa hoạt động bên trong của các “holon” cung cắp mức độ tự do

cao hơn khi lựa chọn hành vi, Một bắt lợi lớn là thiểu mô hình hoặc kiến thức

trúc bên trong của các “holon”, Điều này làm cho các tác tử khác khó dự đoán các hành

động kết quả của “holon” Kiến trúc liên minh

“Trong kiế trúc liên minh, một nhôm tác tứ kết hợp với nhau trong một thời gian ngắ để tăng tiện ích hoặc hiệu suất của các tác tir riêng lẻ trong một nhóm Liên minh chim ditt tổn tại khi đạt được mục tiêu hiệu suất Hình 1.6 Kiến trúc đa tác tử liên minh sử dung các nhồm chồng chéo cho thấy một hệ thẳng da tic ử iện minh điển hình Các ác

tử hình thành liên minh có thể có kiến trúc phẳng hoặc phân cấp Ngay cả khi sử dụng

kiến trúc phẳng, có thể có một tác tử đứng đầu làm đại diện cho nhóm liên minh Sự. chống chéo của các te tử giữa các nhóm liên minh được cho phép vì điều này làm ting

kiến thức chung trong nhóm liên minh Nó giúp xây dựng một môinh niễm tin, Tuynhiên, việc sử dụng chẳng chéo làm tăng tính phức tạp của việc tính toán chiến lược

dam phản Liên minh khó duy trì trong một môi trường năng động do sự thay đối thành

tích của nhóm Có thể cần phải tập hợp li các tá tử để tối đa hỏa hiệu suất hệ thông

Hình 1.6 Kiến trúc đa ác tử liên mình sử đụng các nhóm chẳng chéo [1]

VỀ mặt ý thuyết, việc hình thành một nhóm duy nhất bao gồm tắt cả các te tử rong môi trường ẽ tối đa hóa hiệu suất của hệ thống Diều này là do mỗi tá tử cổ quyền tuy cập vào tắt cả thông tin va tài nguyên cẩn thiết để tính toán điều kiện cho hanh động tối ưu Việc hình thành một lin mình như vậy là không thực tẾ do han ché v giao tiếp và

nguồn lực.

ố lượng nhóm liên minh được tạo ra phải được giảm thiểu để giảm chỉ phí liên quan

đến việc tạo và giải thể một nhóm liên minh, Việc hình thành nhóm có thể được xác

định trước dựa rên ngường đặt ra cho thước đo higu suất hoặc cách khác có thể được phat triển trực tuyển.

“Trong bài toán điều khiển tín hiệu giao thông đô thị, một kiễn trúc đa tác tử liên minh

để điều khign tin hiệu giao thông đô th có thé được sử dụng Mỗi giao lộ được mô hình

hóa như một te ử cổ Khả năng quyết định thời gian đồn anh ti vụ cn th! cho giao lộ đó Một công cụ suy luận thin kinh phân tin được sử dụng để tinh toán mức độ hợp

tác cần thiết va các tác tử phải được nhóm lại với nhau.

“Các nhóm liên minh tổ chức lại và tập hợp lại một cách linh động đối với kiểu đầu vào lưu lượng truy cập dang thay đối Điểm bắt lợi là sự phúc tạp tính toán tăng lên liên “quan đến việc tạo ra các nhóm hoặc nhóm liên minh, Liên minh MAS cỏ thể có hiệu suất ngắn hạn tốt hơn so với các kiến trú tác từ khác.

Kiến trúc nhóm.

Kitrúc nhóm MAS tương tự như kiến trúc liên minh trong thiết ké ngoại trừ việc cáctác tử tong một nhóm làm việc cùng nhau để tăng hiệu suất chung của nhóm Thay vìngười lam việc như một tác từ riêng lẻ Sự tương tác của các tác tử trong một nhóm.

số thể Kha ty ý và các mye tiêu hoặc vai trò được giao cho mỗi tác từ có thể thay đổitheo thời gian dựa trên những cái tiến thu được từ hoạt động của nhóm Nói cách khác,

các nhóm không thé giao tiếp với nhau đã được đề xuất cho vin đề tham gia quần bar,

Mỗi nhóm quyết định xem có nên tham dự một quán bar hay không bằng cách dự đoán

dựa trên mô hình hành vi trước đó và mức độ đám đông đã tải qua là phần thường hoặctiện ích nhận được liên quan đến khoảng thời gian cụ thé Dựa trên các quan sắt được thực hiện, có thể kết luận rằng quy mô nhóm lớn không có lợi trong mọi điều kiện Do đó, một số điều kiện phải được thực hiện giữa lượng thông tin, số lượng tác tử trong nhóm và khả năng học tập của các tắc tử.

“Các nhóm lớn cưng cắp khả năng hiển thị tốt hơn vé mỗi trường và lượng thông liên

quan lớn hơn Tuy nhiên, việc học hỏi hoặe kết hợp kinh nghiệm của các tác tử riêng lẻ

vào một nhóm khuôn khổ duy nhất bị ảnh hưởng Quy mô nhóm nhỏ hơn cung cấp khả năng học tập nhanh hơn nhưng dẫn đến hiệu suit dưới mức tối ưu do tim nhìn hạn chế về môi trường Cn phải cân bằng giữa học tập và hiệu suất khi lựa chọn quy mô nhóm tối ưu Didu này làm tầng chỉ phi tinh toán lớn hơn nhiều so với chỉ phí tính tn rong

kiến trúc hệ thống đa tác tử liên minh, Hình L7 Kiến trúc đa tác tử nhóm với chế độ

xem một phin các nhóm khác cho thấy một nhóm điễn hình dựa trên kién trúc nhóm.

Nhóm 1, 3 có thé nhìn thấy nhau nhưng không nhìn thấy nhóm 2, 4 và ngược lại Hành

vi nội bộ của ctúc tir và vai trò của chúng là ty ý và thay đổi theo nhóm ngay cả trong cấu trúc tá từ đồng nhất

Team 1

Hình 1,7 Kiến trúc đa tác tử nhóm với chế độ xem một phần các nhóm khác [1]Cae biển thể ring buộc trên các khía cạnh của kién trúc bổn tác tir đã đề cập trước đây có thé tạo ra các kiến trúc khác như liên doan, xã hội và hội đoàn Hầu hết các kiến trúc này được lấy cảm hứng từ các mẫu hành vi trong các chính phủ, thể chế và các tổ chúc công nghiệp lớn

1.3 Giao tiếp trong các hệ thống da tác tử

“Giao tiếp là một trong những thành phin quan trọng trong hệ thống da tác tử cần được xem xét cần thân Giao tiếp nội bộ không cần thiết hoặc dư thừa có thé làm tăng chỉ phí

‘va gây mắt ôn định Giao tiếp trong một hệ thống đa tác tử có thể được phân thành hai

loại Điều nay dựa trên kiến trúc của hệ thống tác tử và loại thông tin sẽ được giao tiếp

giữa các tác tử MAS có thể được phân loại là giao tiếp cục bộ, giao tiếp tin nhắn và

mạng lưới hoặc bảng đen (Blackboards) Truyền thông di động có thé được phân loại‘dua trên thông tin liên lạc cục bộ.

1.3.1 Giao tiếp cục bộ

“Giao tiếp cục bộ không có nơi lưu trữ thông tin và không có phương tiện truyền thông

trung gian nào có mat để đồng vai trở điều phối Thuật ngữ truyền thông được sử dụng

48 nhắn mạnh sự liên lạc rực tiếp giữa các tác tử Hình 1.8 Giao p giữa các tác tử cho thấytrúc giao tiếp giữa các tác tử Trong kiéu giao tiếp này, luồng thông tin là hai chiều Nó tạo ra một kiến trúc phân tán và nó làm giảm sự tắc nghẽn do lỗi của các tác tử trùng tâm,

Agent 1

Agent2 4————*| Agent3

Hình 1.8 Giao tiếp giữa các tác tử [1] 13.2 Bảng den

Môi cách khác để trao đổi thông tin giữa cácic tử là thông qua bảng den, Bảng đen dựatrên tác tử, giống như hệ ig liên kết, sử dụng nhóm để quản lý tương tie giữa các tác, tử Có sự khác biệt đáng kể giữa kiến trúc tác tử liên à giaobảng den,

“Trong giao tiếp bảng den, một nhôm tá tử chia sé một kho dữ liệu được cung cắp để lưu trữ và truy xuất dữ liệu hiệu quả được chia sẻ giữa các tác tử Kho lưu trữ có thé chứa cả dữ liệ thiết kế cũng như kiến thức điều khiển mã các tác tử có thể uy cập Loại dữ liệu có thể được truy cập bởi tác tử có thể được kiểm soát thông qua việc sir

dung vỏ khiển Điều này hoạt động như một giao diện mạng thông báo cho tác tử.

khi có dữ liệ liên quan trong kho lưu trữ Võ điều khiển có thé được lập trình để tide

lập các kiểu phối hợp khác nhau giữa các tác tử Cả các nhóm tác tử vả các tác tử riêng.

le trong nhóm đều không cần phải ở gin bảng đen Có thé thiết lập giao tiếp giữa các nhóm khác nhau bằng giao tiếp giao điện từ xa Van để chính là do bảng đen bị hỏng Điều này có thể khiến nhóm te từ trở nên vô dung ty thuộc vào tùng bằng den cụ th “Tuy nhiền, có thé thiết lập một số dự phòng và chia sẻ tải nguyên giữa các bảng den khác nhau Hình 1.9 Giao tiếp bảng đen giữa các tác tử hiển thị một bảng đen duy nhất với nhóm tác tử được liên kết với nó Hình 1.10 Giao tiếp bang đen sử dung giao tiếp tir

xa giữa các nhóm tác tử hiển thị thông tin liên lạc trên bing den giữa hai nhóm tác tử.

khác nhau và cổ tác tử hỗ trợ có mặt trong mỗi nhóm.

Agent 2 Agent 4 Hình 1.9 Giao tiếp bảng den giữa các tác tử [I|

‘Agent Ì4-x] Agent2 ‘Agent

Hình 1.10 Giao tiếp bang den sử dụng giao tiếp từ xa giữa các nhóm tác tử [1]1.3.3 Ngôn ngữ giao tiếp của tác tử

Sự gia ting số lượng tác tử và sự không đồng nhất của nhóm đòi hỏi một khuôn khổ chung dé giúp trong ác vàchỉas thông tn thích hợp Khung chung này được cung cắp bởi các ngôn ngữ giao tiếp tác từ(ACL) Cúc yếu tổ quan tong hàng đầu trong việc thết kế ACL da trên những điều sau dy,

By

~ _ Một ngôn ngữ chung và định dang tương tác (giao thức) có thể được hiểu bởi ắt cả

các tie tử tham gia

= Mật “Ontology” được chia sẽ trong đó thông điệp được tuyển đt có cùng ¥ nghĩatrong tit cả các ngữ cảnh và tuân theo ngữ nghĩa độc lập của tác tử.

“Cổ hai cách tiếp cận phd biển trong việc thiết kế ngôn ngữ gio tiếp cña tác tử Đó là

phương pháp tế cận theo thi tục (rostral apron) và phương pháp khai bo

(Declarative approach) Trong cách tiếp cận theo thủ tục, giaogiữa các tác từ được.mô hình hóa như một sự chia sẻ các chỉ thị thủ tục, Các chỉ thị thủ tục được chia sẻ có.thể là một phần của cách các tác tử cụ thể thực hiện một nhiệm vụ cu thể hoặc toàn bộihoạt động của chính tác tử, Ngôn ngữ kịch bản thường được sử dụng trong cách tiếp cận thủ tục Một số ngôn ngữ kịch bản phổ biến nhất được sử dụng là JAVA, TCL, Appleseript và Telescript Nhược điểm lớn của phương pháp tiếp cận theo thủ tục là sự

sẵn thiết phải cung cấp thông tin v8 tắc từ người nhận mà trong hẳu hết các trường hợp,

không được biết hoặc chỉ được bit một phần Trong trường hợp đưa ra một gid định mô hình si, cách ip cận the thủ tục có th có tác động phá hủy hoạt động của ác tắc tử.

_Ngoài ra, việc hợp nhất e ia sẻ thành một tập lệnh lớn cóp lệnh thủ tục được

thực thi được duy nhất cho tác tử Do những nhược điểm này, phương pháp tiếp cận theo thủ tục không phải là phương pháp tốt nhất dé thiết kế ngôn ngữ giao tiếp của tác từ

Trong cách tgp cận khai áo, ngôn ngữ giao tiếp tác tử được thiết kế va đựa trên sự chia

sé của các câu nh khai báo, xác định các định nghĩa, giá định, khẳng định, tiên đ, "Để thiết kế ACL phủ hợp bằng cách sử dụng phương pháp khai báo, các câu lệnh khai "báo phải đủ biểu cảm bao gồm việc sử dụng nhiều loại thông tin Điều này sẽ làm tăng phạm vi của hệ thing tác tử và cũng tinh sự cần thiết phải sử dụng các phương phip chuyên biệt để vượt qua một số chức năng nhất định Các tuyên bổ khai báo phải ngắn son và chính xá vì việc tăng độ dài sẽ ảnh hưởng đến chỉ ph truyền thông và cũng như khả năng bị hỏng thông tin Các câu lệnh khai báo cũng cin đủ đơn gián để tránh s dụng ngôn ngữ cấp cao Điễu này có nghĩa li không bắt buộc phải sử dụng ngôn ngữ.

diễn giải hông điệp được truyền Để đáp ứng tắt cả các yêu cầu trên của ACL dựa rên

cách tiếp cận khai báo, nỗ lực chia sẽ kiến thức ARPA đã tạo ra một ngôn ngỡ giao tiếp

tắc tied đáp ứng tắt cả các yêu cầu

ACL được thiết kế bao gm ba phần: tir vựng, ngôn ngữ bên trong và ngôn ngữ bên

ngoài Ngôn ngữ bên trong chịu trách nhiệm dich thông tin giao tiếp thành một dạng.

logic ma tất cả các tác từ đề hi được, Vẫn chưa có sự thống nhất về một ngôn ngữcduy nhất và vẫn có nhiều biểu din ngôn ngữ bên trong như KIE (định dạng trao đổi ti

thức), KRSL, LOOM, Biểu diễn ngôn ngữ được to ra bởi các ngôn ngữ bên trong nàyi ngắn gon, rõ ring và phụ thuộc vào ngữ cảnh Các máy thu phải suy ra từ chúng dang, logic ban đầu, Đi với mỗi biểu diễn ngôn ngữ, ACL duy trì một kho từ vựng lớn Một ACL tốt duy ti kho lưu trữ này ở trang thái mở để có thé thực hiện các sửa đổi và bổ sung nhằm tăng cường chức năng Kho lưu trữ cũng phải duy trì nhiều “ontology” và việc sử dụng nó sẽ phụ thuộc vào môi trường ứng dụng.

KIE là một trong những ngôn ngữ bên trong được biết đến nhiều nhất và nó là một phần

mỡ rộng của phép tính vỉ từ bậc nhất (EOPC ~ First-Order Predicate Caleulus) Một số thông tin có thể được mã hóa bằng KIE là dữ liệu đơn giản, ring buộc, phủ định, loại "bỏ, quy tắc, thông tin hỗ trợ trong quá trình quyết định cuối cùng Không thé chỉ sử dung KIF để trao đổi thông tn vì cần phải nhúng nhiều thông tin ngim Điều này để người nhận cỏ thé giải thích nó với kiến thức tối thiểu về cấu trúc của người gửi Điễu này khó đạt được khi kích thước gối tinting lên cũng với sự ga tăng thông tin nhúng Dé khắc

phục điểm nghẽn này, một ngôn ngữ cấp cao sử đụng ngôn ngữ bên trong làm xương

sống của nó đã được giới thiệu Các ngôn ngữ bậc cao này làm cho việc trao đổi thôngtin không phụ thuộc vào cú pháp nội dung và bản thể học Một ngôn ngữ bên ngoài nổi tiếng đáp ứng loại này là KQML (Ngôn ngữ thao tác và truy van tri thức).

KQML được hình thành như cả định dại

tạo điều kiện giao tiếp thông suốt giữa các tác tử KQML bao gồm ba lớp như trong.

thông báo và giao thúc xử lý thông báo để

Hình 1.11 KQML - Cấu trúc ngôn ngữ phân lớp: Một lớp giao tiếp cho biết thông tin

tác từ gốc, đích và nhãn truy vấn hoặc mã định danh, một lop thông báo chỉ định chức

năng được thực hiện và một lớp nội dung để cung cắp cúc chỉ it cin thiết để thực hiện truy vin cụ thể

Communication layer Message Layer

Content Layer

Hình 1.11 KQML - Cấu trúc ngôn ngữ phan lớp [1].

“Trong KOML, lớp giao tiếp ở mức thấp và hưởng theo gói Một phương pháp tiếp cận theo luồng vẫn chưa được phát tiển Các luồng giao tiếp có thể được xây dụng trên ‘TCP/IP, RDP, UDP hoặc bắt kỳ phương tiện truyền thông gói nào khác Lớp nội dung chỉ dink ngôn ngữ mà tá từ sử dụng Cin kưi ý rằng các tác tử có th sử dụng các ngôn ngữ khác nhau dé giao tiếp với nhau và việc thông dịch có thé được thực hiện cục bộ bing các ngôn ngữ cp cao hơn

14 Quá trình ra quyết định trong các hệ thống da tác tử

Quá trình quyết định trong hệ thống đa tác tử khác với một hệ thống quyết định tác tir đơn giản Sự không chắc chắn liên quan đến ảnh hưởng của một hành động cụ thể lên

môi trường và sự biến đổi động trong môi trường do tác động của các tác tử khác làm

cho việc đưa ra quyết định từ nhiề tác tử trở thành một nhỉ n vụ khó khăn, Thông,thường, việ ra uyết định tong MAS được coi là một phương pháp luận để ìm ra một hành động chung hoặc điểm cân bằng nhằm tôi đa hóa kết quả mà mọi tác tử tham gia vào quá trình ra quyết định nhận được Việc ra quyết định trong MAS thường được mô hình hóa như một phương pháp lý thuyết trò choi.

14.1 Cân bằng Nash

"Để có được giải pháp tốt nhất dựa trên ma trận hoàn trả đã xây dựng, phương pháp phd biển nhất được sử dụng là cân bằng Nash, Cân bằng Nash có thể được phát biểu như.

sau: Cân bằng Nashlà một tập dữ liệu hành động a” với thuộc tinh mà không người chơi

nào có th làm tốt hơn bằng cách chọn một hình động khác từ tập a của “x”, với điều kiện là mọi người chơi khác đều tuân thủ a* của

“Trong cắc điều kign lý tưởng nhất, khi các thành phẫ cũ trò chơi được ấy ngẫu nhiên từ một tập hợp các quần thé hoặc tác tử, cân bằng Nash tương ứng với một giá tr trang thái dn định Trong một trò chơi chiễn lược, luôn tổn tại một cân bằng Nash nhưng nó không nhắt tiết là một giải pháp đuy a

1.42 Phương pháp lại bỏ lập lạ

“Trong phương pháp này, các hành động bị chỉ phối mạnh mẽ được loại bỏ lặp đi lặp lạicho đến khi không còn hành động nào bị chỉ phối nghiêm ngặt nữa Phương pháp loại bỏ lặp lại giá định rằng tit cả các tác tử đều hợp lý và nó sẽ không chọn một giải pháp bị chi phối nghiêm ngặt Phương pháp này yêu hơn phương pháp cân bằng Nash vì nó tìm ra lời giải bing thuật toán, Phương pháp loi bo lập Iai không thành công khi không 6 hành động bị chi phối nghiêm ngặt nào có sin trong không gian giải phip Điều này hạn chế khả năng áp dụng của phương pháp trong kịch bản da tác tử, nơi chủ yêu là các.

hành động bị chi pl

1.5 Sự phối hợp trong các hệ thống đa tác tử

Sự phối hợp là vấn để trong tâm trong thiết kế hệ thống đa tác tử Tác tử hiểm khi là hệ

thống độc lập và thường liên quan đến nhiễu hơn một ác tử làm việc song song để dat được mục tiêu chung Khi nhiều ác từ được sử dụng để đạt được một mục tiêu, cần phải

phối hợp hoặc đồng bộ các hành động dé dam bảo sự ôn định của hệ thống Sự phối hợp giữa các tác tứ lâm tăng cơ hội đạt được giải pháp toàn cầu tối ưu Các lý do chính đồi

hỏi sự phối hợp giữa các tác từ:

- _ Để ngăn chặn sự hỗn loạn va vô tổ chức.

~ Dé dap ứng các hạn chế toàn cục

~ _ Các nguồn thông tin, chuyêt thức được phân phối hợp lý.

- _ Để ngăn ngừa xung đột giữa các tác tử.

~ _ Để nâng cao hiệu qua chung của hệ thống.

Sự phối hợp có thé đạt được bằng cách áp dung các rằng buộc đối với các lựa chọn hành động chung của ừng tác tử hoặc bằng cách sử đọng thông in thu thập tử các tác tử sân Chúng được sử dụng để tính toán điểm hành động cân bằng có thé ning cao hiệu “quả tiện ích của tất cả các tác tử tham gia Việc áp dụng các ring buộc đối với các hành. động chung đồi hỏi phải có kiến thức siu rông về môi trường ứng dụng Diễu này có thể

Không có sẵn, Nó đồi hỏi phải lựa chọn hành động thích hợp được thực hiện bởi mỗi tác

ức Né dựa trên hành động cân bing được tính toán Tuy nhiên, ma trân hoàn tr cin

thiết để tính toán giá trị ign ich của tắt củ các lựa chọn hành động có thé khó xác định

Kích thước của ma trận trả thưởng phat triển theo cấp s6 nhân với sự gia tang số lượng túc tử và các lựa chọn hành động có sẵn Điễu này có th tạo ra một nút cổ chai khi inh toán giải pháp tối wu,

Van dé niy có thể được giải quyết bằng cách chia trỏ choi thành một số t choi phụ có

thể được giải quyết hiệu quả hơn Một cơ chế đơn giản có thể giảm số lượng lựa chonhành động là áp dụng các ring buộc hoặc gần vai trở cho mỗi ác tứ Khi một vai td cụ

thể được chỉ định, số lượng các lựa chọn hành động được phép sẽ giảm đi và khả thì hơn về mặt tính toán Cách tiếp cận này có tim quan trọng đặc biệt trong cơ chế phối hợp phan tần Tuy nhiên, trong các kỹ thuật phối hợp tập trung, đây không phải là mối quan tâm lớn vì có thé xây dựng các mô hình niềm ti cho tắt cả các te tử, Ma trận trả thưởng, có thể được tính toán tập trung và cung cấp cho tắt cả các tác tử dưới dang tải nguyên được chia sẻ Phối hợp tập trung được thông qua từ mô hình phối hợp máy khách/chủ

kỹ th " trao đổi thông tin Lich tình tác ử chính của tt cd cúc tác từ được kết nối được yêu cầu

iphối hợp tập trung đều sử dung bảng den như mot:

48 đọc và ghi thông tin từ và đến kho thông tin trung tâm Một số mô hình máy khéch/chit thường được áp dụng là KASBAH và MAGMA Mô hình sử dụng bảng den toàn cục để đạt được sự phối hợp cin thiết Bắt lợi trong việc sử dụng phối hợp tập trung li sự

phân rã bệ thống do lỗi một điểm của kho lưu trữ hoặc của tác tử trung gian Việc sửcdụng thêm kỳ thuật phối hop tập trung là mâu thuẫn với giả định cơ bản của DAL

1.5.1 Phối hợp thông qua giao thức

Một kỹ thuật phối hợp cổ điền giữa các tác tử trong kiến trúc phân tán là thông qua giao.

thức truyền thông Giao thức thường bing ngôn ngữ cấp cao chỉ định phương pháp phối

hợp giữa các tác tử và là một loạt các phương pháp phân bổ nhiệm vụ và tải nguyên.kiện cho viGiao thức được sử dụng rộng rãi nhất là giao thức mạng hợp đồng tạo di

sử đụng kiểm soát phân tin việc thực hiện nhiệm vụ hợp tác Giao thức chỉ định thông tin nào sẽ được truyền đạt giữa các tác tử và định dạng của thông tin phổ biến được xử lý bởi giao thức Một ngôn ngữ gia tiếp cắp thấp như KIF có thể xử lý các uỗng giao tiếp được coi là có sẵn Giao thức tham gia vào việc hương lượng giữa các te tử để đi

một giải pháp thích hợp Quá

~ Bam phán là một quá trình cục bộ giữa các tác tử và nó không liên quan đến sự kiểm

inh đảm phán phải tuân tha các đặc điểm sau:

soit của rung tâm,

= Có sẵn giao tiếp hai chiều giữa tt ca các tác từ tham gia

= Mỗi tác tử đưa ra đánh giá của mình dựa trên nhận thức của riêng về môi trường.

= _ Thỏa thuận cuối cũng được thực hiện thông qua việc lựa chọn chung kế hoạch hành

XMỗi tác tử đảm nhận vai trở của người quả lý và nhà thầu khi edn thiết, Người quản lý về cơ bản phục vụ cho việc chia một vin đề lớn hơn thành các vẫn để phụ nhỏ hơn vàh “quả Nhà thầu có thé tìm ác nhà thầu có thể thực hiện các chức năng nảy một

trở thành người quản lý và giải quyết vấn đỀ phụ để giảm chỉ phí tính toần và tang hiệu quả Người quản lý ký hợp đồng với một nhà thầu thông qua một quá trình dau thâu. “Trong quả trình đấu thầu, người quản lý chỉ định loại tải nguyễn cần thiết và mô tả vẫn

đề cần giải quyết Các tác tử rảnh hoặc rỗi và có đủ nguồn lực cần thiết để thực hiện

hoạt động sẽ gũi giá thấu cho biễt khả năng của họ Sau đó, tác tử quan lý sẽ đánh giả các hồ sơ dự thầu nhận được, chọn một tác tử nhà thầu thích hợp và trao hợp đồng “Trong trường hợp không có sẵn bắt kỳ tác tử ký hợp đồng phù hợp nào, tác tử quản lý sẽ đợi một khoảng thời gian được chỉ định trước trước khi gửi lại hợp đồng cho tit cả

các tác tử Người đại diện ky hợp đồng có thé thương lượng với người đại diện người

cquản lý đ tim kiếm quyền tray cập vào một nguồn cụ thể như một diễu kiện trước khi

chip nhận hợp đồng

Mô hình FIPA là ví dụ tốt nhất

đạt được sự phối hợp giữa các tác tử FIPA (mô hình cho tác tử vật lý thông minh) là mô hình túc từ sử dụng giao thức mang hợp đồng để in để tiêu chuẩn hóa.

một mô hình được phát ng nghệ tác từ FIPA có ACL (ngôn

ngữ gino tiế tác từ) của riêng mình, đông vai trd là xương sống cho giao thức mạng

hợp đồng cấp cao.

[huge điền của phi hợp dựa trên giao thức là gi định về sự tổn ti của một ictừ hợp tác Chiến lược đàm phán là thụ động và không liên quan đến bắt kỳ biện pháp trừng hạt nào cổ gắng buộc một tác từ áp dụng một chiến lược cụ thể Thông (hường, một chiến lược chung đạt được thông qua truyền thông lặp di lặp lại trong đó các tham số dâm phin được sửa đổi dẫn dẫn để đạt được trạng thái cin bằng Điễu này lim cho giao thức mang hop đồng trở nên chuyên sâu vé giao tiếp

1.52 Phi hợp qua dé thị

"Đồ thi phối hop để phục vụ như một khuôn khổ để giải quyết các vẫn để phối hợp phân

tán quy mô lớn Trong đồ thi phi hop, mỗi bài toán được chia thành các bài toán nhỏ

dể giả hơn Gi định chính với đồ thị phối hợp là kết quả cỏ thé được biểu thị đưới dạng kết hợp tuyển tinh của kết quả cục bộ của trò chơi phụ Dựa trên giả định này, thuật toán.

như phương pháp loại bỏ biển có thể tính toán các hành động chungi ưu bằng cáchloại bỏ lặp di lặp lại các tác tử vả tạo ra các him điều kiện mới dé tính toán giá trị lớn nhất mà tác tử có thé đạt được cho hành động của các tác tử khác mà nó phụ thuộc vào Lựa chọn hình động chung chỉ được biết đến sau khử hoàn thành toàn bộ quả trình tính

ja tăng các tá tử và các lựa chọn hành động sẵn có và

toán, quy mô này dựa trên sự gi

Š thời gian Một phương pháp thay thể “được quan tâm trong các quá trình quan trong

sữ dung mac plus gp giảm thời gia tin ton cần thiết đã được sử dụng, Điễu này

nhằm đạt được sự phối hợp trong hệ thông đa tác tứ khi áp dụng cho điều khiển tín hiệu

giao thông đô th

1.523 Phát hẹp thông qua các mô hình niềm tin

“Trong các tink huồng mà thời gian là quan trọng hing đầu, việc phối hợp thông qua các giao thức không thành công khi một tác tử có nguồn lực cụ thể để gái quyết vẫn để phụ từ chối giá thầu Trong các tình huồng như vậy, các tác tử với mô hình niềm tin nội bộ “của các tác tử lân cận có thể giải quyết vấn đề Mô hình niềm tin nội bộ có thể được phát

triển bằng cách quan sát sự hay đổi trong động lực của môi trường hoặc được phát triển

cdựa trên kiến thức kinh nghiệm và chuyên môn về lĩnh vực Khi mô hình bên trong được

phát triển, tác tir phải đủ thông mảnh để phân biệt giữa sự thay đổi của môi trường doc biển thể tự nỉ

các hành động của tác tử khác vi eXây ra trong môi trường,

Một bất lợi khi sử dụng mô hình phối hợp dựa trên nim tin cho các te từ l một mô hình không chính xác có thể gây ra hỗn loạn do các hành động được chọn.

1.6 Quá trình học trong các hệ thống đa tác tir

Việc học hỏi tác tử có thể được định nghĩa là xây dụng hoặc sửa đổi cấu trúc niềm tin dựa trên nén tảng kiến thức, thông tin dau vào có sẵn và các hệ quả hoặc hảnh động cần thiết để đạt được mục tiêu chung Dựa trên định nghĩa trên, việc học của tác tử có thé

due phân thành ba loại

= Học tập chủ động

~ Hie tập phản ứng

~ _ Học tập dua trên hệ quả

“Trong học tập chủ động va phản ứng, việc cập nhật phần niềm tin của tác tir được ưu tiên hơn một chiến lược lựa chọn hành động tối wu vì một mô hình niềm tin tốt hơn có thể làm tăng xác suất lựa chọn một hành động thích hợp.

1.6.1 Hạc tập chủ động

Học tập chủ động có thể được mô tả như một quá trình phân tích các quan sắt để tạo ra

niềm tin hoặc mô hình nội bộ vé môi trường của tác tử có vịt tương ứng Quá trình

học tập chủ động có thể được thực hiện bằng cách sử dụng phương pháp lập luận suyđiễn, quy nạp hoặc xác suất

Trong cách tiếp cận học tập suy luận, ác tử rút ra một suy luận suy diễn để giải thích

một trường hợp cụ thể hoặc chuỗi hảnh động trang thái bằng cách sử dụng cơ sở kiến thức của nó Vì kết quả học được được him ý hoặc suy ra từ nỀ tảng kiến thie ban đầu

đã có, nên thông tin học được của mỗi tác tử không phải là một suy luận mới nhưng hữu.

ich Mục tiêu iêng của mỗi ác tử có thể ạo thành một phần của co sở kiến thức Trong

phương pháp học suy luận, tính không chắc chin hoặc không nhất quán liên quan đến. kiến thức tác tử thường được bỏ qua Điễu này làm cho nó không phủ hợp với các ứng ‘dung thời gian thực.