XÂY DỰNG ỨNG DỤNG mô PHỎNG sự PHỐI hợp của hệ đa tác tử

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KHOA HỌC MÁY TÍNH - LUẬN VĂN TỐT NGHIỆP Đề tài: XÂY DỰNG ỨNG DỤNG MÔ PHỎNG SỰ PHỐI HỢP CỦA HỆ ĐA TÁC TỬ GVHD: Th.S NGUYỄN TRẦN MINH KHUÊ SVTH: o NGUYỄN DƯƠNG HÀO - 06520145 o BÙI TIẾN DŨNG – 06520093 LỚP : KHMT01 KHÓA : 2006-2010 TP.Hồ Chí Minh, tháng 12 năm 2010 Mục lục 1.Giới thiệu 1.1 Sự phối hợp lĩnh vực phản ứng thiên tai…………………………5 1.2 Phối hợp đa tác tử…………………………………………………………6 1.3 Cấu trúc báo cáo………………………………………………… 10 2.Nội dung 2.1 Tác tử tự chủ (Autonomous Agents)…………………………………… 11 2.2 Sự phối hợp hệ thống đa tác tử…………………………………….12 2.2.1 Quy ước vai trò ( Conventions and Roles)…………………16 2.2.2 Truyền thơng (Communication)……………………………….18 2.2.3 Học tập (Learning)……………………………………………….19 2.3 Tóm lược…………………………………………………………………… Phối hợp động hệ tác tử mơ robot đá bóng 3.1.Giới thiệu RoboCup Soccer Simulator …………………………….20 3.2 Phối hợp hệ thống đa tác tử…………… ………………………….22 3.2 Đồ thị phối hợp xóa bỏ biến……………………………………………22 3.3 Thuật tốn max-plus………………………………………………………26 3.4 Hệ đa tác tử cho RCSS …………………………………………………… 27 Tài liệu tham khảo Sự phối hợp hệ thống đa tác tử 2010 Chương 1: Giới thiệu Các Agents tự chủ hệ thống tính tốn mơi trường thay đổi phức tạp, chúng cảm nhận phản ứng tự động môi trường này, thực thi nhiệm vụ hay cơng việc kế để hoàn thành Hệ đa tác tử (multiagent system) hệ thống nhiều tác tử tự chủ tương tác với để thực số nhiệm vụ đó,trong số mơi trường Mơi trường cung cấp kích thích cho cảm nhận tác tử(Agents),tác động đến hành động tác tử Đây nhìn tổng thể, hay là, cá thể cảm nhận phần hệ thống Một hệ thống trở nên quan trọng dần lên chúng kéo theo chiều hướng quan trọng kỹ thuật đại Ubiquity(Sự có mặt khắp nơi):Khi chíp tính tốn(computing chips) trở nên nhỏ rẻ hơn,nó làm cho máy tính tốn (computational) mạnh thơng minh đến nhiều thiết bị có mặt khắp nơi Decentralization(Sự phân quyền):Với ra đời world wide web mạng tính tốn, hệ thống phân phối liệu công việc mạng máy tính chia dần Openness and Dynamism(hệ thống mở biến động): Hệ thống mở hệ thống mà tác tử (Agents) xâm nhập vào rời khỏi hệ thống thời gian nào, hệ thống thay đổi có mơi trường ln ln biến đổi theo GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 Nhiều hệ thống giới thực(real-world systems) mơ hình hóa đưa ra, môi trường biến động.Trường hợp ngoại lệ,có xu hướng tính tốn di chuyển liên tục vấn đề xem tĩnh chờ đợi để đưa kết luận, theo hướng hệ thống tương tác(interative systems) mà phản ứng lại với môi trường thay đổi Sự không chắn(Uncertainty):Sự không chắn làm cho phần lớn hệ thống phản ứng tới môi trường hay đầu vào thiết bị cảm biến(sensor inputs) Ngoài ra, chiều hướng làm cho hệ thống trở nên lớn phức tạp nghĩa hệ thống không thực chắn, chúng kỹ thuật xác định Sự kết hợp mô tả đặc trưng loại liệu phân quyền hệ thống thông tin thứ mà làm tăng lên phụ thuộc vào thương mại tổ chức công nghiệp.Hệ đa tác tử (multi-agents system) dùng cơng cụ mơ hình hóa phần hệ thống này.Ví dụ lĩnh vực ứng dụng đa dạng mơ hình đấu giá eBay[Rogers et al., 2006], mơ hình cấu trúc xã hội [Sun and Naveh, 2004], hay cảnh chiến đấu phim(hệ thống tát tử sử dụng phim chúa tể nhẫn- the lord of the rings) Vì vậy, nghiên cứu hệ đa tác tử lĩnh vực phát triển ,tiềm đòi hỏi nhiều thử thách Nói riêng, tạo thành hệ thống mức cao(large-scale systems) với cách phản ứng dự đốn trước nhiệm vụ khó giải Trong hướng nghiên cứu(chẳng hạng [Xu et al., 2005], [Shen et al., 2004) trọng tâm dung mô hình cục để tạo thuộc tính tổng thể thích hợp Nếu điều thực cách xác, mạng nhỏ (sub-networks) GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 truyền đặc tính tồn mạng Tuy nhiên, hệ thống tạo thành từ nhiều thành phần nhỏ có khả cảm nhận phản ứng bất ngờ không mong đợi quy mô lớn Đây tiềm bất lợi (potential disadvantage) phụ thuộc hoàn toàn vào cục bộ, mơ hình quy mơ nhỏ (small-scale) Để chống lại điều này, nhà nghiên cứu xem xét loạt chế chia sẻ thông tin tác tử khác loại (disparate agents) Điều có nghĩa mơ hình giao tiếp mở linh hoạt cho hệ thống động, tạo thành vùng khác cho hoạt động nhiên cứu Một lĩnh vực cuối nghiên cứu suy luận linh hoạt hay học cách giải vấn đề, xử lý vấn đề phức tạp không gian trạng thái lớn, thứ lập trình tay, để bắt kịp với hệ thống thay đổi theo thời gian Ngược lại với tảng này, chúng tơi tìm cách mang lại lĩnh vực riêng biệt theo thứ tự, để giải vấn đề phối hợp phức tạp, hệ thống đa tác tử động Vì vậy, mơ hình tồn với giải pháp chúng tôi, đem đến khả làm việc việc sử dụng mơ hình cục (locals), truyền thông linh hoạt, học tập trực tuyến Để cung cấp tảng cụ thể cho nghiên cứu này, xem xét miền phản ứng thất bại 1.1 Phối hợp miền cứu hộ thiên tai Hãy xem xét kịch thiên thai khủng bố công, lũ lụt hay động đất, kịch này, nhiều đội khác từ số tổ chức phải cố gắng hợp tác để cố gắng khơi phục lại tình hình Cơng việc họ bị gián đoạn quan tâm số người tham gia báo tổ chức khủng bố ( trường hợp công khủng bố) Một vài tổ chức hợp tác có GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 thể có mục tiêu mâu thuẫn Ví dụ, giả sử tai nạn máy bay người bị thương, bị mắt kẹt đống đổ nát gần với hộp đen Cảnh sát muốn giữ lại hộp đen nguyên vẹn cho mục đích xác định nguyên nhân gây tai nạn, đội cứu thương thỉ quan tâm di chuyển người bị thương, có lẽ đòi hỏi phải phá hủy hộp đen, trừ họ cẩn thận Kịch tự nhiên cung cấp sở phong phú cho hệ thống tác tử Trong ứng dụng vậy, có quy mơ xác định mức độ mà hệ thống độc lập, mức độ mà tác tử dựa vào lực đầu vào hướng dẫn Ở đầu quy mơ, mơ hình hóa khía cạnh phản ứng thảm họa (disaster response), mô thiên tai, người bị ảnh hưởng, tác tử phản ứng Ở đầu qyu mơ, hệ thống tác tử sử dụng với độ phản ứng người, xử lý liệu tương tác đưa cách giải hành động quy mơ tìm thấy đội robot-người máy hay tác tử trì hỗn người tình mà họ không chắn Trọng tâm công việc khái quát được: dùng hệ thống đa tác tử để mơ hình hóa phản ứng thảm họa đầy đủ Kết mơ sử dụng thực tế hệ điều khiển tương tác, chức hệ thống tự động đưa cách giải cho hành động, mà khám phá người sử dụng Đi từ phán ứng thảm họa ví dụ chúng tơi để khám phá nhiều hệ thống đa tác tử thúc đẩy số yêu cầu quan trọng cho miền Đây yêu cầu mà thuật toán phối hợp quan tâm để xứ lý: 1.2 Sự phối hợp đa tác tử ( Multi-agent Coordination): GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 Sự phối hợp trung tâm hệ thống đa tác tử Theo nghĩa rộng , ”sự ” phối hợp dùng để tác tử nhận thức tác tử khác mơi trường Đây bối cảnh phân bổ nguồn lực tiêu thụ, nhiệm vụ phân bổ (task allocation), truyền thông (communication), vận động (movement) Hầu hết phương pháp tiếp cận rơi vào ba loại lớn này, xây dựng từ phương pháp tiếp cận từ loại sau: 1.Quy ước vai trò (convention and roles) phương thức đơn giản phối hợp tác tử, linh hoạt Một quy ước nguyên tắc thường biết đến để tác tử tuân thủ theo Có nhiều từ ưu tiên theo thứ tự phối hợp quy ước () Ví dụ, điều khiển giao thơng thường dựa quy ước dừng lại đèn đỏ, chạy nhanh đường bên phải đường cao tốc đường bên trái Sự phối hợp có lợi đơn giản khơng phụ thuộc vào thời gian cài đặt Tuy nhiên, khơng linh hoạt dựa tất người tham gia phải biết rõ quy ước hợp tác với chúng Mở rộng khái niệm quy ước cho phối hợp việc sử dụng vai trò cấu tổ chức Vai trò tác tử xác định quy ước thích hợp, giao thức có sẵn cho Do đó, cấu tổ chức dựa vai trò Agent linh hoạt quy ước đơn giản dựa kỹ thuật Lựa chọn quy ước dựa vai trò Cấu trúc dựa vai trò thực thành công cho đội đội bóng đá RoboCup Tuy nhiên, việc khơng ứng dụng lĩnh vực mở xem đội cố định khoảng thời gian liên quan Nó thi hành cách linh hoạt cấu trúc dựa vai trò mà có GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 thể thích ứng với tác tử để xâm nhập hay rời khỏi hệ thống cách dùng quy ước thích hợp, làm khơng gây rắc rối phức tạp đòi hỏi phải quan tâm ý đến 2.Truyền thông (communication) kỹ thuật phối hợp khác phổ biển người Sự phối hợp thơng qua truyền thơng có gian thiết lập nhỏ vài chi phí băng thơng Nó đòi hỏi có ngơn ngữ chung, linh hoạt ngơn ngữ định tính linh hoạt cho kết phối hợp Có tiềm cho mơ hình xác xuất ngơn ngữ, cho phép thích ứng với môi trường thay đổi Cùng với ngôn ngữ cho phối hợp, tác tử phải có số phương tiện lý luận nội kết Bản chất phối hợp phụ thuộc đáng kể mơ hình phối hợp nội tác tử Trong hệ thống lớn bất kỳ, miền trung tâm, phải có vài hình thức liên lạc để chia thơng tin tác tử, khơng thể cho tác tử nhận thức tất thông tin cần để hoạt động hiệu bối cảnh Chúng ta hy vọng làm hạn chế sử dụng liên lạc vượt ngồi chia thơng tin này, hạn chế băng thông ngăn chặn hầu hết trường hợp 3.Học hỏi (learning): learning loại phức tạp phương tiện linh hoạt phối hợp Nó kết hợp với quy ước thơng tin liên lạc: quy ước học, ví dụ, thơng qua truyền thơng Có nhiều hình thức khác cho việc áp dụng học để phối hợp, từ việc học để lựa chọn giao thức phối hợp, thông qua học để dùng kỹ thuật truyền thông đơn giản cho phối hợp Các kỹ thuật học cung cấp tiềm cho việc phát triển đường lối chi tiết với không gian trạng thái lớn phức tạp Tuy nhiên, chúng có chi phí cài GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 đặt cao, học sách tốt tốn nhiều thời gian có khả tính tốn chun sâu Trong kịch phức tạp, phản ứng với thiên tai, tác tử tham gia nhiều hoạt động phối hợp thời gian Có nhiều cấp độ cho hoạt động phối hợp với tác tử đặc biệt, tác tử lửa phối hợp lựa chọn trang web lửa (fire site), sau xây dựng chi tiết, sau vùng xây dựng đặc biệt để nhắm mục tiêu Có thể có nhiều loại hoạt động phối hợp với agent cụ thể, ví dụ tác tử đồng thời điều chỉnh nguồn tài nguyên với nhóm tác tử, phối hợp vị trí với nhóm tác tử khác Cuối hoạt động phối hợp xảy với nhiều tác tử hệ thống lúc Hơn có số phụ thuộc phối hợp Ví dụ, tác tử lửa F cần phải tiếp nhiên liệu, khơng quan tâm liệu tiếp nhiên liệu từ địa điểm A hay địa điểm B Nó thương lượng đồng thời với tác tử A B để định địa điểm tiếp nhiên liệu Tại thời gian này, tác tử lửa khác thương lượng địa điểm tiếp nhận nhiên liệu F nên cố gắng nhận thức tiềm ách tắc giao thông tất tác tử cho địa điểm tiếp nhiên liệu Hơn nữa, F cố gắng để giảm thiểu băng thơng suốt q trình thương lượng để rời khỏi băng thông đủ để nhận hướng dẫn từ trạm lửa trung tâm Trong phần hai, thảo luận phương pháp tiếp cận để phối hợp ánh sáng miền ví dụ vấn đề tương tác Mức độ mà mơ hình phối hợp đưa khả tương tác vào tài khoản khác Chúng ta thấy có hoạt động rõ ràng liên quan đến tương tác phối hợp việc sử dụng thông tin để cải GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 thiện tất phần phối hợp Chúng đề nghị số cách thức mà cơng việc tương lai xây dựng mơ hình để sử dụng mối quan hệ rõ ràng kết hợp 1.3 Cấu trúc báo cáo: Mục đích báo cáo để làm sáng tỏ vấn đề kết hợp với phối hợp lĩnh vực đầy thách thức định nghĩa trên, để giới thiệu việc sử dụng thử nghiệm phản ứng với thiên tai Phần lại báo cáo có cấu trúc sau: - Trong phần 2, giới thiệu loại tác tử mà làm việc thảo luận trạng thái nghệ thuật với thứ liên quan đến phối hợp, tập trung đến ba mơ hình phối hợp mơ tả - Trong phần 3, mô tả Robocup Soccer Simulator, tảng ứng dụng đến vấn đề phối hợp mà giới thiệu GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 Tuy nhiên, hai tác hợp lý bất hợp lý vài tình tìm thấy vị trí mà khơng tn theo quy ước tiến trình hành động thích hợp Ví dụ, tình thảm hoạt tất tác tử cố gắng di chuyển hướng- theo dòng, khơng cần giữ cho phía bên tay trái (hoặc bên tay phải) đường Điều dẫn đến kết hệ thống phối hợp chưa tốt Do đó, tác tử thơng minh chọn để tn thủ quy ước thích ứng với tác tử khác không để ý đến chúng Trong tình thực tế, giao thức đơn giản tín hiệu khơng đủ để có phối hợp hiệu quả: tập hợp quy tắc đơn giản đủ để xử lý kịch phức tạp, thỏa thuận phối hợp với tác tử xa, tác tử mà khơng nhận thức Khơng có thiết lập giao thức bao gồm tất phát triển môi trường mở, động, khơng chắn Do đó, tình lớn phức tạp, sư phối hợp tác tử thường diễn với số cấu tổ chức, tập hợp cấu tổ chức Vai trò tác tử cá nhân cấu trúc liên kết với số thiết lập quy ước Ví dụ, vai trò thủ mơn trò chơi bóng đá có tập hợp quy ước xác định nơi thủ mơn di chuyển Như quy ước rõ ràng khác cho thành viên nhóm khác Liên kết quy ước với vai trò cho phép tương tác phức tạp lớn tập quy ước thống Trong thiết lập tùy ý, hay hệ thống mở miền ví dụ chúng tơi, khơng thích để định cấu tổ chức cố định, để hệ thống có khả tự động xếp tổ chức lại hoàn cảnh thay đổi Các tác tử di chuyển, kịch yêu cầu ý kiến khác từ huy(leader), hệ thống tác tử mở viêc xâm nhập vào rời khỏi hệ thống cấu trúc phải thích ứng với điều Các tác tử thích ứng GVHD: Th.S Nguyễn Trần Minh Khuê Trang 16 Sự phối hợp hệ thống đa tác tử 2010 sử dụng lý luận hệ thống, tri thức quy ước tổ chức đơn giản, hay số hình thức học tập trực tuyến để đạt tổ chức Các mơ hình riêng rẽ khác khía cạnh phối hợp cấu trúc hay hệ thống phân cấp từ khía cạnh ứng dụng cụ thể Rồi từ đó, tác tử cung cấp với vai trò phối hợp hay mục tiêu riêng biệt mà liên kết với nhiệm vụ chúng Điều cung cấp trừu tượng hữu ích cho mơ hình phối hợp riêng rẽ với nhiệm vụ tác tử Nó áp dụng mơ hình mở lĩnh vực động hay nhiệm vụ thay đổi cấu trúc phối hợp tổng thể giống 2.2.2 Truyền thơng(Comunication): Trong hình thức đơn giản nó, giao tiếp dạng tín hiệu thơng tin, tác tử hiệu cơng bố “ làm X, “ Y xảy ra” Cơ chế phối hợp dựa quy ước xã hội, mục đích thơng báo phép người nghe cập nhật xem giới họ Như xe đạp Anh, tơi đường chính, tơi truyền đạt thơng điệp: "Tơi có khả rẽ phải" Những xe phía sau tơi trả lời tin nhắn cách làm chậm lại Điều báo hiệu đơn giản mở rộng để chia sẻ tất loại thông tin hệ thống Thông tin chia sẻ khả tác nhân khác, niềm tin ý định họ, phận khác môi trường Khi bị thu hút với đèn giao thông, người lái xe bên cạnh người nghe đài phát xe cho tơi biết vụ tai nạn đường gần đó, khuyến khích tơi để thay đổi kế hoạch tuyến đường tơi Ơng ta cho biết người lái xe xe tải thứ 3trở lại dường say rượu, tơi nên đề phòng xe tải cố gắng vượt qua Tôi phải làm cho GVHD: Th.S Nguyễn Trần Minh Khuê Trang 17 Sự phối hợp hệ thống đa tác tử 2010 án riêng để tin tưởng thông tin này, xác, mục cho phép tơi để phối hợp tốt với phần lại giao thông đường Giả sử, nhiên, tiến lên bên cạnh người lái xe đèn chiếu sáng, họ thay đổi Trước lái xe đi, ơng ta có thời gian biết hai mẩu thông tin Ông phải chọn có giá trị lớn với Trong hệ thống tác tử, kỹ thuật Bayes thường sử dụng để đưa định việc để giao tiếp kịch mà băng thông bị hạn chế Các lái xe định đưa vào kê khai cho dù có hội khác để liên lạc với tương lai Nếu vậy, ơng chọn để tiết kiệm lượng vào thời điểm này, để đề cập đến trình điều khiển xe tải với ý định mô tả vụ tai nạn đèn 2.2.3 Học tập (Learning): Có vài nguyên nhân để kết hợp việc học vào hệ thống đa tác tử Nói chung, hệ thống lớn phức tạp đề xuất sách cho kiện Thay vào đó, tác tử khai báo với số sách đơn giản để tìm hiểu hành vi thích hợp dựa tình mà thực xảy Điều đặc biệt có liên quan hệ thống động, nơi mà tác tử cần có khả thích ứng với thay đổi theo thời gian Cuối cùng, phối hợp hệ thống lớn mở dựa vào tác tử học đại lý xung quanh họ, người nhập hệ thống điểm Ví dụ, kịch thiên tai, đại lý người tình nguyện để giúp tình hình tiến triển, khả tính tốn hiến tặng để xây dựng tác tử phần mềm Vì thế, có GVHD: Th.S Nguyễn Trần Minh Khuê Trang 18 Sự phối hợp hệ thống đa tác tử 2010 số cách sử dụng học tập hệ thống mà cuối cố gắng để học cách phối hợp có hiệu quả: •Học tập quy ước (có thể từ đầu, quy ước dần thay đổi trình chơi cần phải giữ tiếp tục) • Học để lựa chọn quy ước • Tìm hiểu phận mơi trường khơng nhìn thấy cho • Tìm hiểu khả tác tử khác • Tìm hiểu ý định tác tử khác • Học ngôn ngữ thể học để liên lạc • Học thơng tin hữu ích để giao tiếp • Học giao tiếp Sự phối hợp động hệ đa tác tử mô RoBot đá bóng Các mơ RoboCup Soccer coi ứng dụng tốt hệ thống đa tác tử Bằng cách sử dụng phương pháp tiếp cận đa tác tử, đội mô xem hệ thống multiagent, phối hợp lẫn tác tử huấn luyện viên Các chiến lược khác đề xuất nhằm nâng cao hiệu tác tử Trong ví dụ này, trước tiên phối hợp số đội đại cách xác định tất nhược điểm họ Sau ví dụ trình bày phương pháp tiếp cận liên quan đến phối hợp động để cải thiện hiệu suất thử nghiệm đánh giá đội 3.1.Giới thiệu RoboCup Soccer Simulator: GVHD: Th.S Nguyễn Trần Minh Khuê Trang 19 Sự phối hợp hệ thống đa tác tử 2010 RoboCup Soccer Simulator xem công cụ hiệu hai nghiên cứu đào tạo hệ thống Multi-Agent - MA nói riêng khu vực Trí tuệ nhân tạo - AI Tiến hành từ Robot Soccer World Cup, tổ chức hàng năm với tham gia nhóm nghiên cứu cụ thể giới robot tiếng, nhà vô địch mô RoboCup Soccer song song tổ chức để xây dựng phát triển thuật toán hiệu quả, chiến lược quan tâm phương pháp học tập hợp lý, vv đạo đến mục tiêu tối cao việc xây dựng đội bóng robot để đánh bại đội bóng tốt giới (với người chơi thực sự) Đối với tầm quan trọng để nghiên cứu phát triển mô RoboCup Soccer, ứng dụng hệ thống đại lý-Multi Trí tuệ nhân tạo đóng nhiều nhiều vai trò thiết yếu Phối hợp thành viên nhóm, hai người chơi tác tử huấn luyện viên, riêng yếu tố chủ chốt đem lại thành cơng cho đội robot mơ bóng đá Theo thông tin nhờ vào kinh nghiệm môi trường (chẳng hạn vị trí người chơi, vị trí bóng, bối cảnh sân chơi, huấn luyện viên, vv), cầu thủ (mỗi tác tử) phải thu thập, phân loại, sau phân tích, phù hợp để phối hợp với tác tử khác để tạo hành động có hiệu (tấn cơng / dẫn bóng /sút/ ghi bàn / điểm số) Trong báo cáo này, tập trung trước hết vào phối hợp động đội bóng đá Khái niệm "năng động phối hợp" phải hiểu kết hợp phối hợp kỹ thuật truyền thống hệ thống đa tác tử động, giải chiến lược áp dụng tùy thuộc vào tình trạng mơi trường.Phần lại báo gồm khái niệm phối hợp hệ thống đa tác tử thể phần Việc giới thiệu chuyên sâu vào hệ thống đa tác tử mơ bóng đá RoboCup phần 3.1, GVHD: Th.S Nguyễn Trần Minh Khuê Trang 20 Sự phối hợp hệ thống đa tác tử 2010 quy định cụ thể cách để truy cập động phối hợp phần 3.2 kết thử nghiệm phần tốt Và phần cuối báo cáo đánh giá kết liên quan 3.2 Phối hợp hệ thống đa tác tử Phối hợp ba yếu tố quan trọng suốt trình phản ứng tác tử hệ thống Multi-agent (MAS) Theo định nghĩa M Wooldridge [1], phối hợp đại lý có quan hệ chặt chẽ với liên kết phụ thuộc hoạt động tác tử Có nhiều cách khác truy cập việc thực phối hợp MAS, chẳng hạn điều phối thơng qua kế hoạch tồn cầu phần, điều phối thông qua ý định chung, điều phối người mẫu lẫn nhau, phối hợp tiêu, pháp luật xã hội, vv Phương pháp điển hình số người liệt kê cụ thể dựa điểm thiết yếu Nashequilibria Sự cân bằng-Nash trường hợp số lượng lớn tác tử, tinh vi cần có thời gian để tính tốn xác định "cân bằng" hành động cho tác tử Vì lý đó, phân khu hành động không gian đại lý để phân tích có hiệu lực Xem xét vấn đề robot bóng đá phối hợp mơ phỏng, tác tử có quan hệ mật thiết với thơng tin thu thập từ mơi trường robot mơ Do đó, biểu đồ phối hợp đề xuất, để tăng cường khả phối hợp lẫn tác tử với huấn luyện viên Trong phần này, sau 3,1 cho lời giải thích phương pháp này, chúng tơi đề cập đến phương pháp khác dựa thuật toán tối đa 3.3 Đồ thị phối hợp xóa bỏ biến Trong hệ thống đa tác tử, tác tử phải có hành động, có kết quả, Tuy nhiên, ảnh hưởng hành vi tác tử khác Trong hệ GVHD: Th.S Nguyễn Trần Minh Khuê Trang 21 Sự phối hợp hệ thống đa tác tử 2010 thống đa tác nhân với hợp tác lẫn tác tử (một robot mơ Đội tuyển bóng đá chẳng hạn), thiết lập A bao gồm hành vi cá nhân tác tử A tạo hành động nhằm đạt yêu cầu với điều kiện tối ưu hóa chức tồn cầu Trong q trình thực hiện, tác tử phải chọn hành động cá nhân hợp lý để tối ưu hóa liên kết hành động tồn hệ thống (ví dụ, dựa Nashequilibria) Tuy nhiên, số lượng cổ động tăng theo hàm số mũ số lượng tác tử, gây việc xác định trạng thái cân trường hợp số lượng lớn tác tử Đối với mục đích giải pháp cho vấn đề này, đồ thị phối hợp - CG Xoá bỏ biến - VE áp dụng mang lại kết giải pháp mức độ tinh tế quy trình Định nghĩa: biểu đồ điều phối (CG) G = (V, E) đồ thị trực tiếp, điểm V tác tử bên định E phụ thuộc vào hợp tác hai tác tử cuối GVHD: Th.S Nguyễn Trần Minh Khuê Trang 22 Sự phối hợp hệ thống đa tác tử 2010 Đương nhiên, điểm định thời gian, tác tử kết nối với người khác hiển thị CG nên phối hợp với đại lý Ví dụ, xem Hình mà thể CG với tác tử Ở ví dụ này, A1 phải phối hợp với hai A2 A3 A2 phải phối hợp với hai A1, A3 A4 phối hợp với A1, A4 phối hợp với A3 Hình Đồ thị phối hợp tác tử Ý tưởng tiếp cận phụ thuộc vào toàn cầu pay-off chức U (A) để tan rã vào tổng hợp chức pay-off toàn cầu mà liên quan đến số tác tử Đối với mục đích xác định hành động tối ưu cho tác tử, xoá bỏ biến sử dụng Guestrin theo cách tương tự với loại bỏ biến mạng Bayes [1,2] Thuật toán hoạt động hai giai đoạn: loại trừ biến xác định hành động tối ưu sau: Giai đoạn 1: Biến Xoá bỏ B1: Chọn tác tử, ai, xác định chức trả hết nợ từ tất tác tử hàng xóm (Tác tử Hàng xóm - Nai, rõ ràng xác định thông qua điều phối đồ thị) GVHD: Th.S Nguyễn Trần Minh Khuê Trang 23 Sự phối hợp hệ thống đa tác tử 2010 B2: tối ưu hóa định tùy thuộc vào kết hợp hành động có sẵn thiết lập Nai chuyển kết đến aj tác tử hàng xóm (thuộc Nai) B3: Loại bỏ số Điều phối đồ thị lặp lại B1 có tác tử Phối hợp lại đồ thị Tác tử chọn hành động tối ưu từ tập hợp hành động sẵn cho Giai đoạn 2: thực theo thứ tự tác tử theo giai đoạn Mỗi tác tử xác định hành động tối ưu dựa hành động xác định tác tử hàng xóm trước Để minh hoạ thêm trình thực loại bỏ biến, xem xét ví dụ thể hình với bốn tác tử Trong ví dụ này, trả cho tắt chức mỗi-hành động chung bốn đại lý xác định với chức U (a) = 1 f (a, a) + f (a, a) + 3 f (a, a) (1) (Ở đây, xem xét hành động tác tử Ai hành động doanh tất tác tử) Trước hết, loại bỏ tác nhân A1 đại lý phụ thuộc vào hai chức f1 F2 tối đa giá trị U (A) xác định thông qua công thức: Đây chức đem lại giá trị có liên quan với phản ứng nó, tốt kết hợp hành động có sẵn a2 a3 (signalized B1 (a2, a3)) Tại thời điểm đó, chức F4 hồn tồn phụ thuộc từ a1 a1 loại bỏ từ đồ thị Áp dụng quy trình nói để loại bỏ a2, có trái với F4 tùy thuộc vào hành động đại lý a2 thay chức f (a) = max (4 f (a, a)) theo quy định a2 Tiếp theo, loại bỏ a3 GVHD: Th.S Nguyễn Trần Minh Khuê Trang 24 Sự phối hợp hệ thống đa tác tử 2010 thay chức F3 f5 với chức f (a) Do đó, tối đa U (a) phù hợp với a = f (a) theo a4 Tại thời điểm này, A4 hành động tối ưu * Sau chọn hành động A4, hành động tối ưu đại lý lại thực theo thứ tự đảo ngược Trong ví dụ này, hành động A3 xác định thông qua 4: chức a * bestresponse = liên B3 quan đến (a * * 4) Tương tự, * = B2 (a * 3) * = B1 (a * 2, a * 3) Trong bất kỳ, đại lý có nhiều phản ứng tốt hành động, phải ngẫu nhiên chọn số họ Lựa chọn không ảnh hưởng đến liên doanh, hành động lựa chọn phải thơng báo agents.Effect nước láng giềng thuật toán biến Xoá bỏ không phụ thuộc vào thứ tự loại bỏ, luôn mang lại tối ưu hành động chung đại lý Tuy nhiên, hiệu suất thời gian thuật tốn phụ thuộc vào trình tự loại bỏ biến mức độ tinh vi hàm số mũ chiều rộng CG.Furthermore, điều có hiệu lực giai đoạn hoàn toàn kết thúc lý bất hợp lý MAS để đối phó với thời gian thực, lấy robot mơ bóng đá ví dụ (mỗi cầu thủ phải xác định hành động sau 100ms) Giải pháp cho điểm yếu CG VE đề cập phần tiếp theo, dựa thuật toán Max-plus đề xuất J Kok N Vlassis năm 2005 [7] 3.4 Thuật toán max-plus: GVHD: Th.S Nguyễn Trần Minh Khuê Trang 25 Sự phối hợp hệ thống đa tác tử 2010 Một thuật toán hiệu việc cải thiện phối hợp tác tử nghiên cứu áp dụng thành công UVA Trilearn cho TriLearn 2005 Hệ thống Multi-agent Thuật toán phụ thuộc vào quản trị doanh nghiệp, nhưng, bất chấp VE, [6] sử dụng với thuật toán maxplus nhờ ý tưởng để xác định tối đa hậu nghiệm đồ thị nondirected Đề xuất dựa vào phương pháp gửi lần lần thơng điệp μij (aj), 3.4 Multi-agent System for RoboCup Soccer Simulation RCSS (RoboCup Soccer mô phỏng) cạnh tranh RoboCup Soccer Mô đội, phải thiết lập hệ thống đa đại lý với đại lý để xem xét khách hàng, thực GVHD: Th.S Nguyễn Trần Minh Khuê Trang 26 Sự phối hợp hệ thống đa tác tử 2010 môi trường chống lại đối thủ cạnh tranh [10] Các evnvironment toàn MAS quản lý máy chủ (Server RoboCup Soccer - RCSS), kiểm sốt mơi trường yếu tố quy tắc quản lý cạnh tranh [6] Tương ứng, RCSS mã hoá yêu cầu tuân thủ tất đội bóng đá Khơng có giới hạn đội cách xây dựng lên, yêu cầu dụng cụ dùng để phát triển đội ngũ phải hỗ trợ máy chủ-khách hàng thông qua socket UDP / IP Mỗi khách hàng trình độc lập liên kết với máy chủ với cổng riêng biệt Quy tắc áp dụng cho thi quy định FIRA2 với 11 cầu thủ tối đa Năng động phối hợp đại lý mô robot RoboCup Soccer Server cung cấp môi trường động rời rạc, mà nhiều yếu tố thực modelizes môi trường tiếng ồn chuyển động, can thiệp cảm biến, hạn chế khả thể chất conmmuniations restrainted Tuy nhiên, RoboCup Soccer Server, có tác tử, thời điểm, cho phép giao tiếp với Server Từ đó, đại lý phải thực lưu trữ trạng môi trường bên IN trường hợp phối hợp hành động, máy nghe nhạc di chuyển đến vị trí mà ơng quan sát thay đổi tốc độ bóng Trước thay đổi tốc độ bóng, cầu thủ mà ông ý niệm thực tế nhận bóng khơng phối hợp với cầu thủ chơi bóng khác Để hồn thành phối hợp, tất tác tử giao với vai trò cụ thể phù hợp với bối cảnh Sau đó, vai trò phối hợp cách áp dụng thuật toán biến Xoá bỏ nguyên tắc xác định giá trị để làm cho việc sử dụng tốt biến môi trường Dưới mô tả chi tiết cách sử dụng đồ thị phối hợp để điều phối bóng, người qua đường ballreceiver, bóng đầu tiên-nhận ballreceiver thứ hai, tức người nhận bóng từ người nhận đầu tiên-ball GVHD: Th.S Nguyễn Trần Minh Khuê Trang 27 Sự phối hợp hệ thống đa tác tử 2010 Tại thời điểm đó, tất đại lý liên kết với phải phối hợp hành động họ E.g đại lý chọn hành động sau đây: - PassTo (i, dir): chuyền bóng cho số vị trí với khoảng cách cố định từ đại lý i hướng dir, D = (trung tâm, n, nw, w, sw, s, se, e, ne) - MoveTo (dir): di chuyển theo hướng dir - Dribble (dir): bribble bóng hướng dir - Hệ số: cố gắng lái xe bóng vào Mục tiêu contender - ClearBall: mạnh mẽ bóng đá contender người chơi contender - MoveToStratPos: di chuyển đến vị trí chiến lược đại lý (theo tình hình đội nhà vị trí bóng) quy tắc trực tiếp sửa đổi cọ xát ra, tạo khả thay đổi chiến lược đội bóng thi đấu với nhiều loại khác contenders GVHD: Th.S Nguyễn Trần Minh Khuê Trang 28 Sự phối hợp hệ thống đa tác tử 2010 Fig Coordination graph based on roles of agents Fig Details of match between TrileanA (right) and Trilearn 2003 (left) GVHD: Th.S Nguyễn Trần Minh Khuê Trang 29 Sự phối hợp hệ thống đa tác tử 2010 Tài liệu tham khảo [1].Multi Agent System,UNIVERSITY OF SOUTHAMPTON,Faculty of ngineering, Science and Mathematics ,School of Electronics and Computer Science [2] Dynamic coordination in RoboCup soccer simulation, Objective of RoboCup, http://www.robocup.org /overview/22.html [3] Learning in Multi-Agent Systems, Department of Computing, City University, UK [4] Constructing a Model of Multi-Agent Systems and Its Application in E-Learning, Đỗ Văn Nhơn, Nguyễn Trần Minh Khuê [5] Tương tác dựa role hệ đa Agent, khoa công nghệ thông tin, học viện công nghệ bưu viễn thơng, Trần Đình Quế, Nguyễn Thị Thanh Huyền GVHD: Th.S Nguyễn Trần Minh Khuê Trang 30 ... toán phối hợp quan tâm để xứ lý: 1.2 Sự phối hợp đa tác tử ( Multi-agent Coordination): GVHD: Th.S Nguyễn Trần Minh Khuê Trang Sự phối hợp hệ thống đa tác tử 2010 Sự phối hợp trung tâm hệ thống đa. .. 2.2 Sự phối hợp hệ thống đa tác tử: Chúng ta bàn tầm rộng lớn phối hợp, tác tử hoạt động bối cảnh tác tử khác Như mô tả chương 1, thời gian nào, khơng tác tử thể số hoạt động phối hợp khác với tác. .. niệm phối hợp hệ thống đa tác tử thể phần Việc giới thiệu chuyên sâu vào hệ thống đa tác tử mô bóng đá RoboCup phần 3.1, GVHD: Th.S Nguyễn Trần Minh Khuê Trang 20 Sự phối hợp hệ thống đa tác tử