Tiểu luận Trình bày về hệ tri thức Tác tử thông minh Intelligent Agents

INTELLIGENT AGENTS Là GÌ? Hệ công nghệ tri thức Tác tử thông minh là gì? Hệ đa tác tử là hệ như thế nào? Hiện nay, khi máy tính, mạng và hệ thống máy tính phát triển, tính dễ sử dụng không theo kịp rất nhiều chức năng tiên tiến hiện có sẵn. Kết quả là máy tính đang trở thành ngày càng gây khó khăn cho người mới bắt đầu, và thậm chí cả những người dùng lâu năm. Thông tin và xử lý nên có sẵn chỉ đơn giản là không thể truy cập được. Trong cuộc sống của chúng ta, khi chúng ta thấy mình ở một vị trí mà thời gian và các hoạt động vượt qua chúng ta, chúng ta tìm kiếm sự giúp đỡ dưới dạng như 1 trợ lý. Tác tử thông minh là phần mềm hỗ trợ mọi người và hành động thay mặt họ. Tác tử thông minh làm việc bằng cách cho phép mọi người ủy quyền công việc mà họ có thể đã làm, cho phần mềm tác tử. Tác tử cũng như các trợ lý có thể tự động hóa các công việc lặp đi lặp lại, ghi nhớ những điều bạn đã quên một cách thông minh tóm tắt dữ liệu phức tạp, học hỏi từ bạn và thậm chí đưa ra các đề xuất cho bạn. Mục tiêu của Tiểu luận là trình bày được khái niệm căn bản về tác tử thông minh, phân loại và các ứng dụng của tác tử thông minh trong thực tế

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI BÁO CÁO TIỂU LUẬN TÁC TỬ THÔNG MINH GVHD: TS Nguyễn Thị Mỹ Bình Sinh viên: Vũ Bảo Lâm – 2022700068 Trần Phi Lực – 2022700047 Nguyễn Đức Thắng – 2022700064 Nhóm: Hà Nội – Năm 2022 LỜI MỞ ĐẦU Hiện nay, máy tính, mạng hệ thống máy tính phát triển, tính dễ sử dụng khơng theo kịp nhiều chức tiên tiến có sẵn Kết máy tính trở thành ngày gây khó khăn cho người bắt đầu, chí người dùng lâu năm Thơng tin xử lý nên có sẵn đơn giản khơng thể truy cập Trong sống chúng ta, thấy vị trí mà thời gian hoạt động vượt qua chúng ta, tìm kiếm giúp đỡ dạng trợ lý Tác tử thông minh phần mềm hỗ trợ người hành động thay mặt họ Tác tử thông minh làm việc cách cho phép người ủy quyền cơng việc mà họ làm, cho phần mềm tác tử Tác tử trợ lý tự động hóa công việc lặp lặp lại, ghi nhớ điều bạn qn cách thơng minh tóm tắt liệu phức tạp, học hỏi từ bạn chí đưa đề xuất cho bạn Mục tiêu tiểu luận trình bày khái niệm tác tử thông minh, phân loại ứng dụng tác tử thông minh thực tế Trong q trình làm tiểu luận cịn hạn chế mặt thời gian kinh nghiệm nhiều hạn nên khơng thể tránh khỏi cịn nhiều thiếu sót Rất mong đóng góp ý kiến Thầy, Cơ để chúng em học hỏi nhiều kinh nghiệm hoàn thành tiểu luận khác tốt Đặc biệt em xin gửi lời cảm ơn đến TS Nguyễn Thị Mỹ Bình nhiệt tình giảng dạy buổi học, hỗ trợ chúng em hoàn thiện báo cáo tốt Hà nôi, 26 tháng 10 năm 2022 Sinh viên thực Nhóm MỤC LỤC LỜI MỞ ĐẦU _i MỤC LỤC _ii DANH MỤC HÌNH VẼ iv CHƯƠNG I: TÁC TỬ THÔNG MINH _1 1.1 Khái niệm 1.1.1 Khái niệm tác tử _1 1.1.2 Khái niệm tác tử thông minh 1.2 Đặc trưng tác tử thông minh 1.3 Mơ hình tác tử thơng minh 1.3.1 Chức nghiệp vụ 1.3.2 Tri thức 1.3.3 Liên tác 1.4 Lợi ích tác tử CHƯƠNG II: PHÂN LOẠI TÁC TỬ THÔNG MINH _8 2.1 Tác tử phản xạ đơn giản (Simple reflex agents) 2.2 Tác tử phản xạ dựa mơ hình (Model based reflex agents) 10 2.3 Tác tử phản xạ dựa mục tiêu (Goal-based agents) 12 2.4 Tác tử hướng lợi ích (Utility based agents) _14 2.5 Tác tử học tập (Learning Agents) 15 CHƯƠNG III: HỆ THỐNG ĐA TÁC TỬ 17 3.1 Khái niệm _17 3.2 Phân loại hệ thống đa tác tử _19 3.2.1 3.3 Kiến trúc bên (Internal Architecture) 20 Tổ chức tác tử _21 3.3.1 Tổ chức phân cấp (Hierarchical Organization) _21 3.3.2 Tổ chức tác tử Holonic (Holonic Agent Organization) _23 3.3.3 Liên minh tác tử (Coalitions multi-agents) _24 3.3.4 Nhóm tác tử (Teams) _26 3.4 Giao tiếp bên hệ thống đa tác tử (Communications in MultiAgent System) 28 3.4.1 Giao tiếp cục (Local Communications) 28 3.4.2 Blackboards 29 3.4.3 Ngôn ngữ giao tiếp tác tử(Agent Communication Language) _30 3.5 Ra định hệ thống đa tác tử 33 3.5.1 Trạng thái cân Nash (Nash Equilibrium) _34 3.6 Điều phối hệ thống đa tác tử (Coordination in Multi-Agent System) _35 3.6.1 Điều phối thông qua giao thức _36 3.6.2 Điều phối qua đồ thị (Coordination via Graphs) 38 3.6.3 Điều phối thơng qua mơ hình Belief _39 3.7 Khả học tập hệ thống đa tác tử (Learning in a Multi-Agent System) _39 3.7.1 Active learning _40 3.7.2 Reactive Learning _41 3.7.3 Learning Based on Consequence 42 Kết luận 44 Tài liệu tham khảo 45 Báo cáo tiểu luận – Nhóm DANH MỤC HÌN Hình 1 Kiến trúc tác tử thông minh Hình Mơ hình tác tử thông minh _6 YHình Sơ đồ hoạt động tác tử phản xạ đơn giản _12 Hình 2 Sơ đồ hoạt động tác tử phản xạ dựa mơ hình _13 Hình Sơ đồ hoạt động tác tử phản xạ dựa mục tiêu _15 Hình Sơ đồ hoạt động tác tử hướng lợi ích _17 Hình Sơ đồ hoạt động tác tử học tập 18 YHình Phân loại Hệ thống đa tác tử theo thuộc tính 22 Hình Kiến trúc phân cấp tác tử 24 Hình 3 Một ví dụ Superholon với holon lồng MAS phân cấp 26 Hình Kiến trúc liên minh đa tác tử sử dụng nhóm chồng nhau. _27 Hình Các đội/ nhóm tác tử điển hình dựa kiên trúc với chế độ xem từ nhóm khác. _29 Hình Thơng điệp truyền đến với tác tử _31 Hình a, Kiểu giao tiếp thông qua blackboard tác tử b, Giao tiếp blackboard sử dụng giao tiếp từ xa tác tử. _32 Hình KQML – Cấu trúc ngôn ngữ phân lớp _35 Báo cáo tiểu luận – Nhóm CHƯƠNG I: TÁC TỬ THƠNG MINH 1.1 Khái niệm 1.1.1 Khái niệm tác tử Khái niệm tác tử có nguồn gốc từ nghiên cứu phát triển lĩnh vực trí tuệ nhân tạo Robot Ý tưởng ban đầu gắn với quan niệm tác tử thực thể phần mềm có khả thực thi nghiệp vụ thay cho người dùng dựa biểu diễn tri thức, khả suy luận học Sau đó, tác tử thực thể phần mềm có khả di động, tương tác, phối hợp, cộng đồng, thích nghi, uỷ thác, tự trị, vv , sử dụng để xây dựng phát triển ứng dụng lĩnh vực sau:  Giải pháp để phát triển kỹ thuật tương tác người-máy liên tác thành phần môi trường phân tán  Sử dụng tác tử để xây dựng chương trình ứng dụng dịch vụ theo yêu cầu, sở thích mục đích người dùng  Công cụ để quản lý, thu nhận, lọc, phổ biến truyền tải thơng tin mạng máy tính Tăng cường hiệu ứng dụng mạng, đặc biệt mạng Internet  Sử dụng công nghệ tác tử để phát triển thương mại điện tử theo nhiều dạng khác  Tác tử công cụ quản lý sản xuất kinh doanh (Robot) Khái niệm tác tử từ điển Thế giới Webster trình bày sau: Tác tử thực thể phần mềm, đại diện cho người sử dụng để thực nhiệm vụ giao hệ thống cục hệ thống nơi khác Khái niệm tác tử nêu thể hai đặc trưng chủ yếu sau:  Tác tử hoạt động nhân danh người hay hệ thống  Tác tử làm nhiều việc Có thể phân loại thiết kế cài đặt tác tử dựa đặc trưng chủ yếu, gồm môi trường, nhiệm vụ kiến trúc tác tử:  Môi trường: Các tác tử thiết kế để thực môi trường cụ thể, chẳng hạn: hệ điều hành máy tính, hệ ứng dụng, mạng máy tính, mơi trường Internet, môi trường Web, vv  Nhiệm vụ: Chức nghiệp vụ tác tử đại diện thực thi thường thể tên tác tử Chẳng hạn, tác tử lọc thông tin, tác tử truy xuất thông tin, tác tử tìm kiếm, tác tử giám sát hệ thống, vv  Kiến trúc: Các tác tử đặt tên theo kiến trúc tri thức bên Chẳng hạn, tác tử học gán với trình học tác tử, tác tử dẫn, tác tử tư vấn, vv 1.1.2 Khái niệm tác tử thông minh Tác tử thông minh (Intelligent Agent): thực thể phần mềm thực thi nhiệm vụ đại diện cho người dùng với khả tự trị Tác tử thông minh thực thể phần mềm có khả thu nhận yêu cầu, kiện từ người dùng, môi trường dựa sở phương thức, chế lựa chọn, suy diễn học để tạo định trả lời hay tác động trở lại mơi trường tác tử có khả tự trị hoạt động mơi trường phân tán (Hình 1.1) Hình 1 Kiến trúc tác tử thơng minh Hiện nay, cơng nghệ tác tử thơng minh tích hợp từ nghiên cứu ba lĩnh vực chủ yếu gồm: Trí tuệ nhân tạo, cơng nghệ phần mềm tương tác người- máy Khả thông minh tác tử nghiên cứu dựa lý thuyết suy luận, hệ thống luật khả học Công nghệ phần mềm xây dựng tác tử thông minh dựa lĩnh vực: Tiếp cận hướng đối tượng, phát triển ứng dụng phân tán, kiểm soát trực tuyến (on-line), triệu gọi từ xa, suy diễn dựa kiện trình hành động Tương tác ngườimáy thể tác tử thông minh rút từ lĩnh vực: Tâm lý học nhận thức, mơ hình người dùng, kinh nghiệm chuyên gia hệ thống trợ giúp thông minh 1.2 Đặc trưng tác tử thông minh Tác tử thơng minh có đặc trưng : Được ủy quyền, khả tương tác, tự trị, giám sát quản lý môi trường, thông minh  Được ủy quyền: Tác tử thực thi tập nhiệm vụ (tasks) thay mặt cho người dùng, hệ thống hay tác tử khác  Khả tương tác: Các tác tử có khả tương tác với người dùng để nhận dẫn công việc ủy quyền cung cấp thông tin, trạng thái công việc Công việc thực thông qua giao diện người dùng tác tử ngôn ngữ giao tiếp dùng cho tác tử  Tự trị: Các tác tử thực thi không cần can thiệp trực tiếp người dùng, sau trao quyền thực thi cho tác tử Khả thực thi tự động tác tử khởi động chương trình việc liên tác, đàm phán mạng để thực thi nhiệm vụ  Giám sát quản lý môi trường: Các tác tử có khả giám sát quản lý mơi trường hoạt động nhằm thực thi công việc cách tự động  Thông minh: Tính thơng minh thể qua việc thu nhận diễn giải kiện (thông tin môi trường) đưa định thích hợp phục vụ cho hoạt động tự trị tác tử Ngoài ra, tác tử thơng minh cịn có đặc trưng khác như: Tính di động, bảo mật, tính cá nhân, phối hợp, cộng đồng, thích nghi, vv 1.3 Mơ hình tác tử thơng minh Trên sở tập đặc trưng tác tử thông minh, A.Caglayan C.Harrison đưa mơ hình tổng qt tác tử gồm thành phần bản: chức nghiệp vụ, tri thức liên tác (Hình 1.2) Hình Mơ hình tác tử thơng minh 1.3.1 Chức nghiệp vụ Các chức nghiệp vụ bao gồm qui trình nghiệp vụ nhằm đạt mục tiêu thực nhiệm vụ, rõ chức tác tử, dịch vụ tác tử thông minh, chẳng hạn như: cung cấp thông tin, lọc thông tin, truy vấn sở liệu, kiểm soát, hướng dẫn, vv Các chức nghiệp vụ thể khả nhận thức môi trường tác tử thông qua cảm biến hành động dựa theo môi trường để thực nhiệm vụ Có hai cách tiếp cận phổ biến việc thiết kế ngôn ngữ giao tiếp tác tử Đó phương pháp tiếp cận theo thủ tục phương pháp tiếp cận khai báo Trong cách tiếp cận theo thủ tục, giao tiếp tác tử mơ hình hóa chia sẻ thủ tục thị Các thị thủ tục chia sẻ phần cách tác tử cụ thể thực nhiệm vụ cụ thể tồn cơng việc tác tử Ngơn ngữ viết kịch thường sử dụng cách tiếp cận thủ tục Một số kịch phổ biến ngôn ngữ sử dụng JAVA, TCL, Applescript Telescript Thị trưởng nhược điểm cách tiếp cận thủ tục cần thiết việc cung cấp thông tin tác tử người nhận mà hầu hết trường hợp đến biết phần Trong trường hợp đưa giả định mơ hình sai, cách tiếp cận thủ tục có tác động phá hủy đến hoạt động tác tử Mối quan tâm lớn thứ hai hợp tập lệnh thủ tục chia sẻ thành tập lệnh lớn thực thi cho tác tử Do nhược điểm này, phương pháp tiếp cận theo thủ tục không ưu tiên phương pháp thiết kế ngôn ngữ giao tiếp tác tử Trong cách tiếp cận khai báo, ngôn ngữ giao tiếp tác tử thiết kế dựa việc chia sẻ câu lệnh khai báo xác định định nghĩa, giả định, khẳng định, tiên đề, v.v Để thiết kế ACL thích hợp cách sử dụng cách tiếp cận khai báo, tuyên bố khai báo phải đủ biểu đạt bao gồm việc sử dụng nhiều loại thông tin Điều làm tăng phạm vi hệ thống tác tử tránh cần thiết việc sử dụng phương pháp chuyên biệt để vượt qua chức định Các câu khai báo phải ngắn gọn xác để tăng độ dài ảnh hưởng đến chi phí giao tiếp xác suất thông tin tham nhũng Các câu lệnh khai báo cần phải đủ đơn giản để tránh sử dụng ngôn ngữ cấp cao Điều có nghĩa việc sử dụng ngơn ngữ khơng bắt buộc diễn giải thông điệp truyền Để đáp ứng tất yêu cầu khai báo phương pháp tiếp cận dựa ACL, nỗ lực chia sẻ kiến thức ARPA tạo tác tử ngôn ngữ giao tiếp để thỏa mãn yêu cầu ACL thiết kế bao gồm ba phần: Một phần Từ vựng, "Nội ngơn ngữ "và" Ngơn ngữ bên ngồi " Ngôn ngữ Bên chịu trách nhiệm dịch thông tin giao tiếp thành dạng Lôgic mà tất tác tử hiểu Vẫn chưa có thống ngôn ngữ nhiều ngôn ngữ bên đại diện KIF (Định dạng trao đổi tri thức), KRSL, LOOM có sẵn Biểu diễn ngôn ngữ tạo ngôn ngữ bên súc tích, rõ ràng phụ thuộc vào ngữ cảnh Người nhận phải bắt nguồn từ chúng hình thức lơgic ban đầu Đối với biểu diễn ngơn ngữ, ACL trì kho từ vựng Một ACL tốt trì kho lưu trữ mở để sửa đổi bổ sung thực để bao gồm chức tăng lên Các kho lưu trữ phải trì nhiều ontology việc sử dụng phụ thuộc vào miền ứng dụng Định dạng trao đổi tri thức ngôn ngữ bên biết đến nhiều phần mở rộng Phép tính Vị ngữ bậc (FOPC) Một số thơng tin mã hóa KIF liệu đơn giản, ràng buộc, phủ định, chức năng, quy tắc, thơng tin siêu cấp hỗ trợ q trình định cuối Nó khơng thể sử dụng KIF để trao đổi thông tin cách ẩn ý thông tin cần nhúng Điều để tác tử nhận giải thích với kiến thức tối thiểu cấu trúc người gửi Điều khó đạt kích thước gói tin tăng lên với gia tăng thông tin nhúng Để khắc phục điều nút cổ chai, ngôn ngữ cấp cao sử dụng ngôn ngữ bên làm xương sống giới thiệu Các ngơn ngữ cấp cao làm cho việc trao đổi thông tin trở nên độc lập cú pháp nội dung thể học Một ngơn ngữ bên ngồi tiếng đáp ứng điều KQML (Truy vấn tri thức Ngôn ngữ thao tác) Một trao đổi thơng tin điển hình hai tác tử sử dụng tác tử KQML KIF ngôn ngữ giao tiếp sau KQML coi định dạng thông báo giao thức xử lý thông báo để tạo điều kiện liên lạc thông suốt tác tử Từ ví dụ cung cấp, thấy KQML bao gồm ba lớp (Hình 3.8): Một lớp giao tiếp cho biết nguồn gốc thơng tin tác tử đích nhãn truy vấn định danh, lớp thông báo định chức thực (ví dụ: Trong ví dụ cung cấp, tác tử yêu cầu vị trí địa lý tác tử thứ hai tác tử trả lời truy vấn) lớp nội dung để cung cấp chi tiết cần thiết để thực truy vấn cụ thể Hình KQML – Cấu trúc ngôn ngữ phân lớp Trong KQML, lớp giao tiếp mức thấp hướng gói Một dịng suối phương pháp tiếp cận định hướng chưa phát triển Các luồng giao tiếp xây dựng TCP / IP, RDP, UDP phương tiện truyền thơng gói khác Lớp nội dung định ngôn ngữ sử dụng tác tử Cần lưu ý tác tử sử dụng ngôn ngữ khác để giao tiếp với phiên dịch thực địa phương ngôn ngữ cấp cao 3.5 Ra định hệ thống đa tác tử Ra định đa tác tử khác với hệ thống định đơn tác tử đơn giản Sự không chắn liên quan đến tác động hành động cụ thể lên môi trường thay đổi động môi trường tác động tác tử khác khiến việc đưa định đa tác tử trở thành nhiệm vụ khó khăn Thơng thường, việc đưa định MAS coi phương pháp luận để tìm hành động chung điểm cân tối đa hóa phần thưởng mà tác tử nhận tham gia vào trình định trình Việc định MAS thường mơ hình hóa lý thuyết trò chơi phương pháp Trò chơi chiến lược hình thức đơn giản trình định Nơi tác tử chọn hành động đầu trị chơi đồng thời thực hành động chọn tất tác tử Ví dụ: Một trị chơi chiến thuật bao gồm:  nhóm người chơi - kịch đa tác tử, tác tử giả định người chơi  Đối với người chơi, có tập hợp hành động  Đối với người chơi, tùy chọn tập hợp hồ sơ hành động Có phần thưởng liên kết với kết hợp giá trị hành động cho người chơi tham gia Hàm hoàn trả giả định xác định trước biết đến trường hợp trò chơi chiến lược đơn giản Người ta cho hành động tất tác tử quan sát kiến thức chung có sẵn cho tất tác tử Một giải pháp cho trị chơi cụ thể dự đốn kết trò chơi đưa giả định tất tác tử tham gia hợp lý Tình tiến thoái lưỡng nan người chơi trường hợp tốt để chứng minh việc áp dụng trò chơi lý thuyết việc định liên quan đến nhiều tác tử 3.5.1 Trạng thái cân Nash (Nash Equilibrium) Để có giải pháp tốt dựa ma trận hoàn trả xây dựng, phổ biến phương pháp sử dụng Cân Nash 3.52 Phương pháp loại bỏ vòng lặp (The Iterated Elimination Method) Giải pháp cho vấn đề nan giải Người tù đạt cách sử dụng phương pháp khử lặp Trong phương pháp này, hành động bị chi phối mạnh mẽ loại bỏ lặp lặp lại khơng cịn hành động bị chi phối nghiêm ngặt Lặp lại phương pháp loại trừ giả định tất tác tử hợp lý khơng chọn giải pháp chi phối nghiêm ngặt Phương pháp yếu phương pháp cân Nash tìm lời giải thuật tốn Phương pháp loại bỏ lặp lại khơng thành cơng khơng có hành động bị chi phối nghiêm ngặt có sẵn khơng gian giải pháp Điều hạn chế khả áp dụng phương pháp kịch đa tác tử, nơi chủ yếu bị chi phối yếu hành động gặp phải 3.6 Điều phối hệ thống đa tác tử (Coordination in Multi-Agent System) Điều phối vấn đề trọng tâm thiết kế hệ thống đa tác tử Tác tử hệ thống độc lập thường liên quan đến nhiều tác tử làm việc song song để đạt mục tiêu chung Khi nhiều tác tử sử dụng để đạt mục tiêu, cần phải phối hợp đồng hành động để đảm bảo tính ổn định hệ thống Sự phối hợp tác tử làm tăng hội đạt giải pháp toàn cầu tối ưu Trong lý địi hỏi phối hợp tác tử đánh dấu Các yêu cầu là:  Để ngăn chặn hỗn loạn vô tổ chức  Để đáp ứng hạn chế toàn cục  Để sử dụng tài nguyên, kiến thức chuyên môn thông tin phân phối  Để ngăn ngừa xung đột tác tử  Để nâng cao hiệu chung hệ thống Có thể đạt phối hợp cách áp dụng ràng buộc lựa chọn hành động chung tác tử cách sử dụng thông tin thu thập từ tác tử lân cận Này sử dụng để tính tốn điểm hành động cân nâng cao hiệu tiện ích tất tác tử tham gia Áp dụng ràng buộc hành động chung yêu cầu kiến thức sâu rộng miền ứng dụng Điều khơng có sẵn Nó địi hỏi phải lựa chọn hành động thích hợp thực tác tử Nó dựa tính tốn hành động cân Tuy nhiên, ma trận trả thưởng cần thiết để tính tốn giá trị tiện ích tất lựa chọn hành động khó xác định Kích thước ma trận trả thưởng phát triển theo cấp số nhân với số lượng tác tử ngày tăng lựa chọn hành động có sẵn Điều tạo nút thắt cổ chai tính toán giải pháp tối ưu Vấn đề vụ nổ chiều giải cách chia trị chơi thành số trị chơi phụ giải hiệu Một chế đơn giản làm giảm số lượng lựa chọn hành động áp dụng ràng buộc gán vai trò đến tác tử Sau vai trò cụ thể định, số lượng lựa chọn hành động phép giảm bớt khả thi mặt tính tốn Cách tiếp cận đặc biệt tầm quan trọng chế phối hợp phân tán Tuy nhiên, tập trung kỹ thuật phối hợp mối quan tâm lớn xây dựng Belief mơ hình cho tất tác tử Ma trận tốn tính tốn tập trung cung cấp cho tất tác tử dạng tài nguyên chia sẻ Sự điều phối tập trung thông qua từ mơ hình điều phối máy khách / máy chủ Hầu hết điều phối tập trung kỹ thuật sử dụng bảng đen cách để trao đổi thơng tin Tác tử lịch trình tất tác tử kết nối yêu cầu để đọc ghi thông tin từ đến kho thông tin trung tâm Một số cách thường áp dụng mơ hình máy khách / máy chủ KASBAH MAGMA Mơ hình sử dụng tồn cầu blackboards để đạt phối hợp cần thiết Bất lợi việc sử dụng phối hợp tập trung phân rã hệ thống điểm lỗi kho lưu trữ tác tử trung gian Sử dụng thêm tập trung kỹ thuật điều phối mâu thuẫn với giả định DAI 3.6.1 Điều phối thông qua giao thức Một kỹ thuật phối hợp cổ điển tác tử kiến trúc phân tán thông qua giao thức truyền thông Giao thức thường ngôn ngữ cấp cao rõ phương thức phối hợp tác tử loạt nhiệm vụ phương pháp phân bổ nguồn lực Giao thức sử dụng rộng rãi Contract Net Protocol tạo điều kiện cho việc sử dụng quyền kiểm soát phân tán nhiệm vụ hợp tác chấp hành Giao thức định thông tin giao tiếp tác tử định dạng thông tin phổ biến xử lý giao thức Một ngôn ngữ giao tiếp cấp thấp KIF xử lý luồng giao tiếp giả định có sẵn Giao thức tham gia vào trao đổi bên để đến giải pháp thích hợp Cuộc trao đổi quy trình phải tuân thủ đặc điểm sau:  Trao đổi trình cục tác tử khơng liên quan đến điều khiển  Giao tiếp hai chiều có sẵn tất tác tử tham gia tồn  Mỗi tác tử đưa đánh giá dựa nhận thức riêng Mơi trường  Thỏa thuận cuối thực thông qua việc lựa chọn lẫn kế hoạch hành động Mỗi tác tử đảm nhận vai trò Người quản lý Nhà thầu cần thiết Người quản lý phục vụ để chia vấn đề lớn thành vấn đề nhỏ tìm nhà thầu thực chức cách hiệu Một nhà thầu trở thành quản lý giải vấn đề phụ để giảm chi phí tính tốn tăng hiệu Người quản lý ký hợp đồng với nhà thầu thông qua trình đấu thầu Trong trình đấu thầu, người quản lý định loại tài nguyên cần thiết mô tả vấn đề cần giải Tác tử miễn phí nhàn rỗi có nguồn lực cần thiết để thực hoạt động gửi giá thầu cho biết khả họ Sau đó, tác tử quản lý đánh giá giá thầu nhận, chọn tác tử nhà thầu trao hợp đồng Trong trường hợp khơng có sẵn tác tử ký hợp đồng, tác tử người quản lý đợi khoảng thời gian định trước trước dự báo lại hợp đồng cho tất tác tử Tác tử ký hợp đồng thương lượng với Người quản lý đại diện tìm kiếm quyền truy cập vào tài nguyên cụ thể điều kiện trước chấp nhận hợp đồng Mơ hình FIPA ví dụ tốt tảng tác tử sử dụng hợp đồng giao thức mạng để đạt phối hợp tác tử FIPA - Foundation for Intelligent Physical Agent mơ hình phát triển để tiêu chuẩn hóa tác tử Cơng nghệ FIPA có ACL riêng (Ngơn ngữ giao tiếp tác tử) đóng vai trị xương sống cho giao thức mạng cấp cao Nhược điểm điều phối dựa giao thức giả định tồn tác tử hợp tác Chiến lược đàm phán thụ động không liên quan đến biện pháp trừng phạt cố gắng buộc tác tử áp dụng chiến lược cụ thể Thông thường, chiến lược chung đạt thông qua truyền thông lặp lặp lại tham số đàm phán sửa đổi dần để đạt trạng thái cân Điều làm cho giao thức mạng hợp đồng phải giao tiếp chuyên sâu 3.6.2 Điều phối qua đồ thị (Coordination via Graphs) Đồ thị phối hợp giới thiệu để phục vụ khuôn khổ để giải vấn đề phối hợp phân tán quy mơ Trong đồ thị phối hợp, tốn chia thành toán nhỏ dễ giải Giả định với đồ thị điều phối phần thưởng biểu thị dạng kết hợp tuyến tính phần thưởng cục trị chơi phụ Dựa giả định này, thuật toán biến phương pháp loại bỏ tính tốn hoạt động chung tối ưu cách loại bỏ lặp lặp lại tác tử tạo hàm có điều kiện để tính tốn giá trị lớn tác tử đạt với hành động tác tử khác mà phụ thuộc vào Khớp nối lựa chọn hành động biết sau hoàn thành tồn q trình tính tốn, quy mơ với gia tăng tác tử lựa chọn hành động có sẵn điều đáng quan tâm quy trình quan trọng thời gian Một phương pháp thay sử dụng max-plus làm giảm thời gian tính tốn cần thiết sử dụng Điều nhằm đạt phối hợp hệ thống đa tác tử áp dụng cho điều khiển tín hiệu giao thơng thị 3.6.3 Điều phối thơng qua mơ hình Belief Trong tình mà thời gian quan trọng hàng đầu, việc điều phối thông qua giao thức không thành công để thành công tác tử với nguồn lực cụ thể để giải vấn đề phụ từ chối đấu thầu Trong tình vậy, tác tử với mơ hình Belief nội tác tử lân cận giải vấn đề Mơ hình Belief nội phát triển quan sát thay đổi động lực môi trường phát triển dựa kiến thức heuristic kiến thức chuyên môn lĩnh vực Khi mô hình nội phát triển, nhân viên phải đủ thông minh để phân biệt thay đổi môi trường tác tử khác biến đổi tự nhiên xảy môi trường Một mô hình Belief dựa heuristics sử dụng để tạo phối hợp tác tử để thay đổi thời gian xanh cách hiệu Trong tiến hóa phương pháp kết hợp với mạng nơ-ron sử dụng để động tính tốn mức độ hợp tác cần thiết tác tử Điều dựa mơ hình trạng thái nội tác tử Mơ hình trạng thái nội cập nhật cách sử dụng phương pháp học tập củng cố Một bất lợi sử dụng mô hình điều phối dựa mơ hình Belief tác tử mơ hình khơng xác gây hỗn loạn hành động chọn 3.7 Khả học tập hệ thống đa tác tử (Learning in a MultiAgent System) Việc học hỏi tác tử định nghĩa xây dựng sửa đổi cấu trúc belief dựa sở kiến thức, thơng tin đầu vào có sẵn hậu hành động cần thiết để đạt mục tiêu cục Dựa định nghĩa trên, tác tử học tập phân thành ba loại:  Active learning  Reactive learning  Learning based on consequence Trong Active learning reactive learning, việc cập nhật phần belief tác tử đưa ưu tiên chiến lược lựa chọn hành động tối ưu mơ hình tri thức tốt tăng xác suất lựa chọn hành động thích hợp 3.7.1 Active learning Active learning mơ tả q trình phân tích quan sát để tạo tri thức mơ hình nội mơi trường tác tử có vị trí tương ứng Hoạt động Q trình học tập thực cách sử dụng phương pháp suy luận, quy nạp xác suất cách tiếp cận lý luận Trong cách tiếp cận học suy luận, tác tử rút suy luận suy luận để giải thích phiên cụ thể chuỗi hành động trạng thái cách sử dụng sở kiến thức Kể từ kết học ngụ ý suy luận từ sở kiến thức ban đầu tồn tại, thông tin học tác tử suy luận hữu ích Mục tiêu địa phương tác tử tạo thành phần sở kiến thức Trong phương pháp học tập suy luận, không chắn không quán liên quan đến kiến thức tác tử thường coi thường Điều làm cho khơng phù hợp với ứng dụng thời gian thực Trong cách tiếp cận học tập quy nạp, tác tử học hỏi từ quan sát cặp hành động trạng thái Chúng xem khởi tạo số quy tắc chung lý thuyết mà khơng có hỗ trợ giáo viên mơ hình tham chiếu Học tập quy nạp hiệu mơi trường trình bày dạng số câu lệnh Các phương pháp học tập quy nạp tiếng sử dụng mối tương quan quan sát không gian hành động cuối để tạo mơ hình trạng thái bên tác tử Chức học quy nạp nâng cao sở kiến thức sử dụng bổ sung để suy mơ hình trạng thái Phương pháp học tập quy nạp bắt đầu hoạt động, liệu có ý nghĩa thống kê liên quan đến tác tử khơng có sẵn Phương pháp học theo xác suất dựa giả định tác tử sở kiến thức mơ hình tri thức biểu diễn dạng xác suất xảy kiện Quan sát tác tử môi trường sử dụng để dự đoán nội trạng thái tác tử Một ví dụ điển hình việc học theo xác suất Định lý Bayes Theo định lý Bayes, xác suất sau kiện xác định xác suất trước kiện khả xảy tần suất xảy Khả xảy tính tốn dựa quan sát mẫu thu thập từ môi trường xác suất trước cập nhật cách sử dụng xác suất sau tính bước thời gian trước trình học Trong kịch nhiều tác tử, nơi hành động tác tử ảnh hưởng đến trạng thái tác tử khác việc áp dụng phương pháp học theo xác suất gặp nhiều khó khăn Đây bắt nguồn từ yêu cầu kiến thức xác suất chung hành động không gian trạng thái tác tử khác Với gia tăng số lượng tác tử, khó thực tế để tính tốn tính tốn khả thi Hạn chế khác số lượng hạn chế quan sát mẫu có sẵn để ước tính quỹ đạo xác 3.7.2 Reactive Learning Quá trình cập nhật tri thức mà khơng có kiến thức thực tế cần học quan sát gọi Học phản ứng Phương pháp đặc biệt hữu ích mơ hình tác tử mơi trường đến rõ ràng định hộp đen Học tập phản ứng nhìn thấy tác tử sử dụng hệ thống kết nối mạng neural Mạng neural phụ thuộc vào chế ánh xạ đầu vào đến mẫu liệu đầu cách sử dụng liên kết lớp tính tốn Việc học thực cách điều chỉnh trọng số khớp thần kinh lớp Mạng neural chuyển tiếp dựa nguồn cấp liệu đa tác tử phản ứng sử dụng ứng dụng để xác định hệ thống động lực phi tuyến tính chứng minh Trong nhiều phương pháp học tập phản ứng khác học tập tình cờ, theo quy trình, ghép kênh mua sắm xung quanh cách tiếp cận thảo luận Hầu hết phương pháp sử dụng thực tế môi trường ứng dụng chúng phụ thuộc vào miền ứng dụng 3.7.3 Learning Based on Consequence Các phương pháp học tập trình bày phần trước liên quan đến hiểu mơi trường dựa cập nhật mơ hình tri thức phân tích mẫu quan sát mẫu Phần đề cập đến phương pháp học dựa đánh giá mức độ tốt hành động chọn Điều thực phương pháp học tăng cường Học tăng cường cách lập trình tác tử cách sử dụng phần thưởng tín hiệu vơ hướng trừng phạt mà không định cách thức đạt nhiệm vụ Trong học tập củng cố, hành vi tác tử học thông qua thử sai tương tác với mơi trường động mà khơng có giáo viên người giám sát bên mà biết giải pháp phù hợp Thông thường, phương pháp học tập củng cố sử dụng không gian hành động nhỏ rời rạc Những phát triển gần kỹ thuật học tập củng cố làm cho sử dụng phương pháp kịch không gian hành động trạng thái liên tục lớn Ví dụ ứng dụng sử dụng củng cố kỹ thuật học tập phản ứng tác tử Trong RL tác tử đơn lẻ, hội tụ phương pháp luận xác định rõ ràng chứng minh Trong MAS phân tán, phương pháp học tăng cường phải đối mặt với vấn đề bùng nổ tổ hợp cặp hành động trạng thái Một mối quan tâm lớn khác thông tin phải thông qua tác tử để học tập hiệu Kết luận Bài báo cáo trình bày đầy đủ khái niệm tác tử thông phân loại ứng dụng tác tử thông minh Qua nghiên cứu cho ta thấy tác tử thông minh sử dụng ngày nay, giúp làm cho ứng dụng dễ sử dụng cách sử dụng chúng tăng nhanh Các tác tử thông minh giúp công việc dễ dàng cách thay mặt cho hệ thống người dùng thực số tác vụ tốn thời gian khó khăn Những tác tử làm cho khả tự động hóa nhiệm vụ định Với tiến công nghệ ngày tăng, có phát triển nâng cao tác nhân thông minh Điều tiếp tục chuyển thành thiết bị phức tạp điều khiển AI giải thách thức toàn cầu Tài liệu tham khảo [1] Eric Tsui - Technology in knowledge management [2] Peter Gottschalk - Strategic Knowledge Management Technology-Idea Group Pub (2005) [3] Simon Kendal, Malcolm Creen - An Introduction to Knowledge Engineering-Springer (2006) [4] https://www.cs.jhu.edu/~phi/ai/slides/lecture-intelligent-agents.pdf [5] Multiagent Systems: A Modern Approach to Distributed Artificial Intelligence - Google Sách [6]https://fmfiuk.hq.sk/Informatika/Uvod%20Do%20Umelej %20Inteligecie/clanky/ibm-iagt.pdf [7] A survey on intelligent agents and multi-agents for irrigation scheduling ScienceDirect [8] Intelligent agents: theory and practice | The Knowledge Engineering Review | Cambridge Core ... tác tử Chẳng hạn, tác tử lọc thông tin, tác tử truy xuất thơng tin, tác tử tìm kiếm, tác tử giám sát hệ thống, vv  Kiến trúc: Các tác tử đặt tên theo kiến trúc tri thức bên Chẳng hạn, tác tử. .. khác thông tin phải thông qua tác tử để học tập hiệu Kết luận Bài báo cáo trình bày đầy đủ khái niệm tác tử thông phân loại ứng dụng tác tử thông minh Qua nghiên cứu cho ta thấy tác tử thông minh. .. CHƯƠNG II: PHÂN LOẠI TÁC TỬ THÔNG MINH Dựa mức độ thông minh mức độ nhận thức, tác tử thông minh phân loại sau:      Tác tử phản xạ đơn giản (Simple reflex agents) Tác tử phản xạ dựa mơ hình