Các kỹ thuật trí tuệ nhân tạo hiện đại

Các kỹ thuật trí tuệ nhân tạo đại Các kỹ thuật trí tuệ nhân tạo đại Bởi: Học Viện Công Nghệ Bưu Chính Viễn Thông NHẬP MÔN Chương giới thiêu năm phần: • mạng nơ ron với khả ứng dụng chúng • nghiên cứu logic mờ với khả ứng dụng • giải thuật di truyền • phương pháp thuật toán lai mạng nơ ron logic mờ; giải thuật di truyền • agent thông minh Những vấn đề kể lớn Học viên tìm đọc thêm [2, 3, 4, 5, 11, 16, 20, 25] MẠNG NƠ RON NHÂN TAO Quá trình phát triển Theo Wiener: trí não, thông tin điều khiển ba lĩnh vực cờ chung điều khiển học (Cybernetics) [16] Nghiên cứu mô trí não, cụ thể mô tế bào thần kinh (nơron) ước muốn từ lâu nhân loại Từ mơ ước nhiều nhà khoa học không ngừng nghiên cứu tìm hiểu mạng nơron Với khoảng 15 tỷ nơ ron não người, nơ ron nhận hàng vạn tín hiệu từ khớp thần kinh coi chế sinh vật phức tạp Não người có khả giải nhũng vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt mẫu kiện có bị méo mó, thiếu hụt Não thực nhiệm vụ nhờ phần tử tính toán (nơ ron) Não phân bố việc xử lý cho hàng tỷ nơ ron có liên quan, điều khiển mối liên hệ nơ ron Nơ ron không ngừng nhận truyền thông tin lẫn Cơ chế hoạt động nơ ron bao gồm: liên kết (association), tổng quát hoá (generation), tự tổ chức (Self1/20 Các kỹ thuật trí tuệ nhân tạo đại organization) Các nơ ron tự liên kết với thành mạng xử lý Mỗi mạng gồm hàng vạn phần tử nơ ron khác Môĩ phần tử nơ ron có khả liên kết với hàng nghìn nơ ron khác Lý thuyết mạng nơ ron hình thành phát triển, đặc biệt nghiên cứu ứng dụng chúng [2, 4] Có thể chia trình phát triển nghiên cứu mạng nơ ron kỷ qua thành bốn giai đoạn: Giai đoạn tính từ nghiên cứu William từ năm 1890 tâm lý học với liên kết nơ ron thần kinh Năm 1940, McCulloch Pitts cho biết, nơ ron mô hình hoá thiết bị ngưỡng giới hạn để thực phép tính logic Cũng thời gian đó, Wiener xét mối liên quan nguyên lý phản hồi điều khiển chức cuả não; Ashly đề xuất mô hình chức não nguyên lý ổn định cuả Giai đoạn hai tính từ sau chiến thứ hai Đặc biệt, vào năm cuả thập niên 60 gần đồng thời xuất loạt mô hình mạng nơ ron hoàn hảo đưa như: Perceptron cuả Rosenblatt, phần tử nơ ron tuyến tính Adaline (ADAptive LINear Element) cuả Windrow, Ma trận học cuả Steinbuck Perceptron trọng nguyên lý giản đơn, hạn chế Minsky Papert chứng minh không dùng cho hàm logic phức Bản chất cuả Adaline tuyến tính, tự chỉnh dùng rộng rãi cho toán tự thích nghi, tách nhiễu phát triển ngày Giai đoạn thứ ba tính từ đầu năm 80 đến Những đóng góp to lớn cho mạng nơ ron giai đoạn phải kể đến Grossberg, Kohonen, Rumelhart Hopfield Đóng góp cuả Hopfield hai mô hình mạng phản hồi: mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính toán lớn cuả mạng mà nơ ron đơn có Giai đoạn thứ tư, từ năm 1990 đến Các Hội nghị, Tạp chí khoa học chuyên đề đặc biệt mạng nơ ron liên tục tổ chức ví dụ IJCNN (International Joint Conference on Neural Networks) Hàng loạt lĩnh vực khác như: kỹ thuật tính toán, tính toán tối ưu, ứng dụng mạng nơ ron tin học, viễn thông, sinh-y-học, dự báo, thống kê vào áp dụng đem lại nhiều kết đáng khích lệ Cơ sở mạng nơron nhân tạo số khái niệm Đầu tiên, tìm hiểu nguồn gốc mạng nơ ron, phần tử nơ ron đơn giản Mô hình nơron nhân tạo có nguồn gốc từ mô hình tế bào thần kinh (hay gọi nơron) sinh vật Mục đích phần không mô tả nghiên cứu nơ ron sinh học (việc có chuyên ngành nơ ron sinh vật nghiên cứu) mà muốn rằng: từ nguyên lý nơ ron sinh học, người ta bắt chước mô hình cho nơ ron nhân tạo [20] 2/20 Các kỹ thuật trí tuệ nhân tạo đại Mô hình nơron sinh vật Các nơron sinh vật có nhiều dạng khác dạng hình tháp đại não, dạng tổ ong tiểu não, dạng rễ cột sống Tuy nhiên, chúng có cấu trúc nguyên lý hoạt động chung Từ mô hình chung nhất, người ta mô tả chúng nơron chuẩn Một tế bào nơron chuẩn gồm bốn phần [20]: + Các nhánh rễ: phận nhận thông tin Các đầu nhạy đầu nơ ron khác bám vào rễ nhánh nơ ron Khi đầu vào từ có chênh lệch nồng độ K+, Na+ hay Cl- so với nồng độ bên của nơ ron xảy tượng thấm (hoặc tượng bơm) từ vào thông qua chế màng thấm đặc biệt Hiện tượng thẩm thấu tạo nên chế truyền đạt thông tin với hàng nghìn hàng vạn lối vào nơ ron sinh vật, ứng với hàng nghìn hàng vạn liên kết khác Mức độ thẩm thấu đặc trưng chế màng tượng trưng tỷ lệ Tỷ lệ gọi tỷ trọng hay đơn giản gọi trọng (weight) + Thân thần kinh (soma) chứa nhân quan tổng hợp prôtêin Các ion vào tổng hợp biến đổi Khi nồng độ ion đạt đến giá trị định, xẩy trình phát xung (hay kích thích) Xung phát đầu nơ ron Dây dẫn đầu xung gọi dây thần kinh (axon) a:Nơron sinh vật, b:Nơron nhân tạo + Dây thần kinh (axon) đầu Đó phương tiện truyền dẫn tín hiệu Dây thần kinh cấu tạo gồm đốt dài từ vài micro mét đến vài mét tùy kết cấu cụ thể Đầu truyền tín hiệu đến nơ ron khác 3/20 Các kỹ thuật trí tuệ nhân tạo đại + Khớp thần kinh (synape) phận tiếp xúc đầu nơ ron với rễ, nhánh nơ ron khác Chúng có cấu trúc màng đặc biệt để tiếp nhận tín hiệu (Hình 1.a) có chênh lệch nồng độ ion bên bên Nếu độ lệch nồng độ lớn việc truyền ion nhiều ngược lại Mức độ thấm ion coi đại lượng thay đổi tùy thuộc vào nồng độ giá trị đo thay đổi gọi trọng Hoạt động nơron sinh vật + Truyền xung tín hiệu: Mỗi nơron nhận tín hiệu vào từ tế bào thần kinh khác Chúng tích hợp tín hiệu vào Khi tổng tín hiệu vượt giá trị gọi giá trị ngưỡng (hay đơn giản gọi ngưỡng) chúng phát tín hiệu Tín hiệu nơron chuyển tới nơron tới quan chấp hành khác cơ, tuyến (glands) Việc truyền tín hiệu thực thông qua dây thần kinh từ nơron tới nơron khác theo chế truyền tin đặc biệt khớp thần kinh Mỗi nơron nhận hàng nghìn, vạn tín hiệu gửi tín hiệu đến hàng vạn nơron khác Mỗi nơron coi thiết bị điện hoá, chứa nội liên tục, gọi màng (rnembrance potential) Khi màng vượt ngưỡng, nơron truyền tác động xa theo dây thần kinh + Quá trình học: Khi có xung kích thích từ bên tới, khớp cho qua không kích thích hay ức chế nơron Học trình làm cho cách cập nhật lặp lại nhiều lần đến giá trị ổn định, cân điện hoá nơron (Trong mạng nơron nhân tạo, trọng số wij biểu diễn gía trị cân đồng thời tạo mối liên kết nơron) Những nơron ý nghĩa xử lý đơn lẻ mà cần thiết liên kết với tạo thành mạng Đặc tính hệ thần kinh xác định cấu trúc độ bền liên kết Có thể thay đổi độ bền vững liên kết (weight) thuật học khác Theo nghiên cứu nhà nơ ron sinh vật, noron xử lý với tốc độ 1/ đến 1/7 tốc độ cổng logic Các nơron sinh học thường liên kết hàng nghìn, hàng vạn phần tử với theo nhiều cách tổ chức khác phức tạp Tuy nhiên, số cách kết hợp phần tử nơron thành mạng theo lớp (layer) đúc kết sau: + Mạng lớp: tập hợp nơron có đầu vào đầu phần tử + Mạng hai lớp: gồm lớp đầu vào lớp đầu riêng biệt phần tử + Mạng nhiều lớp: gồm nhiều lớp lớp đầu vào lớp đầu riêng biệt Các lớp nằm lớp vào lớp gọi lớp ẩn (Hidden layers) 4/20 Các kỹ thuật trí tuệ nhân tạo đại + Mạng truyền thẳng: mạng nhiều lớp mà trình truyền tín hiệu từ đầu lớp đến đầu vào lớp theo hướng xác định + Mạng truyền ngược: mạng mà nhiều đầu phần tử lớp sau truyền ngược tới đầu vào lớp trước + Mạng tự tổ chức: mạng có khả sử dụng kinh nghiệm khứ để thích ứng với biến đổi môi trường (không dự báo trước) Mô hình nơron nhân tạo Mạng nơron sinh học có cấu trúc phức tạp Mô hình nơron nhân tạo xây dựng từ ba thành phần chính: tổng liên kết đầu vào, động học tuyến tính, phi tuyến không động học (Hình 1.1b) • Bộ tổng liên kết Bộ tổng liên kết đầu vào phần tử nơron mô tả sau: đó: v(t) tổng tất đầu vào; uk(t) đầu vào ngoài, k=1, ,m; y(t) đầu nơron; bk trọng liên kết đầu vào ngoài; w trọng liên kết đầu vào trong; I ngưỡng * Phần động học tuyến tính Có nhiều hàm để mô tả phần động học tuyến tính Đây phần mô tả xử lý bên nơron Dưới phương pháp dùng toán tử Laplace mô tả (hình 2) phần động học tuyến tính hàm truyền đạt: X(s) = H(s) V(s) (5.2) Một số hàm H(s) thường dùng cho nơron nhân tạo * Phần phi tuyến 5/20 Các kỹ thuật trí tuệ nhân tạo đại Các đầu nơ ron sinh vật xung, có giới hạn chặn Trong mô phỏng, để đảm bảo hệ ổn định đầu ra, người ta thường gán hàm chặn lối cho tín hiệu Để đặc trưng cho điều đó, lối nơ ron phải đặt hàm chặn, thường dạng phi tuyến với hàm g(.) Như đầu y có đặc trưng hàm: y = g(x(t)) (5.3) Có nhiều hàm phi tuyến sử dụng phần phi tuyến Một số hàm phi tuyến thường dùng cho Bảng 5.2 Một số dạng khác sử dụng (Các nơron chuyển động vùng thị giác nơ ron sinh học có đặc tính hàm Sigmoid, nơron khu vực quan sát có dạng hàm Gauss, nên việc mô hình hoá đầu dạng kể phù hợp tương ứng với nơ ron sinh học) 6/20 Các kỹ thuật trí tuệ nhân tạo đại Một số hàm phi tuyến thường dùng mô hình nơron *Một kiểu phân loại điển hình biểu diễn Hình Một cách Phân loại mạng nơron nhân tạo Một số dạng hàm mũ, logarit sử dụng khâu đầu phi tuyến sở sinh vật hàm chưa đặt Đầu y(t) trường hợp tổng quát liên tục rời rạc Cũng nơron sinh vật, nơron nhân tạo liên kết với để tạo thành mạng Có nhiều cách kết hợp nơron nhân tạo thành mạng, cách kết hợp tạo thành loại lớp mạng khác 7/20 Các kỹ thuật trí tuệ nhân tạo đại Mạng nơron truyền thẳng lớp Các cấu trúc mạng điển hình Mạng nơron truyền thẳng lớp Là mạng mà nơron tạo thành lớp, tín hiệu vào đưa vào cho tất nơron lớp nơron có nhiều đầu vào đầu nơ ron Xét trường hợp nơron động học (tức H(s) =1) xi(t) = vi(t) Phương trình mạng mô tả sau: đó: xi(t) trạng thái nơ ron, i =1, , n; ui(t) đầu vào ngoài; bik trọng liên kết, k = 1, , m; yi(t) đầu ra; n số nơron; m số tín hiệu đưa vào Có thể mô tả phương trình (1.4) dạng phương trình ma trận véc tơ: x(t) = Bu(t) + I y(t) = g(x(t)) (5.5) đó: véc tơ trạng thái; i = 1, ,n; véc tơ đầu ra; B=[bik] ma trận trọng n×m chiều; véc tơ Nếu nơron có đặc tính động học bậc H(s)=1/(Ts+1) tập hợp nơron viết dạng phương trình trạng thái: Hệ phương trình (1.6) cho dạng rời rạc: Tx(t + 1) + (1-T)x(t) = Bu(t) + I y(t) = g(x(t)) (5.7) Đặc tính mạng phụ thuộc vào ma trận liên kết B dạng động học H(s) Mạng truyền thẳng nhiều lớp 8/20 Các kỹ thuật trí tuệ nhân tạo đại Liên kết lớp cho khả ánh xạ phi tuyến đầu vào đầu Mạng hai lớp có khả ánh xạ hàm vùng lồi Mạng hai lớp nói chung dễ phân tích Mạng ba lớp nhiều lớp có khả mô tả hàm um phi tuyến Theo Cybenco hàm phi tuyến xấp xỉ tuỳ ý tập compact mạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố định Như vậy, xây dựng mạng nơ ron xử lý, mạng hai lớp ẩn đủ khả xấp xỉ hàm tùy chọn mà không dùng nhiều lớp phức tạp cho tính toán Mạng truyền thẳng nhiều lớp Xét mạng tĩnh (H(s)=1) truyền thẳng nhiều lớp có phương trình mô tả sau: đó: xi (t) đầu vào lớp q; i=1, ,n; q=1, ,Q; uk(t) đầu vào ngoài; bik trọng ngoài, k=1, ,m; iy đầu lớp q; w q ij trọng lớp q, từ nơron thứ j tới nơron thứ i,tín hiệu đưa vào Có thể mô tả phương trình (5.8) dạng phương trình ma trận-véc tơ: x(t) = Wy(t) + Bu(t) + I y(t) = g(x(t)) (5.9) đó, W, B, I ma trận; x, u, g véc tơ hàm Từ mạng truyền thẳng tổng quát số tác giả chọn dạng cụ thể, nghiên cứu áp dụng cho chúng thuật học phù hợp, hình thành mạng cụ thể như: mạng Adaline, mạng Percetron, mạng truyền ngược Dưới số mạng điển hình Mạng percetron lớp đơn 9/20 Các kỹ thuật trí tuệ nhân tạo đại Cấu trúc: Với véc tơ mong muốn d(k)=[d1(k),d2(k), ,dn(k)] véc tơ vào X(k ) =[X1(k), X2(k), , Xm(k)], k=1,2, ,p, m số đầu vào, n số đầu ra, p số cặp mẫu vào-ra dùng huấn luyện mạng Đầu thực tế theo cấu trúc chung: yi(k)= f(WiT xi(k)) = f(ΣWij xj(k)) = di (k) ; i=1, ,n; k=1, ,p (5.10) Đối với cấu trúc perceptron (5.10) viết thành: yi(k)= Sign(WiT xi(k)) = di (k) (5.11) Luật học tổng quát: học mạng nơron cập nhật trọng sở mẫu Theo nghĩa tổng quát, học chia làm hai loại: Học tham số học cấu trúc Trong năm gần đây, công trình tập trung cho nghiên cứu luật học khác Các luật học khái quát thành dạng chung sau: ΔWi j≡ α r X(t) (5.12) : α số học (dương) xác định tốc độ học; r tín hiệu học Tín hiệu học tổng quát hàm W, X, di, tức r = fr(wi, xi, di) Đối với trọng biến đổi liên tục sử dụng dạng sau: Luật Hebb ví dụ điển hình Nhà sinh học Hebb (1949) nêu tiên đề: trọng hiệu chỉnh phù hợp với quan hệ trước-sau [20] sau mô hình hoá thành luật học quan trọng mạng nơron nhân tạo Trong luật học Hebb, tín hiệu học thay đổi theo: Trong mạng cụ thể đó, luật Hebb có dạng: 10/20 Các kỹ thuật trí tuệ nhân tạo đại Mạng Adaline lớp (Windrov, 1960) Adaline (Adaplive Linear Element): nơron với đặc thù hàm tích hợp (tổng đầu vào) tuyến tính hàm kích hoạt (hàm đầu ra) dốc Phương trình mô tả cấu trúc sau: Luật học: Luật học Adaline sử dụng phương pháp bình phương cực tiểu truy hồi Windrow Hoff đề luật học dựa phương pháp gradient dùng Adaline để xấp xỉ hàm tuyến tính (m-1) biến nhờ tập hợp gồm p mẫu Đầu tiên chọn tuỳ ý véctơ trọng ban đầu W(1), sau ta bước hiệu chỉnh lại W(k) theo mẫu {x(k) , d(k)}, k=1, ,p, cho tổng bình phương sai số đạt cực tiểu: Học tiến hành theo mẫu, nên ΔWj tính tuần tự: E(W) có dạng bình phương, siêu Parabol không gian trọng Rm, có điểm cực tiểu Do đó, chọn η đủ nhỏ theo phương pháp gradient tìm véc tơ trọng tối ưu sau số lần lặp đủ lớn Mạng nơron RBF (Radial Basis Function) Mạng RBF Moody Darker đề xuất năm 1989 dựa tương đồng khai triển RBF với mạng nơron lớp ẩn Khả xấp xỉ hàm phi tuyến mạng thừa nhận từ hai lý Một là, kiểu khai triển RBF Hai là, tương đương với hệ thống mờ công cụ xấp xỉ vạn Đặc biệt mạng RBF Gauss kiểu mạng “có số người thắng”, nên áp dụng luật học không giám 11/20 Các kỹ thuật trí tuệ nhân tạo đại sát Kohonen mở rộng Điều giải thích từ cách suy diễn kiểu NẾU-THÌ hệ thống mờ tương đương Cấu trúc mạng nơron RBF Có m đầu vào, Wqj = (nên có người gọi mạng hai lớp) lớp ẩn: hàm kích hoạt dạng Gauss chuẩn: đây, véctơ đầu vào X=[x1, ,xm]; mk véctơ tâm (giá trị trung bình), δk (Scalar) chiều rộng (phương sai), ||.|| kí hiệu chuẩn ơclit Lớp ra: với n đầu ra: Các mạng nơ ron phản hồi Đưa phản hồi ngược vào cấu trúc mạng nơron tạo mạng động (dynamic) với số điểm ổn định Trong trường hợp tổng quát, mô hình mạng động mô tả sau: x(t) = F(x(t), u(t), θ), y(t) = G(x(t), θ) đó: x(t) trạng thái; u(t) đầu vào ngoài; θ tham số; F(.) hàm mô tả cấu trúc; G(.) hàm mô tả quan hệ biến trạng thái đầu Mạng phản hồi (recurrent) Kohonen, Anderson Nakano đề từ năm 1972 Hopfield hiệu chỉnh sơ đồ học nó, thông tin trọng đảm bảo trạng thái nhớ, ứng với điểm cực tiểu Các điểm cực tiểu dùng làm nhớ địa theo nội dung (CAM: Content Address Memory) nhằm giải toán nhận mẫu (nhận dạng tĩnh) Các mẫu chắn dùng làm điểm cân Các sai số đầu vào so với mẫu phải nằm vùng hấp dẫn Theo quan điểm vật lý spin glass hệ động học tạo ra, hệ mạng gắn liền với tập mẫu đưa vào từ trước Nếu toàn không gian làm việc phân vùng theo CAM điều kiện ban đầu ứng với mẫu chuẩn nghiệm trạng thái dừng ứng với mẫu 12/20 Các kỹ thuật trí tuệ nhân tạo đại Tiếp theo xem xét hai mạng Hopfield loại mạng lớp phản hồi sử dụng nhiều thực tế Mạng Hopfield rời rạc Hopfield nhà vật lý đề xuất hai loại mạng tiếng Mạng Hopfield mạng nơ ron phản hồi lớp dạng rời rạc với hàm kích hoạt (1982) [4] phi tuyến dạng bước nhảy : Mạng phản hồi lớp với p phần tử chọn ngẫu nhiên tính, p = 1, ,n, hàm quan hệ vào ra: Luật Hebb dùng để mã hoá P mẫu; yk, k=1, ,P điểm cân hệ mô tả từ (1-22) đến (1-24) cách chọn trọng số theo luật sau: 13/20 Các kỹ thuật trí tuệ nhân tạo đại Ở đây, h số mẫu Để xác định tính ổn định mạng, Hopfield nêu hàm lượng mạng (hay hàm năng): Nếu Wii=0 Wij =Wji thay đổi không đồng yp lượng giảm phù hợp theo: Độ suy giảm hàm lượng tiến 0, mạng ổn định Mạng phản hồi tổng quát Cohen Grossberg nêu mô hình tổng quát mạng phản hồi chứng minh tính ổn định Cohen Grossberg xét hệ bất kỳ: Trong bi(xi) hàm liên tục, dk(xi) khả vi, đơn điệu không giảm Các hệ số cik ≥ đối xứng thoả mãn số giả thiết tồn hàm Liapunov: xác định dương đạo hàm : Đối với hệ kỹ thuật, điều kiện định lý khó thực Bởi vậy, mô hình thoả mãn thực tế Loại mô hình khác, mô hình Hopfield liên tục, thực mạch điện dạng vi mạch tích hợp mật độ cao VLSI có nhiều ứng dụng 14/20 Các kỹ thuật trí tuệ nhân tạo đại Mạng Hopfield liên tục Năm 1984 sở mô hình rời rạc, Hopfield nêu mô hình nơron phản hồi liên tục mô tả luật tác động tập phương trình vi phân sau: Năng lượng mạng E(x) đó: Ci, Ri, Ii số, i = 1, , n; wij trọng liên kết phần tử nơron thứ j tới nơron thứ i; xi trạng thái thứ i mạng; gi(.) hàm sigmoid, tức khả vi, bị chặn đơn điệu tăng Hopfield nêu hàm Liapunov hay hàm lượng mạng: chứng minh tính ổn định mạng theo tiêu chuẩn ổn định Liapunov: dV/dt ≤ (5.35) Từ (5.35) cho thấy hệ ổn định, sau khoảng thời gian chuyển động không gian trạng thái, đạt cực tiểu miền V dừng điểm với tức yi=const với i Với hệ tồn nhiều điểm cân ứng với mức lượng cực tiểu (hay đáy lượng) siêu phẳng lượng siêu diện n chiều Giả sử mẫu vào (input patterns) tuỳ ý đưa vào hệ trạng thái ban đầu, hệ đạt đến điểm cân gần ứng với điểm ổn 15/20 Các kỹ thuật trí tuệ nhân tạo đại định Hình 5.6 cho thấy phác hoạ ngắn gọn lượng hệ E(x) Nếu E(x) hàm vô hướng x với cực tiểu địa phương, điểm cực tiểu địa phương gắn vào mạng làm đặc trưng xử lý thông tin Nếu hệ thống xuất phát trạng thái ban đầu x(0), theo thời gian hệ trượt xuống đáy lượng điểm cực tiểu gần Với đặc trưng vậy, mạng Hopfield có khả dùng làm nhớ mẫu lệnh, để sau gọi lại Dựa nguyên lý đó, mạng Hopfield dùng hệ nhận dạng tham số, làm suy diễn mờ (fuzzy interference) điều khiển thông minh, giải toán tối ưu Trong mạng thuộc nhóm phản hồi có mô hình mạng khác như: máy Bolzmann, Mc.Culloch-Pitts Mạng nơron tự tổ chức: (Self-Organizing Feature Maps) Con người có khả sử dụng kinh nghiệm khứ để thích nghi với thay đổi môi trường Sự thích nghi không cần người hướng dẫn đạo từ bên Mạng nơron nhân tạo thực theo nguyên lý gọi mạng tự tổ chức Kohonen nêu lên loại mạng với tên gọi đặc trưng tự tổ chức Trong mạng tự tổ chức, thời điểm có tế bào nơron nhóm nơron cục cho đáp ứng đầu vào thời điểm Mạng có lớp đơn lớp đầu vào Các trọng mạng mã hoá tương ứng với mẫu đầu vào Các ánh xạ đặc trưng sử dụng nhiều nhận mẫu, điều khiển rô bốt điều khiển trình Mức tác động nơron tính theo tích véc tơ vào véc tơ trọng xi = UWi (5.36) đó: xi trạng thái (mức tác động) nơron thứ i; Wi véc tơ trọng phần tử nơron thứ i; U véc tơ vào Gần đây, vài mô hình Fourier, Gabor ứng với dạng hàm phi tuyến sử dụng Những mạng thường tổ hợp loại mạng khác phát triển loại mạng có sẵn Khả ứng dung mạng nơ ron Khó khăn ứng dụng mạng nơ ron nhân tạo chục thập kỷ qua hạn chế mặt công nghệ tốc độ tính toán Cấu trúc mạng nơron đòi hỏi hàng nghìn, hàng vạn liên kết số lượng tính toán lớn phức tạp mặt cấu trúc (phần cứng) mặt phần mềm Ngày nay, với chip với độ siêu tích hợp, tốc độ cao mở nhiều khả ứng dụng thực tế 16/20 Các kỹ thuật trí tuệ nhân tạo đại Các ứng dụng tin học Trong vài chục thập niên trở lại đây, nhiều xử lý sở nguyên lý mạng nơ ron hình thành Những chế thử Hopfield sở mạch tương tự hình thành từ năm 1982 Ngày nhiều IC sở nguyên lý mạng nơ ron sản xuất Điển hình có hãng sản xuất vi mạch với độ tích hợp cao gọi Bộ xử lý-nơron thay cho vi xử lý (kinh điển dùng máy tính) chứa đến hàng trăm vạn phần tử tính toán-nơron có khả ghép nối hàng chục khác Các liên kết tính toán theo kiểu nơron đạt đến hàng tỷ thời điểm Nhiều chương trình phát triển xử lý theo kiểu nơ ron bán thị trường để giải toán tối ưu, xử lý tín hiệu, nhận dạng tiếng nói, chữ viết, nhận mẫu, dự báo, đặc biệt dự báo tài Những đặc trưng ứng dụng chủ yếu dựa nguyên lý xử lý nơ ron theo tập mẫu thay xử lý bước máy tính kinh điển Nói cách khác xử lý mang tính song song + Nhận dạng Nhiều kiến trúc thuật toán theo kiểu nơron dùng để nhận dạng cấu trúc tham số, đặc biệt mạng nơ ron truyền ngược Chang, Zhang Sami cho biết mạng Hopfield kết hợp với mạng Gabor để nhận dạng hệ phi tuyến có kết khả quan Trong trường hợp này, mạng bao gồm ba lớp Lớp thứ gọi tạo hàm sử dụng mạng Gabor để tạo hàm phi tuyến Lớp thứ hai dùng mạng Hopfield để tối ưu hệ số trọng chưa biết Lớp thứ ba gọi mạng điều khiển để tính sai số ước lượng điều khiển hoạt động lớp mạng thứ lớp thứ hai Hệ không yêu cầu phải ổn định tiệm cận mà cần đầu vào-ra giới hạn ổn định kết coi hợp lý theo miền vào-ra lớn Thành công phương pháp chỗ đạt lý luận phương pháp cho kết mô Các ứng dụng mở tương lai phát triển máy tính hệ thứ năm: hệ máy tính trình vào liệu không thủ công tay mà ngôn ngữ, hình ảnh với khả nhận dạng đạt độ xác chấp nhận + Mạng nơron nhân tạo sử dụng làm biến đổi A/D Ta xây dựng mạng Hopfield lớp có bốn nơron với đầu vào x=[x0, x1, x2, x3], đầu y=[y0, y1, y2, y3] cho biến đổi A/D bốn bit Thành công Hopfield từ 1984 chứng minh cách tiếp cận việc biến đổi giá trị tương tự sang số theo nguyên lý “não người” thay cho phần cứng phần mềm kinh điển + Nhận mẫu ký tự Các mạng nơron nhiều tác giả nghiên cứu ứng dụng xử lý chữ viết, như: nhận dạng ký tự, nhận dạng chữ viết, nhận dạng tiếng nói ảnh Viện CNTT khuôn khổ dự án kết hợp với Công ty Fuzisju (Nhật) bắt đầu ứng dụng công nghệ cho nhận mẫu chữ tiếng Việt viết tay Phần nghiên cứu trình bày ứng dụng mạng “Nhớ liên kết hai chiều: BAM) để nhận dạng ký tự tiếng Việt 17/20 Các kỹ thuật trí tuệ nhân tạo đại + Nhận dạng ảnh Trong lĩnh vực nghiên cứu hình ảnh tác giả sử dụng mạng nơron để xử lý hình ảnh nhận dạng, xử lý + Thực thuật toán tối ưu Ngay sau đề xuất kiến trúc thuật học, năm 1986 Hopfield với Tank ứng dụng mạng giải toán tối ưu tìm đường ngắn thay cho thuật toán Tin học kinh điển “Người bán hàng” Với phương tiện giải phần cứng chip nơron phần mềm theo thuật học mạng nơron, phương pháp bước vào kỷ nguyên ứng dụng mạng nơron cho toán khác tương tự toán định tuyến tối ưu (sẽ trình bày phần sau) Các ứng dụng viễn thông + Nhận dạng, mô hình hoá kênh phi tuyến Mạng nơron dần số tác Mohamed Ibnkahia ứng dụng vào lĩnh vực truyền thông: nhận dạng kênh, mô hình hoá kênh, mã hoá giải mã, hiệu chỉnh kênh, phân tích phổ, lượng tử hoá véc tơ Ở mạng nơron truyền thẳng, phản hồi, mạng tự tổ chức ứng dụng lĩnh vực phù hợp Ví dụ mạng Perceptron nhiều lớp với thuật học lan truyền ngược sử dụng để nhận dạng điều khiển hệ thống tự động dẫn đường bay cho ngành hàng không + Ứng dụng ATM (sẽ trình bày phần 4) Atsush đề xuất điều khiển mạng viễn thông ATM sở mạng nơ ron truyền ngược để học mối quan hệ lưu lượng thực tế chất lượng dịch vụ Phương pháp học bảng mẫu đề xuất để học mối quan hệ Ứng dụng mạng nơ ron xử lý tín hiệu Mạng BAM sử dụng để xử lý tín hiệu điều khiển [6] Mạng BAM lớp Mạng có hai lớp (Hình 9), lớp vào có n phần tử x1, x2, ,xn; lớp có m phần tử y1, y2, ,ym Ma trận trọng có kích thước m×n Phương trình trạng thái phần tử thứ i lớp y mô tả sau (i=1, ,n, k: bước lặp): 18/20 Các kỹ thuật trí tuệ nhân tạo đại Phương trình trạng thái phần tử thứ i lớp x: Quá trình điều chỉnh tiến hành đồng tất nơron xuất chu kỳ tính, cập nhật không đồng tập cập nhật thời điểm Hàm lượng sử dụng (T ký hiệu chuyển vị), mạng ổn định sau thời gian Luật cập nhật luật Hebb hay luật tích để mã hoá liên kết {Xi,Yi} mạngBAM cách đổi mô tả véc tơ nhị phân thành mô tả lưỡng cực đến Giả sử véc tơ cột Ai Bi có giá trị lưỡng cực ma trận trọng W cho: Bài toán tách lỗi với mạng BAM dùng ánh xạ từ không gian đầu vào đến không gian đầu Chúng ta định nghĩa ba véc tơ vào theo bảng: 19/20 Các kỹ thuật trí tuệ nhân tạo đại Để mã hoá với việc sử dụng luật Hebb véc tơ cần đổi thành dạng có giá trị nhị phân đổi dấu (xem bảng bên phải) Tổng tích véc tơ cho ma trận trọng W Từ (5.39) (5.40) đưa vào véc tơ A có L, ngược lại đưa L có A Điều chứng tỏ có mẫu vào véc tơ A mạng BAM xử lý gọi mẫu véc tơ L Mạng BAM lúc nhớ liên kết W, nhớ tình theo phương trình (1.38) giá trị thể ma trận số tính KẾT LUẬN Phần trình bày mô hình noron sinh vật làm sở cấu trúc cho mô hình nơ ron nhân tạo Đối với mô hình nơ ron nhân tạo có bốn vấn đề lớn cần quan tâm: • Các kiểu liên kết đầu vào (tuyến tính, phi tuyến) • Các loại hàm truyền chọn • Các hàm tương tác đầu cần xác định • Các cách liên kết (truyền thẳng, phản hồi, nhiều lớp) Từ cách chọn đó, hàng loạt cấu trúc mạng nhân tạo đựơc nghiên cứu sáng tạo nhằm giải toán khoa học kỹ thuật Các thiết bị cứng, chương trình, công cụ phát triển mềm sản xuất Không thể không nói đến luật học mạng nơ ron Những luật học đề cập đến phần ba Các chương trình mô đề cập đến phần bốn 20/20 [...]... tự tiếng Việt 17/20 Các kỹ thuật trí tuệ nhân tạo hiện đại + Nhận dạng ảnh Trong các lĩnh vực nghiên cứu về hình ảnh cũng được các tác giả sử dụng mạng nơron để xử lý hình ảnh như nhận dạng, xử lý + Thực hiện các thuật toán tối ưu Ngay sau khi đề xuất các kiến trúc và thuật học, năm 1986 Hopfield cùng với Tank đã ứng dụng mạng giải bài toán tối ưu tìm đường đi ngắn nhất thay cho thuật toán Tin học kinh... ra cần xác định • Các cách liên kết (truyền thẳng, phản hồi, một hoặc nhiều lớp) Từ cách chọn đó, hàng loạt các cấu trúc mạng nhân tạo đựơc nghiên cứu và sáng tạo nhằm giải quyết các bài toán khoa học và kỹ thuật Các thiết bị cứng, các chương trình, bộ công cụ phát triển mềm đã được sản xuất Không thể không nói đến các luật học của mạng nơ ron Những luật học sẽ đề cập đến ở phần ba Các chương trình... diện n chiều Giả sử các mẫu vào (input patterns) tuỳ ý được đưa vào hệ như trạng thái ban đầu, hệ sẽ đạt đến điểm cân bằng gần nhất ứng với điểm ổn 15/20 Các kỹ thuật trí tuệ nhân tạo hiện đại định Hình 5.6 cho thấy một phác hoạ ngắn gọn về năng lượng của hệ E(x) Nếu E(x) là một hàm vô hướng của x với các cực tiểu địa phương, các điểm cực tiểu địa phương này được gắn vào mạng làm các đặc trưng xử lý... trúc (phần cứng) cả về mặt phần mềm Ngày nay, với các chip với độ siêu tích hợp, tốc độ cao đã mở ra nhiều khả năng ứng dụng thực tế 16/20 Các kỹ thuật trí tuệ nhân tạo hiện đại Các ứng dụng trong tin học Trong vài chục thập niên trở lại đây, nhiều bộ xử lý trên cơ sở nguyên lý mạng nơ ron đã được hình thành Những chế thử đầu tiên của Hopfield trên cơ sở các mạch tương tự đã hình thành từ những năm 1982... với p là phần tử chọn ngẫu nhiên được tính, p = 1, ,n, và hàm quan hệ vào ra: Luật Hebb được dùng để mã hoá P mẫu; yk, k=1, ,P là các điểm cân bằng của hệ được mô tả từ (1-22) đến (1-24) bằng cách chọn các trọng số theo luật sau: 13/20 Các kỹ thuật trí tuệ nhân tạo hiện đại Ở đây, h là số mẫu Để xác định tính ổn định của mạng, Hopfield nêu hàm năng lượng mạng (hay hàm thế năng): Nếu Wii=0 và Wij =Wji... xạ từ không gian đầu vào đến không gian đầu ra Chúng ta định nghĩa ba véc tơ vào và ra theo bảng: 19/20 Các kỹ thuật trí tuệ nhân tạo hiện đại Để mã hoá với việc sử dụng luật Hebb thì các véc tơ cần được đổi thành dạng có giá trị nhị phân đổi dấu (xem bảng trên bên phải) Tổng các tích ngoài của các véc tơ này cho ma trận trọng W Từ (5.39) và (5.40) nếu đưa vào véc tơ A thì có L, ngược lại đưa L thì... điểm của vật lý về spin glass hệ động học như vậy được tạo ra, trong đó hệ mạng gắn liền với tập các mẫu được đưa vào từ trước Nếu toàn bộ không gian làm việc được phân vùng theo CAM thì điều kiện ban đầu ứng với các mẫu chuẩn là nghiệm trạng thái dừng ứng với các mẫu 12/20 Các kỹ thuật trí tuệ nhân tạo hiện đại Tiếp theo chúng ta xem xét hai mạng Hopfield là loại mạng một lớp phản hồi được sử dụng rất... hoặc các vi mạch tích hợp mật độ cao VLSI và đã có nhiều ứng dụng 14/20 Các kỹ thuật trí tuệ nhân tạo hiện đại Mạng Hopfield liên tục Năm 1984 trên cơ sở mô hình rời rạc, Hopfield đã nêu mô hình nơron phản hồi liên tục được mô tả luật tác động bằng tập các phương trình vi phân sau: Năng lượng mạng E(x) trong đó: Ci, Ri, Ii là các hằng số, i = 1, , n; wij là trọng liên kết phần tử nơron thứ j tới nơron... liên kết W, nhớ các tình huống theo phương trình (1.38) và các giá trị của nó thể hiện trên ma trận bằng số như đã tính ở trên KẾT LUẬN Phần này trình bày các mô hình noron sinh vật làm cơ sở cấu trúc cho mô hình nơ ron nhân tạo Đối với mô hình nơ ron nhân tạo có bốn vấn đề lớn cần được quan tâm: • Các kiểu liên kết đầu vào (tuyến tính, phi tuyến) • Các loại hàm truyền được chọn • Các hàm tương tác... năng xấp xỉ của các hàm phi tuyến của mạng có thể thừa nhận từ hai lý do Một là, nó là một kiểu khai triển RBF Hai là, nó tương đương với hệ thống mờ và là một công cụ xấp xỉ vạn năng Đặc biệt mạng RBF Gauss sẽ là một kiểu mạng “có một số người thắng”, nên có thể áp dụng luật học không giám 11/20 Các kỹ thuật trí tuệ nhân tạo hiện đại sát của Kohonen mở rộng Điều này có thể giải thích từ cách suy diễn