Bài giảng Trí tuệ nhân tạo: Bài 13 Mạng thần kinh nhân tạo cung cấp cho người học những kiến thức như: Một chút về quá trình phát triển của ANN; Perceptron; Huấn luyện một perceptron; Thuật toán huấn luyện Hebb; Thuật toán huấn luyện LMS; Sức mạnh của một perception.
TRÍ TUỆ NHÂN TẠO Bài 13: Mạng thần kinh nhân tạo (1) Nội dung Một chút trình phát triển ANN Perceptron Huấn luyện perceptron Thuật toán huấn luyện Hebb Thuật toán huấn luyện LMS Sức mạnh perception TRƯƠNG XUÂN NAM Phần Một chút trình phát triển ANN TRƯƠNG XUÂN NAM Sự phát triển ANN 1943: Warren McCulloch & Walter Pitts công bố nghiên cứu lý thuyết hoạt động mạng thần kinh ĐH Chicago 1949: Hebb xuất “The Organization of Behavior” 1954: Minsky làm luận án tiến sĩ kiến trúc mạng thần kinh 1959: Rosenblatt xây dựng kiến trúc perceptron ĐH Cornell (ảnh bên) TRƯƠNG XUÂN NAM Sự phát triển ANN 1960: Widrow Hoff giới thiệu thuật toán LMS 1961: Minsky viết “Steps Toward Artificial Intelligent” 1969: Minsky Papert viết cơng trình đánh giá thấp khả ANN 1982: Hopfield xây dựng mạng có nhớ, dạng RNN 1982: Kohonen giới thiệu mạng tự tổ chức (SOM) 1986: Rumelhart, Hinton & Williams giới thiệu giải thuật lan truyền ngược lỗi 1989: Yann LeCun (Bell Labs) giới thiệu kiến trúc mạng CNN sơ khai TRƯƠNG XUÂN NAM Sự phát triển ANN 1997: Jürgen Schmidhuber giới thiệu LSTM (Long shortterm Memory) 2006: Geoffrey Hinton giới thiệu thuật toán huấn luyện hiệu cho DBNs (deep belief networks) 2012: Nhóm Geoffrey Hinton gây sốc thi ImageNet với mạng CNN siêu lớn chiến thắng cách biệt 10-15% so với đội đứng thứ 500.000 nơ-ron, 60.000.000 tham số Huấn luyện tuần với GPU NVidia GTX 580 2012: Google Brain sử dụng CNN tỉ tham số để tự học khái niệm “con mèo” từ 10 triệu ảnh khơng có nhãn TRƯƠNG XN NAM Sự phát triển ANN 3/2016: Google DeepMind giới thiệu AlphaGo, sử dụng thuật toán học sâu tăng cường để học chơi thắng vô địch giới môn cờ Vây 12/2017: Google mắt AlphaZero, hệ thống tự học chơi game cờ hoàn tồn khác (chess, go, shogi) trình độ mà chưa phần mềm đạt - AI phát triển có nhanh hay khơng? - KHƠNG, năm 1903 người có chuyến bay (chỉ khoảng 37m), 66 năm sau người đặt chân lên Mặt trăng AI đời cách 62 năm TRƯƠNG XUÂN NAM Phần Perceptron TRƯƠNG XUÂN NAM Tế bào thần kinh sinh học Soma: thân nơron, nhận phát xung động thần kinh Dendrites: dây thần kinh vào, đưa tín hiệu tới nơron Axon: đầu dây thần kinh ra, nối với dây thần kinh vào tới nhân tế bào nơron khác thông qua khớp nối Synapse: khớp kích hoạt kích thích thơng tin TRƯƠNG XUÂN NAM Tế bào thần kinh sinh học TRƯƠNG XUÂN NAM 10 Perceptron Perceptron mô tế bào thần kinh sinh học [p0, p1,…, pr] vector đầu vào với p0 = [w0, w1,…, wr] vector trọng số, w0 = b Bộ tổng: n = p0w0+p1w1+…+prwr Đầu ra: a = hardlims(n) = (s>0) ? : -1 Đích: y Hoạt động: nhận đầu vào, biến đổi thành đầu (hàm kích hoạt) Đây nhiều cách mô phỏng, ý tưởng khác: GRU LSTM … TRƯƠNG XUÂN NAM 11 Hàm kích hoạt Sử dụng để định perception trả kết Ví dụ hàm hardlim: tổng tín hiệu đầu vào dương hàm trả 1, ngược lại trả Thiết kế perception thiết kế mở, cho phép ta thay đổi hàm kích hoạt theo mục đích riêng, có nhiều loại hàm kích hoạt khác sử dụng TRƯƠNG XUÂN NAM 12 Hàm kích hoạt TRƯƠNG XUÂN NAM 13 Phần Huấn luyện perceptron TRƯƠNG XUÂN NAM 14 Thuật toán huấn luyện Hebb Khởi tạo [w0, w1,…, wn] ban đầu ngẫu nhiên Duyệt toàn tập huấn luyện: Nếu a = y (kết = đích): bỏ qua Ngược lại: chỉnh wi Δwi = a * xi Lặp lại bước chừng cịn có sai Đặc điểm: Có tính minh họa Hội tụ có nghiệm Khơng “tối ưu” TRƯƠNG XUÂN NAM 15 Thuật toán huấn luyện Hebb Bước w0 w1 w2 x1 x2 f y -2 0.5 1.5 +1 +1 -0.5 0.5 -1 -1 0.5 0.5 -1 +1 -1 1.5 2.5 TRƯƠNG XUÂN NAM 16 Thuật toán huấn luyện LMS Khởi tạo [w0, w1,…, wn] ban đầu Duyệt toàn tập huấn luyện: Sai số e = y - f Chỉnh wi Δwi = η * e * xi Lặp lại bước đến vector W không thay đổi Chú ý: LMS tính tổng tín hiệu (f = s) LMS hội tụ siêu phẳng tối ưu ngăn cách hai tập mẫu (tổng bình phương sai số nhỏ nhất) Chọn giá trị η tốt? Nhỏ hội tụ chậm, lớn không ổn định TRƯƠNG XUÂN NAM 17 Phần Sức mạnh perception TRƯƠNG XUÂN NAM 18 Sức mạnh perception Một perception mạnh cổng logic Ví dụ perception dùng hàm kích hoạt hardlim, đầu vào, w1 = 1, w2 = Chọn b = -1.5 ta cổng AND Chọn b = -0.5 ta cổng OR x1 x1 x2 x2 1 1 x -1 x1+ x2 x1+ x2 -x b=-1.5 b=-0.5 b=0.5 y y = x1 AND x2 y y = x1 OR x2 TRƯƠNG XUÂN NAM y y = NOT x 19 ... có nghiệm Khơng “tối ưu” TRƯƠNG XUÂN NAM 15 Thuật toán huấn luyện Hebb Bước w0 w1 w2 x1 x2 f y -2 0.5 1.5 +1 +1 -0 .5 0.5 -1 -1 0.5 0.5 -1 +1 -1 1.5 2.5 TRƯƠNG XUÂN NAM 16 Thuật toán huấn luyện... đích riêng, có nhiều loại hàm kích hoạt khác sử dụng TRƯƠNG XUÂN NAM 12 Hàm kích hoạt TRƯƠNG XUÂN NAM 13 Phần Huấn luyện perceptron TRƯƠNG XUÂN NAM 14 Thuật toán huấn luyện Hebb Khởi tạo [w0,... w1 = 1, w2 = Chọn b = -1 .5 ta cổng AND Chọn b = -0 .5 ta cổng OR x1 x1 x2 x2 1 1 x -1 x1+ x2 x1+ x2 -x b =-1 .5 b =-0 .5 b=0.5 y y = x1 AND x2 y y = x1 OR x2 TRƯƠNG XUÂN NAM y y = NOT x 19