Học sâu và mạng nơ ron nhân tạo mạng nơ ron nhân tạo

HỌC SÂU VÀ MẠNG NƠ-RON NHÂN TẠO NHD: TS Nguyễn Huy Hoàng Khoa Điện tử - Trường Điện – Điện tử Mạng nơ ron nhân tạo • Lịch sử phát triển • Các hệ mạng nơ-ron nhân tạo • Một số mạng nơ-ron nhân tạo phổ biến • Các phương pháp huấn luyện phố biến Lịch sử phát triển • 1943 - mơ hình mạng nơ ron phát triển (Warren McCulloch and Walter Pitts) • 1958 - Frank Rosenblatt - bắt đầu làm việc với mơ hình Perceptron (Gen 1) • 1959 - Bernard Widrow & Marcian Hoff đề xuất mơ hình : ADALINE MADALINE - Multiple ADAptive LINear Elements (thế hệ mạng ứng dụng vào thực tế) • 1969 đến 1981 - Nghiên cứu Mạng Nơ ron bị trì trệ • 1997 - Recurrent neuron model - LSTM • 1998 - Gradient-based Learning (Document recognition) - LeNet - First CNN model (Gen 2) Các hệ mạng nơ-ron nhân tạo – Gen • Thế hệ mạng nơ-ron dựa nơ-ron cổng ngưỡng perceptron • Những tế bào thần kinh khơng có chức kích hoạt phi tuyến tính; thay vào đó, đầu họ 0, tùy thuộc vào việc tổng trọng số đầu vào họ hay ngưỡng ‘t’ Các hệ mạng nơ-ron nhân tạo – Gen • Thế hệ thứ hai mạng nơ-ron bao gồm nơ-ron áp dụng hàm liên tục phi tuyến tính cho tổng đầu vào có trọng số tạo tập hợp liên tục giá trị đầu có • Một số ví dụ hàm kích hoạt hàm sigmoid Các hệ mạng nơ-ron nhân tạo – Gen (tiếp) – MẠNG ANN Các hệ mạng nơ-ron nhân tạo – Gen (tiếp) – VÍ DỤ • Xét ví dụ sau: phân loại bệnh nhân bị bệnh bị bệnh tiểu đường không bị bệnh tiểu đường Các hệ mạng nơ-ron nhân tạo – Gen (tiếp) – VÍ DỤ • Xét ví dụ sau: phân loại ảnh sau ảnh người ảnh người ? NON-HUMAN HUMAN 10 Học có giám sát truyền thống Các phương pháp đánh giá hiệu mô hình:  Hold-out : chia theo tỷ lệ 70/30, 80/20, 90/10 , 95/5 %  K-fold : chia theo phần (thông thương k = 5, 10)  Leave One Subject Out: chia theo subject  Leave P – Subject Out: chia theo P subject 62 Học có giám sát kết hợp với tăng cường liệu 63 Học có giám sát kết hợp với tăng cường liệu 64 Học có giám sát kết hợp với tăng cường liệu 65 Học có giám sát kết hợp với tăng cường liệu 66 Học chuyển giao • Lý thuyết transfer learning Lorien Pratt thực nghiệm lần đầu năm 1993 sau viết lại dạng lý thuyết toán học vào năm 1998 thực hóa ý tưởng chuyển giao tri thức mơ người với • Một mơ hình có khả tận dụng lại tri thức huấn luyện trước cải thiện lại tác vụ phân loại 67 Học chuyển giao Từ đồ thị ta thấy sử dụng transfer learning mang lại lợi chính: • Có điểm khởi đầu accuracy tốt (higher start) • Accuracy có tốc độ tăng nhanh (higher slope) • Đường tiệm cận độ xác tối ưu cao (higher asymptote) Sơ đồ so sánh hiệu suất mơ hình trước sau áp dụng transfer learning 68 Phương pháp huấn luyện mạng hệ Những khó khăn huấn luyện triển khai mạng SNN: - Khơng thực đạo hàm tính back propagation - Giá thành chip SNN đắt chưa thương mại hóa Giải pháp: - Thực huấn luyện mạng NN sau chuyển đổi sang mạng SNN có kiến trúc tương đương - Để triển khai mạng SNN phần cứng, thay triển khai chip SNN, triển khai FPGA - Có tảng phố biển : RANC Nengo 69 RANC ecosystem Hệ sinh thái RANC: Cho phép huấn luyện mơ hình SNN software Quá trình huấn luyện tạo file cấu hình cho phép chạy mơ SNN phần mềm chạy SNN phần cứng FPGA 70 RANC ecosystem Ví dụ: phân loại người khơng phải người sử dụng mơ hình SNN 71 Huấn luyện xấp xỉ trực tiếp (dựa theo kiến trúc RANC TrueNorth- IMB) 72 Nengo: www.Nengo.ai 73 Nengo: www.Nengo.ai 74 CNN to SNN conversion (Nengo platform) CNN training Convolution operation Average Pooling ReLu activation function Convert SNN Simple connection weight between neuron Simple connection weight matrix Spiking ReLu 75 THANK YOU ! 76