Bài giảng Học sâu và ứng dụng

1 Học sâu ứng dụng (IT4653) Bài 2: Giới thiệu mạng nơ-ron Mạng nơ-ron não • Mạng nơ-ron mô cấu trúc kết nối não người • Não người tạo nhiều nơ-ron liên kết với Perceptron • Bắn xung “fire” tổng có trọng số đầu vào với “bias” T khơng âm Perceptron mềm (logistic) • Sử dụng hàm khả vi thay cho hàm xung • Hàm kích hoạt sigmoid dùng để xấp xỉ hàm xung • Hàm kích hoạt hàm tác động lên tổng có trọng số liệu vào Perceptron mềm (logistic) Một số hàm kích hoạt thường gặp • ReLU lựa chọn mặc định tốt cho nhiều tốn • Hiện xu hướng dùng số hàm kích hoạt đại ReLU6, swish, mish Tầm quan trọng hàm kích hoạt • Mục đích sử dụng hàm kích hoạt đưa lớp phi tuyến vào mạng nơ-ron Hàm kích hoạt tuyến tính ln sinh đường phân cách tuyến tính mạng có lớn cỡ Các lớp phi tuyến cho phép xấp xỉ hàm phức tạp Perceptron đơn giản hóa Perceptron đơn giản hóa 10 Trực giác ban đầu GANs • Generator cố gắng cải tiến chất lượng liệu giả 51 Intuition behind GANs • Discriminator cố gắng phân biệt liệu thật giả • Generator cố gắng cải tiến chất lượng liệu giả để lừa discriminator 52 Huấn luyện GANs • Discriminator cố gắng phân biệt liệu thật giả • Generator cố gắng cải tiến chất lượng liệu giả để lừa discriminator 53 Huấn luyện GANs 54 Biến đổi Image-to-image 58 pix2pix • Training a conditional GAN to map edges→photo The discriminator, D, learns to classify between fake (synthesized by the generator) and real {edge, photo} tuples The generator, G, learns to fool the discriminator Unlike an unconditional GAN, both the generator and discriminator observe the input edge map 59 Conditional GAN 60 CycleGAN 61 Progressive growing of GANs (NVIDIA) 62 Progressive growing of GANs (NVIDIA) 63 Style-based generator 64 Style-based transfer 65 Tổng kết mơ hình sinh 66 Tài liệu tham khảo Khóa MIT Deep Learning 6.S191: http://introtodeeplearning.com/ Khóa cs231n Stanford: http://cs231n.stanford.edu/slides/2020/lecture_11.pdf 67 Chân thành cảm ơn!!! 68 ... Lịch sử CNNs • Hiện CNNs ứng dụng khắp nơi, ví dụ tốn phân loại ảnh, truy vấn ảnh Lịch sử CNNs • Ứng dụng CNNs toán phát đối tượng, phân đoạn ảnh Lịch sử CNNs • Ứng dụng CNNs nhận dạng dáng người.. .Học sâu ứng dụng (IT4653) Bài 2: Giới thiệu mạng nơ-ron Mạng nơ-ron não • Mạng nơ-ron mô cấu trúc kết nối não... liệu đầu vào • Nơ-ron tích chập trượt từ trái sang phải từ xuống khối liệu đầu vào tính tốn để sinh đồ kích hoạt (activation map) • Chiều sâu nơ-ron tích chập chiều sâu khối liệu đầu vào Lớp tích