Các mạng nơ-ron truyền thẳng sâu – Multilayer Perceptron (MLP) – là mô hình học sâu điển hình nhất. Để giải những bài toán không tuyến tính, ví dụ như hàm XOR,
thì perceptron là không đủ. Mạng nơ-ron với nhiều lớp ẩn (hidden layers) có thể giải những bài toán không tuyến tính [20]. Như vậy, mạng nơ-ron thoát được những hạn chế của perceptron về việc chỉ biểu diễn được các quan hệ tuyến tính. Cùng với phát hiện này, mạng nơ-ron trở lại với nhiều ứng dụng đột phá.
Mục tiêu của MLP là để mô phỏng một hàm 𝑓* nào đó. Ví dụ một hàm phân loại
𝑦 = 𝑓*(𝑥) ánh xạ đầu vào 𝑥 thành một lớp 𝑦. MLP mô phỏng hàm này dưới dạng
𝑦 = 𝑓(𝑥; θ) và học các tham số θ sao cho hàm 𝑓 mô phỏng hành vi của hàm 𝑓*
một cách gần đúng nhất có thể. Một mô hình như vậy được gọi là mạng truyền thẳng bởi vì thông tin đi qua mạng từ 𝑥, qua các lớp tính toán trong hàm 𝑓, tới đầu ra 𝑦. Trong mô hình không tồn tại những kết nối truyền ngược (feedback) – khi đầu ra của mô hình được truyền ngược lại làm đầu vào của chính nó. Khi mạng nơ-ron truyền thẳng có bao gồm các kết nối truyền ngược, nó được nhắc đến bằng một cái tên khác đó là mạng nơ-ron hồi quy (recurrent neural network, RNN). Mạng RNN sẽ được đề cập ở những phần sau của chương này.
Mạng truyền thẳng là những mô hình quan trọng đối với học máy. Chúng được sử dụng rộng rãi trong các ứng dụng thương mại. Ví dụ, mạng nơ-ron tích chập (convolutional neural network, CNN) là một loại mạng truyền thẳng được ứng dụng nhiều trong tác vụ nhận diện khuôn mặt từ hình ảnh.