Các bộ tự mã hoá thường được huấn luyện chỉ với một tầng mã hóa và một tầng giải mã. Tuy nhiên, đây không phải là một điều kiện cần thiết. Trong thực tế, sử dụng bộ mã hóa và giải mã đa tầng thậm chí còn có nhiều ưu điểm.
Nhớ lại từ phần 6.4.1 có nhiều ưu điểm về mức sâu của tầng mạng lan truyền thuận. Bởi vì bộ tự mã hoá cũng là mạng lan truyền thuận, nên cũng thừa hưởng những lợi thế này. Hơn nữa, chỉ tính riêng phần mã hóa cũng đã là một mạng lan truyền thuận, tương tự như vậy với phần giải mã, do đó, từng bộ phận của bộ tự mã đều có thể hưởng lợi từ mức độ đa tầng.
Định lý mô hình xấp xỉ phổ dụng đảm bảo rằng một mạng neuron lan truyền thuận với ít nhất một tầng ẩn đã có thể đại diện xấp xỉ cho bất kỳ hàm nào (trong một lớp rộng) với một độ chính xác tùy định, miễn là nó có đủ các đơn vị ẩn. Điều này có nghĩa là một bộ tự mã hóa với một tầng ẩn duy nhất có thể đại diện cho hàm đồng nhất tuỳ theo theo tập xác định của dữ liệu. Tuy nhiên, ánh xạ từ đầu vào đến đoạn mã hoá (code) lại không sâu (nông). Điều này có nghĩa là chúng ta không thể thực thi các ràng buộc tùy ý, chẳng hạn như mã phải thưa thớt. Một bộ tự mã hóa đa tầng, với ít nhất một tầng ẩn bổ sung bên trong bộ mã hóa, có thể ước tính bất kỳ ánh xạ nào từ đầu vào đến đoạn mã hoá tùy ý, miễn là được cung cấp đủ các đơn vị ẩn. Đây là một ưu điểm lớn của một mạng sâu.
Mức độ đa tầng có thể làm giảm chi phí tính toán biểu diễn một số hàm theo cấp số nhân. Mức độ đa tầng cũng có thể làm giảm số lượng dữ liệu huấn luyện cần thiết để học một số hàm nào đó. Xem phần 6.4.1 để xem xét các ưu điểm của mức độ đa tầng trong các mạng lan truyền thuận.
Qua thực nghiệm, các bộ tự mã hóa đa tầng có khả năng nén tốt hơn nhiều so với các bộ tự mã hóa nông tương ứng hoặc bộ tự mã hoá tuyến tính (Hinton và Salakhutdinov, 2006).
Một chiến lược chung để huấn luyện bộ tự mã hóa đa tầng bằng cách tiền huấn luyện tuần tự kiến trúc đa tầng qua việc huấn luyện nhiều bộ tự mã hóa nông và nối chúng với nhau, vì vậy chúng ta thường gặp phải các bộ tự mã hóa tự nông, ngay cả khi mục tiêu cuối cùng là huấn luyện bộ tự mã hóa đa tầng.