Hình 1 .6 Ví dụ về một số phép lọ c
Hình 1.20 Một kiến trúc CNN cho bài toán xử lý ảnh
18
Những thách thức
Như với ANN, nhiều vấn đề có thể phát sinh với các DNN được đào tạo thuần túy. Hai vấn đề phổ biến là quá khớp và thời gian tính tốn.
DNN có xu hướng quá khớp vì các lớp trừu tượng được thêm vào, cho phép chúng mơ hình hóa các phần phụ thuộc hiếm gặp trong dữ liệu huấn luyện. Các phương pháp chính qui hóa có thểđược áp dụng trong q trình đào tạo để tránh quá khớp. Ngoài ra, bỏ học sẽ bỏ qua ngẫu nhiên các đơn vị khỏi các lớp ẩn trong quá trình đào tạo. Điều này giúp loại trừ các phụ thuộc hiếm gặp. Cuối cùng, dữ liệu có thể được tăng cường thơng qua các phương pháp như cắt và xoay để các bộ huấn luyện nhỏhơn có thểđược tăng kích thước để giảm nguy cơ q khớp.
DNN phải xem xét nhiều tham số huấn luyện, chẳng hạn như kích thước (số lớp và sốđơn vị trên mỗi lớp), tốc độ học và trọng số ban đầu. Việc qt qua khơng gian tham sốđể tìm các tham số tối ưu có thể khơng khả thi do tốn kém thời gian và tài ngun tính tốn. Nhiều thủ thuật khác nhau, chẳng hạn như xử lý theo lơ (tính tốn độ dốc trên một số ví dụđào tạo cùng một lúc thay vì các ví dụ riêng lẻ) tăng tốc độ tính tốn. Khả năng xử lý lớn của các kiến trúc nhiều lõi (chẳng hạn như GPU hoặc Intel Xeon Phi) đã tạo ra tốc độđáng kểtrong quá trình đào tạo, vì sự phù hợp của các kiến trúc xửlý như vậy đối với các phép tính ma trận và vectơ.
d. Ứng dụng
Nhận dạng giọng nói tựđộng
Nhận dạng giọng nói tự động quy mô lớn là trường hợp thành công đầu tiên và thuyết phục nhất của học sâu. LSTM, RNNs có thể học các nhiệm vụ "Học rất sâu" liên quan đến các khoảng thời gian nhiều giây chứa các sự kiện lời nói được phân tách bằng hàng nghìn bước thời gian rời rạc, trong đó một bước thời gian tương ứng với khoảng 10 mili giây. LSTM với cổng qn cạnh tranh với các trình nhận dạng giọng nói truyền thống trong một số nhiệm vụ nhất định.