Tương ứng: Trọng số w1 ,w 2 ,w 3 …, Các trọng số xác định tầm quan trọng của mỗi đầu vào và kích hoạt hàm sẽ xác định đầu ra của perceptron. Một chức năng kích hoạt tuyến tính sẽ là trọng số tổng các yếu tố đầu vào cộng với độ lệch được sử dụng để thay đổi đường cong hàm
𝑦 = ∑𝑛𝑖=1(𝑥𝑖. 𝑤𝑖𝑥1 + 𝑏) (6)
Tuy nhiên, các hàm tuyến tính có những hạn chế lớn trong mạng nơ-ron. Khi nói đến đào tạo (nhân giống ngược), đạo hàm sẽ là một hằng số khơng có mối quan hệ với
các đầu vào, vì vậy mạng khơng thể quay lại và điều chỉnh trọng số để cải thiện dự đốn. Do đó, nhiều lớp với các hàm kích hoạt tuyến tính có thể được kết hợp thành một hàm duy nhất, vì đầu ra sẽ là một hàm tuyến tính của đầu vào. Vấn đề này có thể được giải quyết bằng cách sử dụng các hàm kích hoạt phi tuyến tính, có thể khác tùy thuộc vào ứng dụng.
Giai đoạn đào tạo:
Để phát hiện đúng lớp của đối tượng đầu vào, việc huấn luyện mạng nơ-ron là nhất thiết xong. Nó bao gồm hai bước.
1) Truyền dịch chuyển tiếp, trong đó hình ảnh đi qua NN chỉ giống như một hình ảnh đầu vào sẽ làm, nhưng ban đầu các trọng số là ngẫu nhiên.
2) Sự lan truyền ngược để tính tốn gradient và điều chỉnh trọng số. Huấn luyện kết thúc khi tối đa số lần lặp đã được thực hiện hoặc khi hàm chi phí đã được giảm thiểu đến một mức nhất định ngưỡng cửa.
Hàm lỗi có thể được định nghĩa là:
J(Ø) = 1
N∑𝑛𝑘=0𝐿𝑜𝑠𝑠(𝑓(𝑥(𝑖), Ø)𝑦(𝑖)) (7)
Tham số điều chỉnh (đối với các trọng số: w1 , w2 …). (𝑥(𝑖) , Ø) là dự đoán đầu ra , 𝑦(𝑖) là đầu ra thực tế và N là số lần lặp, còn được gọi là kỷ nguyên. Các hàm mất mát phổ biến là hàm entropy chéo cũng như lỗi bình phương trung bình.
Đào tạo được thực hiện trên một tập dữ liệu hình ảnh. Chúng phải chứa đối tượng đang được đào tạo trong nhiều điều kiện khác nhau về ánh sáng, phối cảnh, khoảng cách, chất lượng hình ảnh, nền…
1) Tập huấn luyện: CNN sẽ sử dụng hình ảnh từ tập huấn luyện để điều chỉnh trọng lượng.
2) Bộ xác thực: Thay vì tập nhiều lần, nó xác minh bằng các hình ảnh khác rằng bài tập đang giúp cải thiện độ chính xác trong mạng nơron.
3) Bộ thử nghiệm: Bộ hình ảnh cuối cùng sẽ là bộ được người dùng sử dụng để trực quan hóa kết quả.
Một điểm chính cần xem xét trong đào tạo CNN là trang bị quá nhiều, nó có nghĩa là nhiều lần lặp lại được thực hiện trong q trình đào tạo, nó càng trở nên kém chính xác hơn sau khi vượt qua một số giới hạn. Kết quả xác thực sẽ bắt đầu kém hiệu quả khi trang bị quá mức bắt đầu xuất hiện hình dưới đây cho thấy sự so sánh giữa mạng lưới thần kinh trước và sau khi bỏ học.