1.4. Mạng nơron tích chập
1.4.3. Giải thuật lan truyền ngược
Phương pháp lan truyền ngược sử dụng một tập hợp các giá trị đầu vào và đầu ra để tìm ra mạng nơron thần kinh mong muốn. Một tập hợp đầu vào được đưa vào một hệ thống giả định trước nào đĩ để tính ra giá trị đầu ra, sau đĩ giá trị đầu ra này được so sánh với giá trị giá trị thực đo. Nếu khơng cĩ sự khác biệt nào, thì khơng cần thực hiện một quá trình kiểm tra nào, ngược lại các trọng số sẽ được thay đổi trong quá trình lan truyền ngược trong mạng thần kinh để giảm sự khác biệt đĩ.
Mạng lan truyền ngược thường cĩ một hoặc nhiều lớp ẩn với các nơron dạng sigmoid và lớp ra là các nơron với hàm truyền tuyến tính. Mạng nhiều lớp sử dụng thuật học lan truyền ngược đang được sử dụng rộng rãi nhất trong lĩnh vực nơron [13]
40
Hình 1.21 Mạng nơron truyền thẳng nhiều lớp sử dụng giải thuật lan truyền ngược Thuật tốn lan truyền ngược là dạng tổng quát của thuật tốn trung bình bình phương tối thiểu (Least Means Square-LMS). Thuật tốn này thuộc dạng thuật tốn xấp xỉ để tìm các điểm mà tại đĩ hiệu năng của mạng là tối ưu. Chỉ số tối ưu (performance index) thường được xác định bởi một hàm số của ma trận trọng số và các đầu vào nào đĩ mà trong quá trình tìm hiểu bài tốn đặt ra.
Với hình 1.21 ta cĩ
P: Vector đầu vào (vector cột)
Wi: Ma trận trọng số của các nơron lớp thứ i.
(SixRi: S hàng (nơron) - R cột (số đầu vào))
bi: Vector độ lệch (bias) của lớp thứ i (Six1: cho S nơron) ni: net input (Six1)
fi: Hàm chuyển (hàm kích hoạt)
ai: net output (Six1)
⊕: Hàm tổng thơng thường.
Bỏ qua sự phức tạp về mặt tốn học, thuật tốn lan truyền ngược cĩ thể phát biểu đơn giản như sau:
41
- Khi đĩ, đầu ra của một lớp trở thành đầu vào của lớp kế tiếp. Phương trình thể hiện hoạt động này như sau (trong đĩ M là số lớp trong mạng)
am+1 = fm+1(Wm+1am + bm+1) với m = 0, 1, …, m-1
- Các nơron trong lớp thứ nhất nhận các tín hiệu từ bên ngồi (với p chính là điểm bắt đầu
a0 = p
- Đầu ra của lớp cuối cùng được xem là đầu ra của mạng: a = am
Bước 2: Lan truyền lỗi (hay độ nhạy cảm) ngược lại qua mạng
- Thuật tốn lan truyền ngược sử dụng chỉ số hiệu năng là trung bình bình phương lỗi của đầu ra so với giá trị đích. Đầu vào của thuật tốn chính là tập các cặp mơ tả hoạt động đúng của mạng:
{(p1, t1), (p2, t2), …, (pq, tq)}
Trong đĩ pi là một đầu vào và ti là đầu ra mong muốn tương ứng, với i=1…Q. - Mỗi đầu vào đưa vào mạng, đầu ra của mạng đối với nĩ được đem so sánh với đầu ra mong muốn. Thuật tốn sẽ điều chỉnh các tham số của mạng để tối thiểu hĩa trung bình bình phương lỗi.
Bước 3: Cập nhật lại các trọng số và độ lệch tương ứng
Kết luận chương
Cĩ thể thấy, mạng nơron tích chập là một cơng cụ hữu hiệu trong việc xử lý các lớp bài tốn phi tuyến phức tạp. Đặc biệt là trong bài tốn phân lớp đối tượng phi tuyến. Chính vì vậy, nội dung chương 1 đã trình bày các kiến thức tổng quan cho việc xây dựng mạng nơron tích chập. Hiệu quả của mơ hình này sẽ được kiểm chứng thơng qua việc nhận dạng khuơn mặt dựa trên phương pháp học chuyển giao của mạng nơron tích chập sẽ được trình bày chi tiết trong chương 2.
42
CHƯƠNG 2: NHẬN DẠNG KHUƠN MẶT DỰA TRÊN PHƯƠNG PHÁP HỌC CHUYỂN GIAO CỦA MẠNG NƠRON
TÍCH CHẬP