Trong một số trường hợp, tớn hiệu ra của một n xỏc định trước theo tớn hiệu v
được xỏc định một cỏch chớnh xỏc bởi tớn hiệu v nơron sẽ xỏc định một xỏc suất
Trong đú T là một tham số xỏc định độ dốc của h à cỏc quy tắc xỏc định tớn hiệu ra
ần xỏc lậpmột quy tắc để xỏc địnhảnh hưởng của tớn hiệu v
ơron. Một hàm Fkđược sử dụngđể lấy tớn hiệu v
ện tại, tớnh giỏ trị kớch hoạt mới của nơronk:
( + 1) = ( ), ( ) (2.34)
àm kớch hoạt là một hàm khụng giảm của tớn hiệu v
( ) = ( ) ( )+ ( ) (2
ạt khụng nhất thiếtphải khụng giảm. Một số h ỡnh 2.10): hàm ngưỡng giới hạn mạnh (hàm d
àmngưỡng giới hạn trơn. Hàm giới hạn trơnc ) được xỏcđịnh như sau:
= ( ) = 1
1 + (2.36)
11 Một số dạng hàm kớch hoạt của nơron
ờng hợp, tớn hiệu ra của một nơron cú thể là m
ớc theo tớn hiệu vàotổng của nơron. Khi đú, giỏ trị kớch hoạt sẽ khụng ợc xỏc định một cỏch chớnh xỏc bởi tớn hiệu vào của nơron, mà tớn hi
ột xỏc suất p để một nơron nhận giỏ trị kớch hoạt cao:
( ← 1) = 1
1 + / (2.37)
ột tham số xỏc định độ dốc của hàm xỏc suất.
ởng của tớn hiệu vàotổng so với
ợc sử dụngđể lấy tớn hiệu vàotổng sk(t) và
ảm của tớn hiệu vàotổng
(2.35)
ạt khụng nhất thiếtphải khụng giảm. Một số hàm ngưỡng àm dấu), hàm tuyến ơncũn gọilà hàm
à một hàm khụng ị kớch hoạt sẽ khụng ơron, mà tớn hiệu vào của ận giỏ trị kớch hoạt cao:
Quy tắc delta
Xột mạng một lớp cú một nơron ra với hàm kớch hoạt tuyến tớnh, tớn hiệu ra được cho đơn giản như sau:
= + (2.38)
Mạng đơn giản như vậy cú thể biểu diễn một quan hệ tuyến tớnh giữa giỏ trị của nơron ra và giỏ trị của cỏc nơron vào. Ởđõy mạng được sử dụngđể xấp xỉ hàm.
Giả sử cần huấn luyện mạng để xỏc lập một siờu phẳng càng khớp càng tốt với
tập cỏc mẫu huấn luyện bao gồm cỏc giỏ trị vàoxp và cỏc giỏ trị ra mong muốn (đớch)
dp. Với mỗi mẫu vào, đầu ra của mạng sai khỏc với giỏ trị đớch dp một lượng (dp-yp),
trong đú yp là đầu ra thực sự của mẫu. Quy tắc delta sử dụng hàm giỏ hay hàm lỗi dựa trờn những sai khỏc này để điều chỉnh cỏc trọng số.
Hàm lỗi được xỏcđịnh như sau:
= =1
2 ( − ) (2.39)
Trong đú chỉ số pchạytrong tập mẫu vàovàEp biểu diễn lỗi trờn mẫu p. Phương
phỏp bỡnh phương trung bỡnhtối thiểu (LMS – Least Mean Square)xỏc địnhcỏc giỏ trị của tất cả cỏc trọng số rồi cực tiểu húa hàm lỗi bằng một phương phỏp gọi là độ dốc (gradient)giảm dần:
∆ = − (2.40)
Trong đú là một hằng số thớchứng. Giỏ trịđạo hàmlà:
= (2.41
Vỡ cỏc nơronlàtuyến tớnh (cụng thức (3.6))
= (2.42)
và
nờn
trong đú p = (dpyp) là s
2.3.3 Thuật toỏn học lan truyền ng
Một mạng nơron truy nhận tớn hiệu vàotừ cỏc nơron
một lớp trực tiếp phớa trờn.Khụng cú k
Cỏc nơron vàoNi truyền tớn hiệuđến lớp đầu ti nào được thực hiện ở cỏc nơron vào. Hàm kớch ho cỏc tớn hiệu vàocú trọng số cộng với một bias nh nơron ẩn này được phõn bổtr
lớp cuối cựng của cỏc nơron
lớp cỏc nơron ra No (hỡnh 3.3).
Do cỏc nơron ởđõy đ quỏt húa quy tắc delta đó trỡnh bày cỏc hàm phi tuyến.Hàm kớch ho bởi:
Trong đú
∆ = (2.44
yp) là sự sai khỏc giữa đầu ra đớch và đầu ra thực sựcủa mẫu p.
ật toỏn học lan truyền ngược
ơron truyềnthẳngcú cấu trỳc gồm nhiềulớp.Mỗi lớp chứa cỏc n ơron ở lớp trực tiếp phớa dưới và gửi tớnhiệu ra của chỳng cho ờn.Khụng cú kết nối nào giữa cỏc nơron trong cựng m
ền tớn hiệuđến lớp đầu tiờn của cỏc nơron ẩn Nh,1
ơron vào. Hàm kớch hoạt tạimột nơron ẩn là m
ọng số cộng với một bias như cụng thức (3.3). Tớn hiệu ra của cỏc
ợc phõn bổtrờn lớp tiếp theo của cỏc nơron ẩn Nh,2, cứ thế tiếp tục đến ơron ẩn, ở đú cỏc tớn hiệu ra của chỳng sẽ được truyền đến một (hỡnh 3.3).
Hỡnh 2.12. Mạng nơron l lớp
ởđõy được sử dụngvới hàm kớch hoạt phi tuyến, n
ó trỡnh bày ở trờn cho cỏc hàm tuyến tớnh để cú thể sử dụng với àm kớch hoạt là một hàm khả vi củatớn hiệu vàot
= (2.45)
= + (2.46)
ầu ra thực sựcủa mẫu p.
ềnthẳngcú cấu trỳc gồm nhiềulớp.Mỗi lớp chứa cỏc nơron ửi tớnhiệu ra của chỳng cho ơron trong cựng một lớp. ,1. Khụng xử lý à một hàm Fi của ức (3.3). Tớn hiệu ra của cỏc ứ thế tiếp tục đến ợc truyền đến một ạt phi tuyến, nờn cú thểtổng ến tớnh để cú thể sử dụng với àotổng, được cho
Để tổng quỏt húa chớnh xỏc quy tắc delta ta đặt
∆ = − (2.47)
Hàm lỗiEpđượcđịnh nghĩa là tổng lỗi bỡnh phương của mẫup tại cỏc nơron ra:
=1
2 ( − ) (2.48)
Trong đú là tớn hiệu ra mong muốn với đơn vị o khi mẫu p đưa vào. Đặt
= ∑ là tổng lỗi bỡnh phương. Ta cú thể viết:
= (2.49)
Theo cụng thức (3.14), nhõn tử thứ hai là:
= (2.50)
Khi đú cú định nghĩa:
= − (2.51)
Quy tắc mới nhận được nàytương đương với quy tắc delta ở trờn, trả về kết quảđộ dốc giảm dần trờn mặt phẳng lỗi nếu trọng sốđược thay đổitheo cụng thức:
∆ = − (2.52)
Cỏch làm ở đõy là nhằmxỏc định vai trũ của đối với mỗi đơn vị k trong mạng.
Kết quảlà cú sự tớnh toỏn hồi quy đơn giản của cỏc này và cú thể cài đặt bằng cỏch lan truyền ngược cỏc tớn hiệu lỗi trong mạng.
Để tớnh ,theo quy tắc chuỗi, đạo hàm riờng phần này được viết lại thànhtớch của hai nhõn tử, một nhõn tử phản ỏnh sự biến đổi của lỗi như một hàm của tớn hiệu ra của nơron, cũn một nhõn tử phản ỏnh sự biến đổi của tớn hiệu ra như một hàm của sự biến đổi tớn hiệu vào:
= − = − (2.53)
chớnh là đạo hàm của hàm F với nơron thứ k, được tớnh tại nơron vào đến nơron đú. Để tớnh nhõn tử thứ nhất trong cụng thức (2.54), ta xột hai trường hợp. Thứ
nhất, giả sử nơron k là nơron ra k = o của mạng, khi đú theo định nghĩa của Ep
= −( − ) (2.55)
Kết quả này giống như khi sử dụng quy tắc delta chuẩn. Thay thế kết quả này và kết quả ở cụng thức (3.22) vào cụng thức (3.21):
= ( − ) ( ) (2.56)
với nơron ra o bất kỳ. Trường hợp thứ hai, nếu k khụng phải là nơron ra mà là nơron ẩnk = h, khi đú khụng xỏc định được sự đúng gúp của nơron này vào lỗi ra của
mạng. Tuy nhiờn, cụng thức tớnh lỗi cú thể được viết như là một hàm của cỏc tớn hiệu vàotừ lớp ẩn đến lớp ra; = ( , . . , , . . ) và ta sử dụng quy tắc chuỗi để viết:
= = = = − (2.57)
Thay thế kết quả này vào cụng thức (3.21):
= − = − (2.58)
Cụng thức (2.58) và (2.55) xỏc định một thủ tục đệ quy để tớnh của tất cả cỏc nơron trong mạng, và sau đú sử dụng để tớnh sự thay đổi trọng số theo cụng thức (2.54). Thủ tục này chớnh là quy tắc delta tổng quỏt dựng cho mạng truyền thẳng phi tuyến.
Thực tế, toàn bộ quỏ trỡnh lan truyền ngược là rất trực quan. Khi một mẫu học đượcđưa vào, cỏc giỏ trị kớch hoạt sẽ được lan truyền đến cỏc nơron ra và tớn hiệu ra thực sự của mạng được so sỏnh với tớn hiệu ra mong muốn, thụng thường làkết thỳc
với một lỗi nào đú trong cỏc nơron ra. Gọi lỗi này là eo với mỗi nơron ra o. Mụcđớch là phải làm cho eo bằng 0.
Cỏch đơn giản nhất để thực hiện việc này là làm theo thuật toỏn tham lam: thay
đổi cỏc kết nối trong mạng để dần dần eo bằng 0 với mẫu học này. Theo quy tắc delta, để giảm lỗi, cỏc trọng số đượcchỉnh sửa theo
∆ = ( − ) (2.59)
Nhưng chỉ vậy thỡ chưa đủ: khi chỉ ỏp dụng quy tắc này, cỏc trọng số từ nơron vàođến cỏc nơron ẩn sẽ khụng được thay đổi và sẽ khụng cú được khả năng biểu diễn đẩy đủ của mạng truyền thẳng. Để cú thể chỉnh sửa được trọng số từ nơron vàođến cỏc nơron ẩn, cần tiếp tục ỏp dụng quy tắc delta.Tuy nhiờn, trường hợp này lại khụng cú giỏ trị cho cỏc nơron ẩn. Điều đú cú thể giải quyết bằng quy tắc chuỗi như sau: phõn tỏn lỗi của một nơron ra o cho tất cả cỏc nơron ẩn nối tới nú, theo trọng số bằng kết nối này. Mỗinơron ẩn h nhận một từ mỗi nơron ra o bằng của nơron ra đú với trọng số là trọng số của kết nối giữa những nơron đú: = ∑ . Cần cú hàm kớch hoạt của nơron ẩn; F’ phải được sử dụng cho delta, trước khi việc lan truyền ngược được tiếp tục.
Trờn đõy là toàn bộ lý thuyết liờn quan đến phương phỏp nhận dạng mặt người dựa trờn biến đổi PCA-LDA và mạng neural.Trong chương sau, chỳng ta sẽ tiến hành xõy dựng hệ thống nhận dạng dựa trờn phương phỏp này.
CHƯƠNG 3 THỰC NGHIỆM
3.1 Thiết kế hệ thống 3.1.1 Cơ sở dữ liệu ảnh 3.1.1 Cơ sở dữ liệu ảnh
Trong luận văn này, bộảnh dữ liệu đượclấy từ cơ sở dữ liệuORL (Olivetti Research Laboratory, Surrey University).Cỏcảnhởđõy tương đốiđa dạng, thớch hợp cho việc kiểm thử hệ thống. Bộảnh chụp 40 người khỏc nhau, mỗi người cú 10 ảnh riờng, cỏc ảnh này cú thể được chụpở những thờiđiểm khỏc nhau, vớinhững gúc nghiờng khỏc nhau, những trạng thỏi khỏc nhau như cười hoặc khụng cười, đeo kớnh hoặc khụng, miệng mở hoặcđúng.