CH NG 1 : M N GN RON VÀ QUÁ TRèNH HC C AM N GN RON
2.1. Th ut toỏ nv tkhe
2.1.2. Tớnh hit vƠ đ iu kin t iu
a. Tớnh hội tụ
Chỳng ta bi t rằng t М đ h М МựМ đ i mƠ Мú th ổn đ nh đ i Я i thu t toпn giảm Н М nhất thỡ đ М Мhia hai b i giп tr riờng МựМ đ i М a ma tr n Hessian, đ i
42
Я i hƠm m М tiờu Н ng toƠn ph ng. Hỡnh Н ng М a hƠm m М tiờu Мú th lƠ rất khпМ nhau trong МпМ Яựng khпМ nhau М a khụng gian tham s . V i МпМ hƠm khe thỡ đ Мong s rất khпМ nhau theo МпМ h ng khпМ nhau, Нo đú Яi М бпМ đ nh b М h М lƠ khụng thu n l i.
Chỳng ta đƣ nghiờn М u Я hƠm m М tiờu, М th lƠ nghiờn М u Я hƠm m М tiờu Мú Н ng lũng khe m М 1.3 Мh ng 1. Nguвờn nhơn М a Яi М h i t Мh m lƠ Яi М thaв đổi đ Н М М a mặt trờn đ ng đi М a quỹ đ o. Hai bờn khe rƣnh rất Н М tuв nhiờn đпв М a nú thỡ l i hầu nh bằng phẳng, quĩ đ o s Я t qua mặt lỗi rất nhanh Мho đ n khi nú r i ЯƠo thung lũng Мú đ nghiờng thoai thoải ЯƠ mất rất nhi u th i gian bờn khe rƣnh đ r i ti n Мh m Мh p đ n đi m МựМ ti u đụi khi đ n mất ổn đ nh khi r i ЯƠo thung lũng, hỡnh 2.1 mụ tả m t quỹ đ o Нao đ ng Я i hƠm m М tiờu Н ng lũng khe.
Hỡnh 2.1: Quỹ đạo dao động với sai số dạng lũng khe
M t ph ng phпp Мú th giỳp ta Яấn đ nƠв lƠ Нựng qui tắМ mụ-men. T М là khi quĩ đ o nhảв qua nhảв l i trờn khe rƣnh, bi n thiờn tr ng s s đổi Нấu liờn t М ЯƠ nh Я в s Мho ta s trung bỡnh Мho m t thaв đổi nh Мhớnh бпМ, nh Я в m ng Мú th ổn đ nh đпв khe rƣnh. đú nú bắt đầu Нi Мhuв n Мh m Нần theo quпn tớnh. Tuy nhiờn, đ i Я i nh ng bƠi toпn mƠ nghi m t i u nằm đпв b lừm, thỡ mụ-men Мũng Мhẳng giỳp đ М gỡ mƠ đụi khi Мũn gơв ra nguв hi m n u mụ-men l i đẩв quĩ đ o lờn Мựng m t khoảng МпМh phớa bờn kia М a khe r i М бoaв Яũng t o thƠnh
43
Нao đ ng. Đú Мũng Мhớnh lƠ Мпi l i ЯƠ h i М a Яi М Нựng mụ-men Мho Н ng bƠi toпn Я i mặt lỗi lũng khe.
M t ph ng phпp khпМ s Н ng t М đ h М thớМh nghi VLBP (Variable Learning rate BaМk Propagation algorithm). Chỳng ta Мú th nơng Мao sự h i t n u Мhỳng ta tăng t М đ h М trờn Яựng phẳng М a mặt lỗi ЯƠ r i thỡ giảm t М đ h М khi mƠ đ Мong М a mặt lỗi tăng. Nghĩa lƠ, Мhỳng ta Мú th nơng Мao sự h i t bằng Яi М đi u Мhỉnh t М đ h М trong quп trỡnh huấn luв n, Яấn đ М a Мhỳng ta s lƠ, бпМ đ nh khi nƠo thaв đổi t М đ h М ЯƠ bằng bao nhiờu, haв núi МпМh khпМ, Мhỳng ta Мần bi t Мhỳng ta đang đơu trờn hƠm m М tiờu. Tuв nhiờn đi u tr ng i Мhớnh Я i МпМ ph ng phпp VLBP lƠ МпМ đi u Мhỉnh Мú th Мần 5 hoặМ 6 tham s đ М lựa Мh n tr М. Thụng th ng thỡ Яấn đ thựМ hi n М a thu t toпn lƠ nh в Мảm Я i sự thaв đổi trong МпМ tham s đú. Sự lựa Мh n М a МпМ tham s thỡ Мũng ph thu М bƠi toпn.
Tớnh b М h М theo nguвờn lý Я t khe lƠ m t ph ng phпp t ra rất m nh đ giải quв t bƠi toпn t i u, đặМ bi t lƠ МпМ bƠi toпn Я i mặt Мhất l ng Н ng lũng khe, tr М khe.
Tuв nhiờn, tr М khi đ n Я i thu t toпn Я t khe thỡ Мhỳng ta hƣв tỡm hi u Я Яấn đ đi u ki n t i u, b i Яỡ nú ảnh h ng đ n nh ng suв nghĩ М a Мhỳng ta trong nh ng бuất phпt đi m М a bất kỳ m t thu t toпn t i u nƠo.
b. Điềukiện tối ưu
Ta s đi đ nh nghĩa m t s khпi ni m Я đi m t i u. Chỳng ta giả đ nh rằng đi m t i u lƠ đi m МựМ ti u М a hƠm m М tiờu. Ta бцt МпМ khпi ni m sau tr М khi đi đ n МпМ đi u ki n t i u.
Cực tiểu mạnh
Đi m u* lƠ МựМ ti u m nh М a J(u) n u m t s Яụ h ng >0 t n t i, đ J(u*) < J(u + u) Я i m i u mà u 0. Núi МпМh khпМ, n u Мhỳng ta Н Мh Мhuв n theo m i МпМh từ đi m МựМ ti u m nh m t khoảng nh theo bất kỳ h ng nƠo hƠm s tăng.
44
Đi m u* lƠ m t МựМ ti u toƠn М М Нuв nhất М a J(u) n u J(u*) < J(u + u) Я i m i u ≠ 0. Đ i Я i МựМ ti u m nh, u*, hƠm Мú th nh h n J(u*) t i МпМ đi m lơn М n nh М a u*. Cho nờn đụi khi МựМ ti u m nh Мũn g i lƠ МựМ ti u М М b . Đ i Я i МựМ ti u toƠn М М thỡ hƠm s lƠ nh nhất so Я i m i đi m khпМ trong khụng gian tham s .
Cực tiểu yếu
Đi m u* lƠ m t МựМ ti u в u М a J(u) n u nú khụng phải lƠ МựМ ti u m nh, ЯƠ m t s Яụ h ng >0 t n t i, đ J(u*) ≤ J(u + u) Я i m i u mà u 0.
Chỳng ta đƣ đ nh nghĩa Я đi m МựМ ti u. Ti p theo ta đ n Я i m t s đi u ki n mƠ Мần phải thoả mƣn đ Мú đi m t i u. S Н ng khai tri n Taвlor đ ti p М n МпМ đi u ki n đú. ..., 2 1 * * 2 * * u u J u u u J u J u u J u J u u T u u T trong đú u = u ậ u* Điều kiện th nhất
N u u mƠ rất nh thỡ b М Мao nhất trong ph ng trỡnh
..., 2 1 * * 2 * * u u J u u u J u J u u J u J u u T u u T
s lƠ khụng đпng k ЯƠ ta Мú th бấp бỉ hƠm lƠ: u Ju u J u J u u J u u T * * *
Đi m u* lƠ m t đi m МựМ ti u thớ đi m, ЯƠ đi u nƠв núi lờn rằng Мú th tăng n u u ≠ 0. Đ đi u nƠв бảв ra thỡ J u *u 0
u u T
. Tuв nhiờn, n u s h ng nƠв mƠ Н ng J u *u0
u u T
thỡ đi u nƠв núi rằng
* * * * u J u u J u J u u J u u T
45
Nh ng đi u nƠв lƠ m t sự mơu thu n, khi mƠ u* lƠ m t đi m МựМ ti u в u. Cho nờn, m t lựa Мh n Нuв nhất phải lƠ J u *u 0
u u T
. Khi đi u nƠв phải đỳng Мho bất kỳ u, chỳng ta cú J u uu* 0
Cho nờn graНient phải bằng 0 t i đi m МựМ ti u. Đơв lƠ đi u ki n Мần (nh ng khụng đ ) đ u* lƠ m t đi m МựМ ti u М М b (haв Мũn g i lƠ МựМ ti u m nh). Bất kỳ МпМ đi m thoả mƣn ph ng trỡnh J u uu* 0 đ М g i lƠ МпМ đi m tĩnh.
Điều kiện th hai
Giả s rằng ta Мú đi m tĩnh u*. Khi graНient М a J(u) bằng 0 t i tất Мả МпМ đi m tĩnh, khai tri n Мhuỗi Taвlor s lƠ:
..., 2 1 * 2 * * u u J u u J u u J u u T
Nh tr М, Мhỳng ta s Мhỉ бцt МпМ đi m đú trong lơn М n nh М a u*, Яỡ u lƠ nh ЯƠ J(u) Мú th đ М бấp бỉ b i hai s h ng đầu trong ph ng trỡnh. Cho nờn đi m МựМ ti u m nh(МựМ ti u М М b ) s t n t i, u*, n u u 2J u *u0
u u T
Đ Мho đi u nƠв lƠ đỳng Я i m i u ≠ 0 thỡвờu Мầu ma tr n Hessian phải lƠ ma tr n бпМ đ nh Н ng. Theo đ nh nghĩa, m t ma tr n A бпМ đ nh Н ng n u
0
Az
zT đ i Я i bất kỳ ЯeМt z ≠ 0. A lƠ bпn бпМ đ nh Н ng n u zTAz0
Đ i Я i ЯцМt z bất kỳ. Chỳng ta Мú th ki m tra МпМ đi u ki n đú b i Яi М ki m tra МпМ giп tr riờng М a ma tr n. N u tất Мả МпМ giп tr riờng mƠ Н ng, thỡ ma tr n lƠ бпМ đ nh Н ng. N u tất Мả МпМ giп tr riờng khụng ơm thỡ ma tr n lƠ бпМ đ nh bпn Н ng.
Ma tr n Hessian бпМ đ nh Н ng lƠ m t đi u ki n th hai, đi u ki n đ Мho Яi М t n t i МựМ ti u m nh (đi u ki n đ đ t n t i МựМ ti u М М b ). M t МựМ ti u Мú th Я n lƠ МựМ ti u m nh n u s h ng th hai М a Мhuỗi Taвlor lƠ 0, nh ng s h ng th ba lƠ Н ng. Cho nờn đi u ki n th hai lƠ đi u ki n Мần Мho МựМ ti u m nh n u ma tr n Hessian бпМ đ nh bпn Н ng.
46 - CпМ đi u ki n Мần Мho u* lƠ m t МựМ ti u, m nh hoặМ в u, М a J(u) lƠ
* 0 J u uu và * 2 u u u J бпМ đ nh bпn Н ng.
- CпМ đi u ki n đ Мho u* lƠ m t đi m МựМ ti u m nh (МựМ ti u М М b ) М a J(u) là J u uu* 0 và * 2 u u u J бпМ đ nh Н ng.
2.1.3. Thu t toỏn v t khe
Chỳng ta nh n thấв rằng МпМ đi u ki n t i u núi Мhung Мhỉ lƠ nh ng đi u ki n Мần mƠ khụng đ đ i Я i МựМ ti u toƠn М М. MƠ МпМ thu t toпn đƣ Мú thỡ đ u khụng đảm bảo МhắМ Мhắn rằng s tỡm đ М đi m МựМ ti u toƠn М М mƠ Мhỉ Мú khả năng nơng Мao М h i tỡm đ n đi m МựМ ti u toƠn М М mƠ thụi.
Nh Я в, Я i nh ng hƠm m М tiờu ph М t p thỡ МƠng khú khăn h n trong quп trỡnh tỡm nghi m s t i u ЯƠ Я n Мú th b tắМ t i tr М М a khe tr М khi đ t đ М đi m МựМ ti u, n u hƠm m М tiờu Мú Н ng khe. Cú th Мú m t Мhi n l М ti p theo đ giải quв t ti p Яấn đ khi mƠ gặp bƠi toпn khe nỳi nƠв lƠ sau khi đ t t i gần tr М khe bằng ph ng phпp graНient Я i b М h М đ М tớnh bằng МựМ ti u hoп theo đ ng (hoặМ Я i b М h М М đ nh) Мhỳng ta s Н Мh Мhuв n Н М theo đпв khe hẹp nh sự ti m М n Нần theo Н ng hỡnh h М М a đпв khe hẹp ЯƠ lỳМ nƠв thỡ ng i ta Мú th giả thi t Н ng hỡnh h М đú lƠ đ ng thẳng hoặМ бấp бỉ Мong b М hai.
Ta đƣ bi t МпМ thu t toпn t i u hoп lặp đ М бơв Нựng trờn hai khпi ni m М bản lƠ h ng thaв đổi hƠm m М tiờu (h ng tỡm ki m) ЯƠ đ НƠi b М. Quп trỡnh đú đ М mụ tả nh sau:
uk+1 = uk+ksk, k = 0,1,… Trong đú: uk
,uk+1 lƠ đi m đầu ЯƠ đi m Мu i М a b М lặp th k; sk lƠ ЯeМt Мhỉ h ng thaв đổi МпМ bi n s trong khụng gian n Мhi u; k đ М g i lƠ đ НƠi b М. CпМ thu t toпn t i u thụng th ng thỡ khпМ nhau Я h ng Мhuв n đ ng, hoặМ (ЯƠ) quв tắМ đi u Мhỉnh đ НƠi b М.
Sự khпМ bi t М bản М a ph ng phпp Я t khe so Я i МпМ ph ng phпp khпМ lƠ quв tắМ đi u Мhỉnh b М. Theo quв tắМ đi u Мhỉnh b М М a ph ng phпp Я t khe thỡ đ НƠi b М М a đi m tỡm ki m mỗi b М lặp khụng nh h n đ НƠi b М
47
nh nhất mƠ t i đú hƠm m М tiờu đ t giп tr МựМ ti u (đ a ph ng) theo h ng Мhuв n đ ng t i b М lặp đú. Đi u nƠв th hi n rất rừ trong МпМ nguвờn lý М bản М a ph ng phпp Я t khe.