M ngăN ron
B ngă6.7: Các lệnh điều kh in
Ch y tới Chớp mắt 3 cái
Ngừng l i Chớp mắt 2 cái
Ch y lùi Chớp mắt 4 cái
Quay trái Liếc trái
49 Hình 6.7 miêu t các h ớng di chuy n c a đối t ng, và hình 6.8 mô t đối t ng đang điều khi n xe lăn điện. Trong thí nghiệm này đ chính xác trung bình kho ng 80%.
Hình 6.7:Các h ớng di chuy n và góc quay c a đối t ng
50
Ch ng 7
NH NăD NGăCỄCăHO TăĐ NGăC AăM TăDỐNGă
M NGăLANăTRUY NăNG C
Phân lo i là b ớc quan trọng đ xác định các ho t đ ng c a mắt. Tín hiệu sau khi đ c trích các đặc tính bởi các hệ số mô hình AR, các hệ số này sẽ đ c đ a vào m ng nơron truyền thẳng nhiều lớp đ huấn luyện
7.1 M ngăLanăTruy năNg c
B nưo ng ời gồm kho ng 1011tế bào thần kinh, những tế bào thần kinh này kết nối với hàng ngàn tế bào thần kinh khác t o thành m t m ng l ới thần kinh. Thông qua các kết nối này mà các tế bào có th giao tiếp với nhau và thông qua m ng thần kinh này mà con ng ời có ki m soát đ c các b phận c a cơ th .
M ng thần kinh nhân t o bắt nguồn từ mong muốn bắt ch ớc ho t đ ng c a nưo ng ời. Nó đ c xem là mô hình toán học đơn gi n c a b nưo con ng ời. Không giống nh các mô hình tính toán thông th ờng, hầu hết các m ng thần kinh ph i đ c huấn luyện mối quan hệ giữa đầu ra và đầu vào tr ớc khi sử d ng.
Các nghiên c u về m ng thần kinh nhân t o bắt đầu từ thập niên 1940. Năm 1944, McCulloch và Pitts công bố công trình nghiên c u về liên kết các tế bào thần kinh. Năm 1949, Hebb công bố nghiên c u về tính thích nghi c a m ng thần kinh. Cuối những năm 1950, Rosenblatt đ a m ng ra perceptron. Năm 1985, m ng Hopfield ra đời và sau đó 1 năm m ng lam truyền ng c [1].
Khác với m ng truyền thẳng m t lớp, m ng truyền thẳng nhiều lớp (hình 7.1) với luật học lan truyền ng c có kh năng gi i các bài toán không kh phân tuyến tính nên đ c sử d ng r ng rưi trong việc xử lý tín hiệu, nhận d ng mẫu, chuẩn đoán y tế, phân lo i và điều khi n.
51
Hình 7.1:Cấu trúc c a m ng truyền thẳng nhiều lớp
M ng lan truyền ng c cực ti u hóa hàm sai số trong không gian các trọng số bằng ph ơng pháp suy gi m gradient. Bởi vì ph ơng pháp này tính toán gradient c a hàm sai số t i m i vòng lặp nên đòi hỏi hàm sai sốph i liên t c và kh phân. Do đó m ng lan truyền ng c sử d ng hàm kích ho t khác với hàm b ớc đ c sử d ng trong m ng perceptron. M t trong những hàm kích ho t đ c sử d ng nhiều nhất là hàm sigmoid đ c bi u di n bằng công th c (7.1) và hình d ng c a hàm sigmoid ở hình 7.2: x e x S 1 1 ) ( (7.1) Hình 7.2: Hình d ng c a hàm sigmoid
Xét m t m ng lan truyền ng c có n ngõ vào, m ngõ ra, có ch a m t số nơron lớp ẩn đ và có tập mẫu dữ liệu huấn luyện ( vào - ra) mong muốn {(x1, t1), (x2, t2),… (xp, tp)} ch a p cặp vectơ mxn. Các b trọng số sẽ đ c chọn ngẫu nhiên. Khi tập
52 dữ liệu xi đ c huấn luyện sẽ t o ra tập ngõ ra oi khác với ti, lúc đó hàm sai số E
đ c tính theo công th c [5]: p i i i t o E 1 2 ) ( 2 1 (7.2)
Thuật toán lan truyền ng c đ c sử d ng đ tìm cực ti u c c b c a hàm sai số. Do đó các gradient c a hàm sai số sẽ đ c tính toán đ thay đổi giá trị trọng số ban đầu. Các trọng số là thông số duy nhất đ c thay đổi đ gi m sai số và m i trọng số sẽ tăngthêm m t l ng [5]: w E w (7.3)
Với w là vectơ các trọng số trong m ng, là tốc đ học (hằng số),
w E
đ o hàm hàm sai số theo w. Công th c (7.3) cho ta thấy rằng, các trọng số c a m ng di chuy n theo h ớng âm c a gradient hàm sai số. Các trọng số sẽ đ c cập nhật dựa trên các vectơ đầu vào và vectơ m c tiêu t ơng ng dùng đ huấn luyện m ng. Sau m i vòng lặp giá trị các trọng số sẽ đ c cặp nhật cho đến khi thỏa mưn sai số yêu cầu.
Mặc dù có nhiều quy tắc đ tối u m ng nơron đang đ c phát tri n thì kiến trúc m ng đ c bắt nguồn từ việc thử và sai. Việc xác định số lớp ẩn thích h p là m t nhiệm v quan trọng trong việc thiết kế m ng nơron. M t m ng có số nút lớp ẩn quá ít sẽ không có kh năng phân biệt giữa các mô hình ph c t p. Ng c l i, nếu m ng có nhiều nút ẩn sẽ dẫn đến tính tổng quát nghèo cho những dữ liệu ch a huấn luyện. Với việc tăng số l ng lớp ẩn sẽ dẫn đến tốn nhiều thời gian huấn luyện. M t yếu tố khác nh h ởng tới tính h t c a thuật toán lan truyền ng c là tốc đ học . Giá trị lớn làm tăng tốc đ học, nh ng quá lớn sẽ làm thuật toán không hôi t , ng c l i giá trị nhỏ đ m b o thuật toán luôn h i t nh ng tốc đ học l i rất chậm. Ph ơng pháp vừa đ m b o thuật toán lan truyền ng c vừa h i t vừa huấn luyện nhanh là dùng hệ số học thích nghi. Sau m i b ớc lặp ta ki m tra trọng
53 số vừa đ c cặp nhật có làm gi m tiêu chuẩn huấn luyện m ng không, nếu không có nghĩa là đư x y ra vọt lố, do đó cần gi m . Ng c l i nếu vài b ớc lặp liên tiếp mà tiêu chuẩn huấn luyện m ng điều gi m thì quá nhỏ, trong tr ờng h p này cần tăng . Thuật toán hệ số học thích nghi đ c mô t bởi bi u th c [1]:
(k1) (k) (7.4) 0 ) ( ) ( k b k a (7.5) với a là tỉ lệ tăng tốc đ học, b là tỉ lệ gi m tốc đ học, (k) là tốc đ học ở vòng lặp th k.
7.2ăNh năD ngăCácăHo tăĐ ngăC aăM tăDùngăM ngăLanăTruy năNg c
Trong luận văn này m ng nơron truyền thẳng nhiều lớp với luật học lan truyền ng c sử d ng thuật toán suy gi m gradient với tốc học thích nghi đ c sử d ng. Tốc đ học 0.001 (tốc đ học càng nhỏ thì thời gian huấn luyện càng lâu nh ng kết qu càng chính xác) và số lần lặp l i 1000 (số lần lặp l i càng lớn thì càng tốt vì sai số giữa ngõ ra m ng và ngõ ra thực tế càng nhỏ), tỉ lệ tăng tốc đ học a=1.07 và tỉ lệ gi m tốc đ học b=0.7.
54
Hình 7.4: Cấu trúc c a m ng nơron nhiều lớp có 2 lớp ẩn
Đ đánh gi kh năng phân lo i c a m ng huấn luyện, số l ng nơron lớp ẩn và số lớp ẩn sẽ đ c thay đổi. Hình 7.3 là m ng truyền thẳng nhiều lớp với 1 lớp ẩn, và hình 7.4 là m ng truyền thẳng gồm 2 lớp ẩn.
Ngõ ra c a m ng mang giá trị 0 hoặc 1 đ bi u di n cho 1 lo i tín hiệu đ c nhận d ng và số l ng nơron ở ngõ ra là 4 đ bi u di n 4 tr ng thái c a mắt: mở mắt, chớp mắt, liếc trái và liếc ph i. B ng 7.1 mô t các lo i tín hiệu EEG và ngõ ra mong muốn.