Tổng quan Neural networks

Tổng quan Neural networks

Phần 3_Chương : Tổng quan Neural Networks CHƯƠNG TỔNG QUAN NEURAL NETWORKS GIỚI THIỆU CHUNG N eural Networks vài năm trở lại nhiều người quan tâm áp dụng thành công nhiều lónh vực khác nhau, tài chính, y tế, địa chất vật lý Thật vậy, đâu có vấn đề dự báo, phân loại điều khiển, Neural Networks ứng dụng Sự thành công nhanh chóng mạng Neural Networks số nhân tố sau: • Năng lực : Neural Networks kỹ thuật mô tinh vi, có khả mô hàm phức tạp Đặc biệt, Neural Networks hoạt động phi tuyến Trong nhiều năm, mô hình tuyến tính kỹ thuật sử dụng rộng rãi hầu hết lónh vực, mô hình tuyến tính có tính chiến lược tối ưu hóa biết nhiều • Dễ sử dụng : Neural Networks có tính học theo ví dụ Người sử dụng Neural Networks thu thập liệu đặc trưng, sau gọi thuật toán huấn luyện để tự học cấu trúc liệu Mặc dù người sử dụng làm tất điều cần thiết để chọn chuẩn bị liệu, sử dụng loại mạng phù hợp hiểu kết quả, mức độ người sử dụng biết cách áp dụng thành công Neural Networks thấp nhiều người sử dụng phương pháp thống kê truyền thống… Neural Networks dựa việc mô cấp thấp hệ thống neuron sinh học Trong tương lai với phát triển mô neuron sinh học, có loại máy tính thông minh thật Ý TƯỞNG SINH HỌC Neural Networks phát triển từ nghiên cứu trí tuệ nhân tạo; đặc biệt cố gắng bắt chước não có cấu trúc cấp thấp khả học chấp nhận sai hệ thống neuron sinh học Suốt năm 1960 – 1980 nhà nghiên cứu trí tuệ nhân tạo tìm Expert Systems dựa mô hình cấp cao xử lý lý luận não Mặc dù mô hình thành công vài lónh vực, chưa bắt chước trí tuệ người Điều cấu trúc mô hình chưa não Do đó, để tái tạo trí thông minh, cần phải xây dựng hệ thống có cấu trúc giống não người Lê Thanh Nhật-Trương Ánh Thu 85 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks Bộ não người gồm số lớn neuron (khoảng 10.000.000.000 neuron) kết nối với (trung bình neuron kết nối với hàng chục ngàn neuron khác) Mỗi neuron tế bào đặc biệt, truyền tín hiệu điện Neuron có cấu trúc rễ ngõ vào, thân tế bào cấu trúc rễ ngõ (sợi thần kinh) Các sợi thần kinh tế bào kết nối với tế bào khác thông qua synapse Khi neuron kích hoạt, tạo xung điện hóa học dọc theo sợi thần kinh Tín hiệu qua synapse đến neuron khác, tiếp tục bị kích hoạt Neuron hoạt động tất tín hiệu nhận thân tế bào thông qua rễ ngõ vào vượt mức (ngưỡng hoạt động) Cường độ tín hiệu thu neuron phụ thuộc vào độ nhạy synapse Chỉ có việc học làm thay đổi cường độ kết nối synapse Ví dụ theo thí nghiệm có điều kiện Pavlovian cổ điển, gõ chuông trước cho chó ăn tối, chó nhanh chóng học rung chuông gắn liền với ăn Kết nối synapse phần vỏ não thính giác tuyến nước bọt nhạy hơn, rung chuông vỏ não thính giác bị kích thích, chó bắt đầu tiết nước bọt Do đó, từ số lớn đơn vị xử lý đơn giản (mỗi đơn vị thực tổng trọng số ngõ vào sau kích hoạt tín hiệu nhị phân tổng ngõ vào vượt ngưỡng), não điều khiển để hoạt động công việc phức tạp Dó nhiên, phức tạp hoạt động não trình bày hết, dù mạng trí tuệ nhân tạo đạt vài kết đáng ý với mô hình không phức tạp não MÔ HÌNH NHÂN TẠO CƠ BẢN Neuron nhân tạo định nghóa sau : • Neuron nhân tạo nhận số ngõ vào (từ liệu gốc, hay từ ngõ neuron khác mạng) Mỗi kết nối đến ngõ vào có cường độ (hay trọng số), trọng số tương ứng với tác dụng synapse neuron sinh học Mỗi neuron có giá trị ngưỡng • Tín hiệu truyền qua hàm kích hoạt (hay gọi hàm truyền) tạo giá trị ngõ neuron Nếu sử dụng hàm truyền nấc (nghóa ngõ neuron ngõ vào nhỏ 0, ngõ vào lớn hay 0) neuron hoạt động giống neuron sinh học Thực tế, hàm nấc sử dụng mạng trí tuệ nhân tạo Lưu ý trọng số âm, nghóa synapse có tác dụng kiềm chế kích hoạt neuron, neuron kiềm chế tìm thấy não Trên mô tả neuron đơn lẻ Trong thực tế neuron kết nối với Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị biến giới thực) ngõ (dùng để Lê Thanh Nhật-Trương Ánh Thu 86 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks dự báo điều khiển) Ngõ vào ngõ tương ứng với neuron giác quan vận động, tín hiệu đưa vào mắt điều khiển cánh tay Tuy nhiên chúng có neuron ẩn đóng vai trò ẩn mạng Ngõ vào, neuron ẩn ngõ cần kết nối với Vấn đề hồi tiếp Một mạng đơn giản có cấu trúc tiến : tín hiệu vào ngõ vào, qua neuron ẩn cuối đến neuron ngõ Cấu trúc chạy ổn định Tuy nhiên, mạng có hồi tiếp (chứa kết nối ngược trở neuron trước đó) mạng chạy không ổn định dao động phức tạp Mạng hồi tiếp nhà nghiên cứu quan tâm, cấu trúc tiến chứng minh hiệu việc giải vấn đề thực tế Mạng Neural Networks tiến cho hình Các neuron xếp theo cấu trúc liên kết lớp riêng biệt Lớp ngõ vào neuron thực : neuron hoạt động đơn giản giới thiệu giá trị biến vào Các neuron lớp ẩn lớp ngõ kết nối với tất neuron lớp trước Cũng định nghóa mạng có kết nối phần với vài neuron lớp trước đó; nhiên, hầu hết ứng dụng mạng có kết nối đầy đủ tốt Cấu trúc Neural Networks Khi mạng hoạt động, giá trị biến ngõ vào đặt vào neuron ngõ vào, sau neuron lớp ẩn lớp ngõ kích hoạt Mỗi neuron tính giá trị kích hoạt chúng cách lấy tổng trọng số ngõ neuron lớp trước đó, trừ cho ngưỡng Giá trị kích hoạt truyền qua hàm kích hoạt tạo giá trị ngõ neuron Khi toàn mạng hoạt động, ngõ lớp ngõ hoạt động ngõ toàn mạng SỬ DỤNG NEURAL NETWORKS : Một loạt vấn đề dẫn tới việc giải mạng Neural định nghóa cách làm việc huấn luyện Neural Networks làm việc từ ngõ vào khác nhau, đưa ngõ khác Do sử dụng biết vài thông tin dự đoán thông tin chưa biết Lê Thanh Nhật-Trương Ánh Thu 87 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks Ví dụ : • Dự đoán thị trường chứng khoán : biết giá chứng khoán tuần trước số FTSE, ta dự đoán giá chứng khoán ngày mai • Điều khiển : ta muốn biết có hay không robot biết quẹo phải, trái hay chuyển động phía để đạt mục tiêu, ta biết robot quan sát Điều kiện quan trọng việc sử dụng Neural Networks phải biết mối liên hệ ngõ vào ngõ biết trước Mối quan hệ kéo theo nhiều thứ định phải tồn Tổng quát, ta sử dụng mạng Neural Networks ta xác trạng thái tự nhiên mối liên hệ ngõ vào ngõ ra, ta biết mối liên hệ ta làm mô hình trực tiếp Một tính khác Neural Networks học mối liên hệ ngõ vào ngõ thông qua việc huấn luyện Có hai loại huấn luyện sử dụng Neural Networks huấn luyện có giám sát không giám sát Với loại mạng khác sử dụng loại huấn luyện khác Huấn luyện có giám sát sử dụng thông dụng Trong việc học có giám sát, người sử dụng mạng phải có tập hợp liệu cần huấn luyện Tập hợp chứa ngõ vào mẫu với ngõ tương ứng mạng huấn luyện để đưa mối liên hệ ngõ ngõ vào Tập hợp liệu thường lấy từ ghi chép trước Neural Networks sau huấn luyện thuật toán học có giám sát (ví dụ backpropagation), sử dụng liệu để điều chỉnh trọng số ngưỡng mạng cho cực tiểu hóa sai số việc dự báo mạng tập huấn luyện Nếu mạng huấn luyện xác, nghóa học mô hàm chưa biết với mối liên hệ ngõ ngõ vào, với tín hiệu vào đến sau, mạng dự báo tín hiệu tương ứng THU THẬP DỮ LIỆU CHO NEURAL NETWORKS Một ta định giải vấn đề sử dụng Neural Networks ta cần phải thu thập liệu cho mục tiêu huấn luyện Tập hợp liệu huấn luyện bao gồm số trường hợp, trường hợp chứa giá trị tầm ngõ vào ngõ khác Những việc cần làm : biến sử dụng, trường hợp cần thu thập Sự lựa chọn biến trực giác định Công việc chuyên môn ta lónh vực cần giải cho ta ý tưởng biến ngõ vào phù hợp Trong Neural Networks, ta chọn loại bỏ nhiền biến Neural Networks xác định thực nghiệm Lê Thanh Nhật-Trương Ánh Thu 88 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks biến hữu ích Trong bước ta nên tính đến biến mà ta nghó có ảnh hưởng đến trình thiết kế Neural Networks xử lý liệu số tầm giới hạn rõ ràng Điều đưa vấn đề liệu nằm vùng đặc biệt liệu chưa biết hay liệu số May mắn thay có nhiều phương pháp lý tưởng cho vấn đề này, xây dựng Neural Networks Dữ liệu số chia nhỏ thành khoảng thích hợp cho mạng giá trị thiếu thay giá trị trung bình hay giá trị thống kê biến thông qua biến khác huấn luyện Xử lý liệu số khó Loại liệu số thông thường biến có giá trị danh định giới tính (nam, nữ) Biến có giá trị danh định biểu diễn số học Neural Networks có chức hỗ trợ điều Tuy nhiên Neural Networks làm việc tốt với trường hợp biến danh định tập nhiều giá trị Số trường hợp mẫu dùng để huấn luyện mạng khó xác định Đã có vài hướng dẫn mối liên hệ số trường hợp mẫu với kích thước mạng (cách đơn giản số trường hợp mẫu gấp 10 lần số kết nối mạng) Thực số trường hợp mẫu liên quan đến độ phức tạp hàm mà mạng phải học Khi số biến tăng lên, số trường hợp mẫu cần để huấn luyện tăng phi tuyến, với số nhỏ biến (50 nhỏ hơn) lại cần số lớn trường hợp mẫu Trong hầu hết vấn đề thực tế, số trường hợp mẫu khoảng hàng trăm hay hàng ngàn mẫu Đối với vấn đề phức tạp cần nhiều hơn, trường hợp Nếu liệu huấn luyện hơn, rõ ràng không đủ thông tin để huấn luyện mạng, cách tốt dùng mạng tuyến tính Nhiều vấn đề thực tế có liệu không đáng tin cậy, vài liệu bị phá hỏng nhiễu, giá trị không phối hợp với Neural Networks có khả đặc biệt xử lý liệu bị (sử dụng giá trị trung bình hay giá trị thống kê khác) Vì liệu đưa vào ít, ta nên đưa vào trường hợp giá trị bị (rõ ràng không lý tưởng) Neural Networks chịu nhiễu, phải có giới hạn Nếu có giá trị nằm xa khỏi vùng giá trị bình thường mạng huấn luyện phải có ngưỡng Cách tốt trường hợp nhận loại bỏ giá trị nằm xa (có thể hủy trường hợp xem giá trị nằm xa giá trị bị mất) Nếu giá trị xa khó nhận ra, Neural Networks có chức huấn luyện chịu giá trị nằm khỏi vùng cách huấn luyện thường hiệu huấn luyện chuẩn Tóm lại, cách thu thập liệu nói gọn lại sau : • Chọn giá trị huấn luyện có tác dụng Lê Thanh Nhật-Trương Ánh Thu 89 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks • Dữ liệu số danh định xử lý trực tiếp Neural Networks Chuyển loại biến khác sang dạng • Cần hàng trăm hàng ngàn trường hợp mẫu huấn luyện; nhiều biến nhiều mẫu huấn luyện Neural Networks có khả nhận biến hữu dụng để huấn luyện TIỀN VÀ HẬU XỬ LÝ Tất mạng Neural Networks lấy giá trị vào số Hàm truyền thường chọn cho chấp nhận vùng giá trị vào nào, giá trị ngõ hữu hạn (có tác dụng nén) Mặc dù ngõ vào có giá trị nào, nên hàm truyền có giá trị bão hòa nhạy vùng hữu hạn Hình vẽ hàm truyền nhất, logsig Trong trường hợp này, ngõ có giá trị từ (0,1), ngõ vào nhạy vùng giá trị (-1,1) Hàm liên tục dễ lấy vi phân, hàm huấn luyện dễ phân tích để huấn luyện mạng (đây lý không dùng hàm nấc thực tế) H a øm L o g s i g 0.8 0.6 0.4 0.2 -4 -3 -2 -1 Do vùng đáp ứng hữu hạn thông tin vào dạng số, nên ứng dụng thực tế, neural thường có bước tiền xử lý hậu xử lý Hai vấn đề cần hiểu rõ : Phân đoạn : Giá trị số phải chia thành tầm thích hợp mạng Thông thường giá trị biến ban đầu phân đoạn thô tuyến tính Lê Thanh Nhật-Trương Ánh Thu 90 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks Trong vài trường hợp, phân đoạn phi tuyến thích hợp (ví dụ biết biến phân bố theo hàm mũ, ta phải dùng logarit) Biến danh định : có hai hay nhiều trạng thái Biến danh định hai trạng thái dễ dàng biểu diễn dạng giá trị số (ví dụ nam = 0; nữ =1) Biến danh định nhiều trạng thái khó xử lý Nó biểu diễn dạng số Cách tốt mã hóa N, sử dụng số tập số đại diện cho biến danh định đơn Số giá trị tập với số giá trị có, (ví dụ chó={1,0,0}, thỏ={0,1,0}, mèo={ 0,0,1}) Neural Networks có khả biến đổi biến danh định hai trạng thái nhiều trạng thái để sử dụng mạng Nhưng biến danh định tập nhiều trạng thái cần số lớn tập mã N, dẫn đến kích thước mạng lớn khó huấn luyện Trong trường hợp mô biến danh định sử dụng số số đơn (mặc dù chưa đúng), phải tìm kỹ thuật khác tốt để biểu diễn thông tin Vấn đề dự đoán chia làm hai phạm trù : phân loại hồi quy • Trong vấn đề phân loại, mục tiêu xác định ngõ vào thuộc lớp Trong trường hợp này, ngõ yêu cầu rõ ràng biến danh định đơn Nhiệm vụ phân loại thông thường hai trạng thái • Trong vấn đề hồi quy, mục tiêu dự đoán giá trị biến liên tục Trong trường hợp này, ngõ yêu cầu biến số đơn Hiện Neural Networks thực số phân loại hồi quy lúc, thông thường mạng hoạt động nhiệm vụ Vì thế, phần lớn trường hợp, mạng có biến ngõ đơn, vấn đề phân loại nhiều trạng thái, mạng cần số neuron lớp ngõ PERCEPTRON NHIỀU LỚP Ngày nay, Perceptron cấu trúc mạng dùng phổ biến Mỗi neuron lấy tổng trọng số ngưỡng ngõ vào, qua hàm truyền đến ngõ ra, neuron xếp theo lớp tới Vì mạng mô hàm phức tạp tùy theo số lớp số neuron lớp Tùy theo vấn đề mà neuron có số ngõ vào ngõ khác Chúng ta biết xác sử dụng ngõ vào Tuy nhiên, giả sử số ngõ vào chọn lựa dễ dàng Và để dễ dàng, thường ta chọn có lớp ẩn số neuron nửa tổng số ngõ vào ngõ Lê Thanh Nhật-Trương Ánh Thu 91 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks 7.1 Huấn luyện Perceptron nhiều lớp Khi số lớp, số neuron lớp chọn, trọng số ngưỡng mạng phải cài đặt cho có cực tiểu sai số việc dự đoán mạng Đây công việc thuật toán huấn luyện Các trường hợp mẫu thu thập đưa qua mạng để mạng tự điều chỉnh trọng số ngưỡng cho cực tiểu hóa lỗi Lỗi cấu hình cụ thể mạng xác định cách cho chạy tất trường hợp huấn luyện qua mạng, so sánh giá trị ngõ mạng với giá trị mong muốn Lỗi tính theo hàm sai số mạng Thông thường hàm sai số tổng bình phương lỗi (SSE – Sum Squared Error) Khái niệm cần biết thêm mặt phẳng sai số Mỗi trọng số ngưỡng tổng số N trọng số ngưỡng xem chiều không gian Chiều thứ (N + 1) sai số mạng Đối với cấu hình trọng số nào, lỗi vẽ chiều thứ (N+1), tạo thành mặt phẳng lỗi Đối tượng việc huấn luyện mạng tìm điểm thấp mặt phẳng nhiều chiều Trong mạng tuyến tính có hàm sai số SSE, mặt phẳng sai số parapol, nghóa có giá trị nhỏ Do chúng dễ dàng xác định giá trị cực tiểu Chúng ta xác định vị trí giá trị nhỏ mặt phẳng sai số, huấn luyện mạng Neural Networks cần phải phân tích tỉ mó mặt phẳng sai số Từ cấu hình ngẫu nhiên trọng số ngưỡng ban đầu (nghóa điểm ngẫu nhiên mặt phẳng sai số) thuật toán huấn luyện tìm kiếm đến giá trị nhỏ Thông thường, việc tìm kiếm dựa gradient (độ dốc) mặt phẳng sai số điểm tại, sau di chuyển xuống giá trị nhỏ Do có nhiều khả thuật toán dừng điểm thấp điểm giá trị cực tiểu cục (nhưng dù hy vọng giá trị nhỏ nhất) 7.2 Thuật toán backpropagation Các ví dụ phổ biến thuật toán huấn luyện Neural Networks backpropagation Các thuật toán bậc hai đại conjugate gradient descent Levenberg – Marquardt nhanh nhiều vấn đề, backpropagation có số ưu điểm vài trường hợp khác, thuật toán dễ hiểu Trong backpropagation, vector gradient mặt phẳng sai số tính toán Vector đường giảm dốc vị trí tại, biết di chuyển dọc theo “khoảng ngắn”, cuối đạt giá trị nhỏ Khó khăn định độ lớn bước di chuyển Bước lớn hội tụ nhanh hơn, vượt điểm cần đến hay khỏi vùng có cực tiểu (nếu mặt phẳng sai số bị lệch tâm) Ngược lại, bước nhỏ đến hướng cần phải thực phép lặp nhiều lần Trong thực tiễn, kích thước bước tỷ lệ Lê Thanh Nhật-Trương Ánh Thu 92 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks với độ dốc số đặc biệt : tốc độ học Giá trị xác tốc độ học phụ thuộc vào ứng dụng cụ thể, thường chọn qua thực tiễn Thuật toán thường có thêm khái niệm momentum Momentum thúc đẩy di chuyển theo theo hướng xác định sau qua nhiều bước hướng, thuật toán di chuyển nhanh hơn, đưa đến khả thoát khỏi vùng giá trị cực tiểu cục di chuyển nhanh chóng qua vùng phẳng Thuật toán xử lý lặp lặp lại, sau số epoch Ở epoch, trường hợp huấn luyện đưa xem xét mạng, ngõ thực mong muốn so sánh tính toán lỗi Lỗi kết hợp với gradent mặt phẳng sai số, sử dụng để điều chỉnh trọng số sau trình xử lý lặp lại Cấu hình mạng ban đầu ngẫu nhiên, huấn luyện dừng lại số vòng lặp epoch tối đa cho phép xảy hay sai số đạt mức cho phép, sai số không tăng 7.3 Học mức tổng quát hóa Một vấn đề mà kỹ thuật không thực cực tiểu sai số đưa trường hợp vào mạng Nói cách khác, thuộc tính mong muốn mạng khả tổng quát hóa trường hợp Thực ra, mạng huấn luyện cực tiểu hóa sai số dựa tập huấn luyện, tập không hoàn hảo hữu hạn, rõ ràng không cực tiểu sai số mặt phẳng sai số thực – mặt phẳng sai số mô hình sở chưa biết Sự phân biệt học mức hay khít mức Cách dễ để minh họa khái niệm việc dò theo đồ thị đường cong đa thức minh họa Neural Networks ý nghóa giống Đa thức phương trình có hệ số lũy thừa số Ví dụ : y = 2x + y= 3x2 + 4x + Các đa thức khác có đồ thị khác nhau, với bậc lớn (và có nhiều số hạng hơn) có đồ thị phức tạp Với tập liệu cho trước, muốn tìm đa thức biểu diễn liệu Dữ liệu có nhiễu, không cần thiết tìm phương trình cho tất điểm Đa thức bậc thấp đủ xác với tất điểm, đa thức bậc cao xác tất liệu phức tạp, đa thức có đồ thị không với hàm sở Lê Thanh Nhật-Trương Ánh Thu 93 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks Neural Networks có vấn đề Mạng có nhiều trọng số hàm phức tạp rơi vào tình trạng khít mức Mạng có trọng số không đủ khả để mô hàm sở Ví dụ mạng lớp ẩn mô hàm truyền tuyến tính đơn giản Vậy chọn lựa độ phức tạp mạng nào? Mạng lớn luôn có sai số nhỏ hơn, điều khít mức mô hình tốt Câu trả lời sử dụng xác nhận mức giao Vài mẫu huấn luyện lưu lại không thực dùng cho huấn luyện thuật toán backpropagation Để thay thế, mẫu sử dụng để kiểm tra độc lập trình thuật toán Như hiệu suất ban đầu mạng luôn tập huấn luyện xác minh lại Trong trình huấn luyện, sai số huấn luyện tự nhiên giảm xuống, cho phép huấn luyện cực tiểu hóa hàm sai số thực, sai số xác minh giảm xuống Tuy nhiên, sai số xác minh không giảm, hay bắt đầu tăng lên, điều có nghóa mạng bắt đầu khít mức liệu, huấn luyện nên dừng lại (có thể cài đặt Neural Networks tự động dừng lại bắt đầu học mức) Trường hợp khít mức xảy trình xử lý huấn luyện gọi học mức Trong trường hợp này, nên giảm số neuron ẩn hay/và lớp ẩn mạng mạnh vấn đề Ngược lại, mạng không đủ mạnh để mô hàm sở, học mức khả xảy ra, sai số huấn luyện hay xác minh lại không rơi vào mức bão hòa Những vấn đề liên quan đến cực tiểu cục bộ, định sử dụng kích thước mạng, nghóa phải chạy thử nhiều mạng khác nhau, huấn luyện mạng vài lần (để tránh rơi vào trường hợp cực tiểu cục sai số) quan sát hiệu suất mạng Điều quan trọng quan sát sai số xác minh Tuy nhiên, nên nhớ nên mô mạng đơn giản mạng phức tạp, thể chọn mạng nhỏ mạng lớn có khả cải thiện sai số xác minh không đáng kể Vấn đề kỹ thuật việc thí nghiệm lặp lặp lại tập xác minh không thực đóng vai trò chọn lựa mạng, nghóa phần trình huấn luyện Độ tin cậy mức độ vừa phải – số lần thí nghiệm đủ, có khả rơi vào trường hợp mạng thực tốt tập xác minh Để thêm độ tin cậy hiệu suất mô hình cuối thực tế thường sử dụng thêm tập thứ ba – tập kiểm tra Mô hình cuối kiểm tra với tập liệu kiểm tra để đảm bảo kết tập xác minh huấn luyện thật Tóm lại, việc thiết kế mạng (khi biến ngõ vào chọn) gồm bước sau: • Chọn cấu hình ban đầu (thường lớp ẩn có số neuron ẩn nửa tổng số neuron ngõ vào ngõ ra) Lê Thanh Nhật-Trương Ánh Thu 94 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Radial Basis Khối dist trong hình có ngõ vào vector p ma trận trọng số IW 1.1, cho ngõ vector S1 thành phần Các thành phần khoảng cách vector ngõ vào vector trọng số IW1.1 Sau ngõ khối dist nhân với vector ngưỡng b1 1.3 Thiết kế mạng a NEWRBE Hàm newrbe tạo mạng có mức sai số với ngõ vào vector huấn luyện Hàm gọi lệnh net = newrbe (P,T,SPREAD) Ngõ vào hàm ma trận vector P, vector ngõ yêu cầu T số SPREAD cho lớp radial basis; hàm trả cho mạng trọng số ngưỡng phù hợp Hàm newrbe tạo số neuron radbas số vector ngõ vào P Do đó, có lớp neuron radbas mà neuron nhận dạng vector khác Mỗi ngưỡng lớp thứ cài đặt 0,8326/, cho hàm radial basis có giá trị 0.5 ngõ vào ±SPREAD Điều xác định vùng không gian vào với neuron đáp ứng Vì SPREAD cần đủ lớn để neuron đáp ứng mạnh vùng không gian vào Lớp thứ hai lớp tuyến tính thiết kế dựa lớp đầu Do hàm newrbe tạo mạng sai số tập vector huấn luyện Chỉ với điều kiện SPREAD đủ lớn để vùng ngõ vào neuron radbas phủ lên cho neuron Lê Thanh Nhật-Trương Ánh Thu 147 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Radial Basis radbas luôn có nhiều ngõ xác thời điểm Điều làm cho hàm mạng phẳng cho kết tổng quát hóa tốt Trở ngại hàm newrbe tạo nhiều neuron ẩn tương ứng số vector ngõ vào Vì lý này, mạng không chọn cần nhiều vector ngõ vào để định nghóa xác mạng b NEWRB Hàm newrb tạo mạng radial basis neuron lần lặp Các neuron thêm vào mạng tổng bình phương sai số nhỏ sai số đích đạt số neuron tối đa Hàm gọi laø : net = newrb ( P, T , GOAL , SPREAD ) Hàm newrb mang đối số ma trận vector ngõ vào vector đích (P,T) với thông số GOAL, SPREAD, trả mạng yêu cầu Phương pháp thiết kế newrb tương tự newrbe, có khác biệt newrb tạo neuron lúc Mỗi lần lặp, vector ngõ vào mà cho kết sai số mạng nhỏ sử dụng để tạo neuron radbas Lỗi mạng kiểm tra đủ nhỏ hàm newrb dừng, ngược lại neuron cộng thêm Thủ tục lặp lại đạt sai số lỗi yêu cầu Tương tự newrbe, thông số SPREAD phải đủ lớn để neuron radbas đáp ứng đủ phủ vùng không gian ngõ vào, lớn neuron đáp ứng tương tự Một câu hỏi đặt không luôn sử dụng mạng radial basis thay cho mạng feedforward chuẩn ? Mạng radial basis, thiết kế mạng có hiệu cao hàm newrbe, có nhiều neuron mạng feed-forward với neuron tansig logsig lớp ẩn Câu trả lời với mô hình mạng feddforward neuron sigmoid có ngõ đáp ứng không gian rộng ngõ vào, mô hình mạng radial basis neuron radbas đáp ứng không gian hẹp ngõ vào Để đáp ứng vùng lớn cần nhiều neuron radbas Hơn thiết kế mạng radial basis cần nhiều thời gian mạng sigmoid / linear MẠNG HỒI QUY TỔNG QUÁT HÓA ( GRNN) Mạng hồi quy tổng quát hóa (GRNN) thường sử dụng hàm gần Mạng gồm lớp radial basis lớp tuyến tính đặc biệt Cấu trúc mạng Lê Thanh Nhật-Trương Ánh Thu 148 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Radial Basis Mạng có cấu trúc tương tự mạng radial basis, khác lớp thứ hai Khối nprod cho vector n2 có S2 thành phần Các thành phần chuẩn hóa tổng thành phần a1 Lớp thứ giống mạng radial basis, có số neuron số ngõ vào Ngưỡng b cài đặt 0,8326/SPREAD Lớp thứ hai có số neuron số ngõ vào mạng Trọng số lớp thứ đặt pT , lớp thứ hai ma trận đích T SPREAD lớn phủ vùng lớn quanh vector vào mà neuron lớp thứ đáp ứng ngõ Do SPREAD nhỏ, hàm radial basis dốc nên neuron có vector trọng số gần với ngõ vào có tác dụng lớn ngõ so với neuron khác Mạng có khuynh hướng đáp ứng với vector đích liên kết với vector ngõ vào thiết kế gần Khi SPREAD lớn hơn, độ dốc hàm radial basis phẳng nhiều neuron đáp ứng với vector vào Có thể dùng hàm newgrnn để tạo mạng GRNN Lê Thanh Nhật-Trương Ánh Thu 149 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Radial Basis MẠNG XÁC SUẤT (PNN ) Mạng xác suất dùng cho vấn đề phân loại Khi có ngõ vào, lớp thứ tính khoảng cách vector ngõ vào vector ngõ vào huấn luyện, mạng đưa vector khoảng cách Lớp thứ hai tính tổng ngõ lớp thứ nhóm ngõ vào tạo ngõ mạng vector xác suất Cuối cùng, hàm truyền cạnh tranh ngõ lớp thứ hai lấy thành phần có xác suất lớn nhất, cho giá trị ngõ lớp tất lớp khác Cấu trúc mạng Giả sử có Q cặp vector vào/vector đích Mỗi vector đích có K thành phần Một thành phần 1, lại Do đó, vector vào ứng với lớp K Lớp thứ có trọng số ngõ vào pT Khi có vector vào khối dist  cho vector ngõ có thành phần vector khoảng cách ngõ vào tập huấn luyện Các thành phần nhân với ngưỡng qua hàm truyền radbas Khi ngõ vào gần với vector huấn luyện cho ngõ giá trị gần vector a1 Nếu ngõ vào gần với nhiều vector huấn luyện lớp đơn, cho ngõ nhiều thành phần gần a1 Trọng số lớp thứ hai ma trận vector đích T Mỗi vector hàng liên kết với lớp ngõ vào cụ thể chỗ khác Phần nhân Ta1 lấy tổng thành phần a1 Cuối hàm truyền lớp thứ hai, hàm cạnh tranh, cho giá trị tương ứng với thành phần lớn N chỗ khác Vì mạng phân loại vector ngõ vào thành lớp K lớp, lớp có xác suất lớn Lê Thanh Nhật-Trương Ánh Thu 150 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Radial Basis Ta tạo mạng PNN hàm newpnn KẾT LUẬN Mạng radial basis thiết kế nhanh theo hai cách khác : • Phương pháp dùng newrbe, tìm cách giải xác Hàm newrbe tạo mạng radial basis với số neuron radbas số ngõ vào vector liệu huấn luyện • Phương pháp dùng newrb, mạng kích thước nhỏ giải vấn đề với sai số cho trước Mạng yêu cầu neuron newrbe Tuy nhiên số neuron radial basis tỉ lệ với kích thước không gian ngõ vào độ phức tạp vấn đề nên mạng radial basis lớn mạng backpropagation Mạng neural hồi quy tổng quát hóa thường sử dụng hàm xấp xỉ Khi có đầy đủ số neuron ẩn GRNN tương ứng gần hàm liên tục với độ xác cao Mạng neural xác suất dùng cho vấn đề phân loại Việc thiết kế mạng rõ ràng không phụ thuộc vào huấn luyện Khi có đủ liệu huấn luyện PNN bảo đảm hội tụ tới phân loại Bayesian GRNN PNN có nhiều ưu điểm, hai có khuyết điểm hoạt động chậm, có nhiều phép tính Lê Thanh Nhật-Trương Ánh Thu 151 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng hồi tiếp CHƯƠNG MẠNG HỒI TIẾP Mạng hồi tiếp đề tài quan tâm nhiều Ở xem xét hai mạng : mạng Elman mạng Hopfield Mạng Elman mạng backpropagation hai lớp, mạng có kết nối hồi tiếp từ ngõ lớp ẩn ngõ vào Đường hồi tiếp cho phép mạng Elman học cách nhận dạng phát mẫu thời gian mẫu không gian Mạng Hopfield dùng để lưu trữ nhiều vector đích tónh Các vector tónh xem nhớ mạng lấy từ vector vào tương tự Hàm newelm dùng thiết kế mạng Elman Hàm newhop dùng thiết kế mạng Hopfield MẠNG ELMAN 1.1 Cấu trúc mạng Mạng Elman thông thường mạng hai lớp có đường hồi tiếp từ ngõ lớp ngõ vào Đường hồi tiếp cho phép mạng Elman nhận phát mẫu thời gian thay đổi Lê Thanh Nhật-Trương Ánh Thu 152 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng hồi tiếp Mạng Elman có neuron tansig lớp ẩn neuron purelin lớp ngõ Sự kết hợp đặc biệt mạng hai lớp với hàm truyền gần hàm với độ xác tùy ý Yêu cầu lớp ẩn phải có đủ neuron Số neutron ẩn nhiều mạng khít độ phức tạp Lưu ý mạng Elman khác mạng hai lớp thông thường khác chỗ lớp thứ có kết nối hồi tiếp Độ trễ kết nối lưu trữ giá trị từ thời điểm trước, sử dụng thời điểm Vì chí với hai mạng Elman có trọng số ngưỡng, có ngõ vào giống thời điểm, ngõ khác trạng thái hồi tiếp khác Bởi mạng lưu thông tin nên học mẫu theo thời gian không gian Mạng Elman huấn luyện để đáp ứng phát hai loại mẫu 1.2 Thiết kế mạng Elman Mạng Elman có hai hay nhiều lớp tạo hàm newelm Các lớp ẩn thường có hàm truyền tansig Hàm truyền lớp ngõ purelin Hàm huấn luyện backpropagation mặc định trainbfg, dùng trainlm, nhanh nên không cần thiết sử dụng mạng Elman Hàm học mặc định learngdm hiệu suất mse Khi mạng tạo, lớp trọng số ngưỡng khởi động phương pháp khởi động lớp Nguyễn – Widrow hàm initnw 1.3 Huấn luyện mạng Elman Mạng Elman huấn luyệân hai hàm : train adapt 1.3.1 Hàm train • Sau toàn chuỗi ngõ vào vào mạng, ngõ tính so sánh với chuỗi đích để phát chuỗi sai số • Với nấc thời gian sai số truyền ngược để tìm gradient sai số trọng số ngưỡng Gradient gần trọng số ngưỡng góp phần vào sai số thông qua kết nối hồi tiếp trễ bỏ qua Lê Thanh Nhật-Trương Ánh Thu 153 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng hồi tiếp • Sau gradient sử dụng để cập nhật trọng số với hàm huấn luyện tự chọn, thường dùng hàm traingdx 1.3.2 Hàm adapt • Sau ngõ vào vào mạng, phát ngõ sai số mạng • Sai số truyền ngược lại để tính gradient sai số cho trọng số ngưỡng Gradient gần trọng số ngưỡng góp phần tạo sai số qua kết nối hồi tiếp trễ bỏ qua • Sau gradient gần cập nhật trọng số với hàm học tự chọn, thường chọn hàm learngdm Mạng Elman không tin cậy mạng khác hàm train adapt sử dụng hàm gần sai số gradient Đối với vấn đề mạng Elman cần dùng nhiều neuron ẩn mạng khác Mạng Elman khó tìm trọng số cho neuron ẩn gradient sai số tính gần Hàm train huấn luyện mạng Elman phát chuỗi vector đích có chuỗi vector vào Các vector ngõ vào đích ma trận P T Hàm train lấy vector trọng số, ngưỡng mạng, huấn luyện mạng sử dụng phương pháp backpropagation tốc độ học thay đổi có quán tính, trả trọng số ngưỡng MẠNG HOPFIELD Mục đích thiết kế mạng chứa tập điểm cân bằng, điều kiện đầu xác lập mạng cuối đến điểm thiết kế Mạng có hồi tiếp từ ngõ ngõ vào Mạng không hoàn hảo có điểm cân giả không mong muốn Tuy nhiên, số điểm không mong muốn phương pháp thiết kế làm nhỏ tốt, làm tăng phạm vi tối đa điểm cân Lê Thanh Nhật-Trương Ánh Thu 154 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng hồi tiếp 2.1 Cấu trúc mạng Ngõ vào P mạng đơn điều kiện đầu Mạng Hopfield sử dụng hàm truyền tuyến tính bão hòa satlins Khi ngõ vào nhỏ –1, ngõ -1, ngõ vào khoảng (-1,1) trả giá trị ngõ vào, ngõ vào lớn ngõ Mạng kiểm tra với nhiều ngõ vào điều kiện đầu mạng Sau có điều kiện đầu, ngõ mạng hồi tiếp ngõ vào Quá trình lặp lại ngõ ổn định Rõ ràng, cuối ngõ mạng hội tụ điểm cân thiết kế 2.2 Thiết kế mạng Với tập hợp điểm cân cho trước (ma trận đích T), hàm newhop trả trọng số ngưỡng cho mạng đệ quy Mạng bảo đảm có điểm cân vector đích chứa điểm cân giả Phương pháp làm giảm thiểu số điểm không mong muốn Khi mạng thiết kế, kiểm tra với nhiều vector ngõ vào Các vector ngõ vào gần với điểm cân đích tìm ngõ yêu cầu Ngõ vào mạng vào lúc, mạng đưa ngõ có hồi tiếp ngõ vào Các vector ngõ so sánh với vector đích để thấy kết xử lý Lê Thanh Nhật-Trương Ánh Thu 155 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng hồi tiếp Kết luận Mạng Elman có vòng hồi tiếp trong, có khả học để nhận phát mẫu thời gian Điều làm cho mạng có ưu điểm vấn đề xử lý tín hiệu dự đoán mà thời gian đóng vai trò quan trọng Bởi mạng Elman dạng mở rộng cấu trúc mạng hai lớp sigmoid/tuyến tính, nên chúng có khả khít với hàm Chúng có khả mẫu thời gian cần nhiều neuron lớp hồi tiếp Mạng Hopfield có khả sửa lỗi phân loại vector Vector ngõ vào sử dụng điều kiện đầu mạng, hồi tiếp vector ngõ ổn định Mạng Hopfield quan tâm lý thuyết sử dụng thực tế Thậm chí mạng Hopfield thiết kế tốt có điểm tónh giả dẫn đến sai số Lê Thanh Nhật-Trương Ánh Thu 156 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Self-Organizing CHƯƠNG MẠNG SELF – ORGANIZING Tự tổ chức mạng đề tài thú vị lónh vực Neural Networks Mạng có khả học, tìm quy luật tương quan ngõ vào thích ứng với đáp ứng có ngõ vào tương ứng Các neuron mạng cạnh tranh học nhận nhóm vector ngõ vào giống Các đồ tự tổ chức học nhận nhóm vector ngõ vào tương tự theo cách neuron gần mặt vật lý lớp neuron tương ứng với vector ngõ vào tương tự Các lớp cạnh tranh đồ tự tổ chức tạo hàm newc neusom HỌC CẠNH TRANH Các neuron lớp cạnh tranh tự phân bố để nhận tần số xuất vector ngõ vào 1.1 Cấu trúc mạng Khối dist nhận vector ngõ vào P ma trận trọng số ngõ vào IW 1.1, tạo vector có S1 thành phần Các thành phần có giá trị trừ khoảng cách vector ngõ vào vector iIW1.1 Ngõ vào mạng n1 lớp cạnh tranh tính cách tìm giá trị âm khoảng cách vector ngõ vào P vector trọng số sau cộng với ngưỡng b Nếu tất ngưỡng 0, ngõ vào neuron có giá trị lớn Điều xảy vector ngõ vào P với vector trọng số Lê Thanh Nhật-Trương Ánh Thu 157 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Self-Organizing Hàm truyền cạnh tranh nhận vector ngõ vào mạng cho lớp trả giá trị cho tất neuron ngoại trừ neuron thắng, neuron thắng neuron có thành phần ngõ vào mạng n dương Ngõ neuron thắng Nếu tất ngưỡng neuron có vector trọng số gần với vector ngõ vào có ngõ vào mạng âm nhất, thắng cạnh tranh cho ngõ a bằng1 1.2 Quy luật học Kohonen ( LEARNK ) Các trọng số neuron thắng (là hàng ma trận trọng số ngõ vào) hiệu chỉnh quy luật học Kohonen Giả sử neuron thứ i thắng, hàng thứ i ma trận trọng số điều chỉnh nhö sau : i IW 1,1 ( q ) = i IW 1,1 (q − 1) + α ( p( q ) − i IW 1,1 (q − 1) ) Quy luật Kohonen cho phép trọng số neuron học vector ngõ vào, lợi điểm dùng ứng dụng nhận dạng Do neuron có vector trọng số gần với vector ngõ vào cập nhật để gần Kết neuron thắng gần thắng tiếp lần cạnh tranh sau vector vào tương tự Vì có nhiều vector vào, neuron tự điều chỉnh đến gần nhóm vector vào Cuối cùng, có đủ neuron, nhóm vector ngõ vào tương tự có neuron cho ngõ có vector nhóm vào mạng Vì mạng cạnh tranh học phân loại vector ngõ vào 1.3 Quy luật học ngưỡng (Learncon) Một giới hạn mạng cạnh tranh có vài neuron luôn không định Nói cách khác có vài vector trọng số neuron xa với vector ngõ vào không thắng cạnh tranh cho dù thời gian huấn luyện có lâu Kết trọng số chúng không học chúng không thắng Các neuron không may mắn gọi neuron “chết”, hoàn toàn ích mạng Để ngăn cản điều xảy ra, ngưỡng sử dụng để đưa neuron thắng vài cạnh tranh (hoặc chưa bao giờ) lợi tất neuron khác thường hay thắng Với ngưỡng dương, cộng với khoảng cách âm làm cho khoảng cách neuron có nhiều khả thắng Để làm điều ta giữ lại trung bình chạy ngõ neuron, tương đương với số phần trăm thời gian ngõ Giá trị trung bình sử dụng để cập nhật ngưỡng (dùng hàm học learncon) Do ngưỡng neuron hoạt động lớn Lê Thanh Nhật-Trương Ánh Thu 158 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Self-Organizing Tốc độ học hàm learncon thường cài đặt nhỏ hàm learnk Làm điều để bảo đảm giá trị trung bình chạy xác Kết ngưỡng neuron không đáp ứng thường xuyên tăng so với ngưỡng neuron đáp ứng thường xuyên Khi ngưỡng neuron hoạt động tăng, không gian ngõ vào mà neuron đáp ứng tăng Khi không gian ngõ vào tăng, neuron hoạt động đáp ứng di chuyển phía vector ngõ vào Cuối neuron đáp ứng với tần số với neuron khác Điều có hai ưu điểm Thứ neuron không thắng cạnh tranh trọng số xa so với vector ngõ vào, cuối ngưỡng có giá trị đủ lớn để neuron thắng Khi điều xảy neuron di chuyển phía nhóm vector ngõ vào, trọng số giảm Như vậy, vấn đề neuron chết giải Ưu điểm thứ hai ngưỡng chúng buộc neuron phân loại thô vector ngõ vào Vì vùng không gian ngõ vào có nhiều neuron đáp ứng vùng khác, mạng phân bố lại chia vùng thành nhiều vùng BẢN ĐỒ TỰ TỔ CHỨC Bản đồ chức tự tổ chức (SOFM) học phân loại vector ngõ vào tùy theo chúng nhóm vào không gian ngõ vào Mạng khác với lớp cạnh tranh mặt neuron lân cận đồ tự tổ chức học nhận biết phần lân cận không gian ngõ vào Vì đồ tự tổ chức học phân bố cấu trúc liên kết vector ngõ vào Các neuron lớp SOFM ban đầu xếp theo vị trí vật lý tùy theo hàm cấu trúc liên kết Hàm gridtop, hextop hay randtop xếp neuron dạng lưới, lục giác ngẫu nhiên Khoảng cách neuron tính dựa vị trí chúng Có bốn hàm tính khoảng cách dist, boxdist, linkdist mandist Khoảng cách liên kết thường dùng Ở mô tả mạng đồ chức tự tổ chức nhận dạng neuron thắng i * sử dụng thủ tục với lớp cạnh tranh Tuy nhiên, thay cập nhật neuron thắng, tất neuron vùng lân cận Ni* (d) neuron thắng cập nhật luật Kohonen Đặc biệt, điều chỉnh tất neuron i∈ Ni*(d) nhö sau : i w( q ) = i w( q − 1) + α ( p ( q ) − i w( q − 1) ) Lê Thanh Nhật-Trương Ánh Thu i w( q ) = (1 − α ) i w( q − 1) + αp( q ) 159 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Mạng Self-Organizing Ở lân cận Ni*(d) chứa tất số tất neuron nằm bán kính d neuron thaéng i* N i (d ) = j , d ij ≤ d { } Vì có vector P vào mạng, trọng số neuron thắng neuron lân cận di chuyển phía P Kết sau nhiều lần xuất vector P, neuron lân cận học vector tương tự Để minh họa khái niệm lân cận ta xem xét hình Giản đồ bên trái minh họa lân cận hai chiều có bán kính d = quanh neuron thứ 13 Giản đồ bên phải minh họa lân cận bán kính d = Lê Thanh Nhật-Trương Ánh Thu 160 GVHD : Ths Hoàng Đình Chiến ... robot quan sát Điều kiện quan trọng việc sử dụng Neural Networks phải biết mối liên hệ ngõ vào ngõ biết trước Mối quan hệ kéo theo nhiều thứ định phải tồn Tổng quát, ta sử dụng mạng Neural Networks. .. hợp Trong Neural Networks, ta chọn loại bỏ nhiền biến Neural Networks xác định thực nghiệm Lê Thanh Nhật-Trương Ánh Thu 88 GVHD : Ths Hoàng Đình Chiến Phần 3_Chương : Tổng quan Neural Networks. .. Ths Hoàng Đình Chiến Phần 3_Chương : Mô hình Neural Networks CHƯƠNG MÔ HÌNH MẠNG NEURAL NETWORKS Mô hình mạng Neural tổng quát có dạng sau : Ngày mạng Neural giải nhiều vấn đề phức tạp người, áp