BÁO CÁO ĐỒ ÁN MẠNG NEURON

1 BÁO CÁO ĐỒ ÁN MẠNG NEURON Giảng viên hướng dẫn: Nguyễn Việt Hùng 2 Giới thiệu • Sinh viên thực hiện: Lê Quý Đa • Lớp : TH8B • Khoa : Công nghệ thông tin • Mã sinh viên : 09150118 • Đề tài: Sử dụng luật học Kohonen trong bài toán nhận dạng chữ số từ 0-9 3 NỘI DUNG I. Cơ sở lý thuyết II. Xây dựng chương trình 4 I.Cơ sở lý thuyết 1.Đặt vấn đề 2.Luật học Kohonen 3.Kết luận 4.Tài liệu tham khảo 5 I. Cơ sở lý thuyết… Mô hình neuron sinh học 1. Đặt vấn đề Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử này có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma, axon, và synapses. 6 I. Cơ sở lý thuyết… Mô hình neuron sinh học 1. Đặt vấn đề • Dendrites: là phần nhận tín hiệu đầu vào. • Soma: là hạt nhân. • Axon: là phần dẫn ra tín hiệu xử lý. • Synapses: là đường tín hiệu điện hóa giao tiếp giữa các nơron. 7 I. Cơ sở lý thuyết… 1. Đặt vấn đề • một nơron sinh học nhận đầu vào từ các nguồn khác nhau, kết hợp chúng tại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả cuối cùng ở đầu ra. • Vì chỉ có một số chức năng cơ bản như vậy, ta nhận thấy khả năng xử lý thông tin của nó là rất yếu. Để có được khả năng xử lý thông tin hoàn hảo như bộ não con người, thì các nơron phải kết hợp và trao đổi thông tin với nhau 8 I. Cơ sở lý thuyết… 2. Mạng Kohonen • Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen giống với mạng nơron sinh học hơn cả về cấu tạo lẫn cơ chế học. • Mạng nơron nhân tạo này lần đầu tiên được giới thiệu bởi Kohonen vào năm 1982, nó được biết đến như là ánh xạ đặc trưng tự tổ chức (SOM). • Ánh xạ tự tổ chức của Kohonen còn được biết đến là một trong những mô hình khá đơn giản của mạng nơron, và người ta thường gọi đó là mạng nơron Kohonen. 9 I. Cơ sở lý thuyết… 2. Mạng Kohonen • Cách xử lý thông tin các mạng nơron khác thường chỉ quan tâm đến giá trị và dấu hiệu của thông tin đầu vào, chưa quan tâm khai thác các mối liên hệ có tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu, hay toàn thể không gian. Nhưng trong mạng nơron Kohonen đã quan tâm đến các yếu tố này. 10 I. Cơ sở lý thuyết… 2. Mạng Kohonen • Định nghĩa: Mạng noron Kohonen là mạng có khả năng sử dụng những kinh nghiệm của quá khứ để thích ứng với những biến đổi của môi trường (không dự báo trước). Loại mạng này thuộc nhóm hệ học, thích nghi không cần có tín hiệu chỉ đạo từ bên ngoài. Mạng luyện không không có thầy hướng dẫn, là một kiểu luyện mà ở đó các nơron tự xoay xở với các dữ liệu mẫu mà nó có được chứ không có “Ông thầy” gợi ý cần luyện theo hướng nào. [...]... Tăng nơron hoặc thay đổi hệ số học 18 I Cơ sở lý thuyết… Mạng ánh xạ đặc trưng tự tổ chức (Self Organizing Feature Mapping – SOFM • Thay đổi trọng số của các nơron “hàng xóm” với nơron thắng cuộc 19 I Cơ sở lý thuyết… SOFM – Cải tiến thuật toán huấn luyện 1 Biến đổi kích cỡ láng giềng trong quá trình huấn luyện Khởi đầu, kích thước các vùng láng giềng khởi tạo lớn Theo tiến trình huấn luyện, d giảm... hệ số học được giảm tiệm cận về 0, sao cho việc học trở thành dừng (ổn định) Nơron thắng cuộc có thể sử dụng hệ số học lớn hơn các nơron láng giềng của nó 20 I Cơ sở lý thuyết… SOFM – Cải tiến thuật toán huấn luyện 3.Thay vì sử dụng tích trong, có thể được tính toán trực tiếp khoảng cách Euclid giữa véctơ đầu vào với các véctơ nguyên mẫu Lợi ích của việc sử dụng khoảng cách là các véc tơ đầu vào không... bây giờ • Do thời gian có hạn và sự hạn chế của kiến thức, em mới xây dựng đề mô nhận dạng chữ số từ 0-9 22 Kết luận Đánh giá kết quả • Mặc dù em đã cố gắng để hoàn thiện đề tài nhưng kết quả chưa được tốt hoàn toàn • Trong quá trình nhận dạng có xảy ra sự nhận dạng sai chữ số • Thuật toán của em chưa được tối ưu, rất mong được sự góp ý của thầy và các bạn 23 Cơ sở lý thuyết Tài liệu tham khảo • Trong... dịch chuyển vector trọng số 15 I Cơ sở lý thuyết… Ví dụ dịch chuyển vector trọng số Vector trọng số Vector đầu vào Trước khi huấn luyện Sau huấn luyện 16 I Cơ sở lý thuyết… Các vấn đề trong huấn luyện mạng • Có những nơron khởi tạo quá xa các vector input sẽ không chiến thắng trong bất kỳ lần nào: Nơron • Giải quyết: thêm một bias âm “chết” cho net-input của mỗi nơron và khi đó sẽ giảm đi một lượng...I Cơ sở lý thuyết… 11 I Cơ sở lý thuyết… Mô hình mạng Kohonen Kohonen layer Kohonen layer Input layer 1 0 (a) Input layer 0 1 (b) 12 I Cơ sở lý thuyết… Luật học instar 2 Luật học Kohonen 13 I Cơ sở lý thuyết… Mô tả luật học bằng hình vẽ 14 I Cơ sở lý... khảo • Trong quá trình học tập và xây dựng đề tài em có tham khảo các tài liệu: 1 slide bài giảng của thầy trên lớp.(NNs8_Competitive) ( sử dụng lại một số slide và hình ảnh, công thức ) 2 tài liệu trên mạng SOM Tutorial( file pdf) 24 DEMO 25 . 1 BÁO CÁO ĐỒ ÁN MẠNG NEURON Giảng viên hướng dẫn: Nguyễn Việt Hùng 2 Giới thiệu • Sinh viên thực. I. Cơ sở lý thuyết… 2. Mạng Kohonen • Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen giống với mạng nơron sinh học hơn cả về cấu tạo lẫn cơ chế học. • Mạng nơron nhân tạo này. đến như là ánh xạ đặc trưng tự tổ chức (SOM). • Ánh xạ tự tổ chức của Kohonen còn được biết đến là một trong những mô hình khá đơn giản của mạng nơron, và người ta thường gọi đó là mạng nơron