Mạng nơron RBF và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Hoàng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ HÀ NỘI – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Hoàng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. Hoàng Xuân Huấn HÀ NỘI – 2006 Trang - 2 - MỤC LỤC LỜI CẢM ƠN 1 MỤC LỤC 2 MỞ ĐẦU 5 CHƢƠNG 1: BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM 8 1.1. Giới thiệu chung 8 1.2. Bài toán nội suy và xấp xỉ hàm nhiều biến 8 1.2.1.  8 1.2.2. k- 8 1.2.3.   10 CHƢƠNG 2: GIỚI THIỆU MẠNG NƠRON 12 2.1. Giới thiệu chung 12 2.2. Mạng nơron tự nhiên 13 2.3. Mạng nơron nhân tạo (Artificial Neural Network) 14 2.3.1.  15 2.3.2.  17 2.3.3.  18 2.3.4.  20 2.4. Luật học của mạng Nơron 21 2.4.1.  21 2.4.2.  21 2.4.3.     . 21 2.4.4.     21 2.5. Luật học Perceptron 22 2.5.1.  22 2.5.2.      23 2.5.3.  25 2.5.4.  26 2.6. Mạng ADALINE 26 2.6.1.        27 2.6.2.  27 2.6.3.      28 Trang - 3 - 2.6.4.     (Least Mean Square) 29 2.6.5.       31 2.6.6.  31 2.7. Mạng Perceptron nhiều tầng MLP (Multi-Layer Perceptrons) 31 2.7.1.  31 2.7.2. -Propagation). . 32 CHƢƠNG 3: MẠNG NƠRON NỘI SUY RBF (RADIAL BASIC FUNCTION) 36 3.1. Giới thiệu 36 3.2. Mạng nội suy RBF và các vấn đề liên quan 37 3.2.1.  37 3.2.2.  38 3.3. Phƣơng pháp Trung bình bình phƣơng nhỏ nhất huấn luyện mạng RBF 40 3.3.1.  40 3.3.2.  40 3.4. Phƣơng pháp Lặp huấn luyện mạng RBF 40 3.4.1.  40 3.4.2.  41 3.4.3.  44 3.5. Ứng dụng mạng RBF 45 CHƢƠNG 4: CHƢƠNG TRÌNH MÁY TÍNH THỰC NGHIỆM 48 4.1. Giới thiệu chƣơng trình máy tính 48 4.1.1.  48 4.1.2.  50 4.2. Sử dụng chƣơng trình máy tính 50 4.2.1.  50 4.2.2.  51 4.2.3.  52 4.2.4.  54 4.2.5.  55 CHƢƠNG 5: BÀI TOÁN XẤP XỈ HÀM TRONG KHÍ TƢỢNG THỦY VĂN 57 5.1. Phát biểu bài toán 57 5.1.1.  57 5.1.2.  59 Trang - 4 - 5.2. Một vài phƣơng pháp áp dụng 60 5.2.1.  60 5.2.2.  61 5.2.3.  61 5.3. Ứng dụng chƣơng trình máy tính 61 5.3.1.  61 5.3.2.  62 5.3.3.  63 5.3.4.  64 5.4. Nhận xét ứng dụng mạng nội suy RBF 67 KẾT LUẬN 69 Các kết quả đạt đƣợc 69 Hƣớng nghiên cứu tiếp theo 69 TÀI LIỆU THAM KHẢO 71 PHỤ LỤC 73 Môi trƣờng viết chƣơng trình 73 Giới thiệu một số thủ tục chính của chƣơng trình 74 Trang - 5 -    truy                     - g      Multilayer P                                                          Trang - 6 -        .   .                        C 1:   Trình bày tóm tắt các điểm cơ bản về bài toán nội suy bao gồm nội suy hàm một biến và nội suy hàm nhiều biến.  2:  Giới thiệu ngắn gọn về mạng nơron bao gồm kiến trúc và luật học của Perceptron đơn, mạng ADALINE và mạng MLP.  3:  Trình bày khảo cứu về mạng RBF và một số ứng dụng. Nội dung chính của Phương pháp Lặp huấn luyện mạng RBF.    Giới thiệu chương trình máy tính thực nghiệm bài toán nội suy bằng mạng RBF được huấn luyện bằng phương pháp lặp được trình bày tại chương 3.   5:          Giới thiệu bài toán thực tế trong khí tượng thuỷ văn đòi hỏi áp dụng xấp xỉ hàm nhiều biến. Bài toán này được đặt ra dựa trên công tác nghiên Trang - 7 - cứu, hoạt động của Khoa Khí tượng Thủy văn và Hải dương học – Đại học KHTN – Đại học Quốc gia Hà Nội. Đồng thời giới thiệu ứng dụng chương trình máy tính được xây dựng để nội suy giá trị theo các mốc quan trắc. Trang - 8 -    1.1.                       .   .  5 K  k-     1.2. n   n f  . Nx 1 ,x 2 ….x N trong D: f(x i ) = y i   1.2.1. B   f(x) )(x     (x i )=y i x i f(x)   (x).  x i      . 1.2.2. k-                 Dx  )(x   . Trang - 9 -  1  k   )(x      k j jj zfx 1 )()(   i            k j j i i zxd zxd 1 1 1 ),( ),(   )(x       k-            Bài toán phân loại văn bản:         ,             :      (   )          . Cách thực hiện: Khi   -___                         - -  [...]... tới khi nơron học thuộc bài mới thôi 2.3.3 Cấu tạo của mạng nơron Phần trên đã trình bày về kiến trúc của một nơron Các nơron này sẽ kết nối với nhau theo một quy tắc nào đó để tạo lên một mạng nơron (Mạng nơron thông dụng nhất là mạng truyền tới) Mạng nơron thƣờng bao gồm một tầng vào gồm các nút nhận tín hiệu bằng số, một hoặc nhiều tầng nơron ẩn và tầng nơron ra Hình 2.3.2 mô tả một mạng nơron với... nhiều tầng nơron ẩn và tầng nơron ra trong đó tín hiệu tầng trƣớc đƣợc đƣa tới tầng sau Hình 2.7.1 mô tả mạng nơron 2 tầng nơron với 6 nút vào, 3 nơron Trang - 32 - tầng ẩn và 2 nơron tầng ra (ngƣời ta có thể gọi mạng nhƣ vậy là mạng 3 tầng kể cả tầng vào) Tầng vào Nếu hàm đang xét có n biến thì có n+1 nút trong đó nút đầu ứng với giá trị x0= - 1và trọng số là ngƣỡng  , mỗi nút còn lại ứng với một... đƣợc sự hoàn chỉnh nhƣ bộ óc con ngƣời nhƣng các mạng nơron nhân tạo đã đƣợc ứng dụng khá rộng rãi và có nhiều kết quả khích lệ Trang - 13 - Chúng ta sẽ tìm hiểu kỹ hơn về mạng nơron tự nhiên và mạng nơron nhân tạo 2.2 Mạng nơron tự nhiên Công trình nghiên cứu đầu tiên để hiểu biết về hoạt động của mạng nơron thuộc về Ramón Y Cacjál (1911) Ông ta cho rằng nơron hợp nên bộ não, hoạt động của nó chậm hơn... x nhất Phƣơng M pháp này thƣờng đƣợc gọi là phƣơng pháp địa phƣơng và hàm ( x, c1 , c2 , , ck ) đƣợc chọn theo dạng hàm tuyến tính Trang - 12 - CHƢƠNG 2: GIỚI THIỆU MẠNG NƠRON Chƣơng này giới thiệu tóm tắt về mạng nơron và các phƣơng pháp ứng dụng của mạng nơron nhằm làm rõ hơn các đặc điểm thiết kế và cách huấn luyện mạng nơron RBF 2.1 Giới thiệu chung Ngày nay không ai có thể phủ nhận vai trò cực... Định nghĩa thể hiện 3 đặc điểm:  Mạng nơron đƣợc kích thích bởi môi trƣờng  Mạng nơron thay đổi nhờ tác động của các kích thích này  Mạng nơron thay đổi theo cách mới bởi vì có thay đổi nội tại trong cấu trúc của nó Luật học của mạng Nơron 2.4 2.4.1 Khái niệm luật học của mạng nơron Luâ ̣t ho ̣c là mô ̣t thủ tục sƣ̉a đổ i tro ̣ng số và khuynh hƣớng của mạng để cho mạng có thể đảm nhận đƣợc một nhiệm... luôn hội tụ và ổn định hơn vì vậy nó đƣợc dùng rộng rãi hơn Perceptron 2.7 Mạng Perceptron nhiều tầng MLP (Multi-Layer Perceptrons) Phần này giới thiệu mạng nơron Perceptrons nhiều tầng hay còn gọi là mạng nhiều tầng truyền tới (Feed-forward nơron network), đây là kiểu mạng dễ dùng và thông dụng nhất hiện nay 2.7.1 Kiến trúc mạng Mạng nơron truyền tới nhiều tầng bao gồm các nút nhận tín hiệu vào bằng... luyện mạng nơron có thể chứa đựng nhiễu trong đó, cũng nhƣ một hình ảnh có thể có những vết đốm Nếu ta dùng tập dữ liệu chứa nhiễu để huấn luyện mạng nơron thì kết quả thu đƣợc sẽ rất sai khác với mạng mà chúng ta mong muốn Xây dựng mạng nơron Dƣới đây là ba bƣớc để xây dựng mạng  Xây dựng kiến trúc mạng  Huấn luyện mạng  Kiểm tra mạng Xây dựng kiến trúc mạng: Xem xét có bao nhiêu tầng mà mạng chứa... nơron khác nhau và có vai trò quan trọng trong hoạt động của một mạng nơron và nó cũng là sự mô tả đặc tính riêng của mỗi mạng Dƣới đây là hoạt động xác định trọng số kết nối có thể đƣợc thực hiện trong một mạng nơron:  Bắt đầu với một tập các trọng số kết nối cho trƣớc và thực hiện quá trình hoạt động của mạng  Bắt đầu với một tập các trọng số kết nối, chạy mạng và thay đổi một vài hay tất cả các... biến của đối Tầng ra Mỗi một nơron ở tầng ra sẽ ứng với 1 hàm Nếu hàm cần xét xấp xỉ có giá trị là véc tơ M chiều thì có M nơron ở tầng ra Tầng ẩn Số tầng ẩn và lƣợng nơron của mỗi tầng tuỳ thuộc vào mục đích thiết kế Tầng vào Tầng ẩn Tầng ra Hình 2.7.1 Kiến trúc của mạng nơron truyền tới 2.7.2 Huấn luyện mạng bằng thuật toán lan truyền ngƣợc (BackPropagation) Huấn luyện mạng nơron là xác định các trọng... tầng vào Trang - 19 - Tầng vào Tầng ẩn Tầng ra Hình 2.3.2: Một mô hình của mạng nơron Những nút hình tròn biểu diễn các nơron Các vecto định hƣớng chỉ những kết nối từ một nơron ở tầng định trƣớc tới những nơron khác nằm trong một tầng khác Mỗi một mạng nơron khác nhau sẽ có số lƣợng nơron khác nhau cũng nhƣ sự kết nối giữa chúng là không giống nhau Các trọng số kết nối Dùng cho liên kết các tầng nơron . Hoàng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ HÀ NỘI – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Hoàng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN. hàm một biến và nội suy hàm nhiều biến.  2:  Giới thiệu ngắn gọn về mạng nơron bao gồm kiến trúc và luật học của Perceptron đơn, mạng ADALINE và mạng MLP.  3:. 3:  Trình bày khảo cứu về mạng RBF và một số ứng dụng. Nội dung chính của Phương pháp Lặp huấn luyện mạng RBF.    Giới