MỞ ĐẦU1 CHƯƠNG 1 BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF5 1.1 BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ5 1.1.1 Bài toán nội suy.5 1.1.1.1 Nội suy hàm một biến.5 1.1.1.2 Bài toán nội suy hàm nhiều biến.6 1.1.2 Bài toán xấp xỉ6 1.1.3 Các phương pháp giải bài toán nội suy và xấp xỉ hàm số6 1.2 MẠNG NƠRON NHÂN TẠO7 1.2.1 Mạng nơron sinh học:7 1.2.2 Mạng Nơron nhân tạo8 1.3 MẠNG NƠRON RBF12 1.3.1 Kỹ thuật hàm cơ sở bán kính và mạng nơron RBF12 1.3.2 Kiến trúc mạng Nơron RBF14 1.3.3 Đặc điểm huấn luyện của mạng Nơron RBF15 CHƯƠNG 2 THUẬT TOÁN LẶP HDH HUẤN LUYỆN MẠNG RBF16 2.1 THUẬT TOÁN LẶP HDH HAI PHA HUẤN LUYỆN MẠNG RBF16 2.1.1 Phương pháp lặp đơn giải hệ phương trình tuyến tính16 2.1.2 Thuật toán lặp hai pha huấn luyện mạng RBF16 2.1.3 Mô tả thuật toán.17 2.1.4 Nhận xét18 2.2THUẬT TOÁN LẶP HDH MỘT PHA HUẤN LUYỆN MẠNG RBF VỚI BỘ DỮ LIỆU CÁCH ĐỀU19 2.2.1 Biểu diễn các mốc nội suy19 2.2.2 Mô tả thuật toán :19 2.2.3 Nhận xét20 CHƯƠNG 3: ỨNG DỤNG THUẬT TOÁN LẶP MỘT PHA HUẤN LUYỆN MẠNG RBF VÀO VIỆC GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ LIỆU NHIỄU TRẮNG21 3.1 NHIỄU TRẮNG VÀ BÀI TOÁN XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU21 3.1.1 Bản chất của nhiễu trắng21 3.1.2 Phân phối chuẩn22 3.1.3 Bài toán nội suy xấp xỉ hàm với dữ liệu nhiễu trắng23 3.2 PHƯƠNG PHÁP HỒI QUY TUYẾN TÍNH K HÀNG XÓM GẦN NHẤT24 3.2.1 Phát biểu bài toán hồi quy.24 3.2.2 Mô tả phương pháp kNN24 3.3. Ý TƯỞNG VÀ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ NHIỆU NHIỄU25 CHƯƠNG 4 XÂY DỰNG PHẦN MỀM MÔ PHỎNG27 4.1 LẬP TRÌNH SINH NHIỄU TRẮNG THEO PHÂN PHỔI CHUẨN27 4.1.1 Phương pháp Box-Muller27 4.1.2 Sinh nhiễu trắng từ hàm rand() trong C++28 4.2 LẬP TRÌNH GIẢI HỆ PHƯƠNG TRÌNH CỦA BÀI TOÁN HỒI QUY TUYẾN TÍNH KNN28
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Xuân Minh Hoàng HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Xuân Minh Hoàng HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán hướng dẫn: PGS.TS Hoàng Xuân Huấn HÀ NỘI – 2010 LỜI CẢM ƠN Tôi muốn bày tỏ cảm ơn sâu sắc tới thầy Hoàng Xuân Huấn, thuộc môn Khoa học máy tính, khoa Công nghệ thông tin, trường Đại học Công nghệ, ĐHQGHN nhận hướng dẫn tin tưởng để giao cho đề tài thú vị này. Trong thời gian thực khóa luận, thầy kiên nhẫn, nhiệt tình hướng dẫn giúp đỡ nhiều. Chính hiểu biết sâu rộng kinh nghiệm nghiên cứu khoa học thầy hiều lần định hướng giúp tránh khỏi sai lầm giúp vượt qua gặp bế tắc thực khóa luận này. Tôi muốn bày tỏ cảm ơn tới các thầy, cô môn, thầy, cô khoa, trường tạo điều kiện giúp đỡ để thực hoàn thành khóa luận này. Nếu kiến thức đào tạo năm vừa qua, hoàn thành khóa luận này. TÓM TẮT NỘI DUNG Mặc dù nghiên cứu từ lâu, đến toán nội suy xấp xỉ hàm nhiều biến có công cụ toán học để giải quyết. Mạng Nơron nhân tạo phương pháp hay để giải toán nội suy, xấp xỉ hàm nhiều biến. Năm 1987 M.J.D. Powell đưa cách tiếp cận để giải toán nội suy hàm nhiều biến sử dụng kỹ thuật hàm sở bán kính (Radial Basis Function RBF), năm 1988 D.S. Bromhead D. Lowe đề xuất kiến trúc mạng Nơron RBF trở công cụ hữu hiệu để giải toán nội suy xấp xỉ hàm nhiều biến(xem [11]). Năm 2006 Hoàng Xuân Huấn cộng (xem [1]) đưa thuật toán lặp hai pha để huấn luyện mạng nơron RBF cho kết tốt nhiên nhược điểm sai số lớn liệu phân bố không đều. Khi áp dụng phương pháp liệu cách cho ta thuật toán lặp pha HDH với thời gian tính tổng quát tốt nhiều. (xem [2]) Nội dung khóa luận ứng dụng thuật toán huấn luyện mạng nơron RBF với mốc cách để đưa phương pháp nội suy xấp xỉ hàm nhiều biến với liệu có nhiễu trắng chứng minh hiệu thông qua việc xây dựng phần mềm nội suy hàm số. MỤC LỤC Lê Xuân Minh Hoàng HÀ NỘI - 2010 .1 Lê Xuân Minh Hoàng HÀ NỘI – 2010 LỜI CẢM ƠN Chương 3: Ứng dụng thuật toán lặp pha huấn luyện mạng RBF vào việc giải toán nội suy xấp xỉ với liệu nhiễu trắng .13 CHƯƠNG BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF 15 Nội dung chương bao gồm: .15 1.1BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ 15 1.1.1Bài toán nội suy 15 1.1.1.1 Nội suy hàm biến 15 Hình 1: Minh họa toán nội suy hàm biến 15 1.1.1.2 Bài toán nội suy hàm nhiều biến 16 1.1.2Bài toán xấp xỉ .16 1.1.3Các phương pháp giải toán nội suy xấp xỉ hàm số .17 Bài toán nội suy hàm biến nghiên cứu nhiều từ kỷ 18. Ban đầu giải phương pháp sử dụng đa thức nội suy: đa thức Lagrange, đa thức Chebysept . nhiên số mốc nội suy lớn nội suy đa thức thường xãy tượng phù hợp trội (over-fitting) bậc đa thức thường tăng theo số mốc nội suy. Để giải tượng phù hợp trội, thay tìm đa thức nội suy người ta tìm đa thức xấp xỉ, thường giải phương pháp xấp xỉ bình phương tối thiểu Gauss. Một phương pháp khác đề xuất vào đầu kỷ 20 phương pháp nội suy Spline. Trong hàm nội suy xác định nhờ ghép trơn hàm nội suy dạng đơn giản (thường dùng đa thức bậc thấp) đoạn con. Phương pháp hay áp dụng nhiều kỹ thuật 17 Tuy nhiên, trình bày trên, ứng dụng mạnh mẽ nội suy hàm nhiều biến thực tế ngày đòi hỏi phải giải toán nội suy hàm nhiều biến. Cùng với phát triển mạnh mẽ ngành Công Nghệ Thông Tin, toán nội suy xấp xỉ hàm nhiều biến quan tâm có nghiên cứu đột phá khoảng 30 năm trở lại đây, với cách tiếp cận chủ yếu như: 17 Học dựa mẫu: Thuật ngữ T.Mitchell dùng để phương pháp k-láng giêngf agần nhất, phương pháp hồi quy trọng số địa phương 17 Mạng nơron MLP .17 Mạng nơron RBF .17 Để hiểu rõ hơn, xin xem thêm [3] 17 1.2MẠNG NƠRON NHÂN TẠO .17 1) Hàm ngưỡng 20 20 20 Hình 4: Đồ thị hàm ngưỡng 20 2) Hàm tuyến tính . 20 20 20 Hình 5: Đồ thị hàm tuyến tính .20 3) Hàm sigmoid . 20 20 20 Hình 6: Đồ thị hàm sigmoid 20 4) Hàm tank 21 21 21 Hình 7: Đồ thị hàm tank 21 5) Hàm bán kính (Gauss) . 21 21 21 Hình 8: Đồ thị hàm Gauss 21 1.3MẠNG NƠRON RBF .22 Hình 10: Minh họa ảnh hưởng hàm bán kính .23 Hình 11: Kiến trúc mạng RBF 24 CHƯƠNG 2: 25 THUẬT TOÁN LẶP HDH HUẤN LUYỆN MẠNG RBF 25 Nội dung chương bao gồm: .25 CHƯƠNG 3: 31 ỨNG DỤNG THUẬT TOÁN LẶP MỘT PHA HUẤN LUYỆN MẠNG RBF VÀO VIỆC GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ LIỆU NHIỄU TRẮNG .31 Nội dung chương bao gồm: .31 CHƯƠNG XÂY DỰNG PHẦN MỀM MÔ PHỎNG 37 Nội dung chương bao gồm: 37 Lập trình sinh nhiễu trắng theo phân phối chuẩn .37 Lập trình giải toán hồi quy tuyến tính kNN 37 Tổng quan phần mềm .37 Các mô tả lập trình chương nêu phương án lập trình để giải toán nhỏ đề cập trên, cụ thể cách sinh nhiễu trắng theo phân phối chuẩn lập trình giải toán hồi quy tuyến tính kNN .37 4.1LẬP TRÌNH SINH NHIỄU TRẮNG THEO PHÂN PHỔI CHUẨN 37 Để xây dựng phân phối chuẩn từ hàm phân phối rand() C++, dựa theo phương pháp Box Muller (xem chi tiết [9]) trình bày : 37 4.1.1Phương pháp Box-Muller .37 4.1.2Sinh nhiễu trắng từ hàm rand() C++ .38 Như vậy, với việc dùng hàm rand() C++ tạo dãy phân phối đều, ta tính dãy phân phối chuẩn N(0,1), phần tử dãy nhân với tham số phương sai trừ khoảng sai số trung bình tổng chúng với kỳ vọng, ta dãy số thể nhiễu trắng với kỳ vọng phương sai theo thiệt lập ban đầu 38 4.2LẬP TRÌNH GIẢI HỆ PHƯƠNG TRÌNH CỦA BÀI TOÁN HỒI QUY TUYẾN TÍNH KNN 38 4.3GIỚI THIỆU PHẦN MỀM XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU 39 4.3.1Tổng quan phần mềm .39 4.3.2Tổ chức liệu .39 Các mốc nội suy Error: Reference source not found thể dạng mảng số thực. Các giá trị Error: Reference source not found, khóa luận xét trường hợp đầu chiều, nên cho dạng số thực. 39 4.3.3Giao diện chức .41 Mặc dù Demo, phần mềm thiết kế để tiện cho việc nghiên cứu lẫn ứng dụng thực tế. Phần mềm có chức 41 Nhập liệu (có nhiễu trắng) theo cách .41 Thủ công 41 Nhập từ file input 41 Xuất liệu mô tả mạng nơron RBF huấn luyện file output 41 Đưa sai số huấn luyện giao diện 41 Giao diện chương trình gồm Tab : Tab ‘Nhập theo file’ Tab ‘Tự nhập’; Tab thể cách nhập liệu. Người dùng tùy theo việc muốn nhập liệu theo kiểu mà chọn Tab. Sau xin giới thiệu giao diện chức phần mềm theo Tab .41 4.3.3.1 Tab “Nhập liệu theo file” 41 Để nhập liệu theo file, ta chọn Tab ‘Nhập theo file’, có giao diện 41 41 4.3.3.2 Tab “Tự nhập” .43 Để nhập liệu theo cách thủ công, ta chọn Tab ‘Tự nhập’, giao diện 43 43 CHƯƠNG 6: 52 [3] T.M. Mitchell, Machine learning, McGraw-Hill, 1997 54 [4] J. Shlens, A Tutorial on Principal Component Analysis, April 22, 2009 54 [5] D.S. Broomhead and D. Lowe. Multivariable functional interpolation and adaptive networks. Complex Systems, vol. 2, 321-355, 1988 .54 [6] Đặng Thị Thu Hiền, Luận án tiến sỹ công nghệ thông tin, chuyên ngành Khoa học máy tính, mã số: 62.48.0101, Đại học Công nghệ, ĐHQG Hà Nội, 2009 54 [7] William M.K. Trochim, Measurement Error .54 http://www.socialresearchmethods.net/kb/measerr.php 54 [8] Wikipedia®, Normal distribution 54 http://en.wikipedia.org/wiki/Normal_distribution [9] G.E.P Box and Mervin E. Muller, A Note on the Generation of Random Normal Deviates, Ann. Math. Statist. Volume 29, Number (1958), 610-611 54 [10] Tomohiro Ando, Sadanori Konishi and Seiya Imoto, Nonlinear regression modeling via regularized radial basis function network, Journal of Statical Planning and Inference, 2008, trang 16-18 .54 54 BẢNG DANH MỤC CÁC HÌNH MINH HỌA Lê Xuân Minh Hoàng HÀ NỘI - 2010 .1 Lê Xuân Minh Hoàng HÀ NỘI – 2010 LỜI CẢM ƠN Chương 3: Ứng dụng thuật toán lặp pha huấn luyện mạng RBF vào việc giải toán nội suy xấp xỉ với liệu nhiễu trắng .13 CHƯƠNG BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF 15 Nội dung chương bao gồm: .15 1.1BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ 15 1.1.1Bài toán nội suy 15 1.1.1.1 Nội suy hàm biến 15 Hình 1: Minh họa toán nội suy hàm biến 15 1.1.1.2 Bài toán nội suy hàm nhiều biến 16 1.1.2Bài toán xấp xỉ .16 1.1.3Các phương pháp giải toán nội suy xấp xỉ hàm số .17 Bài toán nội suy hàm biến nghiên cứu nhiều từ kỷ 18. Ban đầu giải phương pháp sử dụng đa thức nội suy: đa thức Lagrange, đa thức Chebysept . nhiên số mốc nội suy lớn nội suy đa thức thường xãy tượng phù hợp trội (over-fitting) bậc đa thức thường tăng theo số mốc nội suy. Để giải tượng phù hợp trội, thay tìm đa thức nội suy người ta tìm đa thức xấp xỉ, thường giải phương pháp xấp xỉ bình phương tối thiểu Gauss. Một phương pháp khác đề xuất vào đầu kỷ 20 phương pháp nội suy Spline. Trong hàm nội suy xác định nhờ ghép trơn hàm nội suy dạng đơn giản (thường dùng đa thức bậc thấp) đoạn con. Phương pháp hay áp dụng nhiều kỹ thuật 17 Tuy nhiên, trình bày trên, ứng dụng mạnh mẽ nội suy hàm nhiều biến thực tế ngày đòi hỏi phải giải toán nội suy hàm nhiều biến. Cùng với phát triển mạnh mẽ ngành Công Nghệ Thông Tin, toán nội suy xấp xỉ hàm nhiều biến quan tâm có nghiên cứu đột phá khoảng 30 năm trở lại đây, với cách tiếp cận chủ yếu như: 17 Học dựa mẫu: Thuật ngữ T.Mitchell dùng để phương pháp k-láng giêngf agần nhất, phương pháp hồi quy trọng số địa phương 17 Mạng nơron MLP .17 Mạng nơron RBF .17 Để hiểu rõ hơn, xin xem thêm [3] 17 1.2MẠNG NƠRON NHÂN TẠO .17 1) Hàm ngưỡng 20 20 20 Hình 4: Đồ thị hàm ngưỡng 20 2) Hàm tuyến tính . 20 20 20 Hình 5: Đồ thị hàm tuyến tính .20 3) Hàm sigmoid . 20 20 20 Hình 6: Đồ thị hàm sigmoid 20 4) Hàm tank 21 21 21 Hình 7: Đồ thị hàm tank 21 5) Hàm bán kính (Gauss) . 21 21 21 Hình 8: Đồ thị hàm Gauss 21 1.3MẠNG NƠRON RBF .22 Hình 10: Minh họa ảnh hưởng hàm bán kính .23 Hình 11: Kiến trúc mạng RBF 24 CHƯƠNG 2: 25 THUẬT TOÁN LẶP HDH HUẤN LUYỆN MẠNG RBF 25 Nội dung chương bao gồm: .25 CHƯƠNG 3: 31 ỨNG DỤNG THUẬT TOÁN LẶP MỘT PHA HUẤN LUYỆN MẠNG RBF VÀO VIỆC GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ LIỆU NHIỄU TRẮNG .31 Nội dung chương bao gồm: .31 CHƯƠNG XÂY DỰNG PHẦN MỀM MÔ PHỎNG 37 Nội dung chương bao gồm: 37 Lập trình sinh nhiễu trắng theo phân phối chuẩn .37 Lập trình giải toán hồi quy tuyến tính kNN 37 Tổng quan phần mềm .37 Các mô tả lập trình chương nêu phương án lập trình để giải toán nhỏ đề cập trên, cụ thể cách sinh nhiễu trắng theo phân phối chuẩn lập trình giải toán hồi quy tuyến tính kNN .37 4.1LẬP TRÌNH SINH NHIỄU TRẮNG THEO PHÂN PHỔI CHUẨN 37 Để xây dựng phân phối chuẩn từ hàm phân phối rand() C++, dựa theo phương pháp Box Muller (xem chi tiết [9]) trình bày : 37 4.1.1Phương pháp Box-Muller .37 4.1.2Sinh nhiễu trắng từ hàm rand() C++ .38 Như vậy, với việc dùng hàm rand() C++ tạo dãy phân phối đều, ta tính dãy phân phối chuẩn N(0,1), phần tử dãy nhân với tham số phương sai trừ khoảng sai số trung bình tổng chúng với kỳ vọng, ta dãy số thể nhiễu trắng với kỳ vọng phương sai theo thiệt lập ban đầu 38 4.2LẬP TRÌNH GIẢI HỆ PHƯƠNG TRÌNH CỦA BÀI TOÁN HỒI QUY TUYẾN TÍNH KNN 38 4.3GIỚI THIỆU PHẦN MỀM XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU 39 4.3.1Tổng quan phần mềm .39 4.3.2Tổ chức liệu .39 Các mốc nội suy Error: Reference source not found thể dạng mảng số thực. Các giá trị Error: Reference source not found, khóa luận xét trường hợp đầu chiều, nên cho dạng số thực. 39 4.3.3Giao diện chức .41 Mặc dù Demo, phần mềm thiết kế để tiện cho việc nghiên cứu lẫn ứng dụng thực tế. Phần mềm có chức 41 Nhập liệu (có nhiễu trắng) theo cách .41 Thủ công 41 Nhập từ file input 41 Xuất liệu mô tả mạng nơron RBF huấn luyện file output 41 Đưa sai số huấn luyện giao diện 41 Giao diện chương trình gồm Tab : Tab ‘Nhập theo file’ Tab ‘Tự nhập’; Tab thể cách nhập liệu. Người dùng tùy theo việc muốn nhập 10 Error: Reference source not found (4) Để giải hệ này, ta đưa chúng dạng phép nhân ma trận. Đặt P ma trận vecto x (n+1) : Error: Reference source not found Z ma trận Error: Reference source not found ; coi Error: Reference source not found = Error: Reference source not found 1Error: Reference source not found Y ma trận Error: Reference source not found Khi này, (3) (4) tương đương với : Error: Reference source not found (Z.P-Y) = Error: Reference source not found Tương đương với ZT.Z.P = ZT.Y Đặt A=ZT.Z ; B = ZT.Y ta có : A.P=B Đây hệ phương trình tuyến tính với P ma trận vecto cần tìm, A ma trận vuông, ta việc dùng phương pháp Crammer để giải : Error: Reference source not found = Error: Reference source not found Với Ai ma trận A với cột thứ i thay ma trận vecto B. 4.3 GIỚI THIỆU PHẦN MỀM XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU 4.3.1 Tổng quan phần mềm Đây phần mềm xây dựng huấn luyện mạng nơron RBF nội suy xấp xỉ hàm nhiều biến từ liệu nhiễu. Tôi chọn lập trình ngôn ngữ C++, IDE Visual C++ 2010 Release Candidate, Framework.NET. Sản phẩm dịch dạng Windows Form, chạy hệ điều hành Windows với điều kiện cài đặt Microsoft.NET Framework version 2.0 Redistributable Package, tên file dotnetfx.exe, dung lượng 22MB ; tải miễn phí địa chỉ: http://www.microsoft.com/downloads/details.aspx?FamilyID=0856eacb-43624b0d-8edd-aab15c5e04f5&displaylang=en 4.3.2 Tổ chức liệu Các mốc nội suy Error: Reference source not found thể dạng mảng số thực. Các giá trị Error: Reference source not found, khóa luận xét trường hợp đầu chiều, nên cho dạng số thực. Tôi lập trình theo cách hướng đối tượng, đối tượng quan trọng viết thành lớp đặt file header để dễ dàng chỉnh sửa trao đổi với người quan tâm, gồm: Class mangnoron (mô mạng nơron RBF) Class bosinhphanphoichuan (mô máy sinh phân phổi chuẩn Gauss) 39 Class hambk (mô hàm bán kính, class dùng class mangnoron) Class matran (mô ma trận, dùng cho việc tính định thức) Class maytinh (mô hàm số từ xâu nhập vào) Phương pháp kNN-HDH thuật toán cấu thành nên HDH-1 kNN viết dạng phương thức class mangnoron. Để giảm bớt yêu cầu nhớ chương trình, số bước có tính đệ quy hay phải khai báo biến nhiều lần đơn giản hóa, ví dụ việc tính chuẩn Mahalanobis thuật toán HDH-1. Thay khởi tạo ma trận A tính Error: Reference source not found ta việc tính Error: Reference source not found. 40 4.3.3 Giao diện chức Mặc dù Demo, phần mềm thiết kế để tiện cho việc nghiên cứu lẫn ứng dụng thực tế. Phần mềm có chức • Nhập liệu (có nhiễu trắng) theo cách o Thủ công o Nhập từ file input • Xuất liệu mô tả mạng nơron RBF huấn luyện file output • Đưa sai số huấn luyện giao diện Giao diện chương trình gồm Tab : Tab ‘Nhập theo file’ Tab ‘Tự nhập’; Tab thể cách nhập liệu. Người dùng tùy theo việc muốn nhập liệu theo kiểu mà chọn Tab. Sau xin giới thiệu giao diện chức phần mềm theo Tab này. 4.3.3.1 Tab “Nhập liệu theo file” Để nhập liệu theo file, ta chọn Tab ‘Nhập theo file’, có giao diện Hình 16 Giao diện nhập liệu theo file Giao diện đơn giản, TextBox,Combo Box để nhập tham số huấn luyện thuât toán kNN-HDH hình trên, phần nhập liệu gồm có button, button để chọn file input, output ghi nhãn, button “Start” để bắt đầu việc huấn luyện. File input file txt gồm số thực xếp theo quy ước : • Dòng n – số chiều mốc nội suy 41 • Dòng thứ hai m – số mốc nội suy • Dòng thứ i+2, (Error: Reference source not found) có (n+1) số thực tương ứng với số Error: Reference source not found (tại dòng thứ i+2) để thể mốc nội suy n chiều giá trị đo mốc File output file txt bao gồm liệu mô tả mạng RBF sau huấn luyện, xếp sau: • Dòng thứ Error: Reference source not found • Các dòng tiếp theo, dòng dùng để mô tả hàm bán kính. Cụ thể với Error: Reference source not found o Dòng 3*k+2 gồm n số thực tương ứng với số Error: Reference source not found với Error: Reference source not found tâm hàm bán kính thứ k o Dòng 3*k+3 tham số độ rộng hàm bán kính thứ k o Dòng 3*k+4 hệ số Error: Reference source not found Mỗi nhấn button ‘Start’, phần mềm lấy liệu từ file input làm liệu huấn luyện huấn luyện mạng nơron RBF theo liệu này, sau truyền liệu số mô tả mạng RBF file output. 42 4.3.3.2 Tab “Tự nhập” Để nhập liệu theo cách thủ công, ta chọn Tab ‘Tự nhập’, giao diện Hình 17 Giao diện nhập liệu thủ công Vì số lượng mốc nội suy lớn, Tab thay nhập mốc, người dùng chọn miền giá trị cho mốc nội suy. (Nếu muốn nhập chi tiết mốc nội suy, người dùng chọn cách nhập theo file trình bày trên). Cụ thể người dùng chọn số chiều n. Vỡi n chọn label “chiều 1”, “chiều 2” … dần n tăng ẩn bớt n giảm. Cùng với textbox để người dùng nhập giá trị max chiều ẩn theo, người dùng tạo miền giá trị cho mốc nội suy cách này. Chương trình tạo mốc nội suy ngẫu nhiên nằm miền đó. Số mốc tạo ngẫu nhiên mặc định 100, người dùng tự nhập vào TextBox “số mốc ngẫu nhiên”. Sau có mốc nội suy rồi, giá trị đo mốc nội suy giá trị hàm số cần nội suy xấp xỉ (nhập TextBox “biểu thức”) cộng với sai số sinh từ dãy phân phối chuẩn (có kỳ vọng mặc định =0 nhiễu trắng) phương sai điền TextBox “phương sai” (mặc định 0,25). Sau xây dựng xong liệu huấn luyện, phần mềm huấn luyện mạng RBF theo thuât toán kNN-HDH với tham số người dùng điền vào giao diện trên. Button “Chọn file output” dùng người dùng muốn xuất liệu mô tả mạng RBF sau huấn luyện file. Thứ tự liệu xuất file giống mô tả nêu 43 4.3.2.1 Vì giao diện làm với mục đích giúp người dùng dễ dàng kiểm chứng kết thực nghiệm, nên sau huấn luyện mạng RBF xong, sai số trung bình mốc huấn luyện lấy trung bình cộng tổng bình phương kết đưa TextBox “TB cộng bình phương sai số” trên. Ngoài ra, checkBox Heuristic người dùng tích vào muốn áp dụng heuristic “ăn gian” thí nghiệm. CHƯƠNG 5: KẾT QUẢ THÍ NGHIỆM Nội dung chương bao gồm: • Thí nghiệm thay đổi kích thước lưới • Thí nghiệm việc chọn k • Thí nghiệm tăng số chiều • So sánh hiệu với thuật toán khác Để làm bật đặc điểm phương pháp này, thiết lập module để thực heuristic, tạm gọi “ăn gian” để giả thiết phương pháp kNN hoàn hảo, vừa hồi quy vừa khử nhiễu với sai số 0. 5.1 THÍ NGHIỆM VỀ VIỆC THAY ĐỔI KÍCH THƯỚC LƯỚI Vì mạng RBF huấn luyện liệu ngẫu nhiên ban đầu 44 mà lưới liệu cách thiết lập sau hồi quy từ liệu ban đầu, thuật toán HDH-1 có tốc độ tính toán nhanh tồn nghi ngờ sai số huấn luyện lớn, dựa vào tính chất thuật toán HDH-1 pha trình bày cuối chương lưới liệu dày xấp xỉ tốt dẫn đến quan ngại phương pháp ta phải thiết lập lưới liệu dày đặc cho sai số chấp nhận được. Thí nghiệm cho kết bất ngờ kích thước hợp lý lưới liệu. Hàm số dùng làm thí nghiệm hàm Các hàm lấy từ thí nghiệm [10] để tiện so sánh phần sau. Dữ liệu ban đầu gồm có mốc nội suy phân bố ngẫu nhiên miền giá trị đầu vào D: Error: Reference source not found; ta thử trường hợp số mốc nội suy m=100 m=200 Kết đo mốc giá trị hàm số thực cộng với sai số (nhiễu trắng). Dãy sai số phân bố theo phân phối chuẩn có phương sai 0.25. Bảng so sánh sai số phương pháp khởi tạo lưới liệu kích cỡ khác nhau, trường hợp dùng không dùng heuristic. Kích thước lưới liệu lần tăng tăng gấp đôi chiều, số mốc cách lưới tạo sau nhiều gấp lần số mốc cách lưới tạo trước nó. Hình 18 Sai số chọn kích cỡ khác lưới liệu cho liệu 100 mốc ngẫu nhiên, không áp dụng heuristic “ăn gian” 45 Hình 19 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, không áp dụng heuristic “ăn gian” Hình 20 Sai số áp dụng kích cỡ khác lưới liệu cho liệu ngẫu nhiên 100 mốc, có heuristic “ăn gian” 46 Hình 21 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, có áp dụng heuristic “ăn gian” Ta thấy dù lần thiết lập số nút lưới tăng gấp lần so với lần thiêt lập trước, sai số tổng quát không giảm nhiều. Thử với số hàm số khác, ta thấy tượng mật độ lưới liệu thưa cho sai số lớn, nhiên cho mật độ dày đặc lên hiệu lớn khoảng định, lưới liệu dày đặc đến mức đó, tiếp tục làm dày đặc sai số không giảm so với gia tăng số mốc cách cần huấn luyện. Đặc biệt, sai số đặt mật độ nút lưới mức thứ (10 x 10 với m=100) hay (14 x 14 với m=200) tốt nhiều đặt mức thứ nhất, không tồi với mức kế tiếp, độ dày đặc tăng lên lần mức. Chú ý số nút lưới lưới xấp xỉ với m mốc nội suy liệu ban đầu. Nhận xét: Thí nghiệm cho thấy lưới liệu cần khởi tạo dày đặc lo ngại ban đầu. Thực nghiệm cho thấy cần số nút lưới liệu xấp xỉ số mốc nội suy ban đầu cho hiệu huấn luyện nói chung hợp lý. Tùy thuộc vào ứng dụng cụ thể mà tùy chỉnh kích thước lưới liệu, ví dụ tăng kích thước để làm giảm sai số, thời gian huấn luyện nằm khoảng cho phép, đặc điểm huấn luyện nhanh phương pháp này. Ta thấy rõ khác làm thí nghiệm việc áp dụng không áp dụng heuristic, điều cho thấy tầm ảnh hướng lớn bước hồi quy kNN. 5.2 THÍ NGHIỆM VỀ VIỆC CHỌN K 47 Trong phương pháp này, việc chọn k hồi quy tuyến tính kNN cho tốt coi quan trọng. Vì phương pháp kNN không hồi quy mà làm nhiệm vụ khử nhiễu. Nếu hồi quy không tốt tạo lưới liệu mà giá trị nút lưới khác xa so với giá trị thực khử nhiễu từ làm cho việc nội suy xấp xỉ nhiều. Việc chọn k phương pháp kNN toán mở, người ta đưa khuyến nghị nên chọn k lớn số chiều n. Thí nghiệm đưa vài kết luận thú vị việc chọn k. Tại thí nghiệm này, ta xét hàm số Dễ thấy hàm tỷ lệ với nhau, nội dung thí nghiệm xét cách chọn k dựa vào độ lớn miền giá trị hàm. Tham số m chọn 200, theo kết thí nghiệm 5.1, ta chọn lưới liệu có kích thước 14 x 14, xét trường hợp k=4,6,8,10,12,14,16. Kết lần thử nghiệm so sánh kèm với kết kích hoạt heuristic “ăn gian” Hình 22 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y1 với cách chọn k khác 48 Hình 23 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y2 với cách chọn k khác Tại đây, ta thầy hàm y2 đạt giá trị tốt với k=6 tăng dần k sai số tồi nhiều. Trong hàm y1 tăng k tốt. Điều giải thích sau: Sai số chênh lệch thi thử với k khác với k khác hiệu phương pháp kNN khác nhau. Ta thấy dùng heuristic sai số không đổi. Đặc điểm phương pháp hồi quy kNN k lớn hiệu khử nhiễu tốt, đồng thời, phải hồi quy nút xa hiệu hồi quy bị đi. Ngược lại k nhỏ hiệu hồi quy tốt (trừ trường hợp k nhỏ không đủ để hồi quy sai số tăng vọt thấy biểu đồ), nhiên giảm k khả khử nhiễu trắng lại phải nội suy với mốc không trung hòa nhiễu trắng. Nhận xét: Giá trị k tốt phải cân hiệu hồi quy hiệu khử nhiễu, tùy theo toán cụ thể để chọn k lớn hay k nhỏ. Xét ví dụ trên, ta thấy miền giá trị y1 nhỏ y2 nhiễu có ảnh hưởng lớn đến kết hồi quy, công việc khử nhiễu phải đặt ưu tiên so với toán với hàm y2, k lớn tốt. Biểu đồ cho thấy k lớn tốt xét đến k=30, đặt nặng nhiệm vụ khử nhiễu so với hồi quy sai số lại tăng lên 0,03 49 Ngược lại, toán với hàm y2 tỷ lệ miền giá trị với nhiễu trắng lớn so với toán hàm y ưu tiên khử nhiễu không đặt nặng toán với hàm y1, chọn k nhỏ so với trường hợp với hàm y cho hiệu tốt nhất. 5.3 THÍ NGHIỆM KHI TĂNG SỐ CHIỀU Một phần quan trọng phương pháp hồi quy kNN, vừa có vai trò hồi quy mốc để thuật toán lặp pha HDH dựa vào để huấn luyện, vừa có vai trò khử nhiễu, hồi quy kNN tốt sai số giảm nhiều, mức độ tốt mà ta mong đợi hồi quy xác hàm số cần nội suy xấp xỉ nút lưới. (Tức heuristic thành thực) Xét số chiều vecto đầu vào, ta thấy: Do tính chất phương pháp kNN. Việc chọn k thường khuyến nghị nên chọn k>n, sau thỏa mãn điều kiện k>n, “k hợp lý” nên đủ thấp để hồi quy cho sai số nhỏ. Vì vậy, số chiều n tăng, “k hợp lý” tăng theo. Mặt khác, k tăng việc khử nhiễu lại tốt. Vì vậy, với dải nhiễu, số chiều tăng việc khử nhiễu tốt, qua nâng cao tính hiệu phương pháp kNN-HDH Trong trình thí nghiệm đây, thử với hàm số nhiều biến, sai số sau chọn k thích hợp, lại gần với sai số áp dụng heuristic “ăn gian”, cụ thể kết sau: Ta thử nghiệm với hàm số • Error: Reference source not found • Error: Reference source not found • Error: Reference source not found • Error: Reference source not found • Error: Reference source not found Kết thực nghiệm sau: Hình 24: Bảng so sánh sai số phương pháp kNN-HDH dùng không dùng Heuristic, với số chiều tăng dần u1 (1 chiều) u2 (2 chiều) u3 (2 chiều) u4 (3 chiều) u5 (4 chiều) K=16 Heuristic K=6 Heuristic K=5 Heuristic K=6 Heuristic K=8 Heuristic 0.0065 0.0001 0.0232 0.0752 0.3333 0.6312 0.0807 0.1302 0.4576 0.8162 Tại ta thấy với số chiều tăng dần, sai số không dùng heuristic lúc tiến lại 50 lại gần sai số dùng heuristic, tức việc hồi quy kNN hiệu ta tăng số chiều mốc nội suy, nhận định trên. . 5.4 SO SÁNH HIỆU QUẢ VỚI PHƯƠNG PHÁP KHÁC Chương xin so sánh hiệu phương pháp kNN-HDH với phương pháp nội suy xấp xỉ hàm nhiều biến với liệu nhiễu tác giả Tomohiro Ando công bố tạp chí Journal of Statistical Planning and Inference năm 2008. [10] Tại báo này, tác giả dùng phương pháp GIC, NIC, MIC để thử với hàm số u2, u3 trên, miền giá trị Error: Reference source not found. Ta so sánh kết phương pháp kNN-HDH với phương pháp tốt tác già phương pháp GIC, trường hợp số mốc nội suy ban đầu m=100 m=200. Vì thời gian có hạn, cộng với việc thuật toán GIC cài đặt phức tạp nên khóa luận chưa cài đặt thuật toán GIC mà lấy liệu kết tác giả để so sánh với phương pháp kNN-HDH Hình 25: Bảng so sánh kết với phương pháp GIC m=100 GIC 0.38873 1.18925 kNN-HDH 0.1175 0.4599 GIC 0.14857 0.34603 kNN-HDH 0.0892 0.2846 m=200 Nhận xét: Với kết này, ta thấy phương pháp kNN-HDH cho sai số tốt phương pháp GIC, tác giả Tomohiro Ando thử với hàm biến, chưa thử với hàm nhiều biến vốn ưu điểm phương pháp kNN-HDH. 51 CHƯƠNG 6: TỔNG KẾT VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN Nội dung chương bao gồm: • Tổng kết • Phuơng hướng phát triển đề tài 6.1 Tổng kết Đến hoàn thành khóa luận tốt nghiệp với đề tài “Huấn luyện mạng nơron RBF với mốc cách ứng dụng” với mục đích mô phương pháp ứng dụng thuật toán HDH-1 vào việc xây dựng hệ thống nội suy xấp xỉ hàm nhiều biến với liệu nhiễu nghiên cứu thực nghiệm nhằm tìm đặc điểm, lý giải đưa cách hoàn thiện phương pháp này. Những công việc làm được: • Tìm hiểu kiến trúc mạng RBF, đặc điểm mạng RBF, từ hiểu phương pháp huấn luyện mạng RBF, thuật toán HDH-2 HDH-1. • Tìm hiểu nhiễu trắng phương pháp sinh nhiễu trắng • Tìm hiểu phương pháp hồi quy tuyến tính kNN • Hiểu ý tưởng phương pháp kNN-HDH lập trình mô thành công, phần mềm tiện cho nghiên cứu lẫn ứng dụng • Phát đặc điểm bản, quan trọng phương pháp kNN-HDH, đưa cải tiến lớn, cho thấy hiệu cao phương pháp này. Đó là: o Lưới liệu cần có số nút xấp xỉ với số mốc nội suy liệu ban đầu o K chọn với mục đích cân tính khử nhiễu tính hồi quy, cụ thể dựa tỷ lệ miền giá trị hàm số nhiễu trắng. o Khi thực nghiệm nên áp dụng phương pháp heuristic “ăn gian”, nhằm tách riêng bước hồi quy tuyến tính kNN thuật toán HDH-1. Như làm bật đặc điểm phương pháp o Khi số chiều lớn, hiệu tốt khử nhiễu tốt tối ưu sai số hồi quy. o Các kết thí nghiệm giải thích khớp với tảng lý thuyết. 52 6.2 Phương hướng phát triển đề tài Do phương pháp hoàn toàn mới, thời gian nghiên cứu lại có hạn nên số điều chưa sâu được. Đây điều dùng để làm phương hương phát triển cho đề tài. Đó là: • Cần thêm nhiều mô phương pháp khác để so sánh với phương pháp kNN-HDH để chứng minh ưu điểm nó, đặc biệt tốc độ huấn luyện trường hợp nhiều chiều. • Áp dụng phương pháp kNN-HDH vào ứng dụng cụ thể như: Xử lý ảnh, nhận dạng giọng nói …. 53 TÀI LIỆU THAM KHẢO [1] Hoang Xuan Huan, Dang Thi Thu Hien and Huu Tue Huynh, A Novel Efficient Algorithm for Training Interpolation Radial Basis Function Networks, Signal Processing 87,2708 – 2717, 2007. [2] Hoang Xuan Huan, Dang Thi Thu Hien and Huynh Huu Tue, An efficient algorithm for training interpolation RBF networks with equally spaced nodes, submitted to IEEE Transactions on Neural Networks [3] T.M. Mitchell, Machine learning, McGraw-Hill, 1997 [4] J. Shlens, A Tutorial on Principal Component Analysis, April 22, 2009 [5] D.S. Broomhead and D. Lowe. Multivariable functional interpolation and adaptive networks. Complex Systems, vol. 2, 321-355, 1988. [6] Đặng Thị Thu Hiền, Luận án tiến sỹ công nghệ thông tin, chuyên ngành Khoa học máy tính, mã số: 62.48.0101, Đại học Công nghệ, ĐHQG Hà Nội, 2009 [7] William M.K. Trochim, Measurement Error http://www.socialresearchmethods.net/kb/measerr.php [8] Wikipedia®, Normal distribution http://en.wikipedia.org/wiki/Normal_distribution [9] G.E.P Box and Mervin E. Muller, A Note on the Generation of Random Normal Deviates, Ann. Math. Statist. Volume 29, Number (1958), 610-611. [10] Tomohiro Ando, Sadanori Konishi and Seiya Imoto, Nonlinear regression modeling via regularized radial basis function network, Journal of Statical Planning and Inference, 2008, trang 16-18 54 [...]... xỉ hàm nhiều biến, mạng RBF - Chương 2: Thuật toán lặp HDH huấn luyện mạng nơron RBF Chương này sẽ mô tả phương pháp huấn luyện mạng RBF bằng thuật toán HDH hai pha với dữ liệu ngẫu nhiên và đặc biệt là thuật toán HDH một pha với dữ liệu cách đều làm nền tảng cho phương pháp mới Chương 3: Ứng dụng thuật toán lặp một pha huấn luyện mạng RBF vào việc giải quyết bài toán nội suy xấp xỉ với dữ liệu nhiễu... thời gian huấn luyện của pha một chiếm phần lớn Với trường hợp các mốc huấn luyện là mốc cách đều, thuật toán lặp hai pha có thể bỏ đi pha thứ nhất này, trở thành thuật toán một pha Thuật toán này huấn luyện trên các mốc cách đều thường áp dụng với các ứng dụng ở lĩnh vực đồ họa máy tính, nhận dạng mẫu, các bài toán kỹ thuật … và là cơ sở để giải quyết bài toán nội suy với bộ dữ liệu huấn luyện có nhiễu... nhân tạo và mạng nơron sinh học, đó là khả năng có thể huấn luyện hay khả năng học, đây chính là ưu điểm quan trọng nhất của mạng nơron nhân tạo, chính vì điều này mà mạng nơron nhân tạo có thể thực hiện tốt một công việc khác khi được huấn luyện và đến khi môi trường thay đổi mang nơron nhân tạo lại có thể được huấn luyện lại để thích nghi với điều kiện mới 17 1.2.1 Mạng nơron sinh học: Mạng Nơron sinh... tài là: Huấn luyện mạng nơron RBF với mốc cách đều và ứng dụng Nội dung của khóa luận sẽ đi sâu nghiên cứu những vấn đề sau: - Khảo cứu mạng nơron RBF - Khảo cứu nghiên cứu thuật toán lặp HDH một pha với bộ dữ liệu cách đều - Tìm hiểu nhiễu trắng phân phối chuẩn và cách xây dựng - Khảo cứu phương pháp hồi quy tuyến tính kNN Xây dựng phần mềm mô phỏng hệ thống nội suy hàm nhiều biến với dữ liệu có... nhiều biến và trong thực tế hiện nay, mạng nơron nhân tạo đã được ứng dụng rất nhiều trong các ứng dụng nội suy hàm nhiều biến như phân lớp, nhận dạng mẫu… Mạng nơron nhân tạo có nhiều loại, trong đó có mạng nơron RBF - sau này được gọi tắt là mạng RBF - được coi là một trong những loại nơron nhân tạo tốt nhất để giải quyết bài toán nội suy hàm nhiều biến Mạng RBF đã được chú trọng nghiên cứu và đã có... 1.3.3 Đặc điểm huấn luyện của mạng Nơron RBF Ưu điểm của mạng RBF là thời gian huấn luyện ngắn, việc thiết lập rất nhanh và đơn giản Ngày nay mạng Nơron RBF được sử dụng trong rất nhiều lĩnh vực: 24 • Xử lý ảnh • Nhận dạng tiếng nói • Xử lý tín hiệu số • Xác định mục tiêu cho Radar • Chuẩn đoán y học • Quá trình phát hiện lỗi • Nhận dạng mẫu • … CHƯƠNG 2: THUẬT TOÁN LẶP HDH HUẤN LUYỆN MẠNG RBF Nội dung... nhiều biến Mạng RBF đã được chú trọng nghiên cứu và đã có khá nhiều thuật toán huấn luyện mạng RBF được áp dụng nhiều trong các ứng dụng cho thấy kết quả rất khả quan Cùng với nhu cầu huấn luyện mạng RBF một nghiên cứu mới đây được thực hiện bởi Hoàng Xuân Huấn và các cộng sự (xem [1]) để xây dựng thuật toán huấn luyện nhanh mạng RBF đã cho ra đời một thuật toán lặp được đặt tên là là thuật toán HDH Kết... mốc cách đều, thuật toán lặp một pha HDH hứa hẹn có thể áp dụng nhiều vào các ứng dụng cụ thể, đòi hỏi thời gian huấn luyện nhanh trong các lĩnh vực như đồ họa máy tính, nhận dạng mẫu … Để tận dụng tối đa các ưu điểm và tăng phạm vi áp dụng, Hoàng Xuân Huấn đã đưa ra ý tưởng để ứng dụng thuật toán HDH-1 trong việc quyết bài toán nội suy hàm nhiều biến có nhiễu trắng, và các mốc nội suy không cách đều. .. liệu ban đầu với các mốc nội suy không cách đều và giá trị đo được tại mỗi mốc bị nhiễu trắng, bằng phương pháp hồi quy, ta tạo ra một bộ dữ liệu mới với các mốc nội suy là các nút cách đều trên 1 lưới dữ liệu xác định trước trong miền giá trị của các mốc nội suy ban đầu Giá trị đo được tại mỗi mốc cách đều mới đã được khử nhiễu Bước 2: Sau khi có bộ dữ liệu mới gồm các mốc nội suy cách đều và giá trị... được giải quyết rất nhanh và hiệu quả 1.3.2 Kiến trúc mạng Nơron RBF Mạng RBF là một loại mạng Nơron nhân tạo truyền thẳng gồm có ba lớp Nó bao gồm n nút của lớp đầu vào cho vector đầu vào x ∈ R n , N nơron ẩn (giá trị của Nơron ẩn thứ k chính là giá trị trả về của hàm cơ sở bán kính xi wi w0 OUTPUT w0 INPUT X ϕk ϕ k ) và m Nơron đầu ra Y HIDDEN Hình 11: Kiến trúc của mạng RBF Dĩ nhiên, như đã nói ở