Mạng nơron RBF và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Hoàng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ HÀ NỘI – 2006 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ Hồng Tiến Dũng MẠNG NƠRON RBF VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Hoàng Xuân Huấn HÀ NỘI – 2006 Trang - - MỤC LỤC LỜI CẢM ƠN MỤC LỤC MỞ ĐẦU CHƢƠNG 1: 1.1 1.2 Giới thiệu chung Bài toán nội suy v 1.2.1 1.2.2 1.2.3 2.1 2.2 2.3 Giới thiệu chung Mạng nơron tự n Mạng nơron nhâ 2.3.1 2.3.2 2.3.3 2.3.4 2.4 Luật học mạn 2.4.1 2.4.2 2.4.3 CHƢƠNG 2: 2.4.4 2.5 Luật học Percept 2.5.1 2.5.2 2.5.3 2.5.4 2.6 Mạng ADALINE 2.6.1 2.6.2 2.6.3 Trang - - 2.6.4 2.6.5 2.6.6 2.7 Mạng Perceptron 2.7.1 2.7.2 CHƢƠNG 3: 3.1 Giới thiệu 3.2 Mạng nội suy RB 3.2.1 3.2.2 3.3 Phƣơng pháp Tr 3.3.1 3.3.2 3.4 Phƣơng pháp Lặ 3.4.1 3.4.2 3.4.3 3.5 Ứng dụng mạng R CHƢƠNG 4: 4.1 Giới thiệu chƣơn 4.1.1 4.1.2 4.2 Sử dụng chƣơng 4.2.1 4.2.2 4.2.3 4.2.4 4.2.5 CHƢƠNG 5: 5.1 Phát biểu toá 5.1.1 5.1.2 Trang - - 5.2 Một vài phƣơng pháp áp dụng 60 5.2.1 Phương pháp địa phương 60 5.2.2 Mạng MLP 61 5.2.3 Dùng RBF phương pháp lặp 61 5.3 Ứng dụng chƣơng trình máy tính 61 5.3.1 Cấu trúc file liệu quan trắc 61 5.3.2 Đọc liệu vào 62 5.3.3 Huấn luyện mạng RBF với file số liệu quan trắc 63 5.3.4 Nội suy với liệu nằm mốc lưới 64 5.4 Nhận xét ứng dụng mạng nội suy RBF 67 KẾT LUẬN 69 Các kết đạt đƣợc 69 Hƣớng nghiên cứu 69 TÀI LIỆU THAM KHẢO 71 PHỤ LỤC 73 Môi trƣờng viết chƣơng trình 73 Giới thiệu số thủ tục chƣơng trình 74 Trang - - MỞ ĐẦU Sự phát triển mạnh mẽ công nghệ thông tin thời gian qua nhanh chóng đƣa hệ thống thơng tin kỹ thuật số thay hệ thống thông tin văn cổ truyền Khi xử lý thông tin số, đặc biệt giải toán kỹ thuật, ta thƣờng gặp toán nội suy xấp xỉ hàm Mặc dù toán đƣợc nghiên cứu kỹ giải trọn vẹn từ lâu cho hàm biến, đến hàm nhiều biến nhiều vấn đề mở thu hút nhiều nhà nghiên cứu Hiện nay, phƣơng pháp địa phƣơng mạng nơron hai cách tiếp cận thông dụng để nội suy xấp xỉ hàm nhiều biến việc ƣớc lƣợng sai số chƣa đƣợc giải trọn vẹn Trong cách tiếp cận địa phƣơng, phƣơng pháp k-láng giềng gần hồi quy địa phƣơng có thời gian tính giá trị hàm biến nhanh nhƣng chúng không dùng hết thông tin với điểm khác thơng tin biết điểm khác khó đƣợc sử dụng lại nên cần phải tính giá trị hàm nhiều điểm tốn thời gian khơng tiện dùng Mạng MLP (Multilayer Perceptron) công cụ mạnh nhƣng thời gian huấn luyện lâu nên khơng thích hợp cho hệ thống thời gian thực Một hệ thống thời gian thực đƣợc hiểu nhƣ mơ hình xử lý mà tính đắn hệ thống khơng phụ thuộc vào kết tính tốn mà phụ thuộc vào thời gian đƣa kết Bài toán thời gian thực hầu nhƣ xuất lĩnh vực Trong kinh doanh, doanh nghiệp ln cần có thơng tin “thời gian thực” từ thị trƣờng, từ đối tác bạn hàng, qua đƣa sách hợp lý Trong kiểm sốt giao thơng, việc xác định “thời gian thực” mật độ lƣu lƣợng giao thông giúp cho đơn vị sử dụng điều khiển, phân luồng giao thông cách hợp lý Trong truyền thơng, việc trì kết nối “thời gian thực” giúp cho việc tƣơng tác hệ thống khác đƣợc vận hành đồng thực mục đích Trong điều khiển tự động, việc có đƣợc thơng tin “thời gian thực” hoạt động thiết bị cho phép theo dõi vận hành thiết bị cách hợp lý hiệu Có thể kể nhiều yêu cầu thực tế khác đòi hỏi hệ thống phải đảm bảo yếu tố “thời gian thực” So với mạng MLP, mạng RBF có thời gian huấn luyện nhanh hơn, đặc biệt thuật toán huấn luyện lặp đƣợc đề xuất [2, 3] nên thích hợp với nhiều Trang - - tốn địi hỏi thời gian xấp xỉ hàm ngắn nói chung tốn “thời gian thực” nói riêng Luận văn trình bày nội dung sau:  Khảo cứu mạng nơron RBF để nội suy, xấp xỉ hàm số mà chủ yếu tập trung vào mạng nội suy thuật toán huấn luyện  Xây dựng phần mềm huấn luyện lặp mạng RBF làm công cụ học tập nghiên cứu  Xây dựng phần mềm tính giá trị gần hàm nội suy lƣới dựa tập giá trị quan trắc cho trƣớc dùng toán khí tƣợng Phần trọng tâm đề tài xây dựng phần mềm cho phép thực nghiệm nội suy mạng nơron RBF bƣớc đầu thực nghiệm vào tốn khí tƣợng Ngồi phần kết luận, chƣơng đề tài đƣợc trình bày nhƣ sau:  CHƢƠNG 1: BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM Trình bày tóm tắt điểm toán nội suy bao gồm nội suy hàm biến nội suy hàm nhiều biến  CHƢƠNG 2: GIỚI THIỆU MẠNG NƠRON Giới thiệu ngắn gọn mạng nơron bao gồm kiến trúc luật học Perceptron đơn, mạng ADALINE mạng MLP  CHƢƠNG 3: MẠNG NƠRON NỘI SUY RBF Trình bày khảo cứu mạng RBF số ứng dụng Nội dung Phương pháp Lặp huấn luyện mạng RBF  CHƢƠNG 4: GIỚI THIỆU CHƢƠNG TRÌNH MÁY TÍNH Giới thiệu chương trình máy tính thực nghiệm tốn nội suy mạng RBF huấn luyện phương pháp lặp trình bày chương  CHƢƠNG 5: BÀI TOÁN XẤP XỈ HÀM TRONG KHÍ TƢỢNG THỦY VĂN Giới thiệu tốn thực tế khí tượng thuỷ văn địi hỏi áp dụng xấp xỉ hàm nhiều biến Bài toán đặt dựa công tác nghiên Trang - - cứu, hoạt động Khoa Khí tượng Thủy văn Hải dương học – Đại học KHTN – Đại học Quốc gia Hà Nội Đồng thời giới thiệu ứng dụng chương trình máy tính xây dựng để nội suy giá trị theo mốc quan trắc Trang - - CHƢƠNG 1: BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM 1.1 Giới thiệu chung Nội suy xấp xỉ hàm số toán đƣợc nhà khoa học nghiên cứu từ sớm Lý thuyết nội suy hàm số ứng dụng nhiều lĩnh vực khoa học nhƣ lĩnh vực sống Bài toán nội suy vấn đề thúc đẩy nhà khoa học ngành Khoa học máy tính phát triển mạng nơron để giải toán Chƣơng trình bày vấn đề liên quan đến toán nội suy xấp xỉ hàm Bài tốn xấp xỉ hàm đƣợc trình bày rõ Chƣơng (Bài tốn xấp xỉ hàm Khí tƣợng thủy văn) Chƣơng giới thiệu phƣơng pháp nội suy k-lân cận gần nhất, phƣơng pháp nội suy đơn giản đƣợc nhiều ngƣời ƣa dùng Mặc dù lý thuyết phƣơng pháp nội suy hàm biến đƣợc nghiên cứu đầy đủ nhƣng điều hạn chế để áp dụng thực tế hàm hay gặp thực tế thƣờng hàm nhiều biến 1.2 Bài toán nội suy xấp xỉ hàm nhiều biến n Giả sử D miền giới nội R f hàm liên tục xác định N i i D Ngƣời ta xác định đƣợc N điểm x ,x ….x D: f(x ) = y với i=1,2…,N cần tính giá trị f(x) điểm x khác D 1.2.1 Bài toán nội suy hàm nhiều biến Để tính f(x), ta cần hàm (x) xác định D có dạng đơn giản dễ tính i i i giá trị cho  (x )=y điểm x biết xấp xỉ f(x)  (x) Khi i điểm x đƣợc gọi mốc nội suy hàm  đƣợc gọi hàm nội suy đƣợc chọn dƣới dạng đơn giản, dễ tính giá trị miền D 1.2.2 Phƣơng pháp k-lân_cận_gần_nhất Đây phƣơng pháp nội suy đơn giản đƣợc nhiều ngƣời ƣa dùng Chọn trƣớc số tự nhiên k, với x  D , ta xác định giá trị (x) qua giá trị f k mốc nội suy gần Trang - - Ký hiệu z1,…,zk k mốc nội suy gần x d(u,v) khoảng cách hai điểm u,v D, (x) xác định nhƣ sau:  (x)   j f (z j )k j 1 Trong i đƣợc xác định bởi: i j 1 Dễ thấy x dần tới mốc nội suy (x) xác định nhƣ dần tới giá trị f mốc nội suy tƣơng ứng Tuy sai số phƣơng pháp không đánh giá chặt chẽ đƣợc nhƣng đƣợc ƣa dùng thực nghiệm Ta nhận xét phƣơng pháp k-lân_cận_gần_nhất có ƣu điểm cách tính toán đơn giản dễ thực hiện, nhiên thực tế việc xác định giá trị k phù hợp vấn đề khó (phụ thuộc nhiều vào kinh nghiệm đánh giá toán thực tế), đồng thời cần xác định giá trị điểm, phƣơng pháp lại tìm tất giá trị biết để tìm đƣợc mốc gần nhất, điều địi hỏi chi phí tính tốn nhiều Ta xem xét ví dụ: Bài tốn phân loại văn bản: Cho môṭsốlớp văn đƣợc xác định trƣớc chủ đề, nhiêṃ vu c ̣ phân loaịvăn là: gán văn vào môṭ (hay môṭ số) lớp văn thich́ hơp ̣ dựa vào nội dung văn Cách thực hiện: Khi cần phân loại văn mới, phƣơng pháp tìm tập văn xác định đƣợc chủ đề để tìm k văn gần với văn cần phân loại (k số thuật toán k-lân_cận_gần_nhất văn đƣợc đánh giá gần dựa tiêu chí đó, ví dụ mức độ tƣơng tự nội dung) Dùng khoảng cách k điểm thu đƣợc để đánh trọng số cho chủ đề văn Nhƣ vậy, trọng số chủ đề tổng tất khoảng cách văn k-lân_cận_gần_nhất thu đƣợc dễ thấy chủ đề không xuất k-lân_cận_gần_nhất có tổng trọng số Sau đó, Trang - 68 - Sau thực nội suy giá trị theo file liệu điểm nút lƣới đầu vào (12 822 điểm) mạng nội suy RBF đƣợc huấn luyện theo Phƣơng pháp lặp, số kết luận sau đƣợc rút ra:  Nội suy hàm số mạng RBF sử dụng phƣơng pháp lặp hội tụ nhanh so với phƣơng pháp áp dụng  Tốc độ hội tụ trình huấn luyện mạng nhƣ độ sai số mạng điểu chỉnh đƣợc cách dễ dàng thông qua việc điều chỉnh tham số q sai số  Trang - 69 - KẾT LUẬN Các kết đạt đƣợc Mạng nơron RBF mạng truyền tới tầng (2 tầng nơron), công cụ hữu hiệu để nội suy xấp xỉ hàm nhiều biến đƣợc ứng dụng rộng rãi Mặc dù thời gian huấn luyện chúng ngắn so với mạng MLP nhƣng thuật toán thời xác định trọng số tầng phƣơng pháp cực tiểu sai số bình phƣơng giải trực tiếp hệ phƣơng trình tuyến tính Khi số mốc nội suy lớn phƣơng pháp chậm sai số lớn Đề tài tổng hợp lý thuyết sở “Bài toán Nội suy Xấp xỉ hàm nhiều biến” “Mạng nơron ứng dụng”, tập trung chủ yếu vào mạng nội suy RBF Đề tài tổng hợp đề xuất “Thuật toán pha để huấn luyện mạng nội suy RBF với hàm sở bán kính dạng Gauss” [2] Phần chính, quan trọng đề tài Xây dựng chƣơng trình máy tính để thực nghiệm với mạng nơron RBF ứng dụng đề xuất vào “Bài toán Xấp xỉ hàm Bài tốn Khí tƣợng” Đây tốn thực tế (nhƣ trình bày Chƣơng 5), mạng nội suy RBF với thuật tốn đề xuất có khả ứng dụng hiệu Bài toán nêu Bài toán đƣợc đặt với hƣớng dẫn, giúp đỡ, dựa vào công tác Nghiên cứu Hoạt động lĩnh vực Khí tƣợng Thủy văn Hải dƣơng học Thầy Phan Văn Tân – Đại học Khoa học Tự nhiên – Đại học Quốc gia Hà Nội Để kiểm tra đặc điểm ƣu việt Mạng nội suy RBF với thuật tốn đề xuất, tơi xây dựng chƣơng trình máy tính có khả tiếp nhận mốc liệu quan trắc ngẫu nhiên (thu đƣợc từ kết xuất trực tiếp thiết bị đo nối với computer) nội suy để đƣa đƣợc kết mốc cần biết khác khơng có liệu quan trắc Hƣớng nghiên cứu Bài toán nội suy xấp xỉ hàm ln tốn thực tế, tốn nội suy xấp xỉ hàm xuất hầu hết lĩnh vực Trang - 70 - Hƣớng nghiên cứu đề tài ứng dụng mạng nội suy RBF sâu tốn Khí tƣợng (đặt trên), tiến tới thiết lập module RBF nội suy tích hợp vào hệ thống dự báo có thành hệ thống thống Đề tài mong muốn mở rộng phạm vi ứng dụng mạng RBF vào lĩnh vực cụ thể khác nhƣ: Bài toán nhận dạng biển số xe phƣơng tiện giao thông thông qua camera quan sát; Lọc, bóc tách nhiễu khỏi hệ thống truyền thông (mạng điện thoại, mạng IP, …) Trang - 71 - TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Hồng Xn Huấn Giáo trình phương pháp tính 2003, tr 19-41 [2] Hồng Xn Huấn Đặng Thị Thu Hiền Thuật toán lặp huấn luyện mạng nội suy RBF, Kỷ yếu hội thảo quốc gia số vấn đề chọn lọc CNTT, Hải Phòng tháng 08 năm 2005, tr 314-323 [3] Hoàng Xuân Huấn Đặng Thị Thu Hiền Mạng RBF nội suy địa phương , báo cáo Hội thảo Quốc gia số vấn đề chọn lọc CNTT, Đà Lạt tháng 06 năm 2006 [4] Hồng Xn Huấn Bài giảng mơn Mạng nơron ứng dụng, Trƣờng Đại học Công nghệ, Đại học Quốc gia Hà Nội Tài liệu Tiếng Anh [5] Blazieri Theorical interpretations and applications of radial basis function networks, University of Toronto, Technical report # DIT-03-023, May 2003 [6] R.Beale and T.Jackson, Adam Hilger Neural Computing: An Introduction, (Bristol, Philadelphia and New York) [7] D.S Broomhead and D Low Multivariable functional interpolation and adaptive networks Complex Systems, vol 2, 321-355,1988 [8] L Collatz Functional analysis and numerical mathematics, Academic press New York and London,1966 [9] Martin T Hagan, Howard B Demuth, Mark H Beale Neural Network Design PWS Pub Co, 1996 [10] E.J Hartman, J.D Keeler and J.M Kowalski Layered neural networks with Gaussian hidden units as universal approximations, Neural Comput., vol 2,no 2, 210-215, 1990 [11] S Haykin Neural Networks: A Comprehensive Foundation (second edition), Prentice Hall International, Inc., 1998 [12] C.G Looney Pattern recognition using nơron networks : Theory and algorithm for engineers and scientist, Oxford university press,1997 [13] C.Michelli Interpolation of scatered data: Distance matrices and coditionally positive definite functions, Constructive approximations, vol 2, pp 11-22, 1986 [14] 1997) Tom M.Mitchel, Mc.Graw-Hill Machine Learning, (March 1, Trang - 72 - [15] J.Park and I.W Sandberg Approximation and radial-basis-function networks, Neural Comput., vol 5,no 3, 305-316, 1993 [16] T Poggio and F Girosi Networks for approximating and learning, Proc IEEE, vol.78, 1481-1497, 1990 [17] M.J.D.Powell Radial basis function approximations to polynomials, Numerical analysis 1987 Proceeding, pp223-241, Dundee, UK, 1988 [18] F Schwenker H.A Kesler, Günther Palm Three learning phases for radialbasis-function networks, Neural networks, Vol.14, pp 439-458, 2001 Trang - 73 - PHỤ LỤC Môi trƣờng viết chƣơng trình Chƣơng trình máy tính đƣợc viết ngơn ngữ lập trình C ++ Đƣợc phát triển dựa cơng cụ lập trình IDE Microsoft Visual C++ 6.0 tảng MFC 6.0 Đặc trƣng biên dịch xây dựng hệ thống, tính tiền biên dịch tập tin đầu đề (header files) liên kết tịnh tiến (incremental link) - liên kết phần bị thay đổi trình xây dựng phần mềm mà không làm lại từ đầu Những đặc trƣng tính thuyên giảm tổng thời gian biên tập, biên dịch liên kết chƣơng trình phần mềm, đặc biệt đề án phần mềm lớn, đồng thời giúp cho chƣơng trình máy tính thực với thời gian tối ƣu nguồn tài nguyên máy tính Các phiên Visual C++:  Visual C++ 1.0, có MFC 2.0, phiên Visual C++, đời năm 1992, hỗ trợ 16-bit 32-bit, phiên tiếp sau C/C++ 7.0  Visual C++ 1.5, có MFC 2.5, hỗ trợ thêm OLE 2.0 ODBC cho MFC Nó nguyên phiên dùng 16-bit phiên Visual C++ đƣợc in ấn CD-ROM Phiên quan trọng nhƣ phiên trƣớc với hỗ trợ cho việc xây dựng phần mềm 16-bit  Visual C++ 2.0, có MFC 3.0, phiên dành riêng cho 32-bit, vào thời điểm có Visual C++ 1.51 (một cập nhật Visual C++ 1.5) đờ1 Các phiên cập nhật cho phiên gồm có: Visual C++ 2.1, đời lúc với Visual C++ 1.52, cập nhật khác cho Visual C++ 1.5, 2.2  Visual C++ 4.0, hỗ trợ MFC 4.0, đƣợc thiết kế cho Windows 95, nhƣ Windows NT Phiên cập nhật cho gồm có Visual C++ 4.1 Visual C++ 4.2, khơng hỗ trợ Win32s  Visual C++ 5.0, hỗ trợ MFC 4.21, cập nhật từ 4.2 Trang - 74 -  Visual C++ 6.0, MFC 6.0, đời 1998, đƣợc sử dụng rộng rãi cho project lớn nhỏ Ngôn ngữ Visual C++ 6.0 đƣợc chọn cho chƣơng trình máy tính đề tài tính ƣu việt thân ngơn ngữ việc viết chƣơng trình thuật tốn, chƣơng trình hệ thống, chƣơng trình điều khiển, Giới thiệu số thủ tục chƣơng trình //Hàm nhân ma trận M1 M2 kết trả M3 void Nhan_2_MaTran(double** M1,double* M2,double* M3,int N) { double* temp; int i; temp= new double[N]; for(i=0;i