1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Xuân Minh Hoàng HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành Công nghệ thông tin HÀ NỘI[.]
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Xuân Minh Hoàng HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin HÀ NỘI - 2010 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lê Xuân Minh Hoàng HUẤN LUYỆN MẠNG NƠRON RBF VỚI MỐC CÁCH ĐỀU VÀ ỨNG DỤNG KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hướng dẫn: PGS.TS Hoàng Xuân Huấn HÀ NỘI – 2010 LỜI CẢM ƠN Tôi muốn bày tỏ cảm ơn sâu sắc tới thầy Hồng Xn Huấn, thuộc mơn Khoa học máy tính, khoa Cơng nghệ thơng tin, trường Đại học Công nghệ, ĐHQGHN nhận hướng dẫn tin tưởng để giao cho đề tài thú vị Trong thời gian thực khóa luận, thầy kiên nhẫn, nhiệt tình hướng dẫn giúp đỡ tơi nhiều Chính hiểu biết sâu rộng kinh nghiệm nghiên cứu khoa học thầy hiều lần định hướng giúp tránh khỏi sai lầm giúp vượt qua gặp bế tắc thực khóa luận Tơi muốn bày tỏ cảm ơn tới các thầy, môn, thầy, cô khoa, trường tạo điều kiện giúp đỡ để thực hồn thành khóa luận Nếu khơng có kiến thức đào tạo năm vừa qua, tơi khơng thể hồn thành khóa luận TĨM TẮT NỘI DUNG Mặc dù nghiên cứu từ lâu, đến toán nội suy xấp xỉ hàm nhiều biến cịn có cơng cụ tốn học để giải Mạng Nơron nhân tạo phương pháp hay để giải toán nội suy, xấp xỉ hàm nhiều biến Năm 1987 M.J.D Powell đưa cách tiếp cận để giải toán nội suy hàm nhiều biến sử dụng kỹ thuật hàm sở bán kính (Radial Basis Function RBF), năm 1988 D.S Bromhead D Lowe đề xuất kiến trúc mạng Nơron RBF trở công cụ hữu hiệu để giải toán nội suy xấp xỉ hàm nhiều biến(xem [11]) Năm 2006 Hoàng Xuân Huấn cộng (xem [1]) đưa thuật toán lặp hai pha để huấn luyện mạng nơron RBF cho kết tốt nhiên nhược điểm sai số lớn liệu phân bố không Khi áp dụng phương pháp liệu cách cho ta thuật toán lặp pha HDH với thời gian tính tổng quát tốt nhiều (xem [2]) Nội dung khóa luận ứng dụng thuật toán huấn luyện mạng nơron RBF với mốc cách để đưa phương pháp nội suy xấp xỉ hàm nhiều biến với liệu có nhiễu trắng chứng minh hiệu thông qua việc xây dựng phần mềm nội suy hàm số MỤC LỤC MỞ ĐẦU CHƯƠNG BÀI TOÁN NỘI SUY, XẤP XỈ HÀM SỐ VÀ MẠNG NƠRON RBF 13 1.1 BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM SỐ 13 1.1.1 Bài toán nội suy 13 1.1.1.1 Nội suy hàm biến 13 1.1.1.2 Bài toán nội suy hàm nhiều biến 14 1.1.2 Bài toán xấp xỉ 14 1.1.3 Các phương pháp giải toán nội suy xấp xỉ hàm số 14 1.2 MẠNG NƠRON NHÂN TẠO 15 1.2.1 Mạng nơron sinh học : 15 1.2.2 Mạng Nơron nhân tạo 16 1.3 MẠNG NƠRON RBF 20 1.3.1 Kỹ thuật hàm sở bán kính mạng nơron RBF 20 1.3.2 Kiến trúc mạng Nơron RBF 22 1.3.3 Đặc điểm huấn luyện mạng Nơron RBF 23 CHƯƠNG THUẬT TOÁN LẶP HDH HUẤN LUYỆN MẠNG RBF 24 2.1 THUẬT TOÁN LẶP HDH HAI PHA HUẤN LUYỆN MẠNG RBF 24 2.1.1 Phương pháp lặp đơn giải hệ phương trình tuyến tính 24 2.1.2 Thuật toán lặp hai pha huấn luyện mạng RBF 24 2.1.3 Mô tả thuật toán 25 2.1.4 Nhận xét 26 2.2 THUẬT TOÁN LẶP HDH MỘT PHA HUẤN LUYỆN MẠNG RBF VỚI BỘ DỮ LIỆU CÁCH ĐỀU 27 2.2.1 Biểu diễn mốc nội suy 27 2.2.2 Mơ tả thuật tốn : 27 2.2.3 Nhận xét 28 CHƯƠNG : ỨNG DỤNG THUẬT TOÁN LẶP MỘT PHA HUẤN LUYỆN MẠNG RBF VÀO VIỆC GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ LIỆU NHIỄU TRẮNG 29 3.1 NHIỄU TRẮNG VÀ BÀI TOÁN XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU 29 3.1.1 Bản chất nhiễu trắng 29 3.1.2 Phân phối chuẩn 30 3.1.3 Bài toán nội suy xấp xỉ hàm với liệu nhiễu trắng 31 3.2 PHƯƠNG PHÁP HỒI QUY TUYẾN TÍNH K HÀNG XĨM GẦN NHẤT 32 3.2.1 Phát biểu toán hồi quy 32 3.2.2 Mô tả phương pháp kNN 32 3.3 Ý TƯỞNG VÀ PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN NỘI SUY XẤP XỈ VỚI DỮ NHIỆU NHIỄU 33 CHƯƠNG XÂY DỰNG PHẦN MỀM MÔ PHỎNG 35 4.1 LẬP TRÌNH SINH NHIỄU TRẮNG THEO PHÂN PHỔI CHUẨN 35 4.1.1 Phương pháp Box-Muller 35 4.1.2 Sinh nhiễu trắng từ hàm rand() C++ 36 4.2 LẬP TRÌNH GIẢI HỆ PHƯƠNG TRÌNH CỦA BÀI TỐN HỒI QUY TUYẾN TÍNH KNN 36 4.3 GIỚI THIỆU PHẦN MỀM XẤP XỈ NỘI SUY VỚI DỮ LIỆU NHIỄU 37 4.3.1 Tổng quan phần mềm 37 4.3.2 Tổ chức liệu 38 4.3.3 Giao diện chức 39 4.3.3.1 Tab “Nhập liệu theo file” 39 4.3.3.2 Tab “Tự nhập” 41 CHƯƠNG KẾT QUẢ THÍ NGHIỆM 43 5.1 THÍ NGHIỆM VỀ VIỆC THAY ĐỔI KÍCH THƯỚC LƯỚI 43 5.2 THÍ NGHIỆM VỀ VIỆC CHỌN K 47 5.3 THÍ NGHIỆM KHI TĂNG SỐ CHIỀU 49 5.4 SO SÁNH HIỆU QUẢ VỚI PHƯƠNG PHÁP KHÁC 50 CHƯƠNG TỔNG KẾT VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN 52 6.1 Tổng kết 52 6.2 Phương hướng phát triển đề tài 53 TÀI LIỆU THAM KHẢO 54 BẢNG DANH MỤC CÁC HÌNH MINH HỌA Hình : Minh họa tốn nội suy hàm biến 13 Hình 2: Minh họa Neuron thần kinh sinh học 16 Hình 3: Cấu tạo Nơron nhân tạo 17 Hình 4: Đồ thị hàm ngưỡng 18 Hình 5: Đồ thị hàm tuyến tính 18 Hình 6: Đồ thị hàm sigmoid 18 Hình 7: Đồ thị hàm tank 19 Hình 8: Đồ thị hàm Gauss 19 Hình 9: Kiến trúc mạng Nơron truyền tới 20 Hình 10: Minh họa ảnh hưởng hàm bán kính 22 Hình 11: Kiến trúc mạng RBF 23 Hình 12: Thuật tốn HDH huấn luyện mạng RBF 26 Hình 13 Dữ liệu có nhiễu trắng hàm số chuẩn 30 Hình 14 Hàm mật độ xác suất phân phối chuẩn với phương sai kỳ vọng khác 31 Hình 15 Thể lưới cách sở miền giá trị mốc ban đầu 34 Hình 16 Giao diện nhập liệu theo file 40 Hình 17 Giao diện nhập liệu thủ công 41 Hình 18 Sai số chọn kích cỡ khác lưới liệu cho liệu 100 mốc ngẫu nhiên, không áp dụng heuristic “ăn gian” 44 Hình 19 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, không áp dụng heuristic “ăn gian” 45 Hình 20 Sai số áp dụng kích cỡ khác lưới liệu cho liệu ngẫu nhiên 100 mốc, có heuristic “ăn gian” 45 Hình 21 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, có áp dụng heuristic “ăn gian” 46 Hình 22 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y1 với cách chọn k khác 47 Hình 23 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y2 với cách chọn k khác 48 Hình 24 : Bảng so sánh sai số phương pháp kNN-HDH dùng không dùng Heuristic, với số chiều tăng dần 50 Hình 25: Bảng so sánh kết với phương pháp GIC 50 MỞ ĐẦU Nội suy xấp xỉ hàm số toán quen thuộc quan trọng lĩnh vực khoa học đời sống từ xưa đến Trường hợp hàm số biến nhà toán học Lagrange nghiên cứu giải tốt việc dùng hàm nội suy đa thức từ kỷ 18 Trường hợp hàm nhiều biến khó khăn xử lý tốn học tính ứng dụng trước chưa nhiều nên công cụ giải tốn hàm nhiều biến cịn hạn chế Ngày nay, với phát triển mạnh mẽ máy vi tính mà tốn nội suy xấp xỉ hàm nhiền biến trở thành vấn đề thời tính ứng dụng lớn để giải vấn đề thực tiễn phân lớp, nhận dạng mẫu Mạng nơron nhân tạo biết đến giải pháp tốt cho vấn đề Ban đầu, khái niệm “Nơron nhân tạo” biết đến lần đầu vào khoảng đầu kỷ 20 nỗ lực người nhằm chế tạo máy có khả suy nghĩ học hỏi lồi người việc mô mạng nơron sinh học não Trải qua nhiều năm phát triển nghiên cứu, sở lý thuyết thực nghiệm mạng nơron nhân tạo có nhiều bước tiến đáng kể Trong khoảng 30 năm trở lại đây, với việc có thêm khả tính tốn mạnh mẽ từ máy vi tính mà mạng nơron nhân tạo coi cơng cụ giải tốt toán nội suy hàm nhiều biến thực tế nay, mạng nơron nhân tạo ứng dụng nhiều ứng dụng nội suy hàm nhiều biến phân lớp, nhận dạng mẫu … Mạng nơron nhân tạo có nhiều loại, có mạng nơron RBF - sau gọi tắt mạng RBF - coi loại nơron nhân tạo tốt để giải toán nội suy hàm nhiều biến Mạng RBF trọng nghiên cứu có nhiều thuật toán huấn luyện mạng RBF áp dụng nhiều ứng dụng cho thấy kết khả quan Cùng với nhu cầu huấn luyện mạng RBF nghiên cứu thực Hoàng Xuân Huấn cộng (xem [1]) để xây dựng thuật toán huấn luyện nhanh mạng RBF cho đời thuật toán lặp đặt tên là thuật toán HDH Kết thực nghiệm cho thấy thuật toán lặp HDH gồm có hai pha, nội suy hàm nhiều biến cho sai số tốc độ tính tốn tốt so với thuật toán hành khác Đặc biệt huấn luyện liệu cách thuật tốn cần dùng pha giảm tiếp phần lớn thời gian tính tốn (xem [2]) Ngoài ứng dụng thực tế với tốn nội suy người ta cịn lên vấn đề quan trọng khác, các yếu tố khách quan, bất khả kháng mà nảy sinh sai số kết đo mốc nội suy Việc tiến hành xây dựng hệ thống nội suy xấp xỉ dựa liệu sai lệch làm cho hiệu bị thấp Đây toán đặt từ lâu thu hút nhiều nghiên cứu, cải tiến tận Nhiều nghiên cứu tiến hành để vừa nội suy xấp xỉ tốt vừa khử nhiễu, phương pháp biết đến phương pháp hồi quy tuyến tính k hàng xóm gần nhất, (từ xin gọi tắt phương pháp kNN ) việc xây dựng hàm tuyến tính bậc để cực tiểu hóa sai số k điểm gần so với điểm cần tìm giá trị nội suy Nhược điểm phương pháp tính giá trị hồi quy điểm định trước, với điểm cần tính tốn lại phải hồi quy lại từ đầu, xây dựng nên hệ thống cho phép đưa kết nội suy hàm số điểm tùy ý Với toán nội suy xấp xỉ liệu nhiễu này, Hoàng Xuấn Huấn nảy ý tưởng ứng dụng thuật toán lặp HDH pha để giải quyết, cụ thể miền giá trị mốc nội suy ban đầu, ta xây dựng nên mốc nội suy cách (từ xin gọi lưới nội suy cho gọn), sau dùng phương pháp hồi quy tuyến tính kNN để tính giá trị nút lưới nội suy mới, cuối dùng thuật toán lặp HDH pha để huấn luyện mạng nơron RBF liệu cách này, ta mạng nơron RBF vừa khử nhiễu vừa nội suy xấp xỉ tốt Phương pháp kết hợp ưu điểm khử nhiễu phương pháp kNN với ưu điểm tốc độ tính tổng qt thuật tốn lặp HDH pha đồng thời loại bỏ tính bất tiện phương pháp kNN nêu hạn chế thuật toán HDH pha liệu đầu vào phải có mốc nội suy cách Từ ý tưởng ban đầu đến thực tế, với vô số câu hỏi cần lời đáp, chia lưới cách đủ ? Nếu thưa sai số có q lớn khơng ? Nếu q dày liệu thời gian huấn luyện có đạt u cầu khơng ? Các yếu tố ảnh hưởng đến hiệu huấn luyện để từ điều chỉnh làm tăng chất lượng mạng ? … đề tài thú vị để tìm hiểu Dưới giúp đỡ, bảo tận tình thầy Hồng Xn Huấn, tơi tiến hành thực khóa luận tốt nghiệp, nội dung nghiên cứu thực nghiệm để cụ thể hóa kiểm chứng hiệu phương pháp này, lấy tên đề tài : “Huấn luyện mạng nơron RBF với mốc cách ứng dụng” Nội dung khóa luận sâu nghiên cứu vấn đề sau : 10 Hình 16 Giao diện nhập liệu theo file Giao diện đơn giản, TextBox,Combo Box để nhập tham số huấn luyện thuât toán kNN-HDH hình trên, phần nhập liệu gồm có button, button để chọn file input, output ghi nhãn, button “Start” để bắt đầu việc huấn luyện File input file txt gồm số thực xếp theo quy ước : Dòng n – số chiều mốc nội suy Dòng thứ hai m – số mốc nội suy Dòng thứ i+2, ( ) có (n+1) số thực tương ứng với số (tại dòng thứ i+2) để thể mốc nội suy n chiều giá trị đo mốc File output file txt bao gồm liệu mô tả mạng RBF sau huấn luyện, xếp sau: Dòng thứ Các dòng tiếp theo, dòng dùng để mơ tả hàm bán kính Cụ thể với o Dòng 3*k+2 gồm n số thực tương ứng với số với tâm hàm bán kính thứ k o Dịng 3*k+3 tham số độ rộng hàm bán kính thứ k o Dòng 3*k+4 hệ số Mỗi nhấn button ‘Start’, phần mềm lấy liệu từ file input làm liệu huấn luyện huấn luyện mạng nơron RBF theo liệu này, sau truyền liệu số mô tả mạng RBF file output 40 4.3.3.2 Tab “Tự nhập” Để nhập liệu theo cách thủ công, ta chọn Tab ‘Tự nhập’, giao diện Hình 17 Giao diện nhập liệu thủ cơng Vì số lượng mốc nội suy lớn, Tab thay nhập mốc, người dùng chọn miền giá trị cho mốc nội suy (Nếu muốn nhập chi tiết mốc nội suy, người dùng chọn cách nhập theo file trình bày trên) Cụ thể người dùng chọn số chiều n Vỡi n chọn label “chiều 1”, “chiều 2” … dần n tăng ẩn bớt n giảm Cùng với textbox để người dùng nhập giá trị max chiều ẩn theo, người dùng tạo miền giá trị cho mốc nội suy cách Chương trình tạo mốc nội suy ngẫu nhiên nằm miền Số mốc tạo ngẫu nhiên mặc định 100, người dùng tự nhập vào TextBox “số mốc ngẫu nhiên” Sau có mốc nội suy rồi, giá trị đo mốc nội suy giá trị hàm số cần nội suy xấp xỉ (nhập TextBox “biểu thức”) cộng với sai số sinh từ dãy phân phối chuẩn (có kỳ vọng mặc định =0 nhiễu trắng) phương sai điền TextBox “phương sai” (mặc định 0,25) 41 Sau xây dựng xong liệu huấn luyện, phần mềm huấn luyện mạng RBF theo thuât toán kNN-HDH với tham số người dùng điền vào giao diện Button “Chọn file output” dùng người dùng muốn xuất liệu mô tả mạng RBF sau huấn luyện file Thứ tự liệu xuất file giống mô tả nêu 4.3.2.1 Vì giao diện làm với mục đích giúp người dùng dễ dàng kiểm chứng kết thực nghiệm, nên sau huấn luyện mạng RBF xong, sai số trung bình mốc huấn luyện lấy trung bình cộng tổng bình phương kết đưa TextBox “TB cộng bình phương sai số” Ngoài ra, checkBox Heuristic người dùng tích vào muốn áp dụng heuristic “ăn gian” thí nghiệm 42 CHƯƠNG 5: KẾT QUẢ THÍ NGHIỆM Nội dung chương bao gồm: Thí nghiệm thay đổi kích thước lưới Thí nghiệm việc chọn k Thí nghiệm tăng số chiều So sánh hiệu với thuật toán khác Để làm bật đặc điểm phương pháp này, thiết lập module để thực heuristic, tạm gọi “ăn gian” để giả thiết phương pháp kNN hoàn hảo, vừa hồi quy vừa khử nhiễu với sai số Để mô heuristic này, lệnh “ăn gian” viết phần mềm, kích hoạt, phần mềm, tính giá trị nội suy yi nút lưới xi ,thay dùng phương pháp kNN để tính hàm gán , ta dùng hàm số cần nội suy xấp xỉ để gán giá trị 5.1 THÍ NGHIỆM VỀ VIỆC THAY ĐỔI KÍCH THƯỚC LƯỚI Vì mạng RBF huấn luyện liệu ngẫu nhiên ban đầu mà lưới liệu cách thiết lập sau hồi quy từ liệu ban đầu, thuật toán HDH-1 có tốc độ tính tốn nhanh tồn nghi ngờ sai số huấn luyện lớn, dựa vào tính chất thuật tốn HDH-1 pha trình bày cuối chương lưới liệu dày xấp xỉ tốt dẫn đến quan ngại phương pháp ta phải thiết lập lưới liệu dày đặc cho sai số chấp nhận Thí nghiệm cho kết bất ngờ kích thước hợp lý lưới liệu Hàm số dùng làm thí nghiệm hàm Các hàm lấy từ thí nghiệm [10] để tiện so sánh phần sau 43 Dữ liệu ban đầu gồm có mốc nội suy phân bố ngẫu nhiên miền giá trị đầu vào D : ; ta thử trường hợp số mốc nội suy m=100 m=200 Kết đo mốc giá trị hàm số thực cộng với sai số (nhiễu trắng) Dãy sai số phân bố theo phân phối chuẩn có phương sai 0.25 Bảng so sánh sai số phương pháp khởi tạo lưới liệu kích cỡ khác nhau, trường hợp dùng không dùng heuristic Kích thước lưới liệu lần tăng tăng gấp đôi chiều, số mốc cách lưới tạo sau nhiều gấp lần số mốc cách lưới tạo trước Hình 18 Sai số chọn kích cỡ khác lưới liệu cho liệu 100 mốc ngẫu nhiên, khơng áp dụng heuristic “ăn gian” 44 Hình 19 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, khơng áp dụng heuristic “ăn gian” Hình 20 Sai số áp dụng kích cỡ khác lưới liệu cho liệu ngẫu nhiên 100 mốc, có heuristic “ăn gian” 45 Hình 21 Sai số chọn kích cỡ khác lưới liệu cho liệu 200 mốc ngẫu nhiên, có áp dụng heuristic “ăn gian” Ta thấy dù lần thiết lập số nút lưới tăng gấp lần so với lần thiêt lập trước, sai số tổng quát không giảm nhiều Thử với số hàm số khác, ta thấy tượng mật độ lưới liệu thưa cho sai số lớn, nhiên cho mật độ dày đặc lên hiệu lớn khoảng định, lưới liệu dày đặc đến mức đó, tiếp tục làm dày đặc sai số khơng giảm so với gia tăng số mốc cách cần huấn luyện Đặc biệt, sai số đặt mật độ nút lưới mức thứ (10 x 10 với m=100) hay (14 x 14 với m=200) tốt nhiều đặt mức thứ nhất, không tồi với mức kế tiếp, độ dày đặc tăng lên lần mức Chú ý số nút lưới lưới xấp xỉ với m mốc nội suy liệu ban đầu Nhận xét : Thí nghiệm cho thấy lưới liệu cần khởi tạo dày đặc lo ngại ban đầu Thực nghiệm cho thấy cần số nút lưới liệu xấp xỉ số mốc nội suy ban đầu cho hiệu huấn luyện nói chung hợp lý Tùy thuộc vào ứng dụng cụ thể mà tùy chỉnh kích thước lưới liệu, ví dụ tăng kích thước để làm giảm sai số, thời gian huấn luyện nằm khoảng cho phép, đặc điểm huấn luyện nhanh phương pháp Ta thấy rõ khác làm thí nghiệm việc áp dụng không áp dụng heuristic, điều cho thấy tầm ảnh hướng lớn bước hồi quy kNN 46 5.2 THÍ NGHIỆM VỀ VIỆC CHỌN K Trong phương pháp này, việc chọn k hồi quy tuyến tính kNN cho tốt coi quan trọng Vì phương pháp kNN khơng hồi quy mà cịn làm nhiệm vụ khử nhiễu Nếu hồi quy không tốt tạo lưới liệu mà giá trị nút lưới khác xa so với giá trị thực khử nhiễu từ làm cho việc nội suy xấp xỉ nhiều Việc chọn k phương pháp kNN cịn tốn mở, người ta đưa khuyến nghị nên chọn k lớn số chiều n Thí nghiệm đưa vài kết luận thú vị việc chọn k Tại thí nghiệm này, ta xét hàm số Dễ thấy hàm tỷ lệ với nhau, nội dung thí nghiệm xét cách chọn k dựa vào độ lớn miền giá trị hàm Tham số m chọn 200, theo kết thí nghiệm 5.1, ta chọn lưới liệu có kích thước 14 x 14, xét trường hợp k=4,6,8,10,12,14,16 Kết lần thử nghiệm so sánh kèm với kết kích hoạt heuristic “ăn gian” Hình 22 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y1 với cách chọn k khác 47 Hình 23 Bảng so sánh sai số phương pháp kNN-HDH áp dụng cho hàm y2 với cách chọn k khác Tại đây, ta thầy hàm y2 đạt giá trị tốt với k=6 tăng dần k sai số tồi nhiều Trong hàm y1 tăng k tốt Điều giải thích sau : Sai số chênh lệch thi thử với k khác với k khác hiệu phương pháp kNN khác Ta thấy dùng heuristic sai số không đổi Đặc điểm phương pháp hồi quy kNN k lớn hiệu khử nhiễu tốt, đồng thời, phải hồi quy nút xa hiệu hồi quy bị Ngược lại k nhỏ hiệu hồi quy tốt (trừ trường hợp k nhỏ không đủ để hồi quy sai số tăng vọt thấy biểu đồ) , nhiên giảm k khả khử nhiễu trắng lại phải nội suy với mốc khơng trung hịa nhiễu trắng Nhận xét : Giá trị k tốt phải cân hiệu hồi quy hiệu khử nhiễu, tùy theo toán cụ thể để chọn k lớn hay k nhỏ Xét ví dụ trên, ta thấy miền giá trị y1 nhỏ y2 nhiễu có ảnh hưởng lớn đến kết 48 hồi quy, công việc khử nhiễu phải đặt ưu tiên so với tốn với hàm y2, k lớn tốt Biểu đồ cho thấy k lớn tốt xét đến k=30, đặt nặng nhiệm vụ khử nhiễu so với hồi quy sai số lại tăng lên 0,03 Ngược lại, toán với hàm y2 tỷ lệ miền giá trị với nhiễu trắng lớn so với toán hàm y1 ưu tiên khử nhiễu không đặt nặng tốn với hàm y1, chọn k nhỏ so với trường hợp với hàm y1 cho hiệu tốt 5.3 THÍ NGHIỆM KHI TĂNG SỐ CHIỀU Một phần quan trọng phương pháp hồi quy kNN, vừa có vai trị hồi quy mốc để thuật toán lặp pha HDH dựa vào để huấn luyện, vừa có vai trị khử nhiễu, hồi quy kNN tốt sai số giảm nhiều, mức độ tốt mà ta mong đợi hồi quy xác hàm số cần nội suy xấp xỉ nút lưới (Tức heuristic thành thực) Xét số chiều vecto đầu vào, ta thấy : Do tính chất phương pháp kNN Việc chọn k thường khuyến nghị nên chọn k>n, sau thỏa mãn điều kiện k>n, “k hợp lý” nên đủ thấp để hồi quy cho sai số nhỏ Vì vậy, số chiều n tăng, “k hợp lý” tăng theo Mặt khác, k tăng việc khử nhiễu lại tốt Vì vậy, với dải nhiễu, số chiều tăng việc khử nhiễu tốt, qua nâng cao tính hiệu phương pháp kNN-HDH Trong trình thí nghiệm đây, thử với hàm số nhiều biến, sai số sau chọn k thích hợp, lại gần với sai số áp dụng heuristic “ăn gian”, cụ thể kết sau : Ta thử nghiệm với hàm số 49 Kết thực nghiệm sau : Hình 24 : Bảng so sánh sai số phương pháp kNN-HDH dùng không dùng Heuristic, với số chiều tăng dần u1 (1 chiều) u2 (2 chiều) u3 (2 chiều) u4 (3 chiều) u5 (4 chiều) K=16 Heuristic K=6 Heuristic K=5 Heuristic K=6 Heuristic K=8 Heuristic 0.0065 0.0001 0.0232 0.0752 0.3333 0.6312 0.0807 0.1302 0.4576 0.8162 Tại ta thấy với số chiều tăng dần, sai số không dùng heuristic lúc tiến lại lại gần sai số dùng heuristic, tức việc hồi quy kNN hiệu ta tăng số chiều mốc nội suy, nhận định 5.4 SO SÁNH HIỆU QUẢ VỚI PHƯƠNG PHÁP KHÁC Chương xin so sánh hiệu phương pháp kNN-HDH với phương pháp nội suy xấp xỉ hàm nhiều biến với liệu nhiễu tác giả Tomohiro Ando công bố tạp chí Journal of Statistical Planning and Inference năm 2008 [10] Tại báo này, tác giả dùng phương pháp GIC, NIC, MIC để thử với hàm số u2, u3 trên, miền giá trị Ta so sánh kết phương pháp kNN-HDH với phương pháp tốt tác già phương pháp GIC, trường hợp số mốc nội suy ban đầu m=100 m=200 Vì thời gian có hạn, cộng với việc thuật tốn GIC cài đặt phức tạp nên khóa luận tơi chưa cài đặt thuật tốn GIC mà lấy liệu kết tác giả để so sánh với phương pháp kNN-HDH Hình 25: Bảng so sánh kết với phương pháp GIC m=100 GIC kNN-HDH m=200 0.38873 0.1175 1.18925 0.4599 GIC kNN-HDH 0.14857 0.0892 0.34603 0.2846 Nhận xét : 50 Với kết này, ta thấy phương pháp kNN-HDH cho sai số tốt phương pháp GIC, tác giả Tomohiro Ando thử với hàm biến, chưa thử với hàm nhiều biến vốn ưu điểm phương pháp kNN-HDH 51 CHƯƠNG 6: TỔNG KẾT VÀ PHƯƠNG HƯỚNG PHÁT TRIỂN Nội dung chương bao gồm: Tổng kết Phuơng hướng phát triển đề tài 6.1 Tổng kết Đến tơi hồn thành khóa luận tốt nghiệp với đề tài “Huấn luyện mạng nơron RBF với mốc cách ứng dụng” với mục đích mơ phương pháp ứng dụng thuật tốn HDH-1 vào việc xây dựng hệ thống nội suy xấp xỉ hàm nhiều biến với liệu nhiễu nghiên cứu thực nghiệm nhằm tìm đặc điểm, lý giải đưa cách hoàn thiện phương pháp Những cơng việc làm : Tìm hiểu kiến trúc mạng RBF, đặc điểm mạng RBF, từ hiểu phương pháp huấn luyện mạng RBF, thuật tốn HDH-2 HDH-1 Tìm hiểu nhiễu trắng phương pháp sinh nhiễu trắng Tìm hiểu phương pháp hồi quy tuyến tính kNN Hiểu ý tưởng phương pháp kNN-HDH lập trình mơ thành cơng, phần mềm tiện cho nghiên cứu lẫn ứng dụng Phát đặc điểm bản, quan trọng phương pháp kNN-HDH, đưa cải tiến lớn, cho thấy hiệu cao phương pháp Đó : o Lưới liệu cần có số nút xấp xỉ với số mốc nội suy liệu ban đầu o K chọn với mục đích cân tính khử nhiễu tính hồi quy, cụ thể dựa tỷ lệ miền giá trị hàm số nhiễu trắng o Khi thực nghiệm nên áp dụng phương pháp heuristic “ăn gian”, nhằm tách riêng bước hồi quy tuyến tính kNN thuật tốn HDH-1 Như làm bật đặc điểm phương pháp o Khi số chiều lớn, hiệu tốt khử nhiễu tốt tối ưu sai số hồi quy o Các kết thí nghiệm giải thích khớp với tảng lý thuyết 52 6.2 Phương hướng phát triển đề tài Do phương pháp hoàn toàn mới, thời gian nghiên cứu lại có hạn nên cịn số điều chưa sâu Đây điều dùng để làm phương hương phát triển cho đề tài Đó : Cần thêm nhiều mô phương pháp khác để so sánh với phương pháp kNN-HDH để chứng minh ưu điểm nó, đặc biệt tốc độ huấn luyện trường hợp nhiều chiều Áp dụng phương pháp kNN-HDH vào ứng dụng cụ thể : Xử lý ảnh, nhận dạng giọng nói … 53 TÀI LIỆU THAM KHẢO [1] Hoang Xuan Huan, Dang Thi Thu Hien and Huu Tue Huynh, A Novel Efficient Algorithm for Training Interpolation Radial Basis Function Networks, Signal Processing 87 ,2708 – 2717, 2007 [2] Hoang Xuan Huan, Dang Thi Thu Hien and Huynh Huu Tue, An efficient algorithm for training interpolation RBF networks with equally spaced nodes, submitted to IEEE Transactions on Neural Networks [3] T.M Mitchell, Machine learning, McGraw-Hill, 1997 [4] J Shlens, A Tutorial on Principal Component Analysis, April 22, 2009 [5] D.S Broomhead and D Lowe Multivariable functional interpolation and adaptive networks Complex Systems, vol 2, 321-355, 1988 [6] Đặng Thị Thu Hiền, Luận án tiến sỹ công nghệ thơng tin, chun ngành Khoa học máy tính, mã số : 62.48.0101, Đại học Công nghệ, ĐHQG Hà Nội, 2009 [7]William M.K Trochim, Measurement Error http://www.socialresearchmethods.net/kb/measerr.php [8]Wikipedia®, Normal distribution http://en.wikipedia.org/wiki/Normal_distribution [9]G.E.P Box and Mervin E Muller, A Note on the Generation of Random Normal Deviates, Ann Math Statist Volume 29, Number (1958), 610-611 [10]Tomohiro Ando, Sadanori Konishi and Seiya Imoto, Nonlinear regression modeling via regularized radial basis function network, Journal of Statical Planning and Inference, 2008, trang 16-18