Tìm hiểu một số mô hình mạng nơ ron có giám sát và ứng dụng trong dự báo nhu cầu du lịch

BỘ GIÁO DỤC VÀ ĐÀO TẠO DAI HOC HUE TRUONG DAI HOC KHOA HOC TRAN LIEU PHUOC HAI TIM HIEU MOT SO MO HINH MANG NO-RON CO GIAM SAT VA UNG DUNG TRONG DU BAO NHU CAU DU LICH CHUYEN NGANH: KHOA HOC MAY TINH MA SO: 48 01 01 LUAN VAN THAC SI KHOA HOC DINH HUONG NGHIEN CUU NGUOI HUONG DAN KHOA HOC PGS.TS VO VIET MINH NHAT Thira Thién Hué, 2020 MO DAU > Ly chon dé tai Mạng nơ-ron nhân tạo(ANN) ngày có thê mơ tả hệ thống máy tính thông minh bắt chước khả xử lý não sinh học bao gồm nhiều nơ-ron gắn kết với để xử lý thông tin ANN giống não người, học kinh nghiệm thông qua việc huấn luyện dựa liệu mẫu, có khả lưu giữ tri thức sử dụng trị thức việc dự đốn đữ liệu chưa biết Chính Trong năm gần đây, nghiên cứu mạng lưới nơ-ron nhân tạo (ANN) nhận quan tâm lớn đối lĩnh vực sinh học, tâm lý học, y học, kinh tế, tốn học, thống kê máy tính ANN phương pháp mạnh mẽ nhiệm vụ liên quan đến phân loại mẫu, ước tính biến liên tục dự báo Mạng nơ-ron cung cấp số lợi tiềm so với phương pháp khác, xử lý vấn để với đữ liệu khơng bình thường phi tuyến tính [1] Cấu trúc ANN tạo thành từ số lượng lớn yếu tổ xử lý đơn giản gọi nút nơ-ron, tổ chức theo lớp Mỗi nơ-ron kết nối với nơ-ron khác liên kết giao tiếp, liên kết có giá trị số liên quan gọi trọng SỐ Trọng số chứa kiến thức thông tin ma ANN so hữu vấn đề cu thé [1] Hidden layer Input layer Output layer Input values Output values Hình 1: Kién trúc phố biến ANN lớp [2] ANN có nhiều dạng khác “Mạng truyền thắng nhiều lớp r~ LỜI CẢM ƠN luận văn này, tơi xin bày tỏ lịng biết ơn sâu sắc đến Thầy Võ Viết Đào tạo - Đại học Huế tận tình hướng dân suốt trình thuc hién dé tai Xin chân thành cảm ơn giúp đỡ mặt Ban Giám hiệu, Phòng Đào tạo Sau đại học, Khoa Công nghệ thông tin - Trường Đại học Khoa học - Đại học Huế quý thây cô tham gia giảng đạy suốt trình học tập Cảm ơn tất cá bạn bè, đơng nghiệp người thân động viên, giúp đỡ hoàn thành luận văn Học viên Trần Liêu Phước Hải MỤC LỤC DANH MỤC CÁC BẢNG 22 22 2222212211121112111211121121212122222222 2e i DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT -2-©2222E222512251223222322222222-e2 ii DANH MỤC CÁC HÌNH VẼ 22222 222122121121121121211222222 22a iii DANH MỤC CÁC ĐÔ THỊ 22 S222221222112211211211221121121121221222 re iv DANH MỤC CÁC BIỂU ĐÒ MỞ ĐẦU 22 222222221122112111211122112211221112222222 xe Vv 2222 2222221222121122112112211211211212212222222222 are CHUONG TONG QUAN VE MANG NO-RON NHAN TAO VA BAI TOAN DỰ BÁO 5225222221 11221212211211 1112121111211 rya 1.1 TONG QUAN VE BAI TOAN DU BAO 1.1.1 Khái niệm đự báo . -©2s222222222111221121112112211211212122 xe 112.Ý nghĩa việc dự báo - c S 212 nhà HH HH HH Hye 1.1.3 Các phương pháp dự báo - cc St Share 1.2 MẠNG NƠ-RON SINH HỌC .-52 222222221112111211121121122122222 xe 1.3 SỰ TƯƠNG ĐÔNG GIỮA MẠNG NƠ-RON SINH HỌC VÀ NHÂN TẠO 1.4 MẠNG NƠ-RON NHÂN TẠO 2222222222212111211211211212 xe 1.4.1 Nơ-ron nhân †ạO IV so c0 c1 2011121111221 1122111110211 1101x111 k ng xxx vi 1:4.3 Mangno-ron han 420 scscrcccscsco emer mnencenneen messin te corm meserenmeenrn ere 1.4.4 Phân loại mạng nơ-ron nhan tao ccc eeeeeeeeeeeeereeeeeeeeeeseneeneeeeereneenes 11 1.4.5 Luật học mạng nơ-ron nhân tạo 11 1.4.6 Số nơ-rơn lớp ẩn .-2-5-2 „13 1.4.7 Hàm lỗi (hàm mục tiÊU) s2 E21 22122121121211 211212122 e 13 1.4.8 Tốc độ học b1) 0T 13 1.4.9 Giải thuật lan truyền ngược 2-22 22212211221222122212212212222 xe 14 1.4.10 Phương pháp đánh giá độ xác dự báo mơ hình mạng nơ-ron 14 TIEU KET CHƯƠNG l . ©2222222221222122112212111211211211212222 2e 15 CHƯƠNG BÀI TỐN DỰ BÁO NHU CẦU DU LỊCH VỚI MẠNG NƠ- RON NHÂN TẠO 52-2222 22122221222222122211222221222222 are 16 2.1 TONG QUAN BÀI TOÁN DU BAO NHU CAU DU LỊCH VỚI MẠNG NƠ-RON NHÂN TẠO 1221211221212 E101 16 2.1.1 Lựa chọn liệu khách du lịch đến Huế -cccccccccccec l6 21;1:2-]ði;dung/ TOẶH: sọ ngenesniooitEelSDUAGEIORIEEIGOISEGDAIESEDIEEIQHEISĐSHSIOĐESE 16 2.1.3 Ứng dụng toán vào thực tẾ 22222122212221221221.22 re 17 2.2 PHÂN TÍCH Dữ liệu DU LỊCH KHÁCH QUỐC TÉ ĐÉN HUÉ 17 2.2.1 Phân bố liệu ::c:22222 22222 erae 17 ct0s2ufiGItullnuhlla-glfl TIỂU ssamnonsgprnuesottnneg9ygtsttti99908000000000000000810040090701g100900000n80 18 2.3 XÂY DỰNG MẠNG NƠ-RON . 22:222 2222222212211 221211 rtrev 19 2.3.1 Lớp đầu vào đầu mạng nơ-ron . 22z+2zxsze 19 2.3.2 xay duinganangenosron MEP beccessrn serene nmeenasseemersrermerssrm erm 19 2.3.3 Phương hướng xây dựng mạng nơ-ron RBE -s- 23 Iìì098:4509:009)ic 28 CHƯƠNG ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO VÀO DỰ BÁO NHU CÂU DU LỊCH 522222 2212221221122112212212112112112112222 e6 3.1 GIỚI THIỆU VẺ NGÔN NGỮ PYTHON VÀ THƯ VIỆN KERAS 3.1.1 Giới thiệu ngơn ngữ lập trình Python 22¿22z22zcce 3.1.2 Xây dựng mạng nơ-ron với thư viện Keras ngôn ngữ python 3.2 HUAN LUYEN VA LAY KET QUA THỰC NGHIỆM MẠNG NƠ-RON 32 3.2.1 Các trường hợp mạng nơ-ron 12-input với liệu liên tục 32 3.2.2 Các trường hợp mạng nơ-ron 6-Input với liệu liên tục 36 3.2.3 Các trường hợp mạng nơ-ron 4-input với liệu liên tục 39 3.2.4 Các trường hợp mạng nơ-ron 6-Input với liệu xen kẽ 43 3.2.5 Các trường hợp mang no-ron 4-input với liệu xen kẽ 47 3.3 TONG KET VÀ ĐÁNH GIÁ KẾT QUẢ 55222 E2122E1E21212xcrkt 50 3.3.1 So sánh hiệu loại mạng nơ-ron với -s:ccccccscs+s: 50 3.3.2 Lựa chọn mạng nơ-ron có hiệu cao nhấT c2 221122112 xe 51 KÉT LUẬN .5222222222221121112111211121112122122122212121222122 are 54 TONG KET VA ĐÁNH GIÁ KẾT QUẢ 2c 522 E2122E1221212Ectki 54 2, KIƯỜN PEPAT TRUẾN trunnunnuntinhntttrintrttgnGHDSODNGHIHDHRPGHEDDSIHBUES800010880 54 TAI LIEU THAM KHẢO .-2222222222222222222211112 2222122222226 56 DANH MỤC CÁC BẢNG Bảng 3.1 So sánh hiệu mạng nơ-ron chọn . cscss+s: Bảng 3.2 So sánh hiệu mạng nơ-ron chọn . cscss+s: Bảng 3.3 Kết dự báo thực tế khách du lịch đến Huế 2sczs2cczse2 DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮÁT MLP : Multilayer Pereeptron RBE : Radial Bias Function ANN : Artificial Neural Network MSE : Mean Squared Error MAPE : Mean Absolute Percentage Error il DANH MỤC CÁC HÌNH VẼ Hình 1: Kiến trúc phố biến ANN lớp . -22- 2222222122222 Hinh 1.1: Cấu trúc nơ-ron sinh VAt.o.cccccccccscccsssscvesecvesecsesessesesesessssesuesessssesseseesesteseevees Hinh 1.2: Ham, Stem escecesesencemerencemerenemnnnenr earn ern REE Hinh 1.3: Ví dụ nơ-ron đơn .- - c1 122211112551 111511 111221111111 11 1511111111112 21x kg Hinh 1.4: Tác động việc điều chỉnh trọng Hinh 1.5: No-ron VOI DIAS oo 1-11iII Hinh 1.6: Tác động điều chỉnh bias .2222222 22222212212212222222.2 e6 Hình 1.7: Các yếu tổ nơ-ron nhân tạo 2: s22 2122251551255512xxE5 10 Hình 1.8: Các:dang HQ sceeeceeoeeisiroohieritioditrrstsnH112E10101 112613 0110001089 0000001303800101005010016E 12 Hinh 2.1: Mơ hình tổng qt tốn dự báo nhu cầu du lịch với mạng nơ-ron nhan tao HH H111 H111 1H, 16 Hinh 2.2: Mạng MLP lớp c2: 12222222 e 20 Hinh 2.3: Mô hình lớp ấn lớp đầu vào mạng MLP -2- 22222z22zzz22cc2 21 Hinh 2.4: Mơ hình lớp đầu cho mạng nơ-ron MLP ©222222222222522222222-e2 22 Hinh 2.5: Mơ hình liên kết lớp ân cho mạng nơ-ron RBE -©22222222z222cc2 26 Hinh 2.6: Mơ tả việc chuyên đổi ma tran X_ train sang Œ_train dựa k tâm cụm 26 Hinh 2.7: Mơ hình liên kết lớp đầu cho mạng RBE 2222222222522122222-e 27 1H DANH MỤC CÁC ĐỎ THỊ Đồ thị 3.1 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID lIÊn TỤC [12-7-1] với input G1 22211111211 111121 1112211115011 1111111011111 KH k kg k KT kg xxx gxxt 33 Đồ thi 3.2 Dé thị huấn luyện mạng nơ-ron MLP-TANH [12-7-1] với input liên tục 34 Đồ thi 3.3 Dé thi huấn luyện mạng nơ-ron RBF [12-12-1] với input liên tục 35 Đồ thị 3.4 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID [6-4-1] với input liên tục 36 Đồ thị 3.5 Đồ thị huấn luyện mạng nơ-ron MLP-TANH [6-4-1] với input liên tục 38 Đề thị 3.6 Đồ thị huấn luyện mạng nơ-ron RBF [6-4-1] với mmput liên tục 39 Đồ thị 3.7 Đỗ thị huấn luyện mạng nơ-ron MLP-IGMOID [4-3-1] với input liên tục 40 Đồ thị 3.8 Đồ thị huấn luyện mạng nơ-ron MLP-TANH [4-3-1] với input liên tục 41 Đồ thị 3.9 Dé thị huấn luyện mạng nơ-ron RBF [4-3-l] với input liên tục 42 Đồ thị 3.10 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID [6-4-1] với input xen kẽ 44 Đồ thị 3.11 Đồ thị huấn luyện mạng nơ-ron MLP-TANH [6-4-1] với input xen kẽ 45 Đồ thị 3.12 Đề thị huấn luyện mạng nơ-ron RBF [6-4-l] với Input xen kẽ 46 Đồ thị 3.13 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID [4-3-1] với input xen kẽ 47 Đồ thị 3.14 Đồ thị huấn luyện mạng nơ-ron MLP-TANH [4-3-1] với input xen kẽ .48 Đề thị 3.15 Đồ thị huấn luyện mạng nơ-ron RBF [4-3-1] với Input xen kẽ 49 1V DANH MỤC CÁC BIÊU DO Biểu đồ 2.1 Lượng khách quốc tế đến Huế tháng từ tháng (từ 01/2017 đến 08/2019) c2 211221 212221 1t 1t n1 1121 12t ng 1n rrg 17 Biểu đồ 3.1 Kết dự báo mạng nơ-ron MLP-SIGMOID [12-7-1] voi input liIÊn TỤC c1 22211101211 111221 1111211111011 11111110 x11 kg xxx kg x kg k1 x kg 1k kt 33 Biểu đồ 3.2 Kết dự báo mạng nơ-ron MLP-TANH[12-7-1] với input liên tục 34 Biểu đồ 3.3 Kết dự báo mạng nơ-ron RBE [12-12-1] với input liên tục 35 Biéu dé 3.4 Kết dự báo mạng nơ-ron MLP-SIGMOID [6-4-1] với input liên tục 37 Biểu đồ 3.5 Kết dự báo mạng nơ-ron MLP-TANH [6-4-1] với input liên tục 38 Biểu đồ 3.6 Kết dự báo mạng nơ-ron RBE [6-4-1] với input liên tục 39 Biểu đồ 3.7 Kết dự báo mạng nơ-ron MLP-SIGMOID [4-3-1] với input liên tục 40 Biểu đồ 3.8 Kết dự báo mạng nơ-ron MLP-TANH [4-3-1] với input liên tục 41 Biểu đồ 3.9 Kết dự báo mạng nơ-ron RBE [4-3-1] với input liên tục 42 Biểu đồ 3.10 Kết đự báo mạng nơ-ron MLP-SIGMOID [6-4-1] với input NOM KE 44 Biéu dé 3.11 Kết dự báo mạng nơ-ron MLP-TANH [6-4-1] với input xen ké.45 Biểu dé 3.12 Két qua du bao mang no-ron RBF [6-4-1] với input xen kẽ 46 Biéu dé 3.13 Kết du bdo mang no-ron MLP-SIGMOID [4-3-1] voi input %GII Kế non stnttnsripisetgeogSDMGGEERSDIOESIEHIHHGUEDEEIHOIEHIEHNGREEIUEEEIGIGIEEEIIHGIERIEHGMEDEIMOERIIHdB2mlangt 48 Biểu đồ 3.14 Kết dự báo mạng nơ-ron MLP-TANH [4-3-1] với input xen kẽ 49 Biểu đồ 3.15 Kết đự báo mạng noơ-ron RBF [4-3-1] với input xen ké 50 Mạng nơ-ron dự báo đạt lỗi MAPE nhiều thời gian huấn luyện 27,99% mơ hình tốn q khơng đạt u cầu, mơ hình khơng phản ánh xu hướng khách du lịch rõ ràng 3.2.3.3 Mang RBF [4-20-1] ham kich hoat Gauss Mang no-ron duoc huấn luyện trải qua 1000000(một triệu) vòng huấn luyện không đạt lỗi MSE mong muốn Đồ thị MSE 3.0 +1 2.54 2.01 157 107 0.5 +1 oo | 100000) 200000 400000 600000 800000 1000000 Số vòng huấn luyện Đồ thị 3.9 Đề thị huấn luyện mạng nơ-ron RBF [4-3-1] với mput liên tục 250000 200000 + 150000 100000 + N 50000 | vw Th1 Th2 Th3 ee a Th4 Th5 MAPE Error: 38.47% | / The Th7 Th8 Biểu đồ 3.9 Kết dự báo mạng nơ-ron RBE [4-20-1] với input liên tục 42 Mạng nơ-ron dự báo đạt lỗi MAPE 38,47% mơ hình tốn nhiều thời gian huấn luyện không đạt u cầu, mơ hình khơng phản ánh xu hướng khách du lịch rõ rà ng 3.2.4 Các trường hợp mạng nơ-ron 6-input với liệu xen kế Lượng du kháchh (dk) tháng cách I tháng liên tiếp xem mẫu Do mẫu liên tiếp xen kẽ là: [< số đk 1⁄2017>, < số đk 3/2017>, < số đk 11/2017>] [< số dk 2/2017>, < số đk 4/2017>, < số đk 12/2017>] [< số đk 3/2017>, < số đk 5/2017>, < số đk 1/2018>] - Với mẫu vào, mục tiêu dự báo số du khách tháng thứ 13 Ví dụ [, < sé dk 3/2017>, < dk 11/2017>] => [, < số đk 4/2017>, < số đk 12/2017>] => < số đk 2/2018> [< số dk 3/2017>, < sé dk 5/2017>, ] => < sé dk 3/2018> 3.2.4.1 Mang MLP [6-4-1] voi ham kich hoat SIGMOID Mạng nơ-ron huấn luyện trải qua 421444 vòng huấn luyện lỗi MSE dat 0,005 43 Đồ thị MSE 0.255 0.20 + 0.15 0.10 0.05 421444 0.00 +1 r r 100000 r 200000 r 300000 400000 Số vòng huãn luyện Đồ thị 3.10 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID [6-4-1] với input xen kẽ 260000 + 240000 -@ -® ` trục tế Dy bdo 220000 200000 180000 + 160000 + 140000 + 120000 + Th1 Th2 Th3 Th4 Th5 MAPE Error: 12.63% The Th7 Ths Biểu đồ 3.10 Kết đự báo mạng no-ron MLP-SIGMOID [6-4-1] voi input xen kẽ Mạng nơ-ron phát xu hướng tăng giảm khách du lịch theo tháng có lỗi MAPE lỗi dự báo MAPE dự báo 12.63% Mơ hình có độ xác tốt cịn mức 10% đưới 20%, qua biểu đỗ ta thay duoc giá trị thực tế(nút đỏ) gần với giá trị đự báo (nút xanh), tháng va tháng tháng chưa thực gần với giá trị thực tế cách xa 44 3.2.4.2 Mạng MLP [6-4-1] với hàm kích hoạt ANH Mạng nơ-ron huấn luyện trải qua 97973 vòng huấn luyện lỗi MSE đạt 0,005 Đồ thị MSE 0.5 0.4 0.34 0.24 O14 97073 0.04 T r r 20000 T r 40000 60000 Số vòng huấn luyện 80000 Đồ thị 3.11 Đề thị huấn luyện mạng nơ-ron MLP-TANH 260000 + 240000 r 100000 [6-4-1] với input xen kẽ -+® Thục tế -+®- Dưbáo 220000 200000 180000 + 160000 + 140000 + 120000 +3 Th1 Th2 Th3 Th4 Th5 MAPE Error: 8.88% Thé Th? Ths Biểu đồ 3.11 Kết đự báo mạng nơ-ron MLP-TANH [6-4-1] với input xen ké Mạng Nơ-ron MLP-TANH MAPE [6-4-1] voi input xen kẽ đặt lỗi dự báo dat 8,88% Đây mạng nơ-ron có độ xác rAt cao số vòng huấn luyện thấp cho kết nhanh mạng, không phát xu hướng mạng 45 nơ-ron có có khả dự báo gần với thực tế 3.2.4.3 Mang RBF [6-12-1] với hàm kích hoat Gauss Mạng nơ-ron huấn luyện trải qua 409477 vòng huấn luyện lỗi MSE đạt 0.005 Đồ thị MSE 0.6 0.54 0.4 0.3 0.2 0.13 409471 0.0 r T 100000 r 200000 r 300000 400000 Số vòng huẩn luyện Đồ thị 3.12 Đề thị huấn luyén mang no-ron RBF [6-12-1] voi input xen ké 260000 + 240000 | 220000 -+® Thục tế +®- Dubáo 200000 180000 + 160000 + 140000 + 120000 + r Th1 r Th2 r Th3 r r Th4 Ths r Thé r Th7 T Th8 MAPE Error: 8.77% Biểu đồ 3.12 Kết du bdo mang no-ron RBF [6-12-1] voi input xen ké 46 Mang No-ron RBF voi input xen kẽ đạt 16i du bao MAPE dat 8,77% Đây mạng nơ-ron có độ xác cao phát xu hướng tông quát khách du lịch nhiên số vòng huấn luyện cao, thời gian học kiểm thử cho mạng nơ-ron lâu 3.2.5 Các trường hợp mạng nơ-ron 4-input với liệu xen kế Lượng du kháchh (dk) tháng cách I tháng liên tiếp xem mẫu Do mẫu liên tiếp xen kẽ là: [< số dk 1/⁄2017>, < số dk 3/2017>, < số dk 7/2017>] [< số dk 2/2017>, < số dk 4/2017>, < số dk 8/2017>] [< số dk 3/2017>, < số dk 5/2017>, < số dk 9/2017>] - Với mẫu vào, mục tiêu dự báo số du khách tháng thứ Ví dụ [< số dk 1/2017>, < số dk 3/2017>, < số dk 7/2017>] => < số dk 9/2017> [< số dk 2/2017>, < số đk 4/2017>, < số dk 8/2017>] => < số dk 10/2017> [< số dk 3/2017>, < dk 5/2017>, < dk 9/2018>] => < sé dk 11/2017> 3.2.5.1 Mang MLP [4-3-1] voi ham kich hoat SIGMOID Mạng nơ-ron huấn luyện trải qua 1000000 vòng huấn luyện lỗi MSE không đạt yêu cầu mơ tả theo đồ thị MSE hình Đồ thị MSE 0.40 + 0.35 0.30 0.25 0.20 0.15 0.10 + 0.05 200000 400000 600000 800000 100000} 1000000 Số vòng huấn luyện Đồ thị 3.13 Đồ thị huấn luyện mạng nơ-ron MLP-SIGMOID [4-3-1] với input xen kẽ 47 260000 240000 + -+® +®- trục tế bDưbáo 220000 + 200000 + 180000 + 160000 140000 + 120000 + 100000 + T Th1 T T Th2 Th3 T The T T Ths The MAPE Error: 27.14% T T Th? Ths Biểu đồ 3.13 Kết đự báo mạng nơ-ron MLP-SIGMOID [4-3-1] voi input xen ké Mạng nơ-ron đạt lỗi dự báo 27,14% mơ hình tốn q nhiều thời gian huấn luyện không đạt yêu cầu, mô hình khơng phản ánh xu hướng khách du lịch rõ ràng 3.2.5.2 Mạng MLP [4-3-1] với hàm kích hoạt ANH Mạng nơ-ron huấn luyện trải qua 847642 vòng huấn luyện lỗi MSE đạt 0.005 Đồ thị MSE 0.35 +1 0.305 0.25 +1 0.20 + 0.15 0.10 0.05 + 0.00 84764 T T 200000 T 400000 T 600000 T 800000 Số vòng huấn luyện Đồ thị 3.14 Đề thị huấn luyện mạng nơ-ron MLP-TANH 48 [4-3-1] voi input xen kẽ 250000 + 225000 200000 175000 + 150000 + 125000 + 100000 = 75000 + 50000 + Th1 T T Th2 Th3 T T Tha T Ths MAPE Error: 30.67% T Th6 Th7 T Th8 Biểu đồ 3.14 Kết đự báo mạng nơ-ron MLP-TANH [4-3-1] với input xen ké Mạng nơ-ron dự báo đạt lỗi MAPE đạt 30,67% số vòng huấn luyện lớn thời gian huyấn luyện lâu đồng thời biểu đồ không phản ánh xu hướng cách rõ ràng 3.2.5.3 Mang RBF [4-16-1] Mang no-ron duoc huấn luyện trải qua 1000000(một triệu) vòng huấn luyện 16i MSE không đạt yêu cầu mô tả theo đồ thị MSE hình Đồ thị MSE 3.0 2.54 2.04 154 104 0.5 + 0.0 100000 p r r 200000 r r 400000 600000 r 800000 r 100000 Số vòng huấn luyện Đồ thị 3.15 Đề thị huấn luyén mang no-ron RBF [4-16-1] voi input xen kẽ 49 250000 ~“@ Thuc tế -+®- Dưbáo 200000 + 150000 + 100000 e CS 50000 | r Th1 T Th2 r Th3 % wo T Th4 ff oe —-6 T Ths MAPE Error: 38.55% T The T Th7 T Ths Biéu dé 3.15 Két qua du bdo mang no-ron RBF [4-16-1] voi input xen ké 3.3 TONG KET VA DANH GIA KET QUA 3.3.1 So sánh hiệu loại mạng nơ-ron với Qua tất trường hợp huấn luyện thực nghiệm kiểm thử ta chọn mạng nơ-ron 6-input với đữ liệu xen kẽ để đánh giá phân tích kết Sở dĩ chọn mạng nơ-ron dang chúng cho độ xác cao tất loại mạng nơ-ron kể chúng có ưu điểm vợt trội so với loại mạng nơ-ron lại 12-input va 4-input cu thé: - Giảm bớt trùng lặp liệu học : - Số lượng nơ-ron trọng số cân đủ để lưu giữ lượng thông tin đảm bảo tốt thời gian học mạng nơ-ron: So với mạng nơ-ron 12-input chúng tạo nhiều kết nối trọng số số lượng nơ-ron lớn làm chậm trình học lấy kết dự báo mà độ xác cho khơng cao, mạng nơ-rơn 4-input khơng sử dụng số lượng kết nối trọng số q khơng đủ để chứa đựng thông tin, tri thức bên mạng nơ-ron làm cho chúng khơng có khả thực cơng tác dự báo 50 3.3.2 Lựa chọn mạng nơ-ron có hiệu cao Bảng 3.1 So sánh hiệu mạng nơ-ron chọn Mạng Mạng nơ-ron MLP | Mạng nơ-ron RBE | Mạng nơ-ron MLP nơron | [6-4-1] dữliệu xen | lý 12 1] qựliệu xen | [6-4-1] liệu xen kẽvớihàm kích | kevớihàamkích | kế với hàm kích Tiêu chí Lỗi dự báo hoạt Sigmoid hoạt Gauss hoạt Tanh 12.63% 8.77% 8.88% Sử dụng công thức Số lượng nút ân Sử dụng công thức MAPE Phuong pháp xác tổng số lượng định lớp an vector đầu vào qua thực nghiệm chưa có phương pháp xác định rõ rang Thời gian Nhanh Lâu Nhanh học Dựa theo bảng ta thấy mạng nơ-ron đạng MLP-Tanh cho hiệu cao vượt trội mạng MLP-Sigmoid, với 97973 vòng lặp có thé đạt lỗi MSE mức 0,005 với lỗi dự báo MAPE 8.88%, so với mạng MLPSigmoid mạng MLP-Tanh vượt trội hon hắn, điểm mẫu chốt nằm việc sử dụng hàm kính hoạt Tanh thay hàm kích hoạt Sigmoid cho lớp ấn cụ thể ta thấy sau: 51 Bảng 3.2 So sánh hiệu mạng nơ-ron chọn SIGMOID ; TANH —T + 4.0 | 05 0:5 ⁄ , ⁄ oo mm „ fp / 05 \ | -6 -4 -2 gt ũ | | | ? ⁄ ⁄ 1.0 = Ũ z Về vấn đề ham SIGMOID hàm kích hoạt đối xứng qua gia tri 0.5 Đôi với hàm TANH sử dụng rộng trục tung cho kết kích hoạt giao động khoảng giá trị (0,1) sé rãi trông năm gân khắc phục tượng khơng có trung tâm làm cho việc hội tụ giá trị khó khăn cua ham Sigmoid giá trị linh động Ham Sigmoid khơng có trung tâm la gây khoảng (1,1) khó khăn cho việc hội tụ Dựa theo bảng ta có thê thây hàm TANH dễ tìm điểm hội tụ mong muốn dễ dàng hàm SIGMOID trình học có khả đối xứng qua khắc phục nhược điểm hàm SIGMOID xu hướng năm gần Bên cạnh mạng MLP-Tanh cho lỗi dự báo MAPE gần mạng RBF việc sử đụng mạng RBF q trình thử nghiệm có q nhiều bat cập Mạng RBE chưa có cơng thức xác định rõ ràng số nơ-ron lớp ẩn làm cho qua trình thử nghiệm tốn nhiều thời gian hơn, tìm kết mong muốn nhận thấy để có độ xác số nơ-ron lớp ẩn RBF phải với số lượng vector đầu vào hay nói cách khác số lượng tất bảng ghi tập liệu học, giả sử tập học có số lượng bảng ghi lớn tram lần việc thử nghiệm học trở nên khỏ khăn 52 Quá trình học mạng RBF trình thử nghiệm chiếm đến 400000 vịng lặp, bên cạnh để có kết dự báo phải tính tốn lại khoảng cách vector tập liệu kiểm thử đến tâm cụm thơng qua hàm kích hoạt Gauss khiến thời gian lấy kết trở nên lâu Vậy thấy Mạng nơ-ron MLP [6-4-1] liệu xen kẽ với hàm kích hoạt Tanh cho hiệu cao trình học dự báo khách du lịch quốc tế đến Huế 260000 + 240000 -® Thực tế -+®- Dưbáo 220000 200000 180000 + 160000 + 140000 + 120000 +3 Th1 Th2 Th3 Th4 Th5 MAPE Error: 8.88% Thé Th? Ths Bang 3.3 Két qua du bao va thuc tế khách du lịch đến Huế Các tháng năm 2019 | Thực tế Kết dự báo 197587 224432.67 195171 189384.34 255462 222499.23 206519 178809.5 128464 107917.62 114100 109231.016 157733 159274.89 179040 166630.05 53 KÉT LUẬN TONG KET VA DANH GIA KET QUA Trong số nhiều phương pháp dự báo chuỗi thời gian tương lai ta lựa chọn phương pháp tìm hiểu số mơ hình mạng nơn ron có giám sát ứng đụng vào việc dự báo nhu cầu khách du lịch đến Huế cách thành công, làm tiền việc mở rộng định hướng nhiều mơ hình dự báo quy mơ tương lai Trong q trình tìm hiểu, luận văn đạt kết sau: + Tìm hiểu kiến thức tổng quát cấu trúc mạng nơ-ron xử lý liệu chuỗi thời gian + Tìm hiểu cách xây dựng huấn luyện mạng nơ-ron hoạt động + Mô kịch dự báo chọn mơ hình dự báo tốt dựa việc xây dựng mạng nơ-ron thơng qua ngơn ngữ lập trình python HUONG PHAT TRIEN 2.1 Các vấn đề gặp phải Việc xây dựng mạng nơ-ron phương pháp dự báo gặp số vấn đề sau: - Chi đự báo lượng khách du lịch tháng - Dữ liệu đầu vào cịn giới hạn khoảng năm làm ảnh hưởng đến độ xác cơng tác xây dựng mạng nơ-ron - Chưa xây dựng nhiễu loại mạng nơ-ron để tiếp tục thực nghiệm hiệu toán 2.2 Định hướng phát triển luận văn - Thu thập liệu chuỗi thời gian tiết dài - Mở rộng chân trời đự báo thay dự báo tháng dự báo khách du lịch lúc từ đến tháng, cách mở rộng số lượng nơ-ron 54 đầu Điều giúp có thê có kịch ứng phó tốt để chuẩn bị đón tiếp du kháchh đến Huế cách tốt - Xây dựng them loại mạng nơ-ron mạng nơ-ron tích chập (ĐCNN), mạng nơ-ron Elan để thực nghiệm khám pháp mạng nơ-ron có khả cho hiệu cao mạng thực nghiệm 55 TÀI LIỆU THAM KHẢO [1] J J M A S Alfonso Palmer, "Designing an artificial neural network for forecasting tourism," ScienceDirect, 2005 [2] I C C K Dr Murat cuhadarl, "Modelling and Forecasting Cruise Tourism Demand to Izmir by Different Artificial Neural Network Architectures," International Journal of Business and Social Research, 2014 [3] T N V H V X N NGUYEN THI THANH HUYEN, Bai giai phan tich va dự báo kinh tế Trường Đại học Thái, Thái nguyên, 2009 [4] N Q Hoan, "Giáo trình mạng nơ-ron nhân tạo," 2005 [5] N H D Nguyễn Quang Anh, Tap chi Khoa hoc DHOGHN: Khoa học Tự nhiên Công nghé, 2017 [6].T t q.h v đ.t.t.n.n q gia, "Mạng Nơ-ron nhân tạo hướng tiếp cận công tác nhận dạng dự báo tài nguyên nước," Bộ tải nguyên môi trường, [Online] Available: http://www.nawap1.gov.vn/index.php? option=com_content&view=article&id=3498%3Amng-nron-nhan-to-hng-tipcn-mi-trong-cong-tac-nhn-dng-va-d-bao-tai-nguyen-nc&catid=70%3 Anhim-vchuyen-mon-ang-thce-hin&Itemid=135&lang=vi [7] P V V.M Nhat, "Mang no-ron nhân tạo ứng dung" [8]."https://www.python.org/doc/," [Online] Available: https://docs.python.org/3/ faq/general.html#general-python-faq 56