Mạng nơ ron truyền thẳng và ứng dụng trong dự báo lũ lụt

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THƠNG TIN VÀ TRUYỀN THƠNG NGUYỄN XN HỊA MẠNG NƠ RON TRUYỀN THẲNG VÀ ỨNG DỤNG TRONG DỰ BÁO LŨ LỤT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN XUÂN HÒA MẠNG NƠ RON TRUYỀN THẲNG VÀ ỨNG DỤNG TRONG DỰ BÁO LŨ LỤT Chuyên Ngành: Khoa học máy tính Mã số : 60.48.01 MỤC LỤC LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS Nguyễn Long Giang Thái Nguyên - 2014 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH SÁCH BẢNG DANH SÁCH HÌNH VẼ MỞ ĐẦU Chƣơng CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Lịch sử phát triển 1.2 Nơron sinh học mạng nơron sinh học 10 1.3 Nơron nhân tạo 10 1.4 Mạng nơron nhân tạo 13 1.4.1 Khái niệm 13 1.4.2 Cấu trúc 13 1.4.3 Các đặc trƣng mạng nơron 15 1.5 Thủ tục học mạng nơron 15 1.5.1 Học tham số .15 1.5.2 Học cấu trúc .17 1.6 Một số ứng dụng mạng nơron 17 Chƣơng MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT TOÁN LAN TRUYỀN NGƢỢC .19 2.1 Kiến trúc mạng nơron truyền thẳng 19 2.2 Khả thể mạng nơron truyền thẳng 20 2.3 Cơ chế học mạng nơron truyền thẳng 21 2.4 Thuật toán lan truyền ngƣợc sai số (Back-Propagation) 22 2.4.1 Mơ tả thuật tốn BP 22 2.4.2 Sử dụng thuật toán BP .27 2.4.3 Một số cải tiến thuật toán BP 32 2.4.4 Nhận xét chung thuật toán BP 37 2.5 Một số thuật toán tối ƣu khác 39 2.5.1 Thuật toán giả luyện kim (Simulated annealing) .39 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 2.5.2 Thuật giải di truyền 40 Chƣơng ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU 42 3.1 Sơ lƣợc ứng dụng mạng nơron dự báo liệu 42 3.2 Thu thập, phân tích xử lý liệu 42 3.2.1 Kiểu biến .43 3.2.2 Thu thập liệu .44 3.2.3 Phân tích liệu 45 3.2.4 Xử lý liệu 45 3.2.5 Tổng hợp 47 3.3 Chƣơng trình dự báo liệu 48 3.3.1 Các bƣớc q trình thiết kế xây dựng 48 3.3.2 Ứng dụng mạng nơron truyền thẳng nhiều lớp dự báo đỉnh lũ sông Trà Khúc trạm Sơn Giang 53 3.3.3 Chƣơng trình dự báo liệu 56 3.4 Một số nhận xét 60 KẾT LUẬN .62 TÀI LIỆU THAM KHẢO 64 PHỤ LỤC 66 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ DANH SÁCH BẢNG Bảng 2.1 Thuật toán lan truyền ngƣợc sai số (Thuật toán BP) 27 Bảng 2.2 Các hàm kích hoạt 29 Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn/ DANH SÁCH HÌNH VẼ Hình 1.1 Đơn vị xử lý thứ j 11 Hình 1.2 Hàm tuyến tính (Identity Function) 12 Hình 1.3 Hàm bƣớc nhị phân (Binary Step Function) 12 Hình 1.4 Hàm Sigmoid 13 Hình 1.5 Mạng nơron truyền thẳng nhiều lớp (Feed-Forward Neural Network) 14 Hình 1.6 Mạng hồi quy (Recurrent Neural Network) .14 Hình 1.7 Sơ đồ học có thầy .16 Hình 2.1 Mạng nơron truyền thẳng lớp 19 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ MỞ ĐẦU Dự báo liệu toán quan trọng khai phá liệu học máy nhằm tìm quy luật liệu Dự báo liệu mang lại nhiều lợi ích thiết thực phụ vụ ngƣời, giúp ngƣời nắm bắt đƣợc quy luật vận động tự nhiên đời sống kinh tế xã hội Nguyên lý dự báo liệu dựa vào liệu lịch sử để xây dựng mơ hình nhằm dự báo liệu tƣơng lai Có nhiều phƣơng pháp dự báo liệu khác tùy thuộc vào đặc thù toán cụ thể nhiệm vụ khai phá liệu, điển hình phƣơng pháp thống kê học máy, hệ chuyên gia, hệ hỗ trợ định Ngày nay, kho liệu ngày lớn, ngày phức tạp đa dạng Để xây dựng mơ hình dự báo hiệu liệu khổng lồ phức tạp này, nhà khoa học nỗ lực nghiên cứu phƣơng pháp mô tƣ óc ngƣời nhằm xây dựng mơ hình dự báo hiệu nhất, đặc biệt phƣơng pháp “học có thầy”, mạng nơron nhân tạo cơng cụ điển hình Mạng nơ ron nhân tạo lớp mơ hình tính tốn mơ hoạt động não ngƣời Các mơ hình sử dụng cấu trúc mạng đỉnh đƣợc gọi nơ ron Các nơ ron xử lý tín hiệu số từ mơi trƣờng bên nơ ron khác mạng gửi tới qua kết nối sau gửi tín hiệu đến nơ ron khác môi trƣờng Mạng nơron truyền thẳng lớp mạng nơron nhân tạo đƣợc thực tiễn chứng minh mạnh hiệu toán dự báo, phân tích liệu Chúng đƣợc huấn luyện ánh xạ từ liệu vào tới liệu mà khơng u cầu liệu phải đầy đủ Trong số loại mạng tƣơng đối phổ biến mạng nơron truyền thẳng nhiều lớp, đƣợc huấn luyện thuật toán lan truyền ngƣợc đƣợc sử dụng nhiều Các mạng nơron có khả biểu diễn ánh xạ phi tuyến đầu vào đầu ra, chúng đƣợc coi nhƣ “bộ xấp xỉ đa năng” Việc ứng dụng loại mạng chủ yếu cho việc phân tích, dự báo, phân loại số liệu thực tế Đặc biệt việc dự báo khuynh hƣớng thay đổi liệu tác nghiệp quan, tổ chức kinh tế, xã hội, Nếu dự báo đƣợc khuynh hƣớng thay đổi liệu với độ tin cậy định, nhà lãnh đạo đƣa đƣợc sách đắn cho quan, tổ chức Luận văn đƣợc thực với mục đích tìm hiểu làm sáng tỏ số khía cạnh mạng nơron truyền thẳng nha Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 62 KẾT LUẬN Mạng nơron đƣợc huấn luyện để xấp xỉ hàm mà không cần biết trƣớc liên hệ đầu vào đầu Chúng hoạt động nhƣ nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, tốn lĩnh vực cụ thể Đó đặc trƣng đem lại cho mạng nơron lợi mơ hình khác Trong luận văn này, thuộc tính mạng nơron truyền thẳng trình xác định đầu vào, kiến trúc mạng đƣợc phục vụ cho toán cụ thể Luận văn xây dựng hệ chƣơng trình dự báo liệu nhằm áp dụng vấn đề lý thuyết tìm hiểu Các thí nghiệm cho thấy, nhƣ đƣợc huấn luyện tốt tập liệu đầy đủ hoàn thiện với tham số đƣợc lựa chọn cẩn thận kết dự báo đạt độ xác cao Chƣơng trình cung cấp khả lƣu lại tập tham số, trọng số độ lệch sau lần huấn luyện thành công nạp lại tham số để sử dụng dự báo liệu Tuy nhiên, luận văn xem xét đến khía cạnh tổng thể mạng nơron truyền thẳng nhiều lớp vấn đề dự báo liệu khoảng thời gian ngắn trung bình Cần nhấn mạnh rằng, để dự báo đƣợc liệu cần sử dụng liệu lịch sử để huấn luyện liệu dự báo đầu vào (Ví dụ nhƣ: dự báo nhiệt độ ngày hơm sau, ) Ngƣời ta mạng nơron truyền thẳng nhiều lớp có khả tốt dự báo khoảng thời gian ngắn Mạng nơron truyền thẳng nhiều lớp sử dụng nhiều toán dự báo lĩnh vực khác: dự báo lƣợng sử dụng điện, nƣớc, thị trƣờng chứng khoán, lƣu lƣợng giao thông lƣợng sản phẩm bán chừng mối quan hệ đầu vào đầu thấy đƣợc đƣa vào mơ hình Tuy vậy, khơng tồn mơ hình chung thích hợp cho tất tốn dự báo thực tế Đối với tốn, cần thực phân tích cặn kẽ, cụ thể liệu phạm vi sử dụng tri thức thu thập đƣợc để xây dựng đƣợc mơ hình thích hợp Các phân tích tri thức thu thập đƣợc ln có ích việc lựa chọn đầu vào, mã hóa đầu vào định cấu trúc mạng, đặc biệt mà liệu lĩnh vực có giới hạn Thuật tốn lan truyền ngƣợc chuẩn đƣợc sử dụng việc huấn luyện mạng nơron truyền thẳng nhiều lớp chứng tỏ khả tốt chí tốn phức tạp Mặc dù vậy, để có đƣợc khả nhƣ vậy, ta cần Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 63 nhiều thời gian để huấn luyện, điều chỉnh tham số mạng (thậm chí tốn có cấu trúc đơn giản) Điều ln trở ngại toán thực tế, vậy, thuật toán cải tiến cần đƣợc áp dụng để tăng khả hội tụ mạng huấn luyện Luận văn đƣợc thực nhằm làm sáng tỏ vấn đề lý thuyết mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngƣợc, bƣớc cần thực phân tích, thiết kế xây dựng ứng dụng cho toán dự báo liệu, đồng thời xây dựng chƣơng trình ứng dụng nhằm mục đích thể vấn đề lý thuyết nêu Chắc chắn luận văn thiếu sót, tơi mong nhận đƣợc ý kiến đóng góp nhằm hồn thiện hiểu biết Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ 64 TÀI LIỆU THAM KHẢO [1] Đ M Tƣờng, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [2] Dipti Srinivasan, A C Liew, John S., P Chen, Short term forecasting using neural network approach, IEEE 91TH0374-9/91/0000-0012, pp 12-16, 1991 [3] Drucker H., Cun Y L., Improving Generalization Performance using Double Backpropagation, IEEE Transactions on neural netwoks, Vol 3, No 6, Nov 1992 [4] Hagan M T., Demuth H B., Beale M., Neural networks design, PWS Publishing Company, Boston, Ma, 1996 [5] Haykin, S., Neural networks, a comprehensive foundation, Macmillan New York, Ny 1994 [6] Kaastra, I., & Boyd, M - Designing a neural network for forecasting financial and economic time series - Neurocomputing 10 (1996), pp 215-236 [7] Kesmir C., Nussbaum A K., Schild H., Detours V., Brunak S., Prediction of proteasome cleavage motifs by neural networks, Protein engineering, Vol 15-No 4, pp 287-196, 2002 [8] Kolen J F., Pollack J B., Back Propagation is Sensitive to Initial Condition, Technical Report, Laboratory for artificial intelligence Research-The ohio State university [9] Lawrence S., C L Giles, a C Tsoj, What size Neural Netwwork Gives optimal Generalization? Convergence Properties of Backpropagation, Technical Report, Institute for Advanced Computer Studies - University of Maryland College Park, June 1996 [10] Morioka Y., Sakurai K., Yokoyama A Sekine Y., Next day peak load forecasting using a Multilayer neural network with an additional Learning, IEEE, 07803-1217-1/93, 1993 [11] Oh S.H., Lee Yj., A modified error function to improve the error BackPropagation algorithm for Multi-layer perceptrons, ETRI Journal Vol 17, No 1, April 1995 [12] Ooyen A V., Nienhuis B., Improving the Convergence of the BackPropagation Algorithm, Neural Networks, Vol 5, pp 465-471, 1992 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn/ ... http://www.lrc-tnu.edu.vn/ 2.5.2 Thuật giải di truyền 40 Chƣơng ỨNG DỤNG MẠNG N? ?RON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU 42 3.1 Sơ lƣợc ứng dụng mạng n? ?ron dự báo liệu 42 3.2 Thu... N? ?RON TRUYỀN THẲNG VÀ THUẬT TOÁN LAN TRUYỀN NGƢỢC .19 2.1 Kiến trúc mạng n? ?ron truyền thẳng 19 2.2 Khả thể mạng n? ?ron truyền thẳng 20 2.3 Cơ chế học mạng n? ?ron. .. dụng liệu lịch sử để huấn luyện liệu dự báo đầu vào (Ví dụ nhƣ: dự báo nhiệt độ ngày hôm sau, ) Ngƣời ta mạng n? ?ron truyền thẳng nhiều lớp có khả tốt dự báo khoảng thời gian ngắn Mạng n? ?ron truyền