Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)

Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến (Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ TUẤN MINH ĐỀ TÀI MẠNG NƠRON WAVELET ỨNG DỤNG CHO XẤP XỈ PHI TUYẾN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2017 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ TUẤN MINH MẠNG NƠRON WAVELET ỨNG DỤNG CHO XẤP XỈ PHI TUYẾN Chuyên ngành: Khoa học máy tính Mã số: 60480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS TS Lê Bá Dũng THÁI NGUYÊN, 2017 MỤC LỤC DANH MỤC HÌNH ẢNH LỜI CAM ĐOAN LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG: NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron 1.2 Các cấu trúc mạng nơron 11 1.2.1 Cấu trúc mơ hình nơron nhân tạo 11 1.2.2 Mạng nơron lớp 16 1.2.3 Mạng nơron truyền thẳng nhiều lớp 17 1.2.4 Mạng Hopfield 18 CHƯƠNG II: MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC 20 2.1 Phép biến đổi wavelet liên tục 20 2.1.1 Giới thiệu 20 2.1.2 Phép biến đổi wavelet thuận 21 2.1.3 Các tính chất hàm wavelet 23 2.1.3.1 Tính chất sóng 23 2.1.3.2 Đặc trưng lượng 23 2.1.3.3 Biểu diễn hệ số wavelet 23 2.1.4 Phép biến đổi wavelet nghịch 25 2.1.5 Phép biến đổi wavelet liên tục hai chiều nhiều chiều 25 2.1.6 Tiêu chuẩn chọn hàm wavelet 26 1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao 26 1.2.6.2 Hàm wavelet phức hay hàm wavelet thực 27 2.1.6.3 Độ rộng 27 2.1.6.4 Hàm wavelet chẵn hàm wavelet lẻ 28 2.2 Mạng nơron wavelet 29 2.3 Quy tắc học mạng nơron wavelet 32 2.3.1 Học có giám sát 34 2.3.2 Học không giám sát 35 2.3.3 Học tăng cường 35 2.4 Mơ hình cấu trúc đề xuất (WNN-LCW) 36 2.5 Phương án nghiên cứu tham số Lai 38 2.6 Khởi tạo tham số mạng 43 2.7 Nhận dạng hệ thống động lực học 43 2.8 Phát triển mơ hình hóa phi tham số 46 CHƯƠNG III: XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG MẠNG WAVELET 48 3.1 Đặt toán 48 3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực 49 3.2.1 Hệ thống với chuỗi thời gian Mackey-Glass 49 3.2.2 Thuật toán huấn luyện mạng nơron wavelet 50 3.2.3 Cho hệ phi tuyến chiều 52 PHẦN KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình nơron sinh học 10 Hình 1.2 Mơ hình nơron nhân tạo 12 Hình 1.3 Đồ thị dạng hàm truyền 14 Hình 1.4 Mạng nơron lớp 15 Hình 1.5 Mạng truyền thẳng lớp 17 Hình 1.6 Mạng hồi tiếp lớp 17 Hình 1.7 Mạng truyền thẳng nhiều lớp 17 Hình 1.8 Cấu trúc mạng hopfield 18 Hình 2.1 Tín hiệu f(t) .20 Hình 2.2 Biến đổi Fourier tín hiệu f(t) 21 Hình 2.3 Ba dạng hàm wavelet 22 Hình 2.4 Biểu diễn hệ số wavelet hệ tọa độ ba trục vng góc 24 Hình 2.5 Biểu diễn hệ số wavelet tỉ lệ đồ dạng đường đẳng trị 24 Hình 2.6 Biểu diễn hệ số wavelet tỉ lệ đồ dạng ảnh 24 Hình 2.7 Hàm wavelet mexican ba tỉ lệ s khác 27 Hình 2.8 Biến đổi wavelet tín hiệu sử dụng hàm wavelet chẵn lẻ .28 Hình 2.9 Cấu trúc mạng nơron sóng nhỏ 30 Hình 2.10 Hàm wavelet morlet 31 Hình 2.11 Học có giám sát 35 Hình 2.12 Học khơng giám sát 35 Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính .38 Hình 2.14 Các mơ hình ngoại động lực 46 Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian 48 Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ dự báo 50 Hình 3.3 Thuật tốn huấn luyện mạng nơron wavelet 51 Hình 3.4 Biểu đồ tính tốn xấp xỉ mạng nơron wavelet gồm giá trị thực giá trị xấp xỉ 54 DANH MỤC BẢNG BIỂU Bảng 3.1 Kết sau mạng nơron huấn luyện 55 LỜI CAM ĐOAN Em xin cam đoan luận văn thạc sĩ công nghệ thông tin “Mạng nơron Wavelet ứng dụng cho xấp xỉ phi tuyến” sản phẩm nghiên cứu riêng cá nhân em giúp đỡ lớn Giảng viên hướng dẫn PGS TS Lê Bá Dũng, không chép lại người khác Tất tài liệu tham khảo có nguồn gốc rõ ràng trích dẫn hợp pháp Các thơng số, bảng biểu kết sử dụng luận văn hoàn tồn có thật chưa cơng bố luận văn khác Thái Nguyên, ngày 17 tháng 10 năm 2017 TÁC GIẢ LUẬN VĂN Đỗ Tuấn Minh LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn tận tình thầy giáo PGS TS Lê Bá Dũng, em xin đặc biệt bày tỏ lòng biết ơn chân thành thầy Em chân thành cảm ơn thầy, cô giáo Viện Công nghệ thông tin, Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tham gia giảng dạy, giúp đỡ em suốt trình học tập nâng cao trình độ kiến thức Tuy nhiên điều kiện thời gian khả có hạn nên luận văn khơng thể tránh khỏi thiếu sót Em kính mong thầy giáo bạn đóng góp ý kiến để đề tài hoàn thiện Em xin trân trọng cảm ơn! LỜI MỞ ĐẦU - Mạng nơron nhân tạo (Artificial Nơron Network - ANNs) nói chung Hệ mạng nơron wavelet nói riêng nghiên cứu, ứng dụng mạnh mẽ thành công nhiều lĩnh cực năm gần [5,6] Với trình như: xấp xỉ phi tuyến, dự báo thị trường chứng khoán, dự báo mô hệ thống điều khiển…được đưa ra, giải mang lại nhiều kết tích cực [1,2,3,4]; - Trong hệ thống điều khiển đại, có nhiều phương pháp điều khiển đảm bảo tốt chất lượng điều khiển Để điều khiển xác đối tượng chưa biết rõ thông số, trước tiên ta phải hiểu rõ đối tượng Đối với đối tượng phi tuyến rô bốt, hay hệ thống điều khiển phi tuyến ta cần thực nhận dạng đặc tính vào để đảm bảo tạo tín hiệu điều khiển thích nghi lựa chọn xác Hiện thường sử dụng logic mờ (Fuzzy Logic), mạng nơron nhân tạo (Artificial Neural Networks) mạng nơron mờ (Fuzzy Neural Networks) để nhận dạng điều khiển thích nghi hệ thống phi tuyến; - Sử dụng mạng nơron wavelet phương pháp tốt, có nhiều khả vượt trội việc tuyến tính hóa, dự báo, phân tích, đánh giá liệu lĩnh vực mơ hình hóa động lực học Được gợi ý thầy hướng dẫn nhận thấy tính thiết thực vấn đề em chọn đề tài: “Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến” làm khoá luận tốt nghiệp cho luận văn tốt nghiệp CHƯƠNG I NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron - Bộ não người có chức quan trọng đời sống người Nó gần kiểm sốt hầu hết hành vi người từ hoạt động bắp đơn giản đến hoạt động phức tạp học tập, nhớ, suy luận, tư duy, sáng tạo, - Bộ não người hình thành từ liên kết khoảng 10 11 phần tử (tế bào), có khoảng 10 10 phần tử nơron, số lại khoảng 9.1010 phần tử tế bào thần kinh đệm chúng có nhiệm vụ phục vụ hỗ trợ cho nơron Thông thường não trung bình cân nặng khoảng 1,5 kg tích 235 cm Cho đến người ta chưa thực biết rõ cấu tạo chi tiết não Tuy đại thể cấu tạo não phân chia thành nhiều vùng khác Mỗi vùng kiểm soát hay nhiều hoạt động người - Các đặc tính não người: + Tính phân lớp: Các vùng não phân thành lớp, thông tin xử lý theo tầng + Tính mơđun: Các vùng nhớ phân thành mơđun mã hố định nghĩa mối quan hệ tích hợp tín hiệu vào qua giác quan tín hiệu + Mối liên kết: Liên kết lớp dẫn đến liệu dùng chung xem liên hệ phản hồi truyền tín hiệu + Sử lý phân tán tín hiệu vào: Các tín hiệu vào truyền qua nhiều kênh thông tin khác nhau, xử lý phương pháp đặc biệt - Bộ não có cấu trúc nhiều lớp Lớp bên thường thấy nếp nhăn, lớp có cấu tạo phức tạp Đây nơi kiểm soát phát sinh hành động phức tạp nghe, nhìn, tư duy, - Cấu trúc nơron thần kinh gồm phần: + Myelin lớp cách nhiệt bao quanh Axons dây thần kinh Nhiệm vụ lớp vỏ Myelin giúp việc dẫn truyền tín hiệu dây thần kinh nhanh chóng hiệu quả; + Axon nơron sợi dây đơn giản mang tín hiệu từ Soma Nơron tới Dendrite hay Soma nơron khác; + Dendrite nơron nhánh ngắn chạy từ thân nơron ra, nhiệm vụ chúng tiếp nhận tín hiệu từ nơron khác đưa đến qua Axons; + Khoảng sợi Myelin gọi nút Ranvier; + Soma hay thân tế bào nơron gồm nhân cấu trúc khác tế bào; + Synapselà nơi hai nơron tiếp xúc Những thơng tin hố điện Nơron xảy Hình 1.1 Mơ hình nơron sinh học * Hoạt động nơron sinh học - Các tín hiệu đưa khớp nối nhận dây thần kinh vào kích thích điện tử Việc truyền tín hiệu liên quan đến q trình hóa học phức tạp mà chất truyền đặc trưng giải phóng từ phía gửi nơi tiếp nối Điều làm tăng hay giảm điện bên thân nơron nhận nơron nhận tín hiệu kích hoạt điện vượt ngưỡng Và điện hoạt động với cường độ thời gian tồn 10 ... mạng nơron wavelet cho xấp xỉ dự báo 50 Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet 51 Hình 3.4 Biểu đồ tính tốn xấp xỉ mạng nơron wavelet gồm giá trị thực giá trị xấp xỉ ... BẢNG BIỂU Bảng 3.1 Kết sau mạng nơron huấn luyện 55 LỜI CAM ĐOAN Em xin cam đoan luận văn thạc sĩ công nghệ thông tin Mạng nơron Wavelet ứng dụng cho xấp xỉ phi tuyến sản phẩm nghiên cứu... ĐỖ TUẤN MINH MẠNG NƠRON WAVELET ỨNG DỤNG CHO XẤP XỈ PHI TUYẾN Chuyên ngành: Khoa học máy tính Mã số: 60480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa