Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ TUẤN MINH ĐỀ TÀI MẠNG NƠRON WAVELET ỨNG DỤNG CHO XẤP XỈ PHI TUYẾN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2017 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ĐỖ TUẤN MINH MẠNG NƠRON WAVELET ỨNG DỤNG CHO XẤP XỈ PHI TUYẾN Chuyên ngành: Khoa học máy tính Mã số: 60480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS TS Lê Bá Dũng THÁI NGUYÊN, 2017 MỤC LỤC DANH MỤC HÌNH ẢNH LỜI CAM ĐOAN LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG: NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron 1.2 Các cấu trúc mạng nơron 11 1.2.1 Cấu trúc mơ hình nơron nhân tạo 11 1.2.2 Mạng nơron lớp 16 1.2.3 Mạng nơron truyền thẳng nhiều lớp 17 1.2.4 Mạng Hopfield 18 CHƯƠNG II: MẠNG NƠRON WAVELET VÀ CÁC THUẬT TOÁN HỌC 20 2.1 Phép biến đổi wavelet liên tục 20 2.1.1 Giới thiệu 20 2.1.2 Phép biến đổi wavelet thuận 21 2.1.3 Các tính chất hàm wavelet 23 2.1.3.1 Tính chất sóng 23 2.1.3.2 Đặc trưng lượng 23 2.1.3.3 Biểu diễn hệ số wavelet 23 2.1.4 Phép biến đổi wavelet nghịch 25 2.1.5 Phép biến đổi wavelet liên tục hai chiều nhiều chiều 25 2.1.6 Tiêu chuẩn chọn hàm wavelet 26 1.2.6.1 Hàm wavelet trực giao hay hàm wavelet không trực giao 26 1.2.6.2 Hàm wavelet phức hay hàm wavelet thực 27 2.1.6.3 Độ rộng 27 2.1.6.4 Hàm wavelet chẵn hàm wavelet lẻ 28 2.2 Mạng nơron wavelet 29 2.3 Quy tắc học mạng nơron wavelet 32 2.3.1 Học có giám sát 34 2.3.2 Học không giám sát 35 2.3.3 Học tăng cường 35 2.4 Mơ hình cấu trúc đề xuất (WNN-LCW) 36 2.5 Phương án nghiên cứu tham số Lai 38 2.6 Khởi tạo tham số mạng 43 2.7 Nhận dạng hệ thống động lực học 43 2.8 Phát triển mơ hình hóa phi tham số 46 CHƯƠNG III: XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG MẠNG WAVELET 48 3.1 Đặt toán 48 3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực 49 3.2.1 Hệ thống với chuỗi thời gian Mackey-Glass 49 3.2.2 Thuật toán huấn luyện mạng nơron wavelet 50 3.2.3 Cho hệ phi tuyến chiều 52 PHẦN KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 57 DANH MỤC HÌNH ẢNH Hình 1.1 Mơ hình nơron sinh học 10 Hình 1.2 Mơ hình nơron nhân tạo 12 Hình 1.3 Đồ thị dạng hàm truyền 14 Hình 1.4 Mạng nơron lớp 15 Hình 1.5 Mạng truyền thẳng lớp 17 Hình 1.6 Mạng hồi tiếp lớp 17 Hình 1.7 Mạng truyền thẳng nhiều lớp 17 Hình 1.8 Cấu trúc mạng hopfield 18 Hình 2.1 Tín hiệu f(t) .20 Hình 2.2 Biến đổi Fourier tín hiệu f(t) 21 Hình 2.3 Ba dạng hàm wavelet 22 Hình 2.4 Biểu diễn hệ số wavelet hệ tọa độ ba trục vng góc 24 Hình 2.5 Biểu diễn hệ số wavelet tỉ lệ đồ dạng đường đẳng trị 24 Hình 2.6 Biểu diễn hệ số wavelet tỉ lệ đồ dạng ảnh 24 Hình 2.7 Hàm wavelet mexican ba tỉ lệ s khác 27 Hình 2.8 Biến đổi wavelet tín hiệu sử dụng hàm wavelet chẵn lẻ .28 Hình 2.9 Cấu trúc mạng nơron sóng nhỏ 30 Hình 2.10 Hàm wavelet morlet 31 Hình 2.11 Học có giám sát 35 Hình 2.12 Học khơng giám sát 35 Hình 2.13 Cấu trúc mạng thần kinh sóng nhỏ trọng lượng tổ hợp tuyến tính .38 Hình 2.14 Các mơ hình ngoại động lực 46 Hình 3.1 Sơ đồ hệ thống bất biến theo thời gian 48 Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ dự báo 50 Hình 3.3 Thuật tốn huấn luyện mạng nơron wavelet 51 Hình 3.4 Biểu đồ tính tốn xấp xỉ mạng nơron wavelet gồm giá trị thực giá trị xấp xỉ 54 DANH MỤC BẢNG BIỂU Bảng 3.1 Kết sau mạng nơron huấn luyện 55 LỜI CAM ĐOAN Em xin cam đoan luận văn thạc sĩ công nghệ thông tin “Mạng nơron Wavelet ứng dụng cho xấp xỉ phi tuyến” sản phẩm nghiên cứu riêng cá nhân em giúp đỡ lớn Giảng viên hướng dẫn PGS TS Lê Bá Dũng, không chép lại người khác Tất tài liệu tham khảo có nguồn gốc rõ ràng trích dẫn hợp pháp Các thơng số, bảng biểu kết sử dụng luận văn hoàn tồn có thật chưa cơng bố luận văn khác Thái Nguyên, ngày 17 tháng 10 năm 2017 TÁC GIẢ LUẬN VĂN Đỗ Tuấn Minh LỜI CẢM ƠN Luận văn hoàn thành hướng dẫn tận tình thầy giáo PGS TS Lê Bá Dũng, em xin đặc biệt bày tỏ lòng biết ơn chân thành thầy Em chân thành cảm ơn thầy, cô giáo Viện Công nghệ thông tin, Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tham gia giảng dạy, giúp đỡ em suốt trình học tập nâng cao trình độ kiến thức Tuy nhiên điều kiện thời gian khả có hạn nên luận văn khơng thể tránh khỏi thiếu sót Em kính mong thầy giáo bạn đóng góp ý kiến để đề tài hoàn thiện Em xin trân trọng cảm ơn! LỜI MỞ ĐẦU - Mạng nơron nhân tạo (Artificial Nơron Network - ANNs) nói chung Hệ mạng nơron wavelet nói riêng nghiên cứu, ứng dụng mạnh mẽ thành công nhiều lĩnh cực năm gần [5,6] Với trình như: xấp xỉ phi tuyến, dự báo thị trường chứng khoán, dự báo mô hệ thống điều khiển…được đưa ra, giải mang lại nhiều kết tích cực [1,2,3,4]; - Trong hệ thống điều khiển đại, có nhiều phương pháp điều khiển đảm bảo tốt chất lượng điều khiển Để điều khiển xác đối tượng chưa biết rõ thông số, trước tiên ta phải hiểu rõ đối tượng Đối với đối tượng phi tuyến rô bốt, hay hệ thống điều khiển phi tuyến ta cần thực nhận dạng đặc tính vào để đảm bảo tạo tín hiệu điều khiển thích nghi lựa chọn xác Hiện thường sử dụng logic mờ (Fuzzy Logic), mạng nơron nhân tạo (Artificial Neural Networks) mạng nơron mờ (Fuzzy Neural Networks) để nhận dạng điều khiển thích nghi hệ thống phi tuyến; - Sử dụng mạng nơron wavelet phương pháp tốt, có nhiều khả vượt trội việc tuyến tính hóa, dự báo, phân tích, đánh giá liệu lĩnh vực mơ hình hóa động lực học Được gợi ý thầy hướng dẫn nhận thấy tính thiết thực vấn đề em chọn đề tài: “Mạng nơron wavelet ứng dụng cho xấp xỉ phi tuyến” làm khoá luận tốt nghiệp cho luận văn tốt nghiệp CHƯƠNG I NHỮNG KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron - Bộ não người có chức quan trọng đời sống người Nó gần kiểm sốt hầu hết hành vi người từ hoạt động bắp đơn giản đến hoạt động phức tạp học tập, nhớ, suy luận, tư duy, sáng tạo, - Bộ não người hình thành từ liên kết khoảng 10 11 phần tử (tế bào), có khoảng 10 10 phần tử nơron, số lại khoảng 9.1010 phần tử tế bào thần kinh đệm chúng có nhiệm vụ phục vụ hỗ trợ cho nơron Thông thường não trung bình cân nặng khoảng 1,5 kg tích 235 cm Cho đến người ta chưa thực biết rõ cấu tạo chi tiết não Tuy đại thể cấu tạo não phân chia thành nhiều vùng khác Mỗi vùng kiểm soát hay nhiều hoạt động người - Các đặc tính não người: + Tính phân lớp: Các vùng não phân thành lớp, thông tin xử lý theo tầng + Tính mơđun: Các vùng nhớ phân thành mơđun mã hố định nghĩa mối quan hệ tích hợp tín hiệu vào qua giác quan tín hiệu + Mối liên kết: Liên kết lớp dẫn đến liệu dùng chung xem liên hệ phản hồi truyền tín hiệu + Sử lý phân tán tín hiệu vào: Các tín hiệu vào truyền qua nhiều kênh thông tin khác nhau, xử lý phương pháp đặc biệt - Bộ não có cấu trúc nhiều lớp Lớp bên thường thấy nếp nhăn, lớp có cấu tạo phức tạp Đây nơi kiểm soát phát sinh hành động phức tạp nghe, nhìn, tư duy, - Cấu trúc nơron thần kinh gồm phần: + Myelin lớp cách nhiệt bao quanh Axons dây thần kinh Nhiệm vụ lớp vỏ Myelin giúp việc dẫn truyền tín hiệu dây thần kinh nhanh chóng hiệu quả; + Axon nơron sợi dây đơn giản mang tín hiệu từ Soma Nơron tới Dendrite hay Soma nơron khác; + Dendrite nơron nhánh ngắn chạy từ thân nơron ra, nhiệm vụ chúng tiếp nhận tín hiệu từ nơron khác đưa đến qua Axons; + Khoảng sợi Myelin gọi nút Ranvier; + Soma hay thân tế bào nơron gồm nhân cấu trúc khác tế bào; + Synapselà nơi hai nơron tiếp xúc Những thơng tin hố điện Nơron xảy Hình 1.1 Mơ hình nơron sinh học * Hoạt động nơron sinh học - Các tín hiệu đưa khớp nối nhận dây thần kinh vào kích thích điện tử Việc truyền tín hiệu liên quan đến q trình hóa học phức tạp mà chất truyền đặc trưng giải phóng từ phía gửi nơi tiếp nối Điều làm tăng hay giảm điện bên thân nơron nhận nơron nhận tín hiệu kích hoạt điện vượt ngưỡng Và điện hoạt động với cường độ thời gian tồn 10 ∆𝑣𝑗𝑝 = 𝑣 𝜕𝐸 𝜕𝑣𝑖𝑝 + 𝑣𝑗𝑝 (𝑡 − 1) (2.47) m, n v đại diện cho tỉ lệ học cho m, n v ‫ ﻯ‬là động lượng Như thấy từ phương trình, việc sử dụng trọng số kết hợp tuyến tính đề xuất, khơng làm phức tạp việc thực điều chỉnh cho phép với tốc độ hội tụ cao độ xác tốt 2.6 Khởi tạo tham số mạng - Khởi tạo tham số mạng với hàm wavelet vấn đề quan trọng Tương tự mạng hàm sở bán kính (và đối lập với mạng nơron sử dụng hàm sigmoid), khởi tạo ngẫu nhiên tất tham số tới giá trị nhỏ (như thường làm với mạng nơron) điều mong muốn điều khiến cho hàm wavelet cục (độ giãn nhỏ) khiến cho thành phần gradient hàm giá trị nhỏ Nói chung, muốn tận dụng miền không gian giá trị vào nơi mà hàm wavelet khác không; - Thông qua [ap , bp ], miền chứa giá trị phần tử pth vector đầu vào Khởi tạo vector m hàm wavelet j tâm hình hộp xác định khoảng {[ap , bp]} : mjp = 1⁄2 (ap + bp ) Các tham số giãn khởi tạo tới giá trị 0.2(bp – ap ) để đảm bảo hàm wavelet bắt đầu mở rộng toàn miền giá trị vào Với 𝛽 = 0.5 ʋ = lựa chọn tối ưu cho liệu Những tham số lại khởi tạo tới giá trị nhỏ ngẫu nhiên 2.7 Nhận dạng hệ thống động lực học - Khi hệ thống phi tuyến, mục đích việc mơ hình hóa khác ứng dụng khác Trong nhiều trường hợp, liệu có điều kiện xấu hỗ trợ phiên giá trị vào giá trị bị chậm cần thiết để đạt xác mong muốn, điều khiến cho việc mơ hình hóa hệ thống tĩnh sang mơ hình hóa hệ thống động; - Nói chung, hệ thống động phức tạp phi tuyến Một bước quan trọng xác định hệ thống phi tuyến phát triển mơ hình phi tuyến Trong vài năm gần đây, kỹ thuật trí tuệ nhân tạo mạng nơron, 43 logic mờ thuật giải di truyền công cụ hiệu việc xác định thiết bị phi tuyến Vấn đề chọn mô hình xác định điều chỉnh tham số phản hồi mơ hình gần giống phản hồi hệ thống thực giá trị vào Cấu trúc WNN-LCW (mạng nơron hàm) sử dụng cho tốn vậy; - Có nhiều phương pháp khác phát triển Những phương pháp sử dụng mơ hình tham số hóa Các tham số cập nhật để giảm thiểu sai số xác định giá trị Một lớp rộng hệ thống động phi tuyến với giá trị vào 𝓊 giá trị mơ tả mô xác định chung sau: ym (k) = f(𝛗(xk ), θ) Trong ym(k) giá trị mơ hình, 𝛗(xk ) vector biến hồi quy độc lập θ bao gồm tất trọng số tham số hàm wavelet khác mạng Tùy vào lựa chọn biến hồi quy độc lập 𝛗(xk ) mà rút mơ hình nhận dạng kahcs - NARX (tự hồi quy phi tuyến với giá trị vào ngoại sinh) mơ hình nối tiếp song song Như minh họa hình 2.14(a), giá trị đầu thiết bị thực sử dụng giá trị đầu vào mơ hình Duy bước trước dự đốn (hình 2.14 (b)) Mơ hình cho có ngoại động lực φ(k) = (u(k), u(k − 1), u(k − 2), … , u(k − nu ), y(k − 1), y(k − 2), … , y(k − ny )) (2.48) - NOE (Sai số đầu phi tuyến) mơ hình song song Có nghĩa đầu mơ hình tự tạo giá trị đầu vào có quãng thời gian chờ (time - lag) Mơ hình xem mơ hình lặp tồn Mơ hình song song có khả đưa dự đoán khoảng thời gian ngắn Mơ hình cho có nội động lực cao 44 φ(k) = (u(k), u(k − 1), u(k − 2), … , u(k − nu ), ym (k − 1), ym (k − 2), … , ym (k − ny )) (2.49) Trong hai trường hợp, so với giá trị đầu thiết bị, sai số đốn mơ hình sử dụng phương pháp để tối ưu hóa tham số mơ hình Đối với hệ thống động, mơ hình phải có biện pháp để thực thi khoảng thời gian chờ Nói cách khác mơ hình phải có hàm nhớ Trong việc mơ hình hóa sử dụng sơ đồ trí tuệ nhân tạo mạng nơron, hệ nơron mờ, mạng nơron hàm wavelet, việc thực theo hai cách: giá trị vào, sử dụng giá trị vào bên thêm vào, số nhớ thêm vào cá thể nơron Các mơ hình ngoại động lực xem dự đoán trước bước Các mơ hình nội động lực sử dụng tốt với mục đích theo, mơ hình với giá trị đầu thiết bị Xét lâu dài, sai số dự đốn tích tụ q trình lặp lại sai số lớn Đây chắn trường hợp hệ thống phi tuyến, tính phi tuyến đưa hệ thống vào trạng thái bất ổn Do vấn đề phi tuyến, độ phức tạp thường gia tăng mạnh với bậc không gian đầu vào, việc áp dụng mô hình ngoại sinh tự hồi quy phi tuyến NARX có chiều mơ hình sai số đầu phi tuyến NOE phổ biến Một điểm hạn chế mơ hình lựa chọn thứ tự động lực mang tính định việc thực khơng có sẵn phương pháp hiệu cho việc xác định 45 u(k) y(k) Thiết bị z-1 u(k - 1) z-1 z-1 u(k - 2) y(k – ny) z-1 z-1 y(t-u+1) x(t-d) Dự đoán trước bước thời điểm t e(k) z-1 y(k – 1) y(k – 2) ym(k) Mơ hình u(k – nz) y(t) z-1 ym(t+1) y(t+1) ym(t+2) z-1 y(t+u+2) x(t-d+1) z-1 Dự đoán y(t+k-1) trước z-1 bước y(t+k-u) thời điểm t+1 x(t-d+k-1) z-1 z-1 Dự đoán trước bước thời điểm t + k+1 ym(t+k) x(t-d+k-u’) Hình 2.14 Các mơ hình ngoại động lực (a) Dự đốn trước bước (b) Hệ thống động liên tiếp – song song 2.8 Phát triển mơ hình hóa phi tham số Hồi quy dùng phương pháp bình phương tối thiểu phần (PLS), kỹ thuật hiệu chuẩn đa biến, chiếu liệu đầu vào-đầu ban đầu khoảng trống ẩn, khai số nhân tử (cũng biết đến biến ẩn) với cấu trúc trực giao, thu nạp phần lớn phương sai liệu gốc Tóm lại, biểu diễn khai triển song tuyến tính X Y sau: X = TWY + EX (2.50) 46 Y = UQY + EY (2.51) Như trị số ma trận X trị số phần chưa xác định Y có hiệp phương sai tối đa Ở đó, T W, U Q theo thứ tự vector X Y, trị số PLS trọng số, EX, EY số dư X Y Các mơ hình khai triển X Y phương trình liên kết mơ hình qua hồi quy tạo thành mơ hình hồi quy PLS tuyến tính Trong trường hợp biến số Y y, mơ hình biểu diễn hàm hồi quy: y = bX + E (2.52) Ở đó, b hệ số hồi quy Mơ hình PLS phát triển qua hai giai đoạn; liệu ban đầu chia làm hai con: huấn luyện kiểm tra Bộ liệu huấn luyện sử dụng để xây dựng mơ hình tính tốn hệ số hồi quy (bPLS), hệ số sau sử dụng để tạo dự đoán biến số phụ thuộc liệu Cấu trúc perceptron đa lớp có lẽ mơ hình mạng nơron sử dụng rộng rãi có lực/thực mơ hình hóa phi tuyến dài lâu chứng minh Tri thức mạng nơron lưu trữ trọng số kết nối nơron nhân tạo Cấu trúc kết nối hàng loạt mạng perceptron đa lớp cung cấp số lượng lớn trọng số theo cung cấp sức chứa lớn để lưu trữ thông tin phức tạp Quy tắc delta khái quát hóa áp dụng cho điều chỉnh trọng số mạng truyền thẳng nhằm cực tiểu hóa sai số hàm cost định trước 47 CHƯƠNG III XÂY DỰNG HỆ THỐNG XẤP XỈ PHI TUYẾN SỬ DỤNG MẠNG WAVELET 3.1 Đặt tốn Mạng nơron tiếp cận mơ hình cách sử dụng đầu vào đầu xác sử dụng để huấn luyện mơ hình chung có đủ độ tự để ước lượng tốt đầu vào đầu Một mạng nơron huấn luyện để thực chức cụ thể cách điều chỉnh giá trị kết nối (trọng số) phần tử Một trình phổ biến mà mạng nơron sử dụng mơ hình hóa hệ thống bao gồm việc đặt mạng nơron song song với hệ thống vật lý, áp dụng hệ thống vào đầu vào mạng, sử dụng đầu hệ thống đầu mong muốn cho hệ thống mạng huấn luyện mạng nơron lỗi đầu hệ thống mạng đạt đến mức chấp nhận Ở đây, mạng điều chỉnh, dựa so sánh đầu mục tiêu Sơ đồ việc xác định hệ thống bất biến theo thời gian thể hình 3.1 Hệ thống F(u) + e u Mạng nơron F෠(u) Thuật tốn học Hình 3.13.1: Sơ Sơ đồ đồ hệ thống bất bất biếnbiến theotheo thờithời giangian Hình hệ thống Nói chung, với hàm y, đầu vào u ⊂ R ánh xạ thành phần y cho j = 1, , N không gian đầu Trong trường hợp hệ thống động, có cặp vào - thời gian u(t), y(t) Mục tiêu 48 xác định F cho đầu vào đầu cho u F (u) tương ứng Sai số e khác biệt đầu hệ thống quan sát đầu tạo F෠ theo ||y − ŷ|| = ||F(u) − F෠(u)|| = 𝑒 (3.1) Để có (3.1) thỏa mãn theo yêu cầu đặt cần phải huấn luyện mạng nơron theo thuật toán học 3.2 Áp dụng mạng nơron wavelet cho nhận dạng hệ động lực 3.2.1 Hệ thống với chuỗi thời gian Mackey-Glass - Giả sử cho hệ thống Mackey-Glass sau: 𝑑𝑥(𝑡) 𝑑𝑡 = 𝑎𝑥(𝑡−𝜏) 1+𝑥 10 (𝑡−𝜏) − 𝑏𝑥(𝑡) (3.2) - Quá trình tạo 1000 điểm với điều kiện ban đầu x (0) = 1: 2, = 17, a = 0.2, b = 0.1 lấy tập liệu từ t = 123 đến t = 1123 Lần 500 điểm liệu sử dụng để đào tạo xác nhận, lại 500 Điểm dành riêng cho giai đoạn thử nghiệm Trong kiểm tra bước trước, sử dụng x (t), x (t + 1), x (t + 2) … x (t + 9) để dự đoán giá trị x (t + 10), kiểm tra bước, nhiệm vụ để dự đoán x (t + 6) sử dụng biến đầu vào x (t), x (t - 6), x (t - 12), x (t - 18) Bài tốn mơ bốn trường hợp sau: (1) thuật toán giảm gradient sử dụng để đào tạo mơ hình mạng nơron wavelet với kiến trúc mạng đề xuất thuật toán học lai sử dụng để đào tạo mơ hình mạng nơron wavelet với kiến trúc mạng , thuật toán giảm gradient (với momentum) để đào tạo mơ hình mạng nơron wavelet với kiến trúc mạng hình 2.13; - Đề xuất thuật tốn học lai sử dụng để huấn luyện mơ hình mạng nơron wavelet với kiến trúc mạng hình 2.13 Đối với trường hợp, 1000 điểm mẫu sử dụng 500 cặp liệu sử dụng làm liệu huấn luyện, 500 số lại sử dụng để xác nhận mơ hình xác định Để loại bỏ hiệu ứng giá trị ban đầu tham số cho kết cuối cùng, mơ hình huấn luyện cho giai đoạn RMSE trung bình tính 49 Độ lệch tối đa tối thiểu RMSE 0.0028 0.012 Để có kết tốt nhất, việc so sánh với thuật toán giảm gradient kỹ thuật lai trình bày cho thấy việc so sánh kết thử nghiệm mơ hình khác hỗn hợp Mackey - Glass Quá trình thực để hiển thị chuỗi thời gian thực tế, kết mơ hình mạng nơron wavelet tốt lỗi dự báo cách sử dụng thuật toán huấn luyện lai ghép cho tập liệu huấn luyện kiểm tra Kiểm tra phương pháp với số lượng khác lớp ẩn so sánh kết tốt nhận trường hợp mạng nơron wavelet hiển thị Rõ ràng mạng nơron wavelet có độ xác cao so với mạng nơron thơng thường Trong đó, kết mơ chứng minh thuật tốn huấn luyện lai hiệu thuật toán học gradient thông thường Từ kết mô trên, thấy mơ hình mạng nơron wavelet đề xuất với kỹ thuật lai hoạt động tốt để tạo mơ hình dự đốn thời gian Biểu đồ giá trị thực - dự báo + BIEU DO GIA TRI THUC - VA DU BAO + THOI DIEM TINH CAC GIA TRI THUC VA DU BAO 3.5 2.5 1.5 0.5 0 50 100 150 200 250 300 350 CAC GIA TRI THUC VA GIA TRIJ DU BAO Các giá trị thực giá trị dự báo Hình 3.2 Sử dụng mạng nơron wavelet cho xấp xỉ dự báo 3.2.2 Thuật toán huấn luyện mạng nơron wavelet 50 400 450 Bắt đầu Khởi tạo Wij, Wjk,bk,ak, 𝞰 Xây dựng mạng nơron wavelet liệu đầu vào, liệu đầu Uớc tính giá trị đầu mạng Nơron Wavelet I=I+1 Tính tốn sai số e đầu giá trị dự kiến Cập nhật bk ak Cập nhật trọng số (đầu vào,H.L) (H.L,đầu ra) Is e < ed Sai Đúng Hiển thị kết Kết thúc Hình 3.3 Thuật tốn huấn luyện mạng nơron wavelet 51 3.2.3 Cho hệ phi tuyến chiều 𝑓(𝑥) = 𝑠𝑖𝑛2𝜋𝑥 𝑒𝑥 𝑥[0,10] (3.3) Ví dụ f (x) thử nghiệm cho xấp xỉ phi tuyến Vị trí độ dãn nở sử dụng cho chức kích hoạt wavelet, huấn luyện 100 mẫu tạo cách đầu vào lấy thống từ khoảng [0, 10] Hình 3.4 trình bày xấp xỉ mạng Nơron Wavelet sử dụng 10 chức kích hoạt wavelet thấy mạng nơron wavelet có khả thực phép xấp xỉ hồn hảo Hình 3.4 bảng 3.1 52 Đầu vào (A) Đầu (B) Đầu vào (A) Đầu (B) 0.5319 0.7787 0.7046 0.3940 0.0000 -0.3226 -0.4723 -0.4273 -0.2390 -0.0000 0.1957 0.2865 0.2592 0.1449 0.0000 -0.1187 -0.1737 -0.1572 -0.0879 -0.0000 0.0720 0.1054 0.0954 0.0533 0.0000 -0.0437 -0.0639 -0.0578 -0.0323 -0.0000 0.0265 0.0388 0.0351 0.0196 0.0000 -0.0161 -0.0235 -0.0213 -0.0119 -0.0000 0.0097 0.0143 0.0129 0.0072 0.0000 -0.0059 -0.0087 -0.0078 -0.0044 -0.0000 0.9995 0.9992 0.9988 0.9979 0.3940 -0.3226 -0.4723 -0.4273 -0.2390 -0.0000 0.1957 0.2865 0.2592 0.1449 0.0000 -0.1187 -0.1737 -0.1572 -0.0879 0.0720 0.1054 0.0954 0.0533 -0.0437 -0.0639 -0.0578 -0.0323 -0.0000 0.0265 0.0388 0.0351 0.0196 -0.0161 -0.0235 -0.0213 -0.0119 0.0097 0.0143 0.0129 0.0072 -0.0059 -0.0087 -0.0078 -0.0044 0.0036 0.0052 0.0047 0.0027 0.0000 -0.0022 -0.0032 -0.0029 -0.0016 -0.0000 0.0013 0.0019 0.0017 0.0010 -0.0000 -0.0008 -0.0012 -0.0011 -0.0006 -0.0000 0.0005 0.0007 0.0006 0.0004 0.0000 -0.0003 -0.0004 -0.0004 -0.0002 -0.0000 0.0002 0.0003 0.0002 0.0001 -0.0000 -0.0001 -0.0002 -0.0001 -0.0001 -0.0000 0.0001 0.0001 0.0001 0.0000 0.0000 -0.0000 -0.0001 -0.0001 -0.0000 0.0036 0.0052 0.0047 0.0027 -0.0022 -0.0032 -0.0029 -0.0016 0.0013 0.0019 0.0017 0.0010 -0.0008 -0.0012 -0.0011 -0.0006 0.0005 0.0007 0.0006 0.0004 -0.0003 -0.0004 -0.0004 -0.0002 0.0002 0.0003 0.0002 0.0001 -0.0001 -0.0002 -0.0001 -0.0001 0.0001 0.0001 0.0001 0.0000 -0.0000 -0.0001 -0.0001 -0.0000 -0.0000 53 GIA TRI X TAI CAC THOI DIEM TINH Giá trị x thời điểm tính BIEU DO TINH TOAN XAP XI MANG NO RON WAVELET - GIA TRI THUC + GIA TRIJ XAP XI 0.5 -0.5 20 40 60 80 CAC THOI DIEM TINH X 100 120 Các thời điểm tính x Hình 3.4 Biểu đồ tính tốn xấp xỉ mạng nơron wavelet gồm giá trị thực giá trị xấp xỉ 54 Bảng 3.1 Kết sau mạng nơron huấn luyện (Kết tốn trích dẫn từ nghiên cứu sinh viên học viện cơng nghệ bưu viễn thơng) Kết mô cho thấy sai lệch nhận dạng tín hiệu mẫu tín hiệu tính tốn mơ hình nhận dạng nhỏ, điều chứng tỏ sử dụng mạng nơron truyền thẳng nhiều lớp nhận dạng hệ thống giải pháp hiệu có độ xác cao Giải pháp có đóng góp cần sử dụng mạng nơron wavelet mà nhận dạng hệ thống hệ phi tuyến Có thể ứng dụng giải pháp cho việc sử dụng mạng nơron wavelet nhận dạng cho đối tượng phi tuyến khác có mức độ phi tuyến cao 55 PHẦN KẾT LUẬN - Đồ án trình bày sở lý thuyết mạng nơron wavelet, thuật học ứng dụng cho nhận dạng hệ động lực phi tuyến; - Bằng phương pháp phân tích, so sánh cấu trúc, luật học khả ứng dụng thực tiễn loại mạng nơron, luận văn chọn mạng nơron wavelet mạng có nhiều ưu điểm cấu trúc luật học để tập trung nghiên cứu ứng dụng tốn nhận dạng hệ động lực phi tuyến; - Trên sở cài đặt thử nghiệm cho toán phi tuyến sử dụng mạng nơron wavelet cho thấy kết sai lệch E nhỏ, đồng nghĩa với việc tín hiệu học mạng nơron wavelet bám sát theo tín hiệu thực hệ thống để thay điều khiển hệ thống phi tuyến này; - Tuy nhiên qua trình tìm hiểu số thuật toán mạng nơron wavelet cho thấy tồn nhiều khuyết điểm thuật tốn dẫn đến việc tính tốn chưa xác tuyệt đối; việc xây dựng, cài đặt thuật tốn khó khăn Vì theo quan điểm học viên đề tài có số hướng phát triển sau: - Tiếp tục tìm hiểu thuật tốn khác dễ xây dựng có độ xác cao - Kết hợp nhiều thuật toán nhận dạng để khắc phục khuyết điểm tồn thuật tốn làm tăng độ xác 56 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Bùi Cơng Cường, Nguyễn Dỗn Phước (2006), “Lý thuyết mờ cơng nghệ tính tốn mềm”, Hệ mờ mạng Nơron ứng dụng, Nhà xuất Khoa học Kỹ thuật [2] Nguyễn Đình Thúc (2000), Trí tuệ nhân tạo Mạng Nơron phương pháp & ứng dụng, Nhà xuất Giáo dục Tiếng Anh [3] Zhang Q G., Benveniste A (1992), Wavelet Networks IEEE Trans Nơron Network, 3, pp 889-898 [4] Moddy J., Darken C J (1989), Fast learning in network of locally tuned processing units Nơron Comput., 1, pp 281-294 [5] Cao J., Lin X (2008), Application of the diagonal recurrent wavelet Nơron network to solar irradia- tion forecast assisted with fuzzy technique, Eng, Appl, Artif, Intel, 21, pp 1255-1263 [6] Zainuddin Z., Ong P (2011), Modified wavelet Nơron network in function approximation and its application in prediction of time-series pollution data, Appl, Soft Comput, 11, pp 4866-4874 [7] Zainuddin Z., Wan Daud W R., Ong P., Shafie A (2011), Wavelet Nơron Networks Applied to Pulping of Oil Palm Fronds, Bioresource Technol, 102, pp 10978-10986 57 ... mạng nơron wavelet cho xấp xỉ dự báo 50 Hình 3.3 Thuật toán huấn luyện mạng nơron wavelet 51 Hình 3.4 Biểu đồ tính tốn xấp xỉ mạng nơron wavelet gồm giá trị thực giá trị xấp xỉ ... BẢNG BIỂU Bảng 3.1 Kết sau mạng nơron huấn luyện 55 LỜI CAM ĐOAN Em xin cam đoan luận văn thạc sĩ công nghệ thông tin Mạng nơron Wavelet ứng dụng cho xấp xỉ phi tuyến sản phẩm nghiên cứu... BẢN VỀ MẠNG NƠRON 1.1 Khái niệm mạng nơron 1.2 Các cấu trúc mạng nơron 11 1.2.1 Cấu trúc mô hình nơron nhân tạo 11 1.2.2 Mạng nơron lớp 16 1.2.3 Mạng nơron truyền