Mạng nơ ron Wavelet và ứng dụng cho nhận dạng hệ động lực

Bài báo đề xuất sử dụng mạng Nơron Wavelet cho nhận dạng là một phương pháp tốt, và rất thích hợp trong lĩnh vực điều khiển thích nghi, phi tuyến có trễ các hệ động lực.

ISSN 2354-0575 MẠNG NƠ RON WAVELET VÀ ỨNG DỤNG CHO NHẬN DẠNG HỆ ĐỘNG LỰC Nguyễn Đức Tĩnh, Nguyễn Thị Nhung, Lê Bá Dũng Trường Đại học Sư phạm Kỹ thuật Hưng Yên Ngày tòa soạn nhận báo: 28/06/2018 Ngày phản biện đánh giá sửa chữa: 20/07/2018 Ngày báo duyệt đăng: 24/07/2018 Tóm tắt: Mạng Nơ ron nhân tạo (Artificial Neural Network - ANN) nói chung, mạng Nơ ron Wavelet nói riêng nghiên cứu, ứng dụng mạnh mẽ thành công nhiều lĩnh vực năm gần Với trình như: xấp xỉ phi tuyến, dự báo thị trường chứng khốn, dự báo mơ hệ thống điều khiển,…, sử dụng, giải có nhiều kết Các lớp toán lĩnh vực sử dụng giải theo phương pháp truyền thống phương pháp thống kê, quy hoạch tuyến tính],… Tuy nhiên Mạng nơron nhân tạo, mạng Nơron Wavelet hình thành có nhiều khả vượt trội việc phân tích, dự báo, đánh giá liệu áp dụng thành công lĩnh vực khoa học, kỹ thuật, kinh tế,… Khi giải tốn với nhận dạng q trình động lực học đối tượng có độ phi tuyến cao, độ trễ lớn khó khăn mơ tả tốn học Để điều khiển hệ thống thường phải xây dựng quan sát thích nghi Sử dụng Mạng Nơron Wavelet cho nhận dạng phương pháp tốt, thích hợp lĩnh vực điều khiển thích nghi, phi tuyến có trễ hệ động lực Các kết báo dựa mơ thực hiện, qua so sánh đánh giá sai số cho thấy sử dụng WNN nhận dạng hợp lý tin cậy Từ khóa: WNN (wavelet neural network), nhận dạng, lan truyền ngược, Wavelet Mở đầu Nhận dạng đối tượng điều khiển toán cần phải xử lý trước xây dựng điều khiển cho đối tượng cần điều khiển Có nhiều phương pháp tiếp cận đến để giải toán nhận dạng đối tượng điều khiển thông qua thực mơ hình thử nghiệm, hay tín hiệu đo sử dụng theo mơ hình xử lý hệ thống xác định lớp đối tượng chọn mơ hình tốn học Nhận dạng hệ thống phát triển từ khoảng năm 1960, đặc biệt lĩnh vực kiểm soát kỹ thuật giao tiếp, dựa phương pháp lý thuyết hệ thống, lý thuyết tín hiệu, lý thuyết điều khiển lý thuyết ước lượng chịu ảnh hưởng kỹ thuật đo lường đại, kỹ thuật số nhu cầu xử lý tín hiệu xác Sự phát triển phương pháp nhận dạng cho hệ thống động lực phi tuyến [3] qua phân tích hệ thống động lực phi tuyến phức tạp phương pháp điều cần thiết Tuy nhiên, việc xác định mơ hình thiết kế điều khiển có nhiều thách thức Trong lĩnh vực mơ hình hóa, kiểm sốt ứng dụng, ví hệ thống sinh học chẳng hạn, với mục đích tìm hiểu cách thức hệ thống qua kết hợp liệu thử nghiệm với mơ hình tốn học kỹ thuật phân tích hỗ trợ máy tính cho kết khả quan [5] Hiện nay, cách tiếp cận điển hình để biểu diễn mạng sinh hóa thơng qua tập hợp phương trình vi phân 18 thơng thường Việc xác định mơ hình phi tuyến thường nhiệm vụ khó khăn, thiếu thông tin, thông tin không chắn, nhiễu tác động cho nhận dạng [7], Vì tiếp cận đến phương pháp tính tốn mềm [1,2,3,4,6,7] hợp lý tin cậy Bài báo hình thành từ phần i) mở đầu, ii) Cơ sở toán học WNN, iii) Bài toán nhận dạng sử dụng WNN iv) Kết luận Cơ sở toán học mạng nơ ron Wavelet 2.1 Mô tả hệ thống mạng Wavelet Cấu trúc đơn giản WNN giống với mạng nơ ron thông thường miêu tả Hình [1,2,3,4], nút lớp Wavelet kết nối tới tất biến đầu vào Trên Hình mạng nơ ron WNN gồm ba lớp: lớp vào, lớp ẩn hay gọi lớp wavelet, lớp Lớp đầu vào Lớp Wavelet Lớp đầu Hình Cấu trúc mạng Nơron wavelet Khoa học & Công nghệ - Số 19/Tháng - 2018 Journal of Science and Technology ISSN 2354-0575 Đầu vào vector x = (x1 , x2 , , xk ) Đầu y Giữa kết nối nút đầu vào nút ẩn, nút ẩn nút đầu trọng số \wjk wij, với j=1 N, k=1 m, i=1 Hàm wavelet có dạng sau: x-b (1) } a, b (x) = } ( a ) Trong đó: a > hệ số giãn nở (flexing) b ∈ R giá trị vị trí (dịch chuyển-translating) Đầu vào lớp mạng nơron Wavelet viết: JK m = K N KK / w jk xk - b j OOO N OO (2) y| = / wij } a, b KKK k = a O j j=0 L P Trong đó: y đầu mạng Wavelet có:  (3) y = δ ( y) δ hàm sigmoid nơ ron lớp 2.2 Huấn luyện mạng Wavelet Như biết việc huấn luyện mạng nơ ron Wavelet tương tự huấn luyện mạng nơ ron khác thường sử dụng thuật toán lan truyền ngược [6] Trong thuật toán lan truyền ngược với mục tiêu cần cực tiểu hàm sai số: e = y(x) - yd(x) (4) hàm giá định nghĩa sau: E = e2 Trong đó: y(x) tín hiệu mơ hình yd(x) tín hiệu mong muốn cần đạt Q trình huấn luyện mạng để đầu mạng Wavelet cho y(x) tiệm cận yd(x) hay e ->0 cần phải cập nhật thông số \wjk wij hệ số co giãn a dịch chuyển b [1,2,3,4,6] Sự thay đổi trọng số wjk wij hệ số a, b tính bằng: 2E 2E 2E Tw =- h 2w , Ta =- h 2a , Tb =- h 2b Từ phương trình (1), (2), (3) ta đặt x (n) he (n) (v (n) wij (n) }o ab (v j (n) ak(n) + aTw jk (n) (6) Cập nhật số lớp ∆wij ( n + 1) =−η ∂E ( n ) + α∆wij ( n ) = ∂wij ( n ) η e( n )δ (v ( n ))ψ ab (v j ( n )) + α∆wij ( n ) (7) Cập nhật hệ số giãn nở a ∂E ( n ) + α∆a ( n ) = ∂a ( n ) v j (n) − b(n) −η e( n )δ (v ( n )) wij ( n )ψ ab (v j ( n )) + α∆a ( n ) a ( n)2 ∆a ( n + 1) =−η (8) Cập nhật hệ số dịch chuyển b 2E (n) Tb (n + 1) =- h 2b (n) + aTb (n) = - he (n) (v (n)) wij (n) }o (v j (n)) a (n) + aTb (n) (9) Bài toán nhận dạng hệ động lực sử dụng mạng WNN 3.1 Mơ hình nhận dạng sử dụng WNN Mạng Nơron cho nhận dạng hệ động học theo tiếp cận mơ hình cách sử dụng đầu vào đầu Một mạng Nơron huấn luyện để có đầu mong muốn thông qua điều chỉnh giá trị kết nối (trọng số) phần tử mạng Một trình phổ biến mà NN sử dụng mơ hình hóa hệ thống bao gồm việc đặt NN song song với hệ thống vật lý, áp dụng hệ thống đầu vào mạng, sử dụng đầu hệ thống đầu mong muốn cho hệ thống mạng huấn luyện mạng Nơ ron lỗi đầu hệ thống mạng đạt đến giá trị chấp nhận Sơ đồ hệ thống nhận dạng hệ động lực học theo thời gian thể Hình m v j ( n ) = ∑ w jk ( n ) xk ( n ) k =0 (5) N v ( n ) = ∑ wij ( n )ψ ab (v j ( n )) j =0 u(t) Hệ động lực llực F(u) u thời điểm n thực q trình đạo hàm theo thơng số ta có q trình cập nhật thơng số nhau: Cập nhật số lớp vào: 2E (n) Tw jk (n + 1) =- h 2w (n) + aTw jk (n) = jk Khoa học & Công nghệ - Số 19/Tháng - 2018 Mạng Wavelet F| (u) Huấn luyện Hình Sơ đồ hệ thống nhận dạng hệ động lực Journal of Science and Technology 19 ISSN 2354-0575 Trên Hình với đầu vào u(t) qua hệ động học cho đầu y cho j = 1, , N không gian đầu Với cặp vào-ra  thời gian u(t), F(t) cho hệ động lực u(t), F (t) cho mạng Wavelet Sai số e khác biệt đầu hệ động lực đầu tạo mạng Nơron tính theo: F (u) - F| (u) e (10) Kết hợp chặt chẽ đặc tính cục theo thời gian /tần số bước sóng Wavelet khả học WNN cho thấy lợi nhận dạng mơ hình hệ thống phi tuyến đầy phức tạp Những sóng Wavelets trở thành chủ đề tích cực nhiều lĩnh vực nghiên cứu khoa học kỹ thuật Đặc biệt mạng Nơron sóng -Wavelet Neural Networks - WNN Nơron lớp ẩn đại diện cho hệ số sóng con, từ biến đổi sóng cho kết xác tín hiệu ban đầu Vì lý này, hệ số sóng đóng góp vào tính riêng tín hiệu xác định q trình huấn luyện cho WNN Vì vấn đề liên quan đến việc xác định kiến trúc WNN tối ưu để tìm kiếm hàm Wavelet hợp lý cho tứng nút So với mạng Perceptron đa lớp (MLP), mạng xun tân, mơ hình WNN đề xuất hợp vài biến đổi so với WNN cổ điển nhằm nâng cao hiệu suất Một WNN sử dụng hàm Wavelet phi tuyến cho phép tính gần tín hiệu mong muốn đầu y(t) thông qua tổ hợp số hàm Wavelet qua phép co giãn a tịnh tiến b từ Wavelet mẹ Giả sử hệ động lực mô tả theo (11) y(k + 1) = f (u(k),u(k - 1) y(k), y(k - ) Trong đó: u(k),u(k-1) tín hiệu vào tại, khứ y(k+1), y(k), y(k-1) đầu thời điểm tương lai, khứ Hệ nhận dạng cho (11) thấy Hình 3.2 Áp dụng cho số hệ thống 3.2.1 Hệ thống với chuỗi thời gian Mackey-Glass Giả sử cho hệ thống Mackey-Glass sau: dx (t ) ax (t − τ ) = − bx (t ) dt + x10 (t − τ ) (12) Quá trình tạo 1000 điểm với điều kiện ban đầu x (0) = 1: 2, t = 17, a = 0.2, b = 0.1 lấy tập liệu từ t = 123 đến t = 1123 Lần 500 điểm liệu sử dụng để huấn luyện xác nhận, lại 500 điểm dành riêng cho giai đoạn thử nghiệm, sử dụng x (t), x (t + 1), x (t + 2), , x (t + 9) để dự đoán giá trị x(t + 10), bước kiểm tra bước, nhiệm vụ để dự đoán x (t + 6) sử dụng biến đầu vào x (t), x (t - 6), x (t - 12), x (t - 18) Bài tốn mơ bốn trường hợp sau: (1) thuật toán gradient descent sử dụng để huấn luyện mơ hình WNN với kiến​​ trúc mạng đề xuất, thuật toán học lai sử dụng để huấn luyện mơ hình WNN với kiến trúc mạng, thuật toán descent (với momentum) để đào tạo mơ hình WNN với kiến ​​trúc mạng Hình Để loại bỏ hiệu ứng giá trị ban đầu tham số cho kết cuối cùng, mơ hình huấn luyện cho giai đoạn đánh giá sai số RMSE trung bình tính Độ lệch tối đa tối thiểu RMSE 0.0028 0.012 Để có kết tốt nhất, việc so sánh với thuật toán giảm gradient kỹ thuật lai trình bày cho thấy việc so sánh kết thử nghiệm mơ hình khác Mackey - Glass Quá trình thực để hiển thị chuỗi thời gian thực tế, kết mơ hình WNN tốt lỗi dự báo cách sử dụng thuật toán huấn luyện lai ghép cho tập liệu huấn luyện kiểm tra Kiểm tra phương pháp với số lượng khác lớp ẩn so sánh kết tốt nhận trường hợp WNN hiển thị Rõ ràng WNN có độ xác cao so với NN thơng thường Trong đó, kết mơ chứng minh thuật tốn huấn luyện lai hiệu thuật toán học gradient thông thường Từ kết mô trên, thấy mơ hình WNN đề xuất với kỹ thuật lai hoạt động tốt xác Trên Hình q trình mơ giá trị thực giá trị tính tốn sử dụng WNN gần Đánh giả sai số theo RMSE trung bình thấp Hình Mơ hình nhận dạng hệ động lực cho (11) 20 Khoa học & Công nghệ - Số 19/Tháng - 2018 Journal of Science and Technology ISSN 2354-0575 Hình trình bày nhận dạng WNN sử dụng 10 chức kích hoạt wavelet thấy WNN có khả thực phép nhận dạng hồn hảo Hình Sử dụng WNN cho xấp xỉ dự báo 3.2.2 Cho hệ hệ phi tuyến chiều sin 2rx x[0,10] (13) f1 (x) = e x Ví dụ f1(x) thử nghiệm cho nhận dạng hệ phi tuyến với mạng WNN Vị trí độ dãn nở sử dụng cho chức kích hoạt wavelet, huấn luyện 100 mẫu tạo cách đầu vào lấy thống từ khoảng [0, 10] Hình Sử dụng WNN cho nhận dạng hệ (13) Kết luận Bài báo trình bày phương pháp nhận dạng hệ động lực học sử dụng mạng nơ ron WNN Các kết mô cho thấy sử dụng mạng WNN cho nhận dạng thiết kế hệ thống điều khiển thích nghi, dự báo phù hợp khả thi Tài liệu tham khảo [1] Zhang Q G., Benveniste A., Wavelet Networks IEEE Trans Neural Network, 1992, 3, pp 889-898 [2] Moddy J., Darken C J., Fast learning in network of locally tuned processing units Neural Comput., 1989, 1, pp 281-294 [3] Cao J., Lin X.: Application of the diagonal recurrent wavelet neural network to solar irradia- tion forecast assisted with fuzzy technique Eng Appl Artif Intel., 2008, 21, pp 1255-1263 [4] Zainuddin Z., Ong P.: Modified wavelet neural network in function approximation and its application in prediction of time-series pollution data Appl Soft Comput., 2011, 11, pp 4866-4874 [5] Zainuddin Z., Wan Daud W R., Ong P., Shafie A.: Wavelet Neural Networks Applied to Pulping of Oil Palm Fronds Bioresource Technol., 2011, 102, pp 10978-10986 [6] R Kamyab Moghadas and S Gholizadeh, A New Wavelet Back Propagation Neural Networks for Structural Dynamic Analysis Engineering Letters, 16:1, EL_16_1_03 [7] Cheng-Jian Lin, Chun-Cheng Peng, Cheng-Hung Chen and Hsueh-Yi Lin, A Self-Organizing Recurrent Wavelet Neural Network for Nonlinear Dynamic System Identification, Appl Math Inf Sci 9, 2015, No 1L, 125-132 A WAVELET NEURON NETWORK AND IT’S APPLICATIONS FOR DYNAMIC SYSTEM IDENTIFICATION Abstract: The paper proposes using WNN for dynamic system identification By using this method a lot of control systems have been designed and implemented This is a viable method, using the technique of softcomputing for identification and design of the control system in accordance with the current advanced technology Keywords: WNN, Identification, Backpropagation, Wavelet Khoa học & Công nghệ - Số 19/Tháng - 2018 Journal of Science and Technology 21 ... (9) Bài toán nhận dạng hệ động lực sử dụng mạng WNN 3.1 Mơ hình nhận dạng sử dụng WNN Mạng N? ?ron cho nhận dạng hệ động học theo tiếp cận mơ hình cách sử dụng đầu vào đầu Một mạng N? ?ron huấn luyện... động học cho đầu y cho j = 1, , N không gian đầu Với cặp vào-ra  thời gian u(t), F(t) cho hệ động lực u(t), F (t) cho mạng Wavelet Sai số e khác biệt đầu hệ động lực đầu tạo mạng N? ?ron tính... (13) Kết luận Bài báo trình bày phương pháp nhận dạng hệ động lực học sử dụng mạng nơ ron WNN Các kết mô cho thấy sử dụng mạng WNN cho nhận dạng thiết kế hệ thống điều khiển thích nghi, dự báo phù