- Trong những thập kỷ qua, các mạng nơron đã được thiết lập như là một công cụ ước chừng chung cho các mô hình phi tuyến tính trùng khớp từ dữ liệu đầu vào, đầu ra. Một mạng nơron xuất phát từ sức mạnh tính toán thông qua cấu trúc được phân bổ song song một cách ồ ạt và khả năng nghiên cứu của nó. Tuy nhiên, việc thực hiện của các mạng nơron bị thiếu hụt các phương pháp xây dựng hiệu quả, cả hai xác định các thông số của các nơron và cho việc lựa chọn những
cấu trúc mạng. Mạng nơron nhân tạo đã hạn chế khả năng mô tả đặc tính riêng
của một chuỗi thời điểm, nói chung là rất quan trọng để phân loại chính xác hay mô phỏng các chuỗi. Bởi các tính năng này thường bị biệt lập theo thời gian và/hay
tần số, sử dụng những sóng nhỏ cho phép mạng nơrontận dụng lợi thế của việc
phân tích đa phân giải được cung cấp bởi những sóng nhỏ để tập trung mạng lưới vào các tính năng cục bộ;
- Những kỹ thuật sóng nhỏ có thể cung cấp thêm cái nhìn sâu sắc và hiệu quả trong các tình huống phân tích dữ liệu mà các kỹ thuật Fourier đã được sử dụng trước đây. Ý tưởng sử dụng những sóng nhỏ trong các mạng nơron được đề xuất bởi Zhang và Benveniste [3]. Zhang và cộng sự được mô tả như một mạng nơron dựa trên sóng nhỏ cho nghiên cứu hàm số và lập dự toán, và cấu trúc của mạng này là tương tự như của mạng RBF ngoại trừ các hàm số tỏa tròn được thay thế bởi các hàm số xác định tỷ xích trực chuẩn. Từ quan điểm của đại diện hàm số, những mạng lưới RBF truyền thống có thể đại diện cho bất kỳ hàm sốnào trong không gian được nối lại bởi các hệ thốnghàm số cơ bản.Tuy nhiên, các hàm số cơ bản trong hệ thống thường không trực giao và là dư thừa.Nó có nghĩa rằng đại diện mạng RBF cho một hàm số nhất định không phải là duy nhất và có lẽ không phải là hiệu quả nhất. Bakshi và Stephanopoulos đã trình bày một cách sáng tạo
về một mạng nơron wavelet trực giao cho sự xấp xỉ và phương pháp phân loại dựa
- Những sóng nhỏ (wavelets) đã trở thành một chủ đề rất tích cực trong nhiều lĩnh vực nghiên cứu khoa học cụ thể và kỹ thuật. Đặc biệt, những mạng nơron sóng nhỏ (Wavelet Neural Networks), được lấy cảm hứng từ cả thức ăn – hướng đến mạng nơron và sự phân tách sóng nhỏ, đã nhận được sự chú ý đáng kể và trở thành một công cụ phổ biến cho phép tính xấp xỉ hàm số. Đặc điểm chính của mạng nơron wavelet là dường như trái ngược với mạng nơron cổ điển sử dụng các hàm số kích hoạt dựa trên đường xích ma, chúng thường sử dụng DWT - rút ra từ một hệ thống của những sóng nhỏ trực giao - như hàm số kích hoạt cho các nơron ở lớp bị ẩn đi thay vì hàm xích ma bình thường. Mỗi nơron trong lớp ẩn đại diện cho một hệ số sóng nhỏ. Kể từ sự biến đổi của sóng nhỏ dẫn đến kết quả trong một đại diện thưa thớt, không phải tất cả các hệ số sóng nhỏ là cần thiết cho một sự tái thiết lập chính xác của tín hiệu ban đầu. Trong thực tế, bao gồm của tất cả các hệ số có khả năng sẽ gây ra qua việc đào tạo các mạng nơron, và dẫn đến sự hội tụ kém. Vì lý do này, các hệ số sóng nhỏ mà không đóng góp vào các tính năng riêng của tín hiệu được xác định trong quá trình đào tạo lặp đi lặp lại của
mạng nơron wavelet, và tế bào thần kinh tương ứng của chúng được thu gọn từ
mạng. Cấu trúc đơn giản nhất của mạng nơron wavelet rất giống với mạng nơron
như trong hình 2.9 trong đó mỗi tế bào thần kinh thường được áp dụng cho tất cả
các biến vào. Ở đây, những lớp ẩn bao gồm các tế bào nơron, thường được quy cho là những sóng nhỏ.
Lớp đầu vào Lớp sóng nhỏ Lớp đầu ra
Mạng nơron sóng nhỏ bao gồm ba lớp: lớp đầu vào, lớp ẩn và lớp đầu ra. Những kết nối giữa các đơn vị đầu vào và các đơn vị ẩn, và giữa các đơn vị ẩn và
các đơn vị đầu ra được gọi theo thứ tự là trọng số vjp và Wj. Trong mạng Nơron
sóng nhỏ này, quy trình hướng dẫn được miêu tả như sau:
- Ban đầu tham số giãn nở mj, tham số tịnh tiến nj, và nút giao điểm có trọng
số vjp,Wj đến một vài giá trị ngẫu nhiên. Tất cả những giá trị ngẫu nhiên được giới
hạn trong khoảng (0, 1).
- Dữ liệu đầu vào xp(t) và những giá trị đầu ra tương ứng ytd, trong đó p
biến thiên từ 1 đến P, đại diện cho số lượng của các nút đầu vào, t đại diện cho mẫu dữ liệu thứ t của tập hướng dẫn, và d đại diện cho trạng thái đầu ra được mong muốn;
- Giá trị đầu ra của ví dụ t, ŷ t được tính toán theo phương trình sau:
ŷ𝑡 = ∑ Wjφ N j=1 (∑ vjp P p=1 xtp − mj nj ) (2.16) Tại đó φ được xem là hàm wavelet gốc, như bộ lọc hàm wavelet morlet được minh họa ở hình 3.3 và được biểu diễn bởi phương trình:
𝜑(x) = cos( 2𝜇𝛽x )exp ( −0.5x2 ) (2.17) -1 -4 -3 -2 -1 0 1 2 3 4 1 0 -0.5 0.5
Để giảm sai số thì vjp, wj, mj, nj được điều chỉnh thành ∆v, ∆w, ∆m, ∆n. Trong mạng nơron wavelet, thực hiện thuật giảm gradient (gradient descent) thông qua những phương trình sau: ∆Wj(t + 1) = −η ∂Et ∂Wj(t)+ ξ∆Wj(t) ∆vjp(t + 1) = −η ∂Et ∂vjp(t)+ ξ∆vjp(t) (2.18) ∆mj(t + 1) = −η ∂Et ∂mj(t)+ ξ∆mj(t) ∆nj(t + 1) = −η ∂Et ∂nj(t)+ ξ∆nj(t)
Trong đó hàm sai số E diễn tả: Et = 1
2∑(ytd− ŷ𝑡)2 (2.19) M
t=1
M là số lượng dữ liệu của tập huấn luyện.η và ξ là tỷ lệ học và động lượng
tương ứng.
- Quá trình này tiếp tục cho đến khi E đáp ứng yêu cầu được đưa ra, và toàn
bộ huẩn luyện của mạng nơron wavelet được hoàn thành.
Kết hợp các thuộc tính xác định vị trí tần số thời gian của các sóng nhỏ và
các khả năng nghiên cứu của mạng Nơron nói chung, mạng nơron wavelet đã cho
thấy lợi thế qua các phương pháp thông thường như mạng nơron cho mô hình hệ
thống phi tuyến phức tạp.