Bài báo đưa ra một mô hình mạng nơ-ron thực hiện chức năng hiệu chỉnh giản đồ hướng trong hệ thống anten mạng và các khảo sát định tính cũng như định lượng việc tính toán số lượng nơ-ron đối với lớp ẩn của mạng nơ-ron. Mời các bạn tham khảo!
Nghiờn cu khoa hc cụng ngh Số LƯợNG NƠ-RON TRONG LớP ẩN KHI ứNG DụNG MạNG NƠ-RON HIệU CHỉNH GIảN Đồ HƯớNG ANTEN MạNG Lấ DUY HIU, H HUY DNG, BÙI CƠNG PHƯỚC, CAO VIỆT LINH Tóm tắt: Hiện ứng dụng mạng nơ-ron việc hiệu chỉnh giản đồ hướng anten mạng thực phát triển lý thuyết thực tế Q trình hồn thiện cấu trúc mạng nơ-ron phù hợp cho khả tích hợp với hệ thống anten mạng mở số toán cần phải xem xét kĩ lưỡng Một toán quan trọng thiết kế mạng nơ-ron số lượng nơron lớp ẩn phù hợp với ứng dụng cụ thể Bài báo đưa mơ hình mạng nơ-ron thực chức hiệu chỉnh giản đồ hướng hệ thống anten mạng khảo sát định tính định lượng việc tính tốn số lượng nơ-ron lớp ẩn mạng nơ-ron Từ khóa: Mạng nơ-ron, Cấu trúc mạng nơ-ron, Số lượng nơ-ron ĐẶT VẤN ĐỀ Mạng nơ-ron hiệu chỉnh giản đồ hướng hệ thống anten mạng đóng vai trò tự động hiệu chỉnh thích nghi Hoạt động mạng tùy vào thiết kế đáp ứng tiêu chí như: - Đảm bảo xác tổ hợp tín hiệu kích thích phần tử phát xạ theo điều khiển chuẩn; - Tự động hiệu chỉnh giản đồ hướng phù hợp với tác động khơng gian hoạt động chế áp búp sóng phụ, bù suy hao tín hiệu, chế áp búp sóng cần tránh vùng khơng gian bị nhiễu q lớn Để thực chức nêu mạng nơ-ron tiến hành lấy mẫu giản đồ hướng từ tín hiệu thu về, từ đưa đánh giá tiến hành điều chỉnh lại trọng số nơ-ron cấu trúc mạng Mơ hình tích hợp mạng nơ-ron hệ thống anten mạng trỡnh by tng quan trờn hỡnh Hình Mô hình tổng quát hệ thống anten mạng tích hợp mạng n¬ -ron Tạp chí Nghiên cứu KH&CN qn sự, Số 32, 08 - 2014 29 Ra đa Mạng nơ-ron tổng qt hay hệ thống thích nghi có khả thay thay đổi cấu trúc biến đổi thông tin bên nó, độ tin cậy mạng định bởi: - Cấu trúc mạng (số lớp, loại mạng ); - Số nơ-ron lớp ẩn; - Các hàm hoạt động (tuyến tính, phi tuyến, giới hạn cứng …) - Đầu vào (cấu trúc, dải động ) - Thuật toán cập nhật trọng số Trong ứng dụng cụ thể cấu trúc mạng tối ưu hàm hoạt động phù hợp thiết kế từ đầu không thay đổi q trình thích nghi, điều tương tự thiết kế cấu trúc đầu vào, đầu hệ thống Chính điều nên nghiên cứu mạng nơ-ron 20 năm gần chủ yếu tập trung vào việc tối ưu số nơ-ron lớp ẩn thuật toán cập nhật trọng số mạng [1] Bài tốn đặt khả đảm bảo hiệu chỉnh nhằm đạt mức sai số giới hạn thời gian đặt trước Bài báo giới thiệu kết định tính số nơ-ron lớp ẩn tính tốn định lượng trình cập nhật trọng số mạng nơ-ron có cấu trúc phản hồi Kết kiểm nghiệm thực mô Matlab ƯỚC LƯỢNG SỐ NƠ-RON TRONG LỚP ẨN VÀ CÔNG THỨC CẬP NHẬT TRỌNG SỐ TỐI ƯU 2.1 Ước lượng số nơ-ron lớp ẩn Việc lựa chọn ngẫu nhiên số nơ-ron lớp ẩn dẫn tới vấn đề tràn (overfitting) tính tốn khơng đủ khả hội tụ trọng số (underfitting) Một số nơ-ron lớp ẩn tối ưu với ứng dụng thách thức không nhỏ ổn định khả làm việc độ xác mạng nơ-ron Các cơng trình nghiên cứu nhằm cố định số lượng nơ-ron lớp ẩn bắt đầu có cơng bố vào năm 1995 Li cộng với mạng nơ-ron truyền thẳng với mục đích tính số nơ-ron lớp ẩn vừa đủ cho mạng [2] Năm 1997 Tamura Tateishi đưa cơng thức định tính cho số lượng nơ-ron lớp ẩn lớp ẩn N -1; N/2 +3 (N số đầu vào) dựa theo tiêu chuẩn thông tin Akaike [3] Công thức tổng quát hóa Shibata Ikeda, theo số lượng nơ-ron lớp ẩn (Ni, No số nơ-ron đầu vào số nơ-ron đầu ra) [4] Đặc điểm công bố trước năm 2005 kết thu chủ yếu nhờ trình khảo sát thực nghiệm Năm 2008 Jiang công bố định mức khoảng giới hạn số lượng nơ-ron lớp ẩn dựa vào lý thuyết hội tụ, công bố đưa lập luận chặt chẽ cho tính tốn Theo Jiang giới hạn số lượng nơ-ron lớp ẩn tác động đến khả điều chỉnh tốc độ mạng giới hạn số nơ-ron tác động đến điều kiện hội tụ mạng nơ-ron [5] Các nghiên cứu đưa thuật toán tổng quát phức tạp với tham gia tham số cấu hình mạng thuật tốn cập nhật trọng số nơ-ron, kể đến nghiên cứu Doukim năm 2011 Hunter vào năm 2012 [6] Việc xây dựng công thức 30 L D Hiệu, H H Dũng, B C Phước, C V Linh,“Số lượng nơron… anten mạng.” Nghiên cứu khoa học công nghệ toán học hay thuật toán cập nhật trọng số mạng nơ-ron mang ý nghĩa định lượng cơng bố phương pháp tính tốn số lượng nơ-ron lớp ẩn Trong báo thực xây dựng công thức tốn học phù hợp với khả nang tính tốn thực tế mạng truyền thẳng lớp, từ rút số đánh giá số lượng nơ-ron lớp ẩn 2.2 Công thức cập nhật trọng số tối ưu Cấu trúc mạng nơ-ron phù hợp chức hiệu chỉnh giản đồ hướng anten mạng mạng nơ-ron truyền thẳng, thực theo mơ hình lan truyền ngược với cấu trúc gồm lớp (lớp vào; lớp ẩn; lớp ra), hàm truyền đạt sử dụng đảm bảo khả chuyển đổi phi tuyến [7] Cấu trúc mạng kiểm chứng phù hợp qua lý thuyết thực tế cấu trúc mạng sử dụng báo Mạng truyền thẳng lớp phi tuyến giúp cho mạng nơron thực thao tác hiệu chỉnh giới hạn thời gian cho phép Các thay đổi trọng số nơ-ron thực nhờ phản hồi sai số kênh phản hồi ngược Hình mơ tả cấu trúc tổng qt mạng Lớp ẩn x Lớp a1 IW 1,1 Nx V s(1) y LW 2,1 N V M MxN σ s(2) N b (1) V b (2) N N σ M M H×nh CÊu trúc mạng nơ-ron với N nơ-ron lớp ẩn M ®Çu Trong cấu trúc mạng nơ-ron mơ tả hình 2, để phục vụ trình trọng tâm tính tốn cập nhật trọng số số định nghĩa ban đầu đưa sau: - Vec-tơ đầu mong muốn : d(k) = [d1(k) d2(k) dM(k)]T ; - Các trọng số tương ứng với nơ-ron(1, i) lớp ẩn (i = 1,2, ,N): ( ) ( ) ( ) ( ) ( ) ( ) ( ) w , w , …, w , biểu diễn w = w w …w ∈ℜ - Các trọng số tương ứng với nơ-ron(2, j) lớp (j = 1, 2, , M) : w ( ) ,w ( ) , …, w ( ) , biểu diễn w ( ) = w ( ) w ( ) …w ( ) ∈ℜ Lưu ý dãy số đại diện cho thứ tự lớp, số thứ biểu thị vị trí nơ-ron lớp, số thứ hai đại diện cho số đầu vào liên quan đến trọng số Từ biểu diễn ta xây dựng ma trận trọng số lớp, tham số độ dịch b(1) , b(2) lúc thêm vào: ( ) ( ) ( ) … w( )⎤ w w ⎡b ⎢b( ) w ( ) w ( ) … w ( ) ⎥ ( ) ( ) ( ) ( ) ( ) W = w w w …w =⎢ ⎥ (1) ⋱ ⋮ ⎥ ⎢ ( ) ⋮ ( )⋮ ( ) ( ) … w ⎦ w w ⎣b Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 31 Ra đa ( ) W - ( ) ( ) ( ) w w ⎡b ( ) ( ) ( ) ⎢ ( ) ( ) ( ) ( ) w w = w w w …w = ⎢b ⎢ ( ) ⋮ ( )⋮ ( ) w w ⎣b , tương ứng l đầu cộng tuyến tính nơ-ron (2,j) hàm truyền đạt vec-tơ cột): … … w ( ) ⎤ ( )⎥ w (2) ⋱ ⋮ ⎥⎥ ( ) … w ⎦ nơ ron (1,i) đạo hàm riêng Các giá trị đầuu tương ứng sau (.) lần lư ượt zi yj (trong công thức ức số a đại diện cho Nơ-ron (1, i)- Lớp vào: (3) Nơ-ron (2, j)- Lớp : (4) - Sai sốố tức thời mạng đ lựa chọn theo tiêu chuẩn LMS: Sự xem xét mạng nơ-ron ron với v thành phần rời rạc hóa tuân thủủ theo quy tắc Delta tổng quát Quy tắc n thực trình tối ưu sai ssố đầu (E) với ới kỹ thuật cực tiểu hàm h sai số, điều mạng nơ-ron đồng ồng nghĩa với trình điều chỉnh vec-tơ tơ trọng tr số cho hàm sai sốố giảm tỉ lệ thuận vớ với độ dốc âm ( )của hàm sai số ố Các khoảng cập nhật trọng số đ ợc tính theo (6) cho lớp ẩn (7) cho lớp ( -tham tham số s tỉ lệ luyện): Công thức ức cập nhật trọng số lớp ẩn mạng nơ-ron n ại thời điểm (k, k+1) viết sau: Kết hợp (3) vàà (6), công thức th (8) viết lại phù hợp ợp với khả tính tốn thực tế: 32 L D Hiệu, ệu, H H Dũng, D B C Phước, C V Linh,“Số lượng nơron… anten m mạng.” Nghiên cứu ứu khoa học công nghệ Tương tự, ự, có cơng thức cập nhật trọng số lớp ra: Công thức (9) vàà (10) cho phép sử s dụng tính tốn theo thu thuật toán hồi tiếp đệ qui thuật ật toán lặp để thu đ ợc kết mong muốn Xét khối lượng ợng tính tốn thấy việc tăng số lượng l nơ-ron lớp ớp ẩn cần phải giảm bớt số trọng số nơ-ron Theo tiêu chuẩn chuẩn hội tụ thấy để phép tính cơng thức ức (9), (10) thực đ với số lư ượng nơ-ron lớp ẩn nằm khoảng ảng cho phép mà m Jiang cơng bốố năm 2008 llà số nơ-ron lớp ớp ẩn nằm khoảng [N-1, [N 2N] (với N số đầu vào) Sự ự kiểm nghiệm điều ợc mô tr Matlab, với ới số liệu mang tính thống kkê trình bày phần ần KẾT ẾT QUẢ MÔ PHỎNG VÀ V KẾT LUẬN Một ột cấu trúc mạng truyền thẳng hai lớp, sử dụng hiệu chỉnh giản đồ hướng ớng anten mạng 16 phần tử có số đầu vào v đầu ầu 16 Quá tr trình kiểm tra ợt thay đổi số lượng l nơ-ron lớp ẩn ghi lại ại sai lệch giản đồ hướng tái tạo ởi mạng nơ-ron giản đồ hướng ớng chuẩn Bảng llà kết (rút gọn) ọn) thực nghiệm này, n quan sát trực ực quan mối quan hệ sai số mạng nơ-ron số lượng nơ-ron lớp l ẩn thể hình Bảng Mức ức lỗi tối thiểu trung bình b theo số lượng nơ-ron ron llớp ẩn Số TT Số nơ-ron lớp ẩn Mức ức sai số tối thiểu 13 14 15 21 30 54 55 57 61 68 75 76 77 78 99 100 13 14 15 21 30 54 55 57 61 68 75 76 77 78 99 100 Tạp chí Nghiên cứu KH&CN quân uân sự, s Số 32, 08 - 2014 0.395 0.186 0.0414 0.0218 2.10-55 1.10-55 7.10-66 7.10-66 1.10-55 8.10-55 3.10-44 6.10-33 1.10-22 1.10-22 1.10-22 1.10-22 7.10-22 9.10-22 33 Ra đa Hình Đồ thị quan hệ số nơ-ron lớp ẩn mức sai số trung bình Đồ thị hình cho thấy số lượng nơ-ron phù hợp với lượng đầu vào 16 nằm giải từ 15 đến 55, khoảng bao trùm lên cách tính ước lượng số nơ-ron cơng bố, số lượng nơ-ron vượt qua khoảng ước lượng giải thích nhờ khả xử lý toán học độ hội tụ công thức cập nhật trọng số tối ưu cấu trúc mạng anten Khả nâng cao co dãn khoảng số nơ-ron lớp ẩn có ý nghĩa lớn ứng dụng thực tế, điều giúp cho thiết kế cấu trúc mạng không bị cứng nhắc việc ràng buộc số lượng nơ-ron lớp ẩn với số đầu vào Với khoảng rộng việc lựa chọn số lượng nơ-ron lớp ẩn cho phép cấu trúc mạng nơ-ron đáp ứng nhiều ứng dụng hơn, ví dụ cấu trúc mạng nơ-ron hiệu chỉnh giản đồ hướng anten mạng chọn số nơ-ron lớp ẩn 32 đảm bảo khả áp dụng cho mạng anten có số phần tử nằm dải rộng từ 13-32 phần tử TÀI LIỆU THAM KHẢO [1] K.Gnana Sheela and S.N.Deepa "Review on Methods to fix number of hidden neurons in Neural Network.", Mathematical Problems in Engineering, pp.11,2013 [2] J Y Li, T W S Chow, and Y L Yu, “Estimation theory and optimization algorithm for the number of hidden units in the higher-order feedforward neural network,” in Proceedings of the IEEE Inter Conf on Neural Networks, vol 3, pp 1229–1233, December 1995 [3] S Tamura and M Tateishi, “Capabilities of a four-layered feedforward neural network: four layers versus three,” IEEE Trans on Neural Networks, vol 8, no 2, pp 251, 1997 [4] K Shibata and Y Ikeda, “Effect of number of hidden neurons on learning in large-scale layered neural networks,” in Proceedings of the ICROS-SICE International Joint Conference 2009 (ICCAS-SICE '09), pp 5008–5013, August 2009 [5] N Jiang, Z Zhang, X Ma, and J Wang, “The lower bound on the number of hidden neurons in multi-valued multi-threshold neural networks,” in 34 L D Hiệu, H H Dũng, B C Phước, C V Linh,“Số lượng nơron… anten mạng.” Nghiên cứu khoa học công nghệ Proceedings of the 2nd International Symposium on Intelligent Information Technology Application (IITA '08), pp 103–107, December 2008 [6] D Hunter, H Yu, M S Pukish III, J Kolbusz, and B M Wilamowski, “Selection of proper neural network sizes and architectures: a comparative study,” IEEE Trans on Industrial Informatics, vol 8, pp 228–240, 2012 [7] Fa Long Luo, Rolf Unbehauen,“Applied neural networks for signal processing”, Cambridge University Press, pp.367, 1998 ABSTRACT THE NUMBER OF NEURONS IN HIDDEN LAYERS FOR NEURAL APPLICATION IN ANTENNA ARRAY RADIATION PATTERN CORRECTION Recently, neural applications for antenna array radiation pattern correction are realized not only in theoretical developments but also in practice The process optimizing neural network structures suitable for integrating capabilities into antenna array systems leads to some problems that must be carefully considered One of the most important problems in designing a neural network is estimate the suitable number neurons in hidden layers for a specific application The paper presented a neural network model for radiation pattern correction in antenna array system, qualitative and quantitative investigations in calculating the suitable neuron number for hidden layers in a neural network Keywords: Neural network, Neural network architecture, Number of neural Nhận ngày 15 tháng 06 năm 2014 Hoàn thiện ngày 20 tháng 07 năm 2014 Chấp nhận đăng ngày 02 tháng 08 năm 2014 Địa chỉ: Viện Ra đa, Viện KH & CNQS Tạp chí Nghiên cứu KH&CN quân sự, Số 32, 08 - 2014 35 ... cấu trúc mạng không bị cứng nhắc việc ràng buộc số lượng nơ-ron lớp ẩn với số đầu vào Với khoảng rộng việc lựa chọn số lượng nơ-ron lớp ẩn cho phép cấu trúc mạng nơ-ron đáp ứng nhiều ứng dụng hơn,... lệch giản đồ hướng tái tạo ởi mạng nơ-ron giản đồ hướng ớng chuẩn Bảng llà kết (rút gọn) ọn) thực nghiệm này, n quan sát trực ực quan mối quan hệ sai số mạng nơ-ron số lượng nơ-ron lớp l ẩn thể... trọng số tối ưu Cấu trúc mạng nơ-ron phù hợp chức hiệu chỉnh giản đồ hướng anten mạng mạng nơ-ron truyền thẳng, thực theo mơ hình lan truyền ngược với cấu trúc gồm lớp (lớp vào; lớp ẩn; lớp ra),