Phần 1 cuốn sách Mạng nơ-rôn và ứng dụng trong xử lý tín hiệu cung cấp cho người học các kiến thức: Một số các khái niệm cơ bản, mô hình nơ-ron, mô hình mạng perceptron MLP và các thuật toán hoạt động, mạng có phản hồi. Mời các bạn cùng tham khảo nội dung chi tiết.
J NHÀ XUẤT BẢN BÁCH KHOA - HÀ NỘI PGS TSKH TRÀN HỒI LINH MẠNG NƠ-RƠN VÀ ỦNG DỤNG TRONG x LÝ TÍN HIỆU NHÀ XUÁT BẢN BÁCH KHOA - HÀ NỘI Bán quyền thuộc trường Đại học Bách Khoa Hà Nội Mọi hình thức xuất bản, chép mà khơng có cho phép văn bàn trường vi phạm pháp luật Mã sổ: 22 - 2014/CXB/42 - 80/BKHN Biên mục trẽn xuất phám Thư viện Quốc gia Việt Nam Trần Hoài Linh Mạng nơ-rơn ứng dụng xử iý tín hiệu/Trần Hoài Linh - H : Bách khoa Hà Nội, 2014 - 204tr ; 24cm Thư mục: tr 198 ISBN 978-604-911-627-8 Mạng thần kinh nhân tạo ứng dụng Xử lý tín hiộu Giáo trình 006.3 -d c 14 BKF0037p-ClP LỜI NĨI ĐÀU Cuốn giáo trình Mạng nơ—rơn ứng dụng x lý tín hiệu sử dụng để giảng dạy môn học tên cho sinh viên ngành Điện trường Đại học Bách Khoa Hà Nội Cuốn sách bao gồm chưcmg, trinh bày số kiến thức chuyên ngành tương đối ngành Trí tuệ nhân tạo mạng nơ-rôn nhân tạo sổ khả ứng dụng thực tế công cụ mạng nơ-rơn nhân tạo tốn xứ lý tín hiệu thực tế Chương giới thiệu số khái niệm chuyên ngành mạng nơ-rôn nhân tạo điểm qua trình phát triển chuyên ngành Chương chương trình bày mơ hình tốn học mơ nơ-rơn mạng nơ-rơn truyền thẳng Chương giới thiệu qua khái niệm mạng nơ-rơn có phản hồi số mạng hoạt động theo mơ hỉnh Chương tóm tắt ngun tắc xây dựng mơ hình theo thuật tốn tự tổ chức mạng Kohonen hoạt động theo nguyên tắc Chương tóm tắt ý tưởng lô-gic mờ mạng nơ-rôn lô-gic mờ Một số ứng dụng thực tế gồm toán dự báo, ước lượng, xứ lý thơng tin ảnh, trình bày chương Chương giới thiệu số giải pháp mạch tích hợp mơ phịng nơ-rơn mạng nơ-rơn Thơng qua giáo trinh, hy vọng người đọc tìm hiểu nắm ý tường mạng nơ-rơn nhân tạo, từ cỏ thể triển khai ứng dụng công cụ tốn xử lý tín hiệu phức tạp mà công cụ kinh điển tỏ không hiệu Trong lần xuất đầu tiên, giáo trình khơng thể tránh khỏi sai sót Tác già mong nhận ý kiến đóng góp cùa bạn đọc Các ý kiến xin gừi Bộ môn Kỹ thuật đo Tin học công nghiệp, Viện Điện, trường Đại học Bách Khoa Hà Nội Xin chân thành cảm ơn Tác giá Kính tặng ng Bà nội - ngoại cùa cháu, Tặng Em Con thương yêu! MỤC LỤC LỜI NỎIĐẰU CHƯƠNG MỘT SỐ CÁC KHÁI NIỆM c B Ả N 1.1 Vị trí chuyên ngành mạng nơ-rỏn ứng dụng xử lý tín hiệu 1.2 Theo dòng lịch sử 12 1.3 Các trinh CO’ cùa mạng no>-rôn 18 1.3.1 Quá trinh học 18 1.3.2 Quá trinh kiểm tra 19 1.4 Các ứng dụng mạng no>-rỏn 19 CHƯƠNG MƠ HÌNH NƠ-RỎN 22 2.1 No>-rơn sinh học mơ hình tốn học no>-rôn nhản tạo 22 2.1.1 Bộ não người 22 2.1.2 Mơ hình nơ-rơn nhân tạo cùa McCulloch - Pitts 24 2.1.3 Các dạng hàm truyền đạt khác 27 2.1.4 Ví dụ tinh tốn đáp ứng đầu nơ-rỏn với hàm truyền đạt khác 29 2.2 Các trình học kiểm tra cùa no>-rôn 30 2.2.1 Q trình học cùa nơ-rơn 30 2.2.2 Thuật toản học có hướng dẫn nơ-rơn 33 2.2.3 Một số phương pháp nâng cao chất lượng cùa trình học sử dụng gradient 41 2.2.4 Quá trình kiểm tra mạng nơ-rơn khổ tổng qt hóa 46 CHƯƠNG MÓ HỈNH MẠNG PERCEPTRON MLP VÀ CÁC THUẠT TOÁN HOẠT ĐỌNG 49 3.1 No>-rôn mạng no>-rôn nhân tạ o 49 3.2 Các cấu trúc mạng no>-rôn 50 3.3 Cấu trúc mạng MLP 52 3.4 Quá trinh học cùa mạng MLP 55 3.5 Thuật toán học theo bước giảm cực đại cho mạng M LP 58 3.6 Thuật toán Levenberg - Marquardt 59 3.7 Thuật toán học cùa Hebb .59 3.8 Vần đề mạng học khớp (overtitting) mạng học không đủ (undertitting) 61 3.9 Ví dụ minh họa ứng dụng 68 CHƯƠNG MẠNG CÓ PHÁN HỒI 71 4.1 Mạng RM LP .71 4.1.1 Cấu trúc cùa mạng RMLP 71 4.1.2 Thuật toán học cùa mạng RMLP 73 4.1.3 Ví dụ ứng dụng mạng RMLP .74 4.2 Mạng ELMAN 77 4.2.1 Cấu trúc mạng Elman 77 4.2.2 Thuật toán học cùa mạng Elman 79 4.2.3 Ví dụ ứng dụng mạng Elman .81 4.3 Mạng R TR N 84 4.3.1 Cấu trúc mạng RTRN 84 4.3.2 Thuật toán học mạng RTRN 85 4.3.3 Ví dụ ứng dụng mạng RTRN .86 4.4 Mạng HOPFIELD .89 4.4.1 Cấu trúc cùa mạng Hopíield 89 4.4.2 Thuật toán học mạng Hoptield 91 4.4.3 Ví dụ áp dụng 93 4.5 Mạng HAMMING 95 4.5.1 Cấu trúc mạng Hamming .95 4.5.2 Ví dụ minh họa 97 4.6 Mạng BA M 100 4.6.1 cáu trúc mạng BAM 100 4.6.2 Thuật toán học mạng BAM 101 4.6.3 Ví dụ minh họa 102 CHƯƠNG CÁC MẠNG HOẠT ĐỌNG THEO NGUYÊN TÁC Tự TỐ CHỨC.105 5.1 Mạng KOHONEN 105 5.2 Quá trình học mạng KOHONEN 111 5.2.1 Các thuật tốn phân nhóm trực tuyến .111 5.2.2 Thuật tốn phân nhóm ngoại tuyến 114 5.3 Ví dụ ứng dụng mạng KOHONEN 121 5.3.1 Xác định mẫu cho số liệu hai chiều 121 5.3.2 Xác định mẫu cho số liệu đa chiều 123 CHƯƠNG LƠ-GIC MỜ VÀ MẠNG NƠ-RỊN LƠ-GIC M Ờ 125 6.1 Khái niệm lô-gic m 125 6.2 Biều thức lô-gic mờ 127 6.2.1 Một số toán tử mờ 127 6.2.2 Các toán tử lô—gic m 130 6.3 Quy tắc suy luận mờ giá trị cùa quy tắc suy luận mờ 135 6.4 Tinh đáp ứng trường hợp hệ nhiễu quy tắc suy luận m 137 6.5 Một số mạng nơ-rơn lị-gic mờ 139 6.5.1 Mơ hình mạng Mamdani/RBF .140 6.5.2 Mơ hình mạng TS K 147 CHƯƠNG MỘT SỐ ỨNG DỤNG THỰC TẾ CÙA MẠNG NƠ -RÓN 165 7.1 Bài toán nhận dạng ảnh 165 7.2 Bài toán dự báo đình đáy đồ thị phụ tải điện 24h 167 7.3 Bài toán ước lượng trữ lượng gió 170 7.4 Nhận dạng tín hiệu điện tâm dồ 174 7.5 Bài toán phân loại thành phần ừong hỗn họp 178 CHƯƠNG CÁC GIẢI PHÁP MẠCH MÔ PHỎNG NƠ-RÔN VÀ MẠNG NƠ-RỐN 181 8.1 Giới thiệu chung 181 8.2 Một số mõ hình mạch mơ phịng khối no>-rơn 182 8.2.1 Các khối nơ-rôn mạng truyền thẳng 182 8.2.2 Mạch analog mô hoạt động cùa nơ-rôn Kohonen (mạng SOM) 187 8.3 Một số mạch tích hợp mỏ nơ-rôn mạng no^-rôn 189 8.3.1 Micro Devices MD1220 .191 8.3.2 NLX-420 Neural Processor Slice 191 8.3.3 MT19003 NISP Neural Instruction Set Processor 191 8.3.4 80170NW ETANN 191 8.3.5 NeuroClassifier 192 8.3.6 Các card PC Accelerator Neurocomputers 192 TÀI LIỆU THAM KHẢO 198 Chương MỘT SỐ CÁC KHÁI NIỆM c BẢN Trong chương giới thiệu cho người đọc vai trị, vị trí khả ứng dụng thực tế chuyên ngành mạng nơ-rôn nhân tạo Đồng thời số mốc lịch sử q trình mạng nơ-rơn điềm qua 1.1 VỊ TRÍ CÙA CHUYẾN NGÀNH MẠNG NƠ-RƠN VÀ ỨNG DỤNG TRONG Xử LÝ TÍN HIỆU Xử lý thông tin (Information Processing) nhiệm vụ gần lĩnh vực, xuất gần vấn đề, toán Nhìn chung để mơ tả xử lý vấn đề, ta cần có thơng tin đầu vào, u cầu thông tin đầu cách thúc chuyến đổi từ thông tin đầu vào thành thông tin đầu Đặc biệt từ bắt đầu xuất máy tính điện tử, với tốc độ tính tốn ngày nâng cao mật độ phần tử tích hợp tham gia máy tính q trình hỗ trợ phân tích thơng tin, đánh giá lựa chọn giải pháp cho người ngày phổ biến Các máy tính hệ thống máy tính có khả tính tốn cực lớn, thực khối lượng công việc mà người đảm nhiệm thời gian ngắn Đồng thời mức độ tích hợp máy tính số tăng cao nên thiết bị tính tốn ngày nhỏ gọn, thích hợp cho việc xây dựng hệ thống xử lý thông tin linh hoạt di động Mặc dù vậy, thời điểm này, nhiều khả người (và nhiều sinh vật khác) chưa thể mơ phịng tái tạo cách hiệu quà máy móc thiết bị Có thể lấy ví dụ khả nhận biết người qua ảnh, khả phân tích tiếng nói đổ hiểu nội dung, đặc biệt khà xử lý tình dựa kinh nghiệm đúc kết từ khứ, Vì song song với phát triển thông tin hệ thống xử lý thông tin, ta thấy xuất ngành ngành nghiên cứu Trí tuệ nhàn tạo (Artificial Intelligence) Một mục đích ngành Trí tuệ nhân tạo nghiên cứu phát triển mơ hình mơ khả tư duy, phân tích xừ lý thơng tin người, cần nhấn mạnh khó khăn hiệm chưa giải nghiên cứu “Trí tuệ nhân tạo”, ta chưa có định nghĩa thức “Trí tuệ gì” Khái niệm nhà khoa học nhiều lĩnh vực (kể Triết học) nghiên cứu hồn thiện Vì dễ hiểu theo dõi tài liệu khác nhau, ta thấy nhiều định nghĩa khác Trí tuệ (Intelligence) Trí tuệ nhân tạo (.Artificial Intelligence) Hình 1.1 Vị trí chun ngành tĩnh vực xừ lý tín hiệu Từ việc chưa có định nghĩa chuẩn Trí tuệ dẫn tới thực tế khó có chuẩn để đánh giá giải pháp (hay thiết bị, ) có “thơng minh” hay khơng Ngay việc so sánh trực tiếp mức độ “thông minh” hai giải pháp hai đối tượng khác khó khăn Trong giáo trinh này, ta sừ dụng quan điểm hệ thống thông minh hệ thống mơ khả cùa người đối tượng thơng minh khác Q trình nghiên cứu khả trước tiên nhằm trả lời câu hỏi “Một khả người đâu mà có? Khả thực nhu nào” Sau ta chuyển sang q trình tái tạo lại khả máy móc, thiết bị để tạo giải pháp “thơng minh” Lấy ví dụ hệ thống khí mô chế dịch chuyển cùa người Trước tiên ta cần làm rõ để chuyển động người cần cấu chấp hành (chân, tay, ), phối hợp cấu nào, đặc biệt trường hợp đặc biệt xử lý (ví dụ giải pháp lấy thăng bằng, ước lượng khoảng cách, xác định tuyến đường dịch chuyển, ) Sau ta tiến hành chế tạo cấu hệ thống Ta lấy ví dụ hệ thống tự động xác định đường cho rơ-bốt, rơ-bốt cần tự phân tích mơi trường xung quanh từ xác định đường tối ưu cho Trong lĩnh vực ngành Trí tuệ nhân tạo, nghiên cứu chế hoạt động khả não người tạo thành chuyên ngành gọi Mạng nơ-rôn nhân tạo Các kết cho thấy não người tính tốn, tư theo chế khác với máy tính số Bộ não biết đến máy tính phức hợp, phi tuyến tinh tốn song song Hệ thống thần kinh cùa người bao gồm khống 1012 nơ-rơn khoảng 1014 ghép nối thần kinh chúng Chính hệ thống ghép nối phức tạp đưa lại cho khả phân tích xử lý thơng tin, càm xúc, Bộ não có khả tồ chức, điều khiển phần tử bàn cùa (các nơ-rơn đơn lè) để thực nhiệm vụ mà ta mong muốn nhận dạng, điều khiển, phân tích hiệu quà nhiều so với máy tính Ta có thổ xct lại ví dụ khả nhìn người Đây tốn phân tích nhận dạng ảnh (tín hiệu hai chiều, ba chiều, ) nhiệm vụ người, giúp cho người giao tiếp với môi trường xung quanh Bộ não người có khả phân tích hình ảnh theo nhiều nhiệm vụ khác (ví dụ ta tìm khn mặt quen đám đơng, ước lượng khống cách, ước lượng vận tốc chuyển động đối tượng quan sát, ) khoảng thời gian từ 100 đến 200 ms, tốc độ mà máy tính phần mềm tính tốn chưa thê đạt tới gần Một ví dụ khả nghe phân tích âm Chì xét khả nghe hiểu ngoại ngừ tiếng địa phương người nhiệm vụ khó khăn xây dựng chương trinh mơ Đen chương trình chi đạt kết định ban đầu Tiếp theo khả chọn lọc nguồn âm (ta phân biệt âm cùa nhạc cụ dàn hoà tấu, tập trung nghe lời nói mơi trường nhiều tiếng ồn, phân biệt âm bất thường xung quanh, ) Như đà đề cập trên, việc tìm hiểu khả não người tìm cách tái tạo lại khả máy móc, thiết bị hay phần mềm tính tốn nhiệm vụ nghiên cứu chuyên ngành “Mạng nơ-rơn nhân tạo” Trong khn khổ giáo trình này, ta tập trung riêng cho lĩnh vực khả xử lý tín hiệu hệ thống thần kinh phương pháp mô để tái tạo v ề mặt cấu trúc từ sinh ra, não có cấu trúc phức tạp Sau não cịn tiếp tục phát triển số lượng nơ-rôn ghép nối thời gian ngắn (đến năm - tuổi) Sau thời gian đó, số lượng nơ-rơn nói y y3 y3 yN Hình 4.22 Mơ hình cấu trúc mạng Hophled Khi có mẫu tín hiệu mới, đầu vào nơ-rôn khời tạo giá trị mẫu tín hiệu xỊ0> = x , Đầu tín hiệu cùa nơ-rơn thứ i thời điểm t > là: # = / ij j + h.i I ỈV^xV (4.38) u=° đó: tín hiệu đầu vào mạng tín hiệu đầu chu kỳ trước x-° = hàm truyền đạt hàm truyền đạt ngưỡng: í1 / ( * ) = sgn(Ar) = ^ [-1 khi X> X tạo thành giá trị ban đầu cho nơ-rôn lớp MAXNET, sau giá trị cập nhật theo công thức lặp sau: ' \ (4.53) / cho i = , , dạng vcc-tơ (4.54) 96 với trọng số ghép nối chọn theo quy tắc: Wịị =1 \Wịj = - £ , < E < — hàm truyền đạt f() hàm tuyển tính bão hịa: M /(* ) = • X X>1 0< JC< X!S0 (4.55) 4.5.2 Ví dụ minh họa Xct mẫu số liệu có bốn mẫu ịN = 3; A/ = 4): '0 ,2 ' C| = '0 ' '0 ,9 ' 0,5 ;c2 = ;c3 = 0,8 *^4 1 01 0,5 0,5 a Xây dựng mạng Hamming lưu trừ giá trị b Tính đáp ứng đầu mạng ta kiểm nghiệm với số mẫu sau: '0 ,4 ' 0,8' *1 = 0,2 ;*2 = 0,1 0,8 _0,7_ Trước tiên ta thực chuẩn hóa véc-tơ cho véc-tơ có độ dài theo cơng thức: X > Khi đó: 0,196 '0,2 cl = _Xp ỉ norm — o II co o 0,8 ^ ^3 norm 0,1 ' 0 0,436 X1norm 0,707 ;c2 = ^ ^2norm 0,707 0,981 '0,577' ' 0,745 '0,5' _X/* — 0,577 Anorm ~ 0,662 >^4 — 0,5 0,0828 0,5 0,577 '0 ,4 ' *1 = 0,2 0,8 ' ~ '0 ,8 ' 0,218 ;*2 = 0,1 ~* x 2norm 0,873 0,7 ' 0,749 0,0937 0,656 97 Các trọng số ghép nối lớp MAXNET chọn Wịị = \\Wịj = -0,2 Khi cho mẫu Xị vào mạng Hamming, ta có bốn đầu nơ-rơn lớp tiền xử lý tính là: y[0) =c0S/£(xlnO(.m,c 1(,ớrai) = x l,Iorffl ■cInorm =0,942 y 2°* - C O S ^ ( X \n o rm ’ C n o r m ) = X in o rm ' C n o rm =0,772 ^ 0) = c o s ^ ( x lnom,c3lIomi) = xlnorm cĩnorm =0,542 = c o s ^ ( x ìnorrn,c4norn,) = x Uwrm-cW m =0,882 Quá trình cập nhật đáp ứng lớp MAXNET: 0,503 ' 0,503 ' \ / ( w - y (0>) = / y(2) = / ( w y C > ) = / 0,299 0,299 0,0228 0,0228 V 0,431 / 0,431 /T 0,352 0,352 0,108 0,108 -0,224 0,266 0,266 0,278 ' X y= / ( w y (2>) = / -0,0161 -0,145 0,174 0,174 y 0,243 ' > y(4)= / ( w - y (3)) = / -0,0903 ) 0,219 ' 98 0,118 " 0,219 -0,0723 -0,0723 0,0699 0,0699 0,205 ' > yw=/(w ■/*>) =/ '0,243' -0,0903 0,118 y(5) = / ( w - y (4)) = / 0,278" '0,205' -0,0578 -0,0578 0,026 0,026 -|\ T 0,2 y(7)= / ( w y < 6>) = / VL 0,2 -0,0462 -0,0462 -0,015 Quá trình hội tụ sau bảy bước lặp giá trị lại khác ứng với đầu số 1, ta kết luận véc-tơ đầu vào X! gần giống mẫu C) Chú ỷ: ta thay lớp MAXNET khối tính max giá trị y,(0) Tuy nhiên có hai lý đề ta sứ dụng lớp MAXNET: Các đề xuất ban đầu mang tính chất lịch sử Neu ta sử dụng mạch số để mơ phịng mạch MAXNET chi cần bảy vịng lặp tương ứng với bảy chu kỳ máy (nếu coi việc nơ-rôn cập nhật giá trị đầu chu kỳ) Ket nhanh nhiều so với khối tìm kiếm giá trị max bảng cho trường hợp ta có nhiều nơ-rơn ứng với nhiều đầu cần kiểm tra Hồn tồn tương tự, ta tính cho véc-tơ mẫu thứ hai: 0,749 2norm 0,0937 yỊ0) = c o s ^ ( x 2norni,C|norm) = x ỉtIorm ■cInorm =0,790 0,656 y ị0) =cosz¡:(x2no„n,c2norm) = x inorm c2norm =0,530 j 40) y4 ' 0,79 ■ ■0,376 ' -> y(2) = 0,237 0,466 '0,0904' 0 0,246 ' 0,223 ■ 0,145 0,0557 0 0,331 0,275 '0,0412' —> y(5) = 0 0,228 II 0,865 0,0642 * Inorm '^4 norm 0,865 Ỵ ->y(,) = 0,674 cos -^ ( *2norm'^4norm ) rn 0,53 = c o s ¿ (x 2norm,cinorn,) = x Uorm-cinorm =0,674 -» y(6> = 0 0,22 Quá trình hội tụ sau sáu bước lặp giá trị lại khác ứng với đẩu sổ 4, ta kết luận véc-tơ đầu vào x2 gần giống mẫu c4 99 4.6 MẠNG BAM 4.6.1 Cấu trúc m ạng BAM Mạng BAM (Bidirectional Associative Memory - Bộ nhớ liên kết hai chiều) Bart Kosko đề xuất năm 1987 [Kosko88] Mạng sử dụng để nhớ theo dạng liên kết mẫu tín hiệu từ tập hợp (gọi tập A) với mẫu tín hiệu cùa tập hợp khác (gọi tập B) ngược lại Cũng tưomg tự mạng Hopfield, sau xây dựng thành công tập mẫu, mạng BAM có khả tổng quát hóa tái tạo lại đầu tín hiệu xác từ tín hiệu đầu vào bị nhiễu, cấu trúc mạng BAM trình bày hình 4.25 Mạng bao gồm hai lớp với nơ-rơn nối đầy đủ với Một lớp (thường mô tà lớp bên trái) gọi lớp đầu vào, lớp lại (thường lớp bên phải) gọi lớp đầu V1 yM-1 Vm Hình 4.25 cấu trúc hai lórp với ghép nối hai chiểu mạng BAM Véc-tơ đầu vào X coi x (0) đưa vào mạng hình 4.25 Khi tín hiệu khuếch đại bời ma trận trọng số w lan truyền tới lớp đầu để tạo thành tín hiệu đầu chu kỳ y(0) Sau tín hiệu từ đầu lại lan truyền ngược trở lại khuếch đại bời ma trận trọng số w lan truyền tới lớp đầu vào để tạo thành tín hiệu đầu vào chu kỳ thứ hai x(l) Cứ tiếp tục vậy, ta có chu trình: xơ) wr >y( = / ( w r -x(' )) w ->x((+1) = / ( w - y (,)) r ' , x('+1) — y('+l>= / ( w r x(í+,)) — U 100 (4.56) Chu trình thực lúc ta có tín hiệu hội tụ, nghĩa x(,+l> = x(,) y('+1) = y(,) Ý tưởng mạng BAM nhớ liên kết ta cỏ đầu vào x e A mạng hội tụ, ta thu y e B tương ứng ngược lại cho y e B vào phía cổng ra, ta thu x e A phía cổng vào Hay nói cách khác ta có cặp vẻc-tơ lưu trữ mạng BAM nhờ việc lựa chọn trọng số ghcp nối w = ịW'j J phù hợp 4.6.2 Thuật toán học mạng BAM Đe xây dựng mạng BAM cho b ộ p mẫu {x,,y,} (/ = 1,2, ,/? ) (gồm hai tập véc-tơ A = (x ,} B = {y,} cho trước), ta cần xây dựng ma trận tương quan cho cặp mẫu tương ứng mà ta muốn ghi nhớ Ma trận tương quan tính theo cơng thức: W = ¿ x ).- y f i=l (4.57) đó: p - số cặp mẫu cần ghi nhớ Cũng giống mạng Hopíĩeld, nơ-rơn mạng BAM sử dụng hàm truyền đạt ngưỡng với tín hiệu đầu vào đầu quy hai giá trị +1 -1 Thuật toán hoạt động cùa mạng BAM mơ tả theo khâu sau: a Khâu thứ - Ghi nhór Ma trận trọng sổ w tính ma trận tương quan cho công thức (4.55) b Khâu thứ hai - Kiểm tra chắt lượng ghi nh& Sừ dụng ma trận trọng số w vừa tìm được, ta cần thừ nghiệm lại với tất cặp mẫu từ hai tập A B để kiểm tra xem mạng BAM với ma trận w có tái tạo lại tất cặp mẫu cho hay không Nếu tất cặp mẫu tái tạo lại thành cơng ta có trường hợp học lý tường (khơng có sai số), có số cặp mẫu khơng tái tạo lại thành cơng ta có trường hợp học khơng lý tưởng c Khâu thứ - Sử dụng cho mẫu mới: Mạng BAM với ma trận trọng số vv đà xác định sử dụng cho mẫu (khơng có tập A B ban đầu, coi mẫu số liệu bị nhiễu từ số liệu gốc) Khi cho véc-tơ X vào mạng BAM, sau mạng thực lan truyền tín hiệu (4.54), ta thu kết hội tụ cặp mẫu biết: Khi ta coi xk tín hiệu gốc ứng với tín hiệu nhiễu X Các thao tác hồn tồn thực tương tự cho véc-tơ nhiễu y đưa vào từ phía cổng BAM 104 4.6.3 Ví dụ minh họa A = {X|,X2,x3,x4},x(- e R Xét tập sổ liệu bốn cặp mẫu sau: = {yi’ y ’ y.i-y4 }>y( e R - Các giá tri véc-tơ là: X, = [1 1 1 l f ; x2 = [ - l x3 = [ l - - 1 lf; y =[1 i]r ; y 2= H -1 x4 = [ - l -1 -1 -1 - 1 - -lf -lf -1 -I]r ; y3 =[1 -1 I]r ; y 4=[-1 - i f Khâu thứ nhất: Mạng BAM có sáu đầu vào ba đầu Ma trận trọng số vv = V x , •y j i=1 4 4 0 4 4 € 1R6*3 Khâu thứ hai: Ta thử nghiệm mạng BAM với cặp mẫu có Xét ví dụ cặp mẫu thứ Neu cho X ị vào mạng BAM, ta thu đáp ứng đầu ỡ chu kỳ thứ là: x(0)= x ,= (O) = s g n (w r -x(0)) = sgn ( '16' > = sgn 102 _ = sgn (w -y (0)) = sgn 4 0 4 0 4 4 0 T = (= y i) < 16 rO) 4 4' 4 0 = sgn 4 4 4 (= * = « |) Như ta có thấy cặp mẫu thứ ( X ị , y ! ) hoạt động hội tụ với mạng BAM có ma trận trọng số đă xây dựng Hoàn toàn tương tự, ta kiểm nghiệm ba cặp mẫu cịn lại hội tụ Do trường hợp ta có mạng BAM học lý tường (sai số học 0) với bốn mẫu cho Khâu thứ ba: Ta đưa vào mạng BAM véc-tơ mới, chưa xuất tập số liệu học Ví dụ xét véc-tơ đầu vào x5 = [-1 so với véc-tơ 1 1 l]r Véc-tơ thi chi sai lệch vị trí Khi đưa vào mạng BAM, ta có X| chu trình thực sau: -1 ' x (0> = x = 1 y (0) = s g n Ị w r ■x ((l) j = sgn '1 ' = sgn 12 0 4 0 4 0 4 0 4 \ m \ 1' 1 1 y T = V - > (=yi) 0 rí') = s g n ( \V - y (0)) = sgn 4 = sgn ( = x i) 0 / LJ y (l) = y i - > x (2) = X1 Kct quà mạng BAM hội tụ cặp mẫu (x j, y ị ) ta có thổ kết luận véc-tơ đầu vào x5 giống véc-tơ X| Lấy them ví dụ x6 = x5 = [-1 - 1 - 1 - l ] Đưa x6 vào mạng ta có: 103 -1 -1 *(0)=x< = -1 4 0 4 4 0 4 y(0) = s g n Ị w r •x(0)j = sgn 4 -1 -1 ( '- ' = sgn V r(l) _= s g n Ị w - y (0'] = sgn X -8 4 4 0 4 4 '- f = y (=y y (,) = = y4 -> x -rôn 18 1. 3 .1 Quá trinh học 18 1. 3.2... mục: tr 19 8 ISBN 978-604- 911 -627-8 Mạng thần kinh nhân tạo ứng dụng Xử lý tín hiộu Giáo trình 006.3 -d c 14 BKF0037p-ClP LỜI NĨI ĐÀU Cuốn giáo trình Mạng nơ—rơn ứng dụng x lý tín hiệu sử dụng để... trí khả ứng dụng thực tế chuyên ngành mạng nơ-rôn nhân tạo Đồng thời số mốc lịch sử q trình mạng nơ-rơn điềm qua 1. 1 VỊ TRÍ CÙA CHUYẾN NGÀNH MẠNG NƠ-RƠN VÀ ỨNG DỤNG TRONG Xử LÝ TÍN HIỆU Xử lý thông