nghiên cứu ứng dụng mạng nơ ron trong nhận dạng đối tượng phi tuyến

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP - NGUYỄN VĂN NGHIỆP NGHIÊN CỨU ỨNG DỤNG MẠNG NƠ RON TRONG NHẬN DẠNG ĐỐI TƢỢNG PHI TUYẾN Chuyên ngành : Tự Động Hóa Mã số : TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT THÁI NGUYÊN – 2013 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn PHẦN MỞ ĐẦU Lý lựa chọn đề tài Để điều khiển xác đối tƣợng chƣa biết rõ đƣợc thông số, trƣớc tiên ta phải hiểu rõ đối tƣợng Đối với đối tƣợng phi tuyến, ta cần thực nhận dạng đặc tính vào để đảm bảo tạo tín hiệu điều khiển thích nghi đƣợc lựa chọn xác Hiện thƣờng sử dụng logic mờ (Fuzzy Logic), mạng nơ ron ( Neural Networks), mạng no ron mờ (Fuzzy Neural Networks) để nhận dạng điều khiển thích nghi hệ thống phi tuyến.Trong khn khổ khố học Cao học, chuyên ngành Tự động hoá trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên, đƣợc tạo điều kiện giúp đỡ nhà trƣờng Tiến sĩ Phạm Hữu Đức Dục, em lựa chọn đề tài “Nghiên cứu ứng dụng mạng nơ ron nhận dạng đối tƣợng phi tuyến” Mục đích đề tài Nghiên cứu việc ứng dụng mạng nơ ron trình nhận dạng điều khiển hệ thống phi tuyến nói chung Đặc biệt sâu nghiên cứu mạng nơ ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – đối tƣợng phi tuyến, làm sở cho việc tạo tín hiệu điều khiển thích nghi đƣợc lựa chọn xác Đối tƣợng phạm vi nghiên cứu a/ Đối tượng nghiên cứu Đối tƣợng nghiên cứu đề tài sử dụng mạng nơ ron truyền thẳng nhiều lớp nhận dạng đối tƣợng phi tuyến Mơ hình nhận dạng Y P (k) Đối tƣợng ei(k) - u(k ) + Mơ hình nhận dạng ^ Y P (k) b/ Phạm vi nghiên cứu đề tài Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Chương I Tổng quan mạng nơ ron nhân tạo: Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết cấu mạng nơ ron, vai trò mạng nơ ron điều khiển Chương II Ứng dụng mạng nơ ron nhận dạng Trình bày ứng dụng mơ hình mạng nơ ron nhận dạng Chương III Ứng dụng mạng nơ ron nhận dạng đối tượng phi tuyến Đƣa mơ hình nhận dạng đối tƣợng phi tuyến, từ phân tích, lựa chọn mạng nơ ron truyền thẳng nhiều lớp mạng nơ ron elmal với luật học lan truyền ngƣợc tiến hành nhận dạng đặc tính vào đối tƣợng phi tuyến u yp Đối tƣợng Mạng nơ ron nhận dạng + ym e1 Luật học Sơ đồ nhận dạng đối tƣợng Ý nghĩa khoa học thực tiễn đề tài Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp mạng nơ ron elmal nhận dạng đối tƣợng phi tuyến Sau nhận dạng đƣợc đối tƣợng, ta thay gần mơ hình đối tƣợng mạng nơ ron từ mô mạng nơ ron CHƢƠNG I Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo (Artificial Neural Networks) hệ thống đƣợc xây dựng dựa nguyên tắc cấu tạo não ngƣời Nó cho hƣớng nghiên cứu hệ thống thông tin Mạng nơ ron nhân tạo thực tốn: Tính tốn gần hàm số, thực toán tối ƣu, nhận mẫu, nhận dạng điều khiển đối tƣợng hiệu so với phƣơng pháp truyền thống Mạng nơ ron nhân tạo có số lƣợng lớn mối liên kết phần tử biến đổi có liên kết song song Nó có hành vi tƣơng tự nhƣ não ngƣời với khả học ( Learning ), gọi lại (Recall) tổng hợp thông tin từ luyện tập tập mẫu liệu Các phần tử biến đổi mạng nơ ron nhân tạo đƣợc gọi nơ ron nhân tạo gọi tắt nơ ron 1.1 LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO Mạng nơ ron nhân tạo có lịch sử phát triển lâu dài Năm 1943, McCulloch Pitts đƣa khả liên kết số liên kết mạng nơ ron Năm1949, Hebb đƣa luật thích nghi mạng nơ ron Năm 1958, Rosenbatt đƣa cấu trúc Perception Năm 1969, Minsky Papert phân tích đắn Perception, họ chứng minh tính chất rõ giới hạn số mơ hình Năm 1976, Grossberg dựa vào tính chất sinh học đƣa số cấu trúc hệ động học phi tuyến với tính chất Năm 1982, Rumelhart đƣa mơ hình song song số thuật tốn kết Thuật toán học lan truyền ngƣợc đƣợc Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơ ron nhiều lớp Những năm gần đây, nhiều tác giả đề xuất nhiều loại cấu trúc mạng nơ ron Mạng nơ ron đƣợc ứng dụng nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht – Nielsen, 1988) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1.2 CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO Là hệ phi tuyến: Mạng nơ ron có khả to lớn lĩnh vực nhận dạng điều khiển đối tƣợng phi tuyến Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, có độ tính tốn cao phù hợp với lĩnh vực nhận dạng điều khiển Là hệ học thích nghi: Mạng đƣợc luyện từ số liệu khứ có khả tự chỉnh số liệu đầu vào bị mất, điều khiển on- line Là hệ nhiều biến, nhiều đầu vào, nhiều đầu (MIMO), tiện dùng đối tƣợng điều khiển có nhiều biến số 1.3 MƠ HÌNH NƠ RON 1.3.1 Mơ hình nơ ron sinh học 1.3.1.1 Chức năng, tổ chức hoạt động não người Bộ não ngƣời có chức quan trọng đời sống ngƣời Nó gần nhƣ kiểm sốt hầu hết hành vi ngƣời từ hoạt động bắp đơn giản đến hoạt động phức tạp nhƣ học tập, nhớ, suy luận, tƣ duy, sáng tạo, Bộ não ngƣời đƣợc hình thành từ liên kết khoảng 1011 phần tử (tế bào), có khoảng 1010 phần tử nơ ron, số lại khoảng 9*1010 phần tử tế bào thần kinh đệm chúng có nhiệm vụ phục vụ nhƣ hỗ trợ cho nơ ron Thông thƣờng não trung bình cân nặng khoảng 1,5 kg tích 235 cm3 Cho đến ngƣời ta chƣa thực biết rõ cấu tạo chi tiết não Tuy đại thể cấu tạo não đƣợc phân chia thành nhiều vùng khác Mỗi vùng kiểm sốt hay nhiều hoạt động ngƣời Các đặc tính não ngƣời: - Tính phân lớp: Các vùng não đƣợc phân thành lớp, thông tin đƣợc xử lý theo tầng Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn - Tính mơđun: Các vùng nhớ đƣợc phân thành môđun đƣợc mã hoá định nghĩa mối quan hệ tích hợp tín hiệu vào qua giác quan tín hiệu - Mối liên kết: Liên kết lớp dẫn đến liệu dùng chung xem nhƣ liên hệ phản hồi truyền tín hiệu - Sử lý phân tán tín hiệu vào: Các tín hiệu vào đƣợc truyền qua nhiều kênh thông tin khác nhau, đƣợc xử lý phƣơng pháp đặc biệt Bộ não có cấu trúc nhiều lớp Lớp bên thƣờng thấy nhƣ nếp nhăn, lớp có cấu tạo phức tạp Đây nơi kiểm soát phát sinh hành động phức tạp nhƣ nghe, nhìn, tƣ duy, Tín hiệu thu, nhận dạng xung điện – Màng (Membrane): Mỗi tế bào thần kinh có màng, có nhiệm vụ giữ cho chất nuôi tế bào không tràn ngồi Do đó, phần tử nội bào ngoại bào khơng nhau, chúng có dung dịch muối lỏng làm cho chúng bị phân rã thành nguyên tử âm dƣơng Các nguyên tử dƣơng màng tạo điện màng, tồn trạng thái cân lực: lực đẩy nguyên tử dƣơng khỏi tế bào với lực hút chúng vào tế bào Điện màng phần tử quan trọng trình truyền tin hệ thần kinh Khi thay đổi khả thẩm thấu ion màng điện màng tế bào bị thay đổi tiến tới ngƣỡng đó, đồng thời sinh dòng điện, dòng điện gây phản ứng kích thích làm thay đổi khả thẩm thấu ion tế bào Xử lý thông tin não: Thông tin đƣợc tiếp nhận từ giác quan chuyển vào tế bào thần kinh vận động vào tế bào Mỗi tế bào thần kinh tiếp nhận thông tin, điện tăng thần kinh cảm giác, điện vƣợt ngƣỡng Số hóa Trung tâm Học liệu – Đại học Thái Ngun http://www.lrc-tnu.edu.vn tạo dịng điện tế bào thần kinh cảm giác, ý nghĩa dòng điện đƣợc giải mã lƣu thần kinh trung ƣơng, kết xử lý thông tin đƣợc gửi đến tế bào Các tế bào thần kinh đƣa tín hiệu giống nhau, khơng thể phân biệt đƣợc lồi động vật ngun thuỷ hay giáo sƣ Các khớp thần kinh cho tín hiệu phù hợp qua chúng, cịn lại tín hiệu khác bị cản lại Lƣợng tín hiệu đƣợc biến đổi đƣợc gọi cƣờng độ khớp thần kinh trọng số nơ ron mạng nơ ron nhân tạo Tại việc nghiên cứu mạng thần kinh lại có tầm quan trọng lớn lao Có thể trả lời ngắn gọn sƣ giống tín hiệu tế bào thần kinh đơn lẻ, chức thực não khơng phụ thuộc vào vai trị tế bào thần kinh đơn, mà phụ thuộc vào toàn tế bào thần kinh hay tế bào thần kinh liên kết với thành mạng thần kinh hay mạng nơ ron (Neural Networks) Hoạt động não nói riêng hệ thần kinh nói chung đƣợc ngƣời quan tâm nghiên cứu từ lâu nhƣng ngƣời ta chƣa hiểu rõ thực hoạt động não hệ thần kinh Đặc biệt hoạt động liên quan đến trí óc nhƣ suy nghĩ, nhớ, sáng tạo, Tuy nay, ngƣời ta có hiểu biết hoạt động cấp thấp não Mỗi nơ ron liên kết với khoảng 104 nơ ron khác, hoạt động não hoạt động cách tổng lực đạt hiệu cao Nói cách khác phần tử não hoạt động cách song song tƣơng tác tinh vi phức tạp, hiệu hoạt động thƣờng cao, vấn đề phức tạp Về tốc độ xử lý não ngƣời nhanh tốc độ xử lý nơ ron (có thể xem nhƣ phần tử xử lý hay phần tử tính) chậm so với xử lý cổng logic silicon chip vi xử lý (10 -3 giây so với 10-10 giây) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hoạt động hệ thống thần kinh bao gồm não giác quan nhƣ sau: Trƣớc hết ngƣời bị kích thích giác quan từ bên thể Sự kích thích đƣợc biến thành xung điện giác quan tiếp nhận kích thích Những tín hiệu đƣợc chuyển trung ƣơng thần kinh não để xử lý Trong thực tế não liên tục nhận thông tin xử lý, đánh giá so sánh với thông tin lƣu trữ để đƣa định thích đáng Những mệnh lệnh cần thiết đƣợc phát sinh gửi đến phận thi hành thích hợp nhƣ tay, chân, Những phận thi hành biến xung điện thành liệu xuất hệ thống Tóm lại: Bộ não ngƣời có chức quan trọng đời sống ngƣời Cấu tạo phức tạp, tinh vi đƣợc tạo thành từ mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết nơ ron cao Hơn nữa, cịn đƣợc chia thành vùng lớp khác Bộ não hoạt động dựa chế hoạt động song song nơ ron tạo nên 1.3.1.2 Mạng nơron sinh học a/ Cấu tạo Nơ ron phần tử tạo nên não ngƣời Sơ đồ cấu tạo nơ ron sinh học đƣợc nhƣ hình 1.1 Một nơ ron điển hình có phần chính: Nhánh Khớp nối Thân Sợi trục Hình 1.1 Mơ hình nơ ron sinh học Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn - Thân nơ ron (soma): Nhân nơ ron đƣợc đặt - Các nhánh (dendrite): Đây mạng dạng dây thần kinh để nối soma với - Sợi trục (Axon): Đây nối kết, hình trụ dài mang tín hiệu từ ngồi Phần cuối axon đƣợc chia thành nhiều nhánh nhỏ Mỗi nhánh nhỏ (cả dendrite axon) kết thúc quan nhỏ hình củ hành đƣợc gọi synapte mà nơ ron đƣa tín hiệu vào nơr on khác Những điểm tiếp nhận với synapte nơ ron khác dendrite hay soma b/ Hoạt động Các tín hiệu đƣa synapte đƣợc nhận dendrite kích thích điện tử Việc truyền tín hiệu nhƣ liên quan đến q trình hóa học phức tạp mà chất truyền đặc trƣng đƣợc giải phóng từ phía gửi nơi tiếp nối Điều làm tăng hay giảm điện bên thân nơ ron nhận Nơ ron nhận tín hiệu kích hoạt (fire) điện vƣợt khỏi ngƣỡng xung (hoặc điện hoạt động) với độ mạnh (cƣờng độ) thời gian tồn cố định đƣợc gửi ngồi thơng qua axon tới phần nhánh tới chỗ nối synapte với nơ ron khác Sau kích hoạt, nơ ron chờ khoảng thời gian đƣợc gọi chu kỳ, trƣớc đƣợc kích hoạt lại Synapses hƣng phấn (excitatory) chúng cho phép kích thích truyền qua gây tình trạng kích hoạt (fire) nơ ron nhận Ngƣợc lại, chúng ức chế (inhibitory) kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) nơ ron nhận 1.3.2 Mạng nơ ron nhân tạo 1.3.2.1 Khái niệm Nơ ron nhân tạo chép nơ ron sinh học não ngƣời, có đặc tính sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn - Mỗi nơ ron có số đầu vào, kết nối (Synaptic) đầu (axon) - Một nơ ron hoạt động (+35mV) không hoạt động (-0,75mV) - Chỉ có đầu nơ ron đƣợc nối với đầu vào khác nơ ron khác Điều kiện để nơ ron đƣợc kích hoạt hay khơng kích hoạt phụ thuộc đầu vào thời nó.Thơng thƣờng nơ ron có phần nhƣ hình 1.2: y1 Wi1 yj Wij ym  WiN u1 yi a(.) W*iM xi Hàm động học phi tuyến W*ik uM vi W*i1 uk Hệ động học tuyến tính  Hình 1.2 Mơ hình nơ ron nhân tạo Trên đầu vào nơ ron có gắn trọng số để liên kết nơ ron thứ i nơ ron thứ j Các trọng số tƣơng tự nhƣ tế bào cảm giác mạng nơ ron sinh học N M j 1 k 1 * Tổng trọng: Vi(t) = neti(t) =  Wij y j (t )   W ik u k (t )   i (1.1) Với Vi(t) tổng trọng nơ ron thứ i; yj(t) đầu nơ ron thứ jvà uk(t) đầu vào từ bên tƣơng ứng với trọng số Wij W*ik;  số gọi ngƣỡng nơ ron thứ i Hệ động học tuyến tính SISO: Đầu vào vi đầu xi Ở dạng tốn tử Laplace ta có: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Thực q trình mơ sơ đồ hình 3.10, ta đƣợc đồ thị yp(k+1) có dạng trình bày hình 3.12 -1 -2 -3 50 100 150 200 250 300 350 400 450 500 Hình 3.12 Đồ thị tín hiệu yp(k+1) u có dạng ngẫu nhiên Thực lập trình Matlab cho luật học điều chỉnh trọng số bias để mạng nơron truyền thẳng nhiều lớp học với tín hiệu u dạng ngẫu nhiên, cho sai lệch trung bình bình phƣơng E tín hiệu yp(k+1) tín hiệu nhận dạng sử dụng mạng truyền thẳng nhiều lớp  yp (k  1) nhỏ %Mặc định giá trị khởi tạo ban đầu yp(1)=0; yp(2)=0; %Tạo 501 tín hiệu đầu vào ngẫu nhiên khoảng [ -2,2] u=rands(1, 501)*2; %Sử dụng 501 tín hiệu ngẫu nhiên để huấn luyện mạng for k=2:501 yp(k+1)=yp(k)*(yp(k-1)+2)*(yp(k)+2.5)/(8.5+yp(k)^2+yp(k-1)^2)+u(k); out(k-1)=(yp(k+1)-u(k))/10; in(k-1)=yp(k)/10; end; Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn nno=out(1:499); nni=[in(1:499); in(2:500)]; net=newff([1 499;2 500],[ 10 20 1],{'tansig' 'tansig' 'purelin' „purelin‟ }); gensim(net,-1); net=train(net,nni,nno); pause; net.trainparam.epochs=2000; Performance is 0.000367744, Goal is 10 10 Training-Blue -1 10 -2 10 -3 10 -4 10 200 400 600 800 1000 1200 2000 Epochs 1400 1600 1800 2000 Hình 3.13 Đồ thị sai lệch E giai đoạn học Kết chọn đƣợc mạng nơron truyền thẳng nhiều lớp có cấu trúc (2x10x20x1) với lớp ẩn có n2 = 10 noron; lớp ẩn có n3 = 20 nơron ,lớp ẩn sử dụng hàm chuyển đổi dạng tanghypecbolic và.hàm chuyển đổi purelin.Đồ thị sai lệch trung bình bình phƣơng E biểu diễn hình 3.13 Sai lệch trung bình bình phƣơng E= 3.67744.10-4 sau 2.000 chu kỳ học Bộ thơng số điều chỉnh sau q trình học gồm ma trận trọng số bias mạng truyền thẳng (2x10x20x1) nhƣ sau: Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Ma trận trọng số lớp vào lớp ẩn: T  1361  0375 w1  0 1500  0014  0.2574  7606  0629  ;  5201 6198 2.0482    Ma trận trọng số lớp ẩn lớp ra: w  1.5592  2.6703  3.1319 2.7425  0.1888 T Ma trận trọng số lớp context lớp ẩn:  0.3364 0.9263  0.3627 0.9495  0.1191  0.3945  0.3271 0.0980 w    0.3603  0.8946 0.4618  0.6804  0.3894 0.7052  0.1289  0.8314   0.2718 0.8504  0.7048 0.6411  0.4014 1.3459 0.5879 0.6364 0.4643  T Bias lớp ẩn: b2  1.5616  0.0841 1.5290 0.1971  1.7405 T ; Bias lớp ra: b3  0.4880 3.4.2 Giai đoạn kiểm tra Với cấu trúc thông số mạng nơron truyền thẳng nhiều lớp tìm đƣợc giai đoạn học, ta thực kiểm tra với tín hiệu u Với cos(0.02k)  k  200 u (k )   1.2 cos(0.1k) 201  k  500  Thực matlab %Mặc định giá trị khởi tạo ban đầu out_p(1)=0; out_p(2)=0; out_nn(1)=0; out_nn(2)=0; for k=2:500; if k