Giáo trình Một số ứng dụng mạng nơron xây dựng mô hình nhận dạng và dự báo: Phần 1

Giáo trình Một số ứng dụng mạng nơron xây dựng mô hình nhận dạng và dự báo: Phần 1 tài liệu, giáo án, bài giảng , luận v...

CÔNG THƯƠNG JG ĐẠI HỌC SAO Đỏ TS DINH VÃN NHƯỢNG GIÁO TRÌNH MỘT SỔ 0HB DỤNG MẠNG HƠROH KÂV DỰNG MÔ HỈNH HHẬn DẠNG UÀ Dự BÁO ■ ■ ■ ■ ( Ị ^ ẹ U BỘ C Ô N G THƯƠNG - TRƯỜN G Đ Ạ I H Ọ C SA O Đ Ò TS Đ IN H V Ă N (ỈIẤ O N H Ư Ợ N G T IÙ M I MỘT SỐ ỨNG DỤNG MẠNG NƠRON XÂY DỰNG MƠ HÌNH NHẬN DẠNG VÀ Dự BÁO N H À XUẤT BẢN KHOA H Ọ C V À KỸ THUẬT HÀ NỘI-2013 fjữ ỉi n ó i đ ầ u ác ứng dụng mạng mrron mô hình nhận dạng dự báo giai đoạn phát triến mạnh m ẽ cà phương diện lý thuyết thực tế, thu hút quan tăm đông đảo nhà khoa học ngồi nước Nhiều mơ hình điểu khiên m nghiên cứu xây dựng dựa quy tắc suy luận trí tuệ nhân tạo, giúp người có khả chế ngự đơi lượng có thơng số biến động mạnh phức tạp Điểu khiển mờ, hay điểu khiên m thích nghi nâng cao chất lượng điểu khiển, đặc biệt toán nhận dạng, dự báo mà tín hiệu đầu vào có nhiều thơng số biến thiên phức tạp Một tốn phải kê đến toán nhận dạng phân loại sản phâm cơng nghiệp tốn dự báo nói chung, ứng dụng mạnh cho kết tot C Cuốn "Giáo trình m ột số ứng dụng m ạng nơron xâ y dựng m ô hình nhận dạng d ụ báo " gồm có phần, chương Nội dung để cập đến số van đề lý thuyết bán mạng nơron, đồng thời đưa sổ mơ hình ứng dụng mạng nơron nhận dạng đổi tượng hàm phi tuyến, sổ sàn phẩm công nghiệp dự báo cố xảy máy điện Trong trình biên soạn giáo trình này, tác già tham khảo nhiều sách, nhiều cơng trình nghiên cứu với kết q ứng dụng mơ hình mạng nơron tác giả, báo khoa học báo cáo hội thào khoa học, đăng tạp nghiên cứu khoa học có uy tín ngồi nước, tìồ n g thời, trình biên soạn tác già nhận đóng góp ỷ kiến đồng nghiệp khoa Điện, khoa Điện tử - Tin học (Trường Đại học Sao Đỏ) Ban Biên tập (Nhà xuất bàn Khoa học Kỹ thuật) Hy vọng rằng, giÚQ trình tài liệu học tập, tham khảo hữu ích cho sinh viên, cán kỹ thuật nghiên cứu thuộc lĩnh vực Điện, Điện tử, Đo lường điều khiển Tin học công nghiệp Mặc dù cố gắng, song giáo trình xuất lần đâu nên khó tránh khỏi thiếu sót, tác giả mong nhận góp ý bạn đọc để ngày hoàn thiện hom lần xuất bán sau Thư góp ỷ xin gửi theo địa chi Email: nhuonech’2000(a),email, com Trân trọng cảm ơn TÁC GIẢ MỤC LỤC Trang LỊI NĨI ĐÀU Phần I NHẬP M Ô N CHƯƠNG TỒNG QUAN VỀ MẠNG N Ơ R O N .„ 1.1 1.2 1.3 1.4 1.5 Phần II Lịch sử phát triển ứng dụng mạng nơron Mạng nơron nhân tạ o Mơ hình mạng nơron 12 Huấn luyện mạng nơron 17 Thuật toán lan truyền ngược 21 MỌT SỐ MẠNG NƠRON THƯỜNG s DỤNG TRONG NHẶN DẠNG PHÂN L O Ạ I 29 CHƯƠNG MẠNG N Ơ R O N 29 2.1 Mạng nơron lớp 29 2.2 Mạng MLP (Multilayer Percepừons Network) 44 CHƯƠNG MẠNG NƠRON LÔGIC MỜ T S K 50 3.1 Lôgic m 50 3.2 Mạng TSK (Takaga - Sugeno - Kang) 56 Phần III MỘT SỐ ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG VA D ự BÁO ! ’ Ổ8 CHƯƠNG ỨNG DỤNG MẠNG NƠRON TRONCj NHẬN DẠNG VÀ D ự B Á O 88 4.1 Nhận dạng phương pháp tiếp cận 88 4.2 ủng dụng nhận dạng hàm phi tuyến 90 4.3 ứng dụng nhận dạng, phân loại 102 4.4 ủng dụng dự báo cố động c 109 TÀI LIỆU THAM K H Ả O 125 Phần I NHẬP MÔN Chương TỔNG QUAN VỀ MẠNG NƠRON 1.1 LỊCH SỬ PHÁT TRIỂN VÀ ỨNG DỤNG MẠNG NƠRON 1.1.1 Lịch sử phát triển mạng nơron Trong thập niên vừa qua ngành khoa học đầu tư nghiên cứu phát triển mạnh giới Việt Nam, nghiên cứu ứng dụng trí tuệ nhân tạo việc giải tốn: Xử lý tín hiệu; Đo lường; Điều khiển; Dự báo Thế kỷ XX đánh dấu việc xuất phần tử bán dẫn, đặc biệt transistor sau mạch tích hợp rụà ứng dụng quan trọng tạo máy tính điện tử Kể từ ngày đời, máy tính điện tử khơng ngừ ng đưọc hồn thiện, tốc độ tính tốn đạt tói kỷ lục khó tưởng tượng, kích thước mạch tính tốn ngày nhỏ gọn Tuy nhiên, so sánh với khả người máy móc cịn thua xa Trước tiên kể tới giác quan khả phân tích, xử lý thơng tin người Ví dụ người có khả phân biệt mùi qua khứu giác, ma trận càm biến khí đại giới khơng thể đạt mức độ xác khứu giác người thường phản ứng với vài loại khí mùi khác Cũng lấy ví dụ mắt người có khả ghi nhớ hinh ảnh phân tích, nhận dạng ảnh cà trường hợp đối tượng nhận dạng bị thay đổi nhiều Khả nhà khoa học giới tìm cách mơ phỏng, nhiên kết hạn chế Khả lớn người mà chưa có hệ thống mô với kết khả quan là: khả tư duy, tự suy nghĩ tự tìm giải pháp từ kết tư Chính khả đưa lại tính “thơng minh” cho người Do lĩnh vực trí tuệ nhân tạo ta nghiên cứu phương pháp mơ hoạt động, phương pháp tư duy, phân tích người để xây dựng thiết bị, hệ thống có chức tương tự Để giải vấn đề có ngành phát triển mạnh với nhiều kết áp dụng thực tế nghiên cứu mạng nơron nơron lôgic mờ Các mạng nơron nơron lơgic mờ xây dựng nhằm mục đích mơ trình học suy luận tương tự học suy luận người Hàng loạt ứng dụng thực tế áp dụng mạng nơron nơron lôgic mờ với kết tốt hẳn so với giải pháp kinh điển Một ứng dụng quan trọng giải pháp nơron lôgic mờ hệ thống điều khiển tự động đường tàu điện ngầm Nhật Bản vào cuối năm 70, đầu năm 80 kỷ trước Ngày ta thấy giải pháp nơron nơron lơgic mờ có mặt khắp nơi, thiết bị điện tử dân dụng điều khiển máy giặt, máy điều hoà nhiệt độ, tủ lạnh ứng dụng mạnh mẽ vào công nghiệp nhiều nhà khoa học quan tâm nghiên cứu Theo R.Schalkoff chia phát triển mạng nơron nhân tạo thành giai đoạn: Giai đoạn 1: Tiền Perceptron (những năm 1940 - 1960): Trong giai đoạn mạng chưa đủ phức tạp chưa có khả giải quj'et tốn khó có sức thuyết phục Các kiện giai đoạn cần kể đến: - Năm 1943 McCulloch lần giới thiệu mơ hình tốn học cùa mạng nơron -N ă m 1957 Rosenblatt định nghĩa Perceptron mong muốn khẳng định nơron liên kết, phi tuyến tạo nên mạng thích nghi góp phần giải tốn nhận dạng - Năm 1960 Windrow đóng góp thuật tốn trung bình bình phương cực tiểu LMS cho mơ hình Adaline/Madaline - Kết Minsky Papert năm 1969 ó Giai đoạn 2: Hậu Perceptron: Giai đoạn Perceptron phát huy với thuật tốn truyền thẳng liên kết suy rộng Tìm thêm nhiều câu trúc cần kể tới: - Mạng truyền thẳng với thuật toán lan truyền ngược (luật Delta suy rộng-GDR) năm 1985 - Mạng dùng hàm sờ xuyên tâm (mạng RBF) - Các mạng H opíĩeĩd hồi quy năm 1982 - Bộ nhớ liên họp hai chiều (ABAM) năm 1987 - Cơng trình m ạng thích nghi Grossberg Kohonen Giai đoạn 3: Giai đoạn gần tiếp tục nghiên cứu đưa vào thực tiễn nhiều mơ hình thuật tốn hồn chỉnh Những vấn đề cần nghiên cứu là: - Đánh giá xác thực hạn chế mạng nơron - Các k.hả suy rộng khác - Phối hợp công nghệ mạng nơron công nghệ lôgic mờ thuật toán di truyền - Cài đặt mạng nơron nhân tạo phần cứng chuyên dụng Những thuật toán điều khiển mờ quan tâm đạt nhiều kết quà khả quan, ứng dụng nhiều cơng nghiệp là: Điều khiển Mamdani (M C- Mamdani Control) Diều khiển m trư ợt (S M F C -S liding M ode Fuzzy c ontrol) Điều khiển tra bảng (CM -Cell Maping Control) Điều khiển Takaga - Sugeno - Kang (TSK) 1.1.2 Phạm vi ứng dụng Lĩnh vực ứng dụng mạng nơron nhân tạo rộng, chù yếu tập trung lĩnh vực sau: Lĩnh vực 1: Phân lớp (classification), tách cụm (clustering), dụ đốn (diagnoisis) liên kết Đây lĩnh vực tìm thấy nhiều ứng dụng nghiên cứu nhiều Nhóm mơ hình nhận dạng tín hiệu vào tĩnh tín hiệu theo thời gian cần nhận dạng phân lớp chúng Thuật toán phân lớp cần huấn luyện mạng cho tín hiệu vào bị biến dạng nhiều mạng nhận dạng thực tế chúng Trong lĩnh vực này, yêu cầu mạng có khả miễn nhiễu tốt, mong muốn nhiều ứng dụng L ĩnh vực 2: Các toán tối ưu v ấn đề thuật tốn huấn luyện mạng cho góp phần tìm nghiệm cho tốn tối ưu tồn cục Trong nhóm thuật tốn ứng dụng người ta quan tâm đến kết hợp mạng nơron với truyền tìm nhiều lóp mạng nơron, thuật toán di Lĩnh vực 3: Hồi quy tổng quát hoá (Regression and Generalization) Trước toán hồi quy tích cực nghiên cứu Qua hồi quy tuyến tính phi tuyến người ta cố gắng tim đường thẳng đường hồi quy phi tuyến trơn cho khớp với mẫu Trong toán hồi quy người ta thường dùng thuật tốn có giám sát nên tốn suy rộng khó hon, liệu học chi có phần L ĩn h vực 4: Hồn chình dạng (Pattern completion) Bài tốn hồn chinh “Đủ” liệu ban đầu sau bị phần hay ta chi thu phần Người ta quan tâm tới hai mơ hình: Mơ hình M arkov mạng có độ trễ với mạng nơron nhiêu lóp, mạng Bolzmann mạng Hopfield tĩnh Trong năm thập kỷ xem thời kỳ nở rộ cùa công trinh khoa học nghiên cứu mạng Mờ-nơron Nơron-m với ứng dụng nhận dạng hình ảnh, hệ thống hỗ trợ định, chế suy diễn Nơron-mờ Nguyên nhân phát triến đời mạng Hopfield, Tank, tiếp nối hồn thiện thuật tốn lan truyền ngược Rumenlhart, Hinton, Wiliams, Nauck Kruse cho mạng MLP (Multilayer perceptrons Network) Nguyên nhân thúc đẩy phát triển sàn phẩm lôgic mờ Nhật Bản phát triển mạnh mẽ “Chip mờ” ứng dụng điều khiển: Máy giặt, nồi com điện, máy điều hoà Hiện hệ thống điều khiển m ứng dụng số nhà máy xi măng có hệ thống tự động hố đại nước ta, có Tổng cơng ty xi măng Hồng Thạch Các cơng trinh nghiên cứu ứng dụng mạng nơron lôgic m toán nhận dạng như: Nhận dạng chữ viết; Nhận dạng tiếng nói; nhận dạng dấu vân tay; nhận dạng cố tiềm ẩn thiết bị điện; nhận dạng N Khoảng cách Manhattan: d(x,c) = ^ | x l —c, I 1=1 Khoảng cách Chebyshev: d(x,c) = max |x, —C j I ->N N Khoảng cách Minkowski: d (x ,c) = < ịỊ Z l i=l lm lx ~ c.l Trong trường hợp ta có M trọng tâm Cj,i = -> M vectơ X trình hoạt động cạnh tranh, trọng tâm chiến thang trọng tâm có khoảng cách ngắn tới điểm xét ||x - c win|| = ||x -c ,|| (2 ) Ta mơ tả cấu trúc xử lý vectơ đầu vào gồm N thành phân hệ M trọng tâm c, hỉnh 2.6 H ìn h 2.6 C ấ u t r ú c x lý c c v e c t đ ẩ u v o c ù a m n g K o h o n e n k i n h đ i ể n Đây cáu trúc mạng truyền thảng lớp Tất cà N đàu vào đưực nối với tất M đầu thông qua trọng số Cjj số lượng đầu vào bàng với số chiều v ectơ X, số lượng đầu với số lượng nhóm mà liệu chia thành Tọa độ thứ j trọng tâm thứ i Cjj coi hệ số đặc trưng kênh nối đầu vào thứ j (là Xj) tới trọng tâm Hệ số đặc trưng nghiên cứu mạng nơron thường gọi trọng số ghép nôi (connection weight) hay đơn giản trọng so (weight) V ectơ đầu vào X - [ x , , x 2, , x N] C = [C|,C2, ,C N] thường chuẩn h ó a v ề độ dài (tuy nhiên giải pháp không bát buộc) Để dễ dàng m tả q trình hoạt động mạng, ngồi khái niệm khoảng cách ta cịn dùng khái niệm “mức độ kích hoạt” cùa trọng tâm thứ j Mức độ kích hoạt xác định c sở hàm n gh ịch biến với khoảng cách trọng tâm xét vectơ đầu vào xét Khoảng cách nhỏ mức độ kích hoạt 35 lớn Như trọng tâm chiến thắng trọng tâm có mức độ kích hoạt lớn Một số hàm kích hoạt thường sừ dụng là: Hàm chuông: activationc(x) = exp - d (x,c) Hàm Gauss mở rộng: activationc(x) = 1+ Hàm tam giác: activationc(x) = X- c > a x -c N Mỗi đầu vào tín hiệu Xị khuếch đại bàng trọng số kết nối W j Các tín hiệu đầu vào lấy tổng có trọng lượng tạo tín hiệu qua khối hàm f để tạo thành đầu tương ứng y Hàm f gọi hàm truyền đạt hàm kích hoạt {activation function) Trong thực tế, ta thường sử dụng hàm kích hoạt hàm: 44 - Logsig: f(u) - (2.24) -T a n s ig&: 1-e ~ ai1 f(u V ) = -—1+ e — -au (2.25) - Hàm tuyến tính: f(u) = au (2.26) Với phần tử nơron này, ta xây dựng mơ hình cấu trúc mạng nhiều lớp, bao gồm lớp đầu vào X , lớp đầu y số lóp gọi lớp ẩn Tại lớp (trừ lớp đầu vào) ta có số nơron, hai lớp mạng có kết nối có trọng số Thông thường ta cần sử dụng tối đa lớp ẩn mơ hình hóa hàm phi tuyến với độ xác tùy chọn Trong mơ hình nghiên cứu, phần lớn dùng lớp ẩn Khi mạng MLP sê gồm có tổng cộng lớp c ấ u trúc mạng MLP với lớp ẩn thể hình 2.13 với w ma trận trọng số kết nối lớp đầu vào lớp ẩn (Wịj - trọng số ghép nối nơron ẩn thứ i đầu vào thứ j), V ma trận trọng số kết nối lớp ẩn lớp đầu (Vjj - trọng số ghép nối nơron đầu thứ i nơron ẩn thứ j) H ìn h C ấ u tr ú c m n g M LP v i m ộ t lớ p ẳ n Mạng MLP với lớp ẩn đặc trưng thông số sau: - Bộ ba (N, M, K), đó: N - số đầu vào; M - số nơron thuộc lớp ẩn; K - số nơron lớp đầu - Các hàm truyền đạt f| lớp ẩn Ỉ2 lớp đầu 45 - Ma trận trọng số W e ma trận trọng số kết nối V ỊỊJM* kết G ỊR Kx(M+l) Khi đó, với vectơ đầu vào X nối lớp đầu vào lớp ẩn, lớp ẩn lớp đầu ta có: - Tổng đầu vào nơron ẩn thứ i bàng: N (2.27) j=0 Đầu nơron ẩn thứ i: Vj = f|(Uj) (để phù hợp với công thức, ta coi đầu vào phân cực nơron lớp Vo = - Tổng đầu vào nơron đầu thứ i: M & - = (2.28) Ẹ v i V «- Và cuối ta có đầu thứ i mạng sê y, = Í2(gi) Qu trình tính tốn đáp ứng mạng MLP có đầu vào X gọi q trình truyền thẳng Nhiệm vụ trình học xác định giá trị phần từ w V cho đáp ứng đầu mạng gần giống với giá trị đích Ta sử dụng thuật toán bước giảm cực giải toán Hiện m ạng MLP có nhiều cơng trình nghiên cứu kỹ phần lý thuyết ứng dụng lĩnh vực nhận dạng, ước lượng, dự báo, hệ thống tự động điều chinh trình đạt hiệu tốt 2.2.2 Thuật toán học mạng MLP Nội dung thuật tốn bước giảm cực đại trình bày sau: Ta có hàm f(x) giá tfị khởi đầu x(0) Ta cần tìm điểm x(l) cho f(x(l)) < f(x(0)) Nếu tiếp tục trình tìm kiếm vậy, ta thu kết chuỗi {x(k)} mà giá trị hàm số f(x(k)) giảm dần, hay nói cách khác f(x(k)) —> Theo thuật toán bước giảm cực đại ta có cơng thức xác định bước tiếp theo: (2.29) đó: T| - hệ số bước học Công thức hệ phép khai triển Taylor hàm số f lân cận điểm xtk>: 46 f ( x (k) + A )« f ( x ỡg';0 , ,;>x NN = f (g Ọ > )rỄ i_ = f ( g < '> )ỷ , j —f av, Jk ' j ' rk=0 í k uỔV v„.ap (2 33) 0V ' ' ỔV — — = j = a k = (3, — — = trường hợp cịn lại Từ ta có: ÕE ổVaP Ẻ ( y ^ - d - ) f 2( g ^ ) v - > (2.34) 1=1 Một cách hồn tồn tương tự ta có: ỔE