Mạng nơron hopfield cho bài toán biến đổi AD

Nhóm 2.7 Phát triển hệ thống dựa tri thức HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA CƠNG NGHỆ THÔNG TIN - - BÁO CÁO CHUYÊN ĐỀ TỐT NGHIỆP PHÁT TRIỂN HỆ THỐNG DỰA TRÊN TRI THỨC TÊN ĐỀ TÀI: MẠNG NƠ RON HOPFIELD CHO BÀI TOÀN BIẾN ĐỔI A/D Giảng viên hướng dẫn: Nguyễn Quang Hoan Nhóm 2.7 Sinh viên thực hiện: Đinh Thị Hải Yến B12DCCN264 Nguyễn Thị Tuyền B12DCCN357 Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức Mục lục I Giới thiệu chung II Tìm hiểu mạng nơ ron Hopfield Khái niệm mạng nơ ron Hopfiled Cấu trúc mạng Hopfiled Sự ổn định mạng Mạng hopfiled nhị phân ( rời rạc)[7] Mạng hopfiled liên tục Khả ứng dụng giải toán biến đổi A/D III Ứng dụng mạng nơ ron Hopfield cho toán biến đổi A/D Mạng hopfield cho toán biến đổi tối ưu Ví dụ Ví dụ 11 IV Các nghiên cứu biến đổi A/D dựa vào mạng nơ ron Hopfield giới 14 Tạp chí quốc tế nghiên cứu ứng dụng robotics máy tính [5] 14 Tối ưu hóa mạng nơ ron: An A/D Converter, Signal Decision Circuit, and ‘a Linear Programming Circuit [6] 18 V Kết luận 18 VI Tài liệu tham khảo 19 Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức I Giới thiệu chung Một mạng neuron hồi quy báo cáo sớm mạng trợ giúp tự động mô tả độc lập Anderson [1] Kohoen [4] năm 1977 Nó bao gồm nhóm neuron kết nối với nhau, kết nối thiết lập trọng Năm 1982, Hopfield [3] tập hợp số nghiên cứu trước trình bày phân tích tốn học hồn chỉnh dựa mơ hình Ising spin [2] đời mạng Hopfield Các mạng Hopfield sử dụng hai trình truyền thẳng phản hồi Sau trình phản hồi thực hiện, nhìn chung trường hợp ổn định mạng khơng đảm bảo Do việc thiết kế mạng Hopfield phải đảm bảo ổn định thiết lập II Tìm hiểu mạng nơ ron Hopfield Khái niệm mạng nơ ron Hopfiled Mạng Hopfield dạng mạng nơ-ron nhân tạo học định kỳ John Hopfield sáng chế Mạng Hopfield đóng vai trò hệ thống nhớ đánh địa nội dung với nút ngưỡng dạng nhị phân Chúng bảo đảm hội tụ cực tiểu cục bộ, không đảm bảo hội tụ mẫu lưu trữ Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức Cấu trúc mạng Hopfiled Hình Sơ đồ cấu trúc mạng Hopfield có nút Các nút mạng Hopfield nút ngưỡng có dạng nhị phân, tức nút có hai giá trị khác biểu trạng thái giá trị xác định nhờ vào ngưỡng mà ngõ nhập nút có vượt q hay khơng Các nút mạng Hopfield có giá trị -1, giá trị Do đó, có hai cách định nghĩa cho việc xác định phần tử i, ai: Mạng nơ ron Hopfield cho toán biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức Trong đó:    độ lớn trọng số kết nối từ nút j đến nút i (trọng số liên kết) trạng thái nút j ngưỡng nút i Các liên kết mạng Hopfield thường có ràng buộc sau: (khơng có nút liên kết với nó) (các liên kết đối xứng)   Ràng buộc trọng số phải đối xứng thường sử dụng, đảm bảo hàm lượng giảm cách đơn điệu làm theo luật kích hoạt, mạng xuất hành vi tuần hồn hỗn loạn dùng trọng số khơng đối xứng Tuy nhiên, Hopfield nhận thấy hành vi hỗn loạn hạn chế phần tương đối nhỏ không gian pha, không làm giảm khả thực vai trò làm hệ thống nhớ đánh địa nội dung mạng Mạng Hopfield có giá trị vơ hướng gắn liền với trạng thái mạng gọi "năng lượng", E, mạng, đó: Giá trị gọi "năng lượng" định nghĩa đảm bảo nút chọn cập nhật hoạt tính cách ngẫu nhiên, mạng hội tụ trạng thái, cực tiểu cục hàm lượng (hàm xem hàm Lyapunov) Do đó, trạng thái cực tiểu cục hàm lượng, trạng thái ổn định mạng Chú ý hàm lượng phụ thuộc vào nhóm mơ hình tổng qt vật lý, có tên mơ hình Ising Sự ổn định mạng Điều chỉnh trọng mạng thông tin phản hồi phải đảm bảo ổn định mạng Cohen Grossberg [8] mạng hồi quy đảm bảo ổn định ma trận W trọng đối xứng phần tử đường chéo 0, tức là: w ij = w ji  i,j w ii =0 với  i (1.21) (1.22) Yêu cầu phát biểu thông qua định lý ổn định Lyapunov Trạng thái mạng ổn định định nghĩa hàm lượng mạng (hàm Lyapunov Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức nó) ln ln giảm theo thời gian (Lyapunov 1907) Trạng thái mạng ổn định xây dựng hàm E trạng thái y thỏa mãn định lý ổn định Lyapunov theo điều kiện sau đây: Điều kiện A: Bất kỳ thay đổi hữu hạn trạng thái y mạng dẫn đến giảm hữu hạn E Điều kiện B: E hàm bị chặn Do ta định nghĩa hàm lượng E sau: E=  Th j y j   I j y j  j j  w ij y j yi i i 1 (1.23) i: neuron thứ i j: neuron thứ j I j : Đầu vào bit tới neuron j Th j : ngưỡng neuron j w ij phần tử ma trận trọng W biểu thị trọng từ đầu neuron i đến đầu vào neuron j Tham khảo chứng minh ổn định mạng định lý Lyapunov [9] Mạng hopfiled nhị phân ( rời rạc)[7] Xét mạng Hopfield rời rạc (năm 1982) Phương trình mô tả luật tác động: n x i (t) =  Wij y j (t)  I i i,j = 1, ,n; j=1 (2-1) Luật cập nhật đầu ra: Mạng nơ ron Hopfield cho toán biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức (2-2) Hàm quan hệ vào hàm phi tuyến bước nhảy (2-3) Luật cập nhật trọng liên kết theo luật Hebb tương quan: (2-4) Ii  n  j1 Wij (2-5) Trong đó, xi(t): tổng tất đầu vào; yi(t): đầu nơ ron; Wij : trọng liên kết phản hồi từ nơ ron i tới nơ ron j ; Ii: số nơ ron i; h số mẫu cất giữ; n số nơ ron; p phần tử thứ p tác động Hopfield nêu hàm lượng mạng (hay hàm năng): E(y)   12  Wijyi y j  i y i n n n i 1 j 1 i 1 (2-6) Nếu Wij=0 Wij=Wji thay đổi khơng đồng yp, lượng (2.6) giảm phù hợp theo: E  [y p (t  1)  y p (t)] [  a pj y j  w p ] n (2-7) j Mạng hopfiled liên tục Hopfield (1984) đa mơ hình mạng mơ tả tập phương trình vi phân Ci x i = - n xi + Ii +  Wij y j Ri j=1 (2-15) Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức yj = gj(xj) (2-16) x i = gi-1 ( y i ) (2-17) Trong đó, Ci Ri số; Ii ngưỡng; Wij trọng liên kết phần tử nơ ron thứ j với nơ ron thứ i; xi trạng thái nơ ron thứ i Hopfield nêu hàm Liapunov với dạng sau: n V(x)  yi  (1/ Ri )  gi-1( )d i 1  n  I i yi i =1  n n   Wij y i y j (2-18) i 1 j 1 Khả ứng dụng giải toán biến đổi A/D Sau cơng trình mạng Hopfield sử dụng nhiều vào việc giải toán tối ưu tổ hợp Ta biết mạng Hopfield đạt tới trạng thái cân hàm lượng đạt tới giá trị cực tiểu Vì vậy, từ toán cho trước, ta xây dựng hàm mục tiêu F (đã xử lý ràng buộc) đặt F = E (E hàm lượng), sau tìm mối liên hệ biến chúng Chính mà mạng Hopfield phù hợp với toán tối ưu tổ hợp, đặc biệt số toán thuộc lớp toán NP-đầy đủ như: toán biến đổi analog sang digital , tốn người bán hàng , tìm đường tối ưu cho tuyến đường xe bus trường học, toán người đưa thư, III Ứng dụng mạng nơ ron Hopfield cho toán biến đổi A/D Ngoài việc sử dụng liên kết đáng ghi nhớ để thực tìm kiếm thơng tin công nhận nhiệm vụ, mạng Hopfield sử dụng rộng rãi số lĩnh vực ứng dụng quan trọng giải vấn đề tối ưu hóa Đó là, mạng dự kiến tìm thấy cấu hình cho giảm thiểu hàm lượng đóng vai trò chức chi phí vấn đề tối ưu hóa Mạng hopfield cho tốn biến đổi tối ưu Ý tưởng để xây dựng toán tối ưu với hàm mục tiêu thích hợp mà sử dụng để xây dựng mạng hopfield, đặc biệt cho việc tìm kiếm trọng lượng Khi xây dựng vấn đề tối ưu hóa để giải Mạng nơ ron Hopfield cho tốn biến đổi A/D Nhóm 2.7 Phát triển hệ thống dựa tri thức mạng Hopfield, thực tế xây dựng loại đặc biệt thuật toán song song cho giải pháp họ Ví dụ Trong ví dụ thiết kế chuyển đổi A/D bít mà sử dụng mạng Hopfield liên tục Mục đích chuyển đổi từ giá trị đầu vào x (0< x