Mạng noron hopfield cho một lớp bài toán tối ưu

NGUYỄN THỊ PHƢƠNG DUNG BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH CÔNG NGHỆ THÔNG TIN MẠNG NORON HOPFIELD CHO MỘT LỚP BÀI TOÁN TỐI ƢU NGUYỄN THỊ PHƢƠNG DUNG 2014-2016 HÀ NỘI - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI LUẬN VĂN THẠC SỸ MẠNG NORON HOPFIELD CHO MỘT LỚP BÀI TOÁN TỐI ƢU NGUYỄN THỊ PHƢƠNG DUNG CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: 8.48.02.018 NGƢỜI HƢỚNG DẪN KHOA HỌC:PGS.TS NGUYỄN QUANG HOAN HÀ NỘI - 2018 LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chƣa đƣợc cơng bố cơng trình khác Hà Nội, ngày 02 tháng 12 năm 2018 HỌC VIÊN THỰC HIỆN Nguyễn Thị Phƣơng Dung i LỜI CẢM ƠN Để luận văn hồn thành, tơi nhận đƣợc hỗ trợ, giúp đỡ quan, tổ chức, cá nhân Với tình cảm sâu sắc, chân thành, cho phép tơi đƣợc bày tỏ lòng biết ơn sâu sắc đến tất cá nhân quan tạo điều kiện giúp đỡ trình học tập nghiên cứu đề tài Trƣớc hết xin gửi tới đến ban lãnh đạo trƣờng Đại học Mở Hà Nội, thầy cô Khoa Đào tạo Sau đại học lời chào trân trọng, lời chúc sức khỏe lời cảm ơn sâu sắc Với quan tâm, dạy dỗ, bảo tận tình chu đáo thầy cơ, đến tơi hồn thành luận văn, đề tài: " Mạng nơ ron Hopfield cho lớp tốn tối ưu" Đặc biệt tơi xin gửi lời cảm ơn chân thành tới thầy giáo PGS.TS Nguyễn Quang Hoan quan tâm giúp đỡ, hƣớng dẫn tơi hồn thành tốt luận văn thời gian qua Với điều kiện thời gian nhƣ kinh nghiệm hạn chế học viên, luận văn khơng thể tránh đƣợc thiếu sót Tơi mong nhận đƣợc bảo, đóng góp ý kiến thầy để tơi có điều kiện bổ sung, nâng cao ý thức mình, phục vụ tốt công tác thực tế sau Tôi xin chân thành cảm ơn! Hà Nội, ngày 02 tháng 12 năm 2018 Nguyễn Thị Phƣơng Dung ii Comment [H1]: Từ 1/12 gọi ĐH Mở MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG BIỂU vi DANH MỤC CÁC HÌNH VẼ vii MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO 1.1 Nơ ron sinh vật 1.1.1 Quá trình phát triển nghiên cứu mạng nơ ron 1.1.2 Nơ-ron sinh học 1.1.3 Cấu trúc mạng nơron sinh vật 1.2 Nơ ron nhân tạo 1.2.1 Mơ hình tổng qt nơron nhân tạo 1.2.2 Mạng noron nhân tạo 10 1.2.3 Luật học 12 1.2.4 Mơ hình mạng nơ ron nhân tạo điển hình 15 1.2.5 Phạm vi ứng dụng mạng noron 22 1.3 Kết luận chƣơng 26 CHƢƠNG 2: MẠNG NƠ-RON HOPFIELD 28 2.2 Thiết lập trọng mạng Hopfield, nguyên tắc nhớ kết hợp hai chiều (BAM) 36 2.3 Sự ổn định mạng .37 2.4 Mạng Hopfield liên tục 38 2.6 Ý nghĩa phạm vi ứng dụng mạng Hopfield 53 2.7 Kết luận chƣơng 55 CHƢƠNG 3: MẠNG HOPFIELD VỚI MỘT LỚP BÀI TOÁN TỐI ƢU 56 3.1 Bài toán ngƣời du lịch sử dụng mạng Hopfield .56 3.1.1 Phát biểu toán ngƣời du lịch (TSP) 56 iii 3.1.2 Giải toán với mạng Hopfield 56 3.2 Bài toán biến đổi A/D .61 3.2.1 Phát biểu toán 61 3.2.2 Giải toán 61 3.3 Kết luận chƣơng 64 KẾT LUẬN 66 TÀI LIỆU THAM KHẢO 67 iv DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT STT Từ viết tắt Tiếng Anh Tiếng Việt phần tử nơ ron tuyến t nh ALM Adaptive Linear Element th ch nghi - tên loại nơ ron Widrow đề xuất năm 1960 Back Propagation Network Mạng nhiều lớp lan truyền BPN BLR EP Evolutionary Programming Lập trình tiến hóa Gas Genetic Algorithm Thuật toán di truyền ngƣợc Backpropagation Learning Rule Internatonal IJCNN Conference Joint on Neural Networks Luật lan truyền ngƣợc Hội nghị tồn cầu chun ngành nơ ron Trung bình bình phƣơng LMS Least Mean Square PL Parameter Learning Học tham số RL Reinforcement Learning Học củng cố 10 SL Supervised Learning Học có giám sát Structure Learning Học cấu trúc 11 12 TSP 13 UL nhỏ Salesman Bài toán ngƣời bán hàng Traveling Problem du lịch Unsupervised Learning Học không giám sát v DANH MỤC CÁC BẢNG BIỂU Bảng 1.1 Một số hàm H(s) thƣờng dùng cho mơ hình nơron nhân tạo .8 Bảng 1.2 Một số hàm phi tuyến thƣờng đƣợc sử dụng mơ hình nơron .9 Bảng 3.1: Bảng kết .60 vi DANH MỤC CÁC HÌNH VẼ Hình 1.1 Nơron sinh vật .6 Hình 1.2 Nơron nhân tạo Hình 1.3 Phân loại mạng nơ-ron nhân tạo .12 Hình 1.4 Các dạng học .13 Hình 1.5 Mạng Perceptron lớp đơn 17 Hình 1.6 Mạng nhiều lớp lan truyền ngƣợc .20 Hình 2.1 Cấu trúc mạng Hopfield .31 Hình 2.2 Lƣợc đồ chuyển trạng thái v dụ 33 Hình 3.1 Kiến trúc mạng Hopfield cho toán TSP n thành phố 57 vii MỞ ĐẦU Nhờ khả năng: học, nhớ lại khái quát hóa từ mẫu huấn luyện liệu, mạng nơ-ron nhân tạo trở thành phát minh đầy hứa hẹn hệ thống xử lý thông tin Các t nh toán nơ-ron cho phép giải tốt toán đặc trƣng số tất t nh chất sau: sử dụng không gian nhiều chiều, tƣơng tác phức tạp, chƣa biết khơng thể biết mặt tốn học biến Ngồi phƣơng pháp cho phép tìm nghiệm tốn đòi hỏi đầu vào cảm nhận ngƣời nhƣ: ảnh, tiếng nói, nhìn, nhận dạng nhƣ khả học Những năm gần giới đƣa mơ hình mạng nơ-ron nhân tạo mơ hình t nh tốn đƣợc ứng dụng rộng rãi lĩnh vực công nghệ thông tin, đặc biệt mạng Hopfield th ch hợp cho tốn nhƣ: tốn tìm đƣờng ngắn nhất, tốn tơ màu đồ, tốn xếp hậu Khi ứng dụng mạng nơ-ron Hopfield để giải tốn thu đƣợc kết khả quan mặt chƣơng trình gọn, đơn giản Nhận thức đƣợc vấn đề có gợi ý định hƣớng thầy Nguyễn Quang Hoan, em mạnh dạn nghiên cứu đề tài “Mạng nơ-ron Hopfield cho lớp tốn tối ƣu“ với mục đ ch tìm hiểu mạng nơ-ron nhân tạo, mạng nơ-ron Hopfield ứng dụng để giải toán tối ƣu Luận văn đƣợc chia làm chƣơng với nội dung sau: Chƣơng 1: Tổng quan mạng nơ-ron nhân tạ o Chƣơng trình bày phần lý thuyết sở mạng nơ ron cho việc nghiên cứu ứng dụng việc giải toán tối ƣu ngƣời du lịch toán biến đổi A/D Chƣơng 2: Mạng nơ-ron Hopfield Chƣơng chủ yếu bàn mạng hồi quy lớp Đi sâu tìm hiểu mạng nơ ron Hopfield có : mạng Hopfield rời rạc, mạng Hopfield liên tục, nghiên cứu ổn định mạng… Chƣơng 3: Mạng nơ-ron Hopfield với lớp toán tối ƣu C'=(-1 -1 1) N'=(1 -1 -1 1) Kết sản phẩm đầu đƣa đến ma trận trọng số W=L’TA’+M’TB’+N’TC’  1  1    3   1  =   3   1    1   3  Sử dụng cơng thức (2-38) (2-39), v dụ đƣợc xác định lại: AWT=[1 1] WT=[1 5 1] => (1 1 1)=L  1  1    3   1  =[4 -4 -4 4]T =>(1 1)=A LW=[1 1 1]    3   1    1   3  Nhƣ (A,L), (B,M), (C (1 1 1)=L Chú ý việc học vủa BAM cố định, khơng đủ mạnh trƣờng hợp đẩy bit mẫu kết hội tụ đƣợc sai BAM v dụ mạng ánh xạ 2.6 Ý nghĩa phạm vi ứng dụng mạng Hopfield  Ứng dụng mạng Hopfielf Thêm lần ta phải khẳng định t nh ƣu việt phù hợp với tốn thực tế mạng Hopfield Có nhiều tốn đƣợc giải dựa mơ hình mạng Hopfield Những tốn tối ƣu tổ hợp, trình điều khiển, 53 tốn thuộc lớp NP-đầy đủ … Sau số ứng dụng cụ thể mạng Hopfield: + Mạng Hopfield với toán bốn mầu + Ứng dụng mạng Hopfield tốn phẳng đồ thị hóa + Ứng dụng mạng Hopfield toán lập lịch + Mạng Hopfield với lớp toán NP- đầy đủ + Ứng dụng mạng Hopfield toán nhận dạng ảnh + Mạng Hopfield ứng dụng toán điều khiển + Mạng Hopfield ứng dụng cho toán tối ƣu  Ƣu điểm mạng hopfield Khó thống kê đầy đủ ứng dụng mạng Neural nói chung mạng Hopfield nói riêng Tuy nhiên nêu số ứng dụng mạng Neural nói chung, mạng Neural Hopfield nói riêng đƣợc sử dụng nhiều lĩnh vực: Điện điện tử, Kinh tế, Quân sự, Tr tuệ nhân tạo,… để giải tốn có độ phức tạp, độ ch nh xác cao nhƣ: + Nhận dạng mẫu + Các hệ thống quân + Vấn đề lập kế hoạch, điều khiển tìm kiếm + Các hệ thống lƣợng + Dự đoán + Giải tốn nhận dạng hình ảnh: ảnh màu, màu,… + Các tốn tối ƣu hóa: Bài toán ngƣời bán hàng dong, ngƣời đƣa thƣ, tốn lập lịch, lập thời khóa biểu,… + Có thể ứng dụng nhiều lĩnh vực: toán di truyền sinh học, toán nhận dạng ảnh tr tuệ nhân tạo,… + Dễ cài đặt ứng dụng  Nhƣợc điểm mạng Hopfield Tuy nhiên mạng Neural Hopfield có số nhƣợc điểm: + Chƣơng tình chiếm dụng tài nguyên nhiều toán nhận dạng ảnh, toán NP - C, số tốn tối ƣu hóa 54 + Khó khăn việc tìm thuật tốn huấn luyện mạng tối ƣu để góp phần tìm nghiệm cho nhiều lớp tốn tối ƣu toàn cục 2.7 Kết luận chƣơng Mạng lan truyền ngƣợc hay đƣợc gọi mạng phản hồi (truy hồi) đƣợc sử dụng phổ biến lĩnh vực nay, điển hình gồm: Mạng Hopfield rời rạc (1982); Mạng Hopfield liên tục (1984); Mạng liên kết hai chiều BAM (thực chất hai mạng Hopfield đấu phản hồi); mạng Cohen-Grossberg (thực chất khái quát hóa mạng Hopfield liên tục thành định lý Cohen-Grossberg, nhƣng khó thực kỹ thuật); … Tuy nhiên, dù đƣợc ứng dụng nhiều, bạn có thực biết Mạng lan truyền ngƣợc để chọn đƣợc phƣơng pháp tốt cho toán xây dựng model riêng cho trƣờng hợp định? Chƣơng giới thiệu mạng nơ ron phản hồi có t nh ổn định mạng điển hình Mạng Hopfield rời rạc (1982); Mạng Hopfield liên tục (1984) 55 CHƢƠNG MẠNG HOPFIELD VỚI MỘT LỚP BÀI TỐN TỐI ƢU 3.1 Bài tốn ngƣời du lịch sử dụng mạng Hopfield 3.1.1 Phát biểu toán người du lịch (TSP) Cho n thành phố, ngƣời muốn du lịch khắp thành phố, thành phố qua lần sau quay lại thành phố xuất phát Giả sử biết khoảng cách thành phố Tìm phƣơng án để ngƣời với tổng khoảng cách ngắn 3.1.2 Giải toán với mạng Hopfield Để giải toán ngƣời du lịch, chiến lƣợc đơn giản đƣợc đƣa liệt kê tất đƣờng khả thi để t nh toán tổng khoảng cách cho đƣờng chọn đƣờng với tổng khoảng cách nhỏ Tuy nhiên có n thành phố số đƣờng khả thi (n-1)! Vì chiến lƣợc trở nên đơn giản không khả thi số lƣợng thành phố lớn V dụ có 11 thành phố có 10!=3.628.800 đƣờng (bao gồm đƣờng với tuyến đƣờng nhƣng khác hƣớng) Con số tăng lên 6.2 triệu với 13 thành phố Đối với n thành phố đƣợc viếng thăm , đặt X ij biến có giá trị ngƣời du lịch từ thành phố i đến thành phố j ngƣợc lại Dij khoảng cách từ i đến j Khi tốn ngƣời du lịch đƣợc phát biểu lại nhƣ sau: Cực tiểu hóa hàm mục tiêu tuyến t nh: n n  X i  j j 1 ij Dij 3.1.2.1 Thiết kế mạng Mạng Hopfield mạng động với số lần lặp cho hội tụ từ trạng thái đầu vào tùy ý nhƣ hình 3.1 56 Hình 3.1: Kiến trúc mạng Hopfield cho toán TSP n thành phố Sử dụng n2 neuron mạng, n tổng số thành phố đƣợc viếng thăm Các neuron có ngƣỡng có hàm bƣớc Các đầu vào đƣợc gán trọng Nhiệm vụ ch nh tìm trọng kết nối th ch hợp để từ đƣờng hợp lệ đƣợc chọn đƣờng không hợp lệ đƣợc ngăn chặn 3.1.2.1 Hàm lượng Một mẫu đầu vào đại diện cho điểm lƣợng cụ thể, mẫu đƣợc lặp theo cách để tìm giải pháp Sự lặp lặp lại trạng thái đạt đến khác biệt lƣợng lần lặp dƣới ngƣỡng giá trị nhỏ (khoảng 0.000001) Hàm lƣợng đƣợc sử dụng phải thỏa mãn tiêu ch sau: - Hàm lƣợng dẫn ma trận kết hợp ổn định - Hàm lƣợng đƣa đƣờng ngắn Hàm lƣợng đƣợc sử dụng mạng:   X E= A i k j k ik X ij  Bi  X k j k ki X ji  C[i X (3-1) Trong đó: A, B, C, D số nguyên dƣơng 57 k ik  n]2+D k  d X j k i kj ki ( X j ,i 1  X j ,i 1 ) X ij biến để biểu thị đƣờng thực tế đƣợc viếng thăm từ thành phố i đến thành phố j Vì X ij đầu neuron thứ j mảng neuron tƣơng ứng với thành phố thứ i Ta có n2 biến nhƣ giá trị cuối chúng hay gần đến Hàm lƣợng đƣợc phân t ch nhƣ sau: - Ràng buộc hàng( A i  X k j k ik X ij ): Trong hàm lƣợng ba tổng có số cột theo thứ tự Điều đảm bảo cho khơng có thành phố đƣợc viếng thăm đồng thời - Ràng buộc cột( Bi   k j k X ki X ji ):Trong hàm lƣợng ba tổng có thành phố xuất cột theo thứ tự Điều đảm bảo thành phố đƣợc viếng thăm lần - Ràng buộc tổng số số 1( C[(i  k X ik )  n]2 ): Tổng ba số thứ có N số xuất toàn ma trận nxn Điều đảm bảo n thành phố đƣợc viếng thăm - Ràng buộc khoảng cách ngắn nhất(D  k  d j k i kj X ki ( X j ,i 1  X j ,i 1 ) ): Giá trị điều kiện cực tiểu tổng khoảng cách đƣờng ngắn Giá trị D quan trọng định thời gian để hội tụ t nh tối ƣu giải pháp Nếu giá trị D thấp phải nhiều thời gian để mạng hội tụ nhƣng mang lại giải pháp gần với giải pháp tối ƣu, giá trị D cao mạng hội tụ nhanh nhƣng giải pháp thu đƣợc khơng tối ƣu 3.1.2.2 Thiết lập ma trận trọng Mạng hoàn toàn đƣợc kết nối với thơng tin phản hồi có n2 neuron Do ma trận trọng ma trận vuông gồm n2xn2 phần tử Theo hàm lƣợng ma trận trọng đƣợc thiết lập nhƣ sau: 58 Wik ,lj =  Ail (1   kj )  B(1   jl )  C  Dd jl ( j ,k 1   j ,k 1 ) (3-2) Trong đó: số A,B,C,D giống nhƣ hàm lƣợng Các trọng đƣợc cập nhật để thỏa mãn ràng buộc khác để cung cấp đƣờng hợp lệ với tổng khoảng cách ngắn Hàm trọng đƣợc phân t ch nhƣ sau: - Các neuron có trọng đƣợc cập nhật sử dụng số cho thành phố đến cho thứ tự thành phố đƣờng Vì phần tử ma trận trọng cho kết nối neuron cần số - Hàm delta có hai đối số đƣợc định nghĩa  ik = i=k  ik =0 i  k - Ràng buộc cung cấp cho dòng đảm bảo khơng có hai thành phố đƣợc cập nhật đồng thời - Ràng buộc thứ đƣợc cung cấp cho cột, đảm bảo khơng có thành phố đƣợc viếng thăm nhiều lần - Ràng buộc thứ đảm bảo cho hội tụ toàn cục - Ràng buộc thứ đảm bảo tổng khoảng cách ngắn 3.1.2.3 Xây dựng hàm kích hoạt Hàm k ch hoạt phải tuân theo ràng buộc khác để đƣa đƣờng hợp lệ Nó đƣợc định nghĩa nhƣ sau: (3-3) 59 Biểu diễn neuron k ch hoạt dòng thứ i cột thứ j aij đầu k hiệu X ij Sử dụng thời gian  với giá trị 1.0 Một thông số khác đƣợc sử dụng m với giá trị 15 Điều kiện hàm k ch hoạt giảm sau lần lặp Điều kiện 2,3,4,5 giữ cho ràng buộc để đƣợc đƣờng hợp lệ Chức k ch hoạt đƣợc cập nhật nhƣ sau: aij (moi)= aij (cu)+  aij 3.1.2.4 Lựa chọn đầu vào Các đầu vào mạng đƣợc lựa chọn tùy ý Trạng thái ban đầu mạng không cố định, không chống lại nghiêng tuyến đƣờng cụ thể Một vấn đề phát sinh mạng bị kẹt cực tiểu cục Để tránh xảy tình trạng nhiễu ngẫu nhiên đƣợc tạo thêm vào đầu vào ban đầu Cũng có yếu tố đầu vào đƣợc cho từ ngƣời sử dụng V dụ nhƣ ngƣời sử dụng yêu cầu số lƣợng thành phố đầu vào hay khoảng cách thành phố 3.1.2.5 Kết thảo luận Sau cài đặt thuật toán, sử dụng phần mềm Matlab tiến hành cho mạng chạy lần lƣợt với số thành phố đầu vào 5,10,15,20,25 ta đƣợc bảng kết dƣới đây: Bảng 3.1: Bảng kết Số thành phố Số lần lặp Thời gian Kết (Giây) 152 0.4652 Tốt 10 581 1.8075 Tốt 15 1021 3.2873 Tốt 20 2433 7.6458 Tốt 25 5292 16.2264 Chấp nhận đƣợc 60 3.1.3 Kết luận - Kết cho thấy số thành phố tăng số lần lặp tăng mạnh Số lần lặp tăng nhƣng tăng tuyến t nh - Số lần lặp cần thiết để hội tụ khơng trì giống với thành phố cụ thể V dụ với thành phố, mạng thƣờng đạt đƣợc hội tụ với 120-170 lần lặp Trong vài trƣờng hợp mạng cần 80 lần lặp để hội tụ, có vài trƣờng hợp cần đến 250 lần Điều lý giải đƣợc trạng thái ban đầu đƣợc khởi tạo ngẫu nhiên mạng - Nhiều trƣờng hợp lƣợng hệ thống đƣợc t nh tốn lại tăng thay giảm Vì thuật tốn khơng thành cơng vài trƣờng hợp - Trong q trình test thử mẫu có 93% hội tụ, 7% thất bại lƣợng hệ thống tăng lên thay giảm mạng lặp theo hƣớng hội tụ 3.2 Bài toán biến đổi A/D 3.2.1 Phát biểu toán Thiết kế chuyển đổi A/D bit mà sử dụng mạng Hopfield đơn liên tục 3.2.2 Giải toán Mục đ ch chuyển đổi từ giá trị đầu vào liên tục x (0< x