Một số cải biên của mạng hopfield và ứng dụng

Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN ………… *………… TRẦN KIÊN MỘT SỐ CẢI BIÊN CỦA MẠNG HOPFIELD VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2010 Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN KHOA CÔNG NGHỆ THÔNG TIN ………… *………… TRẦN KIÊN MỘT SỐ CẢI BIÊN CỦA MẠNG HOPFIELD VÀ ỨNG DỤNG Chuyên nghành: Khoa học máy tính Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS ĐẶNG QUANG Á THÁI NGUYÊN - 2010 i Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC Trang Trang phụ bìa Lời cam đoan MỤC LỤC i - DANH MỤC CÁC HÌNH iii - MỞ ĐẦU - 1 - CHƢƠNG 1 GIỚI THIỆU VỀ MẠNG NƠ RON HOPFIELD VÀ CÁC BÀI TOÁN VỀ ĐỒ THỊ LOẠI NP - C - 3 - 1.1. Giới thiệu sơ lƣợc về mạng nơ-ron - 3 - 1.1.1. Lịch sử phát triển - 3 - 1.1.2. Nơ-ron nhân tạo - 4 - 1.1.3. Mạng nơ ron - 6 - 1.1.4. Luật học - 9 - 1.1.5. Ƣu và nhƣợc điểm của mạng nơ-ron - 12 - 1.2. Mạng Hopfield - 13 - 1.2.1. Mạng Hopfield rời rạc - 14 - 1.2.2 Mạng Hopfield liên tục: - 15 - 1.3. Khả năng ứng dụng của mạng Hopfield. - 17 - 1.4 Một số bài loại NP - C - 18 - 1.4.1 Bài toán bốn màu - 18 - 1.4.2 Bài toán phẳng hóa đồ thị - 18 - 1.4.3 Bài toán ngƣời du lịch - 20 - 1.4.4 Bài toán phe nhóm tối đa. - 23 - 1.4.5 Bài toán cắt giảm tối đa - 23 - CHƢƠNG 2: ỨNG DỤNG MẠNG MAXIMUM NEURAL NETWORK VỚI TỰ PHẢN HỒI PHI TUYẾN ĐỂ GIẢI BÀI TOÁN PHE NHÓM TỐI ĐA 24 - ii Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.1 Giới thiệu bài toán phe nhóm tối đa - 24 - 2.2 Mô tả của thuật toán đề xuất cho vấn đề phe nhóm tối đa. - 25 - 2.3 Thử nghiệm và đánh giá kết quả. - 31 - CHƢƠNG 3: ỨNG DỤNG MẠNG MAXIMUM NEURAL NETWORK VỚI TỰ PHẢN HỒI PHI TUYẾN ĐỂ GIẢI BÀI TOÁN CẮT GIẢM TỐI ĐA - 38 - 3.1 Giới thiệu bài toán - 38 - 3.2 Mô tả thuật toán đề xuất - 41 - 3.3 Thử nghiệm và đánh giá kết quả. - 45 - KẾT LUẬN - 55 - TÀI LIỆU THAM KHẢO - 56 - PHỤ LỤC 1 - 58 - PHỤ LỤC 2 - 63 - iii Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH Hình 1.1 Mô hình một nơ ron 6 Hình 1.2 Mạng truyền thẳng một lớp 7 Hình 1.3 Mạng truyền thẳng nhiều lớp 8 Hình 1.4 Mạng một lớp có nối ngƣợc 9 Hình 1.5 Mạng nhiều lớp có nối ngƣợc 9 Hình 1.6 Mô hình mạng Hopfield 13 Hình 1.7 Đồ thị chƣa phẳng 19 Hình 1.8 Đồ thị phẳng 20 Hình 1.9 Đồ thị phẳng 20 Hình 1.10 Biểu diễn đồ thị trên một hàng 20 Hình 2.1 (a) Biểu diễn đồ thị 10 đỉnh 27 Hình 2.1 (b) Biểu diễn đồ thị phần bù 27 Hình 2.1 (c) Biểu diễn một phe nhóm tối đa 28 Hình 2.2. Cơ cấu của mạng MNN với phi tuyến tự phản hồi 30 Hình 2.3 Biểu diễn lƣu đồ thuật toán 33 Hình 2.4 (a) Biểu diễn đồ thị 6 đỉnh 34 Hình 2.4 (b) Biểu diễn một phe nhóm tối đa 34 Hình 2.5 (a) Biểu diễn đồ thị 10 đỉnh 35 Hình 2.5 (b) Biểu diễn một phe nhóm tối đa 36 Hình 2.6 (a) Biểu diễn đồ thị 20 đỉnh 36 Hình 2.6 (b) Biểu diễn một phe nhóm tối đa 37 Hình 3.1 (a ) Một đồ thị vô hƣớng đơn giản bao gồm 5 đỉnh 41 Hình 3.1 (b ) Một trong các đồ thị cắt giảm tối đa 41 Hình 3.2. Cơ cấu của mạng MNN với phi tuyến tự phản hồi 45 Hình 3.3 Biểu diễn lƣu đồ thuật toán 47 iv Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 3.4 (a) Một đồ thị vô hƣớng đơn giản bao gồm 5 đỉnh 48 Hình 3.4 (b) Một trong các đồ thị cắt giảm tối đa 48 Hình 3.5( a) Biểu diễn đồ thị 10 đỉnh 21 cạnh 49 Hình 3.5 (b) Một trong các đồ thị cắt giảm tối đa 50 Hình 3.6 (a) Biểu diễn đồ thị 25 đỉnh 51 Hình 3.6 (b) Một trong các đồ thị cắt giảm tối đa 54 - 1 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Trong thực tế có nhiều bài toán phức tạp thuộc lớp bài toán tối ƣu tổ hợp và bài toán tối ƣu có rằng buộc, cũng có nhiều công trình nghiên cứu để giải quyết các bài toán đó. Ví dụ: Bài toán tìm đƣờng đi ngắn nhất, bài toán tô màu bản đồ, bài toán xếp hậu, bài toán cắt giảm tối đa, bài toán phe nhóm tối đa Xong các giải thuật đƣa ra thƣờng phức tạp mà chƣa có thuật toán đơn giản và hợp lý. Những năm gần đây trên thế giới đƣa ra mô hình mạng nơron nhân tạo là mô hình tính toán đƣợc áp dụng rộng rãi trong lĩnh vực công nghệ thông tin. Đặc biệt mạng Hopfield và các cải biên của nó rất thích hợp cho các bài toán trên. Nhận thức đƣợc vấn đề đó và có sự gợi ý và định hƣớng của PGS .TS Đặng Quang Á em đã mạnh dạn nghiên cứu đề tài "Một số cải biên mạng của Hopfield và ứng dụng". Nội dung cơ bản của luận văn tốt nghiệp gồm có ba chƣơng: Chƣơng một trình bày tổng quan về cơ sở của mạng nơron, mạng nơ ron Hopfiel và các bài toán về đồ thị loại NP - C bao gồm: Giới thiệu sơ lƣợc về mạng nơ-ron, mạng nơ ron Hopfield, phạm vi ứng dụng của mạng nơron Hopfield, một số bài toán đồ thị loại NP - C. Chƣơng hai trình bày về ứng dụng cải biên của mạng nơron Hopfield trong việc giải quyết bài toán phe nhóm tối đa. Khi ứng dụng cải biên mạng nơron Hopfield để giải quyết bài toán này thì thu đƣợc kết qủa khả quan cụ thể: Về mặt chƣơng trình gọn đơn giản, thời gian thực hiện nhỏ. Chƣơng ba trình bày về ứng dụng cải biên của mạng nơron Hopfield trong việc giải quyết bài toán cắt giảm tối đa, đây là bài toán thuộc lớp bài toán tối ƣu tổ hợp. Khi ứng dụng cải biên mạng nơron Hopfield để giải quyết - 2 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn bài toán này thì thu đƣợc kết qủa khả quan cụ thể: Về mặt chƣơng trình gọn đơn giản, thời gian thực hiện nhỏ. Qua luận văn này em xin chân thành cảm ơn: PGS .TS Đặng Quang Á - Viện Công nghệ thông tin đã tận tình giúp đỡ, động viên, định hƣớng, hƣớng dẫn em nghiên cứu và hoàn thành luận văn này. Em xin cảm ơn các thầy cô giáo trong viện Công nghệ thông tin, các thầy cô giáo khoa Công nghệ thông tin ĐH Thái nguyên, đã giảng dạy và giúp đỡ em trong hai năm học qua, cảm ơn sự giúp đỡ nhiệt tình của các bạn đồng nghiệp . THÁI NGUYÊN 10/2010 Ngƣời viết luận văn Trần Kiên - 3 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG 1 GIỚI THIỆU VỀ MẠNG NƠ RON HOPFIELD VÀ CÁC BÀI TOÁN VỀ ĐỒ THỊ LOẠI NP – C 1.1. Giới thiệu sơ lƣợc về mạng nơ-ron 1.1.1. Lịch sử phát triển Quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể chia thành bốn giai đoạn nhƣ sau: + Giai đoạn một: Có thể tính từ nghiên cứu của William (1890) về tâm lý học với sự liên kết các nơ-ron thần kinh. Năm 1940, MeCulloch và Pitts đã cho biết: nơ-ron có thể đƣợc mô hình hoá nhƣ thiết bị ngƣỡng (giới hạn) để thực hiện các phép tính logic và mô hình mạng nơ-ron của Mc Culloch-Pitts cùng với giải thuật huấn luyện mạng của Hebb ra đời năm 1943. + Giai đoạn hai: Vào khoảng gần những năm 1960, một số mô hình nơ- ron hoàn thiện hơn đã đƣợc đƣa ra nhƣ: mô hình Perceptron của Rosenblatt (1958), Adaline của Widrow (1962). Trong đó mô hình Perceptron rất đƣợc quan tâm vì nguyên lý đơn giản, nhƣng nó cũng có hạn chế vì nhƣ Marvin Minsky và Seymour papert của MIT (Massachurehs Insritute of Technology) đã chứng minh nó không dùng đƣợc cho các hàm logic phức (1969). Còn Adaline là mô hình tuyến tính, tự chỉnh, đƣợc dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và vẫn phát triển cho đến nay. + Giai đoạn ba: Có thể tính vào khoảng đầu thập niên 80. Những đóng góp lớn cho mạng nơ-ron trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield. Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt, ông đã dự kiến nhiều khả năng tính toán lớn của mạng mà một nơ-ron không có khả năng đó. Cảm nhận của Hopfield đã đƣợc Rumelhart, Hinton và - 4 - Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Williams đề xuất thuật toán sai số truyền ngƣợc nổi tiếng để huấn luyện mạng nơ-ron nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện đƣợc. Nhiều ứng dụng mạnh mẽ của mạng nơ-ron ra đời cùng với các mạng theo kiểu máy Boltzmann và mạng Neocognition của Fukushima. + Giai đoạn bốn: Tính từ năm 1987 đến nay, hàng năm thế giới đều mở hội nghị toàn cầu chuyên ngành nơ-ron IJCNN (International Joint Conference on Neural Networks). Rất nhiều công trình đƣợc nghiên cứu để ứng dụng mạng nơ-ron vào các lĩnh vực, ví dụ nhƣ: Kỹ thuật tính, tối ƣu, sinh học, y học, thống kê, giao thông, hoá học… Cho đến nay, mạng nơ-ron đã tìm đƣợc và khẳng định đƣợc vị trí của mình trong rất nhiều ứng dụng khác nhau. 1.1.2. Nơ-ron nhân tạo  Trọng số và tổng tín hiệu đầu vào: Mô phỏng nơ-ron sinh học, ta có nơ-ron nhân tạo. Mỗi nơ-ron có rất nhiều dây thần kinh vào, nghĩa là mỗi nơ-ron có thể tiếp nhận đồng thời nhiều tín hiệu. Giả sử tại nơ-ron i có N tín hiệu vào, mỗi tín hiệu vào s j đƣợc gán một trọng số w ij tƣơng ứng. Ta có thể ƣớc lƣợng tổng tín hiệu đi vào nơ ron net i theo một số dạng sau: (i) Dạng tuyến tính:   =      =1 (1.1) (ii) Dạng toàn phƣơng:   =     2  =1 (1.2) (iii) Dạng mặt cầu:   =  2      2  =1 (1.3) [...]... trong cùng một lớp Phần này sẽ trình bày mô hình mạng tiêu biểu thuộc lớp mạng hồi quy, đó là mạng Hopfield Mạng Hopfield đƣợc bắt đầu nghiên cứu từ năm 1982 Đây là mạng một lớp với thông tin và quá trình xử lý có nối ngƣợc Chính công trình của Hopfield đƣợc tìm thấy rất nhiều ứng dụng, đặc biệt trong bộ nhớ liên kết và trong các bài toán tối ƣu Giả sử mạng đƣợc xây dựng dƣới dạng mạng một lớp, mỗi... Khả năng ứng dụng của mạng Hopfield Khó có thể thống kê đầy đủ các ứng dụng của mạng nơ-ron nói chung và mạng Hopfield nói riêng Tuy nhiên, có thể nêu một số ứng dụng nhƣ sau: - Xử lý ảnh - Nhận dạng mẫu - Y học - Các hệ thống quân sự - Vấn đề lập kế hoạch, điều khiển và tìm kiếm - Các hệ thống năng lƣợng - Dự đoán Giải các bài toán tối ƣu: Vấn đề chính là tìm những thuật toán huấn luyện mạng để góp... phân của các nơ ron nên mạng Hopfield rời rạc đƣợc sử dụng cho các bài toán tối ƣu {0, 1} Một mở rộng của mạng nhị phân là mạng lƣợng tử hoá (xem [15]) Đây là một loại mạng mới đƣợc đề xuất và thích hợp cho việc giải các bài toán quy hoạch nguyên 1.2.2 Mạng Hopfield liên tục: Mạng Hopfield liên tục là mạng mà trạng thái của nó đƣợc mô tả bởi phƣơng trình động học 𝑑𝑈 𝑖 = 𝑑𝑡 Số hóa bởi Trung tâm Học... − 2 𝑛 𝑛 𝑛 𝑊𝑖𝑗 𝑉𝑖 𝑉𝑗 − 𝑖=1 𝑗 =1,𝑖≠𝑗 𝐼𝑗 𝑉𝑖 (1.12) 𝑖=1 Tuỳ theo phƣơng thức hoạt động của mạng mà ngƣời ta phân mạng Hopfield ra thành mạng Hopfield rời rạc và mạng Hopfield liên tục 1.2.1 Mạng Hopfield rời rạc Mạng Hopfield rời rạc là mạng đƣợc tính rời rạc (đầu ra rời rạc) và làm việc ở chế độ không đồng bộ Trƣờng hợp mạng nhận các giá trị nhị phân {0, 1}: Hàm kích hoạt đƣợc xác định nhƣ sau: fi  f... trọng số của mạng Có thể chia thủ tục học tham số ra thành ba lớp học nhỏ hơn: Học có chỉ đạo, học tăng cƣờng và học không chỉ đạo Việc xác định r tùy thuộc vào từng kiểu học + Học có tín hiệu chỉ đạo: Là quá trình mạng học dựa vào sai số giữa đầu ra thực và đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số Sai số này chính là hằng số học r Luật học điển hình của nhóm này là luật học Delta của. .. tắc và các hƣớng dẫn thiết kế một cách rõ ràng đối với một ứng dụng nhất định - Không có cách tổng quát để đánh giá hoạt động bên trong mạng - Việc học đối với mạng có thể khó (hoặc không thể) thực hiện - Khó có thể dự đoán trƣớc đƣợc hiệu quả của mạng trong tƣơng lai (khả năng tổng quát hoá) 1.2 Mạng Hopfield Trong mạng hồi quy tín hiệu ra của một nơ-ron có thể đƣợc truyền ngƣợc lại làm tín hiệu vào... tƣởng này Luật Oja là cải tiến và nâng cấp của luật Delta Luật truyền ngƣợc là luật mở rộng của luật Delta cho mạng nhiều lớp Đối với mạng truyền thẳng thƣờng sử dụng luật truyền ngƣợc để chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài và ngƣời ta gọi mạng này là mạng lan truyền ngƣợc + Học không có tín hiệu chỉ đạo: Luật học này sử dụng đầu ra của mạng làm cơ sở để hiệu chỉnh các trọng số liên kết Hay trong... học Mạng nơ ron có một số ƣu điểm so với máy tính truyền thống Cấu trúc song song của mạng nơ ron rất thích hợp cho những ứng dụng đòi hỏi tốc độ nhanh theo thời gian thực Khả năng huấn luyện của mạng nơ ron có thể khai thác để phát triển hệ thống thích nghi Mặt khác, với khả năng tổng quát hóa của mạng nơ ron, nó có thể áp dụng để điều khiển nhiều tham số phức tạp đồng thời từ đó giải quyết dễ dàng một. .. 𝑛𝑒𝑡 = 1 1 + 𝑒 −𝜆(𝑛𝑒𝑡 +𝜃) (1.6) Trong đó 𝜆 >0 là hằng số xác định độ nghiêng của hàm  Nút bias: Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ ron trong quá trình học Trong các mạng nơ ron có sử dụng bias, mỗi nơ ron có thể có trọng số tƣơng ứng với bias Trọng số này luôn luôn có giá trị là 1  Mô hình của một nút xử lý (nút thứ i ): Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên... thể đƣợc mô hình nhƣ một đồ thị, các đỉnh của đồ thị tƣơng ứng với các thành phố và các cạnh thì tƣơng ứng với đƣờng nối giữa các thành phố, chiều dài của một cạnh tƣơng ứng với khoảng cách giữa 2 thành phố Số hóa bởi Trung tâm Học liệu - Đại học Thái Nguyên http://www.lrc-tnu.edu.vn - 23 - Một đƣờng đi trong bài toán TSP là một chu trình Hamilton trên đồ thị và một lời giải tối ƣu của bài toán là chu . lƣợc về mạng nơ-ron, mạng nơ ron Hopfield, phạm vi ứng dụng của mạng nơron Hopfield, một số bài toán đồ thị loại NP - C. Chƣơng hai trình bày về ứng dụng cải biên của mạng nơron Hopfield trong. 1.1.5. Ƣu và nhƣợc điểm của mạng nơ-ron - 12 - 1.2. Mạng Hopfield - 13 - 1.2.1. Mạng Hopfield rời rạc - 14 - 1.2.2 Mạng Hopfield liên tục: - 15 - 1.3. Khả năng ứng dụng của mạng Hopfield. . phƣơng thức hoạt động của mạng mà ngƣời ta phân mạng Hopfield ra thành mạng Hopfield rời rạc và mạng Hopfield liên tục. 1.2.1. Mạng Hopfield rời rạc Mạng Hopfield rời rạc là mạng đƣợc tính rời