Ứng dụng mạng nơ ron hopfield giải bài toán lập thời khóa biểu

MỤC LỤC TRANG PHỤ BÌA Trang LỜI CẢM ƠN ……………………………………………………………… i LỜI CAM ĐOAN………………………………………………………… ii MỤC LỤC………………………………………………………………… iii DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ………………………………… v MỞ ĐẦU CHƯƠNG I .3 TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO 1.1 GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO .3 1.1.1 Lịch sử phát triển 1.1.2 Mơ hình mạng nơ-ron nhân tạo .4 1.2 PHẠM VI ỨNG DỤNG CỦA MẠNG NƠ RON NHÂN TẠO 19 1.2.1 Những toán thích hợp 19 1.2.2 Các lĩnh vực ứng dụng mạng nơ ron 23 1.3 MẠNG HOPFIELD 24 1.3.1 Mạng Hopfield rời rạc 25 1.3.2 Mạng Hopfield liên tục 27 1.3.3 Mạng Hopfield với toán tối ưu 28 1.3.4 Mạng Hopfield với tốn lập thời khóa biểu 30 1.4 NHẬN XÉT 32 CHƯƠNG II 33 ỨNG DỤNG MẠNG NƠ-RON HOPFIELD TRONG BÀI TỐN LẬP THỜI KHĨA BIỂU CHO TRƯỜNG ĐẠI HỌC 33 2.1 Bài toán lập thời khóa biểu khó khăn việc lập thời khóa biểu cho trường đại học .33 2.2 Tình hình giải tốn lập thời khóa biểu 37 2.3 Xây dựng mơ hình mạng Hopfield cho tốn thời khóa biểu 38 2.3.1 Mạng nơ ron Hopfield 38 2.3.2 Ánh xạ tốn thời khóa biểu lên mạng nơ-ron Hopfield 40 2.4 Thuật toán mạng nơ-ron Hopfield tốn lập thời khóa biểu cho trường Đại học 43 2.5 Kết luận chương 46 CHƯƠNG 3: CÀI ĐẶT THỬ NGHIỆM 47 3.1 Thiết kế chương trình ứng dụng mạng nơ ron Hopfield việc lập thời khóa biểu cho trường đại học .47 3.2 Chuẩn bị liệu 50 3.3 Kết thử nghiệm 50 3.4 Đánh giá kết 51 KẾT LUẬN VÀ ĐỀ NGHỊ 52 Kết đạt luận văn 52 Các định hướng nghiên cứu 52 TÀI LIỆU THAM KHẢO .53 PHỤ LỤC 55 DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ Hình 1.1 Mơ hình nơ-ron sinh học Đồ thị hàm đồng (Identity function) Đồ thị hàm bước nhị phân (Binary step function) Đồ thị hàm sigmoid Đồ thị hàm sigmoid lưỡng cực 10 Hình 1.2 Mơ hình nơ-ron 11 Hình 1.3 Mạng truyền thẳng lớp 13 Hình 1.4 Mạng truyền thẳng nhiều lớp 14 Hình 1.5 Mạng lớp có nối ngược 15 Hình 1.6 Mạng nhiều lớp có nối 15 Hình 1.7 Mơ hình mạng Hopfield 25 Đồ thị hàm Sigmoid 28 Đồ thị hàm Hàm y=tanh(x) 28 Hình 3.1: Giao diện chương trình thời khóa biểu 48 Hình 3.2: Danh sách form liệu 49 Hình 3.3: Minh họa tìm kiếm liệu theo lớp 49 Hình 3.4: Nhập tham số cơng thức cho tốn thời khóa biểu 50 Hình 3.5: Minh họa kết sau xếp thời khóa biểu 50 MỞ ĐẦU Nhờ khả năng: học, nhớ lại khái quát hóa từ mẫu huấn luyện liệu, mạng nơ-ron nhân tạo trở thành phát minh đầy hứa hẹn hệ thống xử lý thông tin Các tính tốn nơ-ron cho phép giải tốt toán đặc trưng số tất tính chất sau: sử dụng khơng gian nhiều chiều, tương tác phức tạp, chưa biết biết mặt tốn học biến Ngồi phương pháp cịn cho phép tìm nghiệm tốn địi hỏi đầu vào cảm nhận người như: tiếng nói, nhìn nhận dạng Bài tốn lập thời khóa biểu đại học tốn tối ưu dạng NP-hard tìm thời khóa biểu có chất lượng tốt thử thách thực Bài toán với số lượng lớn kiện bao gồm nhiều ràng buộc cứng khác để thực việc tìm kiếm thời khóa biểu tối ưu phức tạp tốn nhiều thời gian Để xử lý độ phức tạp toán để cung cấp việc tự động hỗ trợ người xếp thời khóa biểu, có nhiều cách tiếp cận tài liệu tập trung vào tốn Những cơng việc nghiên cứu thể luận văn nhằm xây dựng theo tình trạng phát biểu tìm kiếm phương pháp luận cho tốn thời khóa biểu Nghiên cứu tập trung vào phần xếp lịch dạy thời khóa biểu nhằm đảm bảo lớp - giáo viên - phòng học tránh bị xung đột Các tính tốn nơ-ron cho phép giải tốt tốn có nhiều tương tác phức tạp Vì vậy, ứng dụng mạng nơ-ron Hopfield tốn thời khóa biểu hứa hẹn giải pháp hiệu góp phần nâng cao khả xếp thời khóa biểu nhờ tính hội tụ nhanh đến trạng thái ổn định mạng nơ-ron Hopfield Trên giới, có số nghiên cứu ứng dụng mạng nơ-ron tốn xếp lịch thời khóa biểu cho trường đại học Tuy nhiên, lĩnh vực mẻ chưa ứng dụng rộng rãi nước ta Trong nước chưa có tài liệu thống lĩnh vực Với ứng dụng ngày rộng rãi mạng nơ-ron, việc nghiên cứu áp dụng vào tốn thời khóa biểu trở nên cấp thiết, quan tâm Chính lý em định chọn đề tài: “Ứng dụng mạng nơ-ron Hopfield việc lập thời khóa biểu cho trường đại học“ làm hướng nghiên cứu Với mục tiêu đưa ý tưởng khác nhằm tăng hiệu tổng quan với thuật tốn xếp thời khóa biểu tìm cách ứng dụng vào thực tế Luận văn gồm chương với nội dung sau: Chương 1: Trình bày tổng quan sở mạng nơ-ron nhân tạo, nêu khái quát ứng dụng mạng nơ-ron tốn xếp thời khóa biểu Chương 2: Trình bày phương pháp giải tốn lập thời khóa biểu, dùng mạng Hopfield sửa đổi nhằm giảm độ phức tạp tăng tốc giải toán, đưa nhận xét hiệu mơ hình toán Chương 3: Thiết kế cài đặt thử nghiệm chương trình ứng dụng mạng nơ-ron Hopfield cho tốn lập thời khóa biểu, đánh giá kết đạt Ngồi ra, luận văn cịn phần phụ lục tài liệu tham khảo kèm theo cuối đề tài CHƯƠNG I TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO 1.1 GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO 1.1.1 Lịch sử phát triển Khái niệm mạng nơ-ron bắt đầu vào cuối kỷ 19, đầu kỷ 20 có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học Các nhà khoa học Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với cơng trình nghiên cứu sâu vào lý thuyết tổng qt mơ tả hoạt động trí tuệ người như: Học, nhìn, lập luận, khơng đưa mơ hình tốn học cụ thể mơ tả hoạt động nơ-ron Về lịch sử, trình nghiên cứu phát triển mạng nơ-ron nhân tạo chia thành bốn giai đoạn sau: + Giai đoạn một: Từ nghiên cứu William (1890) tâm lý học với liên kết nơ-ron thần kinh Năm 1943, nhà thần kinh học Warren MeCulloch nhà logic học Walter Pitts rằng:về nguyên tắc mạng nơ-ron nhân tạo mơ hình hoá thiết bị ngưỡng (giới hạn) để thực tính tốn hàm số học hay phép tính logic Tiếp theo hai ơng Donald Hebb với giải thuật huấn luyện mạng đời năm 1949 + Giai đoạn hai: Vào khoảng năm 1960, số mơ hình nơ-ron hồn thiện có tính ứng dụng thực tiễn đưa như: mô hình Perceptron Frank Rosenblatt (1958), mơ hình Adaline Bernard Widrow (1962) Trong mơ hình Perceptron quan tâm ngun lý đơn giản, có hạn chế Marvin Minsky Seymour Papert MIT (Massachurehs Insritute of Technology) phát chứng minh khơng dùng cho hàm logic phức (1969) Cịn Adaline mơ hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu phát triển + Giai đoạn ba: Vào khoảng đầu thập niên 80, việc nghiên cứu mạng nơ-ron diễn mạnh mẽ với đời máy tính cá nhân PC Những đóng góp lớn cho mạng nơ-ron giai đoạn phải kể đến Stephen Grossberg, Teuvo Kohonen, Rumelhart John Hopfield Trong đóng góp lớn nhà vật lý học người Mỹ John Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính tốn lớn mạng mà nơ-ron khơng có khả Cảm nhận Hopfield Rumelhart, Hinton Williams đề xuất thuật toán sai số truyền ngược (back –propagation) tiếng để huấn luyện mạng nơ-ron nhiều lớp nhằm giải toán mà mạng khác không thực Nhiều ứng dụng mạnh mẽ mạng nơ-ron đời với mạng theo kiểu máy Boltzmann mạng Neocognition Fukushima + Giai đoạn bốn: từ năm 1987 - đến nay, hàng năm giới mở hội nghị toàn cầu chuyên ngành nơ-ron IJCNN (International Joint Conference on Neural Networks) Rất nhiều cơng trình nghiên cứu để ứng dụng mạng nơ-ron vào lĩnh vực sống, ví dụ như: Kỹ thuật tính, tối ưu, sinh học, y học, thống kê, giao thơng, hố học… Cho đến nay, mạng nơ-ron tìm khẳng định vị trí nhiều ứng dụng khác 1.1.2 Mơ hình mạng nơ-ron nhân tạo 1.1.2.1 Nơ-ron sinh học Bộ não người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi nơ-ron Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân bên (soma), đầu sợi trục thần kinh (axon) hệ thống tế bào hình (dendrite) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng ( Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu thân ngồi Trong thực tế có nhiều dây thần kinh vào chúng bao phủ diện tích lớn (0.25 mm2) để nhận tín hiệu từ nơ-ron khác Đầu thần kinh rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ-ron tới nơ-ron khác Các nhánh đầu thần kinh nối với khớp thần kinh (synapse) Các khớp thần kinh nối với thần kinh vào nơ-ron khác Sự xếp nơ-ron mức độ mạnh yếu khớp thần kinh định q trình hóa học phức tạp, thiết lập chức mạng nơ-ron, nơ-ron sửa đổi tín hiệu khớp, nơ-ron nhân tạo gọi trọng số Có thể nói, mạng nơ-ron sinh học hoạt động chậm nhiều so với linh kiện điện tử (10-3 giây so với 10-9 giây), não thực nhiều cơng việc nhanh nhiều so với máy tính thơng thường Do cấu trúc song song mạng nơ-ron sinh học thể toàn nơ-ron thực đồng thời thời điểm Mạng nơ-ron nhân tạo có đặc điểm Các mạng nơ-ron nhân tạo chủ yếu thực nghiệm máy tính mạnh có vi mạch tích hợp lớn, thiết bị quang, xử lý song song Điều giải thích nghiên cứu khoa học mạng nơ-ron nhân tạo có điều kiện phát triển với phát triển kỹ thuật cơng nghệ phần cứng máy tính Có nhiều loại nơ-ron khác kích thước khả thu phát tín hiệu Tuy nhiên, chúng có cấu trúc nguyên lý hoạt động chung Hình vẽ (1.1) hình ảnh đơn giản hố loại nơ-ron Hình 1.1 Mơ hình nơ-ron sinh học - Hoạt động nơ-ron sinh học mơ tả tóm tắt sau: Mỗi nơ-ron nhận tín hiệu vào từ tế bào thần kinh khác.Chúng tích hợp tín hiệu vào, tổng tín hiệu vượt ngưỡng chúng tạo tín hiệu gửi tín hiệu tới nơ-ron khác thơng qua dây thần kinh Các nơ-ron liên kết với thành mạng Mức độ bền vững liên kết xác định hệ số gọi trọng số liên kết 1.1.2.2 Nơ-ron nhân tạo Để mô tế bào thần kinh khớp nối thần kinh não người, mạng nơ-ron nhân tạo có thành phần có vai trị tương tự nơ-ron nhân tạo kết nối chúng (kết nối gọi weights) Nơron đơn vị tính tốn có nhiều đầu vào đầu ra, đầu vào đến từ khớp nối thần kinh (synapse) Đặc trưng nơ-ron hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Một nơ-ron nhân tạo đơn vị tính tốn hay đơn vị xử lý thông tin sở cho hoạt động mạng nơ-ron Các thành phần mơ hình nơ-ron  Trọng số tổng tín hiệu đầu vào: Mỗi nơ-ron có nhiều dây thần kinh vào, nghĩa nơ-ron tiếp nhận đồng thời nhiều tín hiệu Giả sử nơ-ron i có N tín hiệu vào, tín hiệu vào S j gán trọng số Wij tương ứng Ta ước lượng tổng tín hiệu vào nơ-ron net i theo số dạng sau: (i)Dạng tuyến tính: N neti  Wij s j (1.1) j 1 (ii)Dạng toàn phương: N neti  Wij s 2j (2.2) j 1 (iii)Dạng mặt cầu: neti   2 N  s j 1 j  w ij  (3.3) Trong đó:  w ij  j 1, N  tâm bán kính mặt cầu  Hàm kích hoạt (hàm chuyển): Hầu hết đơn vị mạng nơ-ron chuyển net input cách sử dụng hàm vô hướng (scalar – to – scalar function) gọi hàm kích hoạt, kết hàm giá trị gọi mức độ kích hoạt đơn vị Trừ khả đơn vị thuộc lớp ra, giá trị kích hoạt đưa vào hay nhiều đơn vị khác Các hàm kích hoạt thường bị ép vào khoảng giá trị xác định, thường gọi hàm nén (squashing) Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu out gọi hàm kích hoạt Hàm có đặc điểm khơng âm bị chặn, dùng để giới hạn biên