Mạng nơron được xây dựng từ những năm 1940 nhằm mô phỏng một số chức năng của bộ não con người. Dựa trên quan điểm cho rằng bộ não người là bộ điều khiển. Mạng nơron nhân tạo được thiết kế và có khả năng giải quyết hàng loạt các bài toán tối ưu, điều khiển, công nghệ robot…
Qua quá trình nghiên cứu và phát triển nơron nhân tạo có thể chia làm 4 giai đoạn như sau:
Giai đoạn 1: Có thể tính từ nghiên cứu của William (1980) về tâm lý học với sự liên kết các nơron thần kinh. Năm 1940 Mc Culloch và Pitts đã cho biết nơron có thể mô hình hóa như thiết bị ngưỡng (giới hạn) để thực hiện các phép tính logic và mô hình mạng nơron của Mc Culloch-Pitts cùng với giải thuật huấn luyện mạng của Hebb ra đời năm 1943.
Giai đoạn 2: Vào khoảng gần những năm 1960, một số mô hình nơron hoàn thiện hơn đã được đưa ra như: mô hình Perception của Rosenblatt (1958), Adalile của Widrow (1962). Trong đó mô hình Perception rất được quan tâm vì nguyên lý đơn giản nhưng nó có hạn chế vì nó đã không dùng được cho các hàm logic phức (1969). Adalile là mô hình tuyến tính, tự chỉnh được dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và phát triển cho đến nay.
Giai đoạn 3: Đầu thập niên 80. Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến Grossberg, Kohnonen, Rumelhart và Hopfield. Trong đó góp lớn của Hopfiled gồm hai mạng phản hồi: Mạng rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt ông còn dự kiến nhiều khả năng tính toán của mạng mà một nơron không có khả năng đó. Cảm nhận của Hopfield đã được Rumelhart, Hinton và Williams đề xuất thuật toán sai só truyền ngược nổi tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện được. Nhiều ứng dụng mạnh mẽ của mạng nơron ra đời cùng với các mạng theo kiểu máy Boltlzmannn.
Giai đoạn 4: Tính từ năm 1987 đến nay mạng nơron đã tìm và khẳng định được vị trí của mình trong rất nhiều ứng dụng khác nhau: điều khiển, bài toán tối ưu, …
Mạng nơron bắt đầu xuất hiện từ những năm 50 nhưng mới chỉ tìm thấy các ứng dụng từ khoảng 10 năm trở lại đây và vẫn đang phát triển mạnh mẽ. Năm 1943, McCulloch và Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản của mạng
Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/
nơ ron. Năm1949, Hebb đã đưa ra các luật thích nghi trong mạng nơ ron. Năm 1958, Rosenbatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô hình. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra mô hình song song một số thuật toán và kết quả. Thuật toán học lan truyền ngược được Rumelhart, Hinton, Williams (1986) đề xuất luyện mạng nơ ron nhiều lớp. Những năm gần đây, nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron mới. Mạng nơ ron được ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht – Nielsen, 1988)