Cỏc nghiờn cứu về bộ nóo con ngƣời đó đƣợc tiến hành từ hàng nghỡn năm nay. Cựng với sự phỏt triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong ngành điện tử hiện đại, việc con ngƣời bắt đầu nghiờn cứu cỏc nơron nhõn tạo là hoàn toàn tự nhiờn. Sự kiện đầu tiờn đỏnh dấu sự ra đời của mạng nơron nhõn tạo
Hỡnh 1.6: Cỏc kết quả luyện mạng nơ ron với cỏc phương phỏp lan truyền ngược khỏc nhau (traingd, traingdm, traindx, trainda)
27 diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toỏn học Walter Pitts viết bài bỏo mụ tả cỏch thức cỏc nơron hoạt động. Họ cũng đó tiến hành xõy dựng một mạng nơron đơn giản bằng cỏc mạch điện. Cỏc nơron của họ đƣợc xem nhƣ là cỏc thiết bị nhị phõn với ngƣỡng cố định. Kết quả của cỏc mụ hỡnh này là cỏc hàm logic đơn giản chẳng hạn nhƣ “a OR b” hay “a AND b”.
Tiếp bƣớc cỏc nghiờn cứu này, năm 1949 Donald Hebb cho xuất bản cuốn sỏch Organization of Behavior. Cuốn sỏch đó chỉ ra rằng cỏc nơron nhõn tạo sẽ trở lờn hiệu quả hơn sau mỗi lần chỳng đƣợc sử dụng.
Những tiến bộ của mỏy tớnh đầu những năm 1950 giỳp cho việc mụ hỡnh húa cỏc nguyờn lý của những lý thuyết liờn quan tới cỏch thức con ngƣời suy nghĩ đó trở thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại cỏc phũng thớ nghiệm nghiờn cứu của IBM đó cú những nỗ lực đầu tiờn để mụ phỏng một mạng nơron. Trong thời kỡ này tớnh toỏn truyền thống đó đạt đƣợc những thành cụng rực rỡ trong khi đú những nghiờn cứu về nơron cũn ở giai đoạn sơ khai. Mặc dự vậy những ngƣời ủng hộ triết lý “thinking machines” (cỏc mỏy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trƣờng của mỡnh.
Năm 1956 dự ỏn Dartmouth nghiờn cứu về trớ tuệ nhõn tạo (Artificial Intelligence) đó mở ra thời kỳ phỏt triển mới cả trong lĩnh vực trớ tuệ nhõn tạo lẫn mạng nơron. Tỏc động tớch cực của nú là thỳc đẩy hơn nữa sự quan tõm của cỏc nhà khoa học về trớ tuệ nhõn tạo và quỏ trỡnh xử lý ở mức đơn giản của mạng nơron trong bộ nóo con ngƣời.
Những năm tiếp theo của dự ỏn Dartmouth, John von Neumann đó đề xuất việc mụ phỏng cỏc nơron đơn giản bằng cỏch sử dụng rơle điện ỏp hoặc đốn chõn khụng. Nhà sinh học chuyờn nghiờn cứu về nơron Frank Rosenblatt cũng bắt đầu nghiờn cứu về Perceptron. Sau thời gian nghiờn cứu này Perceptron đó đƣợc cài đặt trong phần cứng mỏy tớnh và đƣợc xem nhƣ là mạng nơron lõu đời nhất cũn đƣợc sử dụng đến ngày nay. Perceptron một tầng rất hữu ớch trong việc phõn loại một tập cỏc đầu vào cú giỏ trị liờn tục vào một trong hai lớp. Perceptron tớnh tổng cú trọng số cỏc đầu vào, rồi trừ tổng này cho một ngƣỡng và cho ra một trong hai giỏ trị mong muốn cú thể. Tuy nhiờn Perceptron cũn rất nhiều hạn chế, những hạn chế này
28 đó đƣợc chỉ ra trong cuốn sỏch về Perceptron của Marvin Minsky và Seymour Papert viết năm 1969.
Năm 1959, Bernard Widrow và Marcian Hoff thuộc trƣờng đại học Stanford đó xõy dựng mụ hỡnh ADALINE (ADAptive LINear Elements) và MADALINE. (Multiple ADAptive LINear Elements). Cỏc mụ hỡnh này sử dụng quy tắc học
Least-Mean-Squares (LMS: Tối thiểu bỡnh phƣơng trung bỡnh). Thuật học Widrow – Hoff thuộc loại thuật học tối ƣu húa chất lƣợng mạng, nú cũng đƣợc xem nhƣ là tiền thõn của thuật học lan truyền ngƣợc.
Mạng ADALINE của họ rất giống với Perceptron, trừ hàm truyền là tuyến tớnh. Cả ADALINE và Perceptron cựng chịu một giới hạn nhƣ nhau, đú là cỏc mạng của họ chỉ cú thể giải cỏc bài toỏn mà cú thể phõn ly tuyến tớnh.
Thuật toỏn LMS tỡm thấy nhiều ứng dụng thực tế hơn luật học Perceptron. Điều này đặc biệt đỳng trong lĩnh vực của xử lý tớn hiệu số. Vớ dụ, hầu hết cỏc đƣờng điện thoại dài sử dụng cỏc mạng ADALINE cho việc loại nhiễu.
Huấn luyện theo phƣơng phỏp Widrow-Hoff là một thuật toỏn xấp xỉ giảm dốc nhất, trong đú hàm mục tiờu, hay cũn gọi là hàm chất lƣợng, là bỡnh phƣơng trung bỡnh sai số. Thuật toỏn này quan trọng bởi hai lớ do. Thứ nhất, nú đƣợc sử dụng rộng rói trong cỏc ứng dụng xử lý tớn hiệu số. Thứ hai, nú giỳp ta đến với kỹ thuật lan truyền ngƣợc cho cỏc mạng nhiều lớp núi chung một cỏch dễ dàng hơn.
Mặc dự thuật toỏn LMS thành cụng trong việc xử lý tớn hiệu nhƣng lại thiếu thành cụng trong việc thớch nghi cho cỏc mạng nhiều lớp. Widrow đó dừng làm việc với cỏc mạng nơron trong những năm 1960 và bắt đầu dành hết thời gian làm việc với xử lý tớn hiệu thớch nghi, ụng trở lại với mạng nơron trong những năm 1980 với việc sử dụng mạng nơron trong điều khiển thớch nghi.
Luật học Perceptron của Frank Rosenblatt và thuật toỏn LMS của Bernard Widrow và Marcian Hoff đó đƣợc thiết kế để huấn luyện cỏc mạng giống nhƣ Perceptron một lớp. Cỏc mạng đơn lớp chịu một sự bất lợi rằng chỳng chỉ cú thể giải quyết cỏc lớp bài toỏn cú thể phõn ly tuyến tớnh.
29 Những năm 60 một Viện sĩ thuộc Viện Hàn Lõm Nga đƣợc coi là ngƣời tiờn phong trong việc nhận dạng hệ thống trờn cơ sở sử dụng mạng nơron. Lý thuyết này đƣợc cụng bố trong Я. 3. Цыпкин, Адаптация и обучение в автоматических системах, Главная редакция физико-математической литературы изд-ва ôНаукаằ, М., 1968, 400 стр.
Trong luận văn của Paul Werbos năm 1974, đó trỡnh bày thuật toỏn trong ngữ cảnh của cỏc mạng núi chung, với mạng nơron nhƣ là một trƣờng hợp đặc biệt. Cho đến tận những năm 1980, kỹ thuật lan truyền ngƣợc mới đƣợc nghiờn cứu lại và mở rộng một cỏch độc lập bởi David Rumelhart, Geoffrey Hinton và Ronald Williams; David Parker, và Yanm Le Cun. Thuật toỏn đó đƣợc phổ biến húa bởi cuốn sỏch Parallel Distributed Processing của nhúm tỏc giả David Rumelhard và James McClelland. Việc phổ biến của cuốn sỏch này khớch lệ một dũng thỏc của việc nghiờn cứu về mạng nơron Perceptron nhiều lớp, đƣợc huấn luyện bởi kỹ thuật lan truyền ngƣợc, mà hiện nay đƣợc sử dụng rộng rói trong mạng nơron.
Năm 1982 trong bài bỏo gửi tới viện khoa học quốc gia, John Hopfield bằng sự phõn tớch toỏn học rừ ràng, mạch lạc, ụng đó chỉ ra cỏch thức cỏc mạng nơron làm việc và những cụng việc chỳng cú thể thực hiện đƣợc. Cống hiến của Hopfield khụng chỉ ở giỏ trị của những nghiờn cứu khoa học mà cũn ở sự thỳc đẩy trở lại cỏc nghiờn cứu về mạng nơron.
Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ và Nhật Bản bàn về việc hợp tỏc/cạnh tranh trong lĩnh vực mạng nơron đó đƣợc tổ chức tại Kyoto, Nhật Bản. Sau hội nghị, Nhật Bản đó cụng bố những nỗ lực của họ trong việc tạo ra mỏy tớnh thế hệ thứ 5. Tiếp nhận điều đú, cỏc tạp chớ định kỳ của Hoa Kỳ bày tỏ sự lo lắng rằng nƣớc nhà cú thể bị tụt hậu trong lĩnh vực này. Vỡ thế, ngay sau đú, Hoa Kỳ nhanh chúng huy động quĩ tài trợ cho cỏc nghiờn cứu và ứng dụng mạng nơron.
Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức cỏc cuộc họp hàng năm về mạng nơron ứng dụng trong tin học (Neural Networks for Computing).
30 Năm 1987, hội thảo quốc tế đầu tiờn về mạng nơron của Viện cỏc kỹ sƣ điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đó thu hỳt hơn 1800 ngƣời tham gia.
Trong những thập niờn 1980, 1990 cỏc thuật học phỏt triển cho mạng nơron động LDDN (Layered Digital Dynamic Network) trờn cơ sở lan truyền ngƣợc, đú là lan truyền ngƣợc xuyờn thời gian BPTT (BackRropagation-Through-Time) và thuật học hồi qui thời gian thực RTRL (Real_Time Recurrent Learning) dựng cho LDDN. Ở Việt Nam, từ những năm 90, cũng đó cú rất nhiều nhà khoa học quan tõm đến lý thuyết về mạng nơron và những ứng dụng của nú trong nhiều lĩnh vực khỏc nhau. Tiờn phong trong việc đƣa kiến thức về mạng nơron phổ biến đến độc giả là quyển sỏch “Trớ tuệ nhõn tao, Mạng nơron phương phỏp và ứng dụng” của Nguyễn Đỡnh Thỳc, NXB Giỏo dục năm 2000. Tiếp đú phải kể đến quyển “Hệ mờ, mạng nơron và ứng dụng” của Bựi Cụng Cƣờng, Nguyễn Doón Phƣớc, NXB Khoa học và Kỹ thuật Hà nội, 2001; quyển “Hệ mờ & nơron trong kỹ thuật điều khiển” của Nguyễn Nhƣ Hiển, Lại Khắc Lói, NXB Khoa học tự nhiờn và cụng nghệ. Cũn những cụng trỡnh nghiờn cứu về mạng nơron cú thể kể đến nhƣ:
Nguyễn Kỳ Phựng, Nguyễn Khoa Việt Trƣờng, “Mụ hỡnh hoỏ cỏc quỏ trỡnh xử lý nước thải bằng mạng nơron nhõn tạo”, Trƣờng Đại học Khoa học Tự nhiờn Đại học Quốc gia Thành phố Hồ Chớ Minh.
Đối tƣợng là mụ hỡnh bể xử lý nƣớc thải, cỏc tỏc giả đó xõy dựng mụ hỡnh, tối ƣu hoỏ quỏ trỡnh luyện mạng và đó kiểm chứng kết quả với sai số nhỏ.
Đó xõy dựng đƣợc chƣơng trỡnh ứng dụng mạng nơron cho dự bỏo chất lƣợng đầu ra của hệ thống xử lý nƣớc thải. Cựng với thuật toỏn tối ƣu hoỏ mạng nơron khi cho số nỳt ẩn thay đổi để tỡm ra cấu trỳc mạng tối ƣu nhất. Chƣơng trỡnh đó thể hiện rừ ƣu việt so với chƣơng trỡnh mạng nơron của Matlab.
Thuật toỏn tối ƣu hoỏ quỏ trỡnh luyện mạng là một bƣớc cải tiến so với cỏc chƣơng trỡnh ứng dụng mạng nơron thụng thƣờng, chẳng hạn nhƣ
31 Matlab. Với quỏ trỡnh lặp lại nhiều lần và ghi nhận những mạng cho kết quả tốt nhất sau mỗi lần lặp, ta cú thể chọn đƣợc mạng cho kết quả tốt hơn và sai số ổn định hơn.