Chương 2. MẠNG NƠ-RON NHÂN TẠO
2.1.3. Lịch sử phát triển mạng nơ-ron nhân tạo
Lịch sử phát triển mạng nơ-ron nhân tạo rất phong phú và nhiều màu sắc, cá nhân sáng tạo từ nhiều lĩnh vực, nhiều người trong số họ phải vật lộn trong nhiều thập kỷ để phát triển các khái niệm mà bây giờ chúng ta xem là hiển nhiên. Lịch sử này đã được ghi nhận bởi các tác giả khác nhau.
Ít nhất hai thành phần xem là cần thiết cho sự tiến bộ của công nghệ: khái niệm và hiện thực. Đầu tiên, người ta phải có một khái niệm, cách suy nghĩ về một vấn đề, một số quan điểm của nó mang lại sự sáng tỏ mà thực tế chưa tồn tại. Điều này có thể liên quan đến một ý tưởng đơn giản, hoặc nó có thể được cụ thể hơn bao gồm một mô tả toán học. Để minh họa, chúng ta hãy xem xét lịch sử nghiên cứu của trái tim con người. Vào những thời kỳ khác nhau, nó được xem là trung tâm của linh hồn. Trong thế kỷ 17, các học viên y tế cuối cùng đã bắt đầu xem trái tim như một máy bơm, và họ thiết kế các thí nghiệm để nghiên cứu hoạt động bơm
của nó. Những thí nghiệm này đã tạo nên một cuộc cách mạng trong hiểu biết của chúng ta về hệ thống tuần hoàn. Nếu không có các khái niệm máy bơm, sự hiểu biết về trái tim của con người đã không thể vượt ngoài hiểu biết hiện tại.
Một số nghiên cứu đầu tiên trong lĩnh vực mạng nơ-ron nhân tạo bắt đầu vào những năm cuối thế kỷ 19, đầu thế kỷ 20. Bao gồm các nghiên cứu liên ngành về vật lý, tâm lý học và thần kinh học của các nhà khoa học như Hermann von Helmholtz, Ernst Mach và Ivan Pavlov. Các nghiên cứu này nhấn mạnh lý thuyết chung về việc học, thị giác, điều hòa, … không bao gồm mô hình toán học cụ thể của hoạt động tế bào thần kinh.
Quan điểm hiện đại của mạng nơ-ron bắt đầu vào những năm 1940 với các nghiên cứu của Warren McCulloch and Walter Pitts, ông cho thấy rằng các mạng nơ-ron nhân tạo về nguyên tắc có thể tính toán bất kỳ phép tính số học hoặc hàm logic. Các nghiên cứu của họ thường được công nhận là nguồn gốc của mạng nơ- ron.
Các ứng dụng thực tế đầu tiên của mạng nơ-ron nhân tạo đến cuối những năm 1950, với sự phát minh của mạng perceptron và quy tắc học liên quan bởi Frank Rosenblatt [10, tr.386-408] Rosenblatt và đồng nghiệp của ông đã xây dựng một mạng perceptron và chứng tỏ khả năng của nó thực hiện nhận dạng mẫu. thành công ban đầu này đã tạo ra rất nhiều sự quan tâm trong nghiên cứu mạng nơ-ron.
Tuy nhiên sau đó, nó được chỉ ra rằng các mạng perceptron cơ bản có thể giải quyết những vấn đề hạn chế chỉ có một lớp.
Tại cùng một thời điểm, Bernard Widrow và Ted Hoff giới thiệu một thuật toán học mới và sử dụng nó để huấn luyện mạng nơ-ron tuyến tính thích nghi, tương tự như trong cấu trúc và khả năng perceptron của Rosenblatt. Các quy tắc học Widrow-Hoff vẫn đang được sử dụng ngày nay.
Thật không may, cả hai mạng của Widrow của Rosenblatt bị hạn chế vốn có như nhau, đã được công bố rộng rãi trong một cuốn sách của Marvin Minsky và Seymour Papert [25]. Rosenblatt và Widrow đã nhận thức được những hạn chế và đề xuất các mạng mới sẽ vượt qua chúng. Tuy nhiên, họ đã không thể thay đổi thành công trong thuật toán học của họ để đào tạo các mạng phức tạp hơn.
Nhiều người, chịu ảnh hưởng của Minsky và Papert, tin rằng nghiên cứu thêm về mạng nơ-ron là bế tắc. Điều này, kết hợp với thực tế rằng không có máy tính kỹ thuật số mạnh mẽ dựa vào đó để thử nghiệm, khiến nhiều nhà nghiên cứu phải bỏ cuộc. Suốt một thập kỷ, nghiên cứu mạng nơron phần lớn đã bị treo lửng.
Tuy nhiên, một số nghiên cứu quan trọng đã tiếp tục trong những năm 1970.
Năm 1972 Teuvo Kohonen [32, tr.353-359] và James Anderson [16, tr.197-220]
phát triển mạng nơ-ron mới có thể hoạt động như những ký ức. Stephen Grossberg cũng đã rất tích cực trong giai đoạn này trong việc nghiên cứu các mạng tự tổ chức.
Việc nghiên cứu đã bị chùn bước trong thời gian cuối năm 1960 vì thiếu các ý tưởng mới và máy tính mạnh để thử nghiệm. Trong những năm 1980 cả hai trở ngại được khắc phục, và những nghiên cứu về mạng nơ-ron nhân tạo tăng lên đáng kể. Máy tính cá nhân được phổ biến rộng rãi. Ngoài ra, các khái niệm quan trọng mới được giới thiệu.
Hai khái niệm mới là nguyên nhân chính cho sự tái sinh của mạng nơ-ron.
Thứ nhất là việc sử dụng của thống kê cơ học để giải thích sự hoạt động của một lớp nhất định của mạng tái phát, có thể được sử dụng như một bộ nhớ liên kết.
Điều này đã được mô tả trong một bài báo chuyên đề của nhà vật lý John Hopfield [17, tr.2554-2558].
Sự phát triển quan trọng thứ hai vào năm 1980 là thuật toán lan truyền ngược cho các mạng perceptron huấn luyện nhiều lớp, được phát hiện độc lập bởi các nhà nghiên cứu khác nhau. Các ấn phẩm có ảnh hưởng nhất của thuật toán lan truyền ngược là David Rumelhart và James McClelland [7]. Thuật toán này là câu trả lời cho những chỉ trích Minsky và Papert đã thực hiện trong năm 1960.
Những phát triển mới hồi sinh các lĩnh vực của mạng nơ-ron. Từ những năm 1980, hàng ngàn bài báo đã được viết, mạng nơ-ron đã phát hiện ra vô số các ứng dụng, và các lĩnh vực với công trình lý thuyết và thực tiễn mới.
Một bài báo mô tả việc sử dụng các mạng nơ-ron trong nghiên cứu văn học của Đại học Aston. Nó nói rằng "mạng có thể được huấn luyện để nhận ra phong cách viết cá nhân, và các nhà nghiên cứu đã sử dụng nó để so sánh tác phẩm do Shakespeare và tác giả cùng thời với ông". Một chương trình truyền hình khoa học phổ biến tài liệu sử dụng các mạng nơ-ron của một viện nghiên cứu Ý để kiểm tra độ tinh khiết của dầu ô liu. Google sử dụng mạng nơ-ron cho việc gắn thẻ ảnh (tự động xác định một hình ảnh và gán từ khóa), và Microsoft đã phát triển mạng lưới nơ-ron có thể giúp chuyển đổi các bài phát biểu nói tiếng Anh thành nói ngôn ngữ Trung Quốc. Các nhà nghiên cứu tại Đại học Lund và Bệnh viện Đại học Skane ở Thụy Điển đã sử dụng mạng nơ-ron để cải thiện tỷ lệ sống sót lâu dài cho người nhận ghép tim bằng cách xác định người nhận và các người hiến tặng tối ưu.
Những ví dụ này là đại diện của hàng loạt các ứng dụng có thể được tìm thấy bởi mạng nơ-ron. Các ứng dụng được mở rộng vì mạng nơ-ron được xem là tốt để giải quyết vấn đề, không chỉ trong kỹ thuật, khoa học và toán học, cũng như trong y học, kinh doanh, tài chính và văn học. Ứng dụng cho một loạt các vấn đề trong nhiều lĩnh vực làm cho chúng rất hấp dẫn. Ngoài ra, máy tính nhanh hơn và tối ưu
các thuật toán đã làm cho nó có thể sử dụng mạng nơ-ron để giải quyết vấn đề công nghiệp phức tạp mà trước đây cần quá nhiều tính toán.