Lý thuyết mạng thần kinh bắt nguồn từ những nghiên cứu về trí tuệ nhân tạo, nghiên cứu thiết kế máy móc với khả năng nhận thức. Một mạng thần kinh nhân tạo là một mô hình xử lý thông tin được lấy cảm hứng từ cách các hệ thống thần kinh sinh học, chẳng hạn như não, xử lý thông tin. Các yếu tố chính của mô hình này là cấu trúc mới lạ của hệ thống xử lý thông tin. Nó bao gồm một số lượng lớn các yếu tố kết nối chặt chẽ với nhau, gọi là tế bào thần kinh, chúng làm việc cùng nhau để giải quyết những vấn đề cụ thể. ANN học bằng cách nhận thức cũng giống như con người. Một ANN được định hình để dùng cho một ứng dụng cụ thể, chẳng hạn như nhận định mô hình và dự báo chuỗi thời gian, thông qua một quá trình học tập. Học tập trong hệ thống sinh học liên quan đến việc điều chỉnh các khớp nối thần kinh tồn tại giữa các tế bào thần kinh. Khối xây dựng cơ bản của một bộ não và mạng thần kinh là các tế bào thần kinh. Các tế bào thần kinh của con người được thể hiện trong hình 3.1
Hình 3.1 Mô hình sinh học của tế tế bào thần kinh nhân tạo
Như mô tả của Beal và Jackson [1990], tất cả các yếu tố đầu vào cơ thể tế bào của tế bào thần kinh đến dọc theo đuôi gai. Đuôi gai cũng có thể hoạt động như đầu ra nối liền những tế bào thần kinh với nhau. Trong toán học, chức năng của đuôi gai cũng giống như phần
kết luận. Mặc khác, các sợi trục chỉ được tìm thấy ở những tế bào đầu ra. Nó có một khả năng tiềm tàng. Nếu bị kích thích đến khi vượt qua một ngưỡng nào đó, nó sẽ truyền tín hiệu điện. Các sợi trục dừng lại tại các khớp thần kinh kết nối nó với các đuôi gai của tế bào thần kinh khác. Tế bào thần kinh tỏa đầu nhọn của hoạt động điện thông qua một sợi trục dài, chia thành hàng ngàn nhánh (hình 3.2). Ở cuối mỗi nhánh, một cấu trúc gọi là khớp thần kinh có tác dụng biến đổi hoạt động từ các sợi thần kinh thành hiệu ứng điện nhằm hạn chế hoặc kích thích các hoạt động từ sợi trục thành những hiệu ứng điện để hạn chế hoặc kích thích hoạt động của những tế bào thần kinh được kết nối với nhau. Khi tế bào thần kinh nhận được đầu vào kích thích đủ lớn so với đầu vào hạn chế thì nó sẽ đưa một cành của hoạt động điện xuống sợi trục của nó. Sự học tập xảy ra bằng cách thay đổi tác dụng của các khớp thần kinh nhằm gây ảnh hưởng của một tế bào thần kinh lên những thay đổi khác. Bộ não con người có chứa khoảng 10 tỷ tế bào thần kinh được kết nối với nhau tạo ra khả năng xử lý đồng bộ một khối lượng dữ liệu đồ sộ.
Hình 3.2: Sự truyền tín hiệu của tế bào thần kinh
Vì những tác dụng kỳ diệu đó trong nhiều năm qua các nhà khoa học đã nổ lực không ngừng trong việc tìm hiểu, nghiên cứu về bộ não con người, khả năng học hỏi, và cách thức mà bộ não con người làm việc. Họ đã tìm ra những đặc trưng của bộ não mà những
năm gần đây đã được sử dụng làm nền tảng để xây dựng mô hình Mạng thần kinh nhân tạo.
Mạng thần kinh nhân tạo (Artificial Neural Network - ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các Nơ-ron được gắn kết để xử lý thông tin. ANN giống như bộ não con người, được học bởi kinh nghiệm thông qua huấn luyện (training), có khả năng lưu giữ những kinh nghiệm hiểu biết (knowledge) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data).
Các ứng dụng của mạng Nơ-ron được sử dụng trong rất nhiều lĩnh vực như điện, điện tử, kinh tế, quân sự,… để giải quyết các bài toán có độ phức tạp và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng…