Trong sinh học mạng nơ-ron (Neural Networks -NN) là một tập hợp các dây thần kinh kết nối với nhau. Ngày nay, thuật ngữ này còn dùng để chỉ mạng nơ-ron nhân tạo (Artificial Neural Networks -ANN), là một tập hợp các linh kiện điện tử hoặc chương trình máy tính được thiết kế để mô hình hóa cách thức bộ não thực hiện. NN tương tự với bộ não sinh học ở hai khía cạnh: Tri thức có được thông qua quá trình học tập và
điểm kết nối các tế bào thần kinh được gọi là khớp thần kinh được sử dụng để lưu trữ tri thức.
Kiến trúc mạng nơ-ron được định nghĩa bởi số lớp(layer), số đơn vị trên mỗi lớp và sự liên kết giữa các lớp như thế nào. Mạng nơ-ron nói chung có thể được chia làm 2 loại: mạng truyền thẳng và mạng hồi quy.
Hình 14 - Mạng nơ-ron truyền thẳng nhiều lớp
Mạng truyền thẳng: Dòng dữ liệu giữa đơn vị đầu vào và đầu ra chỉ truyền thẳng theo một hướng. Việc xử lý dữ liệu có thể mở rộng ra thành nhiều lớp, nhưng không có các liên kết phản hồi. Điều đó có nghĩa là không tồn tại các liên kết mở rộng từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hay các lớp trước đó.
Hình 15 - Mạng nơ- ron hồi quy
Mạng hồi quy: Khác với mạng truyền thẳng, thuộc tính động của mạng hồi quy có được từ các liên kết ngược. Mạng hồi quy được dùng trong các trường hợp khi có thông tin hiện thời đưa vào mạng đó, nhưng chuỗi đầu vào là rất quan trọng, và chúng ta cần mạng nơ ron đó lưu trữ một bản ghi của các đầu vào trước tiên và khuếch đại chúng với dữ liệu hiện thời đó để sinh ra câu trả lời.
Khả năng học là điều thu hút nhiều quan tâm nhất tới mạng nơ-ron. Cho trước một bài toán cụ thể để giải quyết, và một lớp các hàm , việc học có nghĩa là sử dụng một tập các quan sát để tìm hàm giải được bài toán một cách tốt nhất.
Việc đó đòi hỏi định nghĩa một hàm chi phí sao cho, với lời giải tối ưu ,
Hàm chi phí là một khái niệm quan trọng trong học máy, là một phép đo khoảng cách tới lời giải tối ưu cho bài toán cần giải quyết. Các thuật toán học tìm kiếm trong không gian lời giải để được một hàm có chi phí nhỏ nhất có thể.
Có hai kiểu học máy cơ bản là học có giám sát và học không giám sát.
Học có giám sát là quá trình huấn luyện lặp đi lặp lại cho đến khi kết quả đạt được giá trị mong muốn đã biết, mà để làm được điều đó phải điều chỉnh dần mạng do tồn tại sự khác biệt giữa đầu ra thực tế và đầu ra mong muốn. Sự khác biệt này được thuật toán học sử dụng để điều chỉnh các trọng số trong mạng.Việc điều chỉnh các trọng số như vậy thường được mô tả như một bài toán xấp xỉ số - cho dữ liệu huấn luyện bao gồm các cặp (mẫu đầu vào x, và một đích tương ứng t), mục đích là tìm hàm f(x) thoả mãn tất cả các mẫu học đầu vào.
Học không giám sát không sử dụng tri thức bên ngoài trong quá trình học nên còn được gọi là mạng tự tổ chức. Mạng sẽ phải khám phá các đặc trưng, các điều chỉnh, các mối tương quan, hay các lớp trong dữ liệu vào một cách tự động. Trong thực tế, đối với phần lớn các biến thể của học không giám sát, các đích trùng với đầu vào. Nói một cách khác, học không giám sát thực hiện một công việc tương tự như một mạng tự nhiên liên hợp, cô đọng thông tin từ dữ liệu vào.