Mạng nơ-ron nhân tạo (Artifical Neural Network - ANN) hay còn gọi là mạng nơ-ron (NN) đang bắt chước cấu trúc của bộ não của con người. Ý tưởng chính của mạng nơ ron là tạo ra một mạng bao gồm nhiều tế bào nơ ron sẽ nhận kiến thức về một nhiệm vụ thông qua huấn luyện, giống như bộ não con người được đào tạo để học những điều mới trong suốt cuộc đời.
Ý tưởng về trí tuệ nhân tạo và cụ thể là mạng nơ ron đã có từ rất lâu, và đã phát triển trong nhiều năm, ngày nay đôi khi được nhắc đến như là học sâu. Học sâu chính là khi mạng nơ ron trở nên sâu hơn có nghĩa là có nhiều lớp ẩn được thêm vào mạng nơ ron.
Thập kỷ vừa qua đã mang lại sự phát triển và cải tiến lớn của mạng nơ ron không chỉ do sức mạnh tính toán được cải thiện mà còn do khả năng thu thập dữ liệu. Dữ liệu lớn, khai thác dữ liệu, cơ sở dữ liệu, nguồn mở và điện toán đám mây đã giúp các nhà khoa học dữ liệu có thể xây dựng các thuật toán về trí tuệ nhân tạo và mô hình học máy mạnh mẽ hơn. Học sâu có thể thực hiện được bởi vì cho đến ngày nay, các máy tính có thể xử lý lượng lớn dữ liệu và kiến trúc lớn của mạng. Học sâu có thể được thực hiện trong các hệ thống cho một số lĩnh vực khác nhau như chẩn đoán bệnh, nhận dạng hình ảnh và nhận dạng ngôn ngữ.
Mạng nơ-ron nhân tạo (Neural Network - NN) là một mô hình lập trình mô phỏng cách thức hoạt động của mạng nơ-ron thần kinh của con người. Kết hợp với các kĩ thuật học sâu (Deep Learning - DL), mạng nơ-ron nhân tạo đang trở thành một công cụ rất mạnh mẽ mang lại hiệu quả tốt nhất cho nhiều bài toán khó như nhận dạng ảnh, giọng nói hay xử lý ngôn ngữ tự nhiên.
Một mạng nơ ron cơ bản nhất là mạng nơ-ron chuyển tiếp. Một NN chuyển tiếp nguồn cấp dữ liệu có thể được sử dụng cho cả ba loại học máy đó là học có giám sát, không giám sát và học tăng cường. Tất cả chúng đều dựa trên cấu trúc cơ bản giống nhau. Mạng nơ-ron được xây dựng bởi một số lớp nơ-ron, còn được gọi là nút, là các đơn vị “ẩn” đang được huấn luyện khi dữ liệu được chạy qua
chúng. Các nút được kết nối với nhau trong một lớp ẩn, hoạt động giống như một hộp đen của phần học của mô hình mạng nơ-ron. Các kết nối giữa các nút có thể được biểu diễn toán học dưới dạng trọng số, trọng số được cập nhật khi dữ liệu mới được sử dụng làm đầu vào. Một mạng nơ-ron thường bao gồm một số lớp ẩn, với nhiều trọng số được cập nhật trong quá trình huấn luyện mô hình mạng nơ ron [15]. Mạng nơ ron chuyển tiếp nguồn cấp dữ liệu được kết nối, nghĩa là mỗi nút trong mỗi lớp được kết nối với mọi nút trong lớp ẩn tiếp theo (hình 2.1). Một mạng nơ ron chuyển tiếp nguồn cấp cơ bản bao gồm một lớp đầu vào, các lớp ẩn và cuối cùng là một lớp đầu ra.
NN là các mô hình phi tuyến, được thiết kế để mô tả và xử lý các mối quan hệ phi tuyến. Mạng cho một đầu ra z với một đầu vào x, được cung cấp bởi một số lớp ẩn của các hàm tuyến tính và các hàm kích hoạt phi tuyến. Bài toán hồi quy tuyến tính cơ bản được đưa ra bởi phương trình (2.1).
z(x) = β01 + β1𝑥1 + β2𝑥2 + . . . + β𝑀𝑥𝑝
Ở đây đầu ra z được cho bằng tổng tất cả các giá trị đầu vào của x = [1 𝑥1 𝑥2 . . . . 𝑥𝑝]T, mỗi giá trị được nhân với một tham số β𝑀. Để mô tả các mối quan hệ phi tuyến giữa z và x, các yếu tố này được đưa vào một hàm phi tuyến, được gọi là hàm kích hoạt, thường được ký hiệu là σ, phương trình (2.2).
z(x) = σ(β01 + β1𝑥1 + β2𝑥2 + . . . + β𝑀𝑥𝑝)