41
o Lớp đầu vào (lớp input): Là lớp nhận kích thích, mọi kích thích vào mạng sẽđều thông qua lớp này.
o Lớp ẩn (lớp hidden): Nằm sau lớp đầu vào, nhận tín hiệu từ lớp đầu vào trước khi chuyển sang lớp tiếp theo.
o Lớp đầu ra (lớp output): Nhận tín hiệu từ lớp ẩn và đưa ra kết quả.
o Ứng với mỗi liên kết sẽ có các trọng số
o Ứng với mỗi nơ-ron (trong mạng nơ-ron nhân tạo gọi là unit – đơn vị) sẽ có 1 giá trị ngưỡng (giá trị mà tại đó nơ-ron phát tín hiệu) và 1 giá trị tương ứng với xung điện được phát đi, tất cả được quy định bởi một hàm kích hoạt. Một hàm kích hoạt thường thấy là hàm ReLU:
- F(x) = max(0, x).
- Hàm này sẽ chỉ cho tín hiệu truyền đi khi giá trị truyền đến nơ-ron >= 0 - Khi giá trị truyền đơn nơ-ron >= 0, nó sẽ truyền toàn bộ giá trịnày đi Mạng nơ-ron nhân tạo cơ bản gồm có nhiều lớp, mỗi lớp lại gồm nhiều nơ-ron, các nơ-ron được liên kết với nhau bởi các liên kết. Ban đầu, mạng nơ-ron được thiết kế để mỗi nơ-ron đều liên kết với mọi nơ-ron ở lớp liền trước và lớp liền sau, mỗi một liên kết lại mang một trong số khác nhau. Mạng nơ-ron nhân tạo như vậy gọi là mạng nơ- ron kết nối đầy đủ (fully-connected neural network).
Với mạng nơ-ron nhân tạo, các trọng số cần điều chỉnh trong quá trình huấn luyện chính là các trọng số của các liên kết. Có thể thấy, mạng nơ-ron kết nối đầy đủ, số trọng số cần tối ưu là rất lớn.
Ta có thể nhận thấy, với một đầu vào cụ thể, sẽ chỉ có 1 số thuộc tính là có ảnh hưởng lên nhau. Ví dụ với dữ liệu đầu vào là một bức ảnh, hầu như chỉ có các điểm ảnh gần nhau mới cùng nhau tạo nên một đối tượng (object). Ngoài ra, đối với ảnh, mỗi quan hệ giữa 1 cụm điểm ảnh liên tiếp cũng không thay đổi nếu chúng được đặt ở các vị trí khác nhau trong bức ảnh này. Vì vậy, một kiến trúc mạng nơ-ron nhân tạo mới đã được đề xuất, cắt bỏ đi các liên kết không gây nhiều ảnh hưởng và bắt các liên kết có cùng bản chất chia sẻ trọng số với nhau. CNN chính là một kiến trúc mạng nơ-ron như vậy.
Phương pháp deep learning tiếp cận vấn đề theo một hướng khác, thay vì phải đưa ra những đặc trưng tương đối cụ thể như đã kể trên, thì ta chỉ đưa cho mô hình những đặc trưng “thô”, ví dụ đối với ảnh là một ma trận 3 chiều chứa các giá trị, mỗi giá trị ứng với cường độ 1 kênh màu (R – đỏ, G –lục, B –lam) tại một điểm ảnh nào đó. Mô hình sẽ tự phân tích, kết hợp, suy luận và lựa chọn ra các đặc trưng phù hợp để quyết định đầu ra. Mạng nơ-ron nhân tạo sâu thực hiện việc này một cách hiệu quả, do càng vào sâu, các tham số càng trở nên khó hiểu (trừu tượng) đối với con người, nên con người càng khó can thiệp vào, vì vậy, deep learning sẽ hoàn thành nhiệm vụ đầu tiên: để cho máy tính tự hiểu vấn đề theo cách hiểu của máy. Các đặc trưng trừu tượng này sẽ được đưa qua một mô hình machine learning, tương tự như phương pháp machine learning thông thường, để tạo ra kết quả cuối cùng. Nếu mô hình machine learning này là một mạng nơ-ron nhân tạo, ta có thể nối 2 mạng này với nhau, thành một mạng duy
42 nhất. Việc sử dụng một mạng nơ-ron duy nhất sẽ giúp quá trình học trở nên xuyên suốt, liền mạch, giúp nâng cao hiệu quả của quá trình huấn luyện cũng như tối ưu cho kết quả.
4.2.3 CNN – mạng nơ-ron tích chập (Convolutional Neural Network)