1. Tổng quan về mạng Nơ ron sâụ
1.1.3.3. Một số khái niệm chính về học sâu [17]
Có nhiều cách mà lĩnh vực học sâu được mô tả. Học sâu là một lớp các thuật toán huấn luyện máy học mà:
- Là một phần của lĩnh vực máy học mở rộng.
- Sử dụng một tầng nhiều lớp của các khối xử lý phi tuyến cho việc trích chọn tham số và các phép biến đổị Lớp tiếp theo sử dụng đầu ra của lớp trước làm đầu vàọ Thuật toán có thể có giám sát hoặc không có giám sát và các ứng dụng bao gồm nhận dạng mẫu và phân lớp thống kê.
- Được dựa trên học (không có giám sát) nhiều mức của các tham số hoặc sự biểu diễn của dữ liệụ Các tham số mức cao hơn được bắt nguồn từ các tham số mức thấp hơn để tạo thành một sự phân cấp.
22
- Học nhiều mức của sự biểu diễn (representation) tương tứng với các mức khác nhau của sự trừu tượng, các mức hình thành khái niệm phân cấp.
Các định nghĩa này có trong đa lớp nói chung của các khối xử lý phi tuyến và việc biểu diễn các tham số trong học có giám sát hoặc không có giám sát trong mỗi lớp, các lớp hình thành một phân cấp từ các tham số mức thấp tới các tham số mức caọ Thành phần của một lớp của khối xử lý phi tuyến sử dụng trong giải thuật belief sâu phụ thuộc các vấn đề đã được giải quyết. Các lớp được sử dụng trong học sâu bao gồm các lớp ẩn của một mạng Nơ ron nhân tạo, máy Boltzmann retricted, và tập các công thức mệnh đề phức tạp.
Các thuật toán học sâu tương phản với các thuật toán học nông bởi số các phép biến đổi tham số hóa một tín hiệu gặp phải khi nó lan truyền từ lớp vào tới lớp ra, ở đây một phép biến đổi tham số hóa là một khối xử lý mà có các tham số có khả năng huấn luyện chẳng hạn như các trọng số và các ngưỡng. Một chuỗi các phép biến đổi từ đầu vào đến đầu ra là một đường phân chia ảnh hưởng (CAP- Credit Assihnment Path). CAP mô tả khả năng kết nối giữa đầu vào và đầu ra và có thể thay đổi chiều dàị Đối với mạng Nơ ron truyền thẳng, độ sâu của CAP và độ sâu của mạng là số các lớp ẩn cộng với 1 (lớp đầu ra cũng được tham số hóa). Đối với mạng Nơ ron hồi quy, trong đó các tín hiệu có thể lan truyền qua một lớp nhiều lần, CAP là không giới hạn chiều dàị Các nhà nghiên cứu cho rằng học sâu có nhiều lớp phi tuyến (CAP > 2) và Schmidhuber coi CAP > 10 là học rất sâụ
Các thuật toán học sâu được dựa trên sự biểu diễn phân tán. Giả định phía sau các biểu diễn phân tán là các dữ liệu quan sát được là được tạo bởi nhiều hệ số khác nhau trên các mức khác nhaụ Học sâu đã thêm giả định các hệ số được tổ chức thành nhiều mức tương ứng với các mức trừu tượng khác nhau hoặc các thành phần khác nhaụ Thay đổi số lớp và kích thước lớp có thể sử dụng để cung cấp một lớp trừu tượng khác.
Các thuật toán học sâu trong sự khai thác ý tưởng đặc biệt phân cấp các hệ số. Các khái niệm khác nhau được học từ các khái niệm trừu tượng hơn, mức cao hơn được học từ các mức thấp hơn. Các kiến trúc thường được xây dựng với một phương
23
pháp tham lam (greedy) từng lớp một. Học sâu giúp tháo gỡ các vấn đề trừu tượng và chọn ra những tham số hữu ích cho việc học.
Đối với việc học có giám sát, thông tin nhãn là có sẵn trong quá trình huấn luyện, học sâu có một nguyên tắc khác với các phương pháp truyền thống của máy học, đó là thay vì tập trung vào các tham số kỹ thuật mà thường cần nhiều hoạt động và thay đổi một trong các nhiệm vụ, các phương pháp học sâu tập trung vào học end- to-end dựa trên các tham số thô. Nói cách khác, học sâu chuyển từ tham số kỹ thuật đến một mức độ tối đa có thể. Để thực hiện tối ưu hóa end-to-end bắt đầu với các tham số thô và kết thúc bằng nhãn, cấu trúc phân lớp thường là cần thiết. Từ quan điểm này chúng ta có thể coi việc sử dụng các cấu trúc được phân lớp để rút ra các biểu diễn trung gian cũng như một hệ quả tự nhiên của việc học các tham số thô dựa trên end-to-end. Hiểu được mối liên kết giữa hai khía cạnh trên của học sâu là quan trọng để đánh giá việc sử dụng nó trong một số lĩnh vực ứng dụng, tất cả các tác vụ liên quan đến việc học có giám sát (ví dụ: nhận dạng ảnh và nhận dạng tiếng nói có giám sát), sẽ được thảo luận saụ
Nhiều thuật toán học sâu được trình bày với các vấn đề học không giám sát. Bởi các thuật toán này có thể sử dụng dữ liệu không gán nhãn còn các thuật toán học có giám sát thì không thể. Dữ liệu không gán nhãn nhiều hơn, phong phú hơn dữ liệu không gán nhãn, điều này tạo một lợi ích quan trọng của các thuật toán nàỵ Mạng Belief sâu là một ví dụ về kiến trúc sâu được huấn luyện không giám sát.