Trang 1 BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC VŨ VIỆT VƯƠNG NGHIÊN CỨU, ỨNG DỤNG HỌC SÂU TRONG NHẬN DIỆN BẤT THƯỜNG CHUỖI SỨ CÁCH ĐIỆN TỪ ẢNH UAV LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN
TỔNG QUAN VỀ HỌC SÂU VÀ CÁC BÀI TOÁN ỨNG DỤNG
Mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) được mô phỏng theo các nơ-ron trong não người (Hình 1 1) ANN chứa các tế bào thần kinh nhân tạo (nơ- ron) được gọi là đơn vị Các đơn vị này được sắp xếp trong một loạt các lớp cùng nhau tạo thành toàn bộ Mạng nơ-ron nhân tạo trong một hệ thống Một lớp có thể chỉ có hàng chục đơn vị hoặc hàng triệu đơn vị vì điều này phụ thuộc vào cách các mạng thần kinh phức tạp sẽ được yêu cầu để tìm hiểu các mẫu ẩn trong tập dữ liệu
Nơ-ron: Giống như tế bào thần kinh tạo thành phần tử cơ bản của bộ não của chúng ta, tế bào thần kinh tạo thành cấu trúc cơ bản của mạng thần kinh Một nơ-ron nhận đầu vào, xử lý nó và tạo ra một đầu ra được gửi đến các nơ-ron khác để tiếp tục xử hoặc đó là đầu ra cuối cùng
Hình 1 1: Mô hình nơ-ron sinh học
Trọng số (weights) – Khi đầu vào đi vào nơ-ron, nó sẽ được nhân với trọng số
Ví dụ: nếu một nơ-ron có hai đầu vào, thì mỗi đầu vào sẽ có một trọng số liên quan được gán cho nó Chúng tôi khởi tạo các trọng số một cách ngẫu nhiên và các trọng số này được cập nhật trong quá trình huấn luyện mô hình Mạng thần kinh sau khi huấn luyện sẽ gán trọng số cao hơn cho đầu vào mà nó cho là quan trọng hơn so với những cái được coi là ít quan trọng hơn Trọng số bằng 0 biểu thị rằng đặc trưng cụ thể là không đáng kể
Giả sử đầu vào là a và trọng số tương ứng là W1 Sau đó, sau khi đi qua nút, đầu vào trở thành a*W1
4 Độ lệch (bias) – Ngoài các trọng số, một thành phần tuyến tính khác được áp dụng cho đầu vào, được gọi là độ lệch Nó được thêm vào kết quả của phép nhân trọng số với đầu vào Độ lệch về cơ bản được thêm vào để thay đổi phạm vi của đầu vào được nhân trọng số Sau khi thêm độ lệch, kết quả sẽ là a *w1 + bias Đây là thành phần tuyến tính cuối cùng của phép biến đổi đầu vào
Hàm kích hoạt (Activation Function) – Khi thành phần tuyến tính được áp dụng cho đầu vào, một chức năng phi tuyến tính sẽ được áp dụng cho nó Điều này được thực hiện bằng cách áp dụng hàm kích hoạt cho tổ hợp tuyến tính Hàm kích hoạt dịch tín hiệu đầu vào thành tín hiệu đầu ra Đầu ra sau khi áp dụng hàm kích hoạt sẽ giống như f(a*W1+b) trong đó f() là hàm kích hoạt
Trong sơ đồ bên dưới, chúng ta có “n” đầu vào được cho là X1 đến Xn và các trọng số tương ứng từ Wk1 đến Wkn tôi có một độ lệch được đưa ra là bk Trước tiên, các trọng số được nhân với đầu vào tương ứng của nó và sau đó được cộng cùng với độ lệch Điều này được gọi là u u=∑w*x+b
Hàm kích hoạt được áp dụng cho u tức là f(u) và chúng ta nhận được đầu ra cuối cùng từ nơ-ron là yk = f(u)
Các hàm kích hoạt thường được áp dụng phổ biến nhất là – Sigmoid, ReLU và softmax a) Sigmoid – Một trong những chức năng kích hoạt phổ biến nhất được sử dụng là Sigmoid Nó được định nghĩa là: 𝑠𝑖𝑔𝑚𝑜𝑖𝑑 = 1
Phép biến đổi sigmoid tạo ra một dải giá trị mượt mà hơn trong khoảng từ 0 đến
1 Chúng ta có thể cần quan sát những thay đổi ở đầu ra với những thay đổi nhỏ ở các giá trị đầu vào b) ReLU (Rectified Linear Units) – Thay vì sigmoids, các mạng gần đây thích sử dụng các chức năng kích hoạt ReLu cho các lớp ẩn Hàm được định nghĩa là: f(x) = max(x,0) Đầu ra của hàm là X khi X>0 và 0 cho X