Mạng neuron và ứng dụng trong xử lý tín hiệu Giảng viên Trần Thị Thanh Hải

Mạng neuron ứng dụng xử lý tín hiệu Giảng viên Trần Thị Thanh Hải International Research Institute MICA Multimedia, Information, Communication & Applications UMI 2954 Hanoi University of Science and Technology Dai Co Viet - Hanoi - Vietnam Bài 5: Tối ưu hóa hàm mục tiêu Mục tiêu  Câu hỏi 4:    Làm để xác định ma trận trọng số số đầu vào lớn Các giải thuật lặp cho phép giải toán tối ưu hàm mục tiêu Mục tiêu  Giới thiệu hai giải thuật học  Thuật toán bước giảm cực đại (Gradient Descent Learning)  Thuật toán L-M (Levenberg Marquardt)  Thực hành với số thuật toán Nguyên lý chung Giả sử tập số liệu học có p mẫu:  Với vector đầu vào xi, giá trị đích cần đạt f(xi) ~ di với giá trị I  Nguyên lý học: tối thiểu hóa sai số đầu mạng f(xi) giá trị đích cần đạt di  Thơng thường người ta gọi tối thiểu hóa hàm mục tiêu (objective function)  Nguyên lý chung  Tối ưu hóa hàm mục tiêu (objective function) SSE: Sum Squared Error S (ti – zi)2 Weight Values Nguyên lý chung Tiếp tuyến với đồ thị hàm số điểm có hệ số góc đạo hàm điểm Điểm cực tiểu điểm mà đạo hàm f(x) có giá trị Nguyên lý chung  Trong đại đa số trường hợp, tìm xmin cho f’(x) = không khả thi với f hàm nguyên nhân:    Sự phức tạp dạng đạo hàm Dữ liệu có số chiều lớn (high dimension) Kích thước tập liệu lớn (large dataset) Hướng tiếp cận  Nội dung phương pháp sau:     Xuất phát từ vị trí khởi đầu x(0) ta tìm x(1) cho f(x(1)) < f(x(0)) Tiếp tục tìm x(2) cho f(x(2)) < f(x(1)) Liên tục ta thu kết chuỗi {x(t)} cho {f(x(t))} chuỗi giảm dần đạt tới cực tiểu Khi đó: Thuật tốn Gradient Descent    Công thức hệ phép triển khai Taylor: Nếu chọn: Nếu chọn: x(t+1) giảm với eta đủ nhỏ thì: giá trị Thuật tốn học Trong eta tốc độ học mạng 10 Sử dụng Gradient Descent cho neuron Bộ số liệu:  Đầu tương ứng với đầu vào  Sai số liệu học  Ta cần tìm trọng số:  Với giá trị khởi tạo  14 Sử dụng Gradient Descent cho neuron 15 Đồ thị hàm sai số theo bước lặp 16 Thuật toán L-M  Thuật toán Levenberg-Marquardt (L-M) dựa triển khai bậc khai triển Taylor  Với p: khoảng lân cận khai triển g(W): vector gradient E theo W  H(W) ma trận đạo hàm bậc 2:  17 Thuật tốn L-M Tại điểm cần tìm g(W) = H(W) xác định dương  Giả sử:   Khi đó:  Để tránh bước dịch chuyển lớn: 18 Thuật toán L-M Về bản: ta sử dụng triển khai Taylor bậc cao có tốc độ hội tụ nhanh  Tuy nhiên, cơng thức phức tạp cồng kềnh  Vì thực tế, ta sử dụng đến triển khai bậc  19 Ví dụ toán tử OR  x1 = 1; x2 = then y =  Nếu neuron có hàm truyền logsig  Sai số ban đầu: 20 Ví dụ tốn tử OR  Các giá trị gradient 21 Ví dụ toán tử OR Chọn hệ số học:  Ta có trọng số kết nối  22 Ví dụ tốn tử OR Bộ trọng số  Đầu ra:  Sai số bước 1:   Như sau bước, sai số giảm đi, tiếp tục thực sau 100 bước lặp E(100)= 0.00947 23 Đối với thuật toán L-M  Với mẫu học, sau 100 bước lặp    Sai số sử dụng Gradient Descent: E = 0.211 Sai số sử dụng L-M: E = 0.0182 L-M hội tụ nhanh 24 Một số phương pháp nâng cao chất lượng trình học  Học với hệ số thích nghi     Eta: ảnh hưởng đến trình học Cách lựa chọn đơn giản nhất: lấy giá trị cố định Tuy nhiên cách thường cho giải thuật rơi vào cực trị địa phương cần số bước lặp lớn eta nhỏ bị giao động xung quanh cực trị eta lớn Khắc phục: sử dụng phương pháp hệ số thích nghi   Nếu Nếu tăng hệ số eta: giảm hệ số eta: 25 Một số phương pháp nâng cao chất lượng trình học   Học với qn tính hệ số qn tính có giá trị thuộc [0, 1] 26 Xấp xỉ thuật toán L-M Thuật tốn L-M phức tạp phải tính nghịch đảo ma trận H(W)  [Hagan94] đề xuất thay H(W) G(W)  27 Bài tập nhà Sử dụng matlab, viết hàm huấn luyện neuron cho toán tử OR, AND với giải thuật Gradient Descent L-M  Hiển thị sai số theo số bước lặp hai giải thuật hình vẽ  Nhận xét so sánh mức độ hội tụ hai giải thuật  28