Đồ án học máy đề tài thuật toán lan truyền ngược

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP.HCM KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN HỌC MÁY ĐỀ TÀI: Thuật toán lan truyền ngược Sinh viên thực hiện: Nhóm 16 2001200618 – Phạm Tấn Trung 2001200511 – Phan Trung Hoan 2001207089 – Đặng Xuân Phúc TP HCM, tháng 1/2023 MỤC LỤC THUẬT TOÁN LAN TRUYỀN NGƯỢC .5 Thuật toán lan truyền ngược(Back – Propagation Algorithm) Mơ tả thuật tốn 2.1 Chỉ số hiệu (performance index) .6 2.2 Luật xích (Chain Rule) 2.3 Lan truyền ngược độ nhạy cảm Sử dụng thuật toán lan truyền ngược 12 3.1 Chọn lựa cấu trúc mạng 12 3.2 Sự hội tụ 15 3.3 Sự tổng quát hoá 16 Một số biến thể thuật toán lan truyền ngược 16 4.1 Sử dụng tham số bước đà 17 4.2 Sử dụng hệ số học biến đổi 17 TÀI LIỆU THAM KHẢO 19 LỜI CẢM ƠN Lời nhóm em xin gửi đến thầy Trần Đình Tồn, người trực tiếp hướng dẫn nhóm em suốt q trình thực tập lớn Những nhận xét, đánh giá, kiến thức, tài liệu chia sẻ kinh nghiệm làm việc thầy thông tin vơ hữu ích cho việc hồn thành tập nhóm em Chúng em xin trân trọng cảm ơn thầy, chúc thầy gia đình ln ln mạnh khỏe đạt thành công sống Cuối cùng, chúng em xin chân thành cảm ơn thầy cô khoa CNTT bạn bè, tạo điều kiện, quan tâm, giúp đỡ chúng em suốt q trình học tập hồn thành đồ án Chúng em xin chân thành cảm ơn! LỜI NÓI ĐẦU Ngày khoa học kỹ thuật phát triển vũ bão, lao động trí óc dần thay cho lao động chân tay ứng dụng khoa học kỹ thuật Và góp phần đắc lực cách mạng khoa học phải kể đến lĩnh vực công nghệ thông tin Công nghệ thông tin ứng dụng nhiều lĩnh vực Đặc biệt ngành kinh tế, đóng góp phần đáng kể vào q trình hội nhập Học máy phát triển nhiều lĩnh vực khác nhau, có kinh tế Trong trình kinh doanh phát triển cơng ty, tổ chức, doanh nghiệp lượng lớn thơng tin trao đổi, mua bán loại hàng hóa ben liên quan nhà cung cấp, nhà buôn bán khách hàng cần quản lý theo dỗi hàng ngày Quy mô số lượng giao dịch ngày lớn, nhiều số lượng thơng tin nhiều, quan trọng phức tạp Chính nhiều thời gian, công sức để quản lý dẫn đến sai sót đáng tiếc quản lý, khai thác xử lý thông tin Với cố gắng nổ lực mình, chúng em xây dựng hoàn thành đề tài Xong cịn nhiều thiếu xót chúng em mong nhận đóng góp ý kiến thầy bạn đề tài chúng em hồn thiện THUẬT TỐN LAN TRUYỀN NGƯỢC Thuật toán lan truyền ngược(Back – Propagation Algorithm) Phần mơ tả thuật tốn học sử dụng để điều chỉnh hiệu mạng cho mạng có khả sinh kết mong muốn Các mạng nơron truyền thẳng nhiều lớp huấn luyện phương pháp học có thầy Phương pháp dựa việc yêu cầu mạng thực chức sau trả lại kết quả, kết hợp kết với đầu mong muốn để điều chỉnh tham số mạng Về bản, thuật toán lan truyền ngược dạng tổng qt thuật tốn trung bình bình phương tối thiếu(Least Means Square - LMS) lẽ sử dụng kỹ thuật giảm theo hướng véctơ gradient với độ phức tạp hàm lỗi lớn Thuật toán thuộc dạng thuật tốn xấp xỉ để tìm điểm mà hiệu mạng tối ưu Chỉ số tối ưu (performance index) thường xác định hàm số ma trận trọng số đầu vào mà q trình tìm hiểu tốn đặt Mơ tả thuật tốn Ta sử dụng dạng tổng quát mạng nơron truyền thẳng nhiều lớp hình 3.1 Khi đầu lớp trở thành đầu vào lớp kế tiếp: a m+1 =fm+1(Wm+1am+bm+1) với m=0,1, M-1 M số lớp mạng, nơron lớp thứ nhận tín hiệu từ bên ngồi: a =p đầu lớp cuối đầu mạng a=a m 2.1 Chỉ số hiệu (performance index) Thuật toán lan truyền ngược sử dụng số hiệu trung bình bình phương lỗi đầu so với giá trị đích Đầu vào mạng tập ví dụ huấn luyện: {(p1,t1), (p2,t2), (pq,tq)} pi đầu vào ti đầu đích tương ứng (với i=1,2, q) Mỗi đầu vào đưa vào mạng, sau tính tốn cho đầu ra, đầu đem so sánh với đầu mong muốn Thuật toán điều chỉnh tham số mạng để tối thiểu hố trung bình bình phương lỗi: 2 F(x) = E|e | = E|(t-a) | x biến tạo thành trọng số độ lệch, E ký hiệu kỳ vọng tốn học Nếu mạng có nhiều đầu ra, ta viết lại phương trình dạng ma trận sau: Ký hiệu (x) giá trị xấp xỉ F(x) ta có xấp xỉ trung bình bình phương lỗi sau: Trong kỳ vọng tốn học bình phương lỗi thay bình phương lỗi bước thứ k Thuật toán giảm theo hướng cho trung bình bình phương lỗi xấp xỉ là: α hệ số học 2.2 Luật xích (Chain Rule) Đối với mạng nơron truyền thẳng nhiều lớp, lỗi không hàm trọng số lớp ẩn, việc tính đạo hàm phần khơng đơn giản Chính lý mà ta phải sử dụng luật xích để tính Luật mơ tả sau: Recommandé pour toi Suite du document ci-dessous MÃ 132 Đề Thi Thử THPT Lần THPT Lý Thái Tổ Môn Anh Pháp luật đại cương 100% (1) Giả sử ta có f hàm biến n, ta muốn đạo hàm f có liên quan đến biến w khác, luật xích sau: Vậy đạo hàm (1) (2) : Trong hạng thức thứ hai vế phải phương trình (1’) (2’) tính cách dễ dàng, đầu vào lớp m mạng hàm trọng số độ lệch tầng đó: Ta ký hiệu độ nhạy cảm thay đổi phần tử thứ j đầu vào mạng lớp thứ m Khi ta có: Thuật toán giảm theo hướng biểu diễn sau: : : 2.3 Lan truyền ngược độ nhạy cảm m Bây ta cần tính tốn nốt ma trận độ nhạy cảm s Để thực điều cần sử dụng áp dụng khác luật xích Q trình cho ta khái niệm “Lan truyền ngược” mơ tả mối quan hệ hồi qui độ nhạy cảm s tính qua độ nhạy cảm s m+1 lớp m+1 Để dẫn đến quan hệ đó, ta sử dụng ma trận Jacobian: Xét thành phần thứ j,i ma trận : : m Như ma trận Jacobian viết lại sau: : Bây ta viết lại quan hệ hồi qui cho độ nhạy cảm dạng ma trận: Bây ta thấy độ nhạy cảm lan truyền ngược qua mạng từ lớp cuối trở lớp đầu tiên: … Cần nhấn mạnh thuật toán lan truyền ngược lỗi sử dụng kỹ thuật giảm theo hướng thuật toán LMS Sự phức tạp chỗ để tính gradient ta cần phải lan truyền ngược độ nhạy cảm từ lớp lớp trước m Bây ta cần biết điểm bắt đầu lan truyền ngược, xét độ nhạy cảm s lớp cuối cùng: Do : : Tóm lại, thuật tốn lan truyền ngược biểu diễn sau : THUẬT TOÁN LAN TRUYỀN NGƯỢC – BACK PROPAGATION ALGORITHM Bước 1: Lan truyền xuôi đầu vào qua mạng = 0,1,… M-1 Bước 2: Lan truyền độ nhạy cảm (lỗi) ngược lại qua mạng: = M-1, M-2,….,1 Bước 3: Các trọng số độ lệch cập nhật công thức sau: Sử dụng thuật toán lan truyền ngược Ở phần ta bàn khía cạnh ứng dụng thuật tốn lan truyền ngược chọn lựa cấu trúc mạng, hội tụ khả tổng quát hoá 3.1 Chọn lựa cấu trúc mạng Thuật tốn lan truyền ngược sử dụng để xấp xỉ hàm số học ta có đủ số nơron lớp ẩn vậy, phát biểu chưa cho ta số cụ thể lớp số nơron lớp cần sử dụng Ta dùng ví dụ để có nhìn chi tiết vấn đề Ví dụ, ta muốn xấp xỉ hàm số sau: Trong i nhận giá trị 1,2,4 Khi i tăng hàm số cần xét trở nên phức tạp ta nhận nhiều chu kỳ hình sin phạm vi [-2,2] Khi đó, mạng nơron với số nơron cố định khó xấp xỉ hàm i tăng Ta sử dụng ví dụ Function approximation thư viện Matlab 6.0 (tệp nnd11fa.m) Ở mạng sử dụng có lớp ẩn, lớp ra, mạng có đầu vào đầu Lớp ẩn sử dụng hàm Sigmoid, lớp dùng hàm tuyến tính Số nơron lớp ẩn 3, kết xấp xỉ mạng trường hợp i=1,2,4,8 hình a, Trường hợp i=1 l b,Trường hợp i=2 m c,Trường hợp i=4 n d,Trường hợp i=8 o X Khi ta tăng số nơron lớp ẩn lên khả xấp xỉ hàm số mạng tốt Chẳng hạn, xét trường hợp sử dụng nơron lớp ẩn i=8 ta có kết sau: Trường hợp i=8 số nơron lớp ẩn p Như ta muốn xấp xỉ hàm số mà có số điểm cần xấp xỉ lớn ta cần số nơron lớn lớp ẩn 3.2 Sự hội tụ Trong phần ta thấy trường hợp mạng nơron không trả lại kết xác thuật tốn lan truyền ngược thực tối thiểu hố trung bình bình phương lỗi Điều khả mạng bị giới hạn số nơron lớp ẩn Nhưng có trường hợp thuật tốn lan truyền ngược khơng cho ta tham số dẫn đến kết xác mạng xấp xỉ hàm số Điều xảy trạng thái khởi đầu mạng, sau huấn luyện, mạng rơi vào điểm cực tiểu toàn cục rơi vào điểm cực tiểu địa phương Cần ý thuật tốn LMS, điểm cực trị tồn cục ln tồn lẽ hàm trung bình bình phương lỗi thuật toán LMS hàm bậc hai, hàm bậc hai nên đạo hàm bậc hai hàm lỗi số, mà độ cong hàm theo hướng cho trước không thay đổi Trong thuật tốn lan truyền ngược áp dụng cho mạng nhiều lớp sử dụng hàm kích hoạt phi tuyến có nhiều điểm cực trị địa phương độ cong hàm lỗi không cố định theo hướng cho trước 3.3 Sự tổng quát hoá Trong phần lớn trường hợp, mạng nơron truyền thẳng nhiều lớp huấn luyện số cố định mẫu xác định hoạt động mạng: {(p1,t1), (p2,t2), ,(pq,tq)} pi đầu vào, ti đầu mong muốn tương ứng Tập ví dụ huấn luyệnnày thơng thường thể số lớn lớp ví dụ huấn luyện Một điều quan trọng mạng nơron có khả tổng qt hố từ học Mặc dù liệu có nhiễu mạng có khả hoạt động tốt Để mạng có khả tổng qt hố tốt, cần có số tham số số liệu có tập ví dụ huấn luyện Trong mạng nơron, tốn mơ hình hố, ta thường mong muốn sử dụng mạng đơn giản mà cho kết tốt tập ví dụ huấn luyện Một cách khác dừng luyện mạng trước mạng xảy tình trạng khớp Kỹ thuật liên quan đến việc chia tập liệu thu thành ba tập : tập ví dụ huấn luyện để tính tốn gradient cập nhật trọng số mạng, tập kiểm định dùng để kiểm tra điều kiện dừng mạng tập kiểm tra sử dụng để so sánh khả tổng quát hoá mạng tham số mạng sau lần huấn luyện Một số biến thể thuật toán lan truyền ngược Ta biết số đặc điểm thuật toán lan truyền ngược sử dụng kỹ thuật giảm theo hướng Mạng sử dụng thuật toán tồn nhược điểm: rơi vào điểm cực tiểu địa phương mạng nơron truyền thẳng nhiều lớp sử dụng hàm kích hoạt phi tuyến Hơn nữa, thực luyện mạng cách đưa ví dụ huấn luyện vào, sau thực cập nhật tham số, làm ảnh hưởng đến trình học ví dụ khác Do đó, phương pháp để tăng tốc độ hội tụ sử dụng phương pháp học theo lô (batch training), nghĩa tất ví dụ huấn luyện đưa vào mạng, sau thực cập nhật tham số Bây ta xem xét số biến thể thuật toán lan truyền ngược sử dụng phương pháp học theo lô nhằm vượt qua nhược điểm 4.1 Sử dụng tham số bước đà Đây phương pháp heuristic dựa quan sát kết luyện mạng nhằm làm tăng tốc độ hội tụ thuật toán lan truyền ngược dựa kỹ thuật giảm nhanh Thuật toán lan truyền ngược cập nhật tham số mạng cách cộng thêm vào lượng thay đổi là: Khi áp dụng thuật toán lan truyền ngược có sử dụng bước đà, phương trình thay đổi sau: Người ta chứng tỏ sử dụng tham số bước đà hệ số học lớn nhiều so với thuật tốn lan truyền ngược nguyên thuỷ không sử dụng tham số bước đà giữ độ tin cậy thuật toán Một điểm sử dụng tham số bước đà hội tụ thuật toán tăng tốc thuật toán theo hướng bền vững(chỉ xuống khoảng dài) 4.2 Sử dụng hệ số học biến đổi Trong thực tế, hàm hiệu có dạng biểu diễn hình học khơng đồng đều, có lúc có dạng phẳng(hàm không thay đổi giá trị thay đổi ít) có dạng phễu (giá trị hàm thay đổi nhanh thay đổi tham số đầu vào) Nếu ta sử dụng hệ số học cố định tốn thời gian vùng phẳng Vì tư tưởng thuật tốn lan truyền ngược sử dụng hệ số học biến đổi gặp vùng phẳng tăng hệ số học lên ngược lại gặp vùng dạng phếu giảm hệ số học Người ta đưa nhiều phương pháp để thực điều trên, nêu cách biến đổi hệ số học dựa hiệu mạng • Bước 1: Nếu bình phương lỗi tồn tập ví dụ huấn luyện tăng số phần trăm cho trước γ (thông thường từ 1% đến 5%) sau lần cập nhật trọng số, bỏ qua việc cập nhật này, hệ số học nhân với số hạngξ (với 0