Bài viết sử dụng phương pháp hồi quy thực hiện trên mạng nơ ron lan truyền ngược để dự báo số học sinh nhập học theo số liệu được thu thập và xử lý từ năm 1989 đến năm 2017 tại Trung tâm Giáo dục Nghề nghiệp–Giáo dục Thường xuyên (GDNN-GDTX) quận Đống Đa, Hà Nội.
ISSN 2354-0575 DỰ BÁO SỐ HỌC SINH NHẬP HỌC BẰNG MẠNG NƠ RON NHÂN TẠO Nguyễn Quang Hoan1, Dương Thu Trang2, Đoàn Hồng Quang3 Trường Đại học Sư phạm Kỹ thuật Hưng Yên Trung tâm GDNN – GDTX Đống Đa UBND Huyện Đơng Hưng Ngày tịa soạn nhận báo: 12/04/2018 Ngày phản biện đánh giá sửa chữa: 15/06/2018 Ngày báo chấp nhận đăng: 18/06/2018 Tóm tắt: Bài báo sử dụng phương pháp hồi quy thực mạng nơ ron lan truyền ngược để dự báo số học sinh nhập học theo số liệu thu thập xử lý từ năm 1989 đến năm 2017 Trung tâm Giáo dục Nghề nghiệp–Giáo dục Thường xuyên (GDNN-GDTX) quận Đống Đa, Hà Nội Tư tưởng phương pháp là: lấy số lượng học sinh nhập học dự báo đưa làm đầu vào cuối (làm năm sau nhất) tập liệu mẫu đầu vào; đó, liệu tập mẫu cũ đẩy ngoài, tức tịnh tiến tập liệu mẫu đơn vị thời gian cho lần dự báo Theo cách đó, báo cải biên thuật toán lan truyền ngược thành thuật toán lan truyền ngược truy hồi chạy phần mềm xây dựng thử nghiệm dự báo số học sinh nhập học Trung tâm; so sánh kết đạt với bốn phương pháp dự báo khác Từ khóa: Mạng nơ ron lan truyền ngược; phương pháp hạ Gradient; luật học; truy hồi Giới thiệu Mạng nơ ron nhân tạo công cụ mạnh để giải tốn có tính phi tuyến, phức tạp, đặc biệt trường hợp mà tham số có mối quan hệ tác động qua lại khơng rõ rệt Có nhiều loại mạng nơ ron khác [1, 2, 3, 5, 6] mạng nơ ron truyền thẳng nhiều lớp sử dụng phổ biến Nhiều nghiên cứu sử dụng mạng nơ ron truyền thẳng nhiều lớp cho toán dự báo [1], [6] chứng tỏ hướng tiếp cận hiệu Đóng góp báo sử dụng mạng lan truyền ngược cải biên cách cho truy hồi liệu: sử dụng đầu phản hồi làm đầu vào để dự báo theo kỹ thuật hồi quy Mạng nơ ron lan truyền ngược 2.1 Cấu trúc mạng Mơ hình mạng nơ ron lan truyền ngược (Hình 1) gồm lớp vào (Input Layer), lớp (Output Layer) lớp ẩn (Hidden Layers) nằm lớp vào lớp Có thể mơ tả cấu trúc sau: + Lớp ẩn: nhận tập mẫu (véc tơ) vào x, tạo đầu tương tự nơ ron thứ q lớp ẩn Netq: netq = m / v jq x j ; j=1 j=1, 2,… m; q=1,2,…,l (1) Đầu lớp ẩn n (2) zq = f _ netq i = f ` / j = v jq x j j đó, f(.) hàm tương tác đầu Hàm thương sử dụng mạng lan truyền hàm sigmoid, khả vi, bị chặn đơn điệu không giảm: (3) f (x) = + e -x Khoa học & Công nghệ - Số 18/Tháng - 2018 Lớp vào Lớp ẩn Lớp Hình Mạng nhiều lớp lan truyền ngược + Lớp ra: thông thường hàm tương tác đầu lớp đồng f(.) Khi đó, tương tự (2), đầu tương tự nơ ron thứ i lớp viết: l l n neti = / q = wiq zq = / q = wiq f ` / j = v jq x j j (4) tạo đầu lớp nơ ron ra: l n yi = f(neti) = f a / q = wiq f ` / j = v jq x j jk (5) 2.2 Luật học lan truyền ngược Luật học lan truyền ngược mơ tả sau [7] Cho tập cặp mẫu vào-ra (x(k), d(k)), thuật toán thực pha Pha đầu, mẫu đầu vào thứ k: x(k) truyền từ lớp vào qua lớp ẩn, tới lớp Kết luồng liệu thẳng tạo tập đầu thực y(k) Pha sau, tín hiệu sai số tạo từ sai khác đầu mong muốn (hay nhãn) mẫu thứ k: d(k) đầu thực mẫu thứ k: y(k) tức (d(k) - y(k)) lan truyền ngược từ lớp quay trở lại lớp trước Journal of Science and Technology 51 ISSN 2354-0575 tới lớp đầu vào để chúng cập nhật trọng số Cơ sở luật học lan truyền ngược xây dựng phương pháp hạ Gradient với nửa bình phương sai số: n n E(w) = / _ d - y i = / 8d - f _ net iB2 = i i i i=1 i=1 i = / >di - f e / wiq zq oH i=1 q=1 n l (6) Theo tính chất lan truyền ngược, trọng số liên kết lớp ẩn lớp tính theo luật học wiq(t+1) = wiq(t) + ∆wiq(t) với: 2net 2E 2E 2y Twiq =- h 2w = - h d 2y nd 2neti ne 2w i o iq i i iq = h _ di - yi i` f l_ neti ij zq = hd oi zq (7) δoi gọi tín hiệu sai số nơ ron thứ i lớp “o”; h tốc độ học, thường chọn: 0