Đang tải... (xem toàn văn)
102 ỨNG DỤNG MẠNG NƠ RON NHÂN TẠO DỰ BÁO NGUYỆN VỌNG ĐĂNG KÝ VÀO NGÀNH SƯ PHẠM CỦA HỌC SINH TRUNG HỌC PHỔ THÔNG Ở TỈNH QUẢNG NAM Lê Phước Thành1, Nguyễn Văn1 Tóm tắt Mạng nơ ron nhân tạo (Artificial N[.]
ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO DỰ BÁO NGUYỆN VỌNG ĐĂNG KÝ VÀO NGÀNH SƯ PHẠM CỦA HỌC SINH TRUNG HỌC PHỔ THÔNG Ở TỈNH QUẢNG NAM Lê Phước Thành1, Nguyễn Văn1 Tóm tắt: Mạng nơ-ron nhân tạo (Artificial Neural Network- ANN) trở thành hướng tiếp cận hữu hiệu để thay mơ hình thống kê truyền thống Chính vậy, ANN nghiên cứu ứng dụng rộng rãi hầu hết ngành khoa học Trong lĩnh vực giáo dục, năm gần đây, việc tuyển sinh đại học xây dựng hệ thống liệu đăng ký nguyện vọng học sinh trung học phổ thông (THPT) lựa chọn trường, ngành nghề theo hướng tập trung, xác đầy đủ Bài báo đưa cách ứng dụng ANN dự báo nguyện vọng đăng ký vào ngành sư phạm học sinh trung học phổ thông Quảng Nam năm Khi mơ hình dự báo có độ xác cao giúp cho quan quản lý đưa sách, phương pháp tư vấn phù hợp với sở thích học sinh Từ khóa: Mạng nơ-ron nhân tạo, mạng nơ-ron truyền thẳng, Mạng nơ-ron lan truyền ngược, Suy giảm độ dốc, Đánh giá mơ hình, Học có giám sát Mở đầu Mạng nơ-ron nhân tạo mơ hình xử lý thông tin mô dựa hoạt động hệ thống thần kinh sinh vật, bao gồm số lượng lớn nơ-ron gắn kết để xử lý thông tin ANN giống não người, học kinh nghiệm khứ (đầu vào tập liệu sưu tập được), thông qua huấn luyện (việc xây dựng mơ hình dự báo) nhằm tìm tri thức có khả phân loại xác đối tượng Tri thức phân loại sử dụng việc dự báo liệu chưa biết (unseen data) (hay khả dự báo việc phân loại đối tượng tương lai) Từ năm 2015 Bộ Giáo dục-Đào tạo tiến hành xét tuyển đại học bằng cách sử dụng kết kỳ thi THPT quốc gia Theo liệu đăng ký nguyện vọng xét tuyển học sinh có nhiều lựa chọn, học sinh chọn nhiều trường, nhiều ngành; thông tin đăng ký bao gồm: giới tính, độ tuổi, điểm thi, hộ khẩu, đối tượng ưu tiên, khu vực ưu tiên, kết thi theo tổ hợp môn… Dữ liệu dùng cho việc xây dựng mơ hình-phân tích-đánh giá nhận từ Sở giáo dục Đào tạo tỉnh Quảng Nam năm 2020 2021 Và để thuận lợi trọng việc xây dựng mơ hình-phân tích-đánh giá, liệu sưu tập chọn nguyện vọng học sinh (học sinh đăng ký năm, chọn nguyện vọng năm 2021), sau làm liệu có tổng cộng 24.591 mẫu tin/ học sinh tham gia đăng ký xét tuyển ThS., Trường Đại học Quảng Nam 102 LÊ PHƯỚC THÀNH - NGUYỄN VĂN Nội dung 2.1 Giới thiệu nơ-ron mạng nơ-ron truyền thẳng [1], [4], [5] 2.1.1 Cấu trúc nơ-ron Cấu trúc rơ-ron (hình 1.a) với: x1, x2, …, xn: Tập tín hiệu đầu vào (Input Signals) nơ-ron tương ứng với thuộc tính đối tượng (giới tính, hộ khẩu, tổ hợp môn xét tuyển, điểm thi THPT, đối tượng ưu tiên, khu vực ưu tiên, …) w1, w2, …, wn: Trọng số (Weight) kết nối mô tả mức độ liên kết đầu vào tới nơ-ron tại, trọng số khởi tạo cách ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng b: Ngưỡng (còn gọi độ lệch - Bias): Ngưỡng số đưa vào để tổng quát hóa hàm tổng Σ: Hàm tổng (Summing function) dùng để kết hợp giá trị đầu vào với trọng số tương ứng a) Cấu trúc nơ-ron b) Mạng nơ-ron truyền thẳng Hình Cấu trúc nơ-ron Mạng nơ-ron truyền thẳng ϕ(Σ): Hàm kích hoạt/ Hàm ngưỡng (Activation function) Hàm nhận đầu vào từ hàm tổng dùng để giới hạn phạm vi đầu nơ-ron, Hàm có chức chuyển đổi thơng số đầu vào sang khoảng giá trị khác cho tương ứng với giá trị đầu mong muốn Tùy theo tốn phân loại mà chọn hàm kích hoạt sau: Sigmoid, Tanh, ReLU (Hình 2) 103 ỨNG DỤNG MẠNG NƠ-RON NHÂN TẠO DỰ BÁO NGUYỆN VỌNG ĐĂNG KÝ Hình Các hàm kích hoạt y: Là tín hiệu đầu (Output Signals) nơ-ron, tín hiệu cần so khớp với giá trị mong muốn (giá trị nhãn lớp dùng để phân loại đối tượng) 2.1.2 Mạng nơ-ron truyền thẳng (Feedforward Neural Network) Mạng nơ-ron truyền thẳng (hình 1.b) tạo thành nối nơ-ron riêng lẻ lại với Các nơ-ron tạo thành tầng (Layer) Lớp bên trái lớp đầu vào (Input layer), lớp cuối bên phải lớp đầu (Output layer), lớp lại tầng ẩn (Hidden layer) Các nơ-ron lớp có trọng số (weight) tương ứng với kết nối đến nơ-ron lớp khác Mỗi nơ-ron lớp mạng kết nối với tất nơ-ron lớp đứng trước Khơng có kết nối nơ-ron lớp với Các tín hiệu truyền thẳng theo chiều từ trái sang phải qua nơ-ron Mỗi mạng nơ-ron có tầng vào tầng lại có nhiều tầng ẩn. Các nơ-ron tầng ẩn tính toán giá trị đầu dựa vào hàm tổng hàm kích hoạt Các nơ-ron tầng đầu tính toán giá trị đầu tương ứng giá trị mong muốn thực tế, giá trị thuộc nhãn lớp để phân loại đối tượng Việc tính tốn dựa mơ hình xác suất hàm Softmax Mơ tả hàm sau: Trong toán phân loại với K lớp cụ thể, hàm softmax dùng để tính phân bố xác suất liệu đầu vào lớp cho trước Hàm softmax chuyển đổi véc-tơ K chiều chứa phần tử có giá trị số thực zj thành véc-tơ K chiều chứa phần tử aj có giá trị miền (0,1): Mỗi giá trị aj xác suất mà liệu đầu vào thuộc vào lớp j tương ứng tổng giá trị Chúng ta phân loại cho liệu đầu vào cách chọn lớp có giá trị xác suất aj lớn 104 LÊ PHƯỚC THÀNH - NGUYỄN VĂN 2.2 Mơ hình máy học giải thuật Gradient Descent [1], [4], [5] 2.2.1 Mơ hình máy học mạng nơ-ron Mạng nơ-ron xây dựng theo phương pháp học có giám sát (Supervised Machine Learning) Để xây dựng mơ hình, cần có tập dữ liệu huấn luyện bao gồm cặp đối tượng đầu vào (dạng vec-tơ) đầu thực tế (nhãn lớp) Việc tính tốn theo hàm f cho đầu dự báo “phù hợp” với đầu thực tế nhất, hay nói cách khác, giá trị lỗi nhỏ Mơ hình học tổng qt: Cho tập liệu huấn luyện mơ hình D={(xi, yi)}i=1 n, xi: tập liệu đầu vào; yi: tập liệu đầu ra, n: số lượng đầu vào Mơ hình học hàm fθ(x), θ: tham số mơ hình: gồm trọng số (weight), độ lệch (bias), cho giá trị đầu hàm fθ(x)= ≈y hay tìm hàm lỗi E(θ; x,y) có giá trị nhỏ Chọn hàm lỗi hàm đo khoảng cách D, đưa tốn việc tìm tham số θ* cho hàm lỗi E(θ)= đạt giá trị nhỏ 2.2.2 Giải thuật Gradient Descent - Tính đạo hàm riêng (tìm giá trị nhỏ hàm riêng) - Khởi tạo θ←θ0, thêm tham số α: tốc độ học (learning rate) ε ngưỡng đủ nhỏ để dừng - Lặp + Cập nhật: θ← + Nếu