4. Nội dung và bố cục của luận văn
2.2.3 Các yếu tố ảnh hưởng đến hoạt động của mạng MLP
Số lớp ẩn
Với mạng có một lớp ẩn có thể biểu diễn cho bất kỳ một tín hiệu đầu vào nào đó của lớp vào. Với mạng có hai lớp ẩn có thể thể hiện các hàm với các dáng điệu bất kỳ [17].
Phần lớn các thuật toán huấn luyện mạng cho các nơron truyền thẳng đều dựa trên phương pháp Gradient. Các lớp thêm vào sẽ tăng thêm việc lan truyền các lỗi làm cho vector Gradient không ổn định.
Với thuật toán tối ưu dựa trên Gradient chỉ có thể tìm ra tối thiểu cục bộ và rất khó để tìm ra tối thiểu toàn cục vì xác suất bị tắc tại tối thiểu cục bộ là khá lớn [17].
Số nơron trong mỗi lớp ẩn
Nếu số nơron trong lớp ẩn quá ít có thể dẫn đến việc không thể nhận dạng được đầy đủ các tín hiệu trong một tập dữ liệu phức tạp, hay thiếu ăn khớp (Underfitting). Nhưng nếu có quá nhiều lại làm tăng thời gian huấn luyện mạng và có thể dẫn đến tình trạng thừa ăn khớp (Overfitting). Tức là mạng có quá nhiều thông tin, hoặc lượng thông tin trong tập dữ liệu mẫu (Training Set) không đủ các dữ liệu đặc trưng để huấn luyện mạng. Số lượng các đơn vị trong lớp ẩn phụ thuộc vào rất
nhiều yếu tố như số đầu vào, đầu ra của mạng, số trường hợp trong tập mẫu, độ nhiễu của dữ liệu đích, độ phức tạp của hàm lỗi, kiến trúc mạng và thuật toán huấn luyện mạng.
Thông thường để xác định được số đơn vị tối ưu trong lớp ẩn cần phải thông qua huấn luyện mạng với một bộ số các đơn vị trong lớp ẩn và dự báo lỗi tổng quát hóa của từng lựa chọn. Cách tốt nhất để tìm ra số đơn vị tối ưu là sử dụng phương pháp thử sai (Trial – and – Error).
Các trọng số khởi tạo ban đầu
Hình 2.10. Cực trị địa phương và toàn cục
Các trọng số khởi tạo ban đầu có thể làm cho quá trình cập nhật trọng số rơi vào vùng cự trị địa phương thay vì cực trị toàn cục. Như mô tả trong Hình 2.10, nếu
trọng số được khởi tạo bắt đầu từ bên trái, quá trình luyện mạng sẽ hội tụ tại điểm W1
mà không phải là Wg. Điểm W1 được gọi là điểm tối thiểu cục bộ (Local Minimum).
Điểm Wg được gọi là điểm tối thiểu toàn cục. Mô hình chỉ có thể đạt đến điểm tối
thiểu toàn cục là điểm Wg khi và chỉ khi mô hình thoát khỏi điểm W1. Giải thuật BP
có nhược điểm lớn là mô hình mạng có thể rơi vào điểm tối thiểu cục bộ mà không phải là tối thiểu toàn cục. Để khắc phục nhược điểm này, người ta đưa thêm vào một khái niệm là Momentum. Momentum là hệ số góp phần giúp cho quá trình chỉnh sửa trọng số giảm khả năng rơi vào các điểm tối thiểu cục bộ, đồng thời làm giảm thời gian huấn luyện.
Hằng số học có mối quan hệ mật thiết với độ chính xác và tốc độ học của mạng MLP. Với hằng số học càng lớn thì tốc độ học càng nhanh nhưng độ chính xác lại thấp. Ngược lại hằng số học càng nhỏ thì tốc độ học càng lâu nhưng độ chính xác cao.
2.2.4 Ưu nhược điểm và một số vấn đề của mạng nơron nhiều lớp
Ưu điểm:
- Hỗ trợ tính toán song song ở mức rất cao.
- Có khả năng chịu nhiều lỗi, nhờ các tính toán song song.
- Có thể được thiết kế để tự thích nghi (Các trọng số, cấu trúc mạng).
Nhược điểm:
- Không có quy tắc tổng quát để xác định cấu trúc mạng và các tham số học tối ưu cho một lớp, một bài toán xác định.
- Không có phương pháp tổng quát để đánh giá hoạt động bên trong của ANN (vì vậy hệ thống ANN được xem như là một “hộp đen”).
Mạng nơron nhiều lớp có một số vấn đề cần được quan tâm như sau:
- Thời gian huấn luyện lâu và không phải luôn hội tụ.
- Không biết trước được sự ràng buộc giữa lỗi huấn luyện và cấu trúc mạng. - Không biết trước hiệu suất huấn luyện (thời gian huấn luyện, độ lỗi). - Khó xác định độ lỗi của mạng từ tập huấn luyện.
- Khó xác định độ lớn của tập huấn luyện.
2.3 Một số hướng nghiên cứu về bài toán dự báo tuyển sinh sử dụng mạng nơ ron ron
Bài toán dự báo có nhiệm vụ phân tích và sử dụng số liệu đã có trong quá khứ để dự đoán giá trị tương lai. Hiện nay, có rất nhiều phương pháp dự báo đã được sử dụng trên mô hình vật lý và mô hình toán học. Trong nhiều trường hợp, kết quả nghiên
cứu dự báo theo các mô hình trên đã đạt được những thành công nhất định. Tuy nhiên, phương pháp nào cũng có những hạn chế, do vậy bài toán dự báo vẫn là nội dung được nghiên cứu hiện nay. Trên thế giới, cũng như trong nước, các phương pháp khai phá dữ liệu (đặc biệt là các phương pháp học máy mạng nơron) cũng được áp dụng nhiều vào dự báo
2.3.1Các nghiên cứu trên thế giới
Trên thế giới, các nghiên cứu về việc xây dựng mô hình dự báo tuyển sinh sử dụng kỹ thuật học máy đã bắt đầu từ cách đây rất lâu (1993) và hiện tại vẫn còn đang được nghiên cứu phát triển để giảm thiểu sai số dự báo. Riêng trong lĩnh vực sâu là ứng dụng mạng nơ ron cho dự báo tuyển sinh có thể kể đến một số công trình dưới đây [15]
Trong nghiên cứu về dự báo tuyển sinh tại Đại học Sebha ở Libya năm 2009, các tác giải so sánh một loạt các kỹ thuật của học máy như phân cụm, hồi quy, cây quyết định và mạng nơ ron trong việc dự báo. Kết quả của nghiên cứu này cho thấy mạng lưới thần kinh đã cho độ chính xác dự đoán tốt về dự báo tuyển sinh [15] .
Borah và các cộng sự (2011) đã đề xuất một hàm đo lường lựa chọn thuộc tính mới (heuristic) trên thuật toán cây quyết định C4.5 hiện có. C4.5 đưa ra giải pháp đầy hứa hẹn về thông tin phân tách của quá trình tuyển sinh tại trường cao đẳng kỹ thuật ở Ấn Độ. Cách tiếp cận khác trong các nghiên cứu này là so sánh độ chính xác giữa thuật toán Cây quyết định C5.0 và thuật toán lan truyền ngược của mạng nơ ron MPL. Kết quả cho thấy mạng MPL đã đưa ra độ chính xác dự báo cao nhất [15] .
Gần đây, năm 2018, Desmond Chekwube Bartholomew [10] cũng công bố công trình nghiên cứu về dự báo sinh viên nhập học tại Đại học Công nghệ Liên bang, Owerri (FUTO), bang Imo, Nigeria. Mục tiêu xây dựng một mạng MLP dự báo sinh viên đăng ký vào FUTO và so sánh độ chính xác dự đoán mô hình. Kết quả cũng được khẳng định là tốt hơn khi mô hình mạng MLP này được so sánh với các phương pháp truyền thống.
2.3.2Các nghiên cứu trong nước
Trong những năm gần đây, đã có rất nhiều công trình một số công trình công bố về các phương pháp dự báo áp dụng trong giáo dục sử dụng mạng nơron như: Dự báo tỉ lệ nghỉ học của sinh viên, dự báo tỉ lệ đỗ tốt nghiệp, tỉ lệ đỗ đại học, số học sinh tuyển sinh vào của những năm tiếp theo…Tiêu biểu có thể liệt kê một số công trình nghiên cứu sau đây:
Luận văn “Dự báo kết quả đậu đại học” của tác giả Thái Trung Hải đã sử dụng mạng MLP với thuật toán lan truyền ngược. Trong luận văn sử dụng mạng 3 lớp (1 lớp vào, 1 lớp ẩn, 1 lớp ra) với số nơron đầu vào là 13, lớp ẩn là 13 và đầu ra là 3. Đầu vào của luận văn là 13 yếu tố ảnh hưởng đến dự báo đó là kết quả học tập của 13 môn học. 3 đầu ra là điểm thi đại học, điểm thi tốt nghiệp và nhóm trường đậu đại học [2] .
Trong đồ án tốt nghiệp [5] của tác giả Nguyễn Văn Trịnh về “Ứng dụng mạng nơron trong dự báo tỷ lệ nghỉ học” lại xây dựng mô hình mạng nơron khác với luận văn trên. Đồ án xây dựng ba mô hình là: Mô hình dự báo tình trạng nghỉ học của học viên với đầu vào của mạng là hồ sơ của những học viên đã tốt nghiệp và những học viên nghỉ học và đầu ra là trạng thái học viên đó là: Nghỉ học và tốt nghiệp. Mô hình thứ hai là: Dự báo tình trạng học tập của học viên qua 1 kỳ xác định (ký hiệu là kỳ x=2, 3, 4) có đầu vào là hồ sơ của những học viên đã học qua kỳ x và những học viên đã nghỉ học trước kỳ x và đầu ra là trạng thái học viên là nghỉ học và học vượt qua kỳ x. Mô hình thứ 3 là: Dự báo tiềm năng nghỉ học của học viên trong quá trình học có đầu vào là kỳ x, hồ sơ học viên, quy mô lớp, điểm tích lũy trung bình, số lần đăng nhập diễn đàn, tỉ lệ nghỉ học kỳ trước và đầu ra là trạng thái học viên với màu xanh là học thêm được ít nhất 2 kỳ nữa, màu vàng là kỳ tới sẽ nghỉ học và màu đỏ là kỳ này nghỉ học. Đồ án luyện mạng sử dụng các quy tắc học là Delta, momen và delta- bar-delta.
Trong [4] , tác giả Dương Thu Trang cũng xây dựng mô hình dự báo kết quả tuyển sinh sử dụng một mạng MLP gồm 3 lớp. Đầu vào gồm 10 nơ ron ứng với kết
quả tuyển sinh của 10 năm trước đó. Lớp ẩn gồm 10 nơ ron được chọn dựa trên quy tắc “thử và sai”. Lớp ra chỉ có 1 đầu ra là kết quả dự báo tuyển sinh ở thời điểm tương lai.
Trong thực tế còn rất nhiều nghiên cứu khác nữa về vấn đề dự báo tuyển sinh sử dụng mô hình mạng MLP. Tuy nhiên, qua các công trình khảo sát ở trong và ngoài nước trên cho thấy việc áp dụng mạng MLP cho việc xây dựng mô hình dự báo tuyển sinh tại trường THPT Lê Quý Đôn là khả thi và sẽ cho kết quả tốt hơn các phương pháp truyền thống.
2.4 Xây dựng mô hình dự báo tuyển sinh sử dụng mạng nơ ron MLP
2.4.1Mô tả bài toán
Giả sử ta có chuỗi thời gian {x[t]), x[t-1],…, x[t-n-1],} tính đến thời điểm t ,
nhiệm vụ của chúng ta là dự báo giá trị của x tại một thời điểm trong tương lai.
xdb[t+s] =f(x[t], x[t−1],···)
Trong đó n là khoảng thời gian quan sát trước, s là cửa sổ dự báo (horizon of prediction).
Trong trường hợp n=1,s = 1, nghĩa là ta chỉ dự báo 01 giá trị tại tương lai dựa
theo kết quả của 01 năm trước đó. Khi đó, bài toán rơi vào trường hợp tìm ra một hàm xấp xỉ (function approximation) biểu diễn chuỗi thời gian, nói cách khác là dự đoán giá trị tương lai từ các giá trị đã thu thập trước đó trong chuỗi thời gian.
Để giải quyết bài toán dự báo chuỗi thời gian nói chung và sử dụng mạng nơron MLP nói riêng, cần thực hiện các bước tổng quát sau:
1) Chọn mô hình tổng quát, chọn khoảng thời gian quan sát trước n, cửa sổ dự
báo s
2) Với mỗi x[ti] trong quá khứ, huấn luyện mô hình với đầu vào là n giá trị trước
đó và s đầu ra mong muốn, là chính ti.
3) Sau khi huấn luyện mô hình, chạy mô hình với chuỗi {x[t], x[t−1],···
2.4.2Các bước thực hiện
Các bước xây dựng mô hình dự báo tuyển sinh bằng phương pháp sử dụng mạng nơ ron MLP như sau:
- Chuẩn hóa dữ liệu, Xác định khoảng thời gian quan sát trước n, cửa sổ dự báo s
- Chia tập dữ liệu ban đầu thành các tập: huấn luyện (training) (> 50% số mẫu),
kiểm tra (test) (100% -> 30% số mẫu) và tập kiểm định (validation).
- Xây dựng tập dữ liệu với mẫu đầu tiên có đầu ra là y[s], y[s-1], y[s-2],…, y[1]
các đầu vào là các x[1], x[2],…, x[n].
- Xây dựng mô hình mạng nơ ron MLP áp dụng cho dự báo (số lớp ẩn, số nơ ron
trong mỗi lớp ẩn, trọng số ban đầu, hệ số học). Việc xác định cấu trúc tối ưu cần quá trình thử-sai.
- Huấn luyện mạng với các thông số khởi tạo trên các tập dữ liệu training, xác định
lỗi với tập dữ liệu test để xác định khả năng tổng quát hóa.
- Sau khi huấn luyện, thực hiện kiểm định độ chính xác của mô hình với tập
validation.
2.5 Kết luận chương
Có thể thấy rằng, mạng nơ ron là một công cụ hữu hiệu trong việc xử lý các lớp bài toán phi tuyến phức tạp. Đặc biệt là trong bài toán dự báo. Chính vì vậy, nội dung chương 2 đã trình bày các kiến thức tổng quan cho việc xây dựng các loại mạng nơ ron và thực hiện các thuật toán học nhằm điều chỉnh trọng số của các node mạng sao cho sai số đầu ra là nhỏ nhất. Bên cạnh đó, để đưa ra quyết định hợp lý cho ứng dụng mạng nơ ron giải quyết bài toán dự báo thí sinh, nội dung chương cũng đã cập nhật các công trình công bố gần đây nhất trong và ngoài nước, đề xuất mô hình mạng nơ ron lan truyền ngược sai số. Hiệu quả của mô hình này sẽ được kiểm chứng thông qua phần mềm ứng dụng được xây dựng trên nền Matlab R2019a sẽ được trình bày chi tiết trong chương 3 kế tiếp.
CHƯƠNG 3
XÂY DỰNG CHƯƠNG TRÌNH MÔ PHỎNG DỰ BÁO TUYỂN SINH ỨNG DỤNG MẠNG NƠ RON MLP
3.1 Giới thiệu về Trường THPT Lê Quý Đôn
Trường THPT Lê Quý Đôn nguyên là trường THPT cấp II-III Lê Quý Đôn được thành lập năm 1991. Năm học 1994-1995, nhà trường tách riêng khối cấp III và lấy tên Trường THPT Lê Quý Đôn. Trường được xây dựng trên địa bàn phường Quang Hanh – Thành phố Cẩm Phả - một phường miền núi ven thị xã công nghiệp của tỉnh Quảng Ninh. Từ khi thành lập đến nay, trường THPT Lê Quý Đôn trải qua 29 năm xây dựng và phát triển, khẳng định vị trí của một cơ sở giáo dục có uy tín chất lượng, là một trong những địa chỉ góp phần đào tạo nhân lực của thành phố Cẩm Phả và tỉnh Quảng Ninh. Cơ sở vật chất của trường được mô tả trong Bảng 3.1
Bảng 3.1. Cơ sở vật chất của Trường THPT Lê Quý Đôn
STT Nội dung Đơn vị tính Số lượng
1 Tổng diện tích m2 5.200 m2
2 Số phòng học phòng 20
3 Số phòng thí nghiệm, đa năng phòng 03
4 Phòng làm việc phòng 12
5 Phòng Tin hoc phòng 02
Trong 29 năm xây dựng và phát triển, trường THPT Lê Quý Đôn không ngừng lớn mạnh về số lượng và chất lượng. Bằng những nỗ lực liên tục, toàn diện và sự tích cực vận động của chính mình, với sự chỉ đạo, hướng dẫn và hỗ trợ của UBND tỉnh, Thành Phố Cẩm Phả, của Sở GD-ĐT, nhất là trong việc triển khai các dự án xây dựng cơ sở vật chất, thực hiện nhiệm vụ các năm học, bằng tinh thần kiên trì vượt khó, bằng thái độ tích cực và sáng tạo trong tìm tòi học hỏi bạn bè, nhà trường đã hoàn thiện về mọi mặt trong lộ trình phấn đấu thực hiện kế hoạch đạt chuẩn đã đề ra và
được UBND tỉnh Quảng Ninh ra quyết định công nhận trường THPT đạt Chuẩn Quốc gia vào tháng 8 năm 2010.
Hiện tại, đội ngũ cán bộ, giáo viên, nhân viên gồm 44 đồng chí với 4 tổ: Xã hội, Tự nhiên I, Tự nhiên II, Hành chính – Tổng hợp; 100% đạt chuẩn, 20 đồng chí trên chuẩn (thạc sỹ).
Tỷ lệ học sinh lên lớp và thi đỗ tốt nghiệp luôn đạt kết quả cao. Hàng năm tỷ lệ tốt nghiệp THPT là trên 98% . Học sinh giỏi cấp tỉnh hàng năm có từ 25 ->40 em đạt giải. Mặc dù trường đóng trên địa bàn nông thôn, miền núi, xa trung tâm thị xã, thành phố nhưng hàng năm trường thường có tỷ lệ học sinh thi đỗ vào các trường Đại học và Cao đẳng rất cao: từ 50% đến trên 60 % mỗi năm. Trường được xếp Top 10 về học sinh đỗ đại học trong các trường THPT trên địa bàn tỉnh Quảng Ninh. Chính vì vậy, hằng năm trường thu hút rất nhiều học sinh nhập học trên địa bàn thành phố Cẩm Phả
3.2 Phát biểu bài toán
Qua phân tích trong chương 1 và chương 2, để xây dựng mô hình dự báo tuyển sinh cho Trường THPT Lê Quý Đôn, luận văn sẽ lựa chọn dựa trên số học sinh tuyển vào trường trong một số năm của cơ sở đào tạo.