[LUẬN VĂN THẠC SĨ] Xây dựng mô hình dự đoán kết quả học tập cuối năm của học sinh tại trường THPT Trần Nguyên Hãn

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU

Bà Rịa - Vũng Tàu, tháng 9 năm 2023

LỜI CAM ĐOAN

Tôi xin cam đoan luận văn “Xây dựng mô hình dự đoán kết quả học tập cuối

độc lập của tôi dưới sự hướng dẫn của giáo viên hướng dẫn Các số liệu nêu trong luận văn được tôi thu thập từ trường THPT Trần Nguyên Hãn trên địa bàn Thành phố Vũng Tàu Kết quả của luận văn chưa được ai công bố trên bất kỳ công trình nghiên cứu nào Tôi xin hoàn toàn chịu trách nhiệm trước Hội đồng, Khoa, Viện Sau đại học và Phát triển nguồn nhân lực về sự cam đoan này.

Học viên thực hiện Luận văn

(Ký và ghi rõ họ tên)

LỜI CÁM ƠN

Trongisuốt quá trình nghiên cứuivà thực hiện luận văni“Xây dựng môihình

Sau đại học & Phát triển nguồn nhân lực Trường Đại Học Bà Rịa Vũng Tàu, các anh chị đồng nghiệp, các bạn cùng lớp và đặc biệt là sự hướng dẫn tận tình của Thầy hướng dẫn, đó là TS Phan Ngọc Hoàng

Quaiđây, tôi xin chân thành cảm ơnitrường THPT Trần Nguyên Hãn Thành phốiVũng Tàu đã tạo điều kiện,icung cấp số liệu củainhà trường để tôi hoànithành luận vănitốt hơn

Trongiluận văn không thểitránh khỏi những hạnichế và thiếu sót.iTôi rất mongisẽ nhận được nhiều sựigóp ý của Quý ThầyiCô trong Hội đồng,iQuý bạn đọc để tôiicó thể hoàn thiện luậnivăn tốt hơn nữa đồng thời có thểiáp dụng vào thực tiễn

Xin chân thành cảm ơn!

Tác giả luận văn

1.3 Đối tượng và phạm vi nghiên cứu của đề tài 4

1.4 Phương pháp nghiên cứu 4

1.4.1 Phương pháp nghiên cứu lý thuyết 4

1.4.2 Phương pháp thực nghiệm 5

1.5 Cấu trúc luận văn 5

CHƯƠNG 2: GIẢI PHÁP GIẢI QUYẾT BÀI TOÁN DỰ ĐOÁN KẾT QUẢ HỌC TẬP CUỐI NĂM CỦA HỌC SINH THPT 7

2.1 Giới thiệu về bài toán dự đoán 7

2.3.2 Khả năng ứng dụng của mạng nơron nhân tạo 11

2.3.3 Cấu tạo và phân loại mạng nơron nhân tạo 13

2.3.3.1 Cấu tạo mạng nơron nhân tạo 13

2.3.3.2 Phân loại mạng nơron nhân tạo 15

2.3.4 Các đơn vị xử lý cơ bản của mạng nơron nhân tạo 17

2.3.5.3 Số lớp ẩn 21

2.3.4.4 Số nơron trong lớp ẩn 22

2.3.6 Thuật toán lan truyền ngược BP (Back - Propagation Algorithm) 23

2.3.6.1 Sử dụng thuật toán lan truyền ngược 23

2.3.6.2 Một số biến thể của mạng lan truyền ngược 28

2.4 Thuật toán hồi quy tuyến tính 30

2.4.1 Hồi quy tuyến tính đơn 30

2.4.1.1 Phương trình hồi quy tuyến tính đơn 30

2.4.1.2 Phương sai hồi quy 30

2.4.1.3 Dự báo trong phương trình hồi quy tuyến tính đơn 32

2.4.2 Hồi quy tuyến tính đa biến 32

2.4.2.1 Mô hình hồi quy tuyến tính đa biến 32

2.4.2.2 Phương trình hồi quy tuyến tính đa biến 32

2.4.2.3 Phân tích phương sai hồi quy 33

2.4.2.4 Ước lượng khoảng tin cậy và kiểm định giả thuyết trong hồi quy đa biến 33

2.5 Một số hướng nghiên cứu về những bài toán dự đoán có sử dụng mạng nơron 34 2.5.1 Các nghiên cứu trên thế giới 34

2.5.2 Các nghiên cứu trong nước 35

2.6 Ứng dụng mạng nơron giải quyết bài toán 36

2.7 Ứng dụng hồi quy tuyến tính để giải quyết bài toán 37

CHƯƠNG 3: XÂY DỰNG MÔ HÌNH DỰ ĐOÁN ĐIỂM KẾT QUẢ HỌC TẬP CUỐI NĂM CỦA HỌC SINH TẠI TRƯỜNG THPT TRẦN NGUYÊN HÃN 39

3.1 Xây dựng hệ thống dự đoán kết quả học tập cuối năm của học sinh THPT 39

3.1.1 Tiến trình thực hiện luận văn 40

3.2.5 Huấn luyện mô hình 51

3.2.6 Kiểm tra mô hình với kết quả thực nghiệm 57

CHƯƠNG 4 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 66

TÀI LIỆU THAM KHẢO 68

DANH MỤC CÁC TỪ VIẾT TẮT

Hình 2 6 Mô hình mạng nơron nhân tạo 18

Hình 2 7 Mạng nơron truyền thẳng nhiều lớp 20

Hình 3 1 Bảng điểm học kỳ 2 theo môn 42

Hình 3 2 Biểu đồ hiển thị điểm CN >= 5.0 (cột 0), CN < 5.0 ( cột 1) 44

Hình 3 3 Ví dụ bảng dữ liệu sau khi trích chọn đặc trưng 46

Hình 3 4 Mô hình cấu trúc mạng nơron đa tầng của luận văn 49

Hình 3 5 Dữ liệu tạo Model với đặc trưng cơ bản 51

Hình 3 6 Bảng điểm sau khi tổng hợp dữ liệu 3 môn 52

DANH MỤC CÁC BẢNG

Bảng 2 1: Một số hàm kích hoạt 19 Bảng 3 1: Thống kê số lượng học sinh cuối năm lên lớp và ở lại 45Bảng 3 2 Bảng tổng kết tập kiểm thử 64

TÓM TẮT

Mục tiêuinghiên cứu của đềitài: Ứng dụngicông nghệ máy họciđể xây dựngimô hình dựiđoán kết quảihọc tập cuối năm củaihọc sinhitại trườngiTHPT Trần Nguyên Hãn – Vũng Tàu.iKết quảinghiên cứuisẽ được dùngilàm cơisở để Ban giámihiệu và giáo viên chủ nhiệmiđề ra kế hoạch hỗ trợ, giúp đỡ cho các em có học lực còn yếu, kém tiến bộ hơn trong thờiigian còn lại của năm họcivà những năm tiếpitheo

Tác giảitiến hành lấy dữ liệuitừ bảng điểm vnedu củainhà trường trong vòng 6 năm học, từ năm họci2015 - 2016 đếninăm học 2020 - 2021, tiền xử lýidữ liệu, tríchichọn những đặc trưngidữ liệu ảnh hưởng đếnikhả năng dự đoán kếtiquả cuối năm của học sinhinhư: điểm tổng kết học kỳ 1, điểm thành phần của học kỳ 2

Từ kết quảiphân tích,itác giả đãiđề xuất phươngián nhằminâng caoichất lượng học tập củaihọc sinh

Hy vọngikết quả nghiên cứuisẽ góp phầnitạo cơisở khoa họcigiúp Ban giámihiệu nhà trườngiđưa ra được kếihoạch và phương án phù hợp nhằm nângicao chất lượng học tậpicủa học sinh tại trường THPT Trần Nguyên Hãn

CHƯƠNG 1: GIỚI THIỆU CHUNG 1.1 Mở đầu

Tại các trường Trungihọc phổ thông (THPT) kếtiquả học tập cả năm rất được quan tâm, là tiêu chí để Giáo viên chọniphương pháp dạy phù hợp vàilà bước tiến quan trọng của học sinh (HS) Kết quả tổng kết hàng năm là bước tiền đề để học sinh dự đoán khả năng đậu tốt nghiệp cũng như học sinh có cơ sở lựa chọn vàoicác trường đại học,icao đẳng hay trung họcichuyên nghiệp sau này

Đểiđạt được kết quả học tậpicao thì cả Giáo viên vàiHọc sinh đều phải cố gắng, Giáo viên cố gắng chọn phương pháp dạyiphù hợp, dễ hiểu cho từngiđối tượng học sinh, họcisinh cũng phải có sự hợp tác Tình hình học tậpicủa từng học sinh thường đượcithể hiện qua điểm số thông quaicác bài kiểm tra

Theo thông tưisố 58/2011/TT-BGDĐT [1] ban hành ngàyi12/12/2011 củaiBộ Giáo dục vàiĐào tạo về quy chếiđánh giá,ixếp loạiihọc sinh Trungihọc cơisở (THCS) vàihọc sinh THPT, trong đó ở chương IV ban hành việc học sinh đủ điều kiện được lênilớp, thi lại hoặcikhông được lên lớp Những họcisinh có khả năng phải thi lại là những họcisinh có điểm trung bìnhi(TB) môn dưới 3.5 hoặc học lựcicả năm xếp loại Yếu, đượcichọn một sốimôn có điểm TB cảinăm dưới 5.0 để thiilại Trường hợp học sinh ở lại là những trường hợp học lựcicả năm loạiiKém hoặc học lựcivà hạnh kiểm cả nămiloại Yếu Tại trường THPTiTrần Nguyên Hãn VũngiTàu hàng năm đến gần cuối học kỳ 2 Ban giám hiệu (BGH) nhà trường sẽ rà soát và đưa dự đoán tổng kết cuối năm thông qua điểm tổng kết cuối học kỳ 1; điểm thường xuyên 1 (P1), điểm thường xuyên 2 (P2), điểm định kỳ lần 1 (V1) của học kỳ 2 nhằm khen thưởng những em có sự tiến bộ và cảnh báo đối với những em có các môn còn yếu, dự báo về vấn đề thi lại hoặc ở lại lớp với những học sinh có điểm kém Dựa vào dự đoán này BGH sẽ yêu cầu giáo viên chủ nhiệm thông tin tới HS và phụ huynh (PH) để tìm hướng bồi dưỡng thêm, giúp các em nâng cao kiến thức, vượt qua khó khăn các môn còn kém trong thời gianicòn lại của cuối học kỳivà đạt được thành tích cao nhất vào cuối năm học

Hàng năm tất cả các trường THPT đều muốn trường mình có tỉ lệihọc sinh đậu tốt nghiệp vàivào các trường cao đẳng,iđại học cao nhất, bởi tỉ lệ đậu tốt nghiệp, đại học là minh chứng của chất lượng giảng dạy của một trường Trong cácimôn học tạiicác trường

THPT thì 3imôn Toán, Ngữivăn, Tiếng Anh lài3 môn quan trọng nhất bắt buộc học Ba môn này liên quan đến việc thi xét tốt nghiệp và nằm nhiều nhất trong các tổ hợp để xét vào trường cao đẳng vàiđại học trên cảinước Ngoài việc 3 môn này ảnh hưởng trực tiếp tới việc ở lại, thi lại và lên lớp thì nó còniảnh hưởng tới tương lai của cáciem sau này nên việc phát hiện, nhắc nhở và có phương án cho những học sinh có điểm 3 môn này dưới trung bình là vấn đề cần thiết Trong luận văn này tác giả chọn ngưỡng cảnh báo đối vớii3 môn Toán, Ngữ văn,iTiếng Anh là điểm tổng kết cuối kì dưới 5.0

Tuy nhiên việc dự đoán và đưa ra cảnh báo nhà trường từ trước đến nay vẫn thực hiện trên phương pháp thủ công mà không dựaitrên một phương pháp phân tíchicó tính khoaihọc nhất định Vìivậy luận văn này xây dựngimô hình dự đoán kết quả cuối năm củaitừng môn theo đúng năng lựcihọc tập của học sinh trên cơisở khoa học làisử dụng thuật toánimạng nơron nhân tạo vàihồi quy tuyến tính

1.2 Giới thiệu đề tài 1.2.1 Lý do chọn đề tài

Cùng vớiisự thay đổi vàiphát triển không ngừng của ngành Công nghệithông tin thì việc thu thập vàilưu trữ lượng thông tiningày càng lớn, việc tin học hoá nhanh chóng cácihoạt động trong sản xuất,ikinh doanh, quản lí cũng như trong lĩnh vựcihoạt động giáo dục đãitạo ra khối lượng lớnidữ liệu Dẫn đến yêu cầu cấp bách vàicần thiết phải cóinhững kỹ thuật và công cụimới để phân tích chuyển đổi lượngidữ liệu lớn đó thành cácitri thức có ích Từiđó, kỹ thuật khai pháidữ liệu đãitrở thành một trong những lĩnh vực thời sựicủa nền công nghệ thông tin.iVấn đề đặt railà làm sao trích chọn những thông tinicóiý nghĩa từ tập cơ sở dữ liệu lớn,iđể đáp ứng việc giải quyết được cáciyêu cầu trong thực tếinhư trợ giúp ra quyết định,idự đoán, … Chính vì vậy, khai pháidữ liệu đãira đời nhằm giải quyết cáciyêu cầu đó, vàitrở thànhimột trong nhữngixu hướng nghiênicứuiphổ biến trong lĩnhivực họcimáy.iMột trong những hướng nghiên cứuiphổ biến và quan trọngiđó là mạng nơron đa tầng và hồi quy tuyến tính

Mạng nơron đa tầng vớiidữ liệu đầu vào làitập dữ liệu các thuộc tínhiđiểm tổng kết thúc học kỳ 1 môn Toán,iNgữ văn, Tiếng anhicủa học sinh Các nơron nhậnitín hiệu vàoixử lýi(tính tổng trọngisố,igửi tớiihàm kích hoạt) rồi choira kết quải(là kết quảicủa hàm kích hoạt); kết quảinày sẽiđược truyền tớiicác nơronithuộcitầng ẩnithứ nhất;icác nơronitại đâyitiếp nhận nhưitín hiệuiđầu vào,ixử lýivà gửiikết quảiđến tầng ẩnithứ 2;

các nơron tại đâyitiếp nhận như tín hiệuiđầu vào, xử lýivà gửi kết quả đến tầngikết quả Những tầng ẩninằm giữa tầng vàoivà tầng ra nóithể hiện quá trình suy luậnilogic của mạng nơron Tác giả đặt ra ngưỡng cho bài toán cảnh báo là điểm tổng môn học dưới 5.0, nên trong luận văn này, mạng nơron sẽ được xây dựng với kết quả của luận văn cho tầng output sẽ có 2 đầu ra cảnh báo hoặc không

Hồi quyituyến tính với dữ liệu đầu vàoilà tập dữ liệu làicác thuộc tính điểm học sinh, với phương pháp họcicó giám sát sẽ trả vềikết quả là điểm cụ thể của học sinh cần dự đoán, nhờ đó việc cảnh báo về độ nghiêm trọng hay không sẽ dễ dàng và cụ thể hơn Việc phân tíchivà đưa raidự đoán trước kết quảihọc tập cuối năm củaihọc sinh giúp nhà trường thấy được tổng quan học lực hiện tại của từng lớp, tiến độihọc tập của từng họcisinh BGH nhà trường sẽicó kế hoạch về khuyến khích khen thưởng những họcisinh có học lựcitốt, giúp các em phát huy kết quả hiện tại; có định hướng cho học sinh còn yếu kémiđể các emicố gắng rèn luyện thêm những môn còn yếu đồng thời giúp giáo viên bộ môn cũng để ýivà giúp đỡicác em nhiều hơn

Đểicó được kết quảitốt vào cuối năm học,iđặc biệt là học sinhi12 có được tỷ lệ đậu tốtinghiệp cao, vào đượcicác trường đại học vàicao đẳng thì việc nhà trường cóisự quan tâm và đưa ra dự đoán sớm là rấticần thiết Vìivậy, luận văn củaitôi nghiên cứuiđề tài

“Xâyidựng mô hìnhidự đoán kết quả học tậpicuối năm củaihọc sinh tại trường THPT Trần Nguyên Hãn”

1.2.2 Mục tiêu đề tài

Nghiên cứuiđể đưa ra giải phápidự đoán kết quảimôn học cuối năm từiđó xây dựng chương trìnhicó thể sử dụng đểidự đoán kết quảitừng môn học cho từng học sinh các khối sử dụng dữ liệu của trường THPT Trần Nguyên Hãn

1.3 Đối tượng và phạm vi nghiên cứu của đề tài

Dữ liệu để huấn luyện và kiểm tra: điểm HKI; P1, P2, V1 học kỳi2 của học sinhitừ năm họci2015 - 2016 đếninăm học 2018i- 2019 tại trường THPTiTrần Nguyên Hãn,iTP Vũng Tàu

1.4 Phương pháp nghiên cứu

1.4.1 Phương pháp nghiên cứu lý thuyết

• Tìm hiểuitổng quan vềicác thuật toán máy học;

• Tham khảo cácitài liệu liên quan đếnithuật toán Neural Network, Hồi quy tuyến tính từinhiều nguồn khác nhau như:isách báo,igiáo trình, các bài báo khoa học và internet;

• Thu thậpivà xử lýisố liệu từ dữ liệu thực tếitại trường THPTiTrần Nguyên Hãn, TPiVũng Tàu

1.4.2 Phương pháp thực nghiệm

Xây dựngiứng dụng và dự báoikết quả học tậpicuối năm của học sinh cho từng môn học, từ đó cảnh báo tới học sinh,igiáo viên chủ nhiệmivàigiáo viên bộ môniđể kịp thời nhắc nhởivà cóiphương pháp giảng dạyiphù hợp với các học sinhicòn yếu, kém

1.5 Cấu trúc luận văn

Luậnivăn gồm cói4 chương, đượcitrình bày với cấu trúc nhưisau:

CHƯƠNG 1: Giới thiệu chung

CHƯƠNG 2: Giải pháp giảiiquyết bài toán dự đoánikếtiquả họcitập cuối năm củaihọc sinh THPT

CHƯƠNG 4: Kết luận và hướng phát triển

TÓM TẮT CHƯƠNG 1

Trongichương nàyitác giảiđã trình bàyilý doichọniđề tài,imục tiêuicủa đề tài,iđối tượng vàiphạm viinghiên cứu củaiđề tài, phương phápinghiên cứu của đề tàiivà kết cấu 4 chương củailuận văn.

CHƯƠNG 2: GIẢI PHÁP GIẢI QUYẾT BÀI TOÁN DỰ ĐOÁN KẾT QUẢ HỌC TẬP CUỐI NĂM CỦA HỌC SINH THPT

2.1 Giới thiệu về bài toán dự đoán

CNTT làimột tronginhững lĩnh vựciquan trọng gópiphần thúc đẩyisự phátitriển kinh tếicủa đấtinước.iỨng dụng CNTT có ở tất cả các lĩnh vực,ilà nền tảngicủa nghiên cứuivề công nghệ caoinhư khoa họcivũ trụ,icông nghệ điện tửivàitự độngihoá,icác hệ thốngithông minh,… Tại Việt Nam, hiện nayiCNTT được xác định làilĩnh vực thenichốt được đầuitư không những hiệniđại hoá cơ sởihạ tầng mà cònilà việc ứng dụngisâu rộng vào các lĩnh vựcikhác của cuộc sống xãihội

Nghị quyếtisố 36-NQ/TW ngày 1/07/2014 củaiBộ Chính trịivề đẩy mạnhiứng dụng,iphát triểniCNTT [2] đápiứng yêuicầu phát triểnibền vững vàihội nhậpiquốc tếitiếp tụcikhẳng địnhisự quan tâm,ichỉ đạoisát sao củaiĐảng đối vớiicông táciứng dụng,iphát triểniCNTT, khẳng địnhivị trí,ivai tròicủa CNTT trongisự nghiệpixây dựng vàibảo vệ Tổ quốcithời kỳimới Nghị quyết nàyilà một văn bản rấtiquan trọng, làiđịnh hướng xuyên suốticho chiến lượciứng dụng,iphát triểniCNTT vàitruyền thôngitừ nayiđến nămi 2030, làitiền đềiquan trọng đểiCNTT ViệtiNam phát triểnimạnh mẽ,isâu rộng hơn,iđề rainhững định hướng lớnicho sựiphát triểniCNTT nước nhàitrong khoảng 10i– 20inăm tới Mục tiêu nămi2030,iđưa năng lựcinghiên cứu,iứng dụng,iphát triển,isản xuất vàicung ứngisản phẩm,idịch vụiCNTT đạtitrình độitiên tiếnithế giới.iViệt Nam trởithành quốc giaimạnh vềiCNTT trongikhu vực

Cuộc cáchimạng công nghệp lầnithứ tư (CMCNi4.0) thông qua cácicông nghệinhư trí tuệinhân tạo,iInternet vạnivật,ithực tế ảo,itương tácithực tại ảo,imạng xãihội, điện toán đám mây,idi động, phân tíchidữ liệu sớm,… đã chuyển hoáitoàn bộithế giớiithành thế giớiisố.iCác công nghệithông minh đang đượcitích hợpivào mọiikhía cạnh củaixã hội, xoáibỏ ranh giớiicông nghệithông thường,ithay đổiihình dạngimạng lướiicông nghệ vàisản xuất, thúc đẩyisự phát triển củaithời đại

Trí tuệinhân tạo làimột hướng nghiên cứuicủa lĩnh vựciCNTT vàikhoa họcimáy tính nhằmiphát triểnihệ thống thôngiminh đểigiải quyết cácibài toán thực tếigiống như hoạtiđộng bộinão của con người.iTrí tuệ nhân tạoiđược bắt đầu nghiênicứuitừ những năm 50icủa thếikỷ 20ivà trong khoảngi30 nămitrở lại đâyiđã đượcicộng đồngivà cácinhà

khoa họciquan tâmimạnh mẽ.iRất nhiềuicác hội thảoilớn về lĩnhivực này đượcitổ chức hàng nămitrên thế giới.iCác ứng dụngitiêu biểu củaitrí tuệinhân tạoivào đờiisống xãihội như: người máy,irobot, xử lý ngôn ngữitự nhiên, dự báo, dự đoán, nhận dạng,iphát hiện dịithường, an ninh quốc phòng, khoa họcivũ trụ vàitrái đất,…

Ngày nay, CNTT đượciứng dụng trong hầu hếticác lĩnh vực hoạt động xãihội Lĩnh vực giáoidục cũng không thể thiếu sự hỗitrợ đắc lực của khoa họcimáy tính nói chung hay tríituệ nhân tạoinói riêng Để giúp công việcigiảng dạy đạt hiệu quảicao hơn, luận

văn nghiên cứu “Xây dựng dự đoán kết quả cuối năm của học sinh tại trường THPT

phương phápidạy học cho từngiđối tượng học sinhicụ thể, giúp các emiđạt được kếtiquả học tậpitốt hơn.

2.2 Mục tiêu và nhiệm vụ 2.2.1 Mục tiêu

Mụcitiêu quan trọng nhất của bài toán dựiđoán kết quảihọc tập cuối năm củaihọc sinhilà giúp các em thấy được lực học của mình đến đâu, có những yếuitố nào ảnh hưởng đếnikết quả họcitập và tầm quan trọng củaiviệc đậu tốt nghiệp THPT Từ đó các em định hướng tốt hơn về việc học của mình ngay từ đầu cấp đốiivới học sinh khối 10, hay vớiihọc sinh khối 12 sẽ cần cố gắng nhưithế nào đểicó kết quả tốt nhất Thời gian dự đoán kết quả vào khoảng giữa HKII nên kết quả dự đoán có thể thay đổi bởi nhiều yếu tố tùy thuộcivào việc chăm chỉihọc tập hay sựicố gắng học hỏi của học sinh khác nhau, có em sẽ chăm chỉ hơn, cũng có em sẽ lơ là việc học hơn làm ảnh hưởng đến kết quả dự đoán đó.

2.2.2 Nhiệm vụ

• Thấy được học lực hiện tại củaihọc sinh, sựitiến bộ củaihọc sinh;

• Khuyếnikhích những học sinh cóihọc lực tốt giúp các em phát huy kết quả đó Động viên các em còn yếu kém để các em cố gắng rèn luyện thêm những môn học yếu, kém;

• Hỗ trợ, hướng dẫn học sinh, giúp cáciem định hướnginghề nghiệp trong tương laiiđể các em có mục tiêu phấn đấu mà cố gắng học tập;

• Theo sát, giúpiđỡ những học sinhicó hoàn cảnh đặc biệt, giúp cáciem ổn định

tâm lí, tiếp tục việc học, hoàn thành chương trình học của mình.

2.3 Giới thiệu Neural Network 2.3.1 Khái niệm

Theo cácinhà nghiên cứuisinh học [3], hệithống thần kinh củaicon người baoigồm khoảng 1011 tếibào thần kinh,ithường gọi làicác nơron Mỗi tếibào nơron gồmi3 phần:

• Thâninơron và nhân bênitrong (gọiilà soma), là nơiitiếp nhận hay phát raicác xung độngithần kinh;

• Mộtihệ thống dạng câyicác thần kinhivào (gọiilà dendrite) đểiđưa tín hiệuitới nhân nơron Cácidây thần kinh vàoitạo thành một lướiidày đặc xung quanhithân nơron, chiếmidiện tích 0.25mm2;

• Đầuidây thần kinh rai(gọi làisợi trục axon)iphân nhánhidạng hìnhicây,icó thể dài từi1cm đến hàngimét Chúng nối vớiicác dây thần kinhivào hoặc trực tiếp vớiicác nơronikhác thông quaicác khớpinối (gọiilà synapse) Cóihai loạiikhớp nối,ikhớp nốiikích thíchi(excitatory) sẽicho tín hiệuiqua nóiđể tớiinơron,icòn khớp nốiiức chếi(inhibitory) cóitác dụngilàm cảnitín hiệu tớiinơron Người ta ướcitính mỗi nơron trong bộinão người có khoảng 104ikhớp nối

Chức năngicơ bản của tếibào nơron làiliên kết với nhau đểitạo nênihệ thống thần kinhiđiều khiểnihoạt động củaicơ thểisống Cácitế bàoinơron truyềnitín hiệu choinhau thông quaicác dây thần kinh vàoivà ra, cácitín hiệu đóicó dạng xung điệnivà được tạoira từ cáciquá trình phản ứngihoá họciphức tạp.iTại nhân tếibào khiiđiện thế củaitín hiệu củaitín hiệu vàoiđạt tớiimột ngưỡng nàoiđó thìinó tạoira mộtixung điệnidẫn tới trụcidây thầnikinh ra.iXung nàyitruyền theo trụcira tới cácinhánh rẽivà tiếpitục truyền tớiicác nơronikhác [3]

Não người được coi như mộtihệ thống xửilý thông tin rất phức tạp,iphi tuyến và songisong Có thểigiải quyết được rấtinhiều vấn đề như: nghe,inói, nhìn, hồiiức thông tin,inhận dạng các mẫu, Não thựcihiện được những nhiệmivụ như vậy nhờicác phần từitính toán đóilà nơron

Ngoàiira,ido tínhimềm dẻoicủa sự kếtinối giữa cácitế bàoithần kinh màinão người cóikhả năng học hỏiiqua những kinh nghiệm từiquá khứ Học làimột đặc tínhicơ bản và thiết yếuicủa mạng nơronisinh học [4]

Dựa vàoicác đặc trưng cơibản của mạng nơronisinh học người ra đãixây dựng nên mạng nơroninhân tạo Mạng nơroninhân tạo (Artificial Neural Network, ANN)ingày nayigần giống với bộinão con người như: cóikhả năng học,itức là sửidụng nhữngikinh nghiệm đểicải thiệnihiệu suất.iKhi thuithập được đủimột lượng mẫuithì ANN cóithể khái quátihoá rất cao.iMột ANN cóithể nhận ra một ký tựiviết tay, có thểiphát hiện ra người có dấu hiệu bất thường nơi công cộng Chínhivì vậyimà mạnginơron cóithể giải quyết cácivấn đềiphức tạpicó quy mô lớnivà khó hiệninay [5]

Mạng nơroninhân tạo (ANN) làimô hình xửilý thông qua môiphỏng hoạtiđộng của hệithống thần kinhisinh vật,ibao gồmisố lượng lớnicác nơroniđược gắn kếtiđể xửilý thôngitin.iANN giốnginhư bộinão con người,iđược họcikinh nghiệm (quaihuấn luyện),icóikhả năng lưuigiữ các kinh nghiệmihiểu biếti(triithức) vàisử dụnginhững triithức đó trong việcidự đoán cácidữ liệu chưa biết.iANN được huấn luyện hayiđược học theo các kỹithuật cơibản là họcicó giámisát vàihọc không giámisát [6]

Họcilà quáitrình cậpinhật trọng sốisao choigiá trịihàm lỗiilà nhỏinhất Mộtimạng nơroniđược huấn luyệnisao choivới mộtitập các vector đầuivào 𝑋, mạng cóikhả năng tạo raitập các vector đầuira mong muốn 𝑌 củainó Tập 𝑋 đượcisử dụng cho huấniluyện mạng được gọiilà tập huấniluyện (trainingiset).iCác phần tửi𝑥 thuộc 𝑋 được gọiilà các mẫuihuấn luyệni(training example).iQuá trìnhihuấn luyệnibản chất làisự thay đổiicác trọng sốiliên kếticủa mạng.iTrong quáitrình này,icác trọng sốicủa mạngisẽ hội tụidần tới cácigiá trịisao cho vớiimỗi vector đầuivào 𝑥 từ tậpihuấn luyện, mạng sẽicho ra vector đầuira 𝑦 nhưimong muốn [4]

- Học có giám sát: cóithể được xem nhưiviệc xấp xỉimột ánh xạ: 𝑋 -> 𝑌, trongiđó 𝑋 làitập các vấn đềivà 𝑌 tập cácilời giải tương ứngicho vấn đề đó.iCác mẫu (𝑥, 𝑦) với 𝑥 = (𝑥1, 𝑥2, … , 𝑥𝑛) ∈ 𝑋, 𝑦 = (𝑦1, 𝑦2, … , 𝑦𝑛) ∈ 𝑌 đượcicho trước Học cóigiám sát trong cácimạng nơron thường đượcithực hiện theo các bướcisau:

- Bướci1: Xây dựngicấu trúc thích hợpicho mạng nơron, chẳng hạnicó 𝑛 nơroniđầu vào, 𝑚 nơroniđầu ra,ivà khởiitạo cácitrọng sốiliên kếticủa mạng;

- Bướci2: Đưaimột vector 𝑥 trong tậpimẫu huấn luyện 𝑋 vàoimạng; - Bước 3:iTính vector đầuira 𝑧 củaimạng;

- Bước 4:iSo sánh vector đầuira mong muốn 𝑡 (làikết quả được cho trongitập huấn luyện) với vector đầuira 𝑧 do mạng tạoira; nếu cóithể thì đánh giáilỗi

- Bướci5: Hiệu chỉnh cácitrọng số liênikết theo mộticách nàoiđó sao choiở lầnitiếp theo khiiđưa vector 𝑥 vàoimạng, vector đầuira 𝑧 sẽigiốngivới 𝑡 hơn

- Bước 6:iNếu cần, lặp lạiicác bước từi2 đến 5icho đến khi mạng đạtitới trạng tháiihội tụ.iViệc đánhigiá lỗiicó thểithực hiện theoinhiều cách,icách dùnginhiều nhất làisử dụng lỗiitức thời: 𝐸𝑟𝑟 = (𝑧 − 𝑡), hoặci𝐸𝑟𝑟 = |𝑧 − 𝑡|; lỗiitrung bìnhibình phươngi(MSE: mean- squareierror):i𝐸𝑟𝑟 = (𝑧 − 𝑡)2/2

Thuật toánitổng quát trên choihọc cóigiám sát trongicác mạnginơron cóinhiều cài đặtikhác nhau,isự khácinhau chủ yếuilà cáchicác trọng sốiliên kếtiđược thay đổiitrong suốtithời gianihọc.iĐiển hìnhicho kỹ thuật nàyilà mạnginơron lanitruyền ngượci(backi- propagation)

- Họcikhông giámisát:iKhông sửidụng tri thứcibên ngoàiitrong quáitrình học, nênicòn gọi làitự tổichức (selfi- Organizing).iMạng nơroniđiển hìnhiđược huấniluyện theoikiểu không giám sátilà SOM [7], [6].

2.3.2 Khả năng ứng dụng của mạng nơron nhân tạo

Đặcitrưng của mạnginơron nhân tạoilà khảinăng học.iMối quanihệ tương quan phứcitạp giữaicác yếu tốiđầu vàoivà đầuira củaicác quá trìnhicần nghiênicứu vàikhi đã họciđược thìiviệc kiểm traiđộc lập thường choikết quả tốt.iSau khi đãihọc xongimạng nơroninhân tạo cóithể tínhitoán kết quảiđầu raitương ứng với bộisố liệuiđầu vàoimới

Vềimặt cấu trúc,imạng nơron nhân tạoigồm nhiều phần xửilý đơnigiản cùng hoạt độngisong song Đặc tính nàyicủa ANNicho phép nóicó thểiđược ápidụng đểigiải các bài toánilớn

Vềikhía cạnh toán học,itheo định lýiKolmogorov, một hàmiliên tục bấtikỳ 𝑓(𝑥1, 𝑥2, … , 𝑥𝑛) xáciđịnh trên khoảng 𝐼𝑛 (vớiiIi=i[0,1])icó thểiđược biểu diễnidưới dạng [8]:

Trongiđó: 𝑥𝑗, 𝛹𝑖𝑗 làicác hàm liên tụcimột biến 𝛹𝑖𝑗 làihàm đơniđiệu,ikhông phụ thuộc vàoihàm f Mặtikhác,imô hìnhimạng nơroninhân tạo choiphép liên kếticó trọngisố cáciphần tửiphi tuyến (cácinơron đơnilẻ) tạoinên dạng hàmitổng hợpitừ cácihàm thành phần Doivậy, sauimột quá trìnhiđiều chỉnhisự liên kếticho phù hợpi(quá trìnhihọc), các phần tửiphi tuyếniđó sẽitạo nênimột hàmiphi tuyến phứcitạp cóikhả năngixấp xỉihàm biểuidiễn quá trìnhicần nghiên cứu.iKết quảilà đầuira của nóisẽ tươngitự vớiikết quảiđầu raicủa tậpidữ liệu dùngiđể huấn luyệnimạng.iKhi đó tainói mạng nơroninhân tạoiđã học đượcimối quanihệ tương quaniđầu vàoi- đầu raicủa quá trình vàilưu lại mối quanihệ tương quan nàyithông qua bộitrọng sốiliên kết giữaicác nơron.iDo đó,imạng nơron nhân tạoicó thểitính toán trênibộ số liệuiđầu vào mớiiđể đưaikết quả đầuira tươngiứng

Vớiinhững đặc điểmiđó,imạng nơroninhân tạoiđã đượcisử dụng đểigiải quyết nhiều bàiitoán thuộcinhiều lĩnhivực khác nhau Cácinhóm ứng dụng cácimạng nơron nhânitạo đãiđược ápidụng rất cóihiệu quảilà:

- Bàiitoán phânilớp:iLoại bàiitoán này đòiihỏi giảiiquyết vấniđề phâniloại cáciđối tượngiquan sátiđược thànhicác nhóm dựaitrên cáciđặc điểm củaicác nhómiđối tượngiđó Đây làidạng bài toán cơisở của rấtinhiều bài toánitrong thực tế:inhận dạngichữ viết, tiếng nói,iphân loại gen,iphân loạiichất lượng sảniphẩm,

- Bàiitoán dựibáo:iMạng nơroninhân tạoiđã đượciứng dụngithành côngitrong việc xâyidựng cácimô hình dựibáo sửidụng tậpidữ liệuitrong quá khứiđể dựiđoán số liệuitrong tươngilai.iĐây làinhóm bài toán khóivà rấtiquan trọngitrong nhiềuingành khoaihọc

- Bàiitoán điều khiển vàitối ưuihoá:iNhờ khảinăng học vàixấp xỉihàm màimạng nơroninhân tạoiđã được sửidụng trong nhiềuihệ thốngiđiều khiển tựiđộng cũng nhưigóp phần giảiiquyết những bài toán tốiiưu trong thựcitế

- Mạnginơron đã được ứngidụng trong rất nhiềuilĩnh vực trong cuộc sống như: + Giáo dục: Dựibáo tình hình tuyển sinh, thôi học, bỏ học, tốt nghiệp tại các

trường, dự báo chọn tổ hợp môn thi đại học, dự báo kết quả cuối năm học + Y tế: Chuẩn đoán được bệnh di truyền hiếm gặp

+ Tài chính: Dự báo giáibất động sản,icho vay, chứng khoán, kiểm traitài sản cầmicố,iđánh giá mứciđộ hợpitác, phânitích đường tínidụng, chươngitrình thương mạiiqua giấyitờ,iphân tíchitài chính liênidoanh, dựibáo tỉ giá tiềnitệ

+iNgân hàng: Bộ đọcisec và cácitài liệu,itính tiềnicủa thẻitín dụng +iGiải trí:iHoạt hình,icác hiệuiứng đặcibiệt

+iBảo hiểm:iĐánh giá việciáp dụngichính sách, tốiiưu hoáisản phẩm

+iĐiện tửihọc: Dựibáo mãituần tự,isơ đồichip IC,iđiều khiểnitiến trình,iphân tíchinguyên nhânihỏng chíp, nhậnidạng tiếnginói, môihình phiituyến

+iQuốc phòng:iĐịnh vịi- phát hiệnivũ khí,idò tìm mụcitiêu,iphát hiệniđối tượng,inhận dạnginét mặt,icác bộicảm biến thếihệ mới,ixử lýiảnh radar, +iTự động: Cácihệ thốngidẫn đường tựiđộng choiôitô,icác bộiphân tíchihoạt

2.3.3 Cấu tạo và phân loại mạng nơron nhân tạo

2.3.3.1 Cấu tạo mạng nơron nhân tạo

Mạng nơron nhân tạo đượcitạo nênitừ mộtisố lượng lớnicác phầnitử (gọi làiphần tử xửilý hayinơron) kết nốiivới nhauithông qua cáciliên kếti(gọi làitrọng số liên kết)ilàm việc nhưimột thểithống nhất đểigiải quyếtimột vấn đềicụ thể nàoiđó

Mộtinơron làimột đơn vịixử lýithông tin vàilà một thànhiphần cơibản củaimạng nơron.iCấu trúcicủa mộtimạng nơroniđược mô tảinhư hình 2.1idưới [3]:

Hình 2 1 Cấu trúc mạng nơron

Cácithành phần cơ bản củaimột mạng nơronigồm:

• Tậpicác đầu vào: Làicác tínihiệu vàoi(inputisignals) củainơron, cácitín hiệu nàyithường được đưaivào một vectơ 𝑚ichiều

• Tậpicác liên kết: Mỗiiliên kếtiđược thểihiện bởiimột trọng sối(gọiilà số liênikết -iSynaptic weight) Trọng sốiliên kết giữa các tínihiệu vào thứ 𝑖 vớiinơron 𝑘 thường đượcikí hiệuilà 𝑤𝑘𝑖 Thôngithường,icác trọng sốinày đượcikhởi tạoimột cáchingẫu nhiêniở thờiiđiểm khởi tạoimạng vàiđược cập nhật liênitục trongiquá trìnhihọc mạng

• Bộitổng (Summingifunction): Thườngiđược dùngiđể tính tổng củaitích cáciđầu vàoivới trọng sốiliên kếticủa nó

• Ngưỡngi(còn được gọi làimột độilệch -ibias): Ngưỡng nàyithường đượciđưa vàoinhư mộtithành phần củaihàm truyền

• Hàmitruyền (Transfer function)i- còn được gọi làihàm kích hoạt (Activation fuction): Hàminày được dùng đểigiới hạn phạmivi đầuira củaimỗi nơron.iNó được nhận đầuivào làikết quả củaihàm tổngivà ngưỡng đãicho Thôngithường phạmivi đầuira của mỗiinơron đượcigiới hạnitrong phạm vi [0,1]ihoặc [-1,1] Việc lựaichọn hàm truyền nàoilà tuỳithuộc vào từngibài toán vàikinh nghiệm củaingười thiếtikế mạng

• Đầuira: Là tínihiệu đầuira củai1 nơron, với mỗiinơron sẽ có tối đailà một đầu ra

Nhưivậy, tương tựinhư nơron sinh học, nơron nhânitạo cũng nhận cácitín hiệuiđầu vào,ixử lýi(nhận cácitín hiệuinày với trọng sốiliên kết,itính tổng cácitích thuiđược rồi gửiikết quảitới hàmitruyền), vàicho một tínihiệu đầu rai(làikết quả củaihàm truyền).

2.3.3.2 Phân loại mạng nơron nhân tạo

Mặcidù mỗiinơron đơn lẻicó thểithực hiện nhữngichức năngixử lí thông tininhất định,isức mạnhicủa tínhitoán nơron chủ yếuicó đượcinhờ sự kết hợpicác nơronitrong mộtikiến trúcithống nhất.iMột mạnginơron làimột mô hìnhitính toán đượcixác địnhiqua cácitham số:ikiểu nơron (nhưilà cácinút nếu taicoi cảimạng nơron làimột đồithị), kiến trúc kếtinối (sựitổ chức kếtinối giữa cácinơron)ivà thuậtitoán học (thuậtitoán dùngiđể học choimạng) [7].

Vềibản chất một mạng nơronicó chức năng nhưimột hàm ánhixạ 𝐹: 𝑋 → 𝑌, trong đó 𝑋 làikhông gian trạng thái đầu vàoi(input state space) củaimạng Các mạng chỉiđơn giản làinhiệm vụ ánh xạicác vector đầuivào 𝑥 ∈ 𝑋 sangicác vector đầuira 𝑦 ∈ 𝑌 thông qua bộilọc (filter) các trọng số.iTức là 𝑌 = 𝑓(𝑥) = 𝑠(𝑤, 𝑥), trongiđó 𝑤 làima trận trọng sốiliên kết Hoạt động củaimạng thường làicác tính toán số thực trên cácima trận

Trongibộ não củaicon người, các tếibào nơron liên kếtivới nhau chằng chịtivà tạo nênimột mạngilưới vô cùng phứcitạp,ituy nhiênimạng nơroninhân tạoiđược chiaithành cáciloại chính như sau:

Mạnginơron truyền thẳngimột lớpi(perceptron) làiloại mạngichỉ cóilớp nơroniđầu vàoivà lớpinơron đầuira (thực chấtilớp nơron đầuivào khôngicó vai tròixử lí, do đóita nóiimạng chỉicó 1 lớp (Hình 2.3)) Mạnginày được gọiilà perceptron mộtilớp.iMỗi

Hình 2 2 Mạng nơron chỉ có 1 nút và có sự phản hồi

nơron đầu raicó thểinhận được tínihiệu từicác đầuivào 𝑥1, 𝑥2, … , 𝑥𝑚 đểitạo raitín hiệu đầuira tươngiứng

Mạngicó phảnihồi (feedbackinetwork)ilà mạng màiđầu raicủa mộtinơron cóithể trở thành đầuivào củainơron trênicùng mộtilớp hoặc củailớp trướciđó Mạng feedbackicó chu trìnhikhép kínigọi làimạng quy hồii(recurrentinetwork), Hình 2.4

Môihình truyềnithẳng nhiềuilớp:iMô hìnhinơron đượcisử dụng rộngirãi nhất làimô hình nhiềuitầng truyền thẳng (MultiiLayer Perceptron, MLP) Một mạngiMLP tổng quát làimạng có 𝑛 (𝑛 >= 2)ilớp (thông thường lớpiđầu vàoikhông được tínhiđến): trongiđó gồmimột lớpiđầu rai(lớpithứ 𝑛) và (𝑛 − 1)ilớp ẩn,iHình 2.5

Hình 2 3 Mạng nơron truyền thẳng một lớp (Single - layer feedforward network)

Hình 2 4 Mạng nơron hồi quy một lớp

Mạng tựitổ chức:ilà mạng cóikhả năngisử dụng những kinhinghiệm củaiquá khứ đểikích thíchivới nhữngibiến đổiicủa môiitrường (không dựibáo trước).iLoại mạnginày thuộcinhóm hệihọc, thíchinghi không cầnicó tínihiệu chỉiđạo từibên ngoài [3]

2.3.4 Các đơn vị xử lý cơ bản của mạng nơron nhân tạo

2.3.4.1 Đơn vị xử lý

Đơnivị xử lý được gọiilà mộtinơron hayimột núti(node), thực hiệnicông việcirất đơnigiản:inhận tínihiệu vào từicác đơn vịiphía trước hayimột nguồnibên ngoài vàisử dụngichúng đểitính tínihiệu raisẽ đượcilan truyền sangicác đơnivị khác, Hìnhi2.6 [6]

Trongimột mạng nơron cóiba kiểu đơnivị:

-iCác đơnivị đầuivào (inputiunits), nhậnitín hiệu từibên ngoài -iCác đơnivị đầu rai(outputiunits), gửi dữiliệu raibên ngoài

-iCác đơnivị ẩni(hidden units),itín hiệuivào (input) vàira (output)icủa nóinằm trongimạng

Trongimạng nơronicó baikiểu nơron:

-iNơron đầuivào, nhận tínihiệu từibên ngoài

-iNơron ẩn,itín hiệuivào vàira của nóinằm trongimạng -iNơron đầuira, gửiitín hiệu raibên ngoài

Hình 2 5 Mạng MLP tổng quát

2.3.4.2 Hàm kết hợp

Mỗiiđơn vịitrong mộtimạng kếtihợp cácigiá trị dựa vàoinó thôngiqua cáciliên kết vớiicác đơnivị khác,isinh raimột giáitrị gọi làinet input.iHàm thựcihiện nhiệmivụ này gọi làihàm kếtihợp, được định nghĩaibởi một luật lan truyền cụithể [10]

2.3.4.3 Hàm kích hoạt

Phầnilớn cáciđơn vịitrong mạnginơron chuyển netiinput bằngicách sửidụng một hàmivô hướng (scalar - toi-iscalar function) gọi làihàm kích hoạt, kếtiquả củaihàm này làimột giáitrị gọi làimức độikích hoạt củaiđơn vị.iLoại trừ khả năngiđơn vịiđó thuộcilớp ra,igiá trịikích hoạtiđược đưaivào mộtihay nhiều đơnivị khác.iCác hàmikích hoạtithường bị épivào mộtikhoảng giá trịixác định, doiđó thường đượcigọi làihàm bẹpi(squashing) Một số hàmikích hoạt thường đượcisử dụng như bảng 2.1 dưới đây:

STT Tên hàm Dạng đồ thị Phương trình

𝑧 − 𝑒−𝑧𝑒𝑧 + 𝑒−𝑧

3

Rectified linear unit

(ReLU)

𝑓(𝑥) = 𝑚𝑎𝑥(0, 𝑥)

4 Leaky ReLU

𝑓(𝑥) = 1(𝑥 < 0)(𝛼𝑥) + 1(𝑥≥ 0)(𝑥)

Luồngithông tinitrong mạng nơronitruyền thẳng sẽiđi từitrái qua phải,icác giáitrị đầuivào của 𝑥 được truyềnitới các nơron lớpiẩn thôngiqua trọng sốikết nốiisau đóiđưa

tớiilớp ra.iTrọng số kếtinối từiphần tửivào thứi𝑖 tớiinơron ẩnithứ 𝑗 được kýihiệu là 𝑤𝑖𝑗, trọng sốikết nối từ nơron ẩnithứ j tới các nơron raithứ 𝑘 được ký hiệuilà 𝑣𝑖𝑗 [4]

Hình 2 7 Mạng nơron truyền thẳng nhiều lớp

Vớiilớp nơron ẩnithứ 𝑗:

𝑎𝑗 = ∑𝑛𝑖=1𝑊𝑖𝑗𝑥𝑖 + 𝜃𝑗𝑦𝑖 = 𝑓(𝑎𝑗)Với nơron ra thứ 𝑘:

Hàm 𝑓 đơniđiệu tăng, khả viivà cho giá trị thuộci[0,1]

Vớiimột mẫu đầuivào được cho trước, mạngisẽ tạo ra giá trị đầuira thực tế 𝑧𝑘 giá trịinày được soisánh với giá trịimẫu mong muốn đầuira 𝑑𝑘 Các trọng sốicủa mạng sau đó được hiệuichỉnh để giảm lỗiivà đưa ra cácimẫu tiếp theo.iSau đó trọngisố sẽitiếp tục đượcihiệu chỉnhitới khiitổng lỗi quaitất cảicác mẫuihọc được giám sát tớiimức choiphép Thuậtitoán này được hiểuinhư thuật toánilan truyềningược [4]

Input Layer Hidden Layer Output Layer

2.3.5.2 Khả năng biểu diễn

Mạng mộtilớp cóikhả năngibiểu diễnicác hàmitáchiđượcituyến tính,ichẳng hạnihàm logiciAND cóithểiphânichia được bằngimột đườngithẳngitrong miềnigiá trị,icủaihàm XORithì không

Mạng cóihai lớp ẩn cóikhả năngibiểu diễnimộtiđườngiphân chia tuỳiý vớiimộtiđộ chính xácibất kỳivớiicácihàm kích hoạticó dạngiSigmoid

Mạngicó mộtilớpiẩnicóithểixấp xỉitốt bấtikỳ một ánh xạiliên tụcinào từimột không gianihữu hạnisangimộtikhông gianihữu hạnikhác, chỉicần cungicấp đủisố nơron trong lớpiẩn [12]

2.3.5.3 Số lớp ẩn

Vềimặt lýithuyết,icác mạngicó haiilớp ẩnicó thểibiểuidiễn các hàmivới dángiđiệu bấtikỳ, nênikhông cóilý doinàoisử dụng mạngicó nhiềuihơn hai lớp ẩn.iNgười taiđã xác định rằngivới phầnilớn các bài toánicụ thể,ichỉ cầnisửidụngimột lớp ẩnilà đủ.iCácibài toánisử dụngihaiilớp ẩnihiếm khiixảyira trong thựcitế.iViệc huấniluyệnimạng thườngirất chậm khiisử dụng nhiềuilớpiẩn,ibởi vì:

- Phần lớp cácithuật toán huấn luyệnimạng choicácimạng nơronitruyền thẳngiđều dựaitrên phươngiphápigradient Cácilớp thêmivào sẽithêm việciphảiilan truyền cácilỗi làmicho vectorigradient rất khôngiổniđịnh.iSự thànhicôngicủa bấtikỳ mộtithuật toánitối ưuitheo gradientiphụithuộc vàoiđộ khôngithay đổi của hướng khiimà cácitham sốithay đổi [13]

- Sốicác cựcitrịiđịa phương tăngilên rấtilớnikhi có nhiều lớpiẩn.iPhần lớnicácithuật toánitối ưuidựa trênigradient chỉicó thểitìmira các cựcitrị địa phương,ido vậy chúngicó thểikhôngitìm raicực trị toàn cục.iMặc dùithuật toán huấn luyện mạng cóithể tìmiraicực trịitoàn cục,inhưngixác suất khá caoilà chúngisẽ bịitắc trongimộticực trịiđịa phương

Tuyinhiên, cóithểiđối vớiimột bàiitoánicụithể,isử dụnginhiềuihơn một lớpiẩn với sốiít nơron thìitốtihơn làisử dụngiítilớpiẩn vớiisố nơronilàilớn,iđặc biệtiđối với cácimạng cầniphải họcicác hàmikhôngiliên tục.iVề tổngithể người taicho rằngiviệciđầuitiên làinên xemixét mạngichỉ cóimộtilớpiẩn.iNếu dùngimộtilớp ẩnivới mộtilượngilớnicác nơronimà không cóihiệu quảithìinên sửidụng thêmimộtilớp ẩninữa với mộtisốiíticác nơron [14]

2.3.4.4 Số nơron trong lớp ẩn

Vấniđề quanitrọngitrong thiết kếimột mạngilàimỗiitầng (lớp) cầnicó baoinhiêu nơron Số nơron trongimỗi lớp là quá íticó thể dẫn đếniviệc khôngithểinhận dạngiđược tínihiệu đầyiđủ trongimộtitập dữiliệu phứcitạp,ihay thiếu ănikhớp Sửidụng quáinhiều nơron sẽităng thời gian huấn luyện mạng.iSố lượng lớn các nơron cóithể dẫn đếnitình trạngiquáikhớp,itrong trườngihợp này mạngicóiquá nhiềuithôngitinihoặc lượng thông tin trongitập dữ liệu huấn luyện khôngiđủ cácidữiliệuiđặcitrưng đểihuấn luyệnimạng [6] Sốilượng thíchihợpicácinơron ẩniphụ thuộcivàoirất nhiều yếuitố như:isố nơron đầu vào,isố nơron đầuira của mạng, sốitrường hợp trongitập mẫu,iđộ nhiễuicủa dữ liệuiđích, độiphức tạpicủaihàmilỗi,ikiến trúcimạngivàithuật toániluyện mạng

Cóirất nhiềuiluật đểilựa chọnisốinơron trong cácilớp ẩn, chẳngihạn: 𝑚 ∈ [𝑡, 𝑛] Có thể chọn sốinơron lớpiẩn nằm trong khoảng sốilượng nơron lớp ẩnivào và lớp ra: 𝑚 = 2(𝑡+𝑛)

3 : ⅔ tổngikích thướcilớpivào vàilớp ra 𝑚 < 2𝑡 : Nhỏihơn haiilầnikích thướcilớp vào

𝑚 = √𝑡 𝑛 : Cănibậc hai củaitích kíchithướcilớp vàoivà lớp ra

Cáciluật nàyichỉicoiinhư làicác lựaichọnithô khiichọn lựaikíchithước củaicác lớp Chúngikhôngiphản ảnhithực tếibởi vì chúng chỉixem xétiđếninhân tốikích thướciđầu vào,iđầu raimàibỏiqua các nhân tốiquan trọngikhácinhư:isố trườngihợpiđưa vàoihuấn luyện,iđộinhiễu ởicác đầuiraimong muốn, độiphức tạpicủaihàm lỗi,ikiến trúcicủaimạng vàithuật toán [4]

Trongiphần lớnicácitrườngihợp,ikhông cóicáchiđể có thểidễ dàngixáciđịnhiđược tốiiưu số lượng nơron trongilớp ẩnimàicáchitốt nhấtilà dùngiphươngipháp Thửi- Sai Trongithực tếicó thểilựaichọn phương phápi“Lựaichọnitiến” hayi“Lựaichọnilùi” đểixác định sốilượng nơron trong lớpiẩn

Lựaichọn tiếnibắtiđầuivới việcichọn mộtiluậtihợp lýicho việciđánhigiá hiệuinăng củaimạng.iSau đóita chọnimộtisố nhỏicác nơroniẩn, huấn luyệnivà kiểm tra lại mạng, ghiilại hiệuinăngicủaimạng.iTiếp theoităngimộtisốiít nơroniẩn, huấn luyệnivà thửilại cho đếnikhi lỗiilàichấpinhận được,ihoặc khôngitiếnitriển đáng kểiso vớiitrước

Ngượcilại,ilựa chọnilùiibắt đầuivới mộtisố nơron trongilớpiẩn,isau đóigiảmidần, quáitrình nàyirấtimất thờiigian nhưngisẽ giúp ra tìmiđược sốinơron phùihợp choilớp ẩn [4]

2.3.6 Thuật toán lan truyền ngược BP (Back - Propagation Algorithm)

Cầnicó mộtisựiphân biệtigiữa kiếnitrúcicủa mạng nơronivà thuậtitoánihọc củainó, cácimô tảitrong cácimục trênimụciđích làinhằm làmirõicác yếu tốivề kiếnitrúc củaimạng vàicách màimạng tínhitoán cáciđầu raitừ tậpicác đầuivào

Sauiđây làimôitảicủa thuật toánisử dụngiđểiđiều chỉnh hiệuinăng củaimạng saoicho mạng cóikhả năngisinhiraiđược cácikết quảimongimuốn.iVề cơibản cóihaiidạng thuật toániđể huấn luyệnimạng:ihọc cóigiám sát vàihọcikhông giám sát.iCác mạnginơron truyềnithẳng nhiềuilớp huấn luyệnibằng phươngipháp họcicó giám sát Phươngipháp này căn bảnidựa trêniviệciyêu cầuimạng thựcihiệnichức năng củainó vàisauiđó trảilại kết quả.iKết hợpikếtiquảinày vớiicác đầuiraimongimuốn đểiđiều chỉnhicácitham sốicủa mạng, nghĩa làimạng sẽihọcithôngiqua nhữngisai sóticủainó.iThuật toán lanitruyềningược làidạng tổngiquáticủaithuật toánitrung bìnhibình quân phương tốiithiểu LMS (LeastMeans Square) Thuật toáninày thuộc dạng thuật toán xấpixỉ để tìm các điểmimà tạiiđó hiệuinăngicủaimạng làitối ưu.iChỉisố tốiiưu (performanceiindex) thườngiđược xác định bởiimột hàmisố củaima trận trọngisốivàicác đầu vào nàoiđó màitrongiquá trìnhitìm hiểubàiitoán đặtira [15]

Phầninày môitả thuậtitoán sửidụng đểiđiều chỉnhihiệuinăng củaimạng saoicho mạng cóikhả năngisinhira đượcicác kếtiquả mongimuốn

Cácimạng nơronitruyềnithẳng nhiềuilớp đượcihuấniluyện bằngiphương phápihọc có giám sát.iPhương phápinày cănibản dựaitrên việciyêu cầu mạngithực hiệnichức năng của nóivà sauiđó trảilại kếtiquả,ikết hợpikếtiquả này vớiicáciđầuira mongimuốn đểiđiều chỉnhicácitham sốicủa mạng [11]

2.3.6.1 Sử dụng thuật toán lan truyền ngược

Ởiphần này trình bày thuật toánilan truyền ngược nhưichọn lựaicấuitrúcimạng,isự hội tụivà khảinăngitổng quátihoá

Chọnilựa cấu trúcimạng

Thuậtitoán lanitruyềningược cóithể đượcisửidụng đểixấp xỉibất kỳimột hàmisố họcinào nếuinhư taicó đủisốinơron trongicác lớpiẩn Mặcidùivậy,iphát biểuitrênichưa choita đượcimộtisố cụithể cácilớpivà sốinơron trong mỗiilớp cầnisửidụng [3]

Dùngimột víidụiđể cóicái nhìnichi tiếtihơnivề vấniđề này.iVíidụ,imuốn xấpixỉihàm sốisau:

𝑓(𝑥) = 1 + 𝑠𝑖𝑛 (𝑖𝜋

4 𝑥) 𝑣ớ𝑖 − 2 ≤ 𝑥 ≤ 2

Trongiđói𝑖 nhậnicác giáitrịi1,i2, 4ivài8 Khi 𝑖 tăngithì hàmisốicầnixét sẽitrở nêniphức tạpihơn doita sẽinhận được nhiềuichu kỳicủa hình sinitrong phạmivi [-2,i2].iKhi đó, mạnginơron vớiimột sốinơron cốiđịnh sẽikhó cóithể xấpixỉiđược hàminếu 𝑖 tăng Ở đây sẽisử dụng ví dụiFunction approximation trong thưiviện của bộ Matlab 6.0.iMạng sử dụngicó mộtilớpiẩn,imột lớpira, mạng cóimột đầuivào vàimột đầuira

Lớpiẩn sửidụng hàmiSigmoid,ilớp raidùng hàm tuyếnitính.iSố nơronitrong lớpiẩn lài3,ikết quảixấpixỉ củaimạng trongicác trường hợpi𝑖i=i1,i2,i4,i8inhư trong các hìnhidưới đây [16]

a.iTrường hợpi𝑖i=i1

b.iTrường hợpi𝑖i=i2

c.iTrường hợpi𝑖i=i4

d.iTrường hợpi𝑖i=i8

Khiita tăngisốinơron trongilớp ẩnilên thìikhả năngixấp xỉihàm sốicủa mạngisẽ tốt hơn.iChẳng hạn,ixét trườngihợp sửidụng 8inơronitrong lớpiẩn vài i=i8 taicó đượcikết quả nhưisau:

Nhưivậy nếu muốn xấp xỉimột hàmisố mà cóisố điểmicần xấp xỉilà lớnithì taisẽ cầnisố nơronilớn hơn trongilớp ẩn [12]

Sựihộiitụ

Trongiphần trên các trường hợpimạng nơronikhôngitrả lạiikết quảichính xácimặc dùithuật toánilan truyềningược đãithực hiệnitối thiểu hoáitrung bìnhibình phươngilỗi

Điềuiđó là doikhảinăng củaimạng bịigiới hạnibởi sốinơron trongilớp ẩn.iNhưng cũngicó trườngihợp thuật toánilan truyềningượcikhông choita cácitham sốicó thểidẫniđến kếtiquả chínhixácinhưng vẫnicó thểixấp xỉiđược hàmisố.iĐiều nàyixảyira làido trạngitháiikhởi đầuicủa mạng,iSau khiihuấniluyện,imạng cóithểirơi vàoiđiểm cựcitiểu toàn cục hoặc rơi vàoiđiểm cực tiểuiđịa phương [17], [16]

Cầnichú ýirằng trongithuật toániLMS, điểmicực trịitoàn cụcilà luônitồnitại bởiilẽ hàm trungibình bìnhiphương lỗiicủaithuật toániLMS làihàm bậcihai,ido làihàm bậcihai nêniđạo hàmibậcihai củaihàm lỗiisẽ làihằngisố,ido vậyimà độicong củaihàm theoimột hướng choitrước khôngithay đổi.iTrong khiiđó thuậtitoán lanitruyền ngượciáp dụngicho cácimạng nhiềuilớp sửidụng cácihàm kíchihoạt phiituyến sẽicó nhiềuiđiểmicực trịiđịa phương vàiđộ congicủa hàmilỗi cóithể không cốiđịnh theoimột hướngicho trước [16]

Đểimột mạngicó khảinăng tổng quátihoáitốt,inó cầnicó sốitham sốiít hơn số dữiliệu có trongitập mẫu huấniluyện.iTrong cácimạng nơron,icũng nhưicác bàiitoán môihình hoá,ita thườngimongimuốn sửidụng mộtimạng đơnigiảninhất màicó thểichoikết quảitốt trênitập mẫuihuấn luyện

Mộticách khác đóilà không nên luyệnimạng trướcikhi mạngixảy raitình trạngiquá khớp.iKỹ thuậtinày liêniquan đếniviệc chiaitậpidữ liệuithành baitập: Tập mẫu huấniluyện đểitính toánigradient vàicập nhậticácitrọng sốicủa mạng,itậpikiểm địnhiđược dùngiđể kiểmitra điềuikiệnidừng củaimạng vàitập kiểmitraiđược sửidụng đểisoisánh khảinăng tổngiquát hoáicủa mạngiđối vớiibộitham sốicủa mạngisauilần huấniluyện [14]

2.3.6.2 Một số biến thể của mạng lan truyền ngược

Mộtisố đặciđiểm củaithuật toánilan truyềningược đượcisử dụngikỹithuật giámisát theo hướng.iMạng sửidụng thuậtitoáninày tồnitại nhượciđiểm:irơi vàoiđiểmicực tiểuiđịa phương đốiivới mạnginơron truyềnithẳng nhiềuilớp sửidụng cácihàm kíchihoạtiphi tuyến.iHơn nữa,ikhi thực hiệnihuấn luyệnimạngibằng cáchiđưa từng víidụ huấniluyện vào,isau đóithực hiệnicập nhậtithamisố,isẽ làmiảnhihưởng đếniquá trìnhihọcicác víidụ khác.iDoiđó,imột phươngipháp đểităng tốciđộihội tụilà sửidụng phươngipháp họcitheo lôi(batchitraining), nghĩailàitất cảicác víidụihuấn luyệniđược đưaivào mạng,isau đóimới thực hiệnicập nhậticác thamisố Sau đây là mộtisố biến thể của thuật toánilan truyền ngượcisử dụngiphươngipháp họcitheo lôinhằm vượtiqua cácinhược điểminày [19]

Sửidụng tham số bướciđà

Đâyilà mộtiphươngipháp heuristicidựa trêniquan sátikết quảihuấn luyệnimạng nhằm làmităng tốciđộihội tụicủa thuậtitoán lanitruyền ngượcidựa trênikỹ thuậtigiảm nhanhinhất.iThuật toánilan truyềningược cậpinhật cácitham sốicủa mạngibằng cáchicộng thêmivào mộtilượngithay đổiilà:

𝛥𝑊𝑚(𝑘) = −𝑎𝑠𝑚(𝑎𝑚−1)𝑇𝛥𝑏𝑚(𝑘) = −𝑎𝑠𝑚

Khiiáp dụng thuật toánilan truyền ngược cóisử dụng bước đà, phương trìnhitrên thay đổiinhư sau:

𝛥𝑊𝑚(𝑘) = 𝜇𝛥𝑤𝑚(𝑘 − 1) − (1 − 𝜇)𝑎𝑠𝑚(𝑎𝑚−1)𝑇𝛥𝑏𝑚(𝑘) = 𝜇𝛥𝑏𝑚(𝑘 − 1) − (1 − 𝜇)𝑎𝑠𝑚

Ngườiita đãichứng tỏirằng khiisử dụngitham sốibước đàithì hệisố họcicó thểilớn hơnirấtinhiều soivới thuậtitoán lanitruyền ngượcinguyên thuỷikhông sửidụng thamisố bướciđàitrong khiivẫn giữiđược độitin cậyicủa thuậtitoán.iMột điểminữa làikhi sửidụng tham sốibước đàithì sựihội tụicủa thuậtitoán sẽiđượcităng tốcinếu thuậtitoániđang điitheo mộtihướng bềnivững,ichỉ điixuống 0 mộtikhoảng không dài [4]

Sửidụng hệ sốibiến đổi

Trongithực tế,icác hàmihiệu năngicó dạngibiểu diễnihình họcilà khôngiđồng đều, cóilúc cóidạng phẳng (hàmikhông thayiđổiigiá trịihoặc thayiđổi rấtiít)ihoặc cóidạngiphễu

(giáitrị củaihàmithay đổiirất nhanhikhiithay đổiitham sốiđầu vào).iNếu taichỉ sửidụngihệ sốihọc cốiđịnh thìicó thểisẽ tốnithờiigian tạiicác vùngiphẳng.iVì vậyitư tưởngicủaithuật toánilan truyềningượcisử dụngihệ sốihọcibiến đổiilà khiigặp vùng phẳngithì tăngihệ số học lênivà ngượcilại khiigặp vùngidạng phễuithì giảmihệ sốihọc xuống Người taiđã đưa rairất nhiềuiphương pháp đểithực hiệniđiềuitrên,iở đâyichỉ nêuiraimột cáchibiến đổi hệisố họcidựa trênihiệuinăng củaimạng [20]

Bướci1:iNếu bìnhiphương lỗiitrên toànibộitập mẫu huấniluyện tăngimột sốiphần trămichoitrước 𝛾 (thôngithường làitừi1% đếni5%) sauimột lầnicập nhậtitrọng số,ithìibỏ quaiviệc cậpinhậtinày,ihệ sốihọc đượcinhân vớiimột sốihạng 𝜉 nàoiđó (với 0 < 𝜉 < 1) vàitham sốibước đài(nếuicó sửidụng) được đặtibằng 0

Bướci2:iNếu bìnhiphương lỗiigiảm sauimột lầnicập nhậtitrọngisố,ithì cậpinhậtiđó làichấp nhậniđượcivà hệisố họciđược nhânivới mộtisố hạnginào đóilớn hơni1,inếu tham sốibước đàiđã đượciđặtibằng 0ithì đặtilại giáitrị lúciđầu

Bước 3:iNếu bìnhiphương lỗiităng mộtilượng nhỏihơn 𝛾, thìicập nhậtitrọng sốilà chấpinhậniđược,inhưng hệisốihọc khôngithay đổiivà nếuitham sốibước đàiđặt bằng 0ithì đặt lại giá trịilúc đầu

Cácithuật toániheuristic luônicho taisự hộiitụinhanh hơnitrong mộtisố bàiitoán,ituy nhiênichúng cóihai nhượciđiểmichính sauiđây:

Thứinhất, việc sửa đổiithuật toánilanitruyền ngượcicần cóithêmimột sốitham số, trong khiithuật toánilanitruyền ngượcinguyên thuỷichỉ yêuicầuicó mộtitham sốiđóilà hệ số học.iMột sốithuậtitoán sửaiđổi cầniđến nămihoặcisáu thamisố,itrong khiihiệuinăng củaithuật toánikháinhạy cảmiđối với thay đổi của cácitham số này Hơn nữaiviệc chọn lựaicác thuật toán lạiiđộc lậpivới bàiitoán đặtira

Thứihai,icác thuậtitoánisửa đổiicó thểikhôngihội tụitrong mộtisố bàiitoán màithuật toánilanitruyền ngượcinguyên thuỷicóithể hộiitụ được

Ngườiita đãithấy rằngicả haiinhược điểminêuitrên thườngixảy raikhi sửidụngicác thuật toánisửa đổiiphức tạpihơn,iyêu cầuinhiềuitham sốihơn [4]

2.4 Thuật toán hồi quy tuyến tính

Phânitích hồiiquy tuyếnitính làinghiên cứuisự phụithuộc củaimột biếni(biếniphụ thuộcihay còniđượcigọi làibiến giảiithích) vàoimột biếnihay nhiềuibiến kháci(biếniđộc lậpihay cònigọi làibiến giảiithích)ivới ýitưởng cơibản làiước lượngihayidự đoánigiá trị trung bìnhicủa biếniphụ thuộcitrênicơ sởicác giáitrịiđã biếticủa biếniđộcilập.iDự đoán giá trịicủa biến phản hồi từicác biến giải thích (biến độc lập),ikhi có mối quan hệituyến tính giữa chỉ cóimột biến giải thíchivà một biến phản hồi,ichúng ta gọi đây làihồi quy tuyến tínhiđơn (simple linear regression).iKhi có nhiều hơn mộtibiến phản hồi và cóibất kỳ số lượng biến giải thích ta gọi là hồi quy đa biến (multivariate regression) [21]

2.4.1 Hồi quy tuyến tính đơn

2.4.1.1 Phương trình hồi quy tuyến tính đơn

Đặt (𝑥1, 𝑦1), (𝑥2, 𝑦2), … , (𝑥𝑛, 𝑦𝑛) làimẫuigồm 𝑛 cặpiquan sát trên đườngihồi quy tổngithể 𝑦 = 𝛼 + 𝛽𝑥1+ 𝜀1 [21].

Theo phương trình béinhất thì ước lượng của hệisố 𝛼 và 𝛽 làicác giá trị 𝑎 và 𝑏 sao choitổng bình phương sai sốicủa phương trìnhisau đây làibé nhất [21]:

𝑆𝑆 = ∑ 𝑒𝑖2

= ∑(𝑦𝑖 − 𝑎 − 𝑏𝑥𝑖)2𝑛

Và phương trìnhihồi quy tuyến tính mẫuicủa 𝑦 trên 𝑥 là: 𝑦 = 𝑎 + 𝑏𝑥

2.4.1.2 Phương sai hồi quy

Trongiước lượng cácitham sốicủa mô hình hồi quy tuyếnitính đơn theo phương phápibình quân nhỏ có thểichứng minh được rằng:

∑(𝑦𝑖− 𝑦𝑡𝑏)2 = ∑(𝑦𝑖 − 𝑦̃𝑖)2+ ∑(𝑦̃𝑖− 𝑦𝑡𝑏)2

Trongiđó:

∑(𝑦𝑖− 𝑦𝑡𝑏)2 =iSSTi(Total Sumiof Squares) là tổngibiến động của 𝑦

∑(𝑦̃𝑖− 𝑦𝑡𝑏)2 = SSR (Sum ofiSquares Residual) là tổngibình phương hồi quy,ilà đại lượng biếniđộng của 𝑦 được giải thíchibởi đường hồi quy

∑(𝑦𝑖− 𝑦̃𝑖)2 = SSEi(Sum of Squares Error) làiphần biếniđộngicòn lạiihay cònigọiilà số dư,ilà đạiilượngibiến độngitổng gộpicủa nguồnibiến độngido cácinhân tốikhác gâyira mà khôngihiện diệnitrongimô hìnhihồi quy vàiphầnibiến độngingẫu nhiên

• SSRicàng lớnithìimô hìnhihồi quyicàngicó độitin cậyicao việcigiải thíchibiến độngicủa 𝑦

Taicó:

∑(𝑦𝑖 − 𝑦̅)2− ∑(𝑦𝑖− 𝑦̅)2+ ∑ 𝑒𝑖2HayiSST = SSRi+ SSE

SSRicàng lớnithìimô hìnhihồi quyituyến tínhicàngicó độitin cậyicaoitrong việcigiải thích sựibiến độngicủa 𝑦

Hệisố xáciđịnh 𝑅2 = 𝑆𝑆𝑅

𝑆𝑆𝑇 = 1 − 𝑆𝑆𝐸

𝑆𝑆𝑇 làiphần trămibiến độngicủa 𝑦 đượcigiải thích bởi mốiiquan hệ tuyến tính củai𝑦ivào 𝑥