Hình 2 .4 Mơ hình RNN
Hình 2.9 Các module lặp lại trong một nút mạng RNN tiêu chuẩn
Kiến trúc mơ hình LSTM cũng cĩ dạng chuỗi tƣơng tự RNN. Nhƣng bên trong LSTM cĩ 4 tầng bên trong tƣơng tác với nhau thay vì chỉ cĩ một tầng mạng nhƣ RNN.
39
Hình 2.10: Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn (3 sigmoid và 1 tanh) tương tác
Các ký hiệu trong mơ hình mạng LSTM cĩ thể đƣợc hiểu nhƣ sau:
Hình 2.11: Ký hiệu trong mạng LSTM
Mỗi một đƣờng mang một vector từ đầu ra của một nút tới đầu vào của một nút khác:
- Các ơ màu vàng đƣợc sử dụng để học trong các tầng mạng neural.
- Các hình trong màu hồng biểu diễn các phép tốn(cộng vector,…).
- Vector chỉ ra từ đầu ra của một nút tới đầu vào của một nút khác.
- Các đƣờng hợp nhau kí hiệu việc kết hợp.
- Các đƣờng rẽ nhánh ám chỉ nội dung của nĩ đƣợc sao chép và chuyển tới các nơi khác nhau.
b. Ý tưởng chính của LSTM
40
Ý tƣởng chính của LSTM là thành phần ơ trạng thái (cell state) đƣợc thể hiện qua đƣờng chạy ngang qua đỉnh đồ thị nhƣ hình 2.12 bên cạnh:
Trạng thái tế bào cĩ dạng giống nhƣ băng truyền, chạy xuyên suốt tất cả các các nút mạng và chỉ tƣơng tác tuyến tính cho nên các thơng tin cĩ thể dễ dàng truyền đi xuyên suốt mà khơng thể bị thay đổi[18].
LSTM cĩ thể thêm hoặc bỏ các thơng tin cần thiết cho trạng thái của tế bào, đƣợc điều chỉnh bởi các nhĩm đƣợc gọi là cổng.
Hình 2.13: Cổng sàng lọc thơng tin
Các cổng cĩ chức năng lọc thơng tin đi qua nĩ và đƣợc kết hợp bởi một tầng mạng và một phép nhân. Tầng sẽ cho đầu ra trong khoảng , nĩ mơ tả sẽ cĩ bao nhiêu thơng tin cĩ thể đƣợc thơng qua . Khi đầu ra là thì tức là khơng cho thơng tin nào qua, và khi là 1 thì tất cả các thơng tin đều đƣợc đi qua. Một mạng LSTM gồm cĩ 3 cổng để duy trì và điều hành tế bào và trải qua 3 bƣớc để thực hiện [9].
Bƣớc 1: Quyết định thơng tin cần loại bỏ từ trạng thái của tế bào
41
Hình 2.14: Dữ liệu được truyền qua cổng quên
Quyết định này đƣợc đƣa ra bởi tầng gọi là “tầng cổng quên” (forget gate layer). Nĩ sẽ lấy đầu vào là và rồi đƣa ra kết quả là một số trong khoảng cho mỗi số trong trạng thái tế bào . Đầu ra bằng nếu nĩ bỏ tồn bộ thơng tin đi, bằng tức là tồn bộ thơng tin sẽ giữ lại. Ví dụ: Với mơ hình dự báo từ tiếp theo dựa trên các từ trƣớc đĩ thì trạng thái tế bào sẽ mang thơng tin về giới tính để tìm đƣợc đại từ nhân xƣng chính xác và sau khi đề cập đến một ngƣời khác và khơng muốn nhớ tới giới tính nữa thì nĩ sẽ khơng cĩ tác dụng với ngƣời mới.
Bƣớc 2: Quyết định thơng tin mới đƣợc lƣu vào tế nào
( ) ( )
̃ ( ) ( )
Hình 2.15: Dữ liệu được truyền qua cổng đầu vào
42
- Bƣớc 2.1: Sử dụng một tầng hay đƣợc gọi là “tầng cổng vào” ( ) (Input gatelayer) để chọn giá trị sẽ đƣợc cập nhật.
- Bƣớc 2.2: Một tầng sẽ tạo ra một vector cho giá trị mới ̃ nhằm mục đích thêm vào cho trạng thái.
- Bƣớc 2.3: Sử dụng 2 giá trị của bƣớc 2.1 và bƣớc 2.2 đĩ để kết hợp và tạo ra một cập nhật cho trạng thái.
̃ ( )
Hình 2.16: Dữ liệu được lan truyền qua thanh trạng thái
Việc nhân trạng thái cũ với giúp loại đi các thơng tin quyết định quên ở Bƣớc 1 giúp cập nhật trạng thái tế bào cũ thành trạng thái mới . Sau đĩ cộng với ̃ . Trạng thái mới này phụ thuộc vào việc quyết định cập nhật mỗi giá trị của trạng thái nhƣ nào. Ví dụ: Với bài tốn nhƣ bƣớc 1 việc bỏ đi thơng tin giới tính của nhân vật cũ và thêm thơng tin giới của của nhân vật mới đã đƣợc quyết định ở các bƣớc trƣớc đĩ.
Bƣớc 3: Quyết định đầu ra
( ) ( )
43
Hình 2.17: Dữ liệu hội tụ ở đầu ra sau khi đi qua các cổng
Giá trị của đầu ra phụ thuộc vào trạng thái của tế bào, nhƣng tiếp tục đƣợc sàng lọc. Cần chạy một tầng để quyết định phần nào của trạng thái tế bào muốn lấy ra. Sau đĩ, tiếp tục đƣa qua một hàm để co giá trị nĩ về khoảng rồi nhân với đầu ra của cổng để đƣợc giá trị của đầu ra mong muốn. Ví dụ, nếu đầu ra của chủ thể là số ít hoặc số nhiều thì cĩ thể nhận biết đƣợc dạng của trạng từ đi sau nĩ.
Tuy nhiên trong thực tế khơng phải tất cả các mạng LSTM đều giống nhƣ vậy. Cĩ khá nhiều biến thể khác nhau tuy nhiên sự khác nhau khơng lớn, nhƣng giúp giải quyết đƣợc khá nhiều bài tốn sử dụng cấu trúc LSTM. Cĩ thể kể đến một dạng LSTM phổ biển đƣợc Gers & Schmidhuber giới thiệu năm 2000 sẽ đƣợc thêm các đƣờng kết nối hay cịn gọi là “Peephole connections” nhằm mục đích giúp các tầng, cổng nhận đƣợc giá trị đầu vào là trạng thái của tế nào. Tuy nhiên thay vì phân tách các quyết định thơng tin đƣợc thêm vào và loại trừ thì sẽ quyết định cùng với nhau luơn. Thơng tin đƣợc bỏ đi khi thay thế nĩ bằng thơng tin mới đƣa vào và cũng chỉ khi nào thơng tin cũ đƣợc bỏ đi thì thơng tin mới sẽ đƣợc thêm vào. Ngồi ra Kyunghyun Cho và nhĩm năm 2014 giới thiệu một biến thể khác của LSTM đƣợc dựa trên mạng LSTM của Hochreiter & Schmidhuber (1997) sẽ kết hợp các cổng đầu vào và cổng loại trừ thành một cổng gọi là “Cổng cập nhật” (Update gate). Nĩ cũng sẽ kết hợp trạng thái ẩn vào trạng thái của tế bào để tạo ra thay đổi khác.
44
Khi đĩ mơ hình sẽ đơn giản hơn mơ hình LSTM chuẩn vì vậy mơ hình này ngày càng đƣợc phổ biến.
2.4. Mạng Neural tích chập
Mạng Neural tích chập (CNN - Convolutional Neural Network) là một trong những mơ hình Deep Learning phổ biến nhất hiện nay. CNN đem lại hiệu quả cao với các bài tốn “phân loại hình ảnh” (Krizhevsky , 2012), “ phân loại văn bản” (Kim , 2014), “phân tích Protein” (Zacharaki , 2017), “phân tích ảnh y khoa” (Li , 2014) nên mơ hình CNN đƣợc sử dụng khá rộng rãi và phổ biến trong lĩnh vực máy học. Facebook , Google hay Amazon, ... cũng đang phát triển, ứng dụng mơ hình này vào hệ thống xử lý ảnh cho các muc đích nhƣ: thuật tốn tagging tự động , tìm kiếm ảnh hoặc gợi ý sản phẩm cho ngƣời tiêu dùng, ...
2.4.1. Ý tưởng mạng neural tích chập
Ý tƣởng của CNN đƣợc lấy cảm hứng từ khả năng nhận biết thị giác của bộ não ngƣời. CNN đƣợc xây dựng dựa trên ba ý tƣởng chính: “ tính kết nối cục bộ” (Local connectivity hay compositionality), “Tính bất biến” ( Location invairiance) và “Tính bất biến đối với quá trình chuyển đổi cục bộ” ( Invariance to local transition) (LeCun,2015) [4].
Nĩ đã đạt đƣợc nhiều thành tựu quan trọng trong các bài tốn liên quan đến hình ảnh nhƣ nhận dạng hình ảnh (image recognition) và phân lớp hình ảnh(image classification).. Ngồi ra Mạng CNN cịn đƣợc ứng dụng mạnh mẽ trong các bài tốn xử lý ngơn ngữ tự nhiên nhƣ phát hiện thƣ rác (spam detection), phân loại văn bản (topic categorization)…
2.4.2. Cấu trúc cơ bản của mạng Neural tích chập
Cấu trúc cơ bản của CNN gồm: - Lớp tích chập (Convolutional).
- Lớp kích hoạt phi tuyến ReLU (Rectified Linear Unit). - Lớp lấy mẫu ( Pooling).
45
Hình 2.18: Cấu trúc cơ bản của một mạng Neural tích chập
Bản chất của mạng CNN là tập hợp các lớp tích chập (Convolution) chồng lên nhau và sử dụng các hàm nonlinear activation nhƣ ReLU và tanh để kích hoạt các trọng số trong các node. Mỗi một lớp sau khi thơng qua các hàm kích hoạt sẽ tạo ra các thơng tin trừu tƣợng hơn cho các lớp tiếp theo.
Mỗi một lớp sau khi thơng qua các hàm kích hoạt sẽ tạo ra các thơng tin trừu tƣợng hơn cho các lớp tiếp theo. Trong mơ hình mạng truyền ngƣợc (feedforward neural network) thì mỗi neural đầu vào (input node) cho mỗi neural đầu ra trong các lớp tiếp theo.
Mơ hình này gọi là mạng kết nối đầy đủ (fully connected layer) hay mạng tồn vẹn (affine layer). Cịn trong mơ hình CNNs thì ngƣợc lại. Các layer liên kết đƣợc với nhau thơng qua cơ chế convolution.
Layer tiếp theo là kết quả convolution từ layer trƣớc đĩ, nhờ vậy mà ta cĩ đƣợc các kết nối cục bộ. Nhƣ vậy mỗi neural ở lớp kế tiếp sinh ra từ kết quả của filter áp đặt lên một vùng ảnh cục bộ của neural trƣớc đĩ.
Mỗi một lớp đƣợc sử dụng các filter khác nhau thơng thƣờng cĩ hàng trăm hàng nghìn filter nhƣ vậy và kết hợp kết quả của chúng lại. Ngồi ra cĩ một số layer
46
khác nhƣ pooling/subsampling layer dùng để chắt lọc lại các thơng tin hữu ích hơn (loại bỏ các thơng tin nhiễu).
Trong mơ hình CNN cĩ 2 khía cạnh cần quan tâm là tính bất biến (Location Invariance) và tính kết hợp (Compositionality). Với cùng một đối tƣợng, nếu đối tƣợng này đƣợc chiếu theo các gốc độ khác nhau (translation, rotation, scaling) thì độ chính xác của thuật tốn sẽ bị ảnh hƣởng đáng kể.
Pooling layer sẽ cho bạn tính bất biến đối với phép dịch chuyển (translation), phép quay (rotation) và phép co giãn (scaling). Tính kết hợp cục bộ cho ta các cấp độ biểu diễn thơng tin từ mức độ thấp đến mức độ cao và trừu tƣợng hơn thơng qua convolution từ các filter [4].
Đĩ là lý do tại sao mạng CNN cho ra mơ hình với độ chính xác rất cao. Cũng giống nhƣ cách con ngƣời nhận biết các vật thể trong tự nhiên.
Kết luận chƣơng
Chƣơng 2 của luận văn đã đề cập chi tiết tới một số mơ hình đặc trƣng phổ biến của mạng học sâu. Nội dung đã đi phân tích, trình bày các hoạt động của mơ hình cũng nhƣ ứng dụng của chúng trong thực tế hiện nay. Từ đĩ lựa chọn đƣợc mơ hình cho bài tốn “Dự báo điểm tốt nghiệp của sinh viên Trƣờng Cao Đẳng Cơ Khí Nơng Nghiệp”.
47
CHƢƠNG 3 : ỨNG DỤNG MƠ HÌNH MẠNG HỌC SÂU CHO BÀI TỐN DỰ BÁO ĐIỂM TỐT NGHIỆP CHO SINH VIÊN
TRƢỜNG CAO ĐẲNG CƠ KHÍ NƠNG NGHIỆP
3.1. Tổng quan bài tốn
3.1.2. Bài tốn dự báo tỉ lệ sinh viên tốt nghiệp đúng tiến độ đào tạo
3.1.2.1. Quy chế đánh giá kết quả học tập của sinh viên Cao đẳng Cơ Khí Nơng Nghiệp
Hiện nay, tại Cao Đẳng Cơ Khí Nơng Nghiệp đang áp dụng quy định chung về chƣơng trình đào tạo và kiểm tra đánh giá cho tất các hình thức đào tạo trình độ trung cấp và cao đẳng hệ chính quy theo học hệ tín chỉ ban hành kèm theo Quyết định số 682/2017 QĐ-CĐNCKNN-ĐT ban hành ngày 19/5/2017 V/v tổ chức thực hiện chƣơng trình đào tạo trình độ trung cấp, trình độ cao đẳng theo phƣơng thức tích lũy modul/tín chỉ; Quy chế kiểm tra, thi, xét cơng nhận tốt nghiệp. Kết quả học tập của sinh viên đƣợc đánh giá qua các tiêu chí sau:
1. Tổng số tín chỉ của các mơn học/modul mà sinh viên đăng ký học cho mỗi học kỳ (gọi tắt là khối lƣợng học tập đăng ký).
2. Điểm trung bình chung (TBC) học kỳ là điểm trung bình các mơn học / modul mà ngƣời học đã học trong học kỳ/năm học/khĩa học đƣợc tính theo kết quả điểm thi kết thúc mơn học/modul lần thứ nhất.
3. Khối lƣợng kiến thức tích lũy là khối lƣợng tính bằng tổng số tín chỉ của những các mơn học/modul đạt điểm A, B, C, D tính từ đầu khĩa học.
4. Điểm TBC tích lũy là điểm trung bình cĩ trọng số của các các mơn học/modul đạt điểm A, B, C, D mà sinh viên đã tích lũy đƣợc, tính từ đầu khĩa học cho tới thời điểm đƣợc xem xét vào lúc kết thúc mỗi học kỳ.
5. Điểm TBC học kỳ/ năm học/ điểm TBC tích lũy dùng để xem xét việc điều chính tiến độ học, buộc thơi học đƣợc tính theo kết quả lần thi kết thúc mơn học, modul cĩ điểm cao nhất.
48
6. Mơn học Giáo dục thể chất, Giáo dục quốc phịng và an ninh là 2 mơn học điều kiện, khơng tính vào điểm TBC học kỳ, năm học, khĩa học, điểm TBC tích lũy, xếp loại tốt nghiệp, nhƣng là một trong những điều kiện xét hồn thành khối lƣợng học tập, xét điều kiện dự thi tốt nghiệp hoặc bảo vệ chuyên đề, khĩa luận tốt nghiệp và đƣợc ghi vào bảng điểm cấp kèm theo bằng tốt nghiệp [4].
Đồng nghĩa với bao gồm cả hình thức kiểm tra đánh giá, hình thức thi kết thúc học phần cho các hình thức đào tạo tập trung và khơng tập trung của trƣờng nhƣ: thi viết, vấn đáp và thi thực hành.
3.1.2.2. Bài tốn dự báo tỉ lệ sinh viên tốt nghiệp đúng tiến độ
Sinh viên tại Cao đẳng Cơ Khí Nơng Nghiệp tốt nghiệp khi đạt đủ các điều kiện cần nhƣ sau:
1) Cho đến thời điểm xét tốt nghiệp khơng bị truy cứu trách nhiệm hình sự hoặc khơng đang trong thời gian bị kỷ luật ở mức đình chỉ học tập.
2) Tích luỹ đủ số học phần và khối lƣợng của chƣơng trình đào tạo. 3) Điểm Trung bình chung tích luỹ của tồn khố đạt từ 2,00 trở lên.
4) Hồn thành các học phần điều kiện Giáo dục thể chất, Giáo dục quốc phịng và an ninh đạt yêu cầu.
5) Đối với sinh viên sau khi kết thúc 5 kỳ học mà khơng đạt đủ điều kiện làm Đồ án/khĩa luận tốt nghiệp, sinh viên đĩ phải học 02 học phần thay thế theo quy định.
Ta thấy để tốt nghiệp sinh viên cần đạt đủ 05 điều kiện trên, tuy nhiên để đơn giản trong luận văn sẽ bỏ qua 04 yếu tố đầu tiên và chỉ chọn yếu tố số (5). Từ yếu tố số (5) cho thấy bài tốn “Dự báo tỉ lệ sinh viên tốt nghiệp đúng tiến độ đào tạo” ta cần giải quyết bài tốn “Dự báo điểm của học phần thay thế Đồ án/khĩa luận tốt nghiệp”.
Từ đĩ dữ liệu của bài tốn “Dự báo điểm của học phần thay thế Đồ án/khĩa luận tốt nghiệp” ta cĩ thể tính tốn ra đƣợc tỉ lệ sinh viên tốt nghiệp đúng
49
ngành nên trong luận văn chỉ đề cập đến ngành Quản trị mạng máy tính . Từ đĩ cho thấy nhiệm vụ của phần thử nghiệm và đánh giá là:
Nhiệm vụ 1: Phân tích, đánh giá và mơ hình hố thơng tin điểm của sinh viên trong tập huấn luyện.
Trong đĩ Để thực hiện nhiệm vụ (1) trên luận văn cần thực hiện các cơng
việc sau:
a. Thu thập dữ liệu kết quả học tập của sinh viên của tất cả các khĩa thuộc ngành: Quản trị mạng máy tính.
b. Cài đặt và xây dựng mode cho các cơng cụ trợ giúp mơ hình hố dữ liệu bộ dữ liệu đƣa ra thành các biểu đồ trực quan ngồi ra cịn cĩ thể tự động hố một số thuật tốn Machine Learning giúp cho đánh giá dữ liệu tốt hơn.
Nhiệm vụ 2: Xây dựng mơ hình dự báo điểm của 02 học phần thay thế của Quản trị mạng máy tính
Để thực hiện nhiệm vụ (2) trên luận văn cần thực hiện các cơng việc sau:
a. Lựa chọn và thử nghiệm cài đặt một số mơ hình mạng Neural hồi quy. Mơ hình tổng quan của bài tốn Dự báo điểm của học phần thay thế Đồ án/khĩa luận tốt nghiệp sẽ đƣợc mơ tả nhƣ hình 3.1 dƣới đây:
Hình 3.1: Tổng quan mơ hình dự báo điểm của học phần thay thế Đồ án/khĩa luận tốt nghiệp
50
- Đầu vào của mạng: Gồm số neural tƣơng ứng với điểm của số học phần
điều kiện.
- Số lớp ẩn: Lựa chọn từ 2 đến 3 lớp ẩn. Việc lựa chọn từ 2 đến 3 lớp ẩn
dùng để so sánh tính chính xác giữa việc sử dụng nhiều hay ít lớp ẩn.
- Đầu ra của mạng: Gồm 1 đầu ra là điểm dự báo của học phần.
Từ đĩ cĩ thể dựa vào quy chế đánh giá kết quả học tập của sinh viên và quy chế đào tạo để biết đƣợc liệu sinh viên cĩ đủ điều kiện hồn thành học phần hay