Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động

Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động

TRƯỜNG ĐẠI HỌC LẠC HỒNG

* * *

NGUYỄN THỊ HOÀI THU

XÂY DỰNG HỆ PHÂN LOẠI VĂN BẰNG VÀ CHỨNG CHỈ

MỘT CÁCH TỰ ĐỘNG

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Đồng Nai, năm 2023

TRƯỜNG ĐẠI HỌC LẠC HỒNG

* * *

NGUYỄN THỊ HOÀI THU

XÂY DỰNG HỆ PHÂN LOẠI VĂN BẰNG VÀ CHỨNG CHỈ

MỘT CÁCH TỰ ĐỘNG

Chuyên ngành: Công nghệ thông tin

Mã số: 8480201

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Người hướng dẫn khoa học: PGS TS VŨ ĐỨC LUNG

Đồng Nai, 2023

LỜI CAM ĐOAN

Tôi xin cam đoan nội dung trình bày trong luận văn là công trình nghiên cứu của tôi, dưới sự hướng dẫn của Thầy PGS.TS Vũ Đức Lung, tại trường Đại học Lạc Hồng

Trong luận văn này, các kiến thức từ các công trình có liên quan được kế thừa lại

có trích dẫn đầy đủ Mã nguồn cài đặt của hệ thống, các thực nghiệm, kết quả, số liệu

và hình ảnh đã được sử dụng trong luận văn là trung thực

Nguyễn Thị Hoài Thu

LỜI CÁM ƠN

Lời đầu tiên, em xin được chân thành cảm ơn Trường Đại học Lạc Hồng đã tổ chức khóa học này, để em có điều kiện được học tập lĩnh hội các kiến thức mới và có thời gian để hoàn thành luận văn

Em xin chân thành cảm ơn Ban Giám hiệu, quý thầy cô Khoa Sau Đại Học và các thầy cô khoa Công nghệ thông tin trường Đại học Lạc Hồng đã tận tình truyền đạt, cung cấp những kiến thức quý báu cũng như các kỹ năng cần thiết, tạo điều kiện để em

có thể học tập và nghiên cứu tại trường

Em xin chân thành biết ơn đến thầy PGS.TS Vũ Đức Lung đã tận tình truyền đạt, định hướng, hỗ trợ, hướng dẫn em trong thời gian thực hiện luận văn Thầy đã tận tâm giúp đỡ em tiếp cận với khoa học, biết cách sáng tạo trong khoa học, áp dụng khoa học vào trong lĩnh vực em đang hoạt động và đạt được thành công trong bài nghiên cứu của mình

Trong quá trình hoàn thành luận văn mặc dù có nhiều cố gắng nhưng kiến thức còn hạn chế nên luận văn không khỏi những thiếu sót nhất định Em mong nhận được nhiều

ý kiến đóng góp quý báu của quý thầy cô, anh chị và các bạn để chất lượng luận văn hoàn thiện hơn

Người thực hiện

Nguyễn Thị Hoài Thu

TRƯỜNG ĐẠI HỌC LẠC HỒNG KHOA SAU ĐẠI HỌC TÓM TẮT LUẬN VĂN

(Dùng cho học viên và người hướng dẫn)

Đề tài: Xây dựng hệ phân loại văn bằng và chứng chỉ một cách tự động

Ngành: Công nghệ thông tin Mã số: 8480201

Học viên: Nguyễn Thị Hoài Thu

Người hướng dẫn: PGS.TS Vũ Đức Lung

NỘI DUNG TÓM TẮT

1 Nội dung được giao và kết quả mong đợi của người hướng dẫn

- Thu thập thông tin, dữ liệu, các nghiên cứu liên quan

- Tiền xử lý ảnh Phân tích dữ liệu

- Lựa chọn mô hình, giải thuật đề xuất và công nghệ sử dụng

- Xây dựng hệ thống

- Thử nghiệm và đánh giá kết quả

- Hoàn thiện hệ thống, viết báo cáo luận văn

2 Cách thức giải quyết vấn đề

Giải pháp đưa ra để giải quyết vấn đề bài toán “Xây dựng hệ phân loại văn bằng

và chứng chỉ một cách tự động” được thực hiện như sau:

- Thu thập dữ liệu: Bước đầu tiên trong quá trình phát triển mô hình học máy là thu thập dữ liệu Dữ liệu có thể được thu thập từ nhiều nguồn khác nhau Sau khi dữ liệu

đã được thu thập, nó cần được chuẩn hóa để đảm bảo rằng dữ liệu có định dạng thống nhất và có thể được sử dụng bởi mô hình học máy Dữ liệu chuẩn hóa sau đó có thể được

sử dụng để đào tạo và kiểm tra mô hình học máy Quá trình thu thập và chuẩn hóa dữ liệu là một phần quan trọng trong việc phát triển mô hình học máy Dữ liệu chất lượng cao là cần thiết để đảm bảo rằng mô hình học máy chính xác và hiệu quả Quá trình thu thập và chuẩn hóa dữ liệu là một phần quan trọng trong việc phát triển mô hình học máy

Dữ liệu chất lượng cao là cần thiết để đảm bảo rằng mô hình học máy chính xác và hiệu quả Đề tài này hướng đến nhận diện chứng chỉ công nghệ thông tin, chứng chỉ ngoại ngữ tiếng Việt, chứng chỉ ngoại ngữ tiếng Anh, văn bằng tiếng Việt, văn bằng tiếng Anh Văn bằng, chứng chỉ thường có nhiều màu sắc phổ biến như màu trắng, vàng, xanh, … Hình dạng của văn bằng, chứng chỉ gần giống như giấy chứng nhận và được thay đổi ở

nhiều góc độ dựa vào độ xoay theo chiều dọc, ngang, chéo thì hình dạng cũng thay đổi

về tỷ lệ văn bằng, chứng chỉ do góc chụp, góc nhìn, từ đó gây ra độ lệch nhất định

- Tiền xử lý dữ liệu: Dữ liệu xử lý trước, chuẩn hóa và làm sạch là một quá trình trong việc phát triển các mô hình học máy Quá trình này bao gồm việc chuẩn hóa định dạng dữ liệu, loại bỏ các giá trị nhiễu, chuyển đổi dữ liệu thành một định dạng tiêu chuẩn, loại bỏ các lỗi hoặc nhiễu khỏi dữ liệu và chia tập dữ liệu thành hai phần, tập huấn luyện và tập kiểm tra Tập huấn luyện được sử dụng để đào tạo mô hình, trong khi tập kiểm tra được sử dụng để đánh giá hiệu suất của mô hình Dữ liệu xử lý trước, chuẩn hóa và làm sạch là cần thiết để đảm bảo rằng mô hình học máy được đào tạo trên dữ liệu chất lượng cao Quá trình này giúp loại bỏ các lỗi hoặc nhiễu khỏi dữ liệu, giúp mô hình học máy chính xác hơn và hiệu quả hơn

Một số chi tiết về từng bước tiền xử lý dữ liệu:

+ Xử lý trước: Bước này bao gồm việc chuẩn hóa định dạng dữ liệu và loại bỏ các giá trị nhiễu

+ Chuẩn hóa: Bước này bao gồm việc chuyển đổi dữ liệu thành một định dạng tiêu chuẩn, chẳng hạn như định dạng số hoặc định dạng văn bản Điều này giúp mô hình học máy hiểu dữ liệu tốt hơn và học cách phân biệt các mẫu trong dữ liệu

+ Làm sạch: Bước này bao gồm việc loại bỏ các lỗi hoặc nhiễu khỏi dữ liệu Điều này có thể bao gồm việc loại bỏ các ảnh bị mờ, các ảnh bị nhiễu hoặc các ảnh bị lỗi + Chia dữ liệu: Tập dữ liệu được chia thành hai phần, tập huấn luyện và tập kiểm tra Tập huấn luyện được sử dụng để đào tạo mô hình, trong khi tập kiểm tra được sử dụng để đánh giá hiệu suất của mô hình Tập kiểm tra không được sử dụng để đào tạo

mô hình, nhưng nó được sử dụng để đánh giá hiệu suất của mô hình sau khi nó được đào tạo Điều này giúp đảm bảo rằng mô hình không bị quá khớp với dữ liệu huấn luyện

và có thể áp dụng kiến thức của nó cho dữ liệu mới

- Xây dựng mô hình máy học: Sử dụng các thuật toán Trí tuệ nhân tạo và Học máy như Học sâu (Deep Learning), kiến trúc mạng neural sâu (DNN), cụ thể là mô hình mạng SE-ResNeXt-50

- Huấn luyện mô hình: Đào tạo một mô hình học máy trên dữ liệu được xử lý trước

là một quá trình quan trọng trong việc phát triển các mô hình học máy chính xác và hiệu quả Quá trình này bao gồm việc cung cấp cho mô hình một tập dữ liệu lớn các hình ảnh

đã được dán nhãn với các loại chứng chỉ hoặc văn bằng khác nhau Mô hình sau đó sẽ

học cách phân biệt các loại chứng chỉ hoặc văn bằng khác nhau dựa trên các đặc điểm của chúng Quá trình này được thực hiện bằng cách sử dụng mô hình ResNeXt và cơ chế Squeeze-and-Excitation Trong nghiên cứu của mình, tôi đã nghiên cứu lý thuyết liên quan đến bài toán phát hiện và nhận dạng đối tượng trong ảnh, đào tạo nhận dạng bằng ML.NET và ứng dụng kiểm tra nhận dạng một số loại chứng chỉ, văn bằng Tôi đã phát triển một chương trình nhận dạng văn bằng và chứng chỉ từ ảnh bằng cách sử dụng DNN Chương trình này có thể phân biệt chính xác 98% các loại chứng chỉ và văn bằng Kết quả nghiên cứu của tôi cho thấy rằng việc đào tạo một mô hình học máy trên dữ liệu được xử lý trước là một cách hiệu quả để phát triển các mô hình học máy có thể phân biệt các loại chứng chỉ và văn bằng khác nhau với độ chính xác cao

- Đánh giá và tinh chỉnh mô hình: Quá trình này bao gồm việc sử dụng một tập dữ liệu chưa được sử dụng để đào tạo mô hình để đánh giá độ chính xác của mô hình Các phương pháp khác nhau có thể được sử dụng để đánh giá hiệu suất của mô hình, chẳng hạn như F1_score, Epoch, Accuracy…

- Triển khai hệ thống: Sau khi hoàn thành huấn luyện và tinh chỉnh mô hình, triển khai hệ thống phân loại văn bằng, chứng chỉ để có thể tự động xử lý dữ liệu mới

- Theo dõi và cải thiện: Theo dõi hiệu suất của hệ thống trong thời gian thực và cải thiện mô hình khi có dữ liệu mới và thông tin phản hồi từ người dùng

3 Đánh giá về mặt khoa học của kết quả

Bổ sung dữ liệu văn bằng, chứng chỉ và gán nhãn cho các đối tượng văn bằng, chứng chỉ trong toàn bộ 5.000 hình ảnh bao gồm 1.000 hình ảnh chứng chỉ công nghệ thông tin (CC_CNTT), 1.000 hình ảnh chứng chỉ ngoại ngữ tiếng Anh (CC_NN_TiengAnh), 1.000 hình ảnh chứng chỉ ngoại ngữ tiếng Việt (CC_NN_TiengViet), 1.000 hình ảnh văn bằng tiếng Anh (VanBang_TiengAnh), 1.000 hình ảnh văn bằng tiếng Việt (VanBang_TiengViet) được gán nhãn Tạo bộ dữ liệu 5.000 hình ảnh để huấn luyện và 250 hình ảnh để kiểm tra

Mục tiêu nghiên cứu đề ra là sử dụng được phần mềm demo nhận diện hình ảnh văn bằng, chứng chỉ dựa theo mô hình huấn luyện trên Visual Studio 2022 Luận văn nghiên cứu thành công có thể phát triển để ứng dụng vào việc tự động phân loại văn bằng, chứng chỉ của giáo viên trong ngành giáo dục Từ đó, cơ quan chức năng có những biện pháp phù hợp và kịp thời để xây dựng chiến lược phát triển bồi dưỡng năng lực chuyên môn của giáo viên tại các địa phương,…

4 Những vấn đề còn tồn tại so với nội dung được giao (nếu có)

Đồng Nai, ngày 01 tháng 07 năm 2023

PGS.TS Vũ Đức Lung Nguyễn Thị Hoài Thu

MỤC LỤC

LỜI CAM ĐOAN i

LỜI CÁM ƠN ii

TÓM TẮT LUẬN VĂN iii

MỤC LỤC vii

DANH MỤC HÌNH VẼ ix

DANH MỤC BẢNG xi

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT xii

CHƯƠNG I TỔNG QUAN 1

1.1 Lý do chọn đề tài 1

1.2 Các công trình nghiên cứu liên quan 2

1.2.1 Một số công trình nghiên cứu nước ngoài 2

1.2.2 Một số công trình nghiên cứu trong nước 2

1.3 Ý nghĩa tính khoa học và thực tiễn của đề tài 4

1.3.1 Tính khoa học 4

1.3.2 Tính ứng dụng 5

1.4 Mục tiêu luận văn 5

1.5 Nội dung thực hiện 6

1.6 Phạm vi nghiên cứu 6

1.7 Mô tả chung về hệ thống 6

1.8 Đóng góp và bố cục luận văn 7

1.8.1 Đóng góp của luận văn 7

1.8.2 Bố cục luận văn 7

CHƯƠNG II CƠ SỞ LÝ THUYẾT 9

2.1 Giới thiệu 9

2.2 Một số cơ sở lý thuyết 9

2.2.1 Học máy (Machine Learning) 9

2.2.2 Học sâu (Deep Learning) 13

2.2.3 Mạng Neural nhân tạo truyền thống (Artificial Neural Network) 15

2.2.4 Mạng Neural sâu (Deep Neural Network) 17

2.2.5 Một số kiến trúc mạng DNN có sử dụng kiến trúc ResNet hoặc dựa trên kiến trúc ResNet 21

2.3 Các phép đo đánh giá mô hình 21

2.3.1 Ma trận nhầm lẫn (Confusion Matrix) 21

2.3.2 Độ chính xác (Accuracy) 22

2.3.3 F1_score 23

2.4 Xử lý ảnh 24

2.5 Giới thiệu nền tảng máy học ML.NET của Microsoft 26

2.5.1 Tổng quan Azure 26

2.5.2 ML.NET là gì? 27

2.5.3 Một số đặc điểm của ML.NET 30

2.5.4 ML.NET hỗ trợ các bài toán nào liên quan đến máy học? 31

2.5.5 Có những cách nào để lập trình với ML.NET? 32

CHƯƠNG III XÂY DỰNG DATASET VÀ THIẾT KẾ CHƯƠNG TRÌNH PHÂN LOẠI VĂN BẰNG CHỨNG CHỈ 35

3.1 Xây dựng Dataset 35

3.2 Hướng tiếp cận của luận văn 37

3.3 Cài đặt, cấu hình môi trường thử nghiệm 40

3.4 Mô hình dự đoán SE-ResNeXt-50 41

3.5 Huấn luyện mô hình 43

3.5.1 Huấn luyện mô hình trên Local (CPU) 43

3.5.2 Huấn luyện mô hình trên Azure 45

3.6 Thiết kế và thực hiện 46

3.6.1 Ngôn ngữ lập trình 46

3.6.2 Mô tả thiết kế 47

CHƯƠNG IV THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 49

4.1 Kết quả thực nghiệm 49

4.2 Đánh giá mô hình 52

CHƯƠNG V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 58

5.1 Kết quả đạt được 58

5.2 Hạn chế 58

5.3 Hướng phát triển của đề tài 58

TÀI LIỆU THAM KHẢO 59

PHỤ LỤC 60

DANH MỤC HÌNH VẼ

Hình 1-1 Mô hình thiết kế 6

Hình 2-1 Phân loại Machine Learning 12

Hình 2-2 Các mô hình học sâu Deep Learning 13

Hình 2-3 Kiến trúc tổng quan của một mạng Neural nhân tạo 16

Hình 2-4 Mô hình Deep Neural Network [10] 18

Hình 2-5 Ma trận nhầm lẫn (Confusion Matrix) 22

Hình 2-6 Hình ảnh văn bằng tiếng Việt (VanBang_TiengViet) ban đầu 24

Hình 2-7 Một số dịch vụ và tài nguyên chính có sẵn trên Azure 26

Hình 2-8 Cơ chế làm việc của Machine Learning 28

Hình 2-9 Một số bài toán liên quan đến Machine Learning 31

Hình 2-10 Minh họa sự khác biệt giữa Image classification và Object detection 32

Hình 2-11 Một số cách để lập trình với ML.NET 33

Hình 3-1 Các bước dùng ML.NET để giải quyết bài toán 37

Hình 3-2 Giao diện mở Windows Forms App 38

Hình 3-3 Giao diện thêm Machine Learning vào dự án 39

Hình 3-4 Giao diện để Training model 39

Hình 3-5 Các ảnh trong thư mục để huấn luyện 40

Hình 3-6 Các ảnh trong thư mục để kiểm tra mô hình 40

Hình 3-7 Giao diện thiết lập môi trường huấn luyện trên Local (CPU) 43

Hình 3-8 Giao diện phân loại hình ảnh gán nhãn để bắt đầu huấn luyện 44

Hình 3-9 Giao diện tiến hành huấn luyện trên Local (CPU) 44

Hình 3-10 Giao diện kết quả đã huấn luyện xong 5.000 Images trên Local (CPU) 45

Hình 3-11 Đăng nhập tài khoản để huấn luyện trên nền tảng Azure 45

Hình 3-12 Giao diện kết quả đã huấn luyện xong 3.800 Images 46

Hình 3-13 Mô tả thiết kế 47

Hình 3-14 Giao diện phân loại văn bằng chứng chỉ 48

Hình 4-1 Một số hình ảnh khi huấn luyện cho kết quả khá tốt 51

Hình 4-2 Một số hình ảnh khi huấn luyện cho kết quả không tốt 52

Hình 4-3 Biểu đồ hiển thị Độ chính xác của quá trình huấn luyện trên nền tảng Azure 54

Hình 4-4 Biểu đồ thể hiện Accuracy khi huấn luyện 5.000 Images trên Azure 55

Hình 4-5 Hình ảnh thể hiện Confusion Matrix khi huấn luyện 56Hình 4-6 Biểu đồ thể hiện thông số F1_score_macro, F1_score_micro, Log_loss khi huấn 5.000 Images 57

DANH MỤC BẢNG

Bảng 4-1 Đánh giá mô hình huấn luyện trên Local (CPU) dựa trên một số thông số 52Bảng 4-2 Đánh giá mô hình huấn luyện trên nền tảng Azure dựa trên một số thông số 53

DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT

AI Artificial Intelligence Học máy và trí tuệ nhân tạo ANN Artificial Neural Network Mạng Neural nhân tạo

CLI Command Line Interface Giao diện dòng lệnh

CNN Convolutional Neural Network Mạng Neural tích chập

FNN Feedforward Neural Network Mạng Neural hồi quy

RNN Recurrent Neural Networks Mạng Neural tái tạo

ResNet Residual Network

SE Squeeze-and-Excitation

SSAE Stacked Sparse Autoencoders

SMV Support Vector Machines Máy hỗ trợ Vector

CHƯƠNG I TỔNG QUAN 1.1 Lý do chọn đề tài

Học máy và trí tuệ nhân tạo (Artificial Intelligence - AI) đã đạt được những tiến

bộ đáng kể trong thế giới công nghệ ngày nay Các thuật toán phân loại và mô hình học máy đã trở nên mạnh mẽ và linh hoạt để xử lý và phân loại dữ liệu phức tạp Đồng thời, việc sử dụng công nghệ chuỗi khối và mã hóa dữ liệu đảm bảo tính bảo mật và toàn vẹn của thông tin Hiện nay, các cơ quan hành chính, sự nghiệp, công ty ngày càng có nhu cầu số hóa tài liệu văn bản để thuận tiện cho việc lưu trữ và xử lý Song song với nhu cầu này là vấn đề nhận dạng văn bản nói chung, văn bằng chứng chỉ nói riêng và trích xuất nội dung văn bản trong các tài liệu hình ảnh hoặc tệp pfd, đã nhận được sự quan tâm ngày càng tăng trong cộng đồng khoa học trong những năm gần đây

Trong thời đại hiện nay, số lượng văn bằng và chứng chỉ được tạo ra ngày càng tăng lên, đặc biệt trong các lĩnh vực giáo dục, đào tạo văn bằng và chứng chỉ ứng dụng công thông tin, ngoại ngữ Việc phân loại và xác định tính hợp lệ của các tài liệu này trở nên cực kỳ quan trọng, nhưng thủ công làm điều này mất thời gian và tốn công sức Do

đó, xây dựng một hệ phân loại tự động có khả năng nhận diện và phân loại văn bằng và chứng chỉ sẽ mang lại lợi ích rất lớn Việc xây dựng một hệ phân loại văn bằng và chứng chỉ một cách tự động là một bước tiến đáng kể trong việc áp dụng học máy và trí tuệ nhân tạo vào lĩnh vực giáo dục và đào tạo

Ngoài việc thẩm định, kiểm tra đối với năng lực, trình độ, bằng cấp, học hàm, học vị chuyên môn thì còn phải thẩm định, đánh giá năng lực nghiệp vụ sư phạm đối với lực lượng này Do đó nhu cầu đối với đơn vị quản lý phải hệ thống hóa các cơ sở, trung tâm đào tạo, hệ thống hóa nguồn lực, hệ thống hóa, phân loại chứng chỉ, nghiệp

vụ để thuận lợi trong việc tra cứu, kiểm tra tính hợp lệ

Trên cơ sở những lý do trên, nhu cầu về một công cụ hỗ trợ cho công tác quản lý

hồ sơ giáo viên thông qua việc phân loại kiểm tra tính hợp lệ đối với các chứng chỉ nghiệp vụ sư phạm của giáo viên tại các đơn vị trường học là cần thiết Việc xây dựng một hệ phân loại văn bằng và chứng chỉ tự động có thể mang lại nhiều lợi ích đáng kể

và có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực

Trong luận văn này nghiên cứu đề xuất sử dụng các phương pháp, kỹ thuật nhận dạng đối tượng để giúp phân loại, xác định chính xác mẫu văn bằng, chứng chỉ với độ tin cậy đạt ngưỡng yêu cầu để có thể triển khai ứng dụng tại các đơn vị trường học

1.2 Các công trình nghiên cứu liên quan

1.2.1 Một số công trình nghiên cứu nước ngoài

Trong công trình [4] bài viết đã nghiên cứu phân loại hình ảnh bằng cách sử dụng học sâu Sử dụng kiến trúc AlexNet với mạng nơ-ron tích tụ cho mục đích phân loại hình ảnh bằng học sâu Kết quả đạt được của công trình cho thấy hiệu quả của việc phân loại hình ảnh (hải quỳ, Barometer, ống nghe, liên lạc vô tuyến) dựa trên học sâu bằng cách

sử dụng AlexNet

Trong công trình [5] bài viết đã nghiên cứu phân loại hình ảnh bằng cách sử dụng học sâu Sử dụng mạng tích chập (CNN) được sử dụng để phân loại hình ảnh bằng học giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning) Kết quả đạt được của công trình là đưa ra được hiệu quả của việc phân loại hình dựa trên học sâu bằng cách sử dụng mạng tích chập (CNN)

Nhóm nghiên cứu của Mahadeokar [6] từ Yahoo đã đề xuất một giải pháp học sâu để phát hiện những hình ảnh không khả thi bằng cách sử dụng mô hình mạng ResNet-50 đã được đào tạo Mô hình này cũng sử dụng phương pháp học chuyển với

mô hình được đào tạo trước được đào tạo trước trên bộ dữ liệu ImageNet 100 lớp Tại mỗi lớp mạng, lớp mạng cuối cùng được thay thế bằng lớp mạng được kết nối đầy đủ bao gồm hai nút đại diện cho hai lớp, cho dù có an toàn hay không Các trọng số của mô hình sau đó được điều chỉnh dựa trên quá trình đào tạo trên bộ dữ liệu NSFW Chạy mô hình sẽ đưa ra các phép đo cho mỗi hình ảnh Nếu chỉ số đọc cao, ảnh được coi là không

an toàn và ngược lại, ảnh an toàn Điều này đã được chứng minh là một phương pháp hiệu quả để phát hiện những hình ảnh không khả thi, với độ chính xác đạt hơn 90% trên

bộ dữ liệu thử nghiệm Phương pháp này cũng nhanh chóng và hiệu quả về mặt tính toán, làm cho nó phù hợp cho việc triển khai trong thời gian thực

1.2.2 Một số công trình nghiên cứu trong nước

Trong công trình [1] bài viết đã nêu lên được các mục tiêu nghiên cứu các phương pháp phân lớp văn bản và lưu ý đặc tính riêng của Tiếng Việt Nghiên cứu các công cụ sẵn có và lựa chọn thử nghiệm cũng như đề xuất cho bài toán phân lớp văn bản Tiếng Việt Áp dụng thử nghiệm phân lớp các văn bản tin tức trên các trang web tin tức thông dụng nhất của Việt Nam hiện nay như vnexpress.net, 24h.com.vn Kết quả đạt được của công trình cho thấy hệ thống hóa các lý thuyết liên quan tới bài toán phân lớp văn bản, đặc biệt là trình bày chi tiết các thuật toán máy học Nghiên cứu về bộ công cụ

Facebook’s FastText ứng dụng cho bài toán phân lớp văn bản bằng tiếng Việt và thiết kế một ứng dụng hỗ trợ labeling giúp chuyển các dữ liệu dưới dạng thông dụng được lưu trữ trong thư mục thành dạng dữ liệu chuẩn của fasttext giúp người dùng nhanh chóng

có dữ liệu mình mong muốn Nghiên cứu cài đặt và thử nghiệm phân lớp văn bản tiếng Việt với hai bộ dữ liệu Training và Testing, mỗi bộ có 8 lớp, mỗi lớp có 100 file dùng

để Training và 30 file dùng để Testing

Trong công trình [2] bài viết đã nghiên cứu và khảo sát các công trình liên quan đến rút trích thông tin trên các chứng chỉ nghiệp vụ Nghiên cứu các thuật toán để tối ưu việc rút trích Từ đó, đề xuất giải pháp kết hợp nhận dạng đối tượng và OCR để trích xuất thông tin văn bằng chứng chỉ Kết quả đạt được của công trình là xây dựng và cài đặt phần mềm hỗ trợ công việc rút trích thông tin từ văn bằng chứng chỉ dựa trên các giải pháp đề xuất trên luận văn

Trong công trình [3] bài viết đã nghiên cứu việc xây dựng một hệ thống quản lý văn bằng, chứng chỉ Nghiên cứu phần mềm mã nguồn mở MySQL để xây dựng hệ thống Nghiên cứu cơ chế bảo mật của một hệ quản trị mã nguồn mở SQL Trên cơ sở nghiên cứu một số giải thuật mới, có độ an toàn cao, xây dựng một số cơ chế mã hóa password mới của riêng mình trong MySQL Kết quả đạt được của công trình là nắm được cơ sở lý thuyết về tổng quan, cấu trúc, tiêu chuẩn và ứng dụng của dịch vụ Web Phân tích, thiết kế và xây dựng thành công hệ thống thông tin quản lý văn bằng, chứng chỉ theo cơ chế một cửa điện tử hỗ trợ tiếp nhận và xử lý hồ sơ văn bằng, chứng chỉ tại các cơ sở giáo dục Tiếp nhận, luân chuyển, xử lý hồ sơ, tra cứu kết quả giải quyết hồ

sơ qua mạng

Trong công trình nghiên cứu [7] Trịnh, Trung Hải, Bùi Xuân Thiện, Nguyễn Lê Tùng Khánh, Nguyễn Hà Huy Cường Xây dựng hệ thống nhận dạng phân loại trái cây chín tiếp cận mạng Nơron tích chập (CNN) ISBN: 978-604-84-5998-7, 2021 Xu hướng

tự động hóa trong nông nghiệp hay còn gọi là nông nghiệp thông minh đang được phát triển một cách mạnh mẽ trong giai đoạn chuyển đổi số thời kỳ công nghiệp hiện nay Cùng với đó việc ứng dụng khoa học, kỹ thuật để tối ưu hóa các sản phẩm đầu ra của nông nghiệp đang là vấn đề cấp bách được Chính Phủ và Người nông dân quan tâm trong những năm gần đây Trong đó, việc ứng dụng khoa học, kỹ thuật để phân tích, nhận dạng, bảo quản và chế biến trái cây nhằm mang lại hiệu quả kinh tế cho nông sản Việt là xu hướng nghiên cứu rất mới có tác động tích cực đến hoạt động nông nghiệp

công nghệ cao Trong bài báo này, chúng tôi tập trung nghiên cứu quá trình phân tích, nhận dạng hình ảnh trái cây bằng kỹ thuật thị giác máy tính (Computer Visions), kết hợp mạng nơ-ron tích chập đa lớp (CNN) để xây dựng hệ thống tự động xử lý nhận dạng và phân loại trái cây

Những tài liệu trên nhằm xây dựng được hệ phân loại văn bằng và chứng chỉ nhằm giúp giảm tải công tác lưu trữ, truy xuất thông tin cho Phòng Giáo dục và Đào tạo huyện Nhơn Trạch

1.3 Ý nghĩa tính khoa học và thực tiễn của đề tài

1.3.1 Tính khoa học

Xây dựng hệ thống phân loại và chứng chỉ văn bằng tự động là một vấn đề phức tạp đòi hỏi sự kết hợp của nhiều kỹ thuật máy học và trí tuệ nhân tạo Những công nghệ này cho phép máy tính tự học và cải thiện khả năng phân loại thông qua việc xử lý dữ liệu huấn luyện Tính khoa học còn phụ thuộc vào việc thu thập và sử dụng dữ liệu huấn luyện đủ lớn, dữ liệu đóng vai trò quan trọng trong việc cung cấp thông tin cho mô hình máy học và đảm bảo tính chính xác và đáng tin cậy của hệ thống phân loại

Hiện nay các công nghệ nhận dạng và trí tuệ nhân tạo đang được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau của đời sống, trong đó có lĩnh vực giáo dục Văn bằng, chứng chỉ là một trong những hồ sơ quan trọng của giáo viên Trong luận văn, tôi

đã nghiên cứu các lý thuyết liên quan đến bài toán nhận dạng, phát hiện đối tượng trong ảnh từ đó áp dụng thử nghiệm vào việc phát hiện một số văn bằng, chứng chỉ Các nội dung này có tính khoa học cao do áp dụng các phương pháp, kỹ thuật tiên tiến vào một lĩnh vực giáo dục, đóng góp nhất định cho cộng đồng nghiên cứu khoa học

Hệ thống phân loại và chứng chỉ văn bằng tự động có thể đạt được độ chính xác cao Hệ thống này có thể được sử dụng để tự động hóa quy trình phân loại và chứng chỉ văn bằng, giúp tiết kiệm thời gian và công sức cho các cán bộ quản lý giáo dục Ngoài

ra, hệ thống này có thể được sử dụng để kiểm tra tính xác thực của văn bằng, chứng chỉ

Việc tính toán hiệu quả về thời gian khi người và máy làm việc phân loại văn bằng và chứng chỉ phụ thuộc vào nhiều yếu tố, bao gồm mức độ tự động hóa của hệ thống, loại dữ liệu và mức độ chính xác cần thiết Cụ thể:

+ Tự động hóa và quy mô công việc: Nếu quá trình phân loại tự động, nó có thể tiết kiệm rất nhiều thời gian, đặc biệt là khi xử lý lượng lớn dữ liệu Các mô hình học máy và học sâu có thể thực hiện phân loại nhanh chóng và hiệu quả

+ Yêu cầu về độ chính xác: Độ chính xác là yếu tố quan trọng và là ưu tiên hàng đầu Khi máy làm việc sẽ có độ chính xác tốt hơn con người

+ Thời gian: Khi máy làm việc phân loại văn bằng và chứng chỉ sẽ tiết kiệm được thời gian vì máy tính khi xử lý công việc sẽ không biết mệt mỏi, không cần nghỉ ngơi Giúp con người có thể làm những công việc khác

Do đó, việc lựa chọn máy làm việc phân loại văn bằng và chứng chỉ sẽ đáp ứng được khoa học

1.3.2 Tính ứng dụng

Hệ thống phân loại và chứng chỉ văn bằng tự động có thể được sử dụng để tự động hóa quy trình phân loại và chứng chỉ văn bằng, giúp tiết kiệm thời gian và nguồn lực cho các tổ chức giáo dục, doanh nghiệp hoặc nhà tuyển dụng Ngoài ra, hệ thống này có thể được sử dụng để kiểm tra tính xác thực của văn bằng, chứng chỉ

Hệ thống này cũng có thể được sử dụng để tự động phát hiện và kiểm tra dựa trên

dữ liệu của giáo viên Điều này có thể giúp các cơ quan chức năng có những kế hoạch,

lộ trình phù hợp và kịp thời để đảm bảo nâng cao năng lực chuyên môn, chất lượng giảng dạy trong cơ quan tổ chức có liên quan

Hệ thống phân loại và chứng chỉ văn bằng tự động là một công cụ có giá trị có thể được sử dụng để cải thiện hiệu quả và hiệu quả của nhiều tổ chức Hệ thống này có tiềm năng tiết kiệm thời gian và tiền bạc và nâng cao chất lượng giảng dạy

1.4 Mục tiêu luận văn

Nhận dạng đối tượng qua ảnh là một bài toán nhận dạng máy tính liên quan đến việc xác định các đối tượng trong ảnh Đây là một bài toán quan trọng trong nhiều lĩnh vực, bao gồm thị giác máy tính, trí tuệ nhân tạo và xử lý hình ảnh

Trong luận văn này, tôi đã nghiên cứu các lý thuyết về nhận dạng đối tượng qua ảnh để áp dụng phát hiện văn bằng, chứng chỉ thông qua ảnh chụp Tôi đã phát triển một

hệ thống có thể phát hiện văn bằng, chứng chỉ trong ảnh chụp với độ chính xác cao Hệ thống này có thể được sử dụng để tự động hóa quy trình kiểm tra và xác thực văn bằng, chứng chỉ, giúp tiết kiệm thời gian và nguồn lực cho các tổ chức giáo dục và doanh nghiệp

Kết quả nghiên cứu của đề tài này nhằm giúp cải thiện hiệu quả của nhiều tổ chức trong P.GD&ĐT Nhơn Trạch Hệ thống này cũng có tiềm năng tiết kiệm thời gian và tiền bạc và nâng cao chất lượng giảng dạy

1.5 Nội dung thực hiện

- Tìm hiểu tình hình trong và ngoài nước các phương pháp, thuật toán đặc biệt là các thuật toán máy học sâu, phát hiện văn bằng, chứng chỉ thông qua ảnh chụp

- Thu thập dữ liệu và xử lý dữ liệu chuẩn hoá để có thể huấn luyện và thử nghiệm dùng trong các phương pháp học máy

- Thiết kế, xây dựng chương trình phát hiện văn bằng, chứng chỉ thông qua ảnh chụp

- Tiến hành thử nghiệm và phân tích các kết quả đạt được

- Viết báo cáo luận văn

1.8 Đóng góp và bố cục luận văn

1.8.1 Đóng góp của luận văn

Nghiên cứu này đã hệ thống hóa các lý thuyết liên quan đến bài toán phân loại văn bằng, chứng chỉ Điều này có thể giúp cho những ai đang giải quyết vấn đề này sau này dễ dàng tiếp thu Dataset được nghiên cứu này thu thập, chuẩn hóa đã góp phần quan trọng trong vấn đề xác định và phân loại văn bằng, chứng chỉ trong giới NCKH Ngoài ra, kinh nghiệm xây dựng và triển khai chương trình cũng góp phần ít nhiều cho những ai muốn ứng dụng vào thực tế

Cung cấp cái nhìn tổng quan về các phương pháp phân loại khác nhau Luận văn cũng đã cung cấp cái nhìn tổng quan về các phương pháp phân loại khác nhau có thể được sử dụng để phân loại văn bằng và chứng chỉ Điều này giúp các nhà nghiên cứu và nhà phát triển hệ thống hiểu rõ hơn về các lựa chọn có sẵn và chọn phương pháp phù hợp nhất với mục đích của họ Đề xuất các phương pháp mới hoặc cải tiến các phương pháp hiện có Giúp cải thiện độ chính xác, hiệu quả và khả năng mở rộng của hệ thống phân loại Tạo dữ liệu mới và bộ dữ liệu tiêu chuẩn Luận văn cho phép chúng ta so sánh hiệu quả thực hiện của các phương pháp phân loại khác nhau dựa trên đặc điểm của các văn bằng, chứng chỉ khác nhau

Với những đóng góp này, nghiên cứu đã góp phần thúc đẩy sự phát triển của lĩnh vực nhận dạng, phân loại văn bằng, chứng chỉ Nghiên cứu cũng đã cung cấp một tài liệu tham khảo cho các nhà nghiên cứu và những người quan tâm đến lĩnh vực này

1.8.2 Bố cục luận văn

Luận văn được trình bày trong 5 chương như sau:

Chương 1: Tổng quan đề tài

Trình bày tổng quan về đề tài của luận văn, lý do chọn đề tài, tìm hiểu tình hình phát triển của nhận diện trong và ngoài nước thấy sự cần thiết của việc nghiên cứu nhận diện, phân loại văn bằng, chứng chỉ thông qua các hình ảnh, tự động phát hiện và phân loại văn bằng, chứng chỉ dựa trên dữ liệu của giáo viên Từ đó, cơ quan chức năng có những kế hoạch, lộ trình phù hợp và kịp thời để đảm bảo nâng cao năng lực chuyên môn, chất lượng giảng dạy của giáo viên trong cơ quan tổ chức có liên quan…

Chương 2: Cơ sở lý thuyết

Giới thiệu một số cơ sở lý thuyết, giới thiệu về Azure, ML.net và các phiên bản ML.net, độ chính xác và xử lý ảnh để phù hợp với mô hình học sâu cũng như các phương pháp đánh giá mô hình nhận dạng vật thể

Chương 3: Xây dựng dataset và thiết kế chương trình phân loại văn bằng, chứng chỉ

Sử dụng bộ CSDL của P.GD&ĐT Nhơn Trạch và dữ liệu thu thập được, xử lý dữ liệu chuẩn hoá, gắn nhãn Ứng dụng DL để thiết kế một hệ thống phân loại văn bằng, chứng chỉ từ ảnh chụp

Chương 4: Thử nghiệm và đánh giá kết quả

Thử nghiệm và cho ra kết quả, từ đó nhận dạng ưu và nhược điểm của phương pháp đã triển khai trong luận văn

Chương 5: Kết luận và hướng phát triển

Tổng kết về luận văn, phân tích ưu và nhược điểm của hệ thống, từ đó đưa ra các hướng phát triển, cải tiến trong tương lai cho đề tài

CHƯƠNG II CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu

Để giải quyết bài toán mà luận văn đặt ra, việc đầu tiên là cần nghiên cứu các lý thuyết liên quan đến bài toán phát hiện đối tượng trong ảnh để áp dụng vào phát hiện và phân loại văn bằng, chứng chỉ trong ảnh Thứ hai là sau khi tìm kiếm đã có bộ dataset 1.000 ảnh về văn bằng, chứng chỉ tương đối chuẩn, có thể áp dụng được Tuy nhiên chứng chỉ công nghệ công tin, chứng chỉ ngoại ngữ trong bộ dataset đó chưa phong phú

đa dạng, chưa đảm bảo được các thể loại biểu mẫu chứng chỉ Để đa dạng và dễ quản lý hơn về chứng chỉ ngoại ngữ, chứng chỉ ngoại ngữ được tách thành hai loại: chứng chỉ ngoại ngữ tiếng Việt và chứng chỉ ngoại ngữ tiếng Anh Ngoài ra, bổ sung thêm 4.000 hình ảnh để có được dataset chuẩn với toàn bộ 5.000 hình ảnh bao gồm 1.000 hình ảnh chứng chỉ công nghệ thông tin (CC_CNTT), 1.000 hình ảnh chứng chỉ ngoại ngữ tiếng Anh (CC_NN_TiengAnh), 1.000 hình ảnh chứng chỉ ngoại ngữ tiếng Việt (CC_NN_TiengViet), 1.000 hình ảnh văn bằng tiếng Anh (VanBang_TiengAnh), 1.000 hình ảnh văn bằng tiếng Việt (VanBang_TiengViet) cho việc dùng máy học huấn luyện

và đánh giá độ chính xác cao hơn

Việc đánh dấu khoanh vùng dữ liệu là tốn nhiều công sức nhất vì phải khoanh vùng từng đối tượng có trong ảnh bằng tay, gắn nhãn cho từng đối tượng, sau đó đưa ra tọa độ và nhãn của từng khung, nhờ vậy mới có thể chuyển dữ liệu đánh dấu thành dạng text để mô hình có thể học được

2.2 Một số cơ sở lý thuyết

2.2.1 Học máy (Machine Learning)

Học máy (Machine Learning - ML) là một lĩnh vực của Trí tuệ nhân tạo (Artificial Intelligence - AI) tập trung vào việc xây dựng và phát triển các hệ thống có khả năng học hỏi và tự điều chỉnh từ dữ liệu mà không cần được lập trình một cách cụ thể Môn khoa học nhằm phát triển những thuật toán và mô hình thống kê mà các hệ thống máy tính sử dụng để thực hiện dựa vào khuôn mẫu có sẵn từ đó suy luận mà không cần phải hướng dẫn cụ thể Ví dụ như các máy có thể "học" cách phân loại thư điện tử xem có phải thư rác (spam) hay không và tự động xếp thư vào thư mục tương ứng Học máy rất gần với suy diễn thống kê (statistical inference) tuy có khác nhau về thuật ngữ Một nhánh của học máy là học sâu phát triển rất mạnh mẽ hiện nay và có những kết quả vượt trội so với các phương pháp học máy khác Nghiên cứu của máy học giúp tự động hóa

và tối ưu hóa quá trình Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà

dữ liệu đầu vào và đầu ra mong muốn, tức là đã biết kết quả mong đợi cho từng dữ liệu đầu vào Ưu điểm của học có giám sát là tính đơn giản và thiết kế dễ dàng

Ví dụ, trong bài toán phân loại email vào hai loại "spam" và "không spam," dữ liệu đào tạo sẽ gồm các email đã được gán nhãn "spam" hoặc "không spam" trước đó

Mô hình học máy được huấn luyện dựa trên tập dữ liệu này để học cách phân loại các email mới vào hai loại

Cách hoạt động của học có giám sát là mô hình học máy nhận dữ liệu đầu vào và tìm cách ánh xạ chính xác đến kết quả đầu ra tương ứng Trong quá trình huấn luyện,

mô hình được điều chỉnh thông qua việc so sánh kết quả dự đoán với kết quả đầu ra thực

tế từ tập dữ liệu đào tạo, và mục tiêu là giảm thiểu sai số giữa các dự đoán và nhãn đích

Học có giám sát là một trong những phương pháp quan trọng và phổ biến nhất trong học máy vì nó cho phép xây dựng các mô hình có khả năng dự đoán và phân loại

dữ liệu mới mà chúng ta đã biết đầu ra mong đợi Tuy nhiên, để thành công, học có giám sát yêu cầu một tập dữ liệu đào tạo đủ lớn và đa dạng để mô hình có thể học được các quy luật và đặc điểm chung từ dữ liệu

Học không giám sát (Unsupervised Learning): là một phương pháp học máy trong lĩnh vực trí tuệ nhân tạo, ngược lại với học có giám sát (Supervised Learning) Trong học không giám sát, mô hình học máy được huấn luyện từ tập dữ liệu không có nhãn hoặc không có đầu ra mong muốn được gán trước Thay vì cung cấp cho mô hình các cặp dữ liệu đầu vào và đầu ra mong muốn, học không giám sát chỉ cung cấp các dữ liệu đầu vào và cho phép mô hình tự tìm hiểu cấu trúc, mối quan hệ và cách tổ chức của dữ liệu Mục tiêu của học không giám sát thường là tìm hiểu những cấu trúc ẩn trong dữ liệu, như các cụm dữ liệu, phân phối xác suất, hoặc biểu đồ tương quan Một số phương pháp học không giám sát phổ biến gồm: Phân cụm (Clustering): Phân cụm là quá trình

chia dữ liệu thành các nhóm nhỏ dựa trên các đặc trưng tương tự Ví dụ, một thuật toán phân cụm có thể chia người dùng thành các nhóm dựa trên hành vi mua hàng tương tự Giảm chiều dữ liệu (Dimensionality Reduction): Giảm chiều dữ liệu là quá trình giảm

số chiều của dữ liệu mà vẫn giữ lại các thông tin quan trọng Điều này giúp giảm khối lượng tính toán và tăng hiệu suất cho việc xử lý dữ liệu Gom nhóm dữ liệu (Anomaly Detection): Gom nhóm dữ liệu là quá trình xác định các điểm dữ liệu không tuân theo các mô hình hoặc mẫu thông thường Mô hình hỗn hợp (Mixture Models): Mixture Models là các mô hình sử dụng để mô tả dữ liệu có thể được tạo ra từ nhiều phân phối xác suất khác nhau Học không giám sát rất hữu ích khi chúng ta muốn tìm hiểu cấu trúc của dữ liệu mà không cần có nhãn hoặc đầu ra mong muốn trước đó Nó cũng là một công cụ quan trọng trong việc tiền xử lý dữ liệu và chuẩn bị dữ liệu cho các tác vụ học máy khác

Học nửa giám sát (Semi-supervised Learning) là một phương pháp học máy kết hợp giữa học có giám sát và học không giám sát Trong học nửa giám sát, chúng ta sử dụng cả dữ liệu có nhãn (đã được gán nhãn) và dữ liệu không nhãn (không có nhãn) để huấn luyện mô hình học máy Ưu điểm của học nửa giám sát là không cần một lượng lớn dữ liệu được gắn nhãn Trong môi trường học nửa giám sát, việc có một lượng lớn

dữ liệu không nhãn là khá thường xuyên và dữ liệu có nhãn có thể có ít hơn Mục tiêu của học nửa giám sát là tận dụng cả hai loại dữ liệu này để tạo ra mô hình học máy có khả năng học từ những dữ liệu đã được gán nhãn và từ các cấu trúc, mẫu tiềm ẩn trong

dữ liệu không nhãn Có một số phương pháp chính để thực hiện học nửa giám sát: Gán nhãn bằng cách sử dụng mô hình: Một phương pháp phổ biến là sử dụng mô hình học máy có sẵn để dự đoán nhãn cho các điểm dữ liệu không nhãn Sau đó, các nhãn được

dự đoán này được xem như là dữ liệu có nhãn để huấn luyện mô hình chính Phân loại chung (Co-training): Phân loại chung là một phương pháp trong đó mô hình học máy được huấn luyện trên hai tập dữ liệu khác nhau đồng thời và độc lập Mỗi tập dữ liệu chứa một phần của dữ liệu có nhãn và một phần của dữ liệu không nhãn Phân loại tiếp cận hai giai đoạn (Two-step Approaches): Phương pháp này chia quá trình học thành hai giai đoạn Trước tiên, mô hình được huấn luyện bằng cách sử dụng dữ liệu có nhãn Sau

đó, mô hình được điều chỉnh và đánh giá bằng cách sử dụng dữ liệu không nhãn Học nửa giám sát hữu ích trong nhiều trường hợp khi dữ liệu có nhãn có giới hạn hoặc đòi

hỏi chi phí cao để thu thập nhãn Bằng cách sử dụng dữ liệu không nhãn, học nửa giám sát giúp tận dụng tối đa nguồn dữ liệu có sẵn và tăng cường khả năng học của mô hình

Học tăng cường (Reinforcement Learning): là một phương pháp học máy trong lĩnh vực trí tuệ nhân tạo, nơi một hệ thống hoạt động tương tác với môi trường và học

từ kinh nghiệm thông qua việc nhận phần thưởng (reward) hoặc phạt (penalty) từ các hành động của nó Trong học tăng cường, môi trường được mô tả bằng một tập trạng thái (state) và một tập hành động (action) có thể thực hiện từ mỗi trạng thái Mục tiêu của hệ thống học tăng cường là học cách chọn hành động tối ưu từ mỗi trạng thái để tối

đa hóa tổng phần thưởng (reward) tích lũy trong thời gian dài Cách hoạt động của học tăng cường:

+ Trạng thái (State): Đầu tiên, hệ thống quan sát trạng thái hiện tại của môi trường, mô tả thông tin về tình hình hiện tại của nó

+ Hành động (Action): Tiếp theo, dựa vào trạng thái hiện tại, hệ thống chọn một hành động để thực hiện từ tập hành động có sẵn

+ Phần thưởng (Reward): Sau khi thực hiện hành động, hệ thống nhận được một phần thưởng (hoặc phạt) từ môi trường, phản ánh hiệu quả của hành động đó

+ Học tối ưu: Dựa vào phần thưởng nhận được, hệ thống cập nhật chính sách hành động của mình để học cách chọn hành động tối ưu trong các trạng thái khác nhau

+ Lặp lại quá trình: Quá trình này tiếp tục lặp lại nhiều lần, cho đến khi hệ thống học được một chính sách tối ưu để đạt được tổng phần thưởng lớn nhất

Hình 2-1 Phân loại Machine Learning

2.2.2 Học sâu (Deep Learning)

Học sâu (Deep Learning - DL) là một lớp của các thuật toán học máy sử dụng nhiều lớp để trích xuất dẫn các thuộc tính cấp cao hơn từ dữ liệu thô đầu vào, dựa trên một tập hợp các thuật toán để cố gắng xây dựng mô phỏng theo não người một cách trừu tượng hóa ở mức cao, bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp Thuật toán DL phân tích dữ liệu theo cấu trúc logic tương tự như logic của con người

Deep Learning là một phần của Machine Learning, một ngành rất rộng và nặng

về toán, gồm rất nhiều thuật toán và mỗi thuật toán có ứng dụng riêng tùy vào bài toán: Linear Regression, Logistic Regression, Decision Tree and Random Forest, Naive Bayes, Support Vector Machines, K-Nearest Neighbors, Principal component analysis (PCA), Neural network

Hình 2-2 Các mô hình học sâu Deep Learning

Ở hình 2.2 Các mô hình học sâu Deep Learning, bao gồm một số các mô hình như:

+ Mạng Neural tái tạo (Recurrent Neural Networks - RNN) được thiết kế để mô hình hóa dữ liệu tuần tự RNN được sử dụng rộng rãi trong các lĩnh vực khác nhau như

xử lý ngôn ngữ tự nhiên (NLP), phát hiện hoạt động của con người, dự đoán chữ viết tay và hiểu ngữ nghĩa RNN bao gồm các đơn vị: đơn vị đầu vào, đơn vị ẩn và đơn vị đầu ra Các đơn vị ẩn được coi là các yếu tố lưu trữ Mỗi thực thể RNN đưa ra quyết định dựa trên đầu ra của đầu vào hiện tại và đầu vào trước đó Điều này cho phép RNN

Các mô hình học sâu Deep Learning

RNN

ANN

DNN

CNN DBN

học được các mối quan hệ dài hạn giữa các dữ liệu, là điều mà ANN truyền thống không thể làm được Đối với các hệ thống phát hiện xâm nhập (IDS), RNN có thể được sử dụng để phân loại có giám sát hoặc trích xuất tính năng IDS dựa trên RNN đã được đề xuất trong một số nghiên cứu để phân loại nhị phân và đa lớp trong bộ dữ liệu NSL-KDD Mô hình đã được thử nghiệm bằng cách sử dụng một số nút ẩn và tốc độ học tập khác nhau Kết quả cho thấy tốc độ học và số nút ẩn ảnh hưởng đến độ chính xác của

mô hình Một số ưu điểm của RNN: có thể học được các mối quan hệ dài hạn giữa các

dữ liệu, có thể được sử dụng để mô hình hóa dữ liệu tuần tự, có thể được sử dụng để giải quyết các bài toán phức tạp Bên cạnh đó, một số hạn chế của RNN: Có thể khó đào tạo,

có thể cần nhiều tài nguyên tính toán, có thể dễ bị quá khớp Nhìn chung, RNN là một công cụ mạnh mẽ có thể được sử dụng để giải quyết nhiều bài toán khác nhau Tuy nhiên, RNN cũng có một số hạn chế cần được lưu ý khi sử dụng

+ Autoencoder là một mạng neural nhân tạo (ANN) có thể học một cách hiệu quả các biểu diễn dữ liệu đầu vào chưa được gắn nhãn Các biểu diễn này thường có kích thước nhỏ hơn nhiều so với đầu vào, do đó, bộ mã hóa tự động có thể được sử dụng khi

có vấn đề với việc giảm kích thước của dữ liệu Ngoài ra, bộ mã hóa tự động cũng đóng vai trò là trình phát hiện tính năng trích xuất các tính năng trước khi đào tạo chúng để chạy các sự cố khác Ở một số nghiên cứu đã đề xuất các mô hình IDS sử dụng bộ mã hóa tự động cải tiến (Stacked Sparse Autoencoders – SSAE) và Support Vector Machines (SVM) SSAE được sử dụng làm phương pháp trích xuất tính năng và SVM làm bộ phân loại Kết quả này cho thấy kết quả phân loại vượt trội so với các kỹ thuật trích xuất tính năng và học máy khác trên bộ dữ liệu NSL-KDD Nhìn chung, SSAE là một kỹ thuật trích xuất tính năng hiệu quả có thể được sử dụng để cải thiện hiệu suất của các mô hình IDS

+ Mạng Neural sâu (Deep Neural Network - DNN) là một mạng neural nhân tạo

có kiến trúc phức tạp và "sâu" hơn nhiều so với mạng neural truyền thống Điều này có nghĩa là có nhiều nút hơn trong mỗi lớp và các lớp ẩn, đồng thời hành vi của chúng phức tạp hơn so với kiến trúc mạng thần kinh truyền thống Một số nghiên cứu đã chứng minh tính ưu việt của mô hình này trong việc phát hiện xâm nhập trên nhiều bộ dữ liệu, bao gồm: KDDCup 99, NSL-KDD, Kyoto, UNSW-NB15, WSN-DS, CICIDS 2017 Những nghiên cứu này đã chỉ ra rằng DNN có thể đạt được độ chính xác cao hơn đáng kể so với các phương pháp truyền thống, chẳng hạn như kỹ thuật máy học dựa trên đặc điểm

Một số lý do giải thích tại sao DNN lại hiệu quả: DNN có thể học các mối quan hệ phức tạp giữa các đặc điểm dữ liệu, điều này có thể giúp phát hiện các cuộc tấn công tinh vi, DNN có thể được đào tạo trên một lượng lớn dữ liệu, điều này giúp cải thiện độ chính xác của mô hình, DNN có thể được cập nhật một cách hiệu quả khi có dữ liệu mới, điều này giúp cải thiện hiệu suất của mô hình theo thời gian

+ Mạng Neural tích chập (Convolutional Neural Network - CNN) là một cấu trúc mạng neural khá quen thuộc trong mô hình học sâu DL Mô hình mạng tích chập thường được sử dụng trong thị giác máy tính, chủ yếu trong các vấn đề xử lý và phân tích hình ảnh Đặc điểm chính của mô hình mạng tích chập là sử dụng rất nhiều các lớp nhân tích chập với nhau để phân tích dữ liệu ảnh thành các đặc trưng khác nhau và xử lý các đặc trưng đó để đưa ra kết quả cuối cùng Trong học sâu, một mạng thần kinh tích chập (còn gọi là mạng neural tích chập hay ít phổ biến hơn là mạng thần kinh/ neural chuyển đổi: Convolutional Neural Network, viết tắt CNN hay ConvNet) là một lớp của mạng thần kinh sâu (Deep Neural Network), áp dụng phổ biến nhất để phân tích hình ảnh trực quan

+ Mạng học sâu niềm tin (Deep belief net-DBN) là một mô hình mạng neural nhân tạo đa lớp Quá trình đào tạo mạng DBN bao gồm hai giai đoạn: đào tạo trước và hiệu chỉnh trọng số Trong giai đoạn tiền đào tạo, các trọng số của mạng được khởi tạo bằng cách sử dụng công nghệ học máy Boltzmann với dữ liệu chưa được gắn nhãn Trong giai đoạn hiệu chỉnh trọng số, mạng tiếp tục được đào tạo bằng cách sử dụng lan truyền ngược cổ điển với dữ liệu được gắn nhãn Trong hệ thống phát hiện xâm nhập (IDS), DBN được sử dụng cho các nhiệm vụ trích xuất và phân loại tính năng DBN có thể học các mối quan hệ phức tạp giữa các tính năng dữ liệu, điều này có thể giúp phát hiện các cuộc tấn công tinh vi DBN có thể được đào tạo trên một lượng lớn dữ liệu, điều này giúp cải thiện độ chính xác của mô hình DBN có thể được cập nhật một cách hiệu quả khi có dữ liệu mới, điều này giúp cải thiện hiệu suất của mô hình theo thời gian

2.2.3 Mạng Neural nhân tạo truyền thống (Artificial Neural Network)

Hệ thống mạng Neural nhân tạo (Artificial Neural Network - ANN), hay gọi tắt

là mạng neural, là một mô hình tính toán và xử lý thông tin được mô phỏng dựa trên cơ chế hoạt động hệ thống thần kinh của động vật Cấu trúc của một mô hình mạng neural bao gồm nhiều nút neural được kết nối với nhau để xử lý thông tin thông qua việc truyền dẫn và tính toán các giá trị mới tại các neural đó Có cơ chế tương tự não người, mô hình

mạng neural cũng có thể học hỏi thông qua huấn luyện các kiến thức chưa biết và ứng dụng nó để dự đoán các dữ liệu chưa biết đến Hình 2.3 thể hiện kiến trúc tổng quan của một mô hình mạng neural nhân tạo

Hình 2-3 Kiến trúc tổng quan của một mạng Neural nhân tạo

Trong một hệ thống mạng Neural, các Neural được phân làm 3 lớp chính khác nhau, bao gồm: Input Layer, Hidden Layer và Output Layer Input Layer là lớp tiếp nhận các dữ liệu đầu vào và tiền xử lý dữ liệu Lớp Hidden Layer thực hiện các bước rút trích, phân tích và tính toán các luồng dữ liệu nhận từ Input Layer, và có thể có một hoặc nhiều lớp khác nhau trong một hệ thống mạng neural Còn lớp Output Layer có nhiệm vụ trả

dữ liệu đầu ra của hệ thống

Ngoài ra, những kết nối giữa các neural còn được liên kết với một trọng số để thể hiện mức độ quan trọng của dữ liệu đầu vào trong quá trình xử lý thông tin cũng như quá trình chuyển đổi dữ liệu từ lớp này đến lớp khác Thực chất, quá trình học của mạng neural chính là quá trình cân chỉnh trọng số liên kết giữa các kết nối cũng như từ dữ liệu đầu vào để đưa ra kết quả mong muốn

Để huấn luyện một mô hình mạng neural, chúng ta cần đưa các đầu vào từ tập dữ liệu, sau đó so sánh với đầu ra của nó với đầu ra của tập dữ liệu mẫu Mạng neural có thể được huấn luyện, hay được học theo hai kỹ thuật cơ bản là phương pháp học có giám sát và học không giám sát Kỹ thuật học có giám sát là quá trình huấn luyện lặp đi lặp

lại cho đến khi kết quả của hệ thống đạt được như mong muốn Còn kỹ thuật học không giám sát là quá trình huấn luyện hệ thống không sử dụng kiến thức bên ngoài trong quá trình học

Cấu trúc của một neural ở Hình 2.2 thể hiện kiến trúc tổng quan của một mô hình mạng neural nhân tạo bao gồm một hàm tổng (Summation Function) có vai trò tính toán các dữ liệu đầu vào cùng với trọng số có sẵn để đưa ra dữ liệu kết quả của neural đó Kết quả này sẽ được đưa qua một hàm kích hoạt (Activation Function) để quyết định xem neural đó có được phép hoạt động và cập nhập dữ liệu mới trên mô hình mạng hay không Hàm kích hoạt giúp mô hình mạng neural có thể học hỏi được các mối quan hệ của dữ liệu hay thực hiện các tác vụ phức tạp khác, mà đa phần không phải là tuyến tính Chính vì vậy, các hàm kích hoạt đều là hàm phi tuyến Tùy thuộc vào hàm kích hoạt khác nhau sẽ có các công thức hàm khác nhau, ví dụ như hàm kích hoạt Sigmoid có công thức như sau:

Để huấn luyện một mô hình mạng neural, chúng ta cần đưa các đầu vào từ tập dữ liệu, sau đó so sánh với đầu ra của nó với đầu ra của tập dữ liệu mẫu

2.2.4 Mạng Neural sâu (Deep Neural Network)

Deep Neural Network [10] là hệ thống cấu trúc thần kinh phức tạp gồm nhiều đơn vị neural network mà trong đó, ngoài các lớp nguồn vào (input), nguồn ra (output) thì có nhiều lớp ẩn (hidden layer) Mỗi lớp này sẽ thực hiện một kiểu phân loại và sắp xếp riêng trong một quá trình gọi là “phân cấp tính năng” và mỗi lớp đảm nhiệm một trọng trách riêng, output của lớp này sẽ là input của lớp sau

Hình 2-4 Mô hình Deep Neural Network [10]

Ở hình 2.4, kiến trúc mạng neural sâu (DNN) bao gồm một số thành phần quan trọng để xây dựng và định nghĩa cách hoạt động Các thành phần chính trong kiến trúc mạng DNN:

- Lớp đầu vào (Input Layer): Là lớp nhận dữ liệu đầu vào Đối với dữ liệu hình ảnh, các pixel thường được biểu diễn trong lớp này

- Lớp ẩn (Hidden Layers): Là các lớp giữa lớp đầu vào và lớp đầu ra Chúng thực hiện các phép biến đổi dữ liệu, trích xuất đặc trưng và tạo ra các biểu diễn tương tự DNN có thể có nhiều lớp ẩn tùy thuộc vào kiến trúc

- Lớp đầu ra (Output Layer): Là lớp cho kết quả đầu ra của mạng Ví dụ, trong một nhiệm vụ phân loại hình ảnh, lớp đầu ra có thể biểu diễn xác suất phân loại của từng lớp

- Kết nối trọng số (Weights and Connections): Mạng DNN sử dụng kết nối trọng

số để biểu diễn mức độ quan trọng của mỗi neural trong lớp trước đến mỗi neural trong lớp tiếp theo Các trọng số này được điều chỉnh trong quá trình huấn luyện để mạng học cách biểu diễn dữ liệu

- Hàm kích hoạt (Activation Functon): Hàm kích hoạt được áp dụng sau mỗi lớp

để tạo ra các đầu ra phi tuyến tính Nó giúp mạng neural có khả năng học các hàm phức tạp

- Hàm mất mát (Loss Function): Hàm này đo lường sai khác giữa đầu ra dự đoán

và giá trị thực tế Mục tiêu của mạng là tối thiểu hóa mất mát này trong quá trình huấn luyện

- Thuật toán tối ưu hóa (Optimization Algorithm): Được sử dụng để điều chỉnh các trọng số của mạng dựa trên mất mát và gradient Các thuật toán phổ biến bao gồm SGD (Stochastic Gradient Descent), Adam, RMSprop, và nhiều thuật toán khác

- Chính quy hóa (Regularization): Các kỹ thuật chính quy hóa như Dropout và L2 regularization được sử dụng để ngăn chặn overfitting trong quá trình huấn luyện

- Siêu tham số (Hyperparameters): Đây là các tham số mà bạn cần đặt trước khi huấn luyện mạng, chẳng hạn như learning rate, số lượng lớp ẩn, số lượng nơ-ron trong mỗi lớp, và nhiều tham số khác

Tóm lại, kiến trúc mạng DNN bao gồm các lớp đầu vào, ẩn và đầu ra, kết nối trọng số, hàm kích hoạt, hàm mất mát, thuật toán tối ưu hóa, chính quy hóa và siêu tham

số Các thành phần này làm cơ sở để xây dựng và huấn luyện mạng neural sâu để thực hiện các nhiệm vụ học máy và trí tuệ nhân tạo

Mạng thần kinh sâu (Deep Neural Network - DNN) là một loại mạng neural nhân tạo (ANN) được thiết kế với mục đích mô phỏng hoạt động não bộ phức tạp của con người và được áp dụng vào nhiều lĩnh vực khác nhau, mang lại thành công và những hiệu quả đáng kinh ngạc Cụ thể như trong thị giác máy tính: DNN đã được sử dụng để phát triển các hệ thống nhận dạng đối tượng, phân đoạn hình ảnh và nhận dạng khuôn mặt Ví dụ, DNN đã được sử dụng để phát triển hệ thống nhận dạng biển báo giao thông, giúp xe tự lái tránh các tai nạn DNN được sử dụng để phân loại văn bằng, chứng chỉ để thuận lợi trong việc tra cứu, kiểm tra tính hợp lệ Lĩnh vực NLP: DNN đã được sử dụng

để phát triển các hệ thống dịch máy, nhận dạng ngôn ngữ tự nhiên và tìm kiếm thông tin Ví dụ, DNN đã được sử dụng để phát triển hệ thống dịch tự động, giúp mọi người giao tiếp với nhau dễ dàng hơn Ngoài ra, ở lĩnh vực Âm nhạc: DNN đã được sử dụng

để phát triển các hệ thống sáng tác âm nhạc, phân tích âm nhạc và nhận dạng âm thanh

Ví dụ, DNN đã được sử dụng để phát triển hệ thống tạo ra các bản nhạc mới, giúp mọi người có thể thưởng thức âm nhạc mới lạ và thú vị Bên cạnh đó, ở lĩnh vực Khoa học: DNN đã được sử dụng để phát triển các hệ thống dự đoán thời tiết, chẩn đoán bệnh và tìm kiếm các mẫu trong dữ liệu Ví dụ, DNN đã được sử dụng để phát triển hệ thống dự đoán thời tiết chính xác hơn, giúp mọi người có thể chuẩn bị tốt hơn cho các thảm họa thiên nhiên

Một số kiến trúc mạng DNN phổ biến và đáng chú ý trong lĩnh vực trí tuệ nhân tạo và học máy, bao gồm:

+ Feedforward Neural Network (FNN): Một loại mạng nơ-ron sâu cơ bản bao gồm một lớp đầu vào, một lớp ẩn và một lớp đầu ra Các tế bào thần kinh trong lớp này không có kết nối trở lại

+ Convolutional Neural Network (CNN): Được thiết kế đặc biệt để xử lý hình ảnh và dữ liệu dạng lưới Chúng sử dụng các lớp tích chập để trích xuất tính năng cục

bộ

+ Recurrent Neural Network (RNN): Được sử dụng cho dữ liệu liên quan đến thời gian hoặc chuỗi Các tế bào thần kinh có các kết nối vòng tròn để lưu trữ thông tin trạng thái trước đó

+ Long short-Term Memory (LSTM): Một biến thể của RNN, được thiết kế để giải quyết vấn đề biến mất của độ dốc của một hàm số (gradient) và lưu trữ thông tin lâu dài

+ Gated Recurrent Unit (GRU): Cũng là biến thể của RNN, nhẹ nhàng hơn LSTM nhưng vẫn giữ được khả năng xử lý chuỗi dữ liệu

+ Autoencoder: Mạng nơ-ron sâu dùng để học biểu diễn dữ liệu thông qua việc giảm kích thước dữ liệu và biểu diễn dữ liệu bằng cách khôi phục lại dữ liệu gốc

+ Generative Adversarial Network (GAN): Gồm hai mạng nơ-ron cạnh tranh với nhau: một mạng tạo ra dữ liệu mới và một mạng phân biệt xác định tính thật/giả của dữ liệu

+ Transformer: Được sử dụng trong xử lý ngôn ngữ tự nhiên, sử dụng kiến trúc

tự nhận thức (self-attention) để hiểu các mối quan hệ phức tạp giữa các từ trong văn bản

+ Residual Networks (ResNet): Sử dụng kết nối nhảy qua để giải quyết vấn đề biến mất gradient trong mạng nơ-ron sâu

+ Inception Networks (GoogLeNet): Kiến trúc kết hợp một lúc nhiều lớp tích chập song song để trích xuất tính năng đặc trưng khác nhau

+ VGGNet: Mạng nơ-ron sâu với các lớp tích chập nhỏ và đơn giản, nhưng thường có nhiều lớp

+ DenseNet: Mạng nơ-ron sâu trong đó mỗi lớp nhận tất cả đầu ra từ các lớp trước đó

+ U-Net: Kiến trúc dành cho xử lý hình ảnh y tế, chẳng hạn như phân đoạn ảnh

y tế

+ BERT (Bidirectional Encoder Representations from Transformers): Mạng dùng cho xử lý ngôn ngữ tự nhiên, tạo ra những biểu diễn mạnh mẽ cho các đoạn văn

+ Squeeze-and-Excitation Networks (SENet): Sử dụng cơ chế excitation để tăng cường sự quan trọng của tính chất đặc trưng

squeeze-and-2.2.5 Một số kiến trúc mạng DNN có sử dụng kiến trúc ResNet hoặc dựa trên kiến trúc ResNet

Có nhiều kiến trúc mạng DNN sử dụng kiến trúc ResNet hoặc dựa trên ResNet

để cải thiện hiệu suất huấn luyện và đạt được kết quả tốt hơn Một số mạng DNN có sử dụng kiến trúc ResNet hoặc dựa trên ResNet như sau:

- ResNet: Kiến trúc ResNet ban đầu được đề xuất để giải quyết vấn đề gradient biến mất trong các mạng DNN Sử dụng các kết nối nhảy để tạo các đường dẫn ngắn từ đầu vào khối neural đến đầu ra

- ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152: Đây là các phiên bản của ResNet với độ sâu và số lớp khác nhau Cụ thể: ResNet-18 có 18 lớp, số lượng lớp của kiến trúc ResNet-50 là 50

- Wide ResNet: Được thiết kế để tăng hiệu suất của ResNet bằng cách tăng chiều rộng của các khối nhân còn lại (residual blocks) Chiều rộng của một khối nhân còn lại được đo bằng số kênh (channels) ở mỗi lớp Wide ResNet tăng chiều rộng của các khối nhân còn lại bằng cách nhân số kênh ở mỗi lớp với một số

- SE-ResNet: Squeeze-and-Excitation ResNet kết hợp cơ chế excitation để tập trung vào các đặc trưng quan trọng SE-ResNet đã được chứng minh

squeeze-and-là hiệu quả hơn ResNet trên nhiều nhiệm vụ khác nhau, bao gồm nhận dạng hình ảnh,

xử lý ngôn ngữ tự nhiên và dịch máy

- ResNeXt: Một biến thể của ResNet giúp mở rộng kiến trúc bằng cách tạo ra nhiều đường dẫn song song hơn qua từng khối neural

- ResNet-Inception: ResNet-Inception: Kết hợp kiến trúc ResNet và Inception để tận dụng cả hai kiến trúc để có hiệu suất tốt hơn

2.3 Các phép đo đánh giá mô hình

2.3.1 Ma trận nhầm lẫn (Confusion Matrix)

Ma trận nhầm lẫn là một trong những phương pháp đơn giản và hiệu quả nhất để đánh giá một mô hình phân loại, thường là mô hình phân loại và nhận diện nhị phân Ngoài ra, ma trận nhầm lẫn cho phép tính toán các độ đánh giá hiệu suất như tỷ lệ chính

xác (accuracy), độ nhạy (sensitivity) hay tỷ lệ dương tính giả (False Positive) Căn cứ vào kết quả nhận diện so với kết quả thực thế, dữ liệu nhận diện được chia làm bốn nhóm sau cũng như được thể hiện một cách trực quan tại hình 2.5

Actual Positive Negative

Predicted Positive True Positive False Positive

Negative False Negative True Negative

True Negative: Độ âm tính thật, thể hiện số lượng dữ liệu được nhận diện giá trị

âm, đúng với kết quả thực tế âm của nó

Độ dương tính giả và âm tính giả thể hiện số lượng điểm dữ liệu bị phân loại sai với kết quả thực tế của nó Trong đó, độ dương tính giả thể hiện dạng lỗi nhận diện nhầm, còn độ âm tính giả thể hiện dạng lỗi nhận diện bỏ sót Độ dương tính thật và âm tính thật thể hiện số điểm dữ liệu được phân loại đúng với bản chất của nó Tóm lại, khi

sử dụng ma trận nhầm lẫn sẽ thấy được lớp nào mà mô hình dự đoán tốt, lớp nào mà mô hình dự đoán kém và xác định được các điểm yếu để cải thiện trong mô hình huấn luyện

2.3.2 Độ chính xác (Accuracy)

Độ chính xác là một trong những độ đo đơn giản và được sử dụng phổ biến nhất, được sử dụng để đánh giá mức độ phân lớp chính xác của một hệ thống đã được huấn luyện đối với một tập dữ liệu kiểm thử Độ chính xác được tính bằng cách lấy tỉ lệ giữa

số điểm được dự đoán đúng trên tổng số điểm trong tập dữ liệu kiểm thử Giá trị của độ chính xác càng cao thì mô hình càng hiệu quả và đáng tin cậy Ngược lại, độ chính xác mang giá trị thấp thể hiện sự kém hiệu quả của mô hình Trong ma trận nhầm lẫn, độ chính xác được tính toán theo công thức như sau:

𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 + 𝑇𝑟𝑢𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒

𝑇𝑜𝑡𝑎𝑙

Độ chính xác phù hợp cho các bài toán có bộ dữ liệu cân bằng nhau với tỉ lệ nhầm (False Positive) và bỏ sót (False Negative) cân bằng nhau Tuy nhiên phép đo này chỉ thể hiện độ chính xác mà không thể hiện loại lỗi của mô hình

Trong đó, Precision thể hiện độ chính xác của các điểm dữ liệu được phân loại đúng với kết quả phân loại vào nhóm đó, tỉ lệ nghịch với tỉ lệ nhận diện sai, và Recall thể hiện độ chính xác của điểm dữ liệu so với kết quả thực tế của nó, tỉ lệ nghịch với tỉ

lệ bỏ sót

Mặc dù độ chính xác là một số liệu đơn giản, nhưng nó vẫn là một công cụ quan trọng để đánh giá hiệu suất của các mô hình phân loại Độ chính xác có thể được sử dụng để so sánh hiệu suất của các mô hình khác nhau và để xác định xem mô hình có cần được tinh chỉnh hay không

2.3.3 F1_score

F1-score là một số liệu quan trọng để đánh giá hiệu suất của mô hình phân loại, đặc biệt là đối với các vấn đề mất cân bằng các lớp F1-score kết hợp hai chỉ số quan trọng khác là precision (độ chính xác) và recall (độ phủ sóng) để đưa ra một cái nhìn tổng quan về khả năng phân loại của mô hình

Precision và Recall là hai chỉ số cơ bản trong đánh giá phân loại:

+ Precision là tỷ lệ giữa số lượng dự đoán đúng thuộc một lớp cụ thể và tổng số

dự đoán được gán cho lớp đó Nó đo lường khả năng của mô hình khi dự đoán một mẫu thuộc lớp này thực sự thuộc lớp này

+ Recall là tỷ lệ giữa số lượng dự đoán đúng thuộc một lớp cụ thể và tổng số mẫu thực sự thuộc lớp đó Nó đo lường khả năng của mô hình trong việc phát hiện tất cả các mẫu thuộc lớp này

F1-score được tính bằng công thức:

𝐹1 = 2 𝑥 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 𝑥 𝑅𝑒𝑐𝑎𝑙𝑙

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑅𝑒𝑐𝑎𝑙𝑙Trong đó:

+ Precision là tỷ lệ giữa số lượng dự đoán đúng thuộc một lớp cụ thể và tổng số lượng dự đoán thuộc lớp đó

+ Recall là tỷ lệ giữa số lượng dự đoán đúng thuộc một lớp cụ thể và tổng số lượng thực tế thuộc lớp đó

Chỉ số F1-score nằm trong khoảng từ 0 đến 1, trong đó 1 đại diện cho hiệu suất tốt nhất khi cả precision và recall đạt giá trị cao F1-score là một số liệu linh hoạt và có thể được sử dụng trong nhiều ứng dụng khác nhau Bên cạnh đó, F1-score là một lựa chọn tốt để đánh giá hiệu suất của các mô hình phân loại, đặc biệt đối với các vấn đề mất cân bằng lớp

2.4 Xử lý ảnh

Ở giai đoạn đầu, hình ảnh đầu vào là ảnh ảnh màu hoặc trắng đen chứa văn bằng, chứng chỉ được chụp từ ảnh được chụp từ máy ảnh kỹ thuật số, ảnh chụp điện thoại, ảnh thu thập được từ bộ dữ liệu của P.GD&ĐT Nhơn Trạch, ảnh thu thập được Internet…

Hình 2-6 Hình ảnh văn bằng tiếng Việt (VanBang_TiengViet) ban đầu

Ở trong giai đoạn xác thực, hình ảnh đầu vào là ảnh màu hoặc trắng đen chứa văn bằng, chứng chỉ cần nhận dạng Ở cả hai giai đoạn ảnh chứa văn bằng, chứng chỉ đều được lưu trữ với định dạng *.JPG hoặc *.PNG

Hình ảnh đầu vào còn chứa nhiều chi tiết thừa, chi tiết nhiễu, kích thước đầu vào của ảnh ban đầu lớn, độ phân giải của ảnh lớn không phù hợp với mô hình học sâu Để ảnh khi train cũng như khi test không bị bể hình, tràn hình hoặc co hình… vì vậy cần