Ngày nay, giáo dục đóng một vai trò quan trọng trong xã hội hiện đại. Với sự phát triển nhanh chóng của công nghệ Internet và trí tuệ nhân tạo (AI), dạy học thông minh [ITS] lớp học thông minh đã được đưa vào nền giáo dục hiện đại nhằm cung cấp dịch vụ giảng dạy tốt hơn. Các biện pháp nâng cao chất lượng và kết quả giáo dục bắt đầu bằng việc cải thiện kết quả học tập của học sinh trong lớp học. Cụ thể, những thay đổi tích cực trong hành vi của học sinh có thể giúp giáo viên đạt được kết quả tương đối tốt, điều này chắc chắn sẽ có lợi cho quá trình dạy học. Việc quan sát hoạt động của từng học sinh trong một môi trường thông minh, chẳng hạn như nét mặt, sẽ giúp giáo viên điều chỉnh linh hoạt phương pháp giảng dạy bằng cách nhận phản hồi nhanh chóng từ tương tác thời gian thực này và sẽ có lợi cho chất lượng giáo dục. Theo cách này, mục tiêu ban đầu của dự án là triển khai một hệ thống thị giác máy tính thời gian thực tự động cung cấp cái nhìn thông minh về học sinh được quan sát. Với sự phát triển nhanh chóng của học sâu trong lĩnh vực thị giác máy tính, công nghệ theo dõi và phát hiện mục tiêu theo thời gian thực đã có những bước phát triển vượt bậc. Nó có thể được sử dụng trong môi trường thông minh này để giúp đánh giá thành tích của từng học sinh trong lớp học
BÀI TẬP HỆ CƠ SỞ TRI THỨC BÁO CÁO NỘI DUNG CƠNG VIỆC NHĨM Nghiên cứu phát triển phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI (Nội dung 5.2.8-5.2.9) Nhóm Trưởng nhóm Nguyễn Duy Khánh Hà Nội 2020 DANH MỤC CÁC CÔNG VIỆC Nội dung 5: Nghiên cứu phát triển phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI STT Tên nội dung công việc 5.2.8 Nghiên cứu xây dựng phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI 5.2.9 Thử nghiệm, đánh giá phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI Người thực Nông Trần Bình Minh Nguyễn Văn Tuấn Nguyễn Duy Khánh MỤC LỤC MỞ ĐẦU CHƯƠNG 1 : NGHIÊN CỨU XÂY DỰNG PHẦN MỀM TỰ ĐỘNG ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP THƠNG QUA CƠNG NGHỆ XỬ LÝ ẢNH VÀ TRÍ TUỆ NHÂN TẠO AI 1.1 Tổng quan Deep Learning AI 1.1.1 Khái niệm Deeo Learning 1.1.2 Cách thức hoạt động Deep Learning 1.1.3 Các ưu điểm bật Deep Learning 1.2 Tìm hiểu Convolutional Neural Network 1.2.1 Mơ hình Neural Network 1.2.2 Convolutional Neural Network CHƯƠNG 2 : NGHIÊN CỨU XÂY DỰNG PHẦN MỀM TỰ ĐỘNG ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP THƠNG QUA CƠNG NGHỆ XỬ LÝ ẢNH VÀ TRÍ TUỆ NHÂN TẠO AI 2.1 Mở đầu 2.2 Các công việc liên quan 2.3 Phương pháp đề xuất 2.4 Chi tiết thực 2.4.1 Thu thập liệu 2.4.2 Thêm vào CNN 2.5 Kết thực nghiệm KẾT LUẬN TÀI LIỆU THAM KHẢO MỞ ĐẦU Ngày nay, giáo dục đóng vai trị quan trọng xã hội đại Với phát triển nhanh chóng cơng nghệ Internet trí tuệ nhân tạo (AI), dạy học thông minh [ITS] lớp học thông minh đưa vào giáo dục đại nhằm cung cấp dịch vụ giảng dạy tốt Các biện pháp nâng cao chất lượng kết giáo dục bắt đầu việc cải thiện kết học tập học sinh lớp học Cụ thể, thay đổi tích cực hành vi học sinh giúp giáo viên đạt kết tương đối tốt, điều chắn có lợi cho trình dạy học Việc quan sát hoạt động học sinh môi trường thông minh, chẳng hạn nét mặt, giúp giáo viên điều chỉnh linh hoạt phương pháp giảng dạy cách nhận phản hồi nhanh chóng từ tương tác thời gian thực có lợi cho chất lượng giáo dục Theo cách này, mục tiêu ban đầu dự án triển khai hệ thống thị giác máy tính thời gian thực tự động cung cấp nhìn thơng minh học sinh quan sát Với phát triển nhanh chóng học sâu lĩnh vực thị giác máy tính, cơng nghệ theo dõi phát mục tiêu theo thời gian thực có bước phát triển vượt bậc Nó sử dụng môi trường thông minh để giúp đánh giá thành tích học sinh lớp học CHƯƠNG 1: NGHIÊN CỨU XÂY DỰNG PHẦN MỀM TỰ ĐỘNG ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP THƠNG QUA CƠNG NGHỆ XỬ LÝ ẢNH VÀ TRÍ TUỆ NHÂN TẠO AI 1.1 Tổng quan Deep Learning 1.1.1 Khái niệm Deep Learning Deep Learning tập hợp Machine Learning có tác dụng hỗ trợ cho máy tính tự huấn luyện để thực tác vụ tương tự người Điều giúp máy tính bắt chước người cách học hỏi suy nghĩ. Các hệ thống Deep Learning có khả cải thiện hiệu suất của chúng với quyền truy cập vào liệu nhiều Thơng thường, phiên máy có nhiều kinh nghiệm hơn; máy móc có đủ kinh nghiệm mang phục vụ cho công việc như: lái xe, phát cỏ dại, … Có số cách để mơ tả học sâu Học sâu lớp các thuật toán máy học mà: Sử dụng tầng (cascade) nhiều lớp đơn vị xử lý phi tuyến để trích tách đặc điểm và chuyển đổi Mỗi lớp dùng đầu từ lớp trước làm đầu vào Các thuật tốn được giám sát hoặc khơng cần giám sát và ứng dụng bao gồm mơ hình phân tích (khơng có giám sát) phân loại (giám sát) Dựa học (khơng có giám sát) nhiều cấp đặc điểm đại diện liệu Các tính cao cấp bắt nguồn từ tính thấp cấp để tạo thành đại diện thứ bậc Là phần lĩnh vực máy học rộng lớn việc học đại diện liệu Học nhiều cấp độ đại diện tương ứng với mức độ trừu tượng khác nhau; mức độ hình thành hệ thống phân cấp khái niệm Các định nghĩa có điểm chung (1) nhiều lớp đơn vị xử lý phi tuyến (2) học có giám sát khơng có giám sát biểu diễn đặc tính lớp, với lớp hình thành hệ thống tính phân cấp từ thấp đến cao cấp Các (p200) thành phần lớp đơn vị xử lý phi tuyến sử dụng thuật toán học sâu tùy theo vấn đề cần giải Các lớp sử dụng học sâu bao gồm lớp ẩn mạng neuron nhân tạo và tập các công thức mệnh đề phức tạp Chúng bao gồm biến tiềm ẩn tổ chức thành lớp chọn lọc mơ hình thể sinh (có khả sinh ra) sâu nút Deep Belief Networks Deep Boltzmann Machines Các thuật toán học sâu tương phản với thuật tốn học nơng số biến đổi tham số hóa tín hiệu gặp phải lan truyền từ lớp đầu vào đến lớp đầu ra, nơi biến đổi tham số hóa đơn vị xử lý có thơng số huấn luyện được, chẳng hạn trọng số ngưỡng Một chuỗi biến (p6) đổi từ đầu vào đến đầu một đường gán kế thừa (CAP- credit assignment path) CAP mô tả kết nối quan hệ nhân tiềm đầu vào đầu thay đổi chiều dài Đối với mạng neuron nuôi tiến (feedforward), độ sâu CAP, độ sâu mạng đó, số lượng lớp ẩn cộng (lớp đầu tham số hóa) Đối với mạng neuron tái phát, tín hiệu truyền thơng qua lớp nhiều lần, CAPcó khả khơng bị giới hạn chiều dài Khơng có thống chung ngưỡng độ sâu chia học cạn với học sâu, hầu hết nhà nghiên cứu lĩnh vực đồng ý học sâu có nhiều lớp phi tuyến (CAP > 2) Schmidhuber coi CAP > 10 để học sâu 1.1.2 Cách thức hoạt động Deep Learning Chúng ta tìm hiểu cách thức hoạt động thơng qua ví dụng dự đốn giá vé máy bay, huấn luyện sử dụng cách học có giám sát: Dự đốn giá vé nhờ thông tin đầu vào sau: Sân bay Sân bay đến Ngày bay Hãng máy bay 1.1.2.1.Mạng neural Giống động vật, "bộ não" AI có tế bào thần kinh, hay gọi tế bào Xơma Chúng vịng trịn hình dưới, tế bào nối với Mạng neural nhóm thành loại lớp: Lớp đầu vào (Input layers) Lớp ẩn (Hidden layers) Lớp đầu (Output layers) Lớp đầu vào nhận liệu đầu vào Trong hình trên, neural vùng đỏ Chúng ta có đầu vào sân bay đi, sân bay đến, ngày bay, hãng bay Lớp đầu vào nhận liệu trả liệu cho lớp ẩn Lớp ẩn thực tính tốn liệu từ lớp đầu vào trả Việc thách thức chọn số lượng lớp ẩn, số neural lớp ẩn Từ "Deep" "Deep Learning", ý mạng bạn có hay nhiều lớp ẩn, mạng nhiều lớp ẩn sâu, số neural lớp ẩn nhiều rộng Lớp đầu trả liệu đầu ra, trường hợp price - giá vé dự đốn Nhìn sơ sơ vậy, cịn tính toán cách vi diệu Deep Learning, xem qua Mỗi kết nối neural hình bên đặt Weight hay trọng số Nó tượng trưng cho tầm quan trọng giá trị đầu vào, lúc đầu trọng số khởi tạo ngẫu nhiên thơi Ví dụ: Khi dự đốn, yếu tố "Ngày bay" quan trọng cả, nên kết nối bắt nguồn từ "Ngày bay" có trọng số lớn chút Mỗi neural có hàm kích hoạt, để hiểu hàm làm cần phải sâu tốn chút Hiểu đơn giản chuẩn hóa giá trị đầu neural cho phù hợp 1.1.2.2.Huấn luyện mạng neural Để huấn luyện AI Deep Leaning điều khó, cần có thứ: tập liệu lớn thiết bị tính tốn tốt Ở đây, để dự đốn tốt giá vé, cần tìm liệu lịch sử giá vé, gồm nhiều hãng bay khác nhau, liệu lớn Để huấn luyện AI, cung cấp tập liệu đầu vào so sánh liệu đầu với liệu đầu mong muốn Vì AI chưa huấn luyện tốt nên kết đầu sai Để đánh giá kết đầu AI sai đến đâu so với kết đầu mong muốn chúng ta, ta dùng hàm chi phí gọi Cost Function 10 giúp giảm việc tính tốn model Trong q trình này, quy tắc stride padding áp dụng phép tính convolution ảnh Hình ảnh từ trang https://www.geeksforgeeks.org/cnn-introduction-to-pooling-layer/ 1.2.2.3.Fully connected layer Sau ảnh truyền qua nhiều convolutional layer pooling layer model học tương đối đặc điểm ảnh tensor output layer cuối phẳng thành vector đưa vào lớp kết nối mạng nơ-ron Với FC layer kết hợp với tính lại với để tạo mơ hình Cuối sử dụng softmax sigmoid để phân loại đầu 16 CHƯƠNG 2: THỬ NGHIỆM, ĐÁNH GIÁ PHẦN MỀM TỰ ĐỘNG ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP THƠNG QUA CƠNG NGHỆ XỬ LÝ ẢNH VÀ TRÍ TUỆ NHÂN TẠO AI 2.1 Mở đầu Khuôn mặt phận biểu cảm giao tiếp nhiều người [1] Nó truyền tải nhiều cảm xúc mà khơng cần nói lời Nhận dạng biểu cảm khn mặt xác định cảm xúc từ hình ảnh khn mặt, biểu hoạt động tính cách người Vào kỷ 20, nhà tâm lý học người Mỹ Ekman Friesen [2] xác định sáu cảm xúc (tức giận, sợ hãi, ghê tởm, buồn bã, ngạc nhiên hạnh phúc), giống văn hóa Nhận dạng nét mặt thu hút nhiều ý năm qua tác động thực hành lâm sàng, người máy hòa đồng giáo dục Theo nghiên cứu đa dạng, cảm xúc đóng vai trị quan trọng giáo dục Hiện nay, giáo viên sử dụng kỳ thi, bảng câu hỏi quan sát làm nguồn phản hồi phương pháp cổ điển thường mang lại hiệu thấp Sử dụng nét mặt học sinh, giáo viên điều chỉnh chiến lược tài liệu giảng dạy họ để giúp thúc đẩy việc học học sinh Mục đích viết triển khai tính nhận dạng cảm xúc giáo dục cách thực hóa hệ thống tự động phân tích nét mặt học sinh dựa Mạng thần kinh kết hợp (CNN), thuật toán học sâu sử dụng rộng rãi phân loại hình ảnh Nó bao gồm xử lý hình ảnh nhiều tầng để trích xuất đại diện tính hệ thống bao gồm ba giai đoạn: phát khn mặt, bình thường hóa nhận biết cảm xúc phải bảy cảm xúc này: trung tính, tức giận, sợ hãi, buồn bã, hạnh phúc, ngạc nhiên ghê tởm Phần lại báo cáo cấu trúc sau: Phần xem xét công việc liên quan Phần mô tả hệ thống đề xuất Chi tiết thực trình bày phần 4, kết thực nghiệm thảo luận phần 17 Trong phần cuối cùng, chúng em kết thúc báo cáo với phần mở rộng tương lai công việc 2.2 Các công việc liên quan Nhiều nhà nghiên cứu quan tâm đến việc cải thiện môi trường học tập với Nhận dạng cảm xúc khuôn mặt (FER) Tang cộng [3] đề xuất hệ thống phân tích nét mặt học sinh để đánh giá hiệu giảng dạy lớp Hệ thống bao gồm năm giai đoạn: thu thập liệu, nhận diện khuôn mặt, nhận dạng khuôn mặt, nhận dạng nét mặt xử lý hậu kỳ Phương pháp sử dụng K-nearest neighbor (KNN) để phân loại Uniform Local Gabor Binary Pattern Histogram Sequence (ULGBPHS) để phân tích mẫu Savva cộng [4] đề xuất ứng dụng web thực phân tích cảm xúc học sinh, người tham gia hướng dẫn tích cực lớp học trực tiếp Ứng dụng sử dụng webcam cài đặt lớp học để thu thập ghi âm trực tiếp, sau họ áp dụng thuật tốn máy học Trong [5] Whitehill cộng đề xuất phương pháp ghi nhận tương tác từ nét mặt học sinh Phương pháp tiếp cận sử dụng tính Gabor thuật tốn SVM để xác định mức độ tương tác sinh viên tương tác với phần mềm đào tạo kỹ nhận thức Sau đó, tác giả [6] sử dụng thị giác máy tính kỹ thuật học máy để xác định ảnh hưởng học sinh phịng thí nghiệm máy tính trường, nơi học sinh tương tác với trị chơi giáo dục nhằm giải thích khái niệm học cổ điển Trong [7], tác giả đề xuất hệ thống xác định theo dõi cảm xúc học sinh đưa phản hồi thời gian thực để cải thiện môi trường học tập điện tử nhằm cung cấp nội dung tốt Hệ thống sử dụng mô hình chuyển động mắt đầu để suy thông tin liên quan nhằm hiểu tâm trạng học sinh môi trường học tập điện tử Ayvaz cộng [8] phát triển Hệ thống nhận dạng cảm xúc khuôn mặt (FERS), hệ thống ghi nhận trạng thái cảm 18 xúc động lực học sinh học tập điện tử kiểu hội nghị truyền hình Hệ thống sử dụng thuật tốn học máy (SVM, KNN, Random Forest Cây phân loại & hồi quy) tỷ lệ xác tốt thu cách sử dụng thuật toán KNN SVM Kim cộng [9] đề xuất hệ thống đưa khuyến nghị thời gian thực cho giáo viên để nâng cao khả ghi nhớ chất lượng giảng họ cách cho phép giáo viên thực sửa đổi thời gian thực hành vi không lời họ ngôn ngữ thể nét mặt Các tác giả [10] đề xuất mơ hình nhận dạng cảm xúc môi trường học tập ảo dựa nhận dạng cảm xúc khuôn mặt với phương pháp Haar Cascades [14] để xác định miệng mắt sở liệu JAFF nhằm phát cảm xúc Trong [11] Chiou et al sử dụng công nghệ mạng cảm biến không dây để tạo hệ thống quản lý lớp học thông minh hỗ trợ giáo viên sửa đổi chế độ giảng dạy nhanh chóng để tránh lãng phí thời gian 2.3 Phương pháp đề xuất Trong phần này, chúng em mô tả hệ thống đề xuất chúng tơi để phân tích biểu khuôn mặt học sinh cách sử dụng kiến trúc Mạng thần kinh kết hợp (CNN) Đầu tiên, hệ thống phát khuôn mặt từ hình ảnh đầu vào khn mặt phát cắt chuẩn hóa thành kích thước 48x48 Sau đó, hình ảnh khn mặt sử dụng làm đầu vào cho CNN Cuối cùng, đầu kết nhận dạng nét mặt (tức giận, hạnh phúc, buồn bã, ghê tởm, ngạc nhiên trung tính) Hình trình bày cấu trúc cách tiếp cận đề xuất chúng em 19 Hình Cấu trúc hệ thống nhận dạng nét mặt Mạng thần kinh kết hợp (CNN) deep artificial neural networks xác định mẫu trực quan từ hình ảnh đưa vào với trình tiền xử lý so với thuật toán phân loại hình ảnh khác Điều có nghĩa mạng học lọc mà thuật toán truyền thống thiết kế thủ công [19] Đơn vị quan trọng bên lớp CNN neuron Chúng kết nối với nhau, để đầu tế bào thần kinh lớp trở thành đầu vào tế bào thần kinh lớp Để tính đạo hàm riêng hàm chi phí, chúng em sử dụng thuật toán lan truyền ngược Thuật ngữ tích chập đề cập đến việc sử dụng lọc hạt nhân hình ảnh đầu vào để tạo đồ đặc trưng Trên thực tế, mơ hình CNN chứa loại lớp Hình 2: Hình 2: Cấu trúc CNN Convolution Layer: lớp trích xuất tính từ hình ảnh đầu vào Mục đích Convolution trường hợp có ConvNet trích xuất tính từ hình ảnh đầu vào Convolution trì mối quan hệ không gian pixel cách học đặc trưng hình ảnh cách sử dụng vng nhỏ liệu đầu vào [21] Nó thực nhân hai ma trận, hình ảnh kernel Cơng thức tích chập biểu diễn Công thức m n net (t , f ) =( x∗w ) [ t , f ] =∑ ❑ ∑ ❑ x [ m ,n ] w [ t−m , f −n ] ( ) ❑ ❑ Trong net (t, f) đầu lớp tiếp theo, x đầu vào hình ảnh, w ma trận lọc * phép tốn tích chập 20 Hình 3, cho thấy cách hoạt động tích chập: Pooling Layer: giảm kích thước đồ đối tượng giữ lại thông tin quan trọng [21] Pooling có nhiều loại khác nhau: Max Pooling, Average Pooling Sum Pooling Chức Pooling giảm dần kích thước khơng gian biểu diễn đầu vào làm cho mạng bất biến biến đổi nhỏ, biến dạng dịch hình ảnh đầu vào [21] Chúng em sử dụng khối tối đa làm đầu cho lớp tổng hợp thể Hình Hình Pooling layer Fully connected layer: Multi Layer Perceptron sử dụng hàm kích hoạt lớp đầu Thuật ngữ “Fully Connected” ngụ ý nơ-ron lớp trước kết nối với nơ-ron lớp Mục đích lớp Fully Connected sử dụng đầu lớp tích hợp tổng hợp để phân loại hình ảnh đầu vào thành lớp khác dựa tập liệu huấn luyện Vì vậy, lớp Convolution Hình 5:Mơ hình convolutional neural network 21 Pooling hoạt động Bộ trích xuất tính từ hình ảnh đầu vào lớp Fully Connected hoạt động phân loại [21] Hình đại diện cho mơ hình CNN chúng em Nó chứa convolutional layers với pooling layers để trích xuất tính năng, lully connected layers sau lớp softmax với lớp cảm xúc Ảnh đầu vào ảnh khuôn mặt thang độ xám với kích thước 48x48 Đối với convolutional layer, chúng em sử dụng filter 3x3 với stride Đối với pooling layers, chúng em sử dụng max pooling layer kernel 2x2 với stride Do đó, để giới thiệu tính phi tuyến tính mơ hình, chúng em sử dụng Rectified Linear Unit (ReLU), định nghĩa Phương trình 2, hàm kích hoạt sử dụng nhiều gần R ( z )=max ( , z )( ) Như Hình 6, R (z) z nhỏ R (z) z z lớn Bảng I trình bày cấu hình mạng mơ hình chúng em Hình 6: ReLU function 22 TABLE I 2.4 CNN CONFIGURATION Layer type Data Size 48x48 Stride - Convolution 3x3 Max Pooling 2x2 Convolution 3x3 Max Pooling 2x2 Convolution 3x3 Max Pooling 2x2 Convolution 3x3 Max Pooling 2x2 Fully Connected - - Fully Connected - - Chi tiết thực 2.4.1 Thu thập liệu Để đào tạo kiến trúc CNN, chúng em sử dụng sở liệu FER2013 [12] Hình Nó tạo cách sử dụng API tìm kiếm hình ảnh Google trình bày ICML 2013 Challenges Các khuôn mặt sở liệu tự động chuẩn hóa thành 48x48 pixel Cơ sở liệu FER2013 chứa 35887 hình ảnh (28709 hình ảnh đào tạo, 3589 hình ảnh xác nhận 3589 hình ảnh thử nghiệm) với nhãn biểu thức Số lượng hình ảnh cho cảm xúc thể Bảng II 23 Fig Samples from FER 2013 database TABLE II THE NUMBER OF IMAGE FOR EACH EMOTION OF FER 2013 DATABASE Emotion Emotion Angry Disgust Fear Happy Sad Surprise Neutral Number of image 4593 547 5121 8989 6077 4002 6198 2.4.2 Thêm vào CNN Chúng em sử dụng thư viện OpenCV [16] để chụp khung hình trực tiếp từ máy ảnh web phát khuôn mặt học sinh dựa phương pháp Haar Cascades [14] Hình Haar Cascades sử dụng thuật tốn học Adaboost Freund et al [15], người giành Giải thưởng Godel năm 2003 cho tác phẩm họ Thuật tốn học Adaboost chọn số tính quan trọng từ tập hợp lớn để cung cấp kết hiệu phân loại Chúng em xây dựng mơ hình Mạng thần kinh hợp pháp cách sử dụng API cấp cao TensorFlow [18] Keras [17] Fig Face Detection using Haar Cascades 24 Trong Keras, chúng em sử dụng lớp ImageDataGenerator để thực việc tăng hình ảnh Hình Lớp cho phép chúng tơi biến đổi hình ảnh huấn luyện cách xoay, thay đổi, cắt, thu phóng lật Cấu hình sử dụng là: rotation_range=10, width_shif_range=0.1, zoom_range=0.1, height_shift_range=0.1 and horizontal_flip=True Sau đó, chúng em xác định mơ hình CNN với convolutional layers, pooling layers fully connected layers Sau đó, để cung cấp tính khơng tuyến tính mơ hình CNN, chúng em áp dụng hàm ReLU sử dụng chuẩn hóa hàng loạt để chuẩn hóa việc kích hoạt lớp tiền lệ đợt L2 regularisation để áp dụng tham số khác mơ hình Do đó, chúng tơi chọn softmax làm hàm kích hoạt cuối cùng, lấy đầu vào vectơ z gồm k số chuẩn hóa thành phân phối xác suất Hàm softmax thể Hình 10: Hình 10 Softmax function Để đào tạo mơ hình CNN, chúng tơi tách sở liệu thành 80% liệu đào tạo 20% liệu kiểm tra, sau biên dịch mơ hình cách sử dụng trình tối ưu hóa Stochastic gradient descent (SGD) Tại chu kỳ, Keras kiểm tra xem mơ hình chúng tơi có hoạt động tốt mơ hình kỷ ngun trước hay khơng Nếu vậy, trọng lượng mơ hình tốt lưu vào tệp Điều cho phép chúng em tải trực tiếp mà không cần phải huấn luyện lại muốn sử dụng tình khác 2.5 Kết thực nghiệm Chúng đào tạo mơ hình Mạng thần kinh kết hợp cách sử dụng sở liệu FER 2013 bao gồm bảy cảm xúc (hạnh phúc, tức giận, buồn bã, ghê tởm, trung tính, sợ hãi ngạc nhiên) Các hình ảnh khn mặt phát thay đổi kích thước thành 48 × 48 pixel chuyển đổi thành hình ảnh 25 thang độ xám sau sử dụng cho đầu vào cho mơ hình CNN Do đó, sinh viên tham gia thử nghiệm, số họ có hai người đeo kính Hình 11 cho thấy kết cảm xúc sinh viên Nhãn cảm xúc dự đoán biểu thị văn màu đỏ màu đỏ thể xác suất cảm xúc Chúng em đạt tỷ lệ xác 70% 106 chu kì Để đánh giá hiệu chất lượng phương pháp đề xuất chúng tôi, tính tốn ma trận nhầm lẫn, độ xác, thu hồi điểm F1 Hình 12 Hình 13, tương ứng Mơ hình tốt để dự đốn khn mặt hạnh phúc ngạc nhiên Tuy nhiên, dự đốn khn mặt sợ hãi nhầm lẫn với khn mặt buồn bã Hình 12 Confusion matrix of the proposed method on FER 2013 database 26 Hình 13: Classification report of the proposed method on FER 2013 database 27 Hình 11 Kết nhận dạng khuôn mặt sinh viên 28 KẾT LUẬN Trong báo này, chúng tơi trình bày mơ hình Mạng lưới thần kinh kết hợp để nhận dạng nét mặt sinh viên Mơ hình đề xuất bao gồm lớp tích chập, lớp tổng hợp tối đa lớp kết nối đầy đủ Hệ thống nhận dạng khn mặt từ hình ảnh đầu vào sinh viên cách sử dụng máy dò Haar-like phân loại chúng thành bảy biểu cảm khuôn mặt: ngạc nhiên, sợ hãi, ghê tởm, buồn, vui, tức giận trung tính Mơ hình đề xuất đạt tỷ lệ xác sở liệu FER 2013 70% Hệ thống nhận dạng nét mặt chúng tơi giúp giáo viên nhận khả hiểu sinh viên thuyết trình Vì vậy, cơng việc tương lai mình, chúng em tập trung vào việc áp dụng mơ hình Mạng thần kinh kết hợp hình ảnh khuôn mặt học sinh 3D để chiết xuất cảm xúc họ TÀI LIỆU THAM KHẢO [1]R G Harper, A N Wiens, and J D Matarazzo, Nonverbal communication: the state of the art New York: Wiley, 1978 [2]P Ekman and W V Friesen, “Constants across cultures in the face and emotion,” Journal of Personality and Social Psychology, vol 17, no 2, p 124-129, 1971 [3]C Tang, P Xu, Z Luo, G Zhao, and T Zou, “Automatic Facial Expression Analysis of Students in Teaching Environments,” in Biometric Recognition, vol 9428, J Yang, J Yang, Z Sun, S Shan, W Zheng, et J Feng, Éd Cham: Springer International Publishing, 2015, p 439-447 [4] A Savva, V Stylianou, K Kyriacou, and F Domenach, “Recognizing student facial expressions: A web application,” in 2018 IEEE Global Engineering Education Conference (EDUCON), Tenerife, 2018, p 1459-1462 [5]J Whitehill, Z Serpell, Y.-C Lin, A Foster, and J R Movellan, “The Faces of Engagement:Automatic Recognition of Student Engagementfrom Facial Expressions,” IEEE Transactions on Affective Computing, vol 5, no 1, p 86-98, janv 2014 [6]N Bosch, S D'Mello, R Baker, J Ocumpaugh, V Shute, M Ventura, L Wang and w Zhao, “Automatic Detection of Learning-Centered Affective States in the Wild,” in Proceedings of the 20th International Conference on Intelligent User Interfaces - IUI ’15, Atlanta, Georgia, USA, 2015, p 379-388 [7]Krithika L.B and Lakshmi Priya GG, “Student Emotion Recognition System 29 (SERS) for e-learning Improvement Based on Learner Concentration Metric,” Procedia Computer Science, vol 85, p 767-776, 2016 [8]U Ayvaz, H Gũrũler, and M O Devrim, “USE OF FACIAL EMOTION RECOGNITION IN E-LEARNING SYSTEMS,” Information Technologies and Learning Tools, vol 60, no 4, p 95, sept 2017 [9]Y Kim, T Soyata, and R F Behnagh, “Towards Emotionally Aware AI Smart Classroom: Current Issues and Directions for Engineering and Education,” IEEE Access, vol 6, p 5308-5331, 2018 [10] D Yang, A Alsadoon, P w c Prasad, A K Singh, and A Elchouemi, “An Emotion Recognition Model Based on Facial Recognition in Virtual Learning Environment,” Procedia Computer Science, vol 125, p 2-10, 2018 [11] C.-K Chiou and J C R Tseng, “An intelligent classroom management system based on wireless sensor networks,” in 2015 8th International Conference on Ubi-Media Computing (UMEDIA), Colombo, Sri Lanka, 2015, p 44-48 [12] I J Goodfellow et al., “Challenges in Representation Learning: A report on three machine learning contests,” arXiv:1307.0414 [cs, stat], juill 2013 [13] A Fathallah, L Abdi, and A Douik, “Facial Expression Recognition via Deep Learning,” in 2017 IEEE/ACS 14th International Conference on Computer Systems and Applications (AICCSA), Hammamet, 2017, p 745-750 [14] P Viola and M Jones, “Rapid object detection using a boosted cascade of simple features,” in Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR 2001, Kauai, HI, USA, 2001, vol 1, p I-511-I-518 [15] Y Freund and R E Schapire, “A Decision-Theoretic Generalization of OnLine Learning and an Application to Boosting,” Journal of Computer and System Sciences, vol 55, no 1, p 119-139, aout 1997 [16] Opencv opencv.org [17] Keras keras.io [18] Tensorflow tensorflow.org [19] aionlinecourse.com/tutorial/machine-learning/convolution-neural- network Accessed 20 June 2019 [20] S Albawi, T A Mohammed, and S Al-Zawi, “Understanding of a convolutional neural network,” in 2017 International Conference on Engineering and Technology (ICET), Antalya, 2017, p 1-6 [21] ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ Accessed 05 July 2019 30 ... Nghiên cứu xây dựng phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI 5. 2. 9 Thử nghiệm, đánh giá phần mềm tự động đánh giá tình hình học tập thơng qua. . .2 DANH MỤC CÁC CÔNG VIỆC Nội dung 5: Nghiên cứu phát triển phần mềm tự động đánh giá tình hình học tập thơng qua cơng nghệ xử lý ảnh trí tuệ nhân tạo AI STT Tên nội dung công việc 5. 2. 8 Nghiên. .. Network 1 .2. 1 Mơ hình Neural Network 1 .2. 2 Convolutional Neural Network CHƯƠNG 2? ?: NGHIÊN CỨU XÂY DỰNG PHẦN MỀM TỰ ĐỘNG ĐÁNH GIÁ TÌNH HÌNH HỌC TẬP THƠNG QUA CƠNG NGHỆ XỬ LÝ ẢNH VÀ TRÍ TUỆ NHÂN TẠO AI