(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt

(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt(Luận văn thạc sĩ) Nghiên cứu một số phương pháp trích chọn đặc trưng cho ảnh và ứng dụng trong bài toán phân loại trạng thái cảm xúc khuôn mặt

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG DƯƠNG VĂN CƯỜNG NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG CHO ẢNH VÀ ỨNG DỤNG TRONG BÀI TOÁN PHÂN LOẠI TRẠNG THÁI CẢM XÚC KHN MẶT Chun ngành: Khoa học máy tính Mã số: 84 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS VŨ VIỆT VŨ THÁI NGUYÊN, 2018 i MỤC LỤC MỤC LỤC i DANH MỤC CÁC CHỮ VIẾT TẮT iii DANH MỤC CÁC HÌNH VẼ iv Mở đầu Chương Tổng quan khai phá liệu ứng dụng 1.1 Khái niệm lĩnh vực khai phá liệu phát tri thức 1.1.1 Khái niệm 1.1.2 Các mơ hình học máy 1.1.3 Ứng dụng học máy 1.2 Tổng quan tốn trích chọn đặc trưng, trích chọn đặc trưng cho liệu hình ảnh 1.3 Bài tốn phân loại cảm xúc khn mặt 11 1.4 Những vấn đề nghiên cứu luận văn 12 Chương Nghiên cứu số phương pháp trích chọn đặc trưng cho ảnh 14 2.1 Tổng quan trích chọn đặc trưng 14 2.2 Phương pháp trích chọn đặc trưng Gabor 15 2.3 Phương pháp trích chọn đặc trưng HoG 18 2.3.1 Giới thiệu 18 2.3.2 Các bước trích trọn đặc trưng HoG ảnh 19 2.4 Phương pháp trích chọn đặc trưng LBP 25 2.5 Một số phương pháp học máy ứng dụng toán phân loại trạng thái cảm xúc khuôn mặt 31 2.5.1 Phương pháp học không giám sát 31 2.5.2 Phương pháp phân cụm bán giám sát 33 2.5.3 Phương pháp học có giám sát 35 ii 2.6 Kết luận 37 Chương Kết thực nghiệm 38 3.1 Giới thiệu 38 3.2 Kết thực nghiệm 40 3.2.1 Thực phương pháp Gabor 41 3.2.2 Kết thực nghiệm với thuật toán học bán giám sát MCSSDBS, SSDBSCAN 41 3.2.3 Kết thực nghiệm với thuật toán K-Means Seed K-Means 43 3.3 Kết luận 45 KẾT LUẬN 46  Những kết đạt 46  Hướng phát triển đề tài 46 TÀI LIỆU THAM KHẢO 48 iii DANH MỤC CÁC CHỮ VIẾT TẮT DBSCAN Phương pháp phân cụm dựa mật độ (Density Based Spatial Clustering of Application with Noise) HoG Biểu đồ đường dốc (Histogram of Gradients) LBP Mẫu nhị phân địa phương (Local Binary Pattern) LDA Phân tích phân biệt tuyến tính (Linear Discriminant Analysis) PCA Phân tích thành phần (Principal Component Analysis) SSDBSCAN Thuật toán phân cụm bán giám sát dựa mật độ (Semi supervised Density Based Spatial Clustering of Application with Noise) SSGC Thuật toán phân cụm bán giám sát dựa đồ thị (Semi supervised Graph Clustering) SVM Máy hỗ trợ véc tơ (Support Vector Machine) iv DANH MỤC CÁC HÌNH VẼ Hình 1.1 Các bước q trình khai phá liệu Hình 1.2 Mơ hình học có giám sát Hình 1.3 Mơ hình học khơng giám sát HÌnh 1.4 Mơ hình học bán giám sát Hình 1.5 Ví dụ khả Deep learning Hình 1.6 (a) Ví dụ trích chọn đặc trưng từ ảnh Hình 1.6 (b) Ví dụ trích chọn đặc trưng từ ảnh 10 Hình 1.7 Ví dụ tập liệu mơ tả trạng thái cảm xúc khn mặt 11 Hình 1.8 Ví dụ thu thập ảnh trạng thái khn mặt từ Video 12 Hình 2.1 Bộ lọc Gabor với loại tần số hướng khác 16 Hình 2.2 Ảnh sau sử dụng lọc Gabor tương ứng với hình 2.1 17 Hình 2.3: R-HOG C-HOG 19 Hình 2.4: Chia khối trích đặc trưng HOG 20 Hình 2.5: Ví dụ trích chọn đặc trưng HoG 23 Hình 2.6 Tiền xử lý ảnh 23 Hình 2.7 Gradient theo hướng x (trái), hướng y (giữa) tổng hợp gradient (phải) 24 Hình 2.8 Chia ảnh thành để tính biểu đồ 24 Hình 2.9 Tính lược đồ mức xám 25 Hình 2.10 Ví dụ phương pháp LBP 26 Hình 2.11 Ví dụ ảnh khuôn mặt (trái) đặc trưng LBP (phải) 26 Hình 2.12 Tập hợp điểm xung quanh Ptt 27 Hình 2.13 Các biến thể LBP, LBP đồng dạng 28 Hình 2.14 Bảng thống kê mẫu LBP đồng dạng 29 Hình 2.15 Ví dụ q trình tính tốn đặc trưng 30 Hình 2.16 Phương pháp LBP khơng phụ thuộc vào độ sáng ảnh chụp cho đối tượng giống 31 v Hình 2.17 Ví dụ liệu tốn phân cụm: hình bên trái bao gồm cụm rời tuyến tính hình bên phải có cụm hình dạng khơng tuyến tính 32 Hình 2.18 Kết phân cụm thuật toán DBSCAN Graph clustering (trái) K-Means, Fuzzy C-Means (phải) 33 Hình 2.19 Dữ liệu đầu vào cho loại thuật toán học (a) học có giám sát, (b,c) học bán giám sát, (d) học khơng giám sát 33 Hình 2.20 Mơ hình học có giám sát 35 Hình 3.1 Ví dụ ảnh tập CK+ 39 Hình 3.2 Ví dụ ảnh tập liệu ITI 40 Hình 3.3 Kết thực nghiệm cho tập liệu CK+ 42 Hình 3.4 Kết thực nghiệm cho tập liệu ITI 43 Hình 3.5 Kết phân loại trạng thái cảm xúc khuôn mặt phương pháp Seed K-Means 44 Hình 3.6 Kết phân cụm cho tập ITI 44 Mở đầu Trong tất văn minh từ trước đến nay, giao tiếp hoạt động khơng thể thiếu, xuất nơi lúc, lĩnh vực ảnh hưởng trực tiếp tới sống cá thể Giao tiếp nhu cầu xã hội bản, xuất sớm đời sống người yếu tố ảnh hưởng trực tiếp tới trình hình thành lên tâm sinh lý người Hơn nữa, giao tiếp giúp người truyền tải thông tin, học hỏi tri thức thể cảm xúc Nhờ có giao tiếp làm cho người văn hóa, xã hội văn minh đất nước phát triển Nhận thấy tầm quan trọng hoạt động giao tiếp nên người bỏ nhiều thời gian công sức vào nghiên cứu yếu tố định thành công việc giao tiếp, không lĩnh vực giao tiếp người với người, mà ngày người bắt đầu nghiên cứu hệ thống tương tác người – máy Mặt khác, giao tiếp khn mặt nơi người thể suy nghĩ, tình cảm, thái độ nên để người máy tính tương tác với tự nhiên hệ thống xây dựng dựa tảng thay đổi khn mặt Cần phải có cơng cụ thực cơng việc Đó lí chọn đề tài: "Nghiên cứu số phương pháp trích chọn đặc trưng cho ảnh ứng dụng tốn phân loại trạng thái cảm xúc khn mặt" Dựa vào phương pháp trích chọn đặc trưng, tác giả muốn xây dựng ứng dụng có khả phân loại cảm xúc khuôn mặt người Từ ảnh mặt người thu nhận từ camera quan sát, chương trình phân biệt trạng thái cảm xúc khuôn mặt như: hạnh phúc (happy), ngạc nhiên (surprise), ghê tởm (disgust), buồn (sad), sợ hãi (fear), giận (angry), bình thường (neutral) Để thực tốn phân loại cảm xúc khn mặt, phải sử dụng đến hệ thống học máy Một hệ thống học máy thường có bước gồm thu thập liệu, trích chọn đặc trưng từ liệu, giảm số chiều liệu, xây dựng mơ hình phân lớp/phân cụm thực để thu kết cuối biểu diễn mô tả kết Trong luận văn tơi tập trung vào nghiên cứu vấn đề trích chọn đặc trưng từ ảnh từ áp dụng thuật tốn học máy nhằm giải toán đề xuất Ứng dụng lớp toán phân loại, nhận dạng trạng thái cảm xúc khn mặt kể đến như: tương tác người-máy, phân tích cảm xúc, phát trạng thái mệt mỏi người, video tương tác, đánh mục ảnh video,… Nội dung luận văn: Nội dung chương 1: o Tổng quan toán trích chọn đặc trưng o Giới thiệu tốn phân loại cảm xúc khuôn mặt Nội dung chương 2: o Phương pháp trích chọn đặc trưng Gabor o Phương pháp trích chọn đặc trưng HoG o Phương pháp trích chọn đặc trưng LBP Nội dung chương 3: o Thực nghiệm kết với phương pháp phân cụm K-Means, SSDBSCAN, MCSSDBS Kết luận Chương Tổng quan khai phá liệu ứng dụng 1.1 Khái niệm lĩnh vực khai phá liệu phát tri thức 1.1.1 Khái niệm Lĩnh vực khai phá liệu phát tri thức từ liệu (KDD) nhằm mục đích tạo mẫu, luật, tri thức quý từ số lượng liệu lớn thu nhận [12],[13] Các ứng dụng lĩnh vực kể nhận dạng hình ảnh, âm thanh, chẩn đoán y học, sử dụng cơng cụ tìm kiếm Google,… Quy trình phát tri thức thường tuân theo bước hình 1.1: Tri thức Chuyển đổi liệu Dữ liệu mục tiêu Cơ sở liệu Lựa chọn Các mẫu liệu Dữ liệu tiền xử lý Tiền xử lý làm Diễn giải, đánh giá Lựa chọn trích xuất đặc trưng Khai phá liệu Hình 1.1: Các bước trình khai phá liệu - Bước thứ nhất: Hình thành, xác định định nghĩa tốn Tìm hiểu lĩnh vực ứng dụng từ hình thành tốn, xác định nhiệm vụ cần phải hoàn thành, thu thập liệu Bước định cho việc rút tri thức hữu ích cho phép chọn phương pháp khai phá liệu thích hợp với mục đích ứng dụng chất liệu - Bước thứ hai: Xử lý thơ, cịn gọi tiền xử lý liệu nhằm loại bỏ nhiễu (làm liệu), xử lý việc thiếu liệu (làm giàu liệu), biến đổi liệu, trích rút đặc trưng rút gọn liệu cần thiết, bước thường chiếm nhiều thời gian toàn qui trình phát tri thức Do liệu lấy từ nhiều nguồn khác nhau, khơng đồng nhất, gây nhầm lẫn Sau bước này, liệu quán, đầy đủ, rút gọn rời rạc hoá - Bước thứ ba: Lựa chọn đặc trưng, trích chọn đặc trưng biến đổi đặc trưng liệu Đây bước quan trọng Nhiệm vụ bước khơng làm giảm kích thước liệu mà chọn đặc điểm đặc trưng nhằm tăng chất lượng bước sau Tùy nhiệm vụ lĩnh vực toán, có phương pháp trích rút đặc trưng cho liệu khác - Bước thứ tư: Khai phá liệu, rút tri thức, trích mẫu hoặc/và mơ hình ẩn liệu [13] Giai đoạn quan trọng, bao gồm công đoạn như: chức năng, nhiệm vụ mục đích khai phá liệu gì, dùng phương pháp khai phá nào? Thơng thường, tốn khai phá liệu bao gồm: toán mang tính mơ tả - đưa tính chất chung liệu, toán dự báo - bao gồm việc phát suy diễn dựa liệu có, tốn phân lớp, phân cụm, phát cấu trúc liệu,… Tùy theo toán xác định mà ta lựa chọn phương pháp khai phá liệu cho phù hợp - Bước thứ năm: Là hiểu giải thích tri thức/các mẫu/các luật tìm được, đặc biệt làm sáng tỏ mơ tả dự đốn Các cơng cụ có dùng 36 phải phát triển thuật tốn: pha huấn luyện, nhằm tạo phân lớp f(.) để xác định nhãn cho đối tượng đầu vào (xnew) Các thuật tốn học có giám sát tiêu biểu thực tế kể đến như: phương pháp SVM (Support Vector Machine), phương pháp đồ thị k-láng giềng gần (k- Nearest Neighbour graph), phương pháp mạng nơ ron, phương pháp định, phương pháp rừng ngẫu nhiên Đặc biệt khoảng 10 năm trở lại phương pháp học sâu (deep learning) nghiên cứu triển khai cho kết tốt toán liệu ảnh Mỗi phương pháp có ưu nhược điểm riêng phù hợp cho ứng dụng theo lĩnh vực Một đặc điểm quan trọng thuật toán học có giám sát vấn đề tập liệu huấn luyện Khi xây dựng mơ hình phân lớp số lượng tập liệu huấn luyện phải đủ lớn đầy đủ sau huấn luyện có phân lớp đắn Một số ví dụ tốn học có giám sát sau: - Bài toán nhận dạng biển số xe: Hệ thống học ký tự chữ số, sau tự động phát biển số xe chuyển dạng văn - Bài toán nhận dạng mặt người: Hệ thống huấn luyện với mẫu ảnh mặt người kèm với nhãn nó, sau định danh cho khn mặt 37 2.6 Kết luận Nội dung chương tập trung vào ba phương pháp để trích chọn đặc trưng cho ảnh phương pháp Gabor, phương pháp LBP phương pháp HoG Đây phương pháp có sở tốn học vững cộng đồng nghiên cứu quan tâm nhiều Một nội dung trình bày chương hai phương pháp học có giám sát, học bán giám sát không giám sát Các phương pháp sử dụng trình xây dựng hệ thống thực nghiệm chương 38 Chương Kết thực nghiệm 3.1 Giới thiệu Trên sở nghiên cứu tìm hiểu chương 2, có phương pháp để trích chọn đặc trưng ảnh phục vụ cho toán phân lớp nhận dạng Trong chương chúng tơi trình bày việc ứng dụng phương pháp trích chọn đặc trưng Gabor tốn phân loại cảm xúc khn mặt Để thực điều dùng phương pháp phân cụm bán giám sát MCSSDBS, SSDBSCAN, phương pháp học bán giám sát Seed K-Means phương pháp học không giám sát K-Means để thử nghiệm Tập liệu thử nghiệm CK2 tập liệu thu thập từ ảnh người Việt nam ITI Chi tiết tập liệu ảnh trình bày bảng Bảng 3.1 Thông tin tập liệu CK+ 39 Hình 3.1 Ví dụ ảnh tập CK+ Bảng 3.2 Thơng tin tập liệu ITI 40 Hình 3.2 Ví dụ ảnh tập liệu ITI 3.2 Kết thực nghiệm Để tiến hành thử nghiệm, chúng tơi thực chương trình Matlab Java Chương trình Matlab dùng để trích chọn đặc trưng thuật toán Gabor giảm số chiều thuật tốn PCA Chúng tơi sử dụng thuật tốn SSDBSCAN, MCSSDBS, Seed K-Means viết Java để thực tính toán kết Đối với việc đánh giá kết q trình phân cụm chúng tơi sử dụng số Rand Index Chỉ số Rand Index dùng để so sánh kết hai phân cụm P1 P2 Giả sử a tổng số cặp x i xj thuộc cụm P1 P2, b tổng số cặp xi xj thuộc hai cụm khác P1 P2, số RI tính cơng thức sau: RI  ab n(n  1) RI có giá trí từ đến 1, RI lớn độ xác trình phân cụm lớn 41 3.2.1 Thực phương pháp Gabor Để trích chọn đặc trưng ảnh chúng tơi sử dụng chương trình Matlab, Matlab hỗ trợ thư viện phương pháp Gabor Chẳng hạn gabor(sigma_y+y+1,sigma_x+x+1)= ((fu^2)/(pi*gamma*ni))*exp(- (alfa^2*xc^2 + beta^2*yc^2))*exp((2*pi*fu*xc)*i); Ví dụ việc thực trích chọn đặc trưng với ảnh, số chiều lại 36 sau đây: -3.9277593728888874e+01 3.4728674584734165e+00 4.1457460178153775e+00 1.0748274494963409e+01 1.8228045753255042e+01 7.3328220050384969e+00 8.3719167917704489e+00 1.1783343409977993e+01 1.7032676861196192e+00 2.0422554496131852e+01 6.1697827660015010e+00 3.7600688586324464e+00 1.1077605401503449e+01 4.0166419631208339e-01 7.3150989610128274e+00 7.1488623092409167e+00 4.4366915282603498e+00 1.6938113198410927e+00 7.1050642860220643e+00 5.1464623031117682e+00 6.8259377414196800e+00 8.2815769063968201e+00 7.3936703403248343e+00 9.3069924624417641e+00 -6.5286054464800163e+00 3.6489964174495788e+00 1.4643874894093987e+00 -1.0363877953406906e+01 -4.3776267092769743e+00 -2.1362749092309830e+01 1.2667949403672951e+01 -3.1591007179729171e+00 -4.6513319392207286e+00 3.6162808105149331e+00 2.2466047906115794e+00 -1.6100506589435477e+00 - - Sau thu liệu chuyển đổi thực chương trình Java 3.2.2 Kết thực nghiệm với thuật toán học bán giám sát MCSSDBS, SSDBSCAN Thuật toán dùng để thử nghiệm cho việc phân cụm ảnh mặt người cho hai liệu CK+ ITI MCSSDBS thuật toán phân cụm bán giám sát SSDBSCAN Sử dụng phương pháp trích chọn đặc trưng Gabor, xây dựng hệ thống biến đổi ảnh véc tơ chuẩn hóa Các liệu ràng buộc 42 giá trị nhãn sinh ngẫu nhiên từ tập liệu theo thơng tin có từ nhãn tương ứng Kết thực nghiệm minh họa hình 3.3 3.4 Chúng ta thấy kết phân cụm tốt cho tệp CK+ đạt 97%, sử dụng 25 nhãn lớp 400 ràng buộc Kết tốt cho tập liệu ITI 87% Các kết cho thấy tương đối tốt tập liệu CK+ Các kết cho thấy thuật toán MCSSDBS cho kết tốt đặc biệt trường hợp sử dụng loại must-link Với kết hoàn toàn áp dụng vào tốn thực tế phân loại cảm xúc online, tương tác người-máy tính Chúng ta thấy kết phân cụm phụ thuộc vào yếu tố khác tiền xử lý liệu, xây dựng tập ảnh, trích chọn đặc trưng,… Hình 3.3 Kết thực nghiệm cho tập liệu CK+ 43 Hình 3.4 Kết thực nghiệm cho tập liệu ITI 3.2.3 Kết thực nghiệm với thuật toán K-Means Seed K-Means Với thuật toán K-Means, có kết kết phân cụm Do thuật toán K-Means thường phụ thuộc vào trình chọn trọng tâm bước Chúng tơi thực 20 lần chạy K-Means tính giá trị kết trung bình K-Means đạt 67.6% giá trị RI sau 50 lần chạy Hình 3.5 hình 3.6 trình bày kết thực phân cụm ảnh với thuật toán Seed K-Means cho hai tập liệu CK+ tập liệu ITI Kết phân cụm cho thấy với lượng liệu gán nhãn cung cấp, chất lượng phân cụm không cải thiện nhiều Điều lý giải việc phân bố điểm tập liệu có hình dạng khơng phải hình cầu chất lượng phân cụm sử dụng thuật toán SSDBSCAN MCSSDBS cao hẳn 44 Hình 3.5 Kết phân loại trạng thái cảm xúc khuôn mặt phương pháp Seed K-Means Hình 3.6 Kết phân cụm cho tập ITI 45 3.3 Kết luận Nội dung chương nhằm tiến hành thực nghiệm xây dựng chương trình đánh giá kết Với kết thử nghiệm trên, chưa nhiều đạt nghiên cứu ban đầu việc phân loại ảnh trạng thái cảm xúc khuôn mặt Với tập liệu ảnh trạng thái cảm xúc khuôn mặt, sử dụng hai tập liệu CK2 ITI, thuật toán phân cụm bán giám sát sử dụng SSDBSCAN, MCSSDBS, Seed K-Means K-Means Kết thực nghiệm cho thấy chất lượng trình phân lớp tốt điều khẳng định quy trình sử dụng thuật tốn Gabor trích chọn đặc trưng đắn phù hợp Với thuật toán phân cụm bán giám sát, chất lượng phân cụm tốt hẳn có thêm thơng tin bổ trợ q trình phân cụm Để tiến tới hoàn thiện cần thêm nhiều thực nghiệm với tập liệu khác, thuật toán khác (chẳng hạn thuật toán học có giám sát), để tiếp tục hồn thiện nghiên cứu 46 KẾT LUẬN  Những kết đạt Sau thực luận văn với chủ đề nghiên cứu lĩnh vực trích chọn đặc trưng ứng dụng cho toán phân loại trạng thái cảm xúc khuôn mặt thu kết sau đây: - Hiểu tổng quan lĩnh vực xử lý ảnh toán ứng dụng xử lý ảnh Đây hướng nghiên cứu có nhiều ứng dụng thực tế thời đại cơng nghiệp 4.0, hàng ngày có hàng tỷ ảnh video đưa lên mạng vấn đề sử dụng (khai phá) liệu thực tế vấn đề quan trọng - Đã nghiên cứu hiểu phương pháp trích chọn đặc trưng ảnh, cụ thể ba phương pháp gồm Gabor, HoG LBP Mỗi phương pháp có ưu điểm nhược điểm riêng chất chúng tìm đặc trưng bề mặt ảnh giúp cho công đoạn nhận dạng, phân loại pha sau xác - Nghiên cứu ứng dụng kết tốn trích chọn đặc trưng cho việc sử dụng thuật toán học máy Tác giả nắm bắt tìm hiểu mơ hình học máy học không giám sát, học bán giám sát học có giám sát - Đã thực thử nghiệm số kết sử dụng phương pháp học bán giám sát (SSDBSCAN, MCSSGC, Seed K-Means) phương pháp học không giám sát (K-Means) Các kết đạt cho thấy áp dụng thuật tốn vào ứng dụng thực tế triển khai  Hướng phát triển đề tài Do thời gian kiến thức cịn hạn chế, khn khổ luận văn tơi khơng thể nghiên cứu kỹ tồn diện tốn trích chọn đặc trưng ảnh 47 Trong tương lai, số hướng nghiên cứu mà dự kiến tiếp tục sau: - Tiếp tục nghiên cứu tìm hiểu lĩnh vực xử lý ảnh, phương pháp trích chọn đặc trưng khác, phân tích ưu nhược điểm chúng - Nghiên cứu ứng dụng cho toán nhận dạng, phân loại trạng thái cảm xúc khuôn mặt Các tập liệu lớn hơn, thuật toán khác học máy cần tiếp tục thử nghiệm đánh giá để có nhìn toàn diện kết đạt 48 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Trịnh Tấn Đạt, Phạm Thế Bảo (2013), "Đặc trưng Gabor kết hợp với AdaBoost K-Means toán nhận dạng mặt người", Tạp chí Khoa học Đại học Sư phạm Thành phố Hồ Chí Minh [2] Hồ Đức Lĩnh, Huỳnh Hữu Hưng (2015), "Nhận dạng trái bưởi sóng Gabor, ma trận đồng mức xám Co-occurrence thuật toán k-NN", Tạp chí khoa học, Đại học Đơng Á [3] Trương Quốc Bảo, Trương Hùng Chen, Trương Quốc Định (2015), "Phát nhận dạng biển báo giao thông đường sử dụng đặc trưng HoG mạng Nơ ron nhân tạo", Tạp chí khoa học Trường Đại học Cần Thơ Tiếng Anh: [4] Ali Mollahosseini, Behzad Hassani, Michelle J Salvador, Hojjat Abdollahi, David Chan, Mohammad H Mahoor, “Facial Expression Recognition from World Wild Web” In Computer Vision and Pattern Recognition Workshops, pp 1509-1516, 2016 [5] Mark S Nixon, Alberto S Aguado, "Feature extraction and Image processing", Academic Press, 2008 [6] Bo Yang, Songcan Chen, A comparative study on local binary pattern (LBP) based face recognition: LBP histogram versus LBP image Neurocomputing 120: 365-379 (2013) [7] Chengjun Liu, Harry Wechsler: Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition IEEE Trans Image Processing 11(4): 467-476, 2002 49 [8] Mohammad Haghighat, Saman A Zonouz, Mohamed Abdel-Mottaleb, CloudID: Trustworthy cloud-based and cross-enterprise biometric identification Expert Syst Appl 42(21): 7905-7916 (2015) [9] Vũ Việt Vũ, Đỗ Hồng Quân, 2017, Density-based clustering with side information and active learning In proceeding of International Conference on Knowledge and Systems Engineering, pp 174-179 [10] Vũ Việt Vũ, 2018, An efficient Semi-supervised Graph-based clustering, Intelligent Data Analysis, Volume 22(2), ISSN: 1571-4128, pp 297307 [11] Levi Lelis, Jörg Sander: Semi-supervised Density-Based Clustering ICDM : 842-847, 2009 [12] Martin Ester, Hans-Peter Kriegel, Jörg Sander, Xiaowei Xu: A DensityBased Algorithm for Discovering Clusters in Large Spatial Databases with Noise KDD, 1996 [13] S Basu, I Davidson, and K L Wagstaff, Constrained Clustering: Advances in Algorithms, Theory, and Applications, Chapman and Hall/CRC Data Mining and Knowledge Discovery Series, 1st edn., 2008 [14] Anil K Jain: Data clustering: 50 years beyond K-means Pattern Recognition Letters (PRL) 31(8):651-666 (2010) [15] Sugato Basu, Arindam Banerjee, Raymond J Mooney, Semi-supervised Clustering by Seeding In proceeding of International Conference on Machine Learning, 2002 [16] Yann LeCun, Yoshua Bengio, Geoffrey E Hinton: Deep learning Nature 521(7553): 436-444 (2015) [17] Taher Khadhraoui, Faouzi Benzarti, Hamid Amiri: Gabor-feature-based local generic representation for face recognition with single sample per person SERA 2017: 157-160 50 [18] Atreyee Sinha, Sugata Banerji, Chengjun Liu: New color GPHOG descriptors for object and scene image classification Mach Vis Appl 25(2): 361-375 (2014) [19] Nabila Mansouri, Yousra Ben Jemaa, Eric Watelain: Optimized HOG Descriptor for on Road Cars Detection ICDSC 2016: 166-171 [20] Li Liu, Paul W Fieguth, Yulan Guo, Xiaogang Wang, Matti Pietikäinen: Local binary features for texture classification: Taxonomy and experimental study Pattern Recognition 62: 135-160 (2017) [21] Ze Lu, Xudong Jiang, Alex C Kot: A novel LBP-based Color descriptor for face recognition ICASSP 2017: 1857-1861 [22] T Ojala, M Pietikäinen, and D Harwood (1996), "A Comparative Study of Texture Measures with Classification Based on Feature Distributions", Pattern Recognition, vol 29, pp 51-59 [23] https://www.quora.com/How-does-features-extraction-on-images-work [24] http://www.pitt.edu/~emotion/ck-spread.htm [25] https://vi.scribd.com/doc/138024664/Histogram-of-Oriented-Gradients-HOG ... đổi khuôn mặt Cần phải có cơng cụ thực cơng việc Đó lí tơi chọn đề tài: "Nghiên cứu số phương pháp trích chọn đặc trưng cho ảnh ứng dụng toán phân loại trạng thái cảm xúc khuôn mặt" Dựa vào phương. .. bước trích trọn đặc trưng HoG ảnh 19 2.4 Phương pháp trích chọn đặc trưng LBP 25 2.5 Một số phương pháp học máy ứng dụng toán phân loại trạng thái cảm xúc khuôn mặt 31 2.5.1 Phương. .. nghiệm tơi trình bày phương pháp phân cụm liệu cho toán phân loại cảm xúc khuôn mặt 14 Chương Nghiên cứu số phương pháp trích chọn đặc trưng cho ảnh 2.1 Tổng quan trích chọn đặc trưng Mỗi đối tượng