1. Trang chủ
  2. » Giáo Dục - Đào Tạo

NHẬN DẠNG BIỂU CẢM KHUÔN MẶT DÙNG MẠNG C-NN

67 9 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 67
Dung lượng 2,17 MB

Nội dung

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN CHÂU UYÊN SA NHẬN DẠNG BIỂU CẢM KHUÔN MẶT DÙNG MẠNG C-NN Chuyên ngành: HỆ THỐNG THÔNG TIN Mã số: 60 48 01 04 ĐỒ ÁN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS-TS: LÊ HỒNG THÁI TP.HỒ CHÍ MINH, Năm 2018 LỜI CẢM ƠN Lời em xin gửi lời cảm ơn chân thành biết ơn sâu sắc tới thầy Lê Hoàng Thái, người bảo hướng dẫn tận tình cho em suốt trình nghiên cứu khoa học thực đề tài Em xin chân thành cảm ơn giúp đỡ góp ý nhiệt tình thầy Bùi Tiến Lên, nhờ thầy em có hội tìm hiểu kiến thức bổ ích trí tuệ nhân tạo Em xin cảm ơn thầy cô khoa Công nghệ thông tin, Đại học Khoa học Tự nhiên Tp Hồ Chí Minh hướng dẫn giảng dạy tận tình, giúp em tiếp thu nhiều kiến thức quý báu làm hành trang sống công việc Và cuối cùng, xin gửi lời cảm ơn đến gia đình, người thân bạn bènhững người ln bên tơi lúc khó khăn nhất, ln động viên khuyến khích tơi Xin chân thành cảm ơn! ii MỤC LỤC Lời cảm ơn i Mục lục iii Danh mục hình vi Danh mục bảng viii Danh sách thuật ngữ ix Danh sách từ viết tắt x Lời mở đầu xi Chương Giới thiệu đồ án 1.1 Mục tiêu 1.2 Giới hạn 1.3 Cấu trúc đồ án Chương Cơ sở lý thuyết 2.1 Mạng nơ-ron nhân tạo 2.1.1 Giới thiệu mạng nơ-ron 2.1.2 Một số kiểu mạng nơ-ron 2.1.3 Mạng nơ-ron lan truyền ngược MLP 2.2 Mạng tích chập 13 2.2.1 Phép tích chập 14 2.2.2 Kiến trúc mạng tích chập 16 2.2.3 Quá trình huấn luyện mạng 18 iii Chương Bài toán nhận dạng biểu cảm 19 3.1 Các thách thức toán nhận dạng biểu cảm 19 3.2 Phân loại 20 3.3 Một số phương pháp nhận dạng biểu cảm khuôn mặt 21 3.4 Các bước thực toán nhận diện biểu cảm 22 3.5 Các nghiên cứu gần 24 Chương Phương pháp nghiên cứu 29 4.1 Khởi tạo mẫu tổng hợp (Synthetic sample generation) 30 4.2 Phép quay (Rotation correction) 32 4.3 Cắt tỉa hình ảnh (Image Cropping) 33 4.4 Lấy mẫu xuống (Down-sampling) 34 4.5 Chuẩn hóa cường độ (Intensity normalization) 34 4.6 Kiến trúc mạng CNN 35 Chương Kết thực nghiệm 40 5.1 Môi trường thực nghiệm 40 5.1.1 Cơ sở liệu 40 5.1.2 Hiện thực code 43 5.2 Thống kê đánh giá 43 5.2.1 Không tiền xử lý 44 5.2.2 Cắt tỉa hình ảnh 45 5.2.3 Chuẩn hóa cường độ 46 5.2.4 Chuẩn hóa khơng gian cường độ 47 5.2.5 Chuẩn hóa khơng gian- cường độ tổng hợp mẫu 47 iv 5.2.6 Tăng tốc độ thực thi mạng 49 Chương Kết luận- Hướng phát triển 53 6.1 Những vấn đề đạt báo cáo 53 6.2 Hạn chế hướng phát triển 53 6.2.1 Những hạn chế 53 6.2.2 Hướng phát triển 53 Tài liệu tham khảo 54 v DANH MỤC HÌNH Hình 2-1 Kiến trúc mạng nơ-ron nhân tạo Hình 2-2 Cách hoạt động nơ-ron Hình 2-3 Mạng tự kết hợp Hình 2-4 Mạng kết hợ pkhác kiểu Hình 2-2-5 Mạng truyền thẳng Hình 2-6 Mạng phản hồi Hình 2-7 Mạng nơ-ron lan truyền ngược MLP Hình 2-8 Bộ sở liệu MNIST chữ số viết tay 10 Hình 2-9 Quá trình tối ưu theo GD 12 Hình 2-10 Quá trình tối ưu theo SGD 13 Hình 2-11 Phép tích chập chiều 15 Hình 2-12 Phép tích chập chiều 15 Hình 2-13 Hình ảnh gốc bị biến đổi sau phép tích chập khác 16 Hình 2-14 Quá trình tự học đặc trưng phân lớp 17 Hình 2-15 Ví dụ mạng tích chập nhiều tầng 17 Hình 3-1: đối tượng với biểu cảm vui vẻ Các hình khác nhiều cách họ biểu cảm mà cịn tác động cua ánh sáng, góc chụp Các ảnh lấy từ dự liệu CK+, JAFF BU-3DFE 20 Hình 3-2 Ví dụ số AU tập liệu CK 22 Hình 3-3 Mơ hình tổng quan nhận dạng biểu cảm 23 Hình 3-4 Các bước phân tích biểu cảm gương mặt 23 Hình 4-1 Tổng quan hệ thống nhận diện biểu cảm 30 vi Hình 4-2 Minh họa khởi tạo mẫu từ điểm đặc trưng mắt 31 Hình 4-3 Minh họa khởi tạo mẫu tổng hợp 32 Hình 4-4 Ví dụ hiệu chỉnh quay 33 Hình 4-5 Minh họa cắt tỉa hình ảnh 34 Hình 4-6 Minh họa phép chuẩn hóa cường độ 35 Hình 4-7 Đầu vào mạng 35 Hình 4-8 Hình ảnh đầu vào kết hợp tích chập 5x5 36 Hình 4-9 Minh họa trượt cửa sổ kernel lần 36 Hình 4-10 Minh họa trượt cửa sổ kernel lần 37 Hình 4-11 Qua tích chập ta tạo 32x28x28 nơ-ron 37 Hình 4-12 Kích thước ảnh đầu vào sau lớp tích chập giảm chiều 38 Hình 4-13 Kiến trúc mạng đề xuất 38 Hình 5-1 Mơ tả liệu thực nghiệm CK+ 41 Hình 5-2 Các điểm mơ tả khn mặt 42 Hình 5-3 Ví dụ hình ảnh CK+ 42 Hình 5-4 Mức độc hính xác không tiền xử lý 44 Hình 5-5 Mức độ xác cắt tỉa hình ảnh 45 Hình 5-6 Mức độ xác huấn luyện: chuẩn hóa cường độ 46 Hình 5-7 Mức độ xác chuẩn hóa khơng gian cường độ 47 Hình 5-8 Mức độ xác tổng hợp bước tiền xử lý 48 Hình 5-9 Q trình huấn luyện mạng có sử dụng tập Validation 49 Hình 5-10 Cấu trúc mạng máy đơn CPU 50 vii DANH MỤC BẢNG Bảng 1: Bảng so sánh độ xác phương pháp nghiên cứu 28 Bảng 2: Thành phần đối tượng liệu kiểm tra 40 Bảng 3: So sánh kết ảnh đầu vào 32 24 50 Bảng 4: So sánh kết độ xác biểu cảm 51 viii DANH SÁCH THUẬT NGỮ CNN – Mạng tích chập Feature map – Bản đồ đặc trưng Kernel – Nhân tích chập Classsification – Phân lớp CK+ – Bộ liệu chuẩn Quốc tế Cohn–Kanade Deep multi-layer neural network – Mạng đa lớp sâu ix DANH SÁCH TỪ VIẾT TẮT CNN- Convolutional Neural Networks ReLU - Rectified linear unit ANN - Artificial Neural Network CSDL- Cơ sở liệu GD – Gradient Descent SGD - Stochastic gradient descent AAMs- Active apprearance models CK - Cohn–Kanade dataset LBP - Local binary patterns 10 AU - Action units 11 CNN - Convolutional Neural Networks 12 MLP – Multi Layer Perceptron x Hình 5-2 Các điểm mơ tả khuôn mặt Người tạo sở liệu sử dụng mơ hình xuất hoạt động (AAMsactive apprearance models) để tự động trích xuất điểm khn mặt Cơ sở liệu chứa hình ảnh cho biểu cảm: giận dữ, khinh, ghét, sợ, vui, buồn, ngạc nhiên Một số ví dụ hình ảnh CSDL CK+ thể hình 5-3 Hình 5-3 Ví dụ hình ảnh CK+ (1) trung tính, (2) ngạc nhiên, (3) chán ghét, (4) sợ hãi 42 5.1.2 Hiện thực code Tạo mẫu tổng hợp mp = [lp(i,:);rp(j,:)]; T = cp2tform(mp, fp, 'nonreflective similarity'); im2 = imtransform(im, T, 'XData', [1,100],'YData', [1,100]); D1 = sqrt(sum((fp(:,1) - fp(:,2)) ^ 2))/2; im3=imcrop(im2,[40-D1*0.2 40-D1*1.3 D1*2.4 D1*4.5]); im32=imresize(im3, [32 32]); if size(im32,3)==3 im32=rgb2gray(im32); end im32 = histeq(im32); Mơ hình mạng layers = [imageInputLayer([24 24 1]) convolution2dLayer(5,32) reluLayer maxPooling2dLayer(2,'Stride',2) convolution2dLayer(8,64) maxPooling2dLayer(2,'Stride',2) fullyConnectedLayer(7) softmaxLayer classificationLayer()]; options = trainingOptions('sgdm', 'InitialLearnRate',0.0005, 'MaxEpochs',20, 'ValidationData',imdsValidation, 'ValidationFrequency',50, 'Plots','training-progress'); 5.2 Thống kê đánh giá Như đề cập chương 4, phương pháp đề xuất kết hợp bước tiền xử lý, nhằm loại bỏ đặc trưng biểu cảm mặt mạng nơ43 ron tích chập để tiền xử lý hình ảnh bảy biểu cảm Trong phần này, nghiên cứu trình bày tác động đến độ xác phân loại hoạt động bước tiền xử lý Vì thí nghiệm nhằm mục đích tác động phép tính, phương pháp luận đơn giản hóa áp dụng Bài nghiên cứu ngẫu nhiên tạo thứ tự mẫu vào mạng CSDL CK+ Cơ sở liệu chia thành hai bộ, huấn luyện (70% phân lớp có kích thước nhỏ nhất) kiểm tra 5.2.1 Khơng tiền xử lý Thử nghiệm thực cách sử dụng CSDL ban đầu, khơng có can thiệp tiền xử lý ảnh, cần lấy mẫu xuống với kích thước với đầu vào CNN Trong thí nghiệm này, độ xác trung bình 18.41 % Hình 5-4 Mức độc hính xác khơng tiền xử lý Như hình 5-3, sử dụng CNN mà khơng có hình thức tiền xử lý ảnh nào, tỷ lệ nhận dạng thấp so với phương pháp khác biến thiên 44 số lượng mẫu CSDL CK+ nhỏ phép mạng CNN học cách đối phó bố cục, mơi trường đối tượng 5.2.2 Cắt tỉa hình ảnh Để tăng hiệu suất cho phương pháp, giải thích chương 4, hình ảnh tự động cắt để loại bỏ vùng khơng có biểu hiện, bước huấn luyện thử nghiệm Kết độ xác trung bình cho tất biểu thức tăng lên đến 50.62 % Độ xác cho biểu thể hình 5-4 Ở đây, lấy mẫu xuống thực đầu vào mạng đề xuất hình ảnh cố định 32x32 Kết thấp so với ảnh qua tiền xử lý lúc đọc ảnh để xử lý có số ảnh lỗi, thư viện không đọc dẫn đến việc thiếu hụt liệu, đáng ý loại biểu cảm thứ có 18 mẫu thử Hình 5-5 Mức độ xác cắt tỉa hình ảnh So với kết trước, nhận thấy gia tăng đáng kể tỷ lệ nhận diện cách thêm vào q trình cắt tỉa Lý để tăng độ xác cắt 45 tỉa, tác giả loại bỏ nhiều thông tin không cần thiết mà việc phân lớp cần phải xử lý để xác định biểu cảm đối tượng sử dụng tốt khơng gian hình ảnh cho đầu vào mạng 5.2.3 Chuẩn hóa cường độ Quy trình chuẩn hóa khơng gian làm tăng đáng kể độ xác tổng thể hệ thống Việc chuẩn hóa cường độ sử dụng để loại bỏ biến đổi độ sáng ảnh hai bước: huấn luyện kiểm tra Thử nghiệm trình bày chuẩn hóa cường độ Nó sử dụng phương pháp mô tả Độ xác trung bình cho tất biểu cảm 26.34% Vì nhìn thấy, cần áp dụng chuẩn hóa cường độ phân lớp, độ xác tăng lên Hình 5-6 Mức độ xác huấn luyện: chuẩn hóa cường độ 46 5.2.4 Chuẩn hóa khơng gian cường độ Kết hợp việc điều chỉnh không gian (quay, cắt lấy mẫu xuống) chuẩn hóa cường độ, phép tiền xử lý loại bỏ phần lớn biến thể không liên quan đến biểu khuôn mặt mà để lại biểu cụ thể biểu cảm không liên quan đến tư hay môi trường Thử nghiệm thực cách sử dụng phương pháp tương tự mơ tả trước Độ xác cho biểu cảm 65.02% thể hình 5-7 Hình 5-7 Mức độ xác huấn luyện: chuẩn hóa khơng gian cường độ Như thấy, tính xác việc áp dụng hai cao so với việc áp dụng chuẩn hóa cường độ chuẩn hóa khơng gian 5.2.5 Chuẩn hóa khơng gian, chuẩn hóa cường độ tổng hợp mẫu Trong thử nghiệm này, mẫu tạo làm tăng kích thước tập liệu trình học diễn tốt Việc kiểm tra tiến hành cách chọn 47 7000 mẫu liệu thuộc biểu cảm tiến hành huấn luyện chúng Các mẫu kiểm tra không thuộc tập liệu huấn luyện Kết tốt đạt phương pháp áp dụng ba bước cho tiền xử lý Thử nghiệm thực cách sử dụng phương pháp tương tự mô tả trước Độ xác trung bình cho tất biểu 84.35% Tính xác thử nghiệm cho thấy kết hợp ba kỹ thuật tốt sử dụng chúng cách độc lập Hình 5-8 Mức độ xác huấn luyện: tổng hợp bước tiền xử lý Trong lần huấn luyện mạng tiếp theo, ta sử dụng 2000/7000 mẫu huấn luyện cho nhãn làm tập đánh giá chọn trọng số cho mạng Điều kiện dừng huấn luyện tập đánh giá không làm thay đổi hệ số mạng huấn luyện Quan sát hình 5-8 ta nhận thấy thay huấn luyện mạng 20 epoch, ta huấn luyện mạng với epoch Tuy nhiên, điều kiện dừng làm cho độ xác mạng chưa cao số mẫu thử mạng cịn ít, dẫn đến việc trọng số mạng khơng thay đổi mơ hình chưa đạt đến độ xác cao 48 Hình 5-9 Q trình huấn luyện mạng có sử dụng tập Validation 5.2.6 Tăng tốc độ thực thi mạng So sánh kết đạt cao không thực tiền xử lý nhìn chung thấp so với phương pháp báo nghiên cứu nguyên nhân sau: - Bài báo mẫu sử dụng 12 đối tượng 123 đối tượng nghiên cứu - Các đối tượng chọn làm liệu kiểm tra tồn tình trạng khơng có đủ loại biểu cảm - Thuật toán chạy nhiều thời gian cấu trúc đề xuất sử dụng huấn luyện GPU, nghiên cứu thực thi CPU Để phân biệt biểu cảm người ta phải nhận biết tương quan đặc trưng mắt, mũi, miệng … Kích thươc ảnh 32x32 đề xuất phù hợp mơ hình tận dụng tối đa tốc độ GPU, nghiên cứu chạy máy đơn CPU dẫn đến thời gian xử lý chậm Một ý tưởng đề xuất để làm tăng tốc độ chạy hệ thống nhân rộng pixel ảnh đầu vào cách thu nhỏ kích thước 49 ảnh, cho pixel mà bao đủ phần trạng thái đặc trưng khuôn mặt phân biệt trạng thái khác Nói cách khác, nhìn mắt ảnh 32x32 ta phân biệt cảm xúc khác nhau, ta tiếp tục co ảnh nhỏ dần thành kích thước 24x24, ảnh đầu vào thấp, độ xác có giảm nhẹ nhiên tương quan đặc trưng khuôn mặt bảo quản, ta phân biệt biểu cảm mắt thường nên máy đọc phân biệt Do tích chất đó, giải pháp đề xuất: co kích thước ảnh từ 32x32 thành 24x24 hình 5-10 Hình 5-10 Cấu trúc mạng máy đơn CPU Các kết thực nghiệm so sánh hai cấu trúc thể bảng sau với hệ số học: 0.0005 (hệ số chọn qua nhiều lần đánh giá đầu vào 32x32 24x24 pixel) Lần 32x32 24x24 84.96 84.67 82.66 84.44 84.35 82.13 82.94 83.99 85.35 83.11 Bảng 3: So sánh kết ảnh đầu vào 32 24 50 Như vậy, với kết có so sánh Bảng Bảng 4, ta nhận thấy độ xác chênh lệnh khơng nhiều, nhiên thời gian huấn luyện mạng giảm phân nửa Bảng cho ta thấy độ xác biểu cảm khác khác Biểu cảm “Khinh” có độ xác cao số lượng mẫu biểu cảm so với biểu cảm lại, dẫn đến tập kiểm tra mẫu thử, khó dẫn đến phân lớp sai Trong biểu cảm “Vui” “Ngạc nhiên” đánh giá biểu cảm có nhiều đặc trưng khó nhầm lẫn với biểu cảm khác lại có độ xác thấp tổng mẫu liệu nhiều (gấp gần 10 lần biểu cảm “Khinh”) Biểu Tổng 32x32 32x32_validation 24x24 24x24_validation Giận 83.00 74.27 92.23 68.40 38.668 Khinh 99.40 97.32 95.25 94.42 2.653 Ghét 88.25 72.3 87.32 78.26 29.750 Sợ 86.64 79.94 92.77 79.94 17.304 Vui 89.00 74.60 83.00 74.60 51.457 Buồn 91.65 86.46 91.96 86.46 17.059 78.35 69.58 66.65 69.58 cảm Ngạc nhiên 85.35% 83.11% Bảng 4: So sánh kết độ xác biểu cảm 51 mẫu 49.987 120 99.4 100 92.23 95.25 92.77 88.2587.32 83 91.6591.96 89 86.64 85.35 83 83.11 78.35 80 66.65 60 40 20 Giận Khinh Ghét Sợ Vui 32x32 Buồn Ngạc nhiên Trung bình 24x24 Biểu đồ 1: So sánh mức độ xác biểu cảm với đầu vào kích thước khác 52 Chương Kết luận- Hướng phát triển 6.1 Những vấn đề đạt báo cáo Tìm hiểu tốn nhận diện biểu cảm khuôn mặt, khảo sát phương pháp nhận diện khn mặt có Tìm hiểu nghiên cứu mạng nơ-ron C-NN (Convolution Neuron Network) Tìm hiểu áp dụng kỹ thuật mạng C-NN cho toán nhận diện biểu cảm khn mặt, từ phân tích để tối ưu vài tham số CNN cho tăng tốc máy đơn CPU Cải tiến khâu tiền xử lý ảnh mặt người nhằm tăng hiệu việc phân lớp cảm xúc dùng C-NN Thử nghiệm sở liệu chuẩn để tính khả thi mơ hình kết hợp (khâu tiền tử lý mạng C-NN) 6.2 Hạn chế hướng phát triển 6.2.1 Những hạn chế - Báo cáo kiểm tra, đánh giá liệu CK+ chưa có đánh giá chéo liệu khác - Đặc trưng đầu vào điểm trung tâm mắt đọc từ liệu ảnh mà chưa dùng thuật toán nhận diện 6.2.2 Hướng phát triển - Huấn luyện mô hình kết hợp mạnh Arduino để nhận diện biểu cảm tự động liệu tự xây dựng để nhận dạng biểu cảm học sinh trường THCS-THPT Đức Trí 53 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Thị Thu Hằng: “Nghiên cứu mạng neural tích chập ứng dụng cho toán nhận dạng biển số xe” Luận án thạc sĩ, Đại học Công nghệ, Hà Nội, 2016 [2] Nguyễn Việt Nhật, Trương Lê Minh Nhựt: “Tăng tốc trình huấn luyện mạng nơ-ron sâu Batch Normalization”, Khóa luận Đại học Khoa học Tự nhiên, Hồ Chí Minh, 2017 Tiếng Anh [3] André Teixeira Lopes, Edilson de Aguiar, Alberto F De Souza, Thiago Oliveira-Santos, Facial expression recognition with Convolutional Neural Networks: Coping with few data and the training sample order, Pattern Recognition 61(2017) 610–628, http://www.sciencedirect.com/science/article/ abs/pii/S0031320316301753 [4] C Shan, S Gong, P.W McOwan, Facial expression recognition based on local binary patterns: a comprehensive study, Image Vis Comput 27 (6) (2009) 803–816 [5] G Ali, M.A Iqbal, T.-S Choi, Boosted NNE collections for multicultural facial expression recognition, Pattern Recognit 55 (2016) 14–27, http://dx.doi.org/10.1016/j.patcog.2016.01.032 [6] I Song, H.-J Kim, P.B Jeon, Deep learning for real-time robust facial expression recognition on a smartphone, in: International Conference on Consumer Electronics (ICCE), Institute of Electrical & Electronics Engineers (IEEE), Las Vegas, NV, USA, 2014 54 [7] M Liu, S Li, S Shan, X Chen, Au-inspired deep networks for facial expression feature learning, Neurocomputing 159 (2015) 126–136, http://dx.doi.org/10.1016/j.neucom.2015.02.011 [8] P Burkert, F Trier, M.Z Afzal, A Dengel, M Liwicki, Dexpression: Deep Convolutional Neural Network for Expression Recognition, CoRR abs/1509.05371 (URL 〈http://arxiv.org/abs/1509.05371〉) [9] P Lucey, J Cohn, T Kanade, J Saragih, Z Ambadar, I Matthews, The extended Cohn–Kanade dataset (CK+): a complete dataset for action unit and emotionspecified expression, in: 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2010, pp 94– 101 [10] P Liu, S Han, Z Meng, Y Tong, Facial expression recognition via a boosted deep belief network, in: 2014 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2014, pp 1805–1812 [11]X Fan, T Tjahjadi, A spatial–temporal framework based on histogram of gradients and optical flow for facial expression recognition in video sequences, Pattern Recognit 48 (11) (2015) 3407–3416 [12] Y.-H Byeon, K.-C Kwak, Facial expression recognition using 3d convolutional neural network International Journal of Advanced Computer Science and Applications(IJACSA), (2014) [13] Y Lecun, L Bottou, Y Bengio, P Haffner, Gradient-based Learn Appl Doc Recognit 86 http://dx.doi.org/10.1109/5.726791 55 (11) (1998) 2278–2324, Liên kết https://machinelearningcoban.com/2016/12/27/categories/#supervisedlearning-hoc-co-giam-sat http://www.pcworld.com.vn/articles/cong-nghe/song-va-congnghe/2015/08/1242019/cong-nghe-nhan-biet-cam-xuc/ https://doanhnhansaigon.vn/cong-nghe-moi/cuoc-do-bo-cua-cong-nghephan-tich-cam-xuc-1064975.html http://cs231n.github.io/convolutional-networks/ https://medium.freecodecamp.org/an-intuitive-guide-to-convolutionalneural-networks-260c2de0a050 https://au.mathworks.com/help/deeplearning/ref/trainingoptions.html 56 ... mạng Kohonen, … thuộc loại Hình 2-4 Mạng k? ??t hợ pkhác kiểu Ngồi tùy thuộc vào mạng có k? ??t nối ngược (feedback connections) từ nơ-ron đầu tới nơ-ron đầu vào hay không, người ta chia làm loại kiến... quan trọng khoảng cách với đặc trưng khác quan trọng Ví dụ, vị trí xác lơng mày khơng quan trọng, khoảng cách từ mắt đến chúng đáng ý khoảng cách lớn biểu bất ngờ Vị trí xác khơng khơng khơng liên... nghiệm sử dụng k? ?? hoạch kiểm tra chéo 10 lần mà không trùng Việc huấn luyện thời gian nhận dạng không đượcc đề cập Hệ thống nhận di? ??n biểu cảm gương mặt dựa video đề xuất Byeon Kwak [12] Họ phát

Ngày đăng: 28/12/2021, 10:14

HÌNH ẢNH LIÊN QUAN

Mạng Nơ-ron nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật,  bao gồm số lượng lớn các nơ-ron được gắn kết để xử lý thông tin - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
ng Nơ-ron nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các nơ-ron được gắn kết để xử lý thông tin (Trang 15)
Hình 2-2 Cách hoạt động của một nơ-ron - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 2 Cách hoạt động của một nơ-ron (Trang 16)
Hình 2-4 Mạng kết hợ pkhác kiểu - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 4 Mạng kết hợ pkhác kiểu (Trang 18)
Hình 2-6 Mạng phản hồi - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 6 Mạng phản hồi (Trang 19)
Hình 2-7 Mạng nơ-ron lan truyền ngược MLP - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 7 Mạng nơ-ron lan truyền ngược MLP (Trang 20)
Hình 2-9 Quá trình tối ưu theo GD - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 9 Quá trình tối ưu theo GD (Trang 23)
Hình 2-10 Quá trình tối ưu theo SGD - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 10 Quá trình tối ưu theo SGD (Trang 24)
Hình 2-11 Phép tích chậ p2 chiều - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 11 Phép tích chậ p2 chiều (Trang 26)
Hình 2-13 Hình ảnh gốc bị biến đổi sau phép tích chập khác nhau - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 13 Hình ảnh gốc bị biến đổi sau phép tích chập khác nhau (Trang 27)
Hình 2-14 Quá trình tự học đặc trưng và phân lớp - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 14 Quá trình tự học đặc trưng và phân lớp (Trang 28)
Hình 2-15 Ví dụ mạng tích chập nhiều tầng - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 2 15 Ví dụ mạng tích chập nhiều tầng (Trang 28)
Hình 3-2 Ví dụ về một số AU trên tập dữ liệu CK - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 3 2 Ví dụ về một số AU trên tập dữ liệu CK (Trang 33)
Hình 3-3 Mô hình tổng quan nhận dạng biểu cảm - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 3 3 Mô hình tổng quan nhận dạng biểu cảm (Trang 34)
Hình 4-1 Tổng quan hệ thống nhận diện biểu cảm - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 1 Tổng quan hệ thống nhận diện biểu cảm (Trang 41)
Hình 4-3 Minh họa khởi tạo mẫu tổng hợp - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 3 Minh họa khởi tạo mẫu tổng hợp (Trang 43)
Hình 4-4 Ví dụ hiệu chỉnh quay - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 4 Ví dụ hiệu chỉnh quay (Trang 44)
Hình 4-9 Minh họa trượt cửa sổ kernel lần 1 - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 9 Minh họa trượt cửa sổ kernel lần 1 (Trang 47)
Hình 4-8 Hình ảnh đầu vào kết hợp tích chập 5x5 - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 8 Hình ảnh đầu vào kết hợp tích chập 5x5 (Trang 47)
Hình 4-11 Qua tích chập ta tạo được 32x28x28 nơ-ron - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 11 Qua tích chập ta tạo được 32x28x28 nơ-ron (Trang 48)
Hình 4-10 Minh họa trượt cửa sổ kernel lầ n2 - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 10 Minh họa trượt cửa sổ kernel lầ n2 (Trang 48)
Hình 4-12 Kích thước ảnh đầu vào sau lớp tích chập và giảm chiều - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 4 12 Kích thước ảnh đầu vào sau lớp tích chập và giảm chiều (Trang 49)
Hình 5-2 Các điểm được mô tả trên khuôn mặt - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 2 Các điểm được mô tả trên khuôn mặt (Trang 53)
5.2.2 Cắt tỉa hình ảnh - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
5.2.2 Cắt tỉa hình ảnh (Trang 56)
Hình 5-6 Mức độ chính xác khi huấn luyện: chuẩn hóa cường độ - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 6 Mức độ chính xác khi huấn luyện: chuẩn hóa cường độ (Trang 57)
Hình 5-7 Mức độ chính xác khi huấn luyện: chuẩn hóa không gian và cường độ - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 7 Mức độ chính xác khi huấn luyện: chuẩn hóa không gian và cường độ (Trang 58)
Hình 5-8 Mức độ chính xác khi huấn luyện: tổng hợp các bước tiền xử lý - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 8 Mức độ chính xác khi huấn luyện: tổng hợp các bước tiền xử lý (Trang 59)
Hình 5-9 Quá trình huấn luyện mạng có sử dụng tập Validation - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 9 Quá trình huấn luyện mạng có sử dụng tập Validation (Trang 60)
Hình 5-10 Cấu trúc mạng trên máy đơn CPU - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Hình 5 10 Cấu trúc mạng trên máy đơn CPU (Trang 61)
Bảng 4: So sánh kết quả độ chính xác các biểu cảm - NHẬN DẠNG BIỂU CẢM KHUÔN MẶT  DÙNG MẠNG C-NN
Bảng 4 So sánh kết quả độ chính xác các biểu cảm (Trang 62)

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w