Ứng dụng phương pháp học sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng

HỌCVIỆNCƠNGNGHỆBƯUCHÍNHVIỄNTHƠNG - NguyễnPhướcĐại ỨNGDỤNGPHƯƠNGPHÁPHỌCSÂUVÀONHẬNDẠN GCẢMXÚCĐỂĐÁNHGIÁĐỘHÀILÒNGKHÁCH HÀNG ĐỀÁNTỐT NGHIỆP THẠCSĨKỸTHUẬT (Theođịnhhướngứng dụng) THÀNHPHỐHỒCHÍ MINH -2023 HỌCVIỆNCƠNGNGHỆBƯUCHÍNHVIỄNTHƠNG - NguyễnPhướcĐại ỨNGDỤNGPHƯƠNGPHÁPHỌCSÂUVÀONHẬNDẠN GCẢMXÚCĐỂĐÁNHGIÁĐỘHÀILỊNGKHÁCH HÀNG Chunngành:HệthốngthơngtinMã số: 8.48.01.04 ĐỀÁNTỐTNGHIỆPTHẠCSĨKỸTHUẬT (Theođịnhhướngứng dụng) NGƯỜIHƯỚNGDẪNKHOAHỌCTS HUỲNHTRỌNGTHƯA THÀNHPHỐHỒCHÍMINH -2023 LỜICAMĐOAN Tôi xin cam đoan đề án thạc sĩ hệ thống thông tin“Ứng dụng phương pháphọc sâu vào nhận dạng cảm xúc để đánh giá độ hài lòng khách hàng”là tôinghiêncứu,tổnghợpvàthựchiện Tấtcảcácnộidung,cácsốliệu,kếtquảnêutrongđềántốtnghiệpnàylàtrungthựcvàchưatừng công bố công trình khác Tơi hồn tồnchịutráchnhiệmchomọihànhvi chéptráiphéphoặcviphạm quychếđàotạo TPHCM, ngày12tháng10năm2023 Họcviênthựchiệnđềán NguyễnPhướcĐại LỜICÁMƠN TôixingửilờicảmơnchânthànhvàsâusắcđếnTS.HuỳnhTrọngThưa,ngườithầy tận tâm nhiệt tình việc hướng dẫn động viên tơi suốt q trìnhthựchiệnđềán.Nhờsựhỗtrợcủangườithầy,tơiđãđượcđịnhhướngvàhồnthànhcácmục tiêumà tơiđãđề Tơi xin gửi lời tri ân chân thành đến Thầy, Cô đồng hành tận tìnhgiảng dạy cho tơi suốt thời gian học tập chương trình Thạc sĩ Hệ thống thơngtin khoa Đào tạo Sau đại học, Học viện Công nghệ Bưu Viễn thơng sởtạithànhphốHồChíMinh Tơi muốn bày tỏ lịng biết ơn đến ban Giám Đốc Trung tâm Cơng nghệ Thơngtin–ViễnthơngTâyNinhđãtạođiềukiệnthuậnlợichoqtrìnhhọctậpcủatơi Tơibiếtơnđếntấtcảbạnbèđãđộngviên,hỗtrợvàđónggópnhữngýkiếnqbáuchođềánnà y.Đónggópcủacácbạnđãgiúptơihồnthiệnnghiêncứunày Đềánđãhồnthànhvàđạtđượcmộtsốkếtquảnhấtđịnh,tuyvậytơithừanhậnrằngcịntồntạinhững hạnchếvàthiếusót.Vìvậy,tơichânthànhmongnhậnđượcsựthơngcảm,sựđónggópqbáutừqthầycơvàcácbạnđểtơicóthểcải thiện,nângcaochấtlượngcủanghiêncứunày Mộtlầnnữatơixinchânthànhcảmơn! TPHCM, ngày12tháng10năm2023 Họcviênthựchiệnđềán NguyễnPhướcĐại MỤCLỤC LỜICAMĐOAN .i LỜICÁMƠN ii MỤCLỤC iii DANHMỤCCÁCTHUẬTNGỮ,CHỮVIẾTTẮT v DANHSÁCHHÌNHVẼ vi DANHSÁCHBẢNG viii MỞĐẦU CHƯƠNG1 –TỔNGQUAN 2.1 Lýdochọnđềtài 2.2 Mụcđíchnghiêncứu 2.3 Đốitượngvàphạm vinghiêncứu 2.4 Phươngphápnghiêncứu 2.5 Tínhthựctiễn .3 2.6 Bốcụctrìnhbàyđềán CHƯƠNG2–CƠSỞ LÝTHUYẾT VÀCÁCNGHIÊNCỨULIÊNQUAN 2.1 Cơsở lýthuyết 2.1.1 GiớithiệuTensorFlow .5 2.1.2 GiớithiệuvềOpenCV 2.1.3 GiớithiệuvềPython 2.2 Cácnghiêncứu liên quan 2.2.1 MơhìnhVGG 2.2.2 MơhìnhResNet .11 2.2.3 MơhìnhMobileNet 12 2.2.4 Kiếntrúc Finetune-MobileNet 15 CHƯƠNG3 –MƠHÌNHĐỀXUẤT 19 3.1 Chuẩn bịdữliệu .19 3.1.1 Tậpdữ liệu 19 3.1.2 Xửlýdữ liệu 19 3.2 Huấnluyệnmơhình 21 3.2.1 Xửlýdữ liệuđầuvào 21 3.2.2 Xâydựngmơhình .22 3.2.3 Huấnluyệnmơ hình 24 3.2.4 Kếtquảhuấnluyệnmơhình 24 3.2.5 Mơhìnhđượcchọn 29 3.3 Cảitiếnmơhình 30 3.3.1 Kiếntrúc Finetune-MobileNetV2 30 3.3.2 Phânnhómđộhàilịng .31 3.3.3 Kếtquảhuấnluyệnsaucảitiến 312 Chương4– THỰCNGHIỆM 36 4.1 Thuthậpthêmdữliệucảmxúcthựctế 36 4.2 Huấnluyệnmơhình .36 4.3 Triển khaimơhình .36 4.4 Càiđặtthựcnghiệm 38 KẾTLUẬNVÀHƯỚNGPHÁTTRIỂN .41 DANHMỤCCÁCTÀILIỆU THAMKHẢO .42 DANHMỤCCÁCTHUẬTNGỮ,CHỮVIẾTTẮT Viếttắt DCNN TiếngAnh DeepConvolutionalNeural Networks Mạngnơrontíchchập sâu Finetune Tinhchỉnh MobileNet Mạngdiđộng VGG VisualGeometryGroup ResNet ResidualNetwork OpenCV TiếngViệt OpenSourceComputerVision Thưviệnthịgiácmáytính Library mãnguồnmở DANHSÁCHHÌNHVẼ Hình1.1:CấuhìnhConvNet 10 Hình1.2: KiếntrúcchoImageNet 11 Hình1.3:TỷlệlỗikhixácthựcImageNet.MơhìnhVGG-16,ResNet50/101/152chỉsử dụngphépchiếuđểtăngkíchthước .12 Hình1.4:KiếntrúcthânMobileNet 13 Hình1.5:Lớptíchchậptiêuchuẩn:(a)vớiđịnhmứchàngloạtvàReLU, (b)Lớptíchchậptheo chiềusâuvới Depthwisevà Pointwise 14 Hình1.6:KiếntrúchệthốngMobileNettinhchỉnh .16 Hình1.7:MơhìnhMobileNetCNN 17 Hình1.8: KiếntrúcFinetunedMobileNet 18 Hình2.1:Xửlýdữliệu input 22 Hình2.2:MơhìnhResNet50 .23 Hình2.3:MơhìnhVGG16 23 Hình2.4:MơhìnhMobileNetV2 .23 Hình2.5: KếtquảtrainingvớiResNet50 24 Hình2.6:Kếtquả trainingvớiVGG16 .25 Hình2.7: KếtquảtrainingvớiMobileNetV2 25 Hình2.8:Kếtquả độchínhxácnhãncảmxúc vớiVGG16 26 Hình2.9:Kếtquả độchínhxácnhãncảmxúc vớiResNet50 27 Hình2.10:Kếtquả độ chínhxácnhãncảmxúcvớiMobileNetV2 28 Hình2.11:Biểuđồsosánhgiữa3mơ hình 29 Hình3.1: KiếntrúcMobileNetV2 .30 Hình3.2:KếtquảtrainingvớiMobileNetV2 saucải tiến 32 Hình3.3:Biểuđồ độchínhxáccủacácnhãncảmxúcvớiMobileNetV2 33 Hình3.4:Biểuđồsosánhgiữa4mơhìnhtheo nhãncảmxúc 35 Hình4.1:Kiếntrúc hệ thống thực nghiệm 36 Hình4.2:Giaodiệnhệthốngdemo .38 Hình4.3:Cácbướcđưadữ liệuvàohệthống đểnhậndạng 39 Hình4.4:Kếtquảdựđốncảmxúcquanhậndạngkhnmặt 39 Hình4.5:Kếtquả liệunhậndạngchưa chuẩnxáchồn tồn 40 DANHSÁCHBẢNG Bảng1.1:Kếtquả kiểmthửmơhìnhVGG16 đãtraining 26 Bảng1.2:Kếtquả kiểmthử mơhìnhResNet50đãtraining 27 Bảng1.3:KếtquảkiểmthửmơhìnhMobileNetV2đãtraining .28 Bảng1.4:Kếtquả sosánhgiữa3mơ hình 29 Bảng2.1:Kếtquả8lớpcảmxúcchạythửMobileNetV2 saucải tiến 32 Bảng2.2:Kếtquả sosánhgiữakỹthuậtđóng băng5lớp,20lớpvà 40lớp 33 Bảng2.3: KếtquảkiểmthửmơhìnhFinetune20-MobileNetV2đãtraining 34 Bảng2.4:Kếtquả kiểmthử4mơhình 34