Nghiên Cứu Một Số Thuật Toán Học Máy (Machine Learning).Docx

Microsoft Word CS20 37 NguyÅn ThË HÙi Báo cáo DaSua05052021 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC THƯƠNG MẠI BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG NGHIÊN CỨU MỘT SỐ THUẬT TOÁN HỌC MÁY[.]

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC THƯƠNG MẠI BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG MỘT SỐ THUẬT TOÁN HỌC MÁY (MACHINE LEARNING) ỨNG DỤNG CHO BÀI TOÁN XÁC ĐỊNH CÁC CỦA KHÁCH HÀNG TRỰC TUYẾN 20_37 : Hội gia: ThS Nguyễn Thị Đào Hà Nội, 03 - 2021 BỘGIÁODỤCVÀĐÀOTẠOT RƯỜN GĐẠIHỌCTHƯƠNGMẠI BÁOCÁOTỔNGKẾT ĐỀTÀINGHIÊNCỨUKHOAHỌCCẤPTRƯỜNG NGHIÊNCỨUMỘTSỐTHUẬTTOÁNHỌCMÁY(MACHINELEARNING)ỨNGD ỤNGCHOBÀITOÁNXÁCĐỊNHCÁCCHỦĐỀQUANTÂM CỦAKHÁCHHÀNGTRỰCTUYẾN Mãsốđềtài:CS20_37 Chủnhiệmđềtài: ThS.NguyễnThịHội Thànhviênthamgia: ThS.TrầnThịNhung ThS.NguyễnThịĐào XácnhậncủaTrườngĐạihọcThươngmại Chủnhiệmđềtài MỤCLỤC DANHMỤCT Ừ VIẾT TẮT DANHMỤC BẢNGBIỂU DANHMỤC HÌNHVẼ THÔNGTIN KẾTQUẢNGHIÊNCỨU MỞĐẦU CHƯƠNG1:TỔNGQUANĐỀTÀINGHIÊNCỨU .8 1.1 TÍNHCẤPTHIẾTCỦAĐỀTÀI NGHIÊNCỨU 1.2 TỔNGQUAN VỀĐỀ TÀINGHIÊNCỨU 1.2.1Tìnhhìnhnghiêncứutrongnước .9 1.2.2.Tínhhìnhnghiêncứungồinước 11 1.3 MỤCTIÊUNGHIÊNCỨU .12 1.4 ĐỐITƯỢNGVÀPHẠMVINGHIÊNCỨU .13 1.4.1 Đốitượngnghiêncứu 13 1.4.2 Phạmvi nghiêncứu 13 1.5 PHƯƠNGPHÁPNGHIÊNCỨU 13 1.5.1 Cáchtiếpcận 13 1.5.2 Phươngphápnghiêncứu .13 1.6 KẾTCẤUBÁOCÁONGHIÊNCỨU 14 CHƯƠNG2.HỌC MÁYVÀỨNGDỤNGTRONGBÀITOÁNKINHTẾ 16 2.1 TỔNGQUANVỀHỌCMÁY 16 2.2 QUY TRÌNHPHÂNTÍCHDỮLIỆU BẰNGHỌCMÁY 17 2.3 MỘTSỐTHUẬTTOÁNHỌCMÁYPHỔBIẾN 17 2.3.1 Phânloạidựatrênphươngthức học .17 2.3.2 Phânloạidựa trênsựtươngđồngvềcáchhoạtđộng 20 2.4 ỨNGDỤNGHỌCMÁYTRONGCÁCBÀITỐNKINHTẾ 22 2.4.1 Họcmáyứngdụngtrongtàichính 22 2.4.2 HọcmáyứngdụngtrongMarketing 27 2.4.3 HọcmáyứngdụngtrongThươngmạiđiệntử 28 CHƯƠNG3.BÀITOÁNPHÂNLOẠIKHÁCHHÀNGTHEOCHỦĐỀ 31 3.1 VAITRỊCỦAPHÂNTÍCH DỮLIỆUKHÁCH HÀNG 31 3.1.1 Quanhệ kháchhàngtrongkinhdoanh 31 3.1.2 Vaitrịcủabàitốnphântíchdữliệukháchhàng .32 3.1.3 Dữliệukháchhàng 33 3.2 BÀITOÁNPHÂNLOẠIKHÁCHHÀNGTRỰCTUYẾNTHEOCHỦĐỀ.343 CÁ CHƯỚNGTIẾPCẬNCỦABÀITOÁN 35 3.4 ỨNGDỤNGCỦABÀITOÁN 37 3.4.1 Ứngdụngtronghệthốngkhuyếnnghị 37 3.4.2 Ứngdụngtrongphânnhómkháchhàng 38 CHƯƠNG 4:THỰCNGHIỆM,ĐÁNHGIÁVÀTHẢOLUẬN 41 4.1 MỤCĐÍCHVÀCHUẨNBỊCHOTHỰC NGHIỆM 41 4.1.1 Mục đíchcủathựcnghiệm 41 4.1.2 Cácbướcchuẩnbịchothựcnghiệm .41 4.2 KỊCHBẢNTHỰCNGHIỆMVÀTHAMSỐĐẦURA 48 4.2.1 Kịchbảnthực nghiệm 48 4.2.2 Thamsốđầura .49 4.3 KẾT QUẢTHỰC NGHIỆM, ĐÁNHGIÁ VÀTHẢOLUẬN 49 4.5CÁCHÀMÝĐỀXUẤTỨNGDỤNGCHOTỔCHỨC,DOANHNGHIỆP 55KẾTLU ẬN 59 DANHMỤCTÀILIỆUTHAMKHẢO 60 PHỤLỤC 62 DANHMỤCTỪVIẾTTẮT Diễngiải Nghĩatiếngviệt Từviếtt AI ArtificialIntelligence Trítuệnhântạo B2C BusinesstoCustomer Doanhnghiệpđếnkháchhàng ML MachineLearning Họcmáy TMĐT Thươngmạiđiệntử CNTT Côngnghệthôngtin CNN ConvolutionalNeuralNetwork Mạngnơrontíchchập KNN K-NearestNeighbors Ngườilánggiềnggầnnhất MNB MultinomialNaiveBayes Mơhìnhxácsuấtphânlớp SVM SupportVectorMachines Mơhìnhkhơnggianvéctơ W2Vec WordtoVector Mơhìnhvéctơ DANHMỤCBẢNGBIỂU Bảng4.1:Tómtắt thơngsốcủacácbộdữ liệuthửnghiệm 43 Bảng4.2:Minhhọadữliệuthuthậptừthựctế 43 Bảng4.3:Danhsáchcácthuậttoánđượcsửdụngđể sosánh .44 Bảng4.4: ĐộchínhxácAccuracytrênbộngữliệu20NewsGroups 50 Bảng4.5 Độchính xácF1-scoretrênbộngữliệu20NewsGroups 51 Bảng4.6:Độchínhxáccácthuậttốntrênbộ ngữliệuTiếngViệt 52 Bảng4.7:KếtquảF1-scoretrênbộngữliệuTiếngViệt 53 DANHMỤCHÌNHVẼ Hình2.1:Quytrìnhxửlýdữliệubằnghọcmáy 17 Hình2.2:Phânloạicác thuậttốn theophươngpháphọc 18 Hình2.3:Phânloạithuậttốntheo sựtươngđồngvềhoạtđộng 20 Hình3.1:Mơphỏngbài tốn 35 Hình3.2:Ứngdụngvàohệthốngkhuyếnnghịsảnphẩm 38 Hình3.3:Ứngdụngvàohệthốngphântíchdữliệukháchhàng 40 Hình4.1:Thuthậptừphầnđánhgiásảnphẩmcủatranghttps://shopee.vn/vàsendo.vn .42 Hình4.2:ThuthậptừđánhgiásảnphẩmcủatrangFacebook.comvàYouTube.com42H ì n h 4.3: Minhhọathuật tốnCNN(KimY.,2014) .45 Hình4.4:MinhhọathuậttốnWord2Vec(KimY.,2014) 46 Hình4.5:ThuậttốnNBngunthủy .47 Hình4.6:Mơphỏngthuật tốnSVM( .47 Hình4.7:SosánhAccuracyvàF1-scoretrên bộ20NewsGroups 52 Hình4.8:Sosánh AccuracyvàF1-scoretrên bộdữliệuTiếngViệt .53 Hình4.9:Phânnhómkháchhàngdựatrênhọc máy 55 THƠNGTINKẾTQUẢNGHIÊNCỨU Đềtàiđượcthựchiệntrong08thángtừtháng07năm2020đếnhếttháng03năm2021,t r o n g qtrìn hthựchiệnđềtài,nhómnghiêncứuđãthựchiệncáccơngviệcsau: - - - - - - - ThuthậpcáctàiliệuliênquanđếnđềtàitừcácnguồnkhácnhaunhưmạngInternet,s ách,cáctạpchívàcácKỷyếuHộithảo Dựatrêntìnhhìnhthựctếvềpháttriểncơngnghệứngdụng,nhómnghiêncứ u viếtbáocáokếtquảcủađềtàivớibàibáocótên:“Discovering interestt o p i c s ofonlinecustomerbymachinelearning”đượcintrongKỷ yếuHộit h ả o KhoahọcQuốctế:“PháttriểnkinhtếvàthươngmạiViệtNamtro ngb ố i cảnhbảohộthươngmại”,tháng08năm2020,NXBHàNội Dựatrêntìnhhìnhthựctếvềpháttriểncơngnghệứng,nhómnghiêncứuviếtb o cáokếtq uảcủađềtàivớibàibáothứhaicótên:“Sosánhmộtsốthuậtto án học máyứngdụng trongphântíchdữliệu kháchhàngtrựctuyến”đượcintrongKỷyếuHộithảoKhoahọcQuốcgia:"Phá ttriểnthươngmạiđiệnt ViệtNamtrongkỷngunsố",tháng11năm2020, NXBThốngkê Trongqtrìnhnghiêncứuvàthựchiệnđềtài,nhómnghiêncứuđãthựchiệnt h u thậpcáct àiliệuliênquanđếnhọcmáytừcácsách,báo,tạpchívàcácp h ầ n mềm, t h việncác thuật toántừmạng Internet,cácthuật toánphổbiếnc h o họcmáyvàcácbộdữliệuđểthựcnghiệm Qtrìnhthựcnghiệmđểsosánhcácthuậttốnđượcnhómthựchiệncàiđặtbằ n g ngơn ngữlậpPythonversion3.8trênhệđiềuhànhWindows10.Mơitrườngs o n t h ả o v t h ự c t h i mãn g u n IDEPythonl W i n g 1 v e r s i o n 7.2.50.Trongqtrìnhthựchiệnnhómcósửdụngmộtsốthưviệnvàmộtsốm ã nguồntrê nhệthốngPythononline Đềtàinghiêncứuđãcàiđặt7thuậttốnphânloạiđểsosánhbaogồm:CNN,T V , MNB, NB,SVM,KNNvàC4.5.Tiếnhànhthựcnghiệmtrên02bộdữl i ệ u : Bộdữliệuchuẩn20Newsgro uplấytừhệthốngthưviệnmiễnphícủađạihọcStanfordvàbộdữliệuthựctếthuthậ pđượctừmộtsốtrangthươngmạiđiệntửvàphươngtiệntruyềnthơngxãhộicủaViệt Nam Kếtquảcủađềtàinghiêncứucóthểsửdụnglàmtàiliệuthamkhảochogiảngv i ê n v sinhviêntrongq trìnhgiảngdạy,họctậpcáchọcphần“Hệthốngt h n g tinquả nlý ”,“Marketingt hươngmại đ i ệ n tử”và“Khaip há dữliệ u t r o n g kinhdoanh” Ngồira,hướngtiếpcậncủađềtàicũngđượcnhómnghiêncứusửdụngtrongđ ị n h hướng đềtàilàmk hóa luậnTốtnghiệ pc mộtsố sinhviênchuyê n n g n h Quảnt rịHTTTcủaK53S - Cuốicùng,cáckếtquảnghiêncứuđượctrìnhbàychitiếtcụthểtrongBáoc o k ếtquảnghiêncứunày MỞĐẦU CHƯƠNG1:TỔNGQUANĐỀTÀINGHIÊNCỨU 1.1 TÍNHCẤPTHIẾTCỦAĐỀTÀINGHIÊNCỨU Cácphươngtiệntruyềnthơngxãhội(socialmedia)xuấthiệnvàonhữngnămc u ố i t hếkỷ20đãtạođiềukiệnthuậnlợichohàngtriệungườitrênthếgiớikếtnối,thiếtl ậ p vàduytrìcácmố iquanhệcũngnhưtiếpcậnvàchiasẻthơngtinvớinhau.Sựảnhhưởngcủacácphươngtiệntruyềnt hơngxãhộiđếnmọimặttrongđờisốngxãhộiđangn g y càngkhẳngđịnhrõvaitrịcủachúngt rongnhiềulĩnhvựcđặcbiệtlàgiáodục,k i n h doanh,vàcácvấnđềxãhộinhưpháthiệnlừađảo,p háthiệntâmlýtộiphạmtrongn g h i ê n cứucủaZafaraniRezaetal., [24]vàD.M.Boydetal[9].Bêncạnhnhữngkháchh n g cánhân,cáctổchức,doanhnghiệp,cácnhàquả nlýcũngsửdụngcácphươngtiệnt r u y ề n thơngxãhộinhưmộtkênhtruyềnthơngmới,vớinhi ềuưuthếnhưchiphítiếtk i ệ m , cóhiệuquảlantruyềncaotrongcáchoạtđộngsảnxuấtki nhdoanhcủacáctổc h ứ c , doanhnghiệpA.Abdul-Rahimetal.,[1],AmedieJacobetal., [5],HsinchunChene t la.,[15] Thêmnữa,vớisựpháttriểnkhôngngừngcủacácthiếtbịdiđộngnhưđiệnthoạit h ô n g minh(s martphones),thiếtbịcầmtaythơngminh(tablet),máytínhbảng(Ipad), v.v cùngvớihạtầngcơ sởviễnthơnglantỏarộng khắp,hệthốngmạngInternetcơngc ộ n g phủsóngmiễnphíởcácthànhphốlớnđãgiúpcho cácmạngxãhộingàycàngp h ổ biếnvàlanrộng.Dođó,cáccánhânvàcáctổchức,doanhnghiệp ngàycàngchúýn h i ề u hơnđếncácứngdụngcủamạngxãhộivàohỗtrợcáchoạtđộngkinhdoanh,ho ạtđ ộ n ggiáodục,cácbiệnphápquảnlývàđiềuhànhtronghoạtđộngcủacáctổchức,do anhnghiệp Mộtchiếnlượckinhdoanhdựatrênquảntrịquanhệkháchhàngvìvậycầncós ự đốixửkh ácnhauvớinhữngkháchhàngkhácnhau.Mộtdoanhnghiệpphảicókhản ă n g nhậndiệnvàn hậnranhữngkháchhàngcánhânkhácnhauvàphảibiếtđiềugìk h i ế n k h c h hàngnàykháckháchhàngkia.Cầncó tươngtáccánhânvớibấtkìkháchh n g nào,đơikhiphảithayđổihànhviđểđápứngnhucầuc ụthểcủakháchhàngđóh a y pháthiệnđượcnhucầu,vàquantrọnglàphảiđemlạilợinhuậnt ốiđachokháchh n g cũngnhưdoanhnghiệp,việcứngdụngphântíchdữliệu(DataAnalysis)đóng vait r ị quantrọngtrongviệcxácđịnhđượcđịnhhướngvàmụctiêu kinhdoanh,khámpháý nghĩađằngsaucácconsốvàsốliệutrongdữliệucủakháchhàngvàcóđóngg ópvàoviệcraquyếtđịnhkinhdoanhcủacáctổchức,doanhnghiệp[1][2] Thơngt in k há c h h n g c ũ n g c u n g c ấ p c h o d o a n h nghiệpk h ả n ă n g p h â n b i ệ t khách hàng củamình vớinhững ngườikhác.Thơngtinkháchhànglàmộttài sản kinht ế , tựanhưmộtphầncủathiếtbị,nhàmáyhaybằngsángchế,giúpdoanhnghiệpcảit h i ệ n sảnxuất,giảmchiphíbìnhqn.Mộtkhicơngtybắtđầucóquanđiểmkinhdoanhcụthểvềkháchhà ng,cơngtysẽbắtđầuxemkháchhàngnhưtàisảncầnđượcquảntrịc h u đáonhưnhữngtàisảnkhác.Ở khíacạnhtàichính,chiếnlượckiểunàysẽcókhuynhhướngtậptrungnhiềunguồnlựccủatổchứch ơnnhằmthỏamãnnhucầucủanhững khách hàngđóđểđemlạigiátrịdàihạn chodoanhnghiệp,trongkhiđógiớihạnhoặcg i ả m nguồnlựcvớinhữngkháchhàngcógiátrịthấ phơn[2] Tạoravàquảntrịquanhệkháchhàngcánhâncóthểthấtbạinếukhơngcóbốnt h n h tốbao gồm:Nhậndiệnkháchhàng;Phânbiệtkháchhàng;Tươngtácvớikháchh n g vàĐốixửtùybi ến.Đểđạtđược 4yếutốnàythìcáctổchứckinhdoanh,cácnhàng hiên cứuđãđưararấtnhiềuphươngphápv àhướngtiếpcậnkhácnhau,tuynhiênt r o n g nhữngnămgầnđây,kếthợphọcmáytrongphântích dữliệukinhdoanhnóichungv liệuvề kháchhàngnóiriêngđãđượcsửdụngvàđược coi làmộthướngtiếpcậnc ó nhiềukếtquảtốt.Đặcbiệttrongbốicảnhcáchmạngcơngnghệlầnth ứ4đanglanrộngthìhọcmáykếthợpphântíchdữliệutrựctuyếnđượccoilàxuhướngmớitron gứ ngdụngcơngnghệthơngtinvàocáchoạtđộngkinhdoanh Dođó,phanhómnghiêncứulựachọnđềtài“Nghiêncứumộtsốthuậttốnhọ cm y ( m a c h i n e learning)ứngd ụ n g chob i t o n x c đ ị n h c c chủđ ề q u a n t â m c ủ a kháchhàngtrựctuyến”nhằmđưaramộtbáocáotổngquanvềhọcmáyvàcácthuậtt oánhọcmáyphổbiếnđượcứngdụngchobàitoánxácđịnhcácchủđềquantâmv ề sảnphẩmvàdịch vụcủakháchhàngtrựctuyếntrêncácphươngtiệntruyềnthơngxãh ộ i Bêncạnhđó,đềtàicũnglàtà iliệuhỗtrợqtrìnhhọctậpvàgiảngdạynộidungv ề hệthốngphântíchdữliệukháchhàng,khaithá cdữliệutrựctuyếnvànhưmộthướngti ế p cậntrongmarketingcánhânhóakháchhàng Kếtquảcủađềtàinghiêncứucóthểsửdụnglàmtàiliệuthamkhảochogiảngviênvàsinh viêntrongqtrìnhgiảngdạyvàhọctậpcáchọcphần“Hệthốngthơngtinq uả nlý”,“Marketingthư ơngmạiđiệntử”và“Khaiphádữliệutrongkinhdoanh” 1.2 TỔNGQUANVỀĐỀTÀINGHIÊNCỨU 1.2.1 Tìnhhìnhnghiên cứu trongnước Bàitốnphânloạikháchhàngđóngvaitrịquantrọngtronghoạtđộngkinhd oanhcủacáctổchức,doanhnghiệp.Phântíchdữliệuvềkháchhàngkhơngchỉđơnt h u ầ n l àtrìnhbàycácconsốvàcácsốliệuđểquảnlýmàcịnđịihỏimộtcáchtiếpcậnsâusắchơntrongviệcg hilại,phântíchvàtrìnhbàycácpháthiệntheocáchdễhiểuhơnnhằm hỗtrợtổchức,doanhnghiệptro nghoạtđộngquảntrịchămsóckháchhàng,hoạtđ ộ n g bánhàngvàmarketing Cùngvớisựpháttriểncủacơngnghệthơngtinvàsựlantỏacủacuộccáchmạngc n g nghệlầnt hứ4,họcmáy(Machinelearning)cùngvớicácthuậttốnhọcmáyngàyc n g đượcứngdụngnhiề uhơntrongcácbàitốnkinhtế.Đặcbiệtcácbàitốnứngd ụ n g dựatrênviệckhaiphád ữliệu(Datamining)haylàcácbàitốnrúttrích,khámp h racácthơngtincógiátrịhoặcđưa racácdựđốntừdữliệuđãcó Nhưcácbàitốnứngdụngtrongpháthiệnbấtthường(Anomalydetection),p há t hiệncácngoạilệ,vídụnhưpháthiệngianlậnthẻtíndụng;CácbàitốnPháthiệnc c quyluật(As sociationrules),vídụ,trongmộtsiêuthịhaymộttrangthươngmạiđiệnt hayviệcpháthiệncácquylu ậtcủakháchhàngnhưkhikháchhàngmuamónhàngAthườngmuakèmmónhàngnào? Cácthơngtinnàyrấthữchchoviệctiếpthịsản