Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác xuất hậu nghiệm không lồi trong học máy

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÙI THỊ THANH XUÂN MỘT SỐ PHƯƠNG PHÁP NGẪU NHIÊN CHO BÀI TỐN CỰC ĐẠI HĨA XÁC SUẤT HẬU NGHIỆM KHÔNG LỒI TRONG HỌC MÁY LUẬN ÁN TIẾN SĨ HỆ THỐNG THƠNG TIN 123doc Mang Ln thay h■■ng l■im■i s■ cam tr■ h■u m■t k■t nghi■m t■im■t s■ cáwebsite nhân mang kho m■ith■ kinh m■ l■i d■n vi■n nh■ng cho doanh ■■u kh■ng ng■■i quy■n chia t■ th■c dùng, l■ s■l■i v■i hi■n t■t công h■n mua ngh■a nh■t 2.000.000 ngh■ báncho tài v■ hi■n ng■■i li■u c■a tài th■ hàng li■u dùng hi■n ■■u ■ thìt■t Khi ■■i, s■p Vi■t c■ khách b■n t■i, l■nh Nam ngh■a online hàng v■c: Táctr■ không v■ tài phong thành c■a khác chuyên c■a thành tíngì d■ng, hàng so nghi■p, viên v■i tri■u cơng c■a b■n hồn nhà ngh■ 123doc g■c bán h■o, thơng B■n hàng ■■ n■p có tin, l■i cao th■ ti■n ngo■i chuy■n tính phóng vào ng■, Khách trách tài giao to,kho■n nhi■m thu sang nh■ c■a ■■i ■■n hàng tùy123doc, v■i v■ ý cót■ng qu■n th■b■n d■ ng■■i lýChào dàng s■ dùng ■■■c m■ng tra c■u M■c h■■ng b■n tàitiêu li■u ■■n nh■ng hàng m■t v■i■■u quy■n cách 123doc c■a l■i123doc.net sau xác,n■p nhanh ti■n tr■ chóng thành website th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c khơng th■ tìm th■y th■ tr■■ng ngo■i tr■ 123doc.net Nhi■u event thú v■, event ki■m ti■n thi■t th■c 123doc luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ thành viên c■a website HÀ NỘI−2020 Mangh■n Luôn Th■a Xu■t Sau Nhi■u 123doc Link h■■ng phát thu■n l■i event cam s■ nh■n xác m■t tr■ t■ h■u k■t s■ thú nghi■m t■i th■c ýxác n■m t■■ng m■t d■ng v■, s■ nh■n s■ website mang event kho m■i ■■■c ■■i, t■o tLink t■ th■ m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P g■i vi■n xác nh■ng cho ■■u ■■ng ti■n v■ th■c h■ kh■ng ng■■i NH■N ■ã ■■a quy■n th■ng thi■t chia t■ng s■ ki■m dùng, l■ ch■ CÁC s■ ■■■c th■c s■ l■i b■■c v■i ti■n email chuy■n ■I■U t■t công h■n mua 123doc g■i online kh■ng nh■t b■n 2.000.000 v■ ngh■ bán KHO■N sang b■ng cho ■■a ■ã tài ■■nh hi■n ■■ng ng■■i li■u ph■n ch■ tài TH■A tài v■ th■ li■u hàng t■o email li■u thơng ky, dùng tríhi■n THU■N hi■u c■ c■a b■n ■■u ■b■n tin t■t h■i Khi ■■i, qu■ vui Vi■t xác c■ ■ã khách gia lịng b■n nh■t, minh l■nh ■■ng Nam t■ng Chào ■■ng online hàng uy tài v■c: l■nh thu Tác m■ng ky, tín kho■n tr■ nh■p nh■p khơng b■n tài phong v■c cao thành b■n vui email nh■t tài email online oLink khác chun ■■n li■u lịng thành tínb■n Mong c■a xác cho d■ng, ■■ng v■i so nghi■p, viên th■c kinh ■ã t■t 123doc 123doc.net! v■i mu■n cơng ■■ng nh■p c■a c■ doanh s■ b■n vàcác hoàn mang ■■■c ngh■ 123doc click email ký g■c online thành v■i h■o, Chúng vào l■i thông B■n g■i c■a 123doc.netLink CH■P cho viên linkí Tính ■■ v■ n■p có tin, c■ng c■a cao ■■a th■ ■■n cung NH■N ti■n ngo■i tính website phóng ■■ng ch■ th■i click vào c■p CÁC ng■, Khách trách xác email tài ■i■m D■ch vào xã to,kho■n ■I■U th■c nhi■m h■i thu linkông l■nh b■n tháng V■ nh■ m■t s■ KHO■N c■a ■ã v■c (nh■ ■■i hàng ■■■c tin tùy ngu■n 5/2014; ■■ng 123doc, tài v■i xác ■■■c ý có li■u TH■A g■i t■ng minh th■ tài ky, 123doc v■ mô nguyên b■n b■n d■ ng■■i THU■N tài kinh ■■a t■ dàng kho■n s■ vui v■■t d■■i doanh tri dùng ■■■c ch■ lòng tra th■c m■c email ■ây) email c■u ■■ng Chào online M■c h■■ng quý 100.000 cho tài b■n b■n m■ng tiêu báu, nh■p li■u Tính b■n, ■ã nh■ng ■ã hàng phong m■t l■■t ■■n email ■■ng b■n tùy ■■ng ■■u quy■n cách truy thu■c ■■n th■i phú, c■a ký ky, c■a c■p v■i ■i■m v■i ■a l■i b■n vào 123doc.net m■i 123doc.netLink d■ng, 123doc.net! sau xác, vui tháng vàngày, n■p click lòng “■i■u nhanh giàu 5/2014; ti■n s■ vào ■■ng tr■ giá Kho■n Chúng chóng h■u linkc■a thành tr■ xác 123doc nh■p 2.000.000 website ■■ng th■c Th■a th■ website cung email v■■t s■ vi■n th■i Thu■n ■■■c c■p c■a thành mong m■c tài D■ch v■ li■u g■i viên 100.000 mu■n S■ online v■ V■ ■■ng D■ng click ■■a t■o (nh■ l■■t l■n ký, D■ch ■i■u vào ch■ nh■t ■■■c truy l■t link email ki■n V■” vào c■p Vi■t 123doc môtop sau cho b■n m■i Nam, t■200 ■ây d■■i cho ngày, ■ã cung các (sau ■■ng g■i ■ây) s■ website c■p users ■ây h■u ky, cho nh■ng ■■■c có b■n 2.000.000 b■n, ph■ thêm vui tài bi■n tùy g■i lòng thu li■u thu■c t■t thành nh■t nh■p ■■c ■■ng T■i vào t■i viên khơng t■ng Chính nh■p Vi■t ■■ng th■i “■i■u th■ Nam, email v■y ■i■m, ký, tìm t■ Kho■n c■a l■t 123doc.net th■y l■chúng vào tìm Th■a top ki■m th■ 200 click Thu■n cóthu■c ■■i tr■■ng th■ vào nh■m website c■p v■ top link ngo■i S■ 3nh■t ■áp 123doc Google D■ng ph■ tr■ ■KTTSDDV ■ng 123doc.net bi■n ■ã D■ch Nh■n nhu g■i nh■t c■u V■” ■■■c theo t■i chia sau Vi■t quy■t danh ■ây s■ Nam, tài (sau hi■u li■u t■ ■ây ch■t l■c■ng ■■■c tìm l■■ng ki■m ■■ng g■i thu■c t■t bình ki■m T■i ch■n top ti■n t■ng Google online th■i website ■i■m, Nh■n ki■m chúng ■■■c ti■ntơi online danh có th■ hi■u hi■u c■p qu■ nh■t c■ng ■KTTSDDV uy ■■ng tín nh■t bình ch■n theo quy■t website ki■m ti■n online hi■u qu■ uy tín nh■t Lnh■n 123doc Sau Th■a Xu■t h■■ng phát thu■n cam nh■n m■t t■k■t s■ t■i ýxác n■m t■■ng d■ng s■ nh■n website mang ■■i, t■o t■l■i c■ng ■■ng d■n 123doc CH■P nh■ng ■■u ■■ng h■ NH■N ■ã quy■n th■ng chia t■ng ki■m CÁC s■s■ l■i b■■c ti■n vàchuy■n ■I■U t■t mua online kh■ng nh■t bán KHO■N sang b■ng cho ■■nh thay ng■■i ph■n tài TH■A vìv■ li■u m■i thơng dùng tríTHU■N hi■u m■t c■atin Khi qu■ cá xác khách nhân nh■t, minh Chào kinh hàng uy tài l■nh m■ng doanh tín kho■n tr■ v■c cao thành b■n t■ email nh■t tàith■c ■■n li■u thành b■n Mong hi■n v■i viên kinh ■ã 123doc 123doc.net! mu■n ngh■a ■■ng c■a doanh mang 123doc v■ kýonline c■a v■i Chúng l■ivà 123doc.netLink cho Tính n■p tơi c■ng ■■n cung ti■n s■p ■■ng th■i vào c■p t■i, xác tài ■i■m D■ch xã ngh■a kho■n th■c h■itháng V■ m■t s■ v■ c■a (nh■ ■■■c c■a ngu■n 5/2014; 123doc, ■■■c c■a g■i tài 123doc hàng v■ mô nguyên b■n■■a t■ tri■u s■ v■■t d■■i tri ■■■c ch■ nhà th■c m■c ■ây) email bán h■■ng quý 100.000 cho hàng b■n báu, b■n, nh■ng l■i ■ã phong l■■t chuy■n tùy ■■ng quy■n truy thu■c phú, ky, c■p giao ■a l■i b■n vào m■i sang d■ng, sau vuingày, n■p ■■n lòng “■i■u giàu ti■n s■ ■■ng v■ giá Kho■n h■u qu■n tr■ nh■p 2.000.000 website ■■ng Th■a lý hoàn email th■i Thu■n h■o, c■a thành mong v■ ■■ viên mu■n S■ cao ■■ng D■ng tính click t■otrách ký, D■ch ■i■u vàol■t link nhi■m ki■n V■” vào 123doc top sau cho ■■i 200 ■ây cho v■i ■ãcác (sau g■i t■ng website users ■ây ng■■i ■■■c cóph■ dùng thêm bi■n g■i thu M■c t■t nh■t nh■p T■i tiêu t■i t■ng hàng Chính Vi■tth■i ■■u Nam, v■y ■i■m, c■a t■123doc.net l■ 123doc.net chúng tìm ki■m tơiracó tr■ thu■c ■■i th■ thành nh■m c■p topth■ 3nh■t ■áp Google vi■n ■KTTSDDV ■ng tàiNh■n nhu li■uc■u online ■■■c theo chia l■n quy■t danh s■nh■t tài hi■u li■u Vi■t ch■t Nam, c■ng l■■ng cung ■■ng c■p bình ki■m nh■ng ch■n ti■ntài online website li■u ■■cki■m không ti■n th■ online tìm th■y hi■utrên qu■th■ tr■■ng uy tín nh■t ngo■i tr■ 123doc.net Luôn Th■a Xu■t Sau Nhi■u 123doc Mang thayh■n h■■ng phát thu■n l■i event m■i cam s■ nh■n m■t tr■ t■ h■u m■t k■t s■ thú nghi■m t■i ýxác n■m t■■ng m■t d■ng v■, s■ cá nh■n website nhân mang event kho m■i ■■i, t■o t■ th■ kinh m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P vi■n nh■ng cho doanh ■■u ■■ng ti■n h■ kh■ng ng■■i NH■N ■ã quy■n th■ng thi■t chia t■t■ng ki■m th■c dùng, l■ CÁC s■ th■c s■ l■i b■■c v■i ti■n hi■n chuy■n ■I■U t■t công h■n mua 123doc online kh■ng ngh■a nh■t 2.000.000 ngh■ bán KHO■N sang b■ng cho tài ■■nh v■ hi■n ng■■i li■u ph■n c■a tài TH■A tài v■ th■ li■u hàng t■o li■u thơng dùng tríhi■n THU■N hi■u c■ c■a ■■u ■ thìtin t■t h■i Khi ■■i, qu■ s■p Vi■t xác c■ khách gia b■n t■i, nh■t, minh l■nh Nam t■ng Chào ngh■a online hàng uy tài v■c: l■nh thu Tác m■ng tín kho■n tr■ nh■p khơng v■ tài phong v■c cao thành b■n c■a email nh■t tài online khác chuyên ■■n c■a li■u thành tínb■n Mong cho d■ng, hàng v■i so nghi■p, viên kinh ■ã t■t 123doc 123doc.net! v■i mu■n tri■u công ■■ng c■a c■ doanh b■n hoàn nhà mang ngh■ 123doc ký g■c online thành bán v■i h■o, Chúng l■i thông B■n hàng 123doc.netLink cho viên Tính ■■ n■p có tơi tin, c■ng l■i c■a cao th■ ■■n cung ti■n ngo■i chuy■n tính website phóng ■■ng th■i vào c■p ng■, Khách trách xác tài ■i■m D■ch giao xã to,kho■n th■c nhi■m h■i thu sang tháng V■ nh■ m■t s■ c■a (nh■ ■■i ■■n hàng ■■■c tùy ngu■n 5/2014; 123doc, v■i v■ ■■■c ý cóg■i t■ng qu■n th■ tài 123doc v■ mơ nguyên b■n d■ ng■■i lý, ■■a t■ dàng s■ công v■■t d■■i tri dùng ■■■c ch■ tra th■c ngh■ m■c ■ây) email c■u M■c h■■ng quý hi■n 100.000 cho tài b■n tiêu báu, li■u b■n, th■ nh■ng ■ã hàng phong m■t l■■t hi■n tùy ■■ng ■■u quy■n cách truy thu■c ■■i, phú, ky, c■a c■p ■a b■n l■i b■n vào 123doc.net m■i d■ng, sau online xác, vuingày, n■p lịng “■i■u nhanh giàu khơng ti■n s■ ■■ng tr■ giá Kho■n chóng h■u khác thành tr■ nh■p 2.000.000 website ■■ng Th■a gìth■ so email vi■n th■i v■i Thu■n c■a thành b■n mong tài v■ li■u g■c viên mu■n S■ online B■n ■■ng D■ng click t■o l■n cóký, D■ch ■i■u vào th■ nh■t l■t link phóng ki■n V■” vào Vi■t 123doc top sau cho to, Nam, 200 thu ■ây cho ■ã cung nh■ các (sau g■iwebsite tùy c■p users ■ây ý.nh■ng ■■■c cóph■ thêm tài bi■n g■i thu li■u t■t nh■t nh■p ■■c T■it■i khơng t■ng Chính Vi■tth■i th■ Nam, v■y ■i■m, tìm t■123doc.net th■y l■chúng tìm ki■m tơi th■ racóthu■c ■■i tr■■ng th■nh■m c■p top ngo■i 3nh■t ■áp Google tr■ ■KTTSDDV ■ng 123doc.net Nh■n nhu c■u ■■■c theo chiaquy■t danh s■ tài hi■u li■udo ch■t c■ng l■■ng ■■ng vàbình ki■mch■n ti■n online website ki■m ti■n online hi■u qu■ uy tín nh■t Chia m■t u■t Nhi■u Mang Luôn 123doc Th■a Xu■t Sau tri■n phát h■n member s■ h■■ng phát khai thu■n l■i event s■ cam nh■n câu t■ m■t tr■ t■ event h■u ýk■t s■ chuy■n thú nghi■m t■i ýkhông t■■ng xác n■m t■■ng m■t d■ng v■, khuy■n s■ nh■n website mang m■y event t■o kho thành m■i ■■i, t■o t■ c■ng th■ n■i m■ l■i c■ng ki■m ■■ng d■n công 123doc CH■P th■ vi■n b■t nh■ng cho ■■ng ■■u ■■ng ti■n n■p h■ c■a kh■ng ng■■i NH■N ■ã quy■n th■ng 123doc thi■t chia ki■m v■i c■ng t■ng ki■m dùng, l■ CÁC s■ nh■ng th■c ti■n s■ l■i b■■c ■■ng v■i ti■n -và ki■m chuy■n ■I■U t■t công online h■n mua 123doc online ■u kh■ng 123doc nh■t 5■ãi 2.000.000 ngh■ bán KHO■N tri■u b■ng sang b■ng cho c■c tài ■■nh ■ã hi■n ch■ tài ng■■i li■u ph■n k■ tài TH■A xu■t li■u tài v■ v■i th■ li■u h■p hàng t■o li■u thơng s■c dùng trí hi■u 7hi■n THU■N hi■u d■n tài c■ c■a ■■u ■■■ng li■u! tin qu■ t■t h■i Khi ■■i, qu■ ■■ng Vi■t xác c■ khách gia nh■t, Nghe b■n nh■t, minh l■nh Nam t■ng Chào b■online có uy hàng danh l■ uy tài v■c: l■nh thu Tác v■ tín m■ng nhé, tín kho■n tr■ sách cao nh■p khó khơng tài phong v■c cao tr■■c thành b■n nh■t tin Top email nh■t tài online khác nh■ng chuyên ■■n li■u tiên thành danh tín Mong b■n Mong cho d■ng, v■i ■ây so thu nghi■p, viên kinh ■ã mu■n t■t 123doc 123doc.net! v■i mu■n cao công ■■ng c■a c■ doanh b■n nh■t mang tìm hoàn mang ngh■ 123doc s■ ký g■c hi■u online thành tháng v■i l■i hồn h■o, Chúng l■i thơng B■n thơng cho 123doc.netLink cho viên t■o tồn Tính ■■ n■p có c■ng tơi tin, c■ng tin c■ c■a cao th■ ■■n cung ti■n ngo■i v■ h■i ■■ng tính website phóng ■■ng Khách th■i vào c■p xác gia ng■, Khách trách xác xã tài t■ng ■i■m mà D■ch xã to, hàng h■i kho■n th■c nhi■m h■i BQT thu thu m■t tháng V■ có nh■ m■t s■ nh■p 123doc c■a th■ (nh■ ■■i hàng ngu■n ■■■c tùy ngu■n 5/2014; 123doc, d■ v■i online ■■■c ý có ■ã dàng tài g■i t■ng th■ tài thu 123doc nguyên cho v■ mô nguyên b■n tra d■ ng■■i th■p t■t ■■a t■ c■u dàng s■ v■■t tri d■■i c■ ■■■c tri dùng ■■■c ch■ tài th■c tra th■c m■c li■u ■ây) email c■u sau thành quý M■c h■■ng quý m■t 100.000 cho ■■t tài báu, b■n tiêu báu, viên li■u cách b■n, t■ng nh■ng phong ■ã hàng phong c■a m■t l■■t tùy ■■ng k■t ■■u website phú, quy■n cách truy thu■c phú, doanh xác, ky, c■a c■p ■a ■a nhanh l■i b■n vào d■ng, thu 123doc.net m■i d■ng, sau xác, vui tháng chóng ngày, n■p giàu lịng “■i■u nhanh giàu 11 ti■n giá s■ ■■ng tr■ giá uy Kho■n chóng h■u tr■ tín thành tr■ nh■p ■■ng cao 2.000.000 website ■■ng Th■a th■ nh■t email th■i vi■n th■i Thu■n Mong mong c■a thành mong tài v■ li■u mu■n mu■n viên mu■n S■ online ■■ng D■ng mang t■o click t■o l■n ■i■u ký, D■ch ■i■u vào l■i nh■t l■t cho link ki■n ki■n V■” vào Vi■t c■ng 123doc cho top sau cho Nam, ■■ng cho 200 ■ây cho ■ã cung các (sau g■i xãusers website h■i c■p users ■ây m■t nh■ng có ■■■c cóph■ thêm ngu■n thêm tài bi■n g■i thu thu li■u tài t■t nh■p nh■t nh■p ngun ■■c T■it■i Chính khơng t■ng Chính Vi■t tri th■c th■i vìth■ Nam, vìv■y v■y quý ■i■m, tìm 123doc.net t■123doc.net báu, th■y l■chúng tìm phong ki■m tơi th■ phú, có ■■i thu■c ■■i tr■■ng th■ ■Sau nh■m nh■m c■p top ngo■i h■n ■áp 3nh■t ■áp Google m■t ■ng tr■ ■KTTSDDV ■ng 123doc.net n■m nhu Nh■n nhuc■u rac■u ■■i, ■■■c chia theo chia 123doc s■ quy■t danh s■tàitài hi■u li■u ■ã li■u t■ng ch■t ch■t c■ng b■■c l■■ng l■■ng ■■ng kh■ng vàvàki■m bình ki■m ■■nh ch■n ti■n ti■n v■ online online tríwebsite c■a ki■m ti■nl■nh online v■c hi■u tài li■u qu■và vàkinh uy tín doanh nh■t.online Nhi■u Mang Ln 123doc Th■a Xu■t Sau h■n h■■ng phát thu■n l■i event s■ cam nh■n m■t tr■ t■ h■u k■t s■ thú nghi■m t■i ýxác n■m t■■ng m■t d■ng v■, s■ nh■n website mang event kho m■i ■■i, t■o t■ th■ m■ l■i c■ng ki■m ■■ng d■n 123doc CH■P vi■n nh■ng cho ■■u ■■ng ti■n h■ kh■ng ng■■i NH■N ■ã quy■n th■ng thi■t chia t■ng ki■m dùng, l■ CÁC s■ th■c s■ l■i b■■c v■i ti■n vàchuy■n ■I■U t■t công h■n mua 123doc online kh■ng nh■t 2.000.000 ngh■ bán KHO■N sang b■ng cho tài ■■nh hi■n ng■■i li■u ph■n tài TH■A tài v■ th■ li■u hàng t■o li■u thông dùng tríhi■n THU■N hi■u c■ c■a ■■u ■ tin t■t h■i Khi ■■i, qu■ Vi■t xác c■ khách gia b■n nh■t, minh l■nh Nam t■ng Chào online hàng uy tài v■c: l■nh thu Tác m■ng tín kho■n tr■ nh■p khơng tài phong v■c cao thành b■n email nh■t tài online khác chun ■■n li■u thành tínb■n Mong cho d■ng, v■i so nghi■p, viên kinh ■ã t■t 123doc 123doc.net! v■i mu■n công ■■ng c■a c■ doanh b■n hoàn mang ngh■ 123doc ký g■c online thành v■i h■o, Chúng l■i thơng B■n 123doc.netLink cho viên Tính ■■ n■p có tơi tin, c■ng c■a cao th■ ■■n cung ti■n ngo■i tính website phóng ■■ng th■i c■p thay ng■, Khách trách xác ■i■m D■ch xã to, th■c nhi■m m■i h■i thutháng V■ nh■ m■t s■(nh■ ■■i hàng ■■■c tùy ngu■n 5/2014; cáv■i nhân ■■■c ý cóg■i t■ng th■ tài 123doc kinh v■ mô nguyên d■ ng■■i doanh ■■a t■ dàng v■■t d■■i tri dùng ch■ t■ tra th■c m■c ■ây) th■c email c■u M■c quý 100.000 cho tài hi■n b■n tiêu báu, li■u b■n, ngh■a ■ã hàng phong m■t l■■t tùy ■■ng ■■u cách truy v■ thu■c phú, ky, c■a c■a c■p ■a b■n vào 123doc.net m■i d■ng, xác, vuingày, lịng “■i■u nhanh giàu s■p s■ ■■ng tr■ giá t■i, Kho■n chóng h■u thành tr■ ngh■a nh■p 2.000.000 ■■ng Th■a th■ email v■vi■n th■i Thu■n c■a c■a thành mong tài c■a v■ li■u viên hàng mu■n S■ online ■■ng D■ng tri■u click t■o l■n ký, D■ch ■i■u vào nhà nh■t l■t link bán ki■n V■” vào Vi■t 123doc hàng top sau cho Nam, 200 l■i ■ây cho ■ã chuy■n cung các (sau g■iwebsite c■p users ■ây giao nh■ng ■■■c cósang ph■ thêm tài bi■n g■i ■■n thu li■u t■t nh■t v■ nh■p ■■c T■i qu■n t■i khơng t■ng Chính Vi■t lý th■i quy■n th■ Nam, v■y ■i■m, tìm l■i t■123doc.net th■y l■ sau chúng tìm n■p ki■m tơi th■ ti■n racóthu■c ■■i tr■■ng th■nh■m c■p website top ngo■i 3nh■t ■áp Google tr■ ■KTTSDDV ■ng 123doc.net Nh■n nhu c■u ■■■c theo chiaquy■t danh s■ tài hi■u li■udo ch■t c■ng l■■ng ■■ng vàbình ki■mch■n ti■n online website ki■m ti■n online hi■u qu■ uy tín nh■t luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI BÙI THỊ THANH XUÂN MỘT SỐ PHƯƠNG PHÁP NGẪU NHIÊN CHO BÀI TOÁN CỰC ĐẠI HĨA XÁC SUẤT HẬU NGHIỆM KHƠNG LỒI TRONG HỌC MÁY Ngành: Hệ thống thông tin Mã số: 9480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN TẬP THỂ HƯỚNG DẪN KHOA HỌC: PGS.TS THÂN QUANG KHOÁT TS NGUYỄN THỊ OANH HÀ NỘI−2020 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep LỜI CAM ĐOAN Tôi xin cam đoan kết trình bày luận án cơng trình nghiên cứu thân nghiên cứu sinh thời gian học tập nghiên cứu Đại học Bách khoa Hà Nội hướng dẫn tập thể hướng dẫn khoa học Các số liệu, kết trình bày luận án hoàn toàn trung thực Các kết sử dụng tham khảo trích dẫn đầy đủ theo quy định Hà Nội, ngày tháng năm 2020 Nghiên cứu sinh Bùi Thị Thanh Xuân TẬP THỂ HƯỚNG DẪN KHOA HỌC PGS.TS Thân Quang Khoát TS Nguyễn Thị Oanh luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep LỜI CẢM ƠN Trong q trình nghiên cứu hồn thành luận án này, nghiên cứu sinh nhận nhiều giúp đỡ đóng góp quý báu Đầu tiên, nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới tập thể hướng dẫn: PGS.TS Thân Quang Khoát TS Nguyễn Thị Oanh Các thầy cô tận tình hướng dẫn, giúp đỡ nghiên cứu sinh suốt q trình nghiên cứu hồn thành luận án Nghiên cứu sinh xin chân thành cảm ơn Bộ môn Hệ thống thơng tin Phịng thí nghiệm Khoa học liệu, Viện Công nghệ thông tin truyền thông - Trường Đại học Bách khoa Hà Nội, nơi nghiên cứu sinh học tập tạo điều kiện, cho phép nghiên cứu sinh tham gia nghiên cứu suốt thời gian học tập Nghiên cứu sinh xin chân thành cảm ơn Phòng Đào tạo - Trường Đại học Bách Khoa Hà Nội tạo điều kiện để nghiên cứu sinh hồn thành thủ tục bảo vệ luận án tiến sĩ Cuối cùng, nghiên cứu sinh xin gửi lời cảm ơn sâu sắc tới gia đình, bạn bè đồng nghiệp động viên, giúp đỡ nghiên cứu sinh vượt qua khó khăn để đạt kết nghiên cứu hôm luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ iv DANH MỤC HÌNH VẼ vi DANH MỤC BẢNG x DANH MỤC KÝ HIỆU TOÁN HỌC xi MỞ ĐẦU CHƯƠNG MỘT SỐ KIẾN THỨC NỀN TẢNG 1.1 Tối ưu không lồi 1.1.1 Bài toán tối ưu tổng quát 1.1.2 Tối ưu ngẫu nhiên 10 1.2 Mơ hình đồ thị xác suất 14 1.2.1 Giới thiệu 14 1.2.2 Một số phương pháp suy diễn 15 1.3 Bài toán cực đại hóa xác suất hậu nghiệm 18 1.3.1 Giới thiệu toán MAP 18 1.3.2 Một số phương pháp tiếp cận 19 1.4 Mơ hình chủ đề 21 1.4.1 Giới thiệu mơ hình chủ đề 21 1.4.2 Mơ hình Latent Dirichlet Allocation 22 1.4.3 Suy diễn hậu nghiệm mơ hình chủ đề 24 1.5 Thuật toán OPE 28 1.6 Một số thuật toán ngẫu nhiên học LDA 32 1.7 Dữ liệu độ đo đánh giá thực nghiệm với mô hình LDA 33 1.7.1 Dữ liệu thực nghiệm 33 1.7.2 Độ đo Log Predictive Probability (LPP) 35 1.7.3 Độ đo Normalised Pointwise Mutual Information (NPMI) 36 1.8 Kết luận chương 36 i luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep CHƯƠNG NGẪU NHIÊN HĨA THUẬT TỐN TỐI ƯU GIẢI BÀI TỐN SUY DIỄN HẬU NGHIỆM TRONG MƠ HÌNH CHỦ ĐỀ 38 2.1 Giới thiệu 38 2.2 Đề xuất giải tốn MAP mơ hình chủ đề 39 2.3 Các thuật toán học ngẫu nhiên cho mơ hình LDA 43 2.4 Đánh giá thực nghiệm 44 2.4.1 Các liệu thực nghiệm 44 2.4.2 Độ đo đánh giá thực nghiệm 45 2.4.3 Kết thực nghiệm 45 2.5 Sự hội tụ thuật toán đề xuất 52 2.6 Mở rộng thuật toán đề xuất cho toán tối ưu không lồi 56 2.7 Kết luận chương 57 CHƯƠNG TỔNG QT HĨA THUẬT TỐN TỐI ƯU GIẢI BÀI TỐN MAP KHƠNG LỒI TRONG MƠ HÌNH CHỦ ĐỀ 58 3.1 Giới thiệu 58 3.2 Thuật toán GOPE 59 3.3 Sự hội tụ thuật toán GOPE 62 3.4 Đánh giá thực nghiệm 65 3.4.1 Các liệu thực nghiệm 65 3.4.2 Độ đo đánh giá thực nghiệm 65 3.4.3 Thiết lập tham số 65 3.4.4 Kết thực nghiệm 66 3.5 Mở rộng thuật toán giải tốn tối ưu khơng lồi 69 3.6 Kết luận chương 70 CHƯƠNG NGẪU NHIÊN BERNOULLI CHO BÀI TỐN MAP KHƠNG LỒI VÀ ỨNG DỤNG 71 4.1 Giới thiệu 71 4.2 Thuật tốn BOPE giải tốn MAP khơng lồi 72 4.2.1 Ý tưởng xây dựng thuật toán BOPE 72 4.2.2 Sự hội tụ thuật toán BOPE 75 4.2.3 Vai trò hiệu chỉnh thuật toán BOPE 77 ii luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep 4.2.4 Mở rộng cho toán tối ưu không lồi tổng quát 80 4.3 Áp dụng BOPE vào mơ hình LDA cho phân tích văn 81 4.3.1 Suy diễn MAP cho văn 81 4.3.2 Đánh giá thực nghiệm 82 4.4 Áp dụng BOPE cho toán hệ gợi ý 90 4.4.1 Mơ hình CTMP 90 4.4.2 Đánh giá thực nghiệm 93 4.5 Kết luận chương 102 KẾT LUẬN 104 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ 106 TÀI LIỆU THAM KHẢO 107 PHỤ LỤC 116 A Một số kết thực nghiệm bổ sung cho mơ hình CTMP 117 iii luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt BOPE Bernoulli randomness in OPE Phương pháp BOPE CCCP Concave-Convex Procedure Phương pháp CCCP CGS Collapsed Gibbs Sampling Phương pháp CGS CTMP Collaborative Topic Model for Mơ hình CTMP Poisson CVB Collapsed Variational Bayes Phương pháp CVB CVB0 Zero-order Collapsed Variational Phương pháp CVB0 Bayes DC Difference of Convex functions Hiệu hai hàm lồi DCA Difference of Convex Algorithm Thuật toán DCA EM Expectation–Maximization algo- Thuật toán tối đa hóa kì vọng rithm ERM Empirical risk minimization Cực tiểu hóa hàm rủi ro thực nghiệm FW Frank-Wolfe Thuật tốn tối ưu Frank-Wolfe GD Gradient Descent Thuật toán tối ưu GD GOA Graduated Optimization Algo- Thuật toán GOA rithm GOPE Generalized Online Maximum a Phương pháp GOPE Posteriori Estimation GradOpt Graduated Optimization Phương pháp tối ưu GradOpt GS Gibbs Sampling Phương pháp lấy mẫu Gibbs HAMCMC Hessian Approximated MCMC Phương pháp tối ưu HAMCMC LDA Latent Dirichlet Allocation Mơ hình chủ đề ẩn LIL Law of the Iterated Logarithm Luật logarit lặp LPP Log Predictive Probability Độ đo LPP LSA Latent Semantic Analysis Phân tích ngữ nghĩa ẩn LSI Latent Semantic Indexing Chỉ mục ngữ nghĩa ẩn MAP Maximum a Posteriori Estima- Phương pháp cực đại hóa ước lượng MCMC tion xác suất hậu nghiệm Markov Chain Monte Carlo Phương pháp Monte Carlo iv luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Viết tắt Tiếng Anh Tiếng Việt MLE Maximum Likelihood Estimation Ước lượng hợp lý cực đại NPMI Normalised Pointwise Mutual In- Độ đo NPMI formation OFW Online Frank-Wolfe algorithm Thuật toán tối ưu Online FrankWolfe OPE Online maximum a Posteriori Es- Cực đại hóa ước lượng hậu nghiệm timation PLSA ngẫu nhiên Probabilistic Latent Semantic Phân tích ngữ nghĩa ẩn xác suất Analysis pLSI probabilistic Latent Semantic In- Chỉ mục ngữ nghĩa ẩn xác suất dexing PMD Particle Mirror Decent Phương pháp tối ưu PMD Prox-SVRG Proximal SVRG SCSG Phương pháp Prox-SVRG Stochastically Controlled Phương pháp SCSG Stochastic Gradient SGD Stochastic Gradient Descent Thuật toán giảm gradient ngẫu nhiên SMM Stochastic Majorization- Phương pháp SMM Minimization SVD Single Value Decomposition SVRG Stochastic Variance Phân tích giá trị riêng Reduced Phương pháp SVRG Gradient TM Topic Models Mơ hình chủ đề VB Variational Bayes Phương pháp biến phân Bayes VE Variable Elimination Phương pháp VE VI Variational Inference Suy diễn biến phân v luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC HÌNH VẼ 1.1 Một ví dụ mơ hình đồ thị xác suất Mũi tên biểu trưng cho phụ thuộc xác suất: D phụ thuộc vào A, B C C phụ thuộc vào B D 14 1.2 Mơ tả trực quan mơ hình chủ đề 21 1.3 Mơ hình chủ đề ẩn LDA 24 2.1 Hai trường hợp khởi tạo cho biên xấp xỉ ngẫu nhiên 39 2.2 Mô tả ý tưởng cải tiến thuật toán OPE 40 2.3 Kết thực OPE4 với tham số ν lựa chọn khác độ đo LPP 46 2.4 Kết thực OPE4 với tham số ν lựa chọn khác độ đo NPMI 47 2.5 Kết thuật toán so sánh với OPE thông qua độ đo LPP Độ đo cao tốt Chúng thấy số thuật tốn đảm bảo tốt chí tốt OPE 48 2.6 Kết thuật toán so sánh với OPE độ đo NPMI Độ đo cao tốt Chúng tơi thấy số thuật tốn đảm bảo tốt, chí tốt OPE 48 2.7 Kết độ đo LPP thuật toán học Online-OPE3 hai liệu New York Times PubMed với cách chia kích thước mini-batch khác Độ đo cao tốt 49 2.8 Kết độ đo NPMI thuật toán học Online-OPE3 hai liệu New York Times PubMed với cách chia kích thước mini-batch khác Độ đo cao tốt 50 2.9 Kết độ đo LPP NPMI thuật toán học Online-OPE3 hai liệu New York Times PubMed thay đổi số bước lặp T thuật toán suy diễn OPE3 Độ đo cao tốt.51 3.1 Kết thực Online-GOPE với tham số Bernoulli p lựa chọn khác hai độ đo LPP NPMI Giá trị độ đo cao tốt 66 vi luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep chỉnh Thông qua khai thác ngẫu nhiên Bernoulli biên ngẫu nhiên, thu thuật tốn BOPE cho tốn MAP khơng lồi mơ hình đồ thị xác suất Đồng thời BOPE áp dụng thành cơng vào tốn phân tích văn tốn hệ gợi ý Với đề xuất thấy đề xuất đáp ứng tốt yêu cầu thuật toán tối ưu cho tốn khơng lồi xuất học máy: cách vận hành thuật tốn đơn giản, thích nghi tốt với nhiều mơ hình thực tế, có tốc độ hội tụ nhanh khẳng định thông qua sở lý thuyết so sánh thực nghiệm Chúng tơi tổng kết đóng góp luận án Bảng 5.4 Phương pháp OPE1-4 GOPE BOPE Tốc độ hội tụ O(1/T ) O(1/T ) O(1/T ) Ngẫu nhiên Phân phối Phân phối Bernoulli Phân phối Bernoulli Hiệu chỉnh − Có Có Bảng 5.4: Tổng kết đóng góp đề xuất cho tốn MAP khơng lồi khía cạnh lý thuyết T biểu thị số lần lặp ’-’ biểu thị"chưa biết" B Định hướng phát triển Các thuật toán tối ưu ngẫu nhiên đề xuất để giải tốn MAP khơng lồi chúng tơi nghiên cứu đem đến cách tiếp cận mẻ: sử dụng xấp xỉ ngẫu nhiên, phân phối xác suất ngẫu nhiên, đưa hàm mục tiêu tất định ban đầu trở thành đại lượng ngẫu nhiên tính tốn hiệu Nhận thấy cách tiếp cận phù hợp thực hiệu quả, đặc biệt toán MAP khơng lồi học máy thống kê thường có hàm mục tiêu phức tạp, xuất mô hình với liệu lớn, cao chiều Do thời gian tới, tiếp tục tập trung phát triển thuật toán sâu rộng hơn, theo hướng: • Triển khai rộng nhiều mơ hình tốn khác học máy có dạng khơng lồi hay tốn quy hoạch DC khó giải; • Nghiên cứu tính chất ưu việt thuật tốn đề xuất tính tổng quát, tính hiệu khả hiệu chỉnh Từ nghiên cứu thuật tốn tồn diện hai mặt lý thuyết thực nghiệm; • Áp dụng thành cơng vào số tốn ứng dụng phân tích văn bản, hệ gợi ý, toán nhận dạng xử lý ảnh, Đồng thời phát triển nghiên cứu không làm việc liệu văn mà mở rộng nhiều loại liệu đa dạng phức tạp đáp ứng tốt nhu cầu toán thực tế 105 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN Xuan Bui, Tu Vu, and Khoat Than (2016) Stochastic bounds for inference in topic models In International Conference on Advances in Information and Communication Technology (pp 582-592) Springer, Cham Bui Thi-Thanh-Xuan, Vu Van-Tu, Atsuhiro Takasu, and Khoat Than (2018) A fast algorithm for posterior inference with latent Dirichlet allocation In Asian Conference on Intelligent Information and Database Systems (pp 137-146) Springer, Cham Tu Vu, Xuan Bui, Khoat Than, and Ryutaro Ichise (2018) A flexible stochastic method for solving the MAP problem in topic models, Computación y Sistemas journal, 22(4), 2018 (Scopus, ESCI) Xuan Bui, Tu Vu, and Khoat Than (2018) Some methods for posterior inference in topic models, Journal Research and Development on Information and Communication Technology (RD-ICT), Vol E-2, No.15 (Tạp chí Cơng nghệ thông tin truyền thông) Khoat Than, Xuan Bui, Tung Nguyen-Trong, Khang Truong, Son Nguyen, Bach Tran, Linh Ngo, and Anh Nguyen-Duc (2019) How to make a machine learn continuously: a tutorial of the Bayesian approach, Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications, 110060I, SPIE 106 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep TÀI LIỆU THAM KHẢO [1] Pfanzagl J (2011) Parametric statistical theory Walter de Gruyter [2] Dempster A.P., Laird N.M., and Rubin D.B (1977) Maximum likelihood from incomplete data via the em algorithm Journal of the Royal Statistical Society Series B (Methodological), 39(1):pp 1–38 [3] Hoffman L.D and Bradley G.L (2010) Calculus for business, economics, and the social and life sciences McGraw-Hill [4] Boyd S and Vandenberghe L (2004) Convex optimization Cambridge University Press [5] Bottou L (1998) Online learning and stochastic approximations Online learning in Neural Networks, 17(9):p 142 [6] Gauvain J.L and Lee C.H (1994) Maximum a posteriori estimation for multivariate gaussian mixture observations of markov chains IEEE transactions on speech and audio processing, 2(2):pp 291–298 [7] Wu M.C.K., Deniz F., Prenger R.J., and Gallant J.L (2018) The unified maximum a posteriori (map) framework for neuronal system identification arXiv preprint arXiv:1811.01043 [8] Seo S., Oh S.D., and Kwak H.Y (2019) Wind turbine power curve modeling using maximum likelihood estimation method Renewable energy, 136:pp 1164–1169 [9] Lauritzen S., Uhler C., Zwiernik P., et al (2019) Maximum likelihood estimation in gaussian models under total positivity The Annals of Statistics, 47(4):pp 1835–1863 [10] Matilainen K., Măantysaari E.A., and Strandộn I (2019) Efficient monte carlo algorithm for restricted maximum likelihood estimation of genetic parameters Journal of Animal Breeding and Genetics, 136(4):pp 252– 261 [11] Risk B.B., Matteson D.S., and Ruppert D (2019) Linear non-gaussian component analysis via maximum likelihood Journal of the American Statistical Association, 114(525):pp 332–343 107 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [12] Dempster A.P., Laird N.M., and Rubin D.B (1977) Maximum likelihood from incomplete data via the em algorithm Journal of the Royal Statistical Society: Series B (Methodological), 39(1):pp 1–22 [13] Zhang J., Schwing A., and Urtasun R (2014) Message passing inference for large scale graphical models with high order potentials In Advances in Neural Information Processing Systems, pp 1134–1142 [14] Darwiche A (2003) A differential approach to inference in bayesian networks Journal of the ACM (JACM), 50(3):pp 280–305 [15] Tosh C and Dasgupta S (2019) The relative complexity of maximum likelihood estimation, map estimation, and sampling Proceedings of Machine Learning Research vol , 99:pp 1–43 [16] Murphy K (2001) An introduction to graphical models Rap tech, 96:pp 1–19 [17] Peyrard N., Cros M.J., de Givry S., Franc A., Robin S., Sabbadin R., Schiex T., and Vignes M (2019) Exact or approximate inference in graphical models: why the choice is dictated by the treewidth, and how variable elimination can be exploited Australian & New Zealand Journal of Statistics, 61(2):pp 89–133 [18] Raiffa H and Schlaifer R (1972) Applied statistical decision theory In Applied statistical decision theory MIT Press [19] Rossi R.J (2018) Mathematical Statistics: An Introduction to Likelihood Based Inference John Wiley & Sons [20] Joshi S and Miller M.I (1993) Maximum a posteriori estimation with good’s roughness for three-dimensional optical-sectioning microscopy JOSA A, 10(5):pp 1078–1085 [21] Bassett R and Deride J (2019) Maximum a posteriori estimators as a limit of bayes estimators Mathematical Programming, 174(1-2):pp 129– 144 [22] Hazan T., Orabona F., Sarwate A.D., Maji S., and Jaakkola T.S (2019) High dimensional inference with random maximum a-posteriori perturbations IEEE Transactions on Information Theory [23] Bereyhi A., Mă uller R.R., and Schulz-Baldes H (2019) Statistical mechanics of map estimation: General replica ansatz IEEE Transactions on Information Theory 108 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [24] Siddhu V (2019) Maximum a posteriori probability estimates for quantum tomography Physical Review A, 99(1):p 012342 [25] Helin T and Burger M (2015) Maximum a posteriori probability estimates in infinite-dimensional bayesian inverse problems Inverse Problems, 31(8):p 085009 [26] Kodamana Z.L.H and Huang A.A.B (2019) A gmm-mrf based image segmentation approach for interface level estimation IFAC-PapersOnLine, 52(1):pp 28–33 [27] Pereyra M (2019) Revisiting maximum-a-posteriori estimation in logconcave models SIAM Journal on Imaging Sciences, 12(1):pp 650–670 [28] Than K and Doan T (2015) Guaranteed algorithms for inference in topic models arXiv preprint arXiv:1512.03308 [29] Jameel S., Fu Z., Shi B., Lam W., and Schockaert S (2019) Word embedding as maximum a posteriori estimation In Proceedings of the AAAI Conference on Artificial Intelligence, volume 33, pp 6562–6569 [30] D’Ambrosio B (1999) Inference in bayesian networks AI magazine, 20(2):pp 21–21 [31] Hoffman M.D., Blei D.M., Wang C., and Paisley J.W (2013) Stochastic variational inference Journal of Machine Learning Research, 14(1):pp 1303–1347 [32] Blei D.M., Kucukelbir A., and McAuliffe J.D (2016) Variational inference: A review for statisticians Journal of the American Statistical Association, to appear [33] Neal R.M (1993) Probabilistic inference using Markov chain Monte Carlo methods Department of Computer Science, University of Toronto Toronto, Ontario, Canada [34] Chib S (2003) Monte carlo methods and bayesian computation: Overview se fienberg, jb kadane, eds International Encyclopedia of the Social and Behavioral Sciences: Statistics [35] Bottou L., Curtis F.E., and Nocedal J (2018) Optimization methods for large-scale machine learning Siam Review , 60(2):pp 223–311 [36] Sontag D and Roy D (2011) Complexity of inference in latent dirichlet allocation In Proceedings of Advances in Neural Information Processing System 109 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [37] Gill J and Heuberger S (2019) Bayesian modeling and inference: A postmodern perspective LC Curini & J Franzese, Robert J., eds,‘Handbook of Research Methods in Political Science & International Relations’, Sage [38] Blei D.M., Ng A.Y., and Jordan M.I (2003) Latent dirichlet allocation Journal of machine Learning research, 3:pp 993–1022 [39] Teh Y.W., Newman D., and Welling M (2006) A collapsed variational bayesian inference algorithm for latent dirichlet allocation In Proceedings of Advances in Neural Information Processing Systems, pp 1353–1360 [40] Teh Y.W., Kurihara K., and Welling M (2007) Collapsed variational inference for hdp In Proceedings of Advances in Neural Information Processing Systems, pp 1481–1488 [41] Asuncion A., Welling M., Smyth P., and Teh Y.W (2009) On smoothing and inference for topic models In Proceedings of the Twenty-Fifth Conference on Uncertainty in Artificial Intelligence, pp 27–34 AUAI Press [42] Hoffman M., Blei D.M., and Mimno D.M (2012) Sparse stochastic inference for latent dirichlet allocation In Proceedings of the 29th International Conference on Machine Learning (ICML-12), pp 1599–1606 ACM [43] Yuille A.L and Rangarajan A (2003) The concave-convex procedure Neural computation, 15(4):pp 915–936 [44] Mairal J (2013) Stochastic majorization-minimization algorithms for large-scale optimization In Advances in Neural Information Processing Systems, pp 2283–2291 [45] Clarkson K.L (2010) Coresets, sparse greedy approximation, and the frank-wolfe algorithm ACM Trans Algorithms, 6(4):pp 1–30 [46] Hazan E and Kale S (2012) Projection-free online learning In Proceedings of Annual International Conference on Machine Learning [47] Swoboda P and Kolmogorov V (2019) Map inference via block-coordinate frank-wolfe algorithm In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp 11146–11155 [48] Dai B., He N., Dai H., and Song L (2016) Provable bayesian inference via particle mirror descent In Artificial Intelligence and Statistics, pp 985–994 [49] Simsekli U., Badeau R., Cemgil T., and Richard G (2016) Stochastic quasi-newton langevin monte carlo In International Conference on Machine Learning 110 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [50] Than K and Ho T.B (2012) Fully sparse topic models In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pp 490–505 Springer [51] Than K and Ho T.B (2015) Inference in topic models: sparsity and trade-off arXiv preprint arXiv:1512.03300 [52] Anandkumar A and Ge R (2015) Efficient approaches for escaping higher order saddle points in non-convex optimization In Conference on Learning Theory, pp 797–842 [53] Gelman A., Carlin J.B., Stern H.S., Dunson D.B., Vehtari A., and Rubin D.B (2013) Bayesian data analysis Chapman and Hall/CRC [54] Tuy H (2016) Motivation and overview In Convex Analysis and Global Optimization, pp 127–149 Springer [55] Tuy H (1992) On nonconvex optimization problems with separated nonconvex variables Journal of Global Optimization, 2(2):pp 133–144 [56] Tuy H (2005) Robust solution of nonconvex global optimization problems Journal of Global Optimization, 32(2):pp 307–323 [57] Ge R., Huang F., Jin C., and Yuan Y (2015) Escaping from saddle points—online stochastic gradient for tensor decomposition In Conference on Learning Theory, pp 797–842 [58] Robbins H and Monro S (1951) A stochastic approximation method The Annals of Mathematical Statistics, pp 400–407 [59] Xiao L and Zhang T (2014) A proximal stochastic gradient method with progressive variance reduction SIAM Journal on Optimization, 24(4):pp 2057–2075 [60] Blake A and Zisserman A (1987) Visual reconstruction MIT press [61] Hazan E., Levy K.Y., and Shalev-Shwartz S (2016) On graduated optimization for stochastic non-convex problems In International Conference on Machine Learning, pp 1833–1841 [62] Chen X., Liu S., Sun R., and Hong M (2018) On the convergence of a class of adam-type algorithms for non-convex optimization arXiv preprint arXiv:1808.02941 [63] Duchi J., Hazan E., and Singer Y (2011) Adaptive subgradient methods for online learning and stochastic optimization Journal of Machine Learning Research, 12:pp 2121–2159 111 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [64] Tieleman T and Hinton G (2012) Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude COURSERA: Neural networks for Machine learning, 4(2):pp 26–31 [65] Zeiler M.D (2012) Adadelta: an adaptive learning rate method arXiv preprint arXiv:1212.5701 [66] Kingma D.P and Ba J.L (2014) Adam: Amethod for stochastic optimization In Proc 3rd Int Conf Learn Representations [67] Ghadimi S and Lan G (2016) Accelerated gradient methods for nonconvex nonlinear and stochastic programming Mathematical Programming, 156(12):pp 59–99 [68] Allen-Zhu Z (2018) Natasha 2: Faster non-convex optimization than sgd In Advances in Neural Information Processing Systems, pp 2680–2691 Curran Associates, Inc [69] Allen-Zhu Z and Li Y (2018) Neon2: Finding local minima via firstorder oracles In Advances in Neural Information Processing Systems, pp 3720–3730 [70] Pascanu R., Dauphin Y.N., Ganguli S., and Bengio Y (2014) On the saddle point problem for non-convex optimization arXiv preprint arXiv:1405.4604 [71] Dauphin Y.N., Pascanu R., Gulcehre C., Cho K., Ganguli S., and Bengio Y (2014) Identifying and attacking the saddle point problem in highdimensional non-convex optimization In Advances in Neural Information Processing Systems, pp 2933–2941 [72] Jin C., Ge R., Netrapalli P., Kakade S.M., and Jordan M.I (2017) How to escape saddle points efficiently In Proceedings of the 34th International Conference on Machine Learning-Volume 70 , pp 1724–1732 JMLR org [73] Reddi S.J., Sra S., Póczos B., and Smola A (2016) Stochastic frank-wolfe methods for nonconvex optimization In 54th Annual Allerton Conference on Communication, Control, and Computing, pp 1244–1251 IEEE [74] Lei L., Ju C., Chen J., and Jordan M.I (2017) Non-convex finite-sum optimization via scsg methods In Advances in Neural Information Processing Systems, pp 2348–2358 [75] Jordan M.I and Bishop C (2004) An introduction to graphical models [76] Koller D and Friedman N (2009) Probabilistic graphical models: principles and techniques MIT press 112 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [77] Zhang N.L and Poole D (1994) A simple approach to bayesian network computations In Proceedings of the Biennial Conference-Canadian Society for Computational Studies of Intelligence, pp 171–178 [78] Cozman F.G et al (2000) Generalizing variable elimination in bayesian networks In Workshop on Probabilistic reasoning in Artificial intelligence, pp 27–32 Editora Tec Art São Paulo, Brazil [79] Chavira M and Darwiche A (2007) Compiling bayesian networks using variable elimination In IJCAI , pp 2443–2449 [80] Attias H (2000) A variational bayesian framework for graphical models In Advances in Neural Information Processing Systems, pp 209–215 [81] Blei D.M., Kucukelbir A., and McAuliffe J.D (2017) Variational inference: A review for statisticians Journal of the American Statistical Association, 112(518):pp 859–877 [82] Bishop C.M (2006) Pattern recognition and Machine learning springer [83] Minka T and Lafferty J (2002) Expectation-propagation for the generative aspect model In Proceedings of the Eighteenth conference on Uncertainty in Artificial intelligence, pp 352–359 Morgan Kaufmann Publishers Inc [84] Carlo M.C.M (2006) stochastic simulation for bayesian inference CRC Texts in Statistical Science Series [85] Parisi G (1988) Statistical field theory Addison-Wesley [86] Geman S and Geman D (1987) Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images Elsevier [87] Hastings W.K (1970) Monte carlo sampling methods using markov chains and their applications Biometrika, 57(1):pp 97–109 [88] DeGroot M.H (2005) Optimal statistical decisions, volume 82 John Wiley & Sons [89] Green P.J., Latuszy´ nski K., Pereyra M., and Robert C.P (2015) Bayesian computation: a summary of the current state, and samples backwards and forwards Statistics and Computing, 25(4):pp 835–862 [90] Bottou L and Vapnik V (1992) Local learning algorithms Neural Computation, 4(6):pp 888–900 [91] Scott Deerwester S.T., George W T.K., and Harshman R (1990) Indexing by latent semantic analysis Journal of The American society for information science, 41(6) 113 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep [92] Hoffman T (1999) Probabilistic latent semantic indexing Annual international conference on Research and development in information retrieval [93] Griffiths T.L and Steyvers M (2004) Finding scientific topics In Proceedings of the National academy of Sciences, volume 101, pp 5228–5235 National Acad Sciences [94] Mimno D., Hoffman M., and Blei D (2012) Sparse stochastic inference for latent dirichlet allocation In 29th Annual International Conference on Machine Learning [95] Frank M and Wolfe P (1956) An algorithm for quadratic programming Naval Research Logistics, 3(1-2):pp 95–110 [96] Land A.H and Doig A.G (1960) An automatic method of solving discrete programming problems Econometrica: Journal of the Econometric Society, pp 497–520 [97] Le Thi H.A and Pham Dinh T (2005) The dc (difference of convex functions) programming and dca revisited with dc models of real world nonconvex optimization problems Annals of Operations Research, 133(1-4):pp 23–46 [98] Than K and Doan T (2015) Dual online inference for latent dirichlet allocation In Asian Conference on Machine Learning, pp 80–95 [99] Hoffman M., Bach F.R., and Blei D.M (2010) Online learning for latent dirichlet allocation In advances in Neural Information Processing Systems, pp 856–864 [100] Bottou L and Bousquet O (2007) Learning using large datasets In NATO ASI Mining Massive Data Sets for Security, pp 15–26 Citeseer [101] Foulds J., Boyles L., DuBois C., Smyth P., and Welling M (2013) Stochastic collapsed variational bayesian inference for latent dirichlet allocation In Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data mining, pp 446–454 ACM [102] Mai K., Mai S., Nguyen A., Van Linh N., and Than K (2016) Enabling hierarchical dirichlet processes to work better for short texts at large scale In Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp 431–442 Springer [103] Lau J.H., Newman D., and Baldwin T (2014) Machine reading tea leaves: Automatically evaluating topic coherence and topic model quality In Proceedings of the 14th Conference of the European Chapter of the Association 114 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep for Computational Linguistics, EACL 2014, April 26-30, 2014, Gothenburg, Sweden, pp 530–539 [104] Bottou L (1999) On-line learning and stochastic approximations In Online learning in neural networks, pp 9–42 Cambridge University Press [105] Aletras N and Stevenson M (2013) Evaluating topic coherence using distributional semantics In Proceedings of the 10th International Conference on Computational Semantics (IWCS 2013), pp 13–22 Association for Computational Linguistics [106] Feller W (1943) The general form of the so-called law of the iterated logarithm Transactions of the American Mathematical Society, 54(3):pp 373–402 [107] An L.T.H (2003) Dc programming for solving a class of global optimization problems via reformulation by exact penalty In Global Optimization and Constraint Satisfaction: First International Workshop on Global Constraint Optimization and Constraint Satisfaction, COCOS 2002, ValbonneSophia Antipolis, France, October 2002 Revised Selected Papers , pp 87–101 Springer [108] De Moivre A (2001) The doctrine of chances In Annotated Readings in the History of Statistics, pp 32–36 Springer [109] Robert C (2007) The Bayesian choice: from decision-theoretic foundations to computational implementation Springer Science & Business Media [110] Reddi S.J., Sra S., Póczos B., and J.Smola A (2016) Stochastic frank-wolfe methods for nonconvex optimization In Proceedings of 54th Annual Allerton Conference on Communication, Control, and Computing, pp 1244– 1251 IEEE [111] Box G.E., Hunter J.S., and Hunter W.G (2005) Statistics for experimenters In Wiley Series in Probability and Statistics Wiley Hoboken, NJ, USA [112] Sato I and Nakagawa H (2015) Stochastic divergence minimization for online collapsed variational bayes zero inference of latent dirichlet allocation In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp 1035–1044 ACM [113] Tang J., Zhang M., and Mei Q (2013) One theme in all views: modeling consensus topics in multiple contexts In Proceedings of the 19th ACM 115 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep SIGKDD international conference on Knowledge discovery and data mining, pp 5–13 ACM [114] Arora S., Ge R., Koehler F., Ma T., and Moitra A (2016) Provable algorithms for inference in topic models In International Conference on Machine Learning, pp 2859–2867 [115] Cuong H.N., Tran V.D., Van L.N., and Than K (2019) Eliminating overfitting of probabilistic topic models on short and noisy text: The role of dropout International Journal of Approximate Reasoning [116] Dieng A.B., Ruiz F.J., and Blei D.M (2019) Topic modeling in embedding spaces arXiv preprint arXiv:1907.04907 [117] Le H.M., Cong S.T., The Q.P., Van Linh N., and Than K (2018) Collaborative topic model for poisson distributed ratings International Journal of Approximate Reasoning, 95:pp 62–76 [118] Wang C and Blei D.M (2011) Collaborative topic modeling for recommending scientific articles In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, pp 448– 456 ACM [119] Gopalan P.K., Charlin L., and Blei D (2014) Content-based recommendations with poisson factorization In Advances in Neural Information Processing Systems, pp 3176–3184 116 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Phụ lục A Một số kết thực nghiệm bổ sung cho mơ hình CTMP Mơ hình CTMP đặc trưng tham số tiên nghiệm Dirichlet α, tham số λ số chủ đề K Khi tham số thay đổi nhận mơ hình CTMP khác Điều tra thay đổi tham số tiến hành cố định hai tham số cịn lại Kết thực mơ hình CTMP-OPE CTMP-BOPE cho Trong thực nghiệm cố định tham số Bernoulli p = 0.7 thuật toán BOPE CTMP-OPE Precision (%) 3.5 3.0 2.5 2.0 1.5 20 40 60 80 100 Recall (%) 20 16 12 20 40 α=1 60 Top 80 α = 0.1 100 4.0 3.2 2.4 1.6 24 18 12 CTMP-BOPE 20 40 60 80 100 20 40 60 Top 80 100 α = 0.01 α = 0.001 α = 0.0001 Hình A1: Cố định λ = 1000, số chủ đề K = 100 thay đổi tham số tiên nghiệm Dirichlet α ∈ {1, 0.1, 0, 01, 0.001, 0.0001} Chúng thực nghiệm CiteULike tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt Precision (%) CTMP-OPE 18 15 12 20 40 60 80 100 Recall (%) 40 32 24 16 20 α=1 40 60 Top α = 0.1 CTMP-BOPE 24 20 16 12 80 100 40 30 20 10 α = 0.01 20 40 60 80 100 20 40 60 Top 80 100 α = 0.001 α = 0.0001 Hình A2: Cố định λ = 1000, số chủ đề K = 100 thay đổi tham số tiên nghiệm Dirichlet α ∈ {1, 0.1, 0, 01, 0.001, 0.0001} Chúng thực nghiệm Movielens 1M tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt 117 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep Thơng qua Hình A1 Hình A2 thấy sử dụng BOPE làm cho mô hình CTMP có khác biệt nhiều thay đổi tham số tiên nghiệm Dirichlet α so với OPE ban đầu Điều có lý giải có mặt tham số phân phối Bernoulli p chiến lược hai biên ngẫu nhiên thiết kế BOPE Theo kết trên, nhận thấy với tham số tiên nghiệm Dirichlet α = cho kết thường tốt, nên cố định α = số chủ đề K = 100 khảo sát tham số λ CTMP-OPE CTMP-BOPE Precision (%) 6.0 3.0 4.5 2.4 3.0 1.8 1.2 25 50 75 1.5 25 50 75 100 100 25 75 100 λ = 100 λ = 1000 50 Top 100 30 12 20 10 Recall (%) 18 25 λ=1 50 75 Top λ = 10 λ = 10000 Hình A3: Cố định tham số tiên nghiệm Dirichlet α = 1, số chủ đề K = 100 thay đổi tham số λ ∈ {1, 10, 100, 1000, 10000} Chúng thực nghiệm CiteULike tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt Precision (%) CTMP-OPE CTMP-BOPE 20 20 16 15 12 25 50 75 100 Recall (%) 45 10 45 30 30 15 15 25 λ=1 50 Top 75 λ = 10 100 λ = 100 25 50 75 100 25 50 Top 75 100 λ = 1000 λ = 10000 Hình A4: Cố định tham số tiên nghiệm Dirichlet α = 1, số chủ đề K = 100 thay đổi tham số λ ∈ {1, 10, 100, 1000, 10000} Chúng thực nghiệm Movielens 1M tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt Theo Hình A3 Hình A4 chúng tơi thấy lựa chọn tham số λ = 1000 λ = 10000 không tốt λ = λ = 10 Mơ hình có độ đo thấp hệ số λ 118 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep lớn, chẳng hạn λ = 10000 Đồng thời, BOPE với tham số Bernoulli p = 0.7 làm cho độ đo CTMP-BOPE có khác biệt lớn thay đổi λ cho kết cao hẳn CTMP-OPE, đặc biệt CiteULike CTMP-BOPE Precision (%) CTMP-OPE 4.5 3.0 1.5 25 50 75 100 25 50 75 100 75 100 30 Recall (%) 32 24 16 6.0 4.5 3.0 1.5 20 10 25 K = 50 50 75 Top K = 100 100 25 K = 150 50 Top K = 200 K = 250 Hình A5: Cố định tham số tiên nghiệm Dirichlet α = 1, λ = 1000 thay đổi số chủ đề K ∈ {50, 100, 150, 200, 250} Chúng thực nghiệm CiteULike tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt Precision (%) 25 20 15 10 CTMP-OPE 25 50 75 100 25 20 15 10 45 30 30 Recall (%) 45 15 25 K = 50 50 Top 75 K = 100 100 15 K = 150 CTMP-BOPE 25 50 75 100 25 50 Top 75 100 K = 200 K = 250 Hình A6: Cố định tham số tiên nghiệm Dirichlet α = 1, λ = 1000 thay đổi số chủ đề K ∈ {50, 100, 150, 200, 250} Chúng thực nghiệm Movielens 1M tham số Bernoulli chọn p = 0.7 BOPE Độ đo cao tốt Từ Hình A5 A6 chúng tơi thấy độ đo mơ hình tốt K = 250 Chú ý với tham số tiên nghiệm Dirichlet α = 1, tham số λ số chủ đề K cho mơ hình CTMP cụ thể 119 luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep an to nghiep docx 123docz luan van hay luan van tot nghiep