Giới thiệu phân loại dữ liệu, mô hình bài toán phân loại. Nêu cách phân loại đơn nhãn và phân loại đa nhãn. Ước lượng tham số với SSvMFs và SSWatsons. Giới thiệu phân loại dữ liệu, mô hình bài toán phân loại. Nêu cách phân loại đơn nhãn và phân loại đa nhãn. Ước lượng tham số với SSvMFs và SSWatsons.
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGÔ VĂN LINH PHÂN LOẠI VĂN BẢN SỬ DỤNG MƠ HÌNH XÁC SUẤT TRÊN ĐA TẠP VĂN BẢN Chuyên ngành : Công Nghệ Thông Tin LUẬN VĂN THẠC SĨ KHOA HỌC CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS Nguyễn Thị Kim Anh Hà Nội – Năm 2013 Ngô Văn Linh Phân loại văn Năm 2013 LỜI CAM ĐOAN Tôi - Ngô Văn Linh - xin cam kết Luận văn tốt nghiệp cơng trình nghiên cứu thân tơi hướng dẫn PGS.TS Nguyễn Thị Kim Anh, Viện CNTT-TT, trường Đại học Bách khoa Hà Nội Các kết nêu Luận văn tốt nghiệp trung thực, khơng chép tồn văn cơng trình khác Hà Nội, ngày tháng năm 2013 Học viên thực luận văn Ngô Văn Linh Ngô Văn Linh Phân loại văn Năm 2013 Lời cảm ơn Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy giáo, cô giáo thuộc trường đại học Bách Khoa Hà Nội Đặc biệt thầy giáo, cô giáo thuộc Viện Công nghệ Thông tin Truyền Thơng Chính thầy giáo trang bị cho em kiến thức quý báu thời gian em học tập nghiên cứu trường Đồng thời em xin gửi lời cảm ơn đặc biệt đến PGS.TS Nguyễn Kim Anh Cô người dẫn tận tình, cho em kinh nghiệm q báu để em hồn thành luận văn tốt nghiệp Cô động viên, giúp đỡ em thời điểm khó khăn bế tắc Em xin gửi làm cảm ơn chân thành tới thầy cô thuộc môn Hệ thống thông tin hướng dẫn, chia kinh nghiệm, thảo luận giúp cho luận văn hoàn thành Em xin gửi lời cảm ơn tới bạn Nguyễn Thế Tâm, Nguyễn Khắc Tới, Lê Hồng Kỳ bạn KSTN CNTT K55, K57 giúp đỡ, đọc góp ý em trình hồn thành nội dung luận văn Em xin gửi lời cảm ơn tới gia đình bạn bè Lời động viên tinh thần từ gia đình bạn bè ln động lực để em tiến lên phía trước Ngô Văn Linh Phân loại văn Năm 2013 Tóm tắt nội dung Phân loại tài liệu kĩ thuật thiết yếu vấn đề thu thập khai phá thông tin văn Trong giới thực, liệu chưa gán nhãn thực sẵn có việc gán nhãn cho chúng thường cơng việc địi hỏi thời gian, tốn Luận văn đề xuất hai phương pháp phân loại văn dựa phương pháp học bán giám sát với mơ hình trộn phân phối vMF phân phối Watson cấu trúc hình học văn bản, gọi LapSSvMFs LapSSWatsons, thuật tốn xét đến cấu trúc hình học không gian tài liệu để khai thác liệu có nhãn liệu khơng có nhãn cho tốn phân loại Đóng góp luận văn là: Luận văn đề xuất phương pháp học bán giám sát với mơ hình trộn phân phối vMF (SSvMFs) phân phối Watson (SSWatsons) để khai thác liệu có nhãn liệu khơng nhãn cho toán phân loại Luận văn phát triển thuật toán suy diễn biến phân cho xác suất hậu nghiệm biến ẩn Luận văn đề xuất phương pháp chuẩn tắc học SSvMFs SSWatsons với cấu trúc hình học văn có mã hóa thơng tin cấu trúc hình học phương pháp suy diễn Bayesian Thử nghiệm phương pháp đề xuất thu kết tốt phương pháp khác phân loại liệu đơn đa nhãn Ngô Văn Linh Phân loại văn Năm 2013 Abstract Document classifications is essential to information retrieval and text mining In real life, unlabeled data is readily available whereas labeled ones are often laborious, expensive and slow to obtain This thesis proposes two novel document classification algorithms approach based on semi-supervised vMF mixture model and Watson mixture model on document manifold, called Laplacian regularized Semi-Supervised vMF Mixture Model (LapSSvMFs) and Watson Mixture Model (LapSSWatsons), which explicitly considers the manifold structure of document space to exploit efficiently both labeled and unlabeled data for classification Main contributions in this thesis are as follows: Thesis proposes Semi-Supervised vMF Mixture Model and Watson Mixture Model to exploit both labeled and unlabeled data for document classification Thesis has developed a mean-field variational inference algorithm for the posterior distribution of the latent variables Thesis proposes two new regularization frameworks to learn SSvMFs and SSWatsons with document manifold structure for encoding manifold information into variational Bayesian method The experimental results show that proposed methods outperform the state-of-the-art methods applying to labeled and multilabeled text classifications Ngô Văn Linh Phân loại văn Năm 2013 Mục lục GIỚI THIỆU 10 1.1 Phân loại liệu 10 1.2 Mơ hình tốn phân loại 12 1.2.1 Biểu diễn mẫu 12 1.2.2 Phân loại 15 1.2.3 Đánh giá 16 1.3 Tổ chức luận văn 16 PHÂN LOẠI ĐƠN NHÃN 18 2.1 Bài toán phân loại đơn nhãn 18 2.2 Phân phối von Mises Fisher (vMF) 21 2.3 Mơ hình phân loại bán giám sát dựa mơ hình trộn phân phối vMF (SSvMFs) 22 2.4 Mô hình phân loại bán giám sát dựa mơ hình trộn phân phối vMFs đa tạp văn (LapSSvMFs) 27 2.5 Thử nghiệm đánh giá 31 2.5.1 Tập liệu thí nghiệm (Datasets) 31 2.5.2 Độ đo đánh giá 31 2.5.3 Các thuật toán sử dụng để so sánh (baselines) 32 2.5.4 Kết thí nghiệm 34 PHÂN LOẠI ĐA NHÃN 35 3.1 Bài toán phân loại đa nhãn 35 3.2 Phân phối Watson 37 3.3 Mơ hình phân loại bán giám sát cho liệu đa nhãn sử dụng mô hình trộn phân phối Watson (SSWatsons) 38 Ngô Văn Linh Phân loại văn Năm 2013 3.4 Mơ hình phân loại bán giám sát cho liệu đa nhãn sử dụng mơ hình trộn phân phối Watson đa tạp văn (LapSSWatsons) 42 3.5 Thử nghiệm đánh giá 45 3.5.1 Tập liệu thí nghiệm 45 3.5.2 Độ đo đánh giá 45 3.5.3 Các thuật toán so sánh 48 3.5.4 Kết thí nghiệm 49 KẾT LUẬN 50 A Ước lượng tham số với SSvMFs 55 B Ước lượng tham số với SSWatsons 62 Ngô Văn Linh Phân loại văn Năm 2013 Danh sách từ viết tắt thuật ngữ TF-IDF Term Frequency-Inverse Document Frequency DF Document Frequency TC Term Contribution IG Information Gain LDA Latent Dirichlet Allocation PLSI Probabilistic Latent Semantic Indexing FSTM Fully Sparse Topic Model VB Variational Bayesian vMF von Mises Fisher Distribution LP Label Propagation SVM Support Vector Machine Labeled LDA Labeled Latent Dirichlet Allocation SSvMFs Semi-Supervised Mixture Model of vMF Distributions SSWatson Semi-Supervised Mixture Model of Watson Distributions LapSSvMFs SSvMFs on Document Manifold LapSSWatsons SSWatsons on Document Manifold Ngô Văn Linh Phân loại văn Năm 2013 Danh sách hình vẽ Các bước toán phân loại 12 Mơ hình đồ thị cho SSvMFs 23 Kết thử nghiệm tập liệu classic, NG17-19, la1 and k1b 33 Mơ hình đồ thị cho SSWatsons 39 Kết phân loại đa nhãn với phương pháp LapSSWatsons, SSWatsons, LapSSvMFs, SSvMFs LP datasets: Recreation, Education, Health and Arts 47 Hiệu phân loại đa nhãn thay đổi số lượng chủ đề 49 Ngô Văn Linh Phân loại văn Năm 2013 Danh sách bảng Sơ lược tập liệu (với tập liệu: nd tổng số lượng văn bản, nw tổng số lượng từ, k tổng số lớp, nc trung bình số lượng tài liệu lớp, độ cân bằng) 32 Thống kê tập liệu yahoo: m, d, N định nghĩa số lượng nhãn, số lượng chiều (từ điển), tổng số lượng tài liệu tập liệu sau tiền xử lý “MaxNPI”/“MinNPI” định nghĩa số lượng maximum/minimum văn thuộc nhãn lớp (positive instances for each label) 45 Bảng tổng hợp hiệu LapSSWatsons, Labeled-LDA SVM sử dụng độ đo Micro-F1 Macro-F1 datasets 46 Ngô Văn Linh Phân loại văn Năm 2013 Tài liệu [1] Ralitsa Angelova and Gerhard Weikum Graph-based text classification: learn from your neighbors In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, SIGIR ’06, pages 485–492, New York, NY, USA, 2006 ACM [2] Arindam Banerjee, Inderjit S Dhillon, Joydeep Ghosh, and Suvrit Sra Clustering on the unit hypersphere using von mises-fisher distributions J Mach Learn Res., 6:1345–1382, December 2005 [3] Avleen Singh Bijral, Markus Breitenbach, and Gregory Z Grudic Mixture of watson distributions: A generative model for hyperspherical embeddings Journal of Machine Learning Research - Proceedings Track, 2:35–42, 2007 [4] David M Blei and Michael I Jordan Modeling annotated data In Proceedings of the 26th annual international ACM SIGIR conference on Research and development in informaion retrieval, pages 127–134, New York, NY, USA, 2003 [5] David M Blei, Andrew Y Ng, and Michael I Jordan Latent dirichlet allocation In NIPS, pages 601–608, 2001 [6] Deng Cai, Qiaozhu Mei, Jiawei Han, and Chengxiang Zhai Modeling hidden topics on document manifold In Proceedings of the 17th ACM conference on Information and knowledge management, CIKM ’08, pages 911–920, New York, NY, USA, 2008 ACM [7] Deng Cai, Xuanhui Wang, and Xiaofei He Probabilistic dyadic data analysis with local and global consistency In Proceedings of the 26th Annual International Conference on Machine Learning, ICML ’09, pages 105–112, New York, NY, USA, 2009 ACM 52 Ngô Văn Linh Phân loại văn Năm 2013 [8] F Cozman, I Cohen, and M Cirelo Semi–supervised learning of mixture models In Proceedings of the International Conference on Machine Learning, 2003 [9] Rong-En Fan and C J Lin A Study on Threshold Selection for Multi-label Classification Technical report, National Taiwan University, 2007 [10] Thomas Hofmann Probabilistic latent semantic indexing In SIGIR, pages 50–57, 1999 [11] Shuiwang Ji, Lei Tang, Shipeng Yu, and Jieping Ye Extracting shared subspace for multi-label classification In Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining, pages 381–389, New York, NY, USA, 2008 [12] Xiangnan Kong, Michael K Ng, and Zhi H Zhou Transductive Multi-Label Learning via Label Set Propagation IEEE Transactions on Knowledge and Data Engineering, 99, 2011 [13] Tao Liu, Shengping Liu, Zheng Chen, and Wei-Ying Ma An evaluation on feature selection for text clustering In Tom Fawcett and Nina Mishra, editors, ICML, pages 488–495 AAAI Press, 2003 [14] Kanti V Mardia and El S A M Atoum Bayesian inference for the von mises-fisher distribution Biometrika, 63(1):203–206, January 1976 [15] Kanti V Mardia and Peter E Jupp Directional statistics, volume 494 Wiley com, 2009 [16] Kamal Nigam, Andrew Kachites McCallum, Sebastian Thrun, and Tom Mitchell Text classification from labeled and unlabeled documents using em Mach Learn., 39(2-3):103–134, May 2000 53 Ngô Văn Linh Phân loại văn Năm 2013 [17] Daniel Ramage, David Hall, Ramesh Nallapati, and Christopher D Manning Labeled lda: a supervised topic model for credit attribution in multilabeled corpora In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume - Volume 1, pages 248–256, Stroudsburg, PA, USA, 2009 [18] A Santos, A Canuto, and A Neto A comparative analysis of classification methods to multi-label tasks in different application domains International journal of computer Information systems and Industrial Management Applications” ISSN, pages 2150–7988, 2011 [19] Wenqian Shang, Houkuan Huang, Haibin Zhu, Yongmin Lin, Youli Qu, and Zhihai Wang A novel feature selection algorithm for text categorization Expert Syst Appl., 33(1):1–5, 2007 [20] Khoat Than and Tu Bao Ho Fully sparse topic models In ECML/PKDD (1), pages 490–505, 2012 [21] Khoat Than, Tu Bao Ho, Duy Khuong Nguyen, and Pham Ngoc Khanh Supervised dimension reduction with topic models Journal of Machine Learning Research - Proceedings Track, 25:395–410, 2012 [22] Vladimir Vapnik The support vector method In ICANN, pages 263–271, 1997 [23] Shi Zhong and Joydeep Ghosh Generative model-based document clustering: a comparative study Knowl Inf Syst., 8(3):374–384, September 2005 [24] Xiaojin Zhu and John Lafferty Harmonic mixtures: combining mixture models and graph-based methods for inductive and scalable semi-supervised learning In Proceedings of the 22nd international conference on Machine learning, ICML ’05, pages 1052–1059, New York, NY, USA, 2005 ACM 54 Ngô Văn Linh Phân loại văn Năm 2013 A Ước lượng tham số với SSvMFs Hàm cận dưới: L =Eq(ZM ,µ) [log p(XN , ZN , XM , ZM , µ|π, κ, µ0 , κ0 )] − Eq(ZM ,µ) [log q(ZM , µ)] M N Eq(zm ) (log p(zm |π)) + = m=1 M Eq(zn ) (log p(zn |π)) n=1 N Eq(zm ,µ) log p(xm |zm , µ, κ) + + m=1 K n=1 K Eq(µk ) log p(µk |µ0 , κ0 ) − + Eq(zn ,µ) log p(xn |zn , µ, κ) k=1 M Eq(µk ) log q(µk |˜ µk , κ ˜k ) − Eq(zM ) log q(zM ) m=1 k=1 Tính kỳ vọng thành phần: Tính Eq(zm ) (log p(zm |π)): Ta có: p(zm |π) = K k=1 [p(zm K I[zm =k] k=1 (πk ) = k|π)]I[zm =k] = ( I[zm = k]=1 zm = k = trường hợp lại ) Do đó, Eq(zM ) I[zm = k] = zm q(zm )I[zm = k] = q[zm = k] = φm,k nên: K K (I[zm =k]) Eq(zm ) (log p(zm |µ)) = Eq(zm ) log(πk ) k=1 = φm,k log πk k=1 Tính Eq(zm ,µ) log p(xm |zm , µ, κ): K [p(xm |zm , µ, κ)](I[zm =k]) Eq(zm ,µ) log p(xm |zm , µ, κ) = Eq(zm ,µ) log k=1 K = Eq(zM ,µ) K [I[zm = k] log vM F (µk , κk )] = k=1 k=1 K K φm,k Eq(µ) log[Cd (κk )exp(κk xTm µk )] = k=1 K = K φm,k κk xTm Ad (˜ κk )µk k=1 55 K φm,k κk xTm Eq(µ) µk φm,k log Cd (κk ) + = k=1 φm,k log Cd (κk ) + k=1 Eq(zM ,µ) I[zm = k])Eq(µ) log vM F (µk , κk ) k=1 Ngô Văn Linh Phân loại văn Năm 2013 Tính Eq(zM ) log q(zM ): K K Eq(zM ) log q(zM ) = Eq(zM ) log [q[zm = k]] I[zm =k] k=1 k=1 K = φ(m, k))I[zm =k] = Eq(zM ) log K Eq(zM ) I[zm = k] log φ(m, k) = k=1 φ(m, k) log φ(m, k) k=1 Tính Eq(µk ) log p(µk |µ0 , κ0 ): Eq(µk ) log p(µk |µ0 , κ0 ) = Eq(µk ) log[Cd (κ0 )exp(κ0 µT0 µk )] = Eq(µk ) κ0 µT0 µk = κ0 µT0 Eq(µk ) µk = Ad (d )κ0 µT0 µ ˜k Tính N n=1 Eq(µk ) log p(xn |zn , µk , κk ): Eq(µk ) log p(xn |zn , µk , κk ) = Eq(µk ) log[ n=1 N n=1 N = [q(xn |µ, κ)](I[zn =k]) ] k=1 I[zn = k]κk xTn µ ˜k Ad (˜ κk ) Eq(µk ) log vM F (µk , κk ) = n=1 Tính K N N n=1 M m=1 Eq(zm ,µk ) log p(xm |zm , µ, κ) tương tự cách tính với N ta có M M φm,k κk xTm µ ˜k Ad (˜ κk ) Eq(zm ,µk ) log p(xm |zm , µ, κ) = m=1 m=1 Tính Eq(µk ) log q(µk |˜ µk , κ ˜ k ): Eq(µk ) log q(µk |˜ µk , κ ˜ k ) = Eq(µk ) log[Cd (˜ κk )exp(˜ κk µ ˜Tk µk )] = log Cd (˜ κk ) + κ ˜k µ ˜Tk Ad (˜ κk )˜ µk = log Cd (˜ κk ) + κ ˜ k Ad (˜ κk ) 56 Ngô Văn Linh Phân loại văn Năm 2013 Cập nhật φm : Lφm = Eq(zM ) (log p(zM |µ)) + Eq(zM ,µ) log p(xM |zM , µ, κ) − Eq(zM ) (log q(zM )) K K K k=1 k=1 k=1 K K φm,k − 1) φ(m, k) log φ(m, k) − λ( − φm,k κk xTm Ad (˜ κk )µk φm,k log Cd (κk ) + φm,k log πk + Lφm,k = k=1 k=1 Đạo hàm: δL = log πk + κk xTm Ad (˜ κk )µk − log φm,k − − λ = δφm,k φm,k = exp(sm,k ) exp(1+λ) với sm,k = log πk + κk xTm Ad (˜κk )µk 1= φm,k = K k=1 exp(sm,k ) exp(1 + λ) K exp(1 + λ) = exp(sm,k ) k=1 φm,k = exp(sm,k ) K k=1 exp(sm,k ) 57 Ngô Văn Linh Phân loại văn Năm 2013 Cập nhật µ˜k , κ˜ k : N Lµ˜k ,˜κk = Eq(µk ) log p(µk |µ0 , κ0 ) + Eq(µk ) log p(xn |zn , µk , κk ) n=1 M Eq(zm ,µk ) log p(xm |zm , µ, κ) − Eq(µk ) log q(µk ) + m=1 M N = ˜k Ad (d )κ0 µT0 µ + I[zn = ˜k Ad (˜ κk ) φm,k κk xTm µ ˜k Ad (˜ κk ) + k]κk xTn µ m=1 n=1 ˜k − 1) = − log Cd (˜ κk ) − κ ˜ k Ad (˜ κk ) − λ (˜ µTk µ Đạo hàm: δL = κ0 µT0 + δµ ˜k Đặt rk = κ0 µT0 + N M I[zn = k]κk xTn n=1 N n=1 I[zn φm,k κk xTm − λ˜ µk = + m=1 M T m=1 φm,k κk xm = k]κk xTn + Suy ra: rk = λ˜ µk = µ ˜k = rk rk Tương tự ta có: δL =0 δ˜ κk N κ ˜k = κ0 µT0 µ ˜0 + M I[zn = k]κk xTn µ ˜k n=1 κ ˜ k = rkT µ ˜k = rkT φm,k κk xTm µ ˜k + m=1 rk = rk rk 58 Ngô Văn Linh Phân loại văn Năm 2013 Cập nhật π : N M log p(zn |π) + Lπ = n=1 Eq log p(zm |π) m=1 N = K log[ n=1 M p(zn = k|π) I[zn =k] Eq log p(zm |π) ]+ m=1 k=1 N M πk − 1) φm,k log πk − λ( I[zn = k] log πk + n=1 K m=1 k=1 Đạo hàm: δL =0 δπk N M I[zn = k] + n=1 φm,k = λπk m=1 λ=N +M ⇒πk = N n=1 I[zn = k] + N +M M m=1 φm,k Cập nhật κk : M N Eq(µ) log p(xn |zn , µ, κ) + Lκk = Eq(µ,zm log p(xm |zm , µ, κ) m=1 n=1 N =[ M I[zn = k] + n=1 N φm,k ] log Cd (˜ κk ) + [ m=1 φm,k ]κk xTn Ad (˜ κk ) I[zn = k] + n=1 59 M m=1 Ngô Văn Linh Phân loại văn Năm 2013 Đạo hàm: δL =0 δκk d−1 ⇒κk = 2(1 − r¯k ) với C (κk ) r¯k = d Cd (κk ) =− Ad (˜ κk )˜ µTk ( N n=1 xn I[zn N n=1 I[zn = k] + = k] + M m=1 φm,k xm ) M m=1 φm,k Cập nhật µ0 : K K κ0 µT0 Ad (˜ κk )˜ µk + λ(µT0 µ0 − 1) Eq log p(µk |µ0 , κ0 ) = k log Cd (κ0 ) + Lµ0 = k=1 k=1 Đạo hàm: δL =0 δµ0 K κ0 µT0 Ad (˜ κk )˜ µk − λµ0 = k=1 Đặt: K κ0 µT0 Ad (˜ κk )˜ µk r0 = k=1 60 Ngô Văn Linh Phân loại văn Suy ra: λ = r0 ⇒µ0 = Tương tự cập nhật κ0 : κ0 ≈ d−1 2(1−¯ r0 ) r0 r0 với: C (κ0 ) =− r¯0 = d Cd (κ0 61 K κk )˜ µTt µ0 k=1 Ad (˜ K Năm 2013 Ngô Văn Linh Phân loại văn Năm 2013 B Ước lượng tham số với SSWatsons Hàm cận dưới: l =Eq(Z,VN ) [log p(X, YN , Z, VN |ΘN , ΘM , κ, µ, β)] − Eq(Z,VN ) [log q(Z, VN )] K U K Eq log P (xn |zn , µ, κ) + = k=1 K U Eq log P (yn,u |vn,u , β) u=1 k=1 K Eq log P (vn,u |θn ) Eq log P (zn |θn ) + + u=1 k=1 U K k=1 K Eq log q(vn,u |γn,u ) Eq log q(zn |φn ) − − u=1 k=1 k=1 Tính kỳ vọng thành phần: Tính Eq log P (xn |zn , µ, κ): K P (xn |µk , κk )I[zn =k] Eq log P (xn |zn , µ, κ) = Eq log k=1 K = k=1 K d φn,k log M ( , , κ)−1 exp(κ(xTn µ2k )) 2 φn,k log W (xn |µk , κk ) = k=1 Tính Eq log P (yn,u |vn,u , β): K P (yn,v |βk )I[vn,u =k] Eq log P (yn,u |vn,u , β) = Eq log k=1 K γn,u,k log P (yn,u |βk ) = k=1 K = γn,u,k log βk,yn,u k=1 62 Ngơ Văn Linh Phân loại văn Tính Eq log P (zn |θn ): K P (zn = k|θn )I[zn =k] Eq log P (zn |θn ) = Eq log k=1 K Eq I[zn = k] log θn,k = k=1 K φn,k log θn,k = k=1 Tính Eq log P (vn,u |θn ): K P (vn,u = k|θk )I[vn,u =k] Eq log P (vn,u |θn ) = Eq log k=1 K = γn,u,k log θn,k k=1 Tính Eq log q(zn |φn ): K q(zn = k|φn )I[zn =k] Eq log q(zn |φn ) = Eq log k=1 K = φn,k log φn,k k=1 Tính Eq log q(vn,u |γn,u ): K q(vn,u = k|γn,u )I[vn,u =k] Eq log q(vn,u |γn,u ) = Eq log k=1 K = γn,u,k log γn,u,k k=1 63 Năm 2013 Ngô Văn Linh Phân loại văn Năm 2013 Khi hàm cận (lower bound) trở thành: U K K γn,u,k log P (yn,u |βk ) φn,k log W (xn |µk , κk ) + l= u=1 k=1 k=1 K U K γn,u,k log θn,k φn,k log θn,k + + u=1 k=1 U K k=1 K − φn,k log φn,k − γn,u,k log γn,u,k u=1 k=1 k=1 Cập nhật φn,k K K φn,k log W (xn |µk , κk ) + lφn,k = k=1 K φn,k log θn,k k=1 K φn,k log φn,k − λ( + k=1 φn,k − 1) k=1 Đạo hàm: ∂l = log(W (xn |µk , κk )) + log θn,k − − λ − log φn,k ∂φn,k ⇒ φn,k ∝ θn,k W (xn |µk , κk ) Cập nhật γn,u,k K lγn,u,k = K γn,u,k log βk,yn,u + k=1 K − γn,u,k log θn,k k=1 K γn,u,k − 1) γn,u,k log γn,u,k + λu ( k=1 k=1 Đạo hàm: ∂l = log θn,k + log βk,yn,u − − log γn,u,k − λu = ∂γn,u,k 64 Ngô Văn Linh Phân loại văn Năm 2013 L ⇒ γn,u,k ∝ exp I[yn,u = l] log βk,l log θn,k + l=1 Cập nhật θn,k K lθn,k = U K φn,k log θn,k + γn,u,k log θn,k (42) u=1 k=1 k=1 K θn,k − 1) − λ( (43) k=1 Đạo hàm: ∂l = (φn,k + ∂θn,k U γn,u,k ) u=1 θn,k −λ U ⇒ θn,k ∝ (φn,k + γn,u,k ) u=1 Cập nhật µk N K M K φm,k log M (κk ) exp(κk (µTk xm )2 ) φn,k log M (κk ) exp(κk (µTk xn )2 ) + lµk = m=1 k=1 n=1 k=1 − λ(µTk µk − 1) Đạo hàm: ∂l = ∂µk N M φn,k κk (xTn µk )xTn n=1 φm,k κk (xTm µk )xTm − λ(µTk ) + m=1 Đặt: N rkT M φn,k κk (xTn µk )xTn = n=1 φm,k κk (xTm µk )xTm + m=1 65 Ngô Văn Linh Phân loại văn Năm 2013 Do: ||rkT || = λ ⇒ µk = rk ||rk || Cập nhật κk : N K M φn,k κk (xTn µk )2 lκk = K φm,k κk (xTm µk )2 + m=1 k=1 M K n=1 k=1 N K φm,k log M (κk ) φn,k log M (κk ) + + m=1 k=1 n=1 k=1 Cho đạo hàm: N T n=1 φn,k κk (xn µk ) + N n=1 φn,k + M (κk ) = M (κk ) M T m=1 φm,k κk (xm µk ) M m=1 φm,k = −T Thu công thức xấp xỉ: κk ≈ 1 − Td −T + T2 − T d(T − T ) Cập nhật βk,l N U K L L γn,u,k lβk,l = n=1 u=1 k=1 ∂l = ∂βk,l N βk,l − 1) I[yn,u = l] log βk,l + λl ( l=1 l=1 U γn,u,k I[yn,u = l] n=1 u=1 N − λk βk,l U ⇒ βk,l ∝ γn,u,k I[yn,u = l] n=1 u=1 66 ... hình phân loại bán giám sát cho liệu đa nhãn sử dụng mơ hình trộn phân phối Watson (SSWatsons) 38 Ngô Văn Linh Phân loại văn Năm 2013 3.4 Mơ hình phân loại bán giám sát cho liệu đa. .. tham số 3.4 Mơ hình phân loại bán giám sát cho liệu đa nhãn sử dụng mơ hình trộn phân phối Watson đa tạp văn (LapSSWatsons) Tư tưởng xây dựng thuật tốn dựa mơ hình xác suất cấu trúc hình học giống... Xa hơn, mơ hình sử dụng phân phối đa thức để sinh liệu, hay sử dụng mơ hình túi từ để biểu diễn tài liệu mà không sử dụng mơ hình tf-idf Đến đây, luận văn đề xuất phương pháp phân loại mới, đặt