Một mở rộng thuật toán phân cụm k means cho dữ liệu hỗn hợp

èu khiê’n ho.c, T.22, S.3 (2006), 267—274 Ta.p ch´ı Tin ho.c v` a Diˆ ’ RO ˆ T MO ˆ NG THUA ˆ T TOAN ´ PHAN ˆ CU MO M k -MEANS ˜ N HO.P ˜ LIE ˆ U HO ˆ CHO DU ˜ˆ N THI XUAN ` ˆ HUA ˆŃ1 , NGUYE ˆ HU.O.NG2 HOANG XUAN Khoa Công nghê thông tin, Tru.ò.ng Da.i ho.c Công nghê Tru.` o.ng Da.i ho.c Dân lâ.p Ha’i Phòng Abstract Partitioning a large set of data objects into homogenous clusters is an important problem in data mining Among clustering algorithms, k -means is well known by its advantages and especially efficient for clustering very large data sets This algorithm and its prime variants are only to cluster numerical data sets There are some extensions to this algorithm for clustering data sets with mixed numeric and categorical values but they omit some its advantages In this paper, we present an improvement of k -means algorithm for clustering a data set with mixed numeric and categorical values This algorithm conserves advantages of k -means algorithm ´t Phân mô.t tâ.p d˜ T´ om t˘ a u liê.u thành các tâ.p cho các dôí tu.o ng c` ung tâ.p tu.o.ng tu nhau, còn các dôí tu o ng thuô.c các tâ.p khác th`ı khác theo mô.t ngh˜ıa nào dó là mô.t u d˜ u liê.u Trong sô´ các thuâ.t toán phân cu.m, thuâ.t bài toán quan tro.ng khám phá tri th´ u.c t` èu u u diê’m và du o c su’ du.ng rô.ng rãi, d˘a.c biê.t phân cu.m các tâ.p d˜ u liê.u ló.n toán k -mean có nhiˆ àu thuâ.t toán này và các biêń thê’ cu’a nó chı’ làm viê.c vó i d˜ Ban dˆ u liê.u sô´, sau dó dã có mô.t sô´ mo’ u liê.u di.nh danh ho˘a.c d˜ u liê.u hôñ ho p, nhu.ng các thuâ.t toán này làm mâ´t di rô.ng dê’ làm viê.c vó.i d˜ è xuâ´t mô.t thuâ.t toán mo’ mô.t sô´ u u diê’m cu’a thuâ.t toán nguyên thu’y Trong bài này, ch´ ung tôi dˆ u liê.u hôñ ho p go.i là thuâ.t toán k -tâm Thuâ.t toán này kê´ th` u.a rô.ng cu’a thuâ.t toán k -means cho d˜ các u u diê’m cu’a thuâ.t toán k -means ˆ U ´.I THIE GIO àu tiên MacQueen dˆ è xuâ´t n˘am 1967 [10] và các biêń Thuâ.t toán phân cu.m k -means dˆ ’ ’ u liê.u gô`m thê cua nó [1] nhu PAM; CLARA; CLARANS) là các thuâ.t toán phân hoa.ch tâ.p d˜ N dôí tu o ng có n thuô.c t´ınh sô´ thành k (k < N ) tâ.p Các thuâ.t toán loa.i này do.n gia’n, dô ph´ u.c ta.p thâ´p và dˆ˜e song song hóa (xem [2]) nên du.o c su’ du.ng rô.ng rãi (xem [3, 4, 9]) Dê’ mo’ rô.ng pha.m vi su’ du.ng cho các d˜ u liê.u có thuô.c t´ınh hôñ ho p ho˘a.c di.nh danh, è xuâ´t các thuâ.t toán k-prototypes và k -modes Trong các thuâ.t toán này, khái [6, 7] Huang dˆ niê.m mode du.o c d` ung làm tâm cho các tâ.p giá tri cu’a thuô.c t´ınh di.nh danh và mêtric rò.i ra.c du o c d` ung dê’ xác di.nh dô tu.o.ng tu các thuô.c t´ınh này Nhu.o c diê’m cu’a các thuâ.t àn phân cu.m la.i, có mô.t dôí tu.o ng thay dô’i cu.m th`ı pha’i t´ınh la.i mode toán này là o’ mô˜i lˆ (hay là tâm) cu’a các cu.m liên quan nên ph´ u.c ta.p ho.n k-means và không song song hóa du.o c Mô.t cách tiê´p câ.n khác là mã hoá các thuô.c t´ınh di.nh danh b˘à ng sô´ dê’ phân cu.m nhu là d˜ u liê.u sô´ nhu.ng khó gia’i th´ıch kê´t qua’ và khó áp du.ng vó.i các tâ.p d˜ u liê.u ló.n (xem [8]) v`ı sô´ giá tri sô´ dê’ mã hóa s˜e ló n ˜ ` ˆ HUA ˆŃ, NGUYE ˆ N THI XUAN ˆ HU.O.NG HOANG XUAN 268 Trong bài này, ch´ ung tôi tr`ınh bày mô.t mo’ rô.ng thuâ.t toán k-means cho d˜ u liê.u hôñ ho p ung dê’ xác di.nh tâm cho tâ.p d˜ u và go.i là thuâ.t toán k-tâm, dó khái niê.m mode du o c d` liê.u có thuô.c t´ınh di.nh danh Vó.i mêtric và hàm mu.c tiêu du.o c xét, thuâ.t toán hô.i tu tó.i diê’m cu c tiê’u di.a phu.o.ng cu’a hàm mu.c tiêu àn kê´t luâ.n, bài báo du.o c tr`ınh bày nhu sau Mu.c 2, gió.i thiê.u tóm t˘a´t thuâ.t Ngoài phˆ è liên toán k-means, khái niê.m mode và các thuâ.t toán k -modes, k-prototypes c` ung các vâń dˆ quan Mu.c tr`ınh bày thuâ.t toán k-tâm ˆ T TOAN ´ k -MEANS VA ` CAC ´ VA ˆŃ DÈ ˆ LIEN ˆ QUAN THUA àn này ch´ Trong phˆ ung tôi gió.i thiê.u thuâ.t toán k -means (MacQueen, 1967), khái niê.m è liên quan mode và cách d` ung nó các thuâ.t toán k -modes, k -prototypes và nh˜ u.ng vâń dˆ Khái niê.m mode Mu.c 2.2.1 là mo’ rô.ng tru c tiê´p khái niê.m này cu’a Huang [6, 7] 2.1 Thuˆ a.t to´ an k -means Thuâ.t toán k-means d` ung dê’ chia tâ.p d˜ u liê.u gô`m N dôí tu.o ng không gian sô´ ho.c n N èu D = xi chiˆ thành k (k < N ) tâ.p Trên Rn cho.n mô.t mêtric d, ch˘a’ng ha.n mêtric i=1 Euclide, thuâ.t toán thu c hiê.n nhu sau àn tu’ ban dˆ àu {z j }kj=1 cu’a D làm tâm các cu.m Bu.ó.c Cho.n k phˆ Bu ó c Vó i mô˜i i = 1, , N , xê´p xi vào cu.m Cj nêú: d(xi , z j ) = min{d(xi , z q ) | q k} (1) ` ’ ’ Bu ó c T´ınh trung b`ınh cô.ng cua các phân cua các cu.m Cj làm tâm mó i: zj ← x, (2) |cj | x∈Cj àn tu’ cu’a cu.m Cj dó |Cj | là sô´ phˆ Bu.ó.c Tro’ la.i Bu.ó.c dê’ xê´p la.i các cu.m nhò tâm mó.i cho tó.i các cu.m không thay dô’i ung là mêtric Euclide th`ı thuâ.t toán hô.i tu tó.i cu c tiê’u di.a phu.o.ng cu’a Nêú mêtric du.o c d` k hàm: E= d2 (x, z j ) (3) j=1 x∈Cj 2.2 Mode cu’a tˆ a.p d˜ u liˆ e.u v` a c´ ac thuˆ a.t to´ an k -modes, k -prototypes u liê.u có ch´ u.a thuô.c t´ınh di.nh danh, Dê’ mo’ rô.ng thuâ.t toán cho các dôí tu.o ng d˜ i N i àn [6, 7] Huang xét D là tâ.p N dôí tu o ng {x }i=1 dó x = (xi1 , , xim , xim+1 , , xin ) là phˆ i ˜ ` ’ ’ tu cua quan hê r trên vó i lu o c dô quan hê R = {A1 , , An } và xj ∈ Dom(Aj ) vó i môi j m là các giá tri thu c còn vó.i m + j n là các giá tri di.nh danh Các thuâ.t toán [6, 7] u liê.u có thuô.c t´ınh di.nh danh và d` du a trên khái niê.m mode cu’a tâ.p d˜ ung mode thay cho tro.ng tâm cu’a mô˜i tâ.p d˜ u liê.u 2.2.1 Mode cu’a tâ.p d˜ u liê.u ung tôi du.a thêm di.nh Dê’ tiê.n tr`ınh bày di.nh ngh˜ıa mode cu’a tâ.p d˜ u liê.u hôñ ho p, ch´ ngh˜ıa j -mode vó.i j n Di.nh ngh˜ıa Gia’ su’ C là tâ.p cu’a tâ.p d˜ u liê.u hôñ ho p D ˆ T TOAN ´ PHAN ˆ CU ˜ LIE ˆ U HO ˆ˜ N HO THUA M k-MEANS CHO DU P 269 àn suâ´t nhiˆ èu nhâ´t i) Vó.i mo.i j n, j -mode cu’a C (ký kiê.u là j -mode(C )) là giá tri có tˆ thuô.c t´ınh Aj cu’a C nêú Aj là thuô.c t´ınh di.nh danh và là trung b`ınh cô.ng cu’a các giá tri èu thuô.c t´ınh Aj cu’a C Aj là thuô.c t´ınh sô´ Nêú Aj là thuô.c t´ınh di.nh danh và có nhiˆ àn suâ´t nhu C th`ı j -mode(C ) có thê’ không nhâ´t và ta cho.n giá tri giá tri có tˆ nào c˜ ung du.o c àn tu’ z = (z1 , , zn ) dó ii) Mode cu’a tâ.p ho p C k´ y hiê.u là mode(C ) là phˆ zj = j-mode(C), ∀j n (4) u liêu là thuô.c t´ınh di.nh danh th`ı mode cu’a tâ.p C o’ dây tr` Ch´ u ý Khi d˜ u liê.u tâ.p d˜ ung vó.i di.nh ngh˜ıa mode cu’a Huang [6, 7] 2.2.2 Các thuâ.t toán k-modes và k -prototypes Thuâ.t toán k-modes d` ung dê’ phân cu.m d˜ u liê.u di.nh danh còn thuâ.t toán k-prototypes u liê.u hôñ ho p gô`m thuô.c t´ınh sô´ và thuô.c t´ınh di.nh danh Trong là mo’ rô.ng cu’a nó cho d˜ thuâ.t toán k -prototypes, Huang c˜ u.c (8) Mu.c 3.1 ung d` ung mêtric xác di.nh bo’.i công th´ èu b˘à ng còn các tro.ng sô´ ρi cu’a thuô.c t´ınh di.nh nhu.ng các tro.ng sô´ ρi cu’a thuô.c t´ınh sô´ dˆ èu b˘à ng danh dˆ u liê.u hôñ ho p, thuâ.t toán k-prototypes tu.o.ng tu Sau di.nh ngh˜ıa mêtric cho các d˜ àn t´ınh la.i tâm (mode) cu’a k -means chı’ khác mô.t diê’m là phân bô´ D vào các cu.m th`ı cˆ các cu.m liên quan có mô.t dôí tu.o ng dô’i cu.m Thuâ.t toán thu c hiê.n nhu sau àn tu’ {z j }kj=1 cu’a D làm mode cho các cu.m {Cj }kj=1 tu.o.ng Bu.ó.c Cho.n ngâ˜u nhiên k phˆ àn mode cu’a nó nhâ´t u ´ ng và phân mô˜i dôí tu o ng x ∈ D vào cu.m Cj mà x gˆ Bu ó c T´ınh la.i mode cho mô˜i cu.m àn tu’ x chuyê’n t` u Bu.ó.c L˘a.p la.i viê.c tái phân bô´ D theo các mode mó.i nhu.ng có phˆ i j cu.m C sang cu.m C th`ı t´ınh la.i tâm cu’a các cu.m này Thu’ tu.c l˘a.p du.o c thu c hiê.n dêń các cu.m không dô’i Nhâ.n xét So vó.i thuâ.t toán k-means, viê.c t´ınh la.i mode cu’a các cu.m liên quan mô˜i có àn l˘a.p và thay dô’i cu.m cu’a mô.t dôí tu.o ng Bu.ó.c làm sô´ phép t´ınh t˘ang mô˜i lˆ không song song hóa thuâ.t toán du o c M˘a.t khác, thu c tê´ có nh˜ u ng thuô.c t´ınh nhâ.n ’ giá tri di.nh danh có th´ ung mêtric rò i ra.c dê xác di.nh mêtric không pha’n ánh du.o c u tu th`ı d` ba’n châ´t d˜ u liê.u ˆ ˆ T TOAN ´ k -TAM THUA Trong mu.c này ta xét tâ.p d˜ u liê.u hôñ ho p D nhu mu.c tru.ó.c nhu.ng phân biê.t các thuô.c t´ınh làm ba loa.i: di.nh danh, th´ u tu và sô´ Sau xây du ng mêtric dê’ xác di.nh m´ u.c tu.o.ng dô`ng, ch´ ung tôi mô ta’ thuâ.t toán và ch´ u.ng minh t´ınh hô.i tu cu’a nó ñ ho p e.u hˆ o 3.1 Mˆ etric trˆ en d˜ u liˆ èn giá tri cu’a các thuô.c t´ınh Aj có thê’ là tâ.p sô´ thu c, di.nh Trong lu.o c dô` quan hê R, miˆ danh hay là tâ.p có th´ u tu èn giá tri cu’a thuô.c t´ınh Aj Ta có các khái niê.m Di.nh ngh˜ıa 3.1.1 Gia’ su’ Dom(Aj ) là miˆ sau: i) Thuô.c t´ınh di.nh danh: Aj du.o c go.i là thuô.c t´ınh di.nh danh nêú Dom(Aj ) là tâ.p không có u.c là ∀a, b ∈ Dom(Aj ), ho˘a.c a = b hay a = b th´ u tu , t´ 270 ˜ ` ˆ HUA ˆŃ, NGUYE ˆ N THI XUAN ˆ HU.O.NG HOANG XUAN ii) Thuô.c t´ınh sô´: Aj du.o c go.i là thuô.c t´ınh sô´ nêú Dom(Aj ) là tâ.p sô´ thu c iii) Thuô.c t´ınh th´ u tu : Nêú Dom(Aj ) là tâ.p h˜ u tu hoàn toàn th`ı Aj du.o c go.i u.u ha.n và có th´ là thuô.c t´ınh có th´ u tu (ch˘a’ng ha.n: Dom(Aj )={không dau, ho.i dau, dau và râ´t dau} èn giá tri Dom(Aj ) cu’a mô.t thuô.c t´ınh Aj ta xác di.nh các khoa’ng cách nhu sau Trên miˆ Di.nh ngh˜ıa 3.1.2 ∀x, y ∈ Dom(Aj ) ta có hàm dj (x, y) xác di.nh bo’.i: (5) i) Nêú Aj là thuô.c t´ınh sô´ th`ı dj (x, y) = |x − y| k k u tu và DOM(Aj ) = {aj , , aj } vó i aj < aj < < aj , ta lâý ii) Nêú Aj là thuô.c t´ınh th´ mô.t hàm n diê.u fj : DOM(Aj ) → [0, 1] cho fj (a1j ) = 0; fj (akj ) = (Hàm này có thê’ i−1 là: fj (aij ) = ) Khi dó, k−1 (6) dj (x, y) = |fj (x) − fj (y)| iii) Nêú Aj là thuô.c t´ınh di.nh danh th`ı dj (x, y) = x = y, x = y (7) Bây giò ta di.nh ngh˜ıa khoa’ng cách trên D u liê.u hôñ Di.nh ngh˜ıa 3.1.3 Gia’ su’ x = (x1 , , xn ) và y = (y1 , , yn ) là hai dôí tu.o.ng d˜ ho p trên D, khoa’ng cách d(x, y) du.o c t´ınh bo’.i công th´ u.c: n ρ2j d2j (xj , yj ), d(x, y) = (8) j=1 dó các dj (xj , yj ) du.o c t´ınh theo các công th´ u.c (5) - (7) và ρj là các tro.ng sô´ du.o.ng cho bo’ i các chuyên gia t` uy y ´ theo m´ u c quan tro.ng cu’a thuô.c t´ınh èn giá tri là doa.n Vó i di.nh ngh˜ıa trên, ta luôn có thê’ xem các thuô.c t´ınh th´ u tu có miˆ [0, 1] dê’ t`ım mode (các giá tri trên thuô.c t´ınh này cu’a D là tâ.p con) và nó c˜ ung du.o c xem àm lâñ Di.nh l´ là thuô.c t´ınh sô´ không xa’y nhˆ y sau là mo’ rô.ng t´ınh châ´t cu’a mode [6, 7] èn giá tri cu’a các thuô.c t´ınh có th´ Di.nh l´ y Nêú xem miˆ u tu là doa.n [0, 1] và mode cu’ a tâ.p ho p xác di.nh nhu dã nói o’ trên th`ı vó i mo.i tâ.p d˜ u liê.u hôñ ho p C , mode(C ) cu c tiê’u hàm: d2 (y, x), E(x) = (9) y∈C àn tu’ cu’a quan hê r trên lu.o c dô` quan hê R = {A1 , , An } dó x là phˆ Ch´ u.ng minh Vó.i mô˜i dôí tu.o ng z ∈ r, ta có thê’ xem z = (z n , z c ) dó z n là h`ınh chiêú cu’a z lên quan hê có các thuô.c t´ınh sô´, z c là h`ınh chiêú cu’a z lên quan hê có thuô.c t´ınh di.nh danh và k´ y hiê.u t´ıch vô hu.ó.ng xn , yn = ρj xnj yjn (tô’ng lâý trên các thuô.c t´ınh cu’a j xn ); chuâ’n xn và khoa’ng cách d(xn , y n ) là chuâ’n Euclide và khoa’ng cách sinh bo’.i t´ıch vô hu.ó.ng này; d(xc , y c ) xác di.nh bo’.i (8) vó.i tô’ng lâý trên các thuô.c t´ınh (di.nh danh) cu’a ch´ ung Khi dó E(x) có thê’ biê’u diˆ˜en nhu sau xn − y n E(x) = y∈C M˘a.t khác, k´ y hiê.u M là mode(C) ta có: d2 (y c , xc ) + y∈C (10) ˆ T TOAN ´ PHAN ˆ CU ˜ LIE ˆ U HO ˆ˜ N HO THUA M k-MEANS CHO DU P y n − xn j∈C yn − M n = + M n − xn 271 + y n − M n , M n − xn y∈C yn − M n = + |C| M n − xn y∈C = y n − M n , M n − xn +2 y∈C yn − M n + |C| M n − xn , y∈C àn tu’ cu’a C Tô’ng này da.t cu c tiê’u x là mode(C) T´ınh cu u tiê’u dó |C| là sô´ phˆ cu’a tô’ng th´ u hai (10) suy t` u di.nh ngh˜ıa cu’a mode và Di.nh l´ uy ´ y [7] vó.i ch´ r˘a` ng Aj là thuô.c t´ınh di.nh danh th`ı t` u (7) ta có (11) d2j (x, y) = dj (x, y) u.ng minh Di.nh l´ y du.o c ch´ Bây giò ta mô ta’ thuâ.t toán 3.2 Thuˆ a.t to´ an k -tˆ am èn giá tri cu’a thuô.c t´ınh có th´ u tu và xác di.nh khoa’ng cách Sau dã mo’ rô.ng các miˆ gi˜ u a các dôí tu o ng nhu dã nêu, thuâ.t toán k-tâm phân cu.m d˜ u liê.u hôñ ho p thu c hiê.n nhu thuâ.t toán k-means o’ Mu.c Thuâ.t toán du.o c d˘a.c ta’ nhu sau Proceduce k -tˆ am Begin Cho.n các tro.ng sô´ ρj , các hàm fj , xác di.nh k àu z j kj=1 cu’a D làm tâm các cu.m àn tu’ ban dˆ Cho.n k phˆ àn tâm nhâ´t; Xê´p mô˜i x ∈ D vào cu.m Cj mà nó gˆ For j = 1, , k zj ← mode(Cj ); Repeat Phân bô´ la.i cu.m theo tâm mó.i // nhu k-means; Câ.p nhâ.t la.i tâm cho các cu.m // nhò t´ınh mode Until các cu.m không dô’i; Xác di.nh các cu.m; End è t´ınh hô.i tu cu’a thuâ.t toán Dˆ˜e dàng nhâ.n du.o c di.nh l´ y sau vˆ Di.nh l´ y Thuâ.t toán k-tâm kê´t th´ uc sau mô.t sô´ h˜ u.u ha.n bu.ó.c l˘a.p Ch´ u.ng minh Xét hàm: k d2 (x, z j ) E= (12) j=1 x∈cj Ta s˜e ch´ u.ng minh hàm E do.n diê.u gia’m quá tr`ınh l˘a.p tái phân bô´ la.i và v`ı sô´ cách uc sau h˜ u.u ha.n bu.ó.c Thu c vâ.y, quá tr`ınh phân cu.m là h˜ u.u ha.n nên thuâ.t toán kê´t th´ này E chı’ thay dô’i hai tru ò ng ho p: u cu.m Ci sang cu.m Cj mà chu.a t´ınh la.i tâm 1) Khi có dôí tu.o ng x dô’i t` àn l˘a.p 2) Sau câ.p nhâ.t tâm o’ mô˜i lˆ u nhâ´t Ta dˆ˜e dàng thâý r˘à ng mô˜i có dôí tu.o ng x dô’i t` Tru ò ng ho p th´ u cu.m Ci sang i cu.m Cj mà chu a t´ınh la.i tâm th`ı E s˜e gia’m mô.t lu o ng là ∆E = d (x, z ) − d2 (x, z j ) ˜ ` ˆ HUA ˆŃ, NGUYE ˆ N THI XUAN ˆ HU.O.NG HOANG XUAN 272 àn l˘a.p, gia’ su’ tru.ó.c phân bô´ la.i, tâ.p d˜ u hai Trong mô˜i lˆ u liê.u gô`m Tru.ò.ng ho p th´ k K cu.m C1 , , Ck vó i tâm z , , z tu o ng u ´ ng và sau tái phân bô´ la.i thành các cu.m k ´ ng C , , C k vó i tâm z , , z tu o ng u Khi dó dˆ˜e thâý k k d2 (x, z j ) j=1 x∈cj k d2 (x, z j ) j=1 x∈cj d2 (x, z j ), j=1 x∈cj viê.c câ.p nhâ.t la.i tâm mó.i s˜e làm gia’m E theo Di.nh l´ ´.ng y áp du.ng cho các cu.m C i tu.o.ng u các sô´ ha.ng o’ vê´ pha’i àn l˘a.p nên u liê.u dô’i cu.m lˆ Nhu vâ.y E gia’m thu c su có ´ıt nhâ´t mô.t dôí tu.o ng d˜ không có cách phân cu.m nào bi l˘a.p la.i M˘a.t khác sô´ cách phân cu.m là h˜ u u ha.n nên thuâ.t ’ toán phai d` u ng sau h˜ u u ha.n bu ó c Nhˆ a.n x´ et 1) Khi thuâ.t toán kê´t th´ uc, các dôí tu.o ng tâm có thê’ không thuô.c tâ.p D ta dã chuyê’n àn tu’ da.i diê.n cho mô˜i cu.m, ta lâý phˆ àn tu’ dô’i giá tri cu’a thuô.c t´ınh có th´ u tu Dê’ t`ım phˆ àn vó.i tâm cu’a nó nhâ´t thuô.c cu.m gˆ y c˜ ung cho thâý thuâ.t toán hô.i tu tó.i diê’m cu c tiê’u di.a phu.o.ng 2) Ch´ u ng minh Di.nh l´ cu’a E mà không da’m ba’o là cu c tiê’u toàn cu.c Dê’ t˘ang hiê.u qua’ cu’a thuâ.t toán ta có thê’ èn (xem [11]) ho˘a.c kho’.i ta.o tâm ban dˆ àu b˘a` ng phu.o.ng pháp kê´t ho p vó.i thuâ.t toán di truyˆ chuyên gia u.ng u.u diê’m sau 3) So vó.i các thuâ.t toán k-prototypes thuâ.t toán này có nh˜ • Nhu thuâ.t toán k-means, thuâ.t toán k-tâm song song hóa du.o c nhu [2] àn mà không àn l˘a.p dê’ phân bô´ la.i các cu.m, ta chı’ pha’i câ.p nhâ.t tâm mô.t lˆ • Trong mô˜i lˆ u liê.u dô’i cu.m nhu k-prototypes pha’i câ.p nhâ.t mô˜i có dôí tu o ng d˜ u tu và thuô.c t´ınh di.nh danh, châ´t lu.o ng cu.m tô´t ho.n • Nhò phân biê.t thuô.c t´ınh th´ • Trong thu c tê´, mô˜i thuô.c t´ınh sô´ có thê’ d` ung nh˜ u.ng do.n vi khác nên viê.c cho.n àn thiê´t tro.ng sô´ ρi cho mô˜i thuô.c t´ınh th´ u i là cˆ ´.NG DU VÍ DU U NG Ch´ ung tôi thu’ nghiê.m phân cu.m cho hô˜ tro châ’n tri y ho.c o’ bê.nh viê.n Viê.t- Tiê.p Ha’i phòng Du.ó.i dây là bài toán tô’ng quát và kê´t qua’ u ´.ng du.ng Phát biê’u bài toán tô’ng quát Có mô.t tâ.p hô` so bê.nh án cu’a mô.t loa.i bê.nh vó.i các triê.u ch´ u.ng (bao gô`m ca’ kê´t qua’ xét nghiê.m sinh hóa) dã biê´t Theo kinh nghiê.m chuyên gia có thê’ chia làm k nhóm có d˘a.c àn dê’ theo dõi và diˆ èu tri theo các chê´ dô cu thê’ và cˆ àn t`ım bê.nh án diê’n h`ınh diê’m gˆ ’ ˜ ´ cho môi nhóm Các triê.u ch´ u ng có thê là giá tri sô (nhiê.t dô., chı’ sô´ sinh hóa ) ho˘a.c s˘a´p th´ u tu (không dau, ho i dau, dau, râ´t dau ) hay là thuô.c t´ınh di.nh danh nhu cha’y máu tiêu èu th`ı phân nhóm cu’a thˆ ày thuôć hóa, rôí loa.n tiêu hóa, vàng da Khi sô´ triê.u ch´ u.ng nhiˆ èu tru ò ng ho p không thôńg nhâ´t Vˆ è ba’n châ´t th`ı dây là bài toán có g˘a.p khó kh˘an và nhiˆ giám sát vó.i kê´t luâ.n mò., vâ.y nó vâñ có thê’ xem là bài toán phân cu.m nu’.a giám sát nhò biê´t tru.ó.c mô.t sô´ tru.ò.ng ho p thuô.c loa.i bê.nh (cu.m nào) dê’ làm tâm kho’.i ta.o Sau phân cu.m, tâm cu.m s˜e d` ung làm tru.ò.ng ho p diê’n h`ınh dê’ xác di.nh các tru.ò.ng ho p mó.i ˆ T TOAN ´ PHAN ˆ CU ˜ LIE ˆ U HO ˆ˜ N HO THUA M k-MEANS CHO DU P 273 Tru.ò.ng ho p cu thê’ Ch´ ung tôi thu’ nghiê.m cho loa.i bê.nh xo gan theo 42 hô` so bê.nh án o’ bê.nh viê.n Mô˜i bê.nh nhân có thê’ có 34 triê.u ch´ u.ng dó có 12 thuô.c t´ınh di.nh danh nhu.: pha’n u ´.ng Rivaltas, nhu mô gan, ph` u, cha’y máu tiêu hóa , có thuô.c t´ınh có th´ u tu : suy nhu o c co thê’ (m´ u.c dô.), dau su.ò.n pha’i (m´ u.c dô.), bu.ng chu.ó.ng (m´ u.c dô.), và 14 chı’ sô´ sinh hóa èu nên phân loa.i khác: dô dãn TMC, ty’ lê prothrombin, almubin V`ı sô´ thuô.c t´ınh khá nhiˆ ’ m´ u c dô bê.nh khó, d˘a.c biê.t dôí vó i các bê.nh nhân tiêń triên o’ m´ u c dô trung gian th`ı kê´t qua’ phân loa.i cu’a các bác s˜ı không giôńg Hiê.n các bác s˜ı có hai cách chia nhóm bê.nh èu tri.: dê’ nghiên c´ u.u diˆ Cách Chia thành nhóm bê.nh: Xo gan còn b` u u Xo gan giai doa.n mâ´t b` u dâñ dêń k - gan Xo gan mâ´t b` Cách Chia thành nhóm bê.nh: èm tàng Xo gan tiˆ u (m´ u.c thâ´p, khác nhóm o’ trên) Xo gan giai doa.n mâ´t b` u dâñ dêń hô.i ch´ Xo gan mâ´t b` u.ng cha’y máu tiêu hóa t˘ang áp lu c t´ınh ma.ch cu’.a u dâñ dêń k - gan Xo gan mâ´t b` Kê´t qua’ thu c nghiê.m Thu c nghiê.m cho thâý viê.c cho.n các tro.ng sô´ ρi công th´ u.c râ´t quan tro.ng, a’nh hu.o’.ng dêń châ´t lu.o ng phân cu.m Viê.c xác di.nh này phu thuô.c vào kiê’u giá tri cu’a thuô.c t´ınh (sô´ thu c, nguyên và di.nh danh), do.n vi và m´ u.c quan tro.ng cu’a thuô.c t´ınh dê’ xác ung phu.o.ng pháp k-prototypes di.nh các loa.i bê.nh (du.o c xác di.nh bo’.i các chuyên gia) Nêú d` th`ı kê´t qua’ không châ´p nhâ.n du o c àu tiên c˜ ung tôi ung a’nh hu.o’.ng dêń châ´t lu.o ng phân cu.m nên ch´ Viê.c cho.n tâm cu.m dˆ ’ ’ ’ kho i ta.o các tâm cu.m theo go i y ´ cua chuyên gia (phu o ng pháp nu a giám sát) Kê´t qua’ phân cu.m thu c nghiê.m theo hai cách chia nhóm trên so vó.i cách dánh giá cu’a các bác s˜ı o’ hô` so du.o c gió.i thiê.u o’ Ba’ng và Ba’ng ung loa.i Ba’ng Kê´t qua’ phân cu.m, có 34 hô` so phân tr` Cu.m Kê´t qua’ k - tâm Phân cu.m cu’a hô` so Sô´ kê´t qua’ tr` ung Nhóm Nhóm 29 27 24 Nhóm Ba’ng Kê´t qua’ phân cu.m, có 30 hô` so phân tr` ung Cu.m Nhóm Nhóm Nhóm Nhóm Kê´t qua’ k-tâm 14 13 Phân cu.m cu’a hô` so 18 11 Sô´ kê´t qua’ tr` ung 12 Theo dánh giá cu’a Bác s˜ı chuyên khoa th`ı kê´t qua’ nhu vâ.y là châ´p nhâ.n du.o c, các tru.ò.ng ho p khác là bê.nh o’ m´ u.c dô tiêń triê’n chu.a rõ ràng nên cách phân loa.i cu’a chuyên gia các tru ò ng ho p này c˜ ung không nhâ´t quán 274 ˜ ` ˆ HUA ˆŃ, NGUYE ˆ N THI XUAN ˆ HU.O.NG HOANG XUAN ˆ´T LUA ˆN KE Trên dây ch´ ung tôi du.a mô.t ca’i tiêń thuâ.t toán k-means cho d˜ u liê.u hôñ ho p, thuâ.t ´.ng du.ng cu’a toán này dˆ˜e song song hóa và dˆ˜e áp du.ng cho tâ.p d˜ u liê.u râ´t ló.n Kê´t qua’ u ung nhu k-means, nó u c thu’ nghiê.m cho nghiên c´ u u cu’a bê.nh viê.n C˜ thuâ.t toán mó i o’ m´ èu vào kho’.i ta.o ban dˆ àu Dê’ kh˘ać phu.c có nhu.o c diê’m là kê´t qua’ phân cu.m phu thuô.c nhiˆ nhu o c diê’m này, ta có thê’ cho.n kho’ i ta.o theo kiê’u nu’ a giám sát nhu dã nêu trên ho˘a.c kê´t èn Dôí vó.i phân cu.m cho các loa.i bê.nh, nên phát triê’n theo ho p vó.i thuâ.t toán di truyˆ u.ng bê.nh tiêń triê’n không rõ ràng hu ó ng phân cu.m mò v`ı các triê.u ch´ ’O ` LIE ˆ U THAM KHA TAI [1] P Andritsos, Data Clusting Techniques, Department of Computer Science, University Toronto, 2002 [2] S Kantabutra, A L Couch , Parallel k-meanss clustering algorithm on NOWs, Technical Journal (2000) 243—248 [3] C D Looney, Pattern recognition using neural network, Theory and Algorithm for Engineers and Scientist, New york, Oxford, 1997 [4] J Han, M Kamber, Data Mining: Concepts and Techniques, Morgan Kaufman Publishers, 2001 [5] Hoàng Xuân Huâń, Case-based reasoning with rough features, VNU, Journal of Science, Nat., Sci & Tech 21 (2005) 24—32 [6] Z HUANG, Clustering large data sets with mixed numeric and categorical values, Proc 1st Conference of PAKDD (1997) 21—34 [7] Z HUANG, Extensions to the k-means algorithm for clustering large data sets with categorical values, Data Mining and Knowledge Discovery (1998) 283—304 [8] C Li, G Biswas, Unsupervised learning with mixed numeric and nominal data, IEEE Trans Knowledge and Data Eng 14 (2002) 673—690 [9] P Lingras, Unsupervised rough set classification using gas, Journal of Intelligent Information System 16 (2001) 215—228 [10] J B MacQueen, Some methods for classification and analysis of multivariate observations, Proc of 5th Berkely Symposium on Mathematical Statistics and Probility (1967) 281—297 [11] Z Michalewics, Genetic algorithms + Data structures = Evolutionary Programs, Berlin, Springer-Verlag, 1996 è các phu.o.ng pháp phân cu.m d˜ u liê.u data ming”, Luâ.n v˘an [12] Hoàng Ha’i Xanh, “Vˆ tha.c s˜ y, DHQG Hà Nô.i, 2005 Nhâ.n bài ngày 29 - - 2005 Nhâ.n la.i sau su’.a ngày 30 - - 2006 ... toán k -modes, k -prototypes và nh˜ u.ng vâń dˆ Khái niê.m mode Mu.c 2.2.1 là mo’ rô.ng tru c tiê´p khái niê.m này cu’a Huang [6, 7] 2.1 Thuˆ a.t to´ an k -means Thuâ.t toán k- means. .. ho p th´ k K cu.m C1 , , Ck vó i tâm z , , z tu o ng u ´ ng và sau tái phân bô´ la.i thành các cu.m k ´ ng C , , C k vó i tâm z , , z tu o ng u Khi dó dˆ˜e thâý k k d2 (x,... bày thuâ.t toán k- tâm ˆ T TOAN ´ k -MEANS VA ` CAC ´ VA ˆŃ DÈ ˆ LIEN ˆ QUAN THUA àn này ch´ Trong phˆ ung tôi gió.i thiê.u thuâ.t toán k -means (MacQueen, 1967), khái niê.m è liên

Định dạng
Số trang	8
Dung lượng	193,17 KB