Ứng dụng luật kết hợp trên hệ thống thông tin nhị phân để xây dựng bài toán tư vấn xây dựng

Bễ GIO DUC V DO TAO TRĩễiNG DAI HOC H NễI _ô _ Sĩ PHAM ô Lễ THI THU VN ĩ*NG DUNG LUT KẫT HOP TRấN Hấ THễNG THễNG TIN NHIPHN Dẫ XY DĩNG BITON Tĩ VN XY DLTNG LUN VN THAC Sẽ MAY TẻNH H NễI, 2015 B ụ GIO DUC V O TAO TRNG AI HOC s PHAM H NI a _ a _a L THI THU VN NG DNG LUT KT HP TRấN H THNG THễNG TIN NH PHN XY DNG BI TON T VN XY DNG Chuyờn ngnh: Khoa hc mỏy tớnh Mó s: 60 48 01 01 LUN VN THAC s MY TNH Ngũi hng dn khoa hc: PGS.TS Lờ Huy Thp H NI, 2015 L I CM N Em xn chõn thnh cm n thy giỏo PGS TS Lờ Huy Thp ó nhit tỡnh hng dn v giỳp em sut quỏ trỡnh lm lun Em cng xin gi li cm om chõn thnh n tt c cỏc thy cụ phũng Sau i hc trng i hc S phm H Ni v cỏc thy cụ b mụn ó tn tỡnh giỳp , ging dy, cung cp cho em nhng kin thc qu gi sut quỏ trỡnh hc ti trng Cui cựng xin cm om gia ỡnh, bn bố, ng nghip ó luụn ng viờn v giỳp sut thi gian hc cng nh thi gian thc hin lun ny H Ni, thỏng 12 nm 2015 Tỏc gi L Thi Thu Võn L I CAM OAN Tụi xin cam oan õy l kt qu nghiờn cu ca tụi di s hng dn khoa hc ca PGS TS Lờ Huy Thp Cỏc s liu, kt qu nờu lun l trung thc v cha tng c cụng b bt k cụng trỡnh no khỏc H Ni, thng 12 nm 2015 Tỏc gi L Thi Thu Võn DANH MUC CC K HIấU, ô CC CH VIT TT Y ngha Kớ hờu CSDL C s d lờu D c s d liu giao dch DL D lờu DM Data mining (khai pha d lờu) KDD Knowledge discovery ( phỏt hin tri thc) KPDL Khai pha d lờu DWT K ngh kho d liu DW Kho d lờu hụ tr ( support) p tin cy (confidence) n Phộp giao u Phộp hp r p /V A Tp rụng CZ Tp e Thuc ck TID c; Tp cỏc k-itemset ng viờn Tp cỏc giao dch Tp cỏc k-itemset ng viờn m TID ca giao dch sinh liờn k vi mc ng viờn DANH MUC CC BNG Bng 2.1 Vớ d v mt CSDL ca giao dch 26 Bng 2.2 Bng cỏc mc v h tr 27 Bng 2.3 Tớnh h tr v tin cy 29 Bng 2.4 Cỏc ph bin 29 Bng 2.5 Lut kt hp sinh t ph bin ADE 31 Bng 2.6 Th hin cỏc giao dch thc t 34 Bng 2.7 Bng cỏc giao dch cú th cú 35 Bng 2.8 Bng mc v h tr 36 Bng 2.9 Tp mc ph bin bng 2.8 37 Bng 2.10 Minh ho bi toỏn phỏt hin lut kt hp 38 Bng 2.11 Bng mua hng ca khỏch 39 Bng 2.12 Bng thụng tin nh phõn 39 Bng 2.13 Bng cỏc Item v nhón 52 Bng 2.14 Bng 3.1 sp xp theo t in 52 Bng 2.15 Bng giao dch T=4 53 Bng 2.16 Bng giao dch nh phõn 54 Bng 2.17 Bng B_GD_NP ó c np nhp d liu 55 Bng 2.18 Bng B_GD_NP ó c np nhp d liu thc t 55 DANH MUC CC HèNH V Hỡnh 1.1 Lung d liu ca mt t chc Hỡnh 1.2 Cỏc bc ca quỏ trỡnh khai phỏ d liu 12 Hỡnh 3.1 Giao din chớnh 57 Hỡnh 3.2 Danh sỏch Menu 57 Hỡnh 3.3 Cỏc Form nhp 58 Hỡnh 3.4 Nhp giao dch s 58 Hỡnh 3.5 Nhp giao dch nh phõn 58 Hỡnh 3.6 Cỏc forms sa 58 Hỡnh 3.7 Cỏc MinSup v Conf 59 Hỡnh 3.8 Cỏc kt qu 59 MC LC LI M U .1 Chng C S Lí THUYT 1.1 Tng quan kho d liu 1.1.1 nh ngha k ngh kho d liu v kho d liu 1.1.2 Mc ớch ca kho d liu 1.1.3 c tớnh ca d liu kho d liu 1.1.4 Phõn bit kho d liu vi cỏc c s d liu tỏc nghip 1.2 Tng quan khai phỏ d liu 10 1.2.1 Khỏi quỏt khai phỏ d liu 10 1.2.2 nh ngha khai phỏ d liu 10 1.2.3 Cỏc bc ca quỏ trỡnh khai phỏ d liu .12 1.2.4 Nhim v chớnh khai phỏ d liu 13 1.2.5 Cỏc phng phỏp khai phỏ d diu .15 1.2.6 Li th ca khai phỏ d liu so vi phng phỏp c bn 20 1.2.7 La chn phng phỏp 23 Kt lun chong 24 Chng KHAI PH LUT KT HP TRấN H THNG THễNG o m m TIN NHI PHN 25 2.1 Mt s khỏi nim 25 2.2 Lut kt hp 25 2.2.1 Mụ hỡnh hỡnh thc ca lut kt hp 25 2.2.2 nh ngha lut kt hp 28 2.2.3 Phỏt biu bi toỏn lut kt hp 30 2.2.4 Mt s hng tip cn khai phỏ lut kt hp 31 2.3 Bi toỏn phỏt hin lut kt hp 33 2.4 Tin x lý lut kt hp trờn h thng thụng tin nh phõn 38 2.5 Thut toỏn khai phỏ lut kt hp trờn h thng thụng tin nh phõn 44 2.5.1 Thut toỏn Apriori khai phỏ lut kt hp 44 2.5.2 Thut toỏn APRIORI-TID 47 2.5.3 Thut toỏn phỏt hin ch bỏo v lut kt hp nh phõn 49 2.6 Xỏc nh cỏc thut toỏn tin x lý ca lut kt hp nh phõn 51 Kt lun chng .56 Chng NG DUNG LUT KT HP TRấN Hấ THNG THễNG o TIN NHI PHN XY d u n g bi toỏn t x õy d u n g .57 3.1 Yờu cu ca bi toỏn 57 3.2 Cỏch gii quyt yờu cu ca bi toỏn 57 3.3 Chng trỡnh ng dng 57 KT LUN 60 DANH MUC TI LIấU THAM KHO 61 LI M U S phỏt trin mnh m ca cụng ngh phn cng ó to nhng mỏy tớnh ngy cng cú kh nng lu tr cao, cú dung lng ln, cht lng cao v giỏ thnh ngy cng r, ng thi vi s phỏt trin vt bc ca cụng ngh thụng tin v vic ng dng cụng ngh thụng tin rt nhiu lnh vc ca i sng, kinh t xó hi thi gian qua, s bựng n thụng tin cng ng ngha vi lng d liu m cỏc c quan thu c v tớch ly ngy cng tng Cỏc kho d liu - ngun tri thc ca nhõn loi tr nờn vụ cựng hu ớch nu ta cú th khai thỏc nú Cỏ nhõn hay t chc no thu thp, phõn tớch, hiu c thụng tin v hnh ng da vo nhng ngun thụng tin ú s t c nhng thnh cụng c bit mụi trng cnh tranh, ngi ta cn cú nhiu thụng tin vi tc nhanh tr giỳp vic quyt nh v cú nhiu cõu hi mang tớnh cht nh tớnh cn phi tr li da trờn mt lng d liu khng l ó cú l khai thỏc cỏc ngun tri thc ú nh th no ó tr nờn núng bng v t mt thỏch thc ln cho nn cụng ngh thụng tin Cỏc mụ hỡnh c s d liu truyn thng v cỏc ngụn ng thao tỏc d liu cha ỏp ng c nhng yờu cu ú Ngy nay, gii quyt cỏc ny cú mt hng i mi ú l khai phỏ d liu v phỏt hin tri thc (Knowledge discovery and datamining) Vic nghiờn cu cỏc mụ hỡnh d liu mi v ỏp dng c cỏc phng phỏp khai phỏ d liu l mt xu th tt yu va cú ý ngha khoa hc va mang ý ngha thc tin cao Khai phỏ d liu ó v ang c nghiờn cu, ng dng nhiu lnh vc khỏc cỏc nc trờn th gii, ti Vit Nam cng ang c nghiờn cu v dn a vo ng dng Ngy nay, khai phỏ d liu ó tr thnh mt lnh vc nghiờn cu thu hỳt s quan tõm ca rt nhiu ngi trờn nhng lnh vc nh h c s d liu, thng kờ, nhn dng, trớ tu nhõn to, 46 (2) For (k = 2; U -2 * 0; k++) { (3) ck= apriori_gen (Lk_i,minsup);// sinh ng c tũ Lk_i (4) For (mi tỏc v D) {// quột D m ct = subset (Ck, t);// ly ca t m l cỏc ng c (5) ck For (Mi ng c c e c t) (6 ) c.count ++;// tng m cho c mt n v (7) (8 ) Lk = {c e Ck/c.count ^ minnsup}; (9) (10) } (11) Return L = u k Lk; Th tuc sinh cỏc ng c C Procedure apror _gen (Lk_!: Tp ph bin (k-1) mc; minsup: h tr cc tiu) (1) For mi mc li e Lk_i (2) (3) For mi mc I2 G Lk_i { If (Ii[l] = I2[l] A U2] = h[2] * *h[k-2] = I2[k-2] A i^ k -1 ] = I2[k-1]) then (4) c = li I2; // bc nụi li v I2 sinh cỏc ng c c (5) If has_ infrequent _ subset (c, Lk_i) tỡien Xúa c; // bc ta (6 ) (7) Else thờm c vo Ck ( 8) (9) Return ck; Ket qu ca thut toỏn Apriori l L = Li u L2 u u Lk V vi Vc G L úng vai trũ nh X u Y ca lut kt hp X ằ Y 47 2.5.2 Thut toỏn APRIORI-TID Thut toỏn Apriori-TID c ci tin t thut toỏn Apriori nhm trỏnh vic duyt database quỏ nhiu ln m s ln xut hin ca cỏc ng viờn cỏc giao dch Thut toỏn AprioriTID s dng Ck tớnh h tr cho cỏc phn t ca Ck k >1 thay cho vic duyt CSDL Mi phn t ca Ck cú dng vi X l cỏc ng viờn thuc Ck tng ng vi giao dch t cú mó TID hay chỳng ta cng cú th vit Nu giao dch t khụng cha mt ng viờn no (Xk = ) thỡ giao dch t khụng c a vo Ck Do ú, s phn t ca Ck cú th nh hn s lng cỏc giao dch CSDL, c bit k ln Khi s phn tũ ca Ck nh hn s lng cỏc giao dch CSDL thỡ vic duyt Ck tớnh h tr cho tng phn tũ ca ckphc v cho vic xỏc nh Lk s nhanh hn duyt CSDL Thuõt toỏn a.Tớnh ck ckc to t Lk_i qua bc Bcl Ni Lk.j vi chnh nú Select p.HngMci,p.HngMc2, .p.HngMck_i, q.HngMCk-1 From Lk_i as p, Lk_i as q; Where (p.HngMci= q.HngMci)A A(p.HngMck-2= q.HngMCk-2) A(p.HngMck_i < q.HngMck_i); Bc Loi bt cỏc hp c khụng thuc Lk_i b Tớnh Ck, Lk ck =0; For all te C*1 Do Begin 48 c t = {c G c k I (c-c[k]) G t.X A C -c[k-l] G t.X}; For all UngVien c G c t Do c.count ++; if (Ct*0) then Ck+= < t.TID, c t >; End L k = {c G Ck \ c.count > minsup} Ghi chỳ: Trong quỏ trỡnh tớnh toỏn Count(TID) khụng thay i Vỡ vy chỳng ta cú th thay minsup bng mt s nguyờn no ú v ú sup s l count Nhõn xột Vi k=l, s phn t ca Cl bng s giao dch CSDL; X (ng mi phn tũ ca Ci) cú s lng thnh viờn bng s item giao dch tng ng CSDL Vi k nh (k>l), s lng phn t ca Ck bng hoc nh hn khụng ỏng k so vi s giao dch CSDL; X (ng mi phn tũ ca Ck) cú th cú s lng thnh viờn ln hn s item giao dch tng ng CSDL vỡ s phn t ca Ck nhiu k nh v kh nng cỏc ng viờn ca c k cú giao dch l ln (trong vớ d trờn X giao dch cú TID 300 cú s thnh viờn l kho CSDL ch cú item) Vi k ln, s lng phn t ca Ck nh hn so vi s giao dch CSDL; X (ng mi phn t ca Ck) cú th cú s lng thnh viờn nh hn s item giao dch tng ng CSDL vỡ s phn tũ ca c k khụng nhiu k ln v kh nng cỏc ng viờn ca Ck cú giao dch l nh Kt qu chy thc nghim ca R Agrawal cho thy vi k nh, thut toỏn Apriori chy nhanh hn thut toỏn AprioriTID; ngc li vi k ln, thut 49 toỏn AprioriTID chy nhanh hn Khi k nh, s lng phn t ca Ck khụng ớt hn s giao dch ca CSDL nờn vic tớnh h tr da trờn Ck khụng nhanh hn so vi da trờn CSDL; ngoi ra, mi phn t ca Ck cú X ln nờn mt thi gian tớnh toỏn Ck, Ck cng chim b nh ln nờn cú th vt kh nng lu tr b nh mỏy tớnh v phi s dng n b nh ngoi nờn mt thờm thi gian c v ghi a Do ú, thut toỏn AprioriTID chy chm k nh Khi k ln, s lng phn t ca Ck nh hn s giao dch ca CSDL nờn viờc tớnh h tr da trờn Ck nhanh hn so vi da trờn CSDL; c k nh li, khụng cn s dng n b nh ngoi Do ú, thut toỏn AprioriTID chy nhanh k ln 2.5.3 Thut toỏn phỏt hin ch bỏo v lut kt hp nh phõn Thut toỏn phỏt trin tũ thut toỏn Apriori-Tid phỏt hin cỏc ch bỏo nh phõn ph bin t cỏc lut kt hp nh phõn t h thụng tin nh phõn Thut toỏn ny lm vic vi cỏc bit b nh v khụng lm vic vi CSDL trờn a, vỡ th cú th ci tin tc quỏ trỡnh phỏt hin lut Cho mt CSDL v hai ngng h tr ti thiu minsup v tin cy ti thiu minconf ca lut kt hp Thut toỏn Apriori-Tid cú hai pha: Pha : Phỏt hin cỏc ch bỏo ph bin da trờn ngng minsup cho trc Pha 2: Xõy dng cỏc lut kt hp da trờn mt ngng minconf cho trc Cho ma trn thụng tin nh phõn Sb = (O, D, B, %) v mt ngng 0, ò e(0, 1) Trong ú l minsup v ò l minconf Chi tit thut toỏn Apriori-Tid nh sau: Pha 1: Phỏt hin ch bỏo ph bin nh phõn TraLoi = ; Sinh LB1t SBtheo th tc 1.a di õy ; for (k = 2; LB,k {}; k++) 50 4.{Sinh Lò k t Lb k-1 theo th tc 2.a di õy ; TraLoi = u k LB,k-i; 6.} Return TraLoi; // = = = = = = = = 1.a Sinh Ljj 1 L B ,1 = ; for (i = 1; i * card(O)) {SaveLargeSet({di}, VSB,i); SaveDescriptorVector(vB({di}, VSBl)); } TraLoi = Lò ; Return TraLoi; // Trong ú m = card(D) l lc lng ca lp D 2.a Sinh LBk Da trờn iuc tớnh VS e Lò, T (Z s thỡ T e LB, chỳng sinh Lòktu Lòk-1- Kt qu nh sau: To mt ma trn cú cỏc dũng v ct l cỏc thnh phn ca LB k_i LB,k = ; for (Mi X e Lò;k-1 && X o Y ) 3.{T = X u Y ; if(card(supB(vB(T)) > 0*card(O)) && card(T) == k) { SaveLargeSet(T, LBk); SaveDescriptorVector(vB(T), VSBk)); } 51 8.} TraLoi = Lò,k ; 10 Return TraLoi ; Trong ú: SaveLargeSet(T, LBk) l mt hm ghi mt ch bỏo ph bin nh phõn T vo LB;k SaveDescriptorVector(vB(T), VSòk)) l mt hm lu mt vect ch bỏo ph bin nh phõn V b (T ) vo VSBkDa vo (1) v (2), ta cú th tớnh rt nhanh supB(vB(T)) ti bc th k ca vũng lp trờn, t cỏc phn t ca VSBk-1Pha 2: Phỏt hin cỏc lut ph bin nh phõn RB ò = ; // Khi to lut ban u l rng for (Mi L G Lb) { for(Mi X, Y G L v XnY ={}) { if(CFB(X => Y) > ò) SaveRule(X=>Y, Rò ò); // ghi lut X=>Y vo Rò ò if(CFB(Y =>X) > ò) SaveRule(Y=>X, Rò ò); // ghi lut Y = > x vo RBò } 9.} 10 TraLoi = Rb ò ; 11 Return Rb ò ; // Kt thỳc 2.6 Xỏc nh cỏc thut toỏn tin x lý ca lut kt hp nh phõn Thut toỏn Nhp cỏc Item v cỏc giao dch BC 1: To bng: 52 Bng 1- Tờn bng B ltem (Maltem C(5), Tenltem C(20), Nhan C(l)) Trong ú: B ltem: Bng Item Maltem: Mó Item Tenltem: Tờn Item Nhan: Nhón ca Item Nhp ni dung cho bng ny, nhp nhón nờn bt u bi ch A v sau ú theo chiu tng ca t in Sp xp nhón theo t in (chc nng sort hoc thut toỏn ni bt) Chng hn, sau nhp ta c Bng B_Item Maltem Nhan Sup 003 Tenltem ? 004 ?? D 002 ??? B 001 ???? A 005 777777 E c Bng 2.13 Cỏc Item v nhón (ó c nhp Sau sp xp nhón theo t in ta c ) Bng B ltem Maltem Tenltem Nhan 001 ???? A 002 B 003 ??? ? 004 ?? D 005 99999 E Sup c Bng 2.14 c sp xp Nhan theo t in 53 Dựng hm n = Count(B_Item) bit s Item, theo vớ d trờn ta c s Item l n = Bng 2- Tờn bng: B_GD (MaGD C(5), ND GD C(30)) Trong ú: B_GD : Bng giao dch MaGD: Mó giao dch ND_GD: Ni dung giao dch - gm cỏc Item tham gia vo giao dch Nhp ni dung cho bng B_GD, phi chn cho mt giao dch cỏc Item l nht Chng hn, sau nhp ta c Bng B_GD MaGD ND_GD Ti ACD t2 BCE t3 ABCE t4 BE Bng 2.15 Bng giao dch |T| = Dựng hm T = Count(B GD) m s giao dch Vớ d trờn ta c s giao dch T = Thut toỏn Chuyn bng giao dch sang dng bng giao dch nh phõn B_GD_NP Var S: integer; Strl = o For j = to n Strl = Strl & d &Str(j) & Number(l) & Andớor {Kt qu chỳng ta c} 54 Strl = dl Number(l), d2 Number(l), d(n)Number(l), Strl = Left(Strl, len(Strl) - 1) {Cn kh du Strl = dl Number(l), d2 Number(l), cui} dn Number(l) { Kt qu ta kh {To bng B_GD_NP } Create table B_GD_NP( & Strl) {Kt qu cú bng dng sau} B_GD_NP o dl d2 dn Bng 2.16 Bng B_GD_NP Chỳ ý rng cỏc Nhan giao dch ó c xp tng theo t in s tng ng vi di, d2, dn To mng mt chiu Array A_Nhan(n) of Char; {Np cỏc nhón cho A_Nhan} For i = To n A_Nhan(i) = B_Item.Nhan Skip {Chuyn n bn ghi tip theo} EndFor For i = To n B GD NP.O = o & Str(i) For j = To Count(B_GD.ND_GD) If A_Nhan(i) = B_GD.ND_GD(j) Then B_GD_ND d & (j) = Else B_GD_ND d & (j) = Endlf 55 Skip B_GD Endfor Skip B_GD_NP Endfor o Ol o2 Om dl d2 dn * * * * * * * * Bng 2.17 Bng B GD NP ó c np nhp d liu Trong ú * l o hoc Chng hn t bng 2.2 ta cú dl d2 d4 d5 Ol 1 02 1 03 1 1 o4 0 Bng 2.18 Bng B GD NP ó c np nhp d liu thc t 56 Kt lun chng Trong chng ny ó trỡnh by tng quan v khai phỏ d liu, khai phỏ lut kt hp i vo nhng nghiờn cu c th chng sau, chng ny cung cp nhng hiu bit cn thit v bi toỏn khai phỏ lut kt hp c bit trỡnh by chi tit thut toỏn Apriori tỡm mc ph sinh cỏc ng c, sinh lut kt hp tũ mc ph bin Vic tỡm kim cỏc lut kt hp CSDL nh phõn c thc hin theo thut toỏn nguyờn thu Apriori Mt hn ch ỏng k ca cỏc thut toỏn ny l ch lm vic vi d liu dng nh phõn, tc l giỏ tr ca cỏc thuc tớnh ch nhn giỏ tr l v Chớnh vỡ th thut toỏn khú cú th ỏp dng trc tip trờn nhng CSDL thc t - nhng CSDL khụng ch cha thuc tớnh nh phõn, m cũn cha c d liu s v hng mc Mun thc hin c iu ny, ngi ta phi tin hnh rũi rc húa d liu cho cỏc thuc tớnh s chuyn chỳng v thuc tớnh nh phõn 57 Chng NG DNG LUT KT HP TRấN H THNG O THễNG TIN NHI PHN XY DNG BI TON T VN XY DNG 3.1 Yờu cu ca bi toỏn Bi toỏn t xõy dng: Cho giao dch thc t vi cỏc mc I = { ii, i2, ,in}, cỏc giao dch TID = {ti, t2, ,tk} v minsup = 6, minconf= p Hóy xỏc nh lut kt hp trờn c s nhng thụng tin ó cho ú 3.2 Cỏch gii quyt yờu cu ca bi toỏn Da vo c s d liu SQL v cỏc thut toỏn c vit trờn Microsoft Access 3.3 Chng trỡnh ng dng \*\ Microsoft Access - [Forml: Form] Nhap so lieu SuaSolieu r ^ l g lô jl Nhp sũtrong giaodch if c H a a i d A ? I ô Khai phỏ Ketthuc a I -11A liU i t I Type questionfor help ;-i .'im i - I a _ TRNG I HC S PHM H NI KHOA CễNG NGH THễNG TIN CHNG TRèNH DEMO LUN VN TT NGHIP TC W I II M W AM NG DNG LU T K T H P T R N H THNG TH ế NG TIN NH PHN X Y DNG BI TON T VN X õ y d n g Ngi th c hin: L T H VN H NI, 12-2015 I KIiJjI] Hỡnh 3.1 Giao diờn chớnh in Nhap 50 lieu Sua So lieu X Nhp 50 tronq qiao dch Khai pha Ketttiue Hỡnh 3.2 Danh sỏch Menu 58 43 " J FI J Jt W i-C K H ọa N H .P CC c i TUệ NG, H A M G ọ G uvo d i c h N H P C C G IA D C H H nhK H rfu n * * *h :r.:rr- II it II I f ô ! Hỡnh 3.3 Cỏc Form nhp B s n g S o : T a b le GD A * c B 20 22 45 40 D E 36| 35 F | a 0 24 40 39 41 25 10 17 25 41 10 41 45 30 40 16 12 s 0 10 41 30 16 (Aul oN umber) Hỡnh 3.4 Nhp gao dch s B a n g M o H o a : T a b le GD B A ỡ k rA i.tn M i.n o ln n rk c D 1 0 1 0 1 1 1 1 1 a a 1 a a 1 fl fl n n n n Hỡnh 3.5 Nhp gao dch nh phõn J K J m n TU W THM an UK new SII SA SAI GC GIAO DICH -y[ iw a tirin s '.-ôri I F E III- Hỡnh 3.6 Cỏc forms sa 59 Micrescrfl OfBct Nhieis Minsup guiO'-sl OK Cancel c=| Hỡnh 3.7 Cỏc MnSup v Conf KẫT QU KHAI PH M icrcscft Office Access c, E}; 12 = {B AC, EC, DE}; L3 = {ABC}; L4 = {} Vay cac lust la: A => B( B => A, A => ầ c => K B => ầ c => B A => Bầ BC => A, B => AC,AC=> B, c => B AB => c L l = { B, OK Microsoft Office Access {Nhn ccng => Can bc ky thu ỏt}, {Cn b kythuat => Nhr ccn g }, {Nhn => Ccng cu va v a ttu }r {Cong cu va vattu => Nhn cng}, {Can bc kythuat} => {Cong cu va v e t t u }, {Ccng cu va vattu] => {Can bc ky thuat}, {Nhn ccng} => {Can bc ky thuat, Cong cu va vattu}, {Can bc kythuat, Ccng cu va vattu}=> {Nhn ccn g , {Cỏn bc kythuat} => {Nhn , Cong cu va v a ttu }, {Nhn Cong cu va Vỏt tu} => {Can bo ky thuat} {Ccng cu va vattu}=> {Nhan ,Can bc ky thuat}, {Nhn cũng, Can bc ky thust }- > {Ccng cu va vattu} OK Hỡnh 3.8 Cỏc kt qu 60 KT LUN Luõn ó hon thnh c mụt s kt qu cu th nh sau: T - Tỡm hiu v khai phỏ d liu v phỏt hin tri thc - Tỡm hiu hai thut toỏn tiờu biu khai phỏ d liu l Apriori v Apriori-TID - Tỡm hiu v a chi tit thut toỏn khai phỏ lut kt hp nh phõn - Ci t thut toỏn khai phỏ lut kt hp nh phõn ng dng vo phỏt hin lut kt hp ti trng Trung cp Xõy dng s Hng phỏt trin tip theo Trờn c s nhng nghiờn cu ó c trỡnh by lun vn, tip tc nghiờn cu sõu hn v thut toỏn khai phỏ lut kt hp nh phõn, tỡm cỏc gii phỏp nhm khc phc cỏc nhc im ca thut toỏn hin cú Phỏt trin ng dng cú th em s dng thc t [...]... kết họp trên hệ thống thông tin nhị phân Chương này trình bày tổng quan về luật kết hợp, phát biểu bài toán khai phá dữ liệu, phát hiện luật kết hợp, các khái niệm cơ bản luật kết họp và các phương pháp khai phá luật kết hợp, khai phá luật kết hợp trên hệ thông tin nhị phân Chương 3: ứng dụng luật kết hợp trên hệ thống thông tin nhị phân để xây dựng bài toán tư vấn xây dựng 4 Chương 1 C ơ SỞ LÝ THUYẾT... lại, v.v vấn đề như vậy liên quan đến khai phá luật kết hợp trên hệ thống thông tin nhị phân mà chúng ta sẽ nghiên cứu trong đề tài: ứng dụng luật kết hợp trên hệ thống thông tin nhị phân để xây dựng bài toán tư vấn xây dựng Mục đích nghiên cứu Dùng khai phá dữ liệu đặc biệt là khai phá luật kết họp trên hệ thống thông tin nhị phân để lập trình ứng dụng Nhiệm vụ nghiên cứu Nghiên cứu kỹ nghệ kho dữ... lượng thông tin lớn mà quản lý những lượng thông tin vừa và nhỏ DW phải quản lý một khối lượng lớn các thông tin được lưu trữ trên nhiều phương tiện lưu trữ và xử lý khác nhau Đó cũng là đặc thù của DW - DW có thể ghép nối các phiên bản (version) khác nhau của các cấu trúc CSDL DW tổng hợp thông tin để thể hiện chúng dưới những hình thức dễ hiểu đối với người sử dụng - DW tích hợp và kết nối thông tin. .. tò nhiều nguồn khác nhau trên nhiều loại phương tiện lưu trữ và xử lý thông tin nhằm phục vụ cho các ứng dụng xử lý tác nghiệp trực tuyến - DW có thể lưu trữ các thông tin tổng hợp theo một chủ đề nghiệp vụ nào đó sao cho tạo ra các thông tin phục vụ hiệu quả cho việc phân tích của người sử dụng - DW thông thường chứa các dữ liệu lịch sử kết nối nhiều năm trước của các thông tin tác nghiệp được tổ chức... 2 KHAI PHÁ LUẬT KẾT HỢP TRÊN HÊ THỐNG THÔNG TIN NHI PHÂN • • 2.1 Môt số khái niêm • • Giả sử chúng ta có một cơ sở dữ liệu D Luật kết hợp cho biết phạm vi mà trong đó sự xuất hiện của tập các mục của s nào đó trong các bản ghi của D sẽ kéo theo sự xuất hiện của tập các mục của u (SnU = 0 ) cũng nằm trong bản ghi đó Mỗi luật kết hợp được đặc trưng bởi một cặp tỉ lệ hỗ trợ: độ hỗ trợ và độ tin cậy là... là phát hiện các luật kết hợp Phương pháp này nhằm tìm ra tập các thuộc tính thường xuất hiện đồng thời trong cơ sở dữ liệu và rút ra các luật về ảnh hưởng của một tập thuộc tính dẫn đến sự xuất hiện của một (hoặc một tập) thuộc tính khác nhau như thế nào Từ khi bài toán khai phá luật kết hợp trong khai phá dữ liệu được giới thiệu, nhiều thuật toán đã được đề xuất để tìm luật kết hợp trong các cơ sở... Đối tư ng và phạm vỉ nghiên cứu Khai phá dữ liệu và ứng dụng Nội dung luận văn được trình bày trong 3 chương và phần kết luận: 3 Chương 1: Tổng quan về khai phá dữ liệu Trong đó giới thiệu tổng quan về quá trình khai phá dữ liệu, kiến trúc của một hệ thống khai phá dữ liệu, nhiệm vụ chính, các phương pháp khai phá và các ứng dụng của khai phá dữ liệu Chương 2: Khai phá luật kết họp trên hệ thống thông. .. chứa cả s và u Vấn đề khảm phả luật kết hợp được phát biểu như sau: Cho trước tỉ lệ hỗ trợ (support ration) 0 và độ tin cậy (confidence) p Tìm tất cả các luật trong D có các giá trị tỉ lệ hỗ trợ và tin cậy lớn hơn 0 và p tư ng ứng Chẳng han D là CSDL mua bán đô hỗ trơ ỡ = 40% và đô• tín B = 90% • Vcây i o • • • Vấn đề phát hiện luật kết hợp được thực hiện như sau: Đếm tất cả những qui luật chỉ ra sự... ra lý thuyết để hiểu cấu trúc dữ liệu Hạn chế đó có thể được khắc phục bằng kỹ thuật cây quyết định I.2.5.4 Phương pháp sử dụng cây quyết định và luật Với kỹ thuật phân lớp dựa trên cây quyết định, kết quả của quá trình xây dựng mô hình sẽ cho ra một cây quyết định Cây này được sử dụng trong quá trình phân lớp các đối tư ng dữ liệu chưa biết hoặc đánh giá độ chính xác của mô hình Tư ng ứng với hai giai... sinh cây quyết định khi chia dữ liệu không có ý nghĩa I.2.5.5 Phương pháp phát hiện luật kết hợp Phương pháp này nhằm phát hiện ra các luật kết hợp giữa các thành phần dữ liệu trong CSDL Mau đầu ra của giải thuật khai phá dữ liệu là tập luật kết họp tìm được Ta có thể lấy một ví dụ đơn giản về luật kết hợp như sau: sự kết hợp giữa hai thành phần A và B có nghĩa là sự xuất hiện của A trong bản ghi kéo theo