(Luận văn thạc sĩ) khai phá song song luật kết hợp mờ

ĐẠI HỌC ỌƯĨC GIA HÀ NỘI KHOA CƠNG NGHỆ PHAN XUÂN HIÉƯ KHAI PHÁ SONG SONG LUẬT KẾT HỌP MỜ Chuyên ngành: C ô n g nghệ thông tin Mà số: 1.01.10 LUẬN VẢN THẠC s ĩ NGƯỜI HƯỚNG DÀN KHOA HỌC TS HÀ QUANG THỤY €>Ại M Ọ C C U ;Ố C G I A H À N Ộ I TRỦNGTẲMTH&líĩmTHƯVIẼN HoV-tO Hà Nội - 2003 )M o M ụ c lục I ) a n h m ụ c h ì n h v ẽ I ) ; m h m ụ c b ả n g b i ể u K ý h i ệ u v t v i ê l t ã t (Vi c a m o n M o ' t i t i T Ô I I O q u a n v è k h a i p h d ữ l i ệ u I I K h a i p h c l ữ l i ệ u 1 M ụ c l i ê u c u a k h a i p h d ữ l i ệ u .9 Đ ị n h n e l ì ĩ a k h a i p h d l i ệ u 10 1.3 C c b c c h í n h t r o n g k h m p h t r i I h c ( K D D ) 1I 1.2 I l i r n ụ l i ô p c ậ n v k ỹ t h u ậ t p d ụ n t r o n c K h a i p h d ữ l i ệ u 12 C hirơ im I I n g tiế p c ậ n v k ỹ th u ậ t c h í n h t r o n g k h a i p h d liệu 12 C c d n g d ữ l i ệ u c ó t h ể k h a i p h 13 I ỉ n g đ ụ n ” c u a K h a i p h d ữ l i ệ u 13 1.2.1 d ụ n í i c ủ a k h a i p h d ữ l i ệ u 13 [ ’ h â n l o i c c h ệ l l ì ô n ụ k h a i p h d l i ệ u 14 N h n a v ấ n d ề d ợ c c h ú I r ọ n g t r ô n a , K h a i p h d ữ l i ệ u 14 C l i n í i u ậ l k è t h ọ p 16 { J’n u Y i m h ĩ a c ù a l u ậ t k é t h ọ p 16 P h i h i ê n h i t o n k h í i i p h l u ậ t k è t h ợ p 17 N l ũ m u h ứ i i R t i ế p c ậ n c h í n h t r o n g k h a i p h l u ậ t k ê l h ợ p 19 2.1 m ò ' 22 ì I I , u ậ t k ê t h ợ p c ó t l u i ộ c l í n h s ô 22 C h n a K h a i p h l u ậ t kêl họp I , u ậ l k ế t h ợ p c ó t h u ộ c t í n h s ố 22 1.2 Các phươne, pháp rời rạc h ó a 23 3.2 Luật kết hợp m 26 3.2.1 Rời rạc hóa thuộc tính dựa vào tập m 26 3.2.2 Luật kết hợp m .28 3.2.3 Thuật toán khai phá luật kết hợp m 32 3.2.4 Chuyển luật kết hợp mờ luật kết hợp với thuộc tính s ố 36 3.2.5 Thử nehiệm kết l u ậ n 37 Chương Khai phá song song luật kết hợp m 42 Một sơ thuật tốn song song khai phá luật kết h ợ p 43 4.2 Thuật toán song song cho luật kết hợp m 50 4.2 ỉ I lướng tiếp cận 50 4.2.2 Thuật toán soné sone, cho luật kết họp m 54 4.2.2 Tính dãn độ phức tạp thời gian thuật toán 55 4.3 Thứ nụhĩệm kết l u ậ n 58 Kết luận 60 Nliữne vân dê giải luậnvăn n y 60 Cône việc nehiên cứu tương l a i 61 T i liệu th a m k h ả o Phụ lụ c 66 Danh m ụ c hình vẽ ■ Hình I - Lượng dừ liệu tích lũy tăng mạnh theo thời gian Hình - Các hước quớ trình khám phá tr i thức (KDD) / Hình - Minh họa luật kết hợp 16 Hình - Ví dụ vân đề "Điểm biên ĩỊÕy " tiến hành rờ i rạc hóa liệ u 25 Hình - Đồ thị hàm thuộc cùa tập mờ "T u o ijrè ", "T u o ijru n g niên", "Tìlơi g ià " 26 Hình - Đồ thị hàm thuộc hai tập mờ "Cholesterol thấp" "Cholesterol c a o " Hình - Thời gian xử lý tăng mạnh giảm giá trị fm insup 37 Hình - Sơ l trợng tập phơ biến luật tăng mạnh giám dan fminsup 38 Hình - So ỉượng độ tin cậv tâng mạnh giảm dần fminconf 39 Hình 10 - Thời gian xử lý tăng mạnh tăng nhẹ số lượng thuộc tín h 39 Hình ì I - Thời gian xử lý tăng tuyến tính với số lượng bàn g h i 40 Hình 12- So lượng tập phổ hiến luật tin cậy biến đổi theo toán tử T-norm .40 Hình 13 - Két khai phá phàn ảnh thay đổi ngưỡng gắn với tập m Hình 14- Thuật tốn phân phổi độ hỗ trợ hệ B X L 44 Hình 15 - Thuật tốn phân phổi liệu B X L 45 Hình ỉ - Thời ẹian sinh luật giảm mạnh tăng dần độ tin cậy tối thiểu 49 Hình - Sơ luật tin cậv giàm mạnh tăng dần độ tin cậy toi thiêu minconf 49 Hình 18 - Hình minh họa thuật toán phân chia 56 Hình 19- Thỏi gian xử lý giảm đáng kế tăng dân sỏ tiến trình song song 58 Hình 20 - Thời gian xử lý phụ thuộc vào tỷ lệ sổ tiến trình loẹic so CPU vật lý 59 Hình 21 - Cừo sơgiao diện FuzzyA R M 66 Hình 22 - Cứa sd dùng để tạo sửa đổi tập mờ 67 Hình 23 - Cứa sổ hiển thị kết khơi phá luật kết hợp mờ 67 Danh m ụ c b ản g biểu ỉì(inc / - Vi dụ CSDL dọng < ,iao d ịc h .17 Bỉnự - Các tập phơ biến CSDL bảng ì với độ hô trợ thiêu 50% 17 Bang - Luật kết hợp sinh từ tập phổ biển ACW 18 Bám: -t - CSDL khám chân đoán bệnh tim mạch cùa 17 bệnh nhân 22 Ba in: - Rỏi rạc hóa thuộc tỉnh sổ rờ i rạc hữu hạn thuộc tinh họng mục 24 Bant - Rời rọc hóa thuộc tính so "Lượng cholesterol m u " 24 Bàn ĩ - Rời rạc hóa thuộc tỉnh só “ Tuỏi tác " 24 Bánlìia IX) , tliuật t o n i ri m g b a n g 10 c ũ n g N P d â y du T u y n h i ê n , k ết tỊiia t h ụ c lé lại k h lạc q u a n d o h a u hết c c C S D L g i a o d ị c h u r n g đôi t h a C c kêl q u a ( Sl)l tlụrc n u h i ệ m c h o th ây thời g i a n t h n g t u y ê n tính vớ i k í c h t h c c ú a ( s ò lir ựng l lni ộc l ín h v a sơ l ợ n g b ả n ghi) Cỉiá sư đ ộ p h ứ c t p thời g i a n c ù a t h u ậ t t o n t u â n t ự ( b ả n g 10) c = /Í|IỊ TỊ), t r o n o ció jl| |T| t ư n g ứ n g s ố t h u ộ c tính v số b ả n ghi C h ú n g ta ứ c l u ợ n u đ u p h ứ c tạp t h ò i g i a n c u a t h u ậ t t o n s o n g s o n g d ự a t rê n ( ìia SƯ' c = / ( Ị I | , |T|) r ả i m hộ i h ố i m s o n g s o n g c ó N b ộ x ứ lý v t h u ậ t t o n p h â n c h i a (trono, b a n g ) lim i lu ự c n g h i ệ m tối uII V = ( k | , k 2, k m} K h n g m ấ t t ín h t ổ n g q uá t, a iá s ứ t a m d ầ u hộ ch i c ố k I b ộ \ ứ lý K h i d ỏ thời íiian t h ự c hi ệ n tì m tỉ, b ộ x lý hãnỵ, \/k I lân s o v ó i Ih u ậl t o n l u â n tụ' D o đ ó , đ ộ p h ứ c t p thời g i a n c ủ a t h u ậ t t o n s o i m s o n g g i a m k\ lần s o i t h u ậ t t o a n tu ần tự N ó i c c h k h c , đ ộ p h ứ c l p thời 58 íiian P C = c / N = /(|ỉ|, |T|) / kị N ế u h ệ t h ố n c t h ê m (l 12 ự> 1.2 0.8 n fi 04 02 n [1/4] [2/4] [3/4] [4/4] [S o tie n tiin li lo(|ic So CPUvột ỉyỊ -♦—Thời gian thực H ìn h 19 - T h ị i gian xú lý giam dáng kế tăng (lần số tiến trìn h song song Bièui d trê n d â y c h o b i ế t s ự p h ụ t h u ộ c c ủ a thời g i a n tì m k i ế m v o s ố l ợ n g lièn t r ì n h hòi g i a n x lý g i m đ n R k ể c h ú n g ta t n g d â n s ô l ợ n g tiên trì n h sons some, T u y n h i ê n , c ó m ộ t vài n g o i lộ, t ứ c n g o i m o n g m u ố n c ủ a n g i t h i m h i ệ m sổ tiế n trì n h s o n g s o n g t ă n g n h n g thời g i a n k h ô n g g i ả m d o n g h i ệ m 59 im k i ếm d ợ c t r o n c t huậ t t oá n ỏ' b ả n g 17 k h ô n g u h o ặ c d o phả i chi phí c h o riivên ( h tơ ne N ó i t ó m lại th ời uian x lý g i ả m t u y ế n tính so với s ò l ợ n g tiên trình c m ộ t n h ì n c h u n e n h ấ t v ề lĩnh v ự c K P D L r i u i x n m hai p h t b i ê u lại hài t o n khai phả luật kê! hợp d o R A g r a w a l d e xuâ t n ă m 11>9'3 Ní io ài v i ệ c p h t b i ể u c c k h i n i ệ m m ộ t c c h h ì n h t h ứ c , c h n g nà y c ò n p h c h ọ a m ộ t s ô n h n h n g h i ê n c u c ụ thê n h luật k ê t h ợ p với t h u ộ c tính iront» sị., luạt kết h ọ p m k h a i p h s o n g s o n g luật kêt h ợ p v.v M ụ c tiêu c ủ a c h i r o n e n y trình b y tất nhữna khái niệm CO' b ả n t r o n g hài t o n khai phủ luật kè! Ììơp v n l u ì n g mỏ' r ộ n g c u a t o n Dira t r ê n n h ữ n g d ề x u ấ t c ủ a 14 [9] [38] [39], c h n g b a c ủ a luận v ă n d ã trình há\' so liưọc v ề luật kết h ợ p voi t h u ộ c tính t r ọ n g s ố c ù n g với n h ữ n g ưu n h ợ c d i è m cúai T u y n h i ê n , m ụ c tiêu c h í n h c ủ a p h â n n y trì nh b y v ê luậl kêl h ợ p mò', niội d i m luật két h ọ p m rộne, m ề m d ẻ o h n , g ầ n gũi h n c ủ a d n g luật kết h ọ p co buìn t r o n é chivona, liai N h ữ n g nội d u n g trì nh b y t r o n g [4] 19 q u v ă n tăt chira nói lên h ết d ợ c V n g h ĩ a c u a luật k ế t h ợ p m v đ ặ c biết m ố i q u a n hệ “ lố n h ị " u i ữ a luật kết h ọ p m v p h é p k é o t h e o t r o n g loụ ic m L u ậ n v ă n lý giải d ợ c t;.ii s a o lại s ứ clụnu h o ặ c p h é p lay h o ặ c p h é p tích đại s ố c h o to n l I n o r m ( l ~ c h u â n ) Irorm côna, t h ứ c (3.6) P h ầ n nà y c ũ n g n ê u lại tlniậl t o n lìm luật két h ợ p m t r o n é |4J [9] dira t r ê n t h u ậ t to n A p r i o r i c ù n g với m ộ t vài s a dối nhỏ Cil ôi c h i n o n s nà y m ộ t đ ề x u ấ t v ê c c h c h u y ể n đổi t lu ật kết h ợ p m s a n g luật kci h ợ p v i t h u ộ c lính t r ọ n a số Đ e x u ấ t n y làm nổ i b ậ t u đ i ể m c ủ a luật k ết h ợ p m khù c ầ n n ó c ũ n s c ó th ể đ ợ c c h u y ể n v ề d n a luật kế t h ợ p t h ô n e t h n g e ti 11 d ê clànu 61 d u r a n a bốn luận văn dê xuất m ột thuật toán so n g s o n g áp d ụ n g cho hài t o n k h a i p h luật kêt h ợ p m V i t h u ật t o n này, c c b ộ x lý t r o n g h ệ t h ố n g u i m t l ọ c tơi da c ị i m v i ệ c t r u y ề n t h ô n g v dont» b ộ h ỏ a I r o n g s u ố t q u trinh tính t ốn Sỏ' d ĩ t h u ậ t t o n h o t đ ộ n g k h “ lý t n g ” n h v ậ y n h c c h c h i a t ập t h u ộ c tín h í n m c v i ê n m ộ t c c h v a c ô n g b ằ n g v a k h ô n k h é o C ô n g b ằ n g c h ỗ tập ứno, c v i ê n d ợ c c h i a đ ề u c h o c c b ộ x lý, c ỏ n k h ô n k h é o c h ỗ c c t ậ p ứ n g c v i ê n s a u c h i a c h o t ìm » b ộ x lý h o n t o n đ ộ c lập v i n h a u N h ợ c đ i ể m c u a thuậ" t o n n y áp d ụ n g c h o lu ật kết h ợ p v i t h u ộ c tí n h s ổ v luật k ế t h ợ p m c ũ n a n h t h ự c h i ệ n tr ê n c c h ệ t h ố n g s o n g s o n g k h ô n g c h i a sẻ ( s h a r e d nothinạ system s) T r o n « q u a trình t h ự c h i ệ n lu ận v ă n CŨ 11ÍĨ n h t r o n g th i g i a n t r c d ó , lôi đ ã c ô ũ ã n u l ập (rune, n g h i ê n c ứ u t o n n y c ũ n g n h đ ã t h a m k h o k h n h i ề u tài liệu lien q u a n T u y n h i ê n , d o thời g i a n v t rì n h đ ộ c ó h n n ê n k h ô n g t r n h k hỏ i n l u ì n g h n c h e t h i ế u sót n h ấ t đ ịn h T ô i t h ậ t s ự m o n g m u ố n n h ậ n đ ợ c n h ữ n g g ó p V cá v ê c h u y ê n m ô n lần c c h t rì n h b y c ủ a lu ận v ă n l h n đọ c C ô n g v i ệ c n g h iê n c ứ u t r o n g t u ’O’n g la i K h a i ph ú luật kêt hợp hài t o n đ ợ c k h n h i ê u n h n g h i ê n c u q u a n t â m d ợ c ứ i m t lụ n ụ r ộ n u rãi t r o n g c c lĩ n h v ự c c ũ n g n h c h ứ a đ ự n g n h i ề u h n g m r ộ n g k h c n h a u N u a y t r o n e l u ậ n v ă n nà y, c ũ n g c hỉ c h ọ n m ộ t h n g n h ỏ d ế nu h i ê n c ứ u Trono, t h ò i i a n tới c h ú n g m r ộ n g n g h i ê n c ứ u c ủ a m ì n h m ộ t sơ luróĩie, s a u : K h a i p h luậ t k ê t h ợ p mị' vói t h u ộ c tín h đ ợ c đ n h t r ọ n g số M ụ c đ í c h c ủ a bải o a n I) l ì m c c h c n t r ọ n g số c h o c c t h u ộ c tí n h đ ể b i ể u thị m ứ c đ ộ q u a n t r ọ n g 'tia c h i m e đ ố i với luật V í d ụ k h a i p h luật kết h ợ p liên q u a n đ ế n b ệ n h tim n c h n h ữ n g t h o n g tin v ê hu vêt áp, lượng đường máu v cho lestero l q u a n r ọ n g h n t h n « tin v ề trọng hrợnẹ v ti tác, d o đ ó c h ú n g đ ợ c g a n t r ọ n g sô n h n B i t o n n y t h ự c k h ô n g m i m ẻ m đ ã đ ợ c m ộ t vài n g i đ ề xu ấ t, uy n h i ê n lió c h u a d ợ c s iả i q u y ế t t h u ẩ u đ o M ặ t k h c , t h u ậ t t o n k h a i p h d ữ iệu SOI1H s o n « tr ê n c hí p d ụ n g c h o h ệ t h ố n g s o n g s o n g k h ô n g c h i a sẻ ( s h a r e d lothina, s y s t e m s ) T r o n g thời g i a n tới, c h ú n g n g h i ê n c ứ u đ è cài đ ặ t n ó lệ t h o n g s o n « s o n ẹ c h i a s ẻ n h h ệ đ a x lý đố i x ứ n g c h ẳ n g hạ n 62 T i liệ u th a m kh ảo T i liệu t i ế n « V i ệ t: I I Ị P h a n D ĩ n h D iệ u ( 9 ) , Lơ G ích C ác Hệ T ri Thức, N X B Đại h ọ c Q u ố c ui a I Nội I N ộ i [ D i n h M n h T n g ( 0 ) , T rí tuệ nhân tạo, N X B Đại h ọ c Q u ố c g i a H N ộ i I Nội T i liệu t i ê n g A n h : |3| A l a n R e a ( 9 ) Data M ining - An Introduction , T h e Pa ll el C o m p u t e r C e n t r e , T h e Q u e e n ' s U n i v e r s i t y o f B e l fa s t 14 A Itila Gyenesci A (2000) Fuzzy Approach fo r M ining Quantitative A sso cia tio n Rules T u r k u C e n t r e f o r C o m p u t e r S c i e n c e , T Ư C S T e c h n i c a l R e p o r t s N o 336 |5| Fast Sequential and P a lle l Algorithm s fo r A ssociation Rule Mining- A Com parison, D e p a r t m e n t o f C o m p u t e r S c i e n c e Andreas M ueller (1995), U n i v e r s i t y o f M a r y l a n d - C o l l e g e Pa r k , M D 16 Bling Liu W y n n e H s u , a n d Y i m i n g M a ( 9 ) " M i n i n g A s s o c i a t i o n R u l e s In A C M S ỈG K D D International Ctonference on K D D & Data M in in (7 (K D D -9 ), S a n D i e g o , C A I ISA w ith M ultiple M inim um Supports” B BloodSugar 0.0AND Class ♦1085 010| •Age_Middle ANDECGjDO ANDThaf3 -> BloodSugaTO0AND ClassJ ♦ (085 11) Age_0ld AND ECG 00 AND Thai 30 AND Class *> BloodSugai 00 - (085 11! Age Old AND Se> ~1 AND Angirva AND Thal_7 •> BloodSugar_00 4m««s 0111 - Age Old AND Se* AND ECG 2~0 AND Thai 70 -> BloodSugai 00 ♦1055 1li Age~OWAND SevJ AND ECGJ0 AND Thaf7 Class_2 " ♦ 1085 111■ChestPam AND BloodSugai 00 AND Angina 00 *v Class ♦ 1085 121- Age Old AND ECG 2.0 AND Ang»na I •> SexJ ♦1055.0 12) Age Did AND >es AND ChestPatn_4 AND BloodSugai 00 AND Thai Clas:_2 ♦10 85 131- Age"Middt* ANDc7ev_l AND Gas:_i -> Angma_00 ♦1085 3l Age Old AND BloodSugai 00 AND Angina AND Cla*3 2■> Sex ♦10135 013) BbodSugar_Q0 AND ECG’_2 0AND AnginaJ *:• ChestPam.4 ♦10 85 13|-Se*:_0 AND BloodSugai_00 AND ECG 00 ■> Angma_00 ♦ 1085 01.3| Sex 0.0 AND SloodSugaTO0 AND ECG~0 *> Thai ANDClass1 ♦ 1085.0 13) Sexl0 AND BloodSugarlO0 AND ECG_0.0 => Thal~30 ANDDait.1 ♦1085.0 13! •Sex 00 AND ECG 00 AIJDThai 30 *> Angina_0.0 AND Class ♦ 1085 013|- Sex~00 AND ECGlOO ANDThaf3 -> A/igir^a_00 AND Classj i Close i H inh 23 - C u a so hicn thi kct qua khai pha In At ket hop mo 02%|s| Ij ... Chuyển luật kết hợp mờ luật kết hợp với thuộc tính s ố 36 3.2.5 Thử nehiệm kết l u ậ n 37 Chương Khai phá song song luật kết hợp m 42 Một sơ thuật tốn song song khai phá luật kết. .. set): tìm kiếm luật kết hợp dựa lý thuyết lập thơ [41] Nuồi cịn sơ lurớng nehiên cứu khác vê khai phá luật kêt khai phá luật kết hợp trực luyến [33], khai phá luật kết hợp h ợ p như: kết trực tuyến... chuyển dổi luật kết hợp mò' dạng luật kết hợp với thuộc tính so dựa vào imưỡim Wf tirona ứng với tập mờ í lừng thuộc tính mờ Clurơnạ tập trung vào toán "khai phá song song luật kết hợp" Phần dầu