Kho dữ liệu data warehouse một số vấn đề khai phá dữ liệu

JO S V: ^ u>ữ ĐẠI HỌC QUÓC GIA HÀ NỘI KHOA CÔNG NGHỆ LÊ MẠNH CƯỜNG KHO DỮ LIỆU - DATA WAREHOUSE MỘT SỐ VÁN ĐÈ KHAI PHÁ DỮ LIỆU LUẬN VĂN THẠC s ĩ KHOA HỌC • • • H À N Ộ I - 2002 ĐẠI HỌC Q C GIA HÀ NỘI KHOA CƠ NG NGHỆ LÊ M Ạ N H C Ư Ờ N G KHO DỮ LIỆU - DATA WAREHOUSE MỘT SÓ VẨN ĐÈ KHAI PHÁ DỮ LIỆU C H U Y Ê N N G H À N H : C Ô N G N G H Ệ T H Ô N G T IN M Ã S Ó : 1 L U Ậ• N V Ã N T H Ạ• C s ĩ K H O A H Ọ• C NGƯỜI HƯỚNG DẨN KHOA HỌC TS VŨ Đ Ứ C THI TRƠNọTÂM HỒNG TIN TKií y ị í i ị I V - L o / H À N Ộ I - 2002 to j M ự c LỤC GIỚI T H IỆU CHƯƠNG TÓNG QUAN 1.1 Tổng quan sở liệu & Khai phá liệu 1.1.1 Tổ chức & Khai thác sở liệutruyền thống 1.1.2 Bước phát triển việc tổ chức & khai phá sớ liệu 1.2 Kho dừ liệ u 1.3 Khai phá liệu & trình phát tri thức CHƯƠNG KHO DỮ LIỆU 13 2.1 Giới thiệu chung kho dừ liệu 13 2.1.1 Sự cần thiết Kho liệu 13 2.1.2 Định nghĩa kho liệu 16 2.1.3 Hệ thống sở liệu tác nghiệp & Hệ thống kho liệu 18 2.2 Sử dụng dừ liệu kho dừ liệu 21 2.3 Kiến trúc Kho dừ liệu 22 2.3.1 Kiến trúc chung 22 2.3.2 Các kiểu kiến trúc kho dừ liệu 29 2.3.2.1 Kiến trúc theo nhu cầu quản lý quan 30 2.3.2.1 Kiến trúc dựa theo phân lớp liệu 31 2.3.2.3 Kiến trúc theo mơ hình Client/Server 31 CHƯƠNG KHAI PHÁ DỮ L I Ệ U 34 Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu 3.1 Khái niệm khai phá dừ liệu 34 3.1.1 Khái niệm 34 3.1.2 Khai phá dừ liệu trình phát tri thức 34 3.2 Ọuá trình khai phá dừ liệu 37 3.2.1 Ọuá trình Khai phá số liệu 37 3.2.2 Các thành phần giải thuật Khai phá dừ liệu 39 3.3 Các phương pháp khai phá liệu phổ biến 40 3.3.1 Phương pháp Suy diễn - Qui nạp 40 3.3.2 Cây định Luật 41 3.3.3 Phát Luật kết hợp 42 3.3.4 Phân nhóm phân đoạn 43 3.3.5 Phương pháp dựa mẫu 44 3.3.6 Khai phá dừ liệu dạng văn 44 3.3.7 Mạng Neutron 45 3.3.8 Giải thuật di truyền 46 3.4 Khó khăn & Lợi khai phá dừ liệu so với phương pháp 47 3.4.1 Khó k hăn 47 3.4.2 Lợi khai phá dừ liệu so với phương pháp 48 CHƯƠNG ỨNG DỤNG GIẢI THUẬT DI TRUYỀN TRONG 52 KHAI PHÁ SỐ LIỆU VẬN CHUYÊN HÀNG KHÔNG 4.1 Giải thuật di truyền Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu 52 4.2 ứ n g dụng khai phá dừ liệu vận chuyển Hàng không 56 4.2.1 Xác định nhiệm vụ khai phá dừ liệu 56 4.2.2 Lựa chọn phương pháp 56 4.2.3 Thiết kế giải thuật 57 4.2.4 Thử nghiệm & đánh giá 61 4.2.5 Mã chương trình 68 K ÉT LUẬ N 89 TÀI LIỆU THAM K H Ả O Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu 90 GI ƠI THIỆU Trong thời đại ngày nay, người sống môi trường xã hội phát triển cao với bùng nồ dừ liệu Khi trình độ xã hội phát triển kiến thức người phát triển đồng thời lượng dừ liệu gia tăng theo mức độ Mặc dù môi trường tràn ngập dừ liệu, người dường thiếu thông tin Theo thống kê số tổ chức uy tín có 2%-3% lượng liệu chuyến thành thơng tin có ích Khi xã hội phát triển, lượng thông tin cần nhiều cơng việc tồ chức, khai phá liệu ngày khó khăn, v ấ n đề đặt ra, để xử lý tình trạng ? Kho dừ liệu giải pháp cho vấn đề Kho dừ liệu đời đáp ứng đòi hởi lưu trữ khai thác thông tin Nhưng, yếu tố thành công hoạt động xã hội ngày không dừng nắm giữ thông tin, mà cần biết sử dụng thơng tin cách có hiệu điều có nghĩa từ liệu sẵn có phải tìm thơng tin tiềm ẩn có giá trị mà trước chưa phát hiện, tìm xu hướng phát triển yếu tổ tác động lên chúng Thực cơng việc thực trình phát tri thức sở dừ liệu mà kỳ thuật cho phép ta lấy tri thức kỳ thuật khai phá dừ liệu Với phương hướng trên, Bản luận văn gồm phần sau: Chương : Tổng quan Giới thiệu tống quan sớ liệu & q trình phát tri thức kĩ thuật khai phá dừ liệu cốt lỗi Chương 2: Kho liệu: Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu -6- Giới thiệu chi tiết - định nghĩa kho dừ liệu, Kiến trúc chung cua kho liệu, kiếu kiến trúc & loại dừ liệu kho Chương 3: Khai phá dừ liệu Chương mô tả chi tiết vị trí vai trị , cần thiết khai phá liệu trình phát tri thức Các thành phần giải thuật khai phá liệu phươnạ pháp khai phá phổ biến Chương 4: ứ n g dụng giải thuật di truyền khai phá số liệu Vận chuyển hàng không Hà nội, Năm 2002 Lê Mạnh Cường Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu C H Ư Ơ N G ]: TỐNG QUAN 1.1 TỐN G QUAN VỀ c SỞ DỮ LIỆU & KHAI PHÁ D Ữ LIỆU 1.1 TÔ CHỨC VÀ KHAI THÁC c SỞ D Ữ LIỆU TRUYỀN TH Ố N G Ngay từ năm 60, Việc dùng phương tiện tin học để tổ chức khai thác sở dừ liệu (CSDL) phát triển Cho đến nay, nhiều CSDL xây dựng, phát triển khai thác khắp lĩnh vực hoạt động người xã hội Theo điêu tra cho thấy, lư ợ n g thông tin giới sau 24 tháng lại tăng gấp đôi Ngày nay, Với phát triền mạnh mẽ cơng nghệ bán dẫn, tạo hệ thống có nhớ với dung lượng lớn, xử lý tốc độ cao m ạng viễn thông với công nghệ truyền đại, người ta xây dựng hệ thống thông tin đại, trợ giúp hoạt động kinh doanh Điều tạo khối liệu khổng lồ, cần xử lý , bao gồm sở dừ liệu cực lớn cỡ gigabytes chí terabytes lưu trữ liệu kinh doanh ví dụ liệu thơng tin khách hàng, liệu bán hàng, dừ liệu tài khoán, v.v Nhiều hệ quản trị CSDL với công cụ mạnh đời trợ giúp cho người khai thác có hiệu nguồn tài ngun liệu Mơ hình CSDL quan hệ ngơn ngừ vấn tin chuẩn (SQL) có vai trị quan trọne việc tổ chức khai thác CSDL Cho đến nay, không tô chức kinh tế không sử dụng hệ quản trị CSDL hệ công cụ báo cáo, ngôn ngữ hỏi đáp nhằm khai thác CSDL phục vụ cho hoạt động tác nghiệp Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu 1.1.2 BƯỚC PHÁT TRIỂN CỦA VIỆC TỐ CHÚC VÀ KHAI PHÁ c SỞ D Ừ LIỆU Theo phát triển lên hệ thống sở dừ liệu, hệ thống thơng tin chun mơn hố, phát triển chuyên sâu theo lĩnh vực ứng dụng sản xuất, kinh doanh, tài chính, thị trường v.v Như vậy, bên cạnh chức khai thác liệu có tính chất tác nghiệp, ứng dụng kinh doanh không liệu đơn hệ thống mà sở dừ liệu cần đem lại “tri thức” nhừng liệu Trong xã hội nay, Các hoạt động kinh doanh cần có định nhanh & xác dựa liệu sẵn có, khối lượng liệu tăng nhanh làm ảnh hưởng đến thời gian định khả hiểu hết nội dung liệu Điều dẫn đến mô hình CSDL truyền thống ngơn ngữ SQL khơng có khả đáp ứng yêu cầu Đe lấy thơng tin có tính “tri thức” khối liệu không lồ này, người ta tìm kỹ thuật có khả hợp liệu từ hệ thống dừ liệu khác nhau, chuyển đổi thành tập hợp sở dừ liệu ồn định, có chất lượng sử dụng riêng cho vài mục đích Các kỳ thuật gọi chung kỹ thuật tạo kho dừ liệu (Data Warehousing) môi trường dừ liệu có gọi kho liệu Tuy nhiên, việc sử dụng cách khai thác liệu theo khai thác truyền thống dừng lại cách khai thác dừ liệu với kỹ thuật cao đê đưa dừ liệu tinh xác chưa đưa liệu “tri thức” Kho liệu sử dụng đế hồ trợ cho phân tích trực Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu tuyến (OLAP) có khả phân tích dừ liệu, xác định xem gia thuyêt hay sai đưa giả thuyết Kỹ thuật học máy có thê đưa giả thuyết tập dừ liệu lớn kho dừ liệu chúne khả phưong pháp thống kê khơng có cải tiến để phù hợp với phát triển liệu Đây lý khối lượng lớn dừ liệu chưa khai thác chí lưu chủ yếu kho liệu không trực tuyến Điều tạo nên lồ hơng lớn việc hồ trợ phân tích tìm hiểu dừ liệu, tạo khoảng cách việc tạo liệu việc khai thác dừ liệu đỏ Trong đó, ngày người ta nhận thấy phân tích thơng minh liệu nguồn tài nguyên quí giá cạnh tranh thương trường, công nghệ nghiên cứu, đáp ứng nhu cầu khoa học hoạt động thực tiễn Đó công nghệ Khai phá dừ liệu 1.2 KHO D Ữ LIỆU Kho dừ liệu mơi trường có cấu trúc hệ thống thông tin, cung cấp cho người dùng thơng tin khó truy nhập biểu diễn CSDL tác nghiệp truyền thông, nhàm mục đích hồ trợ việc định mang tính lịch sử Chi tiết kho liệu, ta nghiên cứu phần sau Một kho dừ liệu coi hệ thống thơng tin với thuộc tính sau: - Là sờ dừ liệu thiết kế có nhiệm vụ phân tích, sử dụng dừ liệu từ ứng dụng khác Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu - 76 - P A R A M E T E R S _ g l,_ g P R I V A T E c _ tm p l,c _ tm p ,c _ tm p ,g _ tm p ,i,j,k ,_ o ld c ity ,_ n e w c ity ,_ s tr M a n g tru n g gian * vi tri : 1- M a TP, 2- Chi so, 3- 6: chi so cac th a n h p h o lien quan, 7T o n g so T P lien q uan D IM E N S IO N c _ t m p 1( P o p L e n ,4 ),C _ tm p (P o p L e n ,4 ) ,C _ tm p (P o p L e n ,7 ) ,G _ tm p ( P o p L e n) S T O R E T O G _ J m p ,c _ tm p 1,c _ tm p ,c _ tm p ,g _ tm p K hoi ta o ban dau F O R i= l T O P o p L e n c _ tm p l( i,l) = City(i,l) c_ tm p l(i,2) = City(i,2) C _ t m p ( i ,l ) = C i t y ( i ,l ) C_tmp2(i,2) = City(i,2) c_ tm p (i,l) = C ity (i,l) c _ tm p (i,2 ) = C ity (i,2 ) c_tmp(i,3) = c_tmp(i,4) = c_tmp(i,5) = c_tmp(i,6) = c_tmp(i,7) = Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu -77- ENDFOR P h a n tich ca the ch a-m e FO R k = l TO PopLen F O R i= l T O P o p len th en IF c_ tm p 1(k ,2 )= d P o p ( _ g l,i ) th en D O case C A S E i= l & & Vi tri d au C _ t m p l ( k ,3 ) = d P o p ( _ g l , i + l ) C _ tm p 1(k ,4 )= d P o p ( _ g l ,P o p L en ) C A S E i= P o p L e n C _ tm p 1(k,3 )= d P o p (_ g , i - 1) C _ t m p l ( k ,4 ) = d P o p ( _ g l ,1) O T H E R W IS E C _ t m p l ( k ,3 ) = d P o p ( _ g l , i - l ) C t m p 1(k ,4 )= d P o p ( _ g , i + 1) ENDCASE E N D IF ENDFOR F O R i= l T O P o p len th en IF c _ tm p (k ,2 )= Q ld P o p (_ g ,i) th en Kho dir lieu Data Warehouse - Mot so van de khai pha so lieu - 78- case C A S E i = l & & V i tri dau C _ tm p ( k ,3 ) = d P o p ( g , i + l ) C _ tm p (k ,4 )= d P o p (_ g ,P o p L e n ) C A S E i= P o p L en C _ tm p ( k ,3 ) = d P o p ( _ g ,i - l) C _ tm p (k ,4 )= d P o p ( _ g ,l ) O T H E R W IS E C _ tm p ( k ,3 ) = d P o p ( _ g ,i - l) C _ tm p ( k ,4 ) = d P o p ( _ g ,i + l ) ENDCASE E N D IF ENDFOR IF C _ tm p ( k ,3 ) = C _ tm p (k ,4 ) O R c_tmp 1(k ,3 )=c_tmp 1(k ,4 ) th en retu rn F E N D IF ENDFOR G h e p c h a -m e Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 79- F O R k = l T O P op Len && Gan ca the cha c_tmp(k,3) =c_tmpl(k,3) c_tmp(k,4) = c_tm pl(k,4) c_tmp(k,7) = _ C s t r = S T R ( C _ t m p l( k ,3 ) ,3 ) + [ - ] + S T R ( C _ t m p l( k ,4 ) ,3 ) & & G an ca the me IF A T (S T R ( C _ t m p (k ,3 ),3 ),_ C s t r ) = then c_tmp(k,5)= C_tmp2(k,3) c_tmp(k,7)= _ C s tr= _ C s tr + [-]+ S T R (C _ tm p (k ,3 ),3 ) E N D IF IF A T (S T R ( C _ t m p (k ,4 ),3 ),_ C s t r ) = then c_tmp(k, C_tmp(k,7)+3)= C_tmp2(k,4) c_tmp(k,7)= c_tmp(k,7)+l E N D IF ENDFOR T a o ca the S T O R E T O P o p Elem en t & & L a y phan tu dau tien g ia tr i d P p ( _ g l,l) ,0 d P p ( _ g ,l) P R IV A T E ran ran=0 Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu - 80- W H IL E _ n = _ r a n = R O U N D ( R A N D ( ) * P o p L e n ,0 ) ENDDO _ fp o s = _ n D O case CASE c tm p (0 d P o p ( g l , fp os),7) > C _ tm p ( d P o p (_ g ,_ fp o s ),7 ) P o p E le m e n t( 1)= d P o p (_ g ,_ fp o s) C A S E C _ tm p ( d P o p ( _ g l ,_ fpo s),7) < C _ tm p (0 d P o p (_ g ,_ fp o s ),7 ) P o p E le m e n t( )= d P o p ( _ g l ,_fpos) O T H E R W IS E _ran= R A N D () _ran=R A N D () IF _ ran < 0.5 then P o p E le m e n t( 1)= d P o p (_ g ,_ fp o s ) ELSE P o p E lem en t( 1)= d P o p ( _ g l ,_fpos) E N D IF ENDCASE & & L ay tu p h a n tu thu ^ s tr ^ - J + S T R ^ P o p E le m e n tC 1),3) Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu -81- F O R i=2 T O P op L en _ J d c ity = P o p E le m e n t( i- 1) _ F c h o n =.F O ld city = F O R j= T O + C _ tm p ( _ Id c ity ,7 ) - & & D u y e t tro n g cac th an h p h o goc IF C _ tm p (_ Id c ity ,j) = then exit E N D IF IF A T ([-]+ S T R (c _ tm p (_ Id c ity ,j),3 ),_ C s tr) > T H E N && c h o n T P kh ac tro n g T P goc LOOP E N D IF IF !_F ch on _ d C it y = C _ t m p (_ Id c it y ,j) & & K ho i tao th a n h p h o du oc ch o n dau tien _ F c h o n =.T LOOP E N D IF _ N e w c ity = C _ tm p (_ Id city ,j) D O case C A S E C _ tm p (_ N e w c ity ,7 ) > Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu - 82- C_tmp(_01dcity,7) && So th a n h p h o lien q u a n lon hon & & giu n g u y e n C A S E C _ tm p ( _ N e w c ity ,7 ) < C _ tm p (_ d c ity ,7 ) & & So th a n h p h o lien q u a n lon hon _ d C ity = _ N e w c ity O T H E R W IS E _ ran=R A N D () _ran= R A N D () IF ran > th en _ O Id C ity = _ N e w c ity E N D IF ENDCASE ENDFOR P o p E le m e n t(i)= O ld city _ C s tr= _ C s tr + [ -] + S T R (P o p E le m e n t( i) ,3 ) IF P o p E le m e n t(i)= R E T U R N F E N D IF ENDFOR F O R i= l T O P o p len Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 83- IF P o p E le m e n t(i)= R E T U R N F E N D IF ENDFOR R E T U R N T * SELECTGAS * Phep ch o n , Su d u n g m a n g O ld P o p , N e w P o p * Chi lay P o p S iz e phan tu sa n g O ld P O p P R O C E D U R E S elect G as & & T in h lai g ia tri luo ng g ia cho tu n g ca the tro n g _ N e w P o p P R IV A T E i,j,k ,_ m a x ,ig ,_ T c o st,_ tm p F O R ig = l T O * P o p S iz e 1F N e w P o p ( i g ,l ) = th en E X IT E N D IF S T O R E T O P o p E le m e n t FO R j= l T O PopLen Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 84- P o p E le m e n t(j) = N e w P o p ( i g j ) ENDFOR _ T c o s t= _ T c o s t= E v a lu e C o s t() N e w P o p ( i g ,P o p L e n + l ) = _ T c o s t ENDFOR _ m ax = ig -1 & & X ap x ep th eo thu tu ta n g dan cu a to n g chi phi, d u a th e o p h u o n g phap & & b u b b le S o rt F O R i=2 T O _ m a x FO R j= m ax TO i S T E P - IF N e w P o p ( j - l , P o p l e n + l ) > = N e w P o p ( j ,P o p l e n + l ) T H E N & & doi ch o p h an tu thu j, j-1 F O R k = l T O P opL en+ _ tm p = N e w P o p ( j-l ,k) N e w P o p ( j - l ,k ) = N e w P o p (j,k ) N e w P o p ( j,k ) = _ tm p ENDFOR E N D IF ENDFOR ENDFOR Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 85- & & G a n lai ket q u a ch o O ld P o p , lay P o p S iz e p h an tu d au tien F O R i= l T O P o p S ize F O R j = T O P opL en+ 1 d P p ( i,j) = N e w P o p ( i j ) ENDFOR ENDFOR RETURN * _ _ * _ G e n e tic s * T ien ho a * * * * _ * F U N C T I O N G en etics P A R A M E T E R S Npop STO RE TO N ew Pop & & L u u O ld P o p san g N e w p o p P R I V A T E i,j,k F O R i= l T O P o p size Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu - 86- F O R j = l T O P o p L en N e w P o p (i,j)= d P o p (i,j) ENDFOR ENDFOR & & C h o n n g au nh ien P o p S iz e lan ca the de thuc h ien tien h o a k p = P o p s iz e zg_=l D O W H IL E J < p < ( P o p S iz e + N p o p ) & & (P o p S iz e + N p o p ) ST O R E T O g l,g D O W H IL E g l = g STO R E T O g l,g D O w h ile g 1= g 1= R O U N D (R A N D ()* P o p S ize,C )) ENDDO D O w h ile g = g = R O U N D ( R A N D () * P o p S iz e ,0 ) ENDDO ENDDO S T O R E T O P o p E le m e n t IF C ro sso v e r _ E r ( g l,g ) th e n zg_= z g _ + Kho liệu Data Warehouse - Một Số vấn đề khai phá Số liệu - 87- & & K ie m tra x em da ton tai tro n g Nevvpop ch ua P R IV A T E _ E tm p , _ G tm p ,_ ig , J g _ E tm p = [] F O R J g = l T O P o p L en _ E tm p = _ E tm p + S T R (P o p E le m e n t(_ jg ) ,3 ) ENDFOR _ G tm p = [] _ ex its= F F O R _ ig = T O * P o p S iz e IF N e w P o p ( _ ig ,l )=0 then E X IT E N D IF _ G tm p = [] F O R J g = l T O P o p L en _ G tm p = _ G t m p + S T R ( N e w P o p ( _ ig ,J g ) ,3 ) ENDFOR IF _ G tm p = _ E tm p then _ e x its = T E X IT E N D IF ENDFOR IF ! exits then Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 88- _kp=_kp+l FOR j= l TO PopLen N e w P o p ( _ k p ,j) = P o p E le m e n t(j) ENDFOR E N D IF E N D IF EN D DO & & T h u c hien ch o n D O S e le c t G as R E T U R N ( _ k p - P o p S iz e ) Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 89- K ẾTLU Ậ N T ó m lại, Q u a n h ữ n g p h ân tích n c h ú n g ta v iệc ứ n g d ụ n g c ô n g n g h ệ th ô n g tin tro n g m ô i trư n g n g h iệp vụ n ay đ ã m a n g lại n h ữ n g h iệ u q u ả to lớn , đặc biệt c ô n g n g h ệ n g ày c n g đ ợ c p h t triển h o àn thiện , m rộ n g qui m ô áp d ụ n g từ n h ữ n g ứ n g d ụ n g đ n lẻ đến hệ th ố n g th ô n g tin c ỡ lớn C ác hệ th ố n g từ ch ỗ x lý đ n th uần c ô n g v iệc h n g ng ày tiến tới đ áp ứ n g n h ữ n g y ê u c ầu m ứ c độ c a o hơn, từ n h ữ n g hệ th ố n g sở d ữ liệu tru y ề n th ố n g chí khai thác quản lý n th u ầ n cho đ ến hệ th ố n g ch o p h ép q u ản lý p h â n tích tốt h oạt đ ộ n g h n g n g ày đ a q u y ế t định đ ú n g đắn, kịp thời cho h oạt đ ộ n g tro n g tư n g lai K h o d ữ liệu K h o d ữ liệu k h ô n g đ áp ứ ng đ ợ c kh thác th ô n g tin b ằ n g c ô n g cụ v ấn tin v báo cáo m sử d ụ n g đê hồ trợ cho phân tíc h trự c tu y ến , hồ trợ q u y ế t định tro n g K h p h d liệu m ộ t k h i n iệm đời bao h m m ột loạt kỹ th u ậ t n h ằ m p h t t h ô n g tin có giá trị tiềm ẩn tro n g các k h o d ữ liệu K h o dừ liệu cù n g với K h p h d liệu đ ã đ áp ứ n g đ ợ c p h ần n nhu cầu th ô n g tin - tri th ứ c c ủ a co n người B ản luận văn đ ã p h ần n o n ê u rõ đ ợ c n h u tất y ếu cần thiết c ủ a việc tổ ch ứ c x ây d ự n g K ho d liệu, m hình kiến trú c K h o c ũ n g n h v trò củ a K hai p h d ữ liệu tro n g n h iệ m vụ k h m p h tri th ứ c c ủ a x ã hội V h n n ữ a, luận v ăn c ũ n g việc ứ n g d ụ n g khai p h liệu tro n g k h o d liệu v ề v ậ n c h u y ển H n g k h ô n g q u a v iệc ứ ng d ụ n g giải t h u ậ t di tru yền Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu TA I K IỆ U T H A M K H A O : T iê n g việt: P h an đình D iệu ( 9 ),P hát tri thứ c & khai p h d ữ liệu- Đ ề c n g giới thiệu trình bày S em in ar hệ th ố n g th ô n g tin & tr ợ g iú p q u y ế t định V ũ đứ c Thi, Lê Hải K h ôi (1 9 ) “ M ột số ng uy ên lý hoạt đ ộ n g c ủ a K h o d ữ liệu ” , T p chí T in học & đ iều k h iển học T iế n g anh : A le x B erso n and S tep h en J.S m ith ( 9 ),D ata W areh o u sin g , D a ta m in in g & O L A P B a rry D ev lin (1 97 ), D a ta w a re h o u se : F rom A rc h ite c tu re to In p le m e n ta tio n , A d d is o n W esley D E G o ld b e rg (19 89 ), G en etic A lg o rith m s in S earch O p tim izatio n and M a c h in e L e arn in g , A d d itio n W esley H a r jin d e r s Gill c lie n t/S e rv e r an d P rak ash C o m p u tin g G u id e C R ao to (1 9 ), D ata The O fficial W a re h o u se in g , Que C o rp o tio n H o tu B ao (1998): In tro d u ctio n to k n o w le g e D io sc o v e ry and D ata m ining M F a h a y (1995), M in in g fo r D ata G old, R S /M a n a z in L u lia n P arker, T e re n c e S lo an and H on Y a u ,D a ta b a se M in in g R o n a ld J B n c h m a n an d Tej A nand K n o w le g e D isco v ery in D atabase Kho dừ liệu Data Warehouse - Một số vấn đề khai phá số liệu (1 9 ),T h e P ro cess of ... lại dừ liệu lưu trừ nguồn dừ liệu gốc Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu -25- •S Kho liệu cục hay dừ liệu theo chủ đề (Data mart): nơi dừ liệu khoanh vùng theo chủ đề tới... sàng cho ứng dụng Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu - 13- cH Ư Ơ N G : KHO DỮ LIỆU 2.1 GIÓI THIỆU CHUNG V Ề KHO D Ữ LIỆU 2.1.1 S ự CẦN THIẾT CỦA KHO DỮ LIỆU Việc áp dụng... liệu: Kho liệu Data Warehouse - Một số vấn đề khai phá số liệu -6- Giới thiệu chi tiết - định nghĩa kho dừ liệu, Kiến trúc chung cua kho liệu, kiếu kiến trúc & loại dừ liệu kho Chương 3: Khai phá