Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng

bộ giáo dục đào tạo trường đại học bách khoa hà nội Dương thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Luận văn thạc sỹ công nghệ thông tin Hà nội 2008 giáo dục đào tạo trường đại học bách khoa hà néi - Dương thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chuyên ngành: Công nghệ thông tin Luận văn thạc sỹ công nghệ thông tin Người hướng dÉn khoa häc: Pgs Ts Ngun thđy Hµ néi - 2008 Môc lôc Môc lôc Danh mục từ viết tắt Danh mục bảng Danh môc hình vẽ đồ thị Lêi nãi ®Çu Ch­¬ng khai phá liệu phát tri thức csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL Error! Bookmark not defined 1.1.1 Tại cần phát tri thức? Error! Bookmark not defined 1.1.2 Khai phá liệu phát tri thức sở liệuError! Bookmark not defined 1.2 Quá trình pháT HIệN TRI THứC CƠ Sở Dữ LIệUError! Bookmark not defined 1.2.2 Thu thập tiền xử lý liệu Error! Bookmark not defined 1.2.3 Khai phá liệu Error! Bookmark not defined 1.2.4 Minh hoạ đánh giá Error! Bookmark not defined 1.2.5 Đưa kết vào thực tế Error! Bookmark not defined 1.3 c¸c kü thuật Khai phá liệu Error! Bookmark not defined 1.3.1 Kiến trúc hệ thống khai phá liệu Error! Bookmark not defined 1.3.3 NhiƯm vơ chÝnh cđa khai phá liệu Error! Bookmark not defined 1.3.4 Một số phương pháp khai phá liệu phổ biếnError! Bookmark not defined 1.3.5 Những ưu khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liệu Error! Bookmark not defined  KÕt luËn ch­¬ng Error! Bookmark not defined Ch­¬ng kü thuật khai phá liệu sử dụng mạng nơron gi¶i tht di trun 21 2.1 M¹ng nơron khai phá liệuError! Bookmark not defined 2.1.1 Khái niệm mạng nơron Error! Bookmark not defined 2.1.2 Nơron sinh học mạng nơron sinh học Error! Bookmark not defined 2.1.3 Mô hình trình xử lý nơron nhân tạoError! Bookmark not defined 2.1.4 Cấu trúc phân loại mạng nơron Error! Bookmark not defined 2.1.5 Häc vµ lan trun m¹ng Error! Bookmark not defined 2.1.6 Đánh giá mạng nơron Error! Bookmark not defined 2.2 Gi¶i tht di trun khaI PHá Dữ LIệUError! Bookmark not defined 2.2.1 Cơ gi¶i tht di trun Error! Bookmark not defined 2.2.2 Một số cách biểu diễn lời giải giải thuật di truyềnError! Bookmark not defined 2.2.3 Các toán tư di trun Error! Bookmark not defined 2.2.4 Cơ sở toán học giải thuật di truyền Error! Bookmark not defined 2.2.5 Những cải tiÕn cđa gi¶i tht di trun Error! Bookmark not defined  KÕt luËn ch­¬ng Error! Bookmark not defined Chương tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron trun th¼ng nhiỊu líp 50 3.1 Đặt vấn đề Error! Bookmark not defined 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngược sai số số cải tiến Error! Bookmark not defined 3.2.1 Kiến trúc mạng nơron truyền thẳng nhiều lớpError! Bookmark not defined 3.2.2 Cơ chế học mạng nơ ron truyền thẳng nhiều lớpError! Bookmark not defined 3.2.3 Thuật toán lan truyền ngược sai số Error! Bookmark not defined 3.2.2 Mét sè c¶i tiÕn cđa gi¶i thuËt BP Error! Bookmark not defined 3.3 KÕt hợp giải thuật di truyền với giải thuật BPError! Bookmark not defined 3.3.1 Giải thuật GA huấn luyện mạng nơron truyền thẳng nhiều lớp Error! Bookmark not defined 3.3.2 Ghép nối với giải thuật lan truyền ngược sai sèError! Bookmark not defined  KÕt luËn ch­¬ng Error! Bookmark not defined Ch­¬ng ứng dụng toán dự báo liệu 71 4.1 giới thiệu toán Error! Bookmark not defined 4.2 m« hình hoá toán, thiết kế liệu giải thuật Error! Bookmark not defined 4.2.1 Mô hình hoá toán Error! Bookmark not defined 4.2.2 ThiÕt kÕ d÷ liƯu Error! Bookmark not defined 4.2.3 ThiÕt kÕ gi¶i thuËt Error! Bookmark not defined 4.3 chương trình dự báo liệu Error! Bookmark not defined  KÕt luËn ch­¬ng Error! Bookmark not defined KÕt luËn 99 Tài liệu tham khảo 100 Kü thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Mục lục Môc lôc Danh môc từ viết tắt Danh mơc c¸c b¶ng Danh mục hình vẽ ®å thÞ Lời nói đầu Chương khai phá liệu ph¸t hiƯn tri thøc csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL 1.1.1 Tại cần ph¸t hiƯn tri thøc? 1.1.2 Khai phá liệu phát tri thức sở liệu 1.2 Quá trình pháT HIệN TRI THứC CƠ Sở Dữ LIệU 10 1.2.2 Thu thập tiền xử lý liệu .10 1.2.3 Khai phá liệu 12 1.2.4 Minh hoạ đánh gi¸ 12 1.2.5 Đưa kết vào thực tế .13 1.3 kỹ thuật Khai phá liệu 13 1.3.1 KiÕn tróc hệ thống khai phá liệu .13 1.3.3 NhiƯm vơ chÝnh cđa khai phá liệu 17 1.3.4 Một số phương pháp khai phá liệu phỉ biÕn 19 1.3.5 Nh÷ng ưu khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liệu 24  KÕt luËn ch­¬ng 27 Ch­¬ng kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền 21 2.1 Mạng nơron khai phá liệu 28 2.1.1 Khái niệm mạng n¬ron .28 2.1.2 Nơron sinh học mạng nơron sinh học 29 2.1.3 Mô hình trình xử lý nơron nhân tạo .30 2.1.4 Cấu trúc phân loại mạng nơron 33 2.1.5 Học lan truyền mạng .36 2.1.6 Đánh giá mạng nơron .40 Dương Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU 42 2.2.1 Cơ gi¶i tht di trun .42 2.2.2 Mét sè c¸ch biĨu diƠn lêi gi¶i cđa gi¶i tht di trun .45 2.2.3 C¸c to¸n tư di trun 46 2.2.4 C¬ së toán học giải thuật di truyền .52 2.2.5 Những cải tiến giải thuËt di truyÒn .54  KÕt luËn ch­¬ng 56 Ch­¬ng tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron truyền thẳng nhiều lớp 50 3.1 Đặt vấn đề 57 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngược sai số mét sè c¶i tiÕn 57 3.2.1 Kiến trúc mạng nơron trun th¼ng nhiỊu líp 57 3.2.2 Cơ chế học mạng nơ ron truyền thẳng nhiều líp 59 3.2.3 Tht to¸n lan trun ng­ỵc sai sè .60 3.2.2 Mét sè c¶i tiÕn cđa gi¶i tht BP 71 3.3 Kết hợp giải thuật di truyền với giải thuật BP 73 3.3.1 Gi¶i thuËt GA huấn luyện mạng nơron truyền thẳng nhiều lớp 73 3.3.2 GhÐp nèi víi gi¶i tht lan trun ng­ỵc sai sè 75  KÕt luËn ch­¬ng 76 Ch­¬ng øng dụng toán dự báo liệu 71 4.1 giới thiệu toán 78 4.2 mô hình hoá toán, thiết kế liệu giải thuật 80 4.2.1 Mô hình hoá toán 80 4.2.2 ThiÕt kÕ d÷ liÖu 81 4.2.3 ThiÕt kÕ gi¶i thuËt .82 4.3 chương trình dự báo liệu 93  KÕt luËn ch­¬ng 98 KÕt luËn 99 Tài liệu tham khảo 100 Dương Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục từ viết tắt STT Tõ viÕt t¾t NghÜa tiÕng viƯt tiÕng anh ANN Mạng nơron nhân tạo Artficial Neural Network BNN Mạng nơron sinh học Biological Neural Network BP Csdl Cơ sở liệu Data Base dm Khai phá liệu Data Mining GA Giải thuật di truyền Genetic Algorithm Kdd Giải thuật lan truyền ngược cđa sai sè Back-Propagation of error Ph¸t hiƯn tri thøc Knowledge CSDL Dương Thị Hiền Thanh CNTT 2006 Database Discover in Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục bảng Bảng 1.1: Dữ liệu học ví dụ định chơi tennis 20 B¶ng 2.1: VÝ dơ dïng phép tái tạo 48 Bảng 2.2: Quá trình tái tạo 51 Bảng 2.3: Quá trình lai ghép 51 B¶ng 3.1: Các hàm kích hoạt 69 B¶ng 4.1: Sè liƯu thư nghiệm toán dự báo 79 Dương Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục hình vẽ đồ thị Hình 1.1: Quá trình phát tri thức CSDL 10 H×nh 1.2: KiÕn tróc cđa hệ thống khai phá liệu 14 Hình 1.3: Quá trình khai phá d÷ liƯu 15 Hình 1.4: Kết phân cụm 18 Hình 1.5: Cây định chơi tennis 20 H×nh 2.1: Cấu tạo nơron 29 H×nh 2.2: Thu nhËn tÝn hiƯu n¬ron 30 Hình 2.3: Mô hình nơron nhân tạo 31 Hình 2.4: Hàm Sigmoidal 33 H×nh 2.5: Mạng nơron truyền thẳng nhiều lớp 35 Hình 2.6: Mạng hồi quy 35 Hình 2.7: Sơ đồ học tham số cã gi¸m s¸t 37 Hình 2.8: Sơ đồ học tăng cường 38 Hình 2.9: Sơ đồ học không giám sát 38 H×nh 3.1: Mạng nơron truyền thẳng lớp 58 Hình 3.2: Sơ đồ hiệu chỉnh trọng số giải thuật BP 59 Hình 3.3: Sơ đồ mà hoá trọng số mạng nơron 74 Hình 3.4: Sơ đồ giải thuËt lai 76 Hình 4.1: Sơ đồ khối giải thuật Ph©n hƯ 84 Hình 4.2: Sơ đồ khối giải thuật Phân hÖ 1.1 86 Hình 4.3: Sơ đồ khối giải thuật Phân hệ 1.2 89 H×nh 4.4: Sơ đồ khối giải thuật Phân hệ 91 Hình 4.5: Màn hình chương trình dự báo 93 Hình 4.6: Dữ liệu tệp huấn luyÖn 94 Hình 4.7: Màn hình nhập tham số cho mạng nơron 94 Hình 4.8: Màn hình nhập tham số cho giải thuật GA 95 H×nh 4.9: Tìm kiếm giải thuật GA 95 H×nh 4.10: Hn lun b»ng gi¶i thuËt BP 96 Hình 4.11: Màn hình dự báo 98 Dương Thị Hiền Thanh CNTT 2006 ... 2.1.6 Đánh giá mạng nơron .40 Dương Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU 42... cứu ứng dụng kỹ thuật khai phá liệu 24  KÕt luËn ch­¬ng 27 Ch­¬ng kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền 21 2.1 Mạng nơron khai phá liệu. .. CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chương : Giới thiệu kiến trúc mạng nơron truyền thẳng nhiều lớp, giải thuật BP, vấn đề sử dụng giải thuật BP