Trang 1 DÈng thÞ hiền thanh Ký thuật mỈng nÈron vẾ giải thuật di truyền trong khai phÌ dứ liệu vẾ thữ nghiệm ựng dừng Luận vẨn thỈc sý cẬng nghệ thẬng tin Trang 2 --- DÈng thÞ hiền t
bộ giáo dục đào tạo trờng đại học bách khoa hà nội Dơng thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Luận văn thạc sỹ công nghệ thông tin Hà nội 2008 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057204942891000000 bé gi¸o dục đào tạo trờng đại học bách khoa hà néi - Dơng thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chuyên ngành: Công nghệ thông tin Luận văn thạc sỹ công nghệ thông tin Ngời hớng dÉn khoa häc: Pgs Ts Ngun thđy Hµ néi - 2008 Môc lôc Môc lôc Danh mục từ viết tắt Danh mục bảng Danh môc hình vẽ đồ thị Lêi nãi ®Çu Ch¬ng khai phá liệu phát tri thức csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL Error! Bookmark not defined 1.1.1 Tại cần phát tri thức? Error! Bookmark not defined 1.1.2 Khai phá liệu phát tri thức sở liệuError! Bookmark not defined 1.2 Quá trình pháT HIệN TRI THứC CƠ Sở Dữ LIệUError! Bookmark not defined 1.2.2 Thu thập tiền xử lý liệu Error! Bookmark not defined 1.2.3 Khai phá liệu Error! Bookmark not defined 1.2.4 Minh hoạ đánh giá Error! Bookmark not defined 1.2.5 Đa kết vào thực tế Error! Bookmark not defined 1.3 c¸c kü thuật Khai phá liệu Error! Bookmark not defined 1.3.1 Kiến trúc hệ thống khai phá liệu Error! Bookmark not defined 1.3.3 NhiƯm vơ chÝnh cđa khai phá liệu Error! Bookmark not defined 1.3.4 Một số phơng pháp khai phá liệu phổ biếnError! Bookmark not defined 1.3.5 Những u khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liệu Error! Bookmark not defined KÕt luËn ch¬ng Error! Bookmark not defined Ch¬ng kü thuật khai phá liệu sử dụng mạng nơron gi¶i tht di trun 21 2.1 M¹ng nơron khai phá liệuError! Bookmark not defined 2.1.1 Khái niệm mạng nơron Error! Bookmark not defined 2.1.2 Nơron sinh học mạng nơron sinh học Error! Bookmark not defined 2.1.3 Mô hình trình xử lý nơron nhân tạoError! Bookmark not defined 2.1.4 Cấu trúc phân loại mạng nơron Error! Bookmark not defined 2.1.5 Häc vµ lan trun m¹ng Error! Bookmark not defined 2.1.6 Đánh giá mạng nơron Error! Bookmark not defined 2.2 Gi¶i tht di trun khaI PHá Dữ LIệUError! Bookmark not defined 2.2.1 Cơ gi¶i tht di trun Error! Bookmark not defined 2.2.2 Một số cách biểu diễn lời giải giải thuật di truyềnError! Bookmark not defined 2.2.3 Các toán tư di trun Error! Bookmark not defined 2.2.4 Cơ sở toán học giải thuật di truyền Error! Bookmark not defined 2.2.5 Những cải tiÕn cđa gi¶i tht di trun Error! Bookmark not defined KÕt luËn ch¬ng Error! Bookmark not defined Chơng tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron trun th¼ng nhiỊu líp 50 3.1 Đặt vấn đề Error! Bookmark not defined 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngợc sai số số cải tiến Error! Bookmark not defined 3.2.1 Kiến trúc mạng nơron truyền thẳng nhiều lớpError! Bookmark not defined 3.2.2 Cơ chế học mạng nơ ron truyền thẳng nhiều lớpError! Bookmark not defined 3.2.3 Thuật toán lan truyền ngợc sai số Error! Bookmark not defined 3.2.2 Mét sè c¶i tiÕn cđa gi¶i thuËt BP Error! Bookmark not defined 3.3 KÕt hợp giải thuật di truyền với giải thuật BPError! Bookmark not defined 3.3.1 Giải thuật GA huấn luyện mạng nơron truyền thẳng nhiều lớp Error! Bookmark not defined 3.3.2 Ghép nối với giải thuật lan truyền ngợc sai sèError! Bookmark not defined KÕt luËn ch¬ng Error! Bookmark not defined Ch¬ng ứng dụng toán dự báo liệu 71 4.1 giới thiệu toán Error! Bookmark not defined 4.2 m« hình hoá toán, thiết kế liệu giải thuật Error! Bookmark not defined 4.2.1 Mô hình hoá toán Error! Bookmark not defined 4.2.2 ThiÕt kÕ d÷ liƯu Error! Bookmark not defined 4.2.3 ThiÕt kÕ gi¶i thuËt Error! Bookmark not defined 4.3 chơng trình dự báo liệu Error! Bookmark not defined KÕt luËn ch¬ng Error! Bookmark not defined KÕt luËn 99 Tài liệu tham khảo 100 Kü thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Mục lục Môc lôc Danh môc từ viết tắt Danh mơc c¸c b¶ng Danh mục hình vẽ ®å thÞ Lời nói đầu Chơng khai phá liệu ph¸t hiƯn tri thøc csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL 1.1.1 Tại cần ph¸t hiƯn tri thøc? 1.1.2 Khai phá liệu phát tri thức sở liệu 1.2 Quá trình pháT HIệN TRI THứC CƠ Sở Dữ LIệU 10 1.2.2 Thu thập tiền xử lý liệu .10 1.2.3 Khai phá liệu 12 1.2.4 Minh hoạ ®¸nh gi¸ 12 1.2.5 Đa kết vào thực tế 13 1.3 kỹ thuật Khai phá liệu 13 1.3.1 Kiến trúc hệ thống khai phá liệu .13 1.3.3 NhiƯm vơ chÝnh khai phá liệu 17 1.3.4 Một số phơng pháp khai phá d÷ liƯu phỉ biÕn 19 1.3.5 Những u khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liÖu 24 KÕt luËn ch¬ng 27 Chơng kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền 21 2.1 Mạng nơron khai phá liệu 28 2.1.1 Kh¸i niệm mạng nơron .28 2.1.2 Nơron sinh học mạng nơron sinh häc 29 2.1.3 Mô hình trình xử lý nơron nhân tạo .30 2.1.4 Cấu trúc phân loại mạng nơron 33 2.1.5 Học lan truyền mạng .36 2.1.6 Đánh giá mạng nơron .40 D-ơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIƯU 42 2.2.1 C¬ b¶n vỊ gi¶i tht di trun .42 2.2.2 Mét sè c¸ch biĨu diƠn lêi gi¶i cđa gi¶i tht di trun .45 2.2.3 C¸c to¸n tư di trun 46 2.2.4 Cơ sở toán học giải thuật di truyền 52 2.2.5 Những cải tiÕn cđa gi¶i tht di trun .54 KÕt luËn ch¬ng 56 Chơng tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron truyền thẳng nhiều lớp 50 3.1 Đặt vÊn ®Ị 57 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngợc sai số số cải tiến 57 3.2.1 KiÕn tróc mạng nơron truyền thẳng nhiều lớp 57 3.2.2 Cơ chế học mạng nơ ron trun th¼ng nhiỊu líp 59 3.2.3 Thuật toán lan truyền ngợc sai số .60 3.2.2 Mét sè c¶i tiÕn cđa gi¶i tht BP 71 3.3 Kết hợp giải thuật di truyền víi gi¶i tht BP 73 3.3.1 Giải thuật GA huấn luyện mạng nơron truyền thẳng nhiều lớp 73 3.3.2 Ghép nối với giải tht lan trun ngỵc sai sè 75 KÕt luËn ch¬ng 76 Chơng ứng dụng toán dự báo liƯu 71 4.1 giíi thiƯu toán 78 4.2 mô hình hoá toán, thiết kế liệu giải thuật 80 4.2.1 Mô hình hoá toán 80 4.2.2 ThiÕt kÕ d÷ liƯu 81 4.2.3 ThiÕt kÕ gi¶i thuËt .82 4.3 chơng trình dự báo liệu 93 KÕt luËn ch¬ng 98 KÕt luËn 99 Tài liệu tham khảo 100 D-ơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục tõ viÕt t¾t STT Tõ viÕt t¾t NghÜa tiÕng viƯt tiếng anh ANN Mạng nơron nhân tạo Artficial Neural Network BNN Mạng nơron sinh học Biological Neural Network BP Giải thuật lan truyền ngợc sai số Back-Propagation of error Csdl Cơ sở liệu Data Base dm Khai phá liệu Data Mining GA Giải thuật di truyền Genetic Algorithm Kdd Phát tri thức Knowledge CSDL D-ơng Thị Hiền Thanh – CNTT 2006 Database Discover in Kü thuËt m¹ng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục bảng Bảng 1.1: Dữ liệu học ví dụ định chơi tennis 20 Bảng 2.1: Ví dụ dùng phép tái tạo 48 Bảng 2.2: Quá trình tái tạo 51 Bảng 2.3: Quá trình lai ghép 51 Bảng 3.1: Các hàm kích hoạt 69 B¶ng 4.1: Số liệu thử nghiệm toán dự báo 79 D-ơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục hình vẽ đồ thị Hình 1.1: Quá trình phát tri thức CSDL 10 H×nh 1.2: Kiến trúc hệ thống khai phá liệu 14 Hình 1.3: Quá trình khai phá liệu 15 Hình 1.4: Kết ph©n cơm 18 Hình 1.5: Cây định chơi tennis 20 Hình 2.1: Cấu tạo nơron 29 H×nh 2.2: Thu nhËn tÝn hiƯu n¬ron 30 Hình 2.3: Mô hình nơron nhân tạo 31 Hình 2.4: Hàm Sigmoidal 33 Hình 2.5: Mạng nơron truyền thẳng nhiều lớp 35 H×nh 2.6: M¹ng håi quy 35 Hình 2.7: Sơ đồ häc tham sè cã gi¸m s¸t 37 Hình 2.8: Sơ đồ học tăng cờng 38 Hình 2.9: Sơ đồ học không gi¸m s¸t 38 Hình 3.1: Mạng nơron truyền thẳng lớp 58 H×nh 3.2: Sơ đồ hiệu chỉnh trọng số giải thuËt BP 59 H×nh 3.3: Sơ đồ mà hoá trọng số mạng nơron 74 Hình 3.4: Sơ ®å cđa gi¶i tht lai 76 Hình 4.1: Sơ đồ khối giải thuật Phân hệ 84 Hình 4.2: Sơ đồ khối giải thuật Phân hệ 1.1 86 Hình 4.3: Sơ đồ khối giải thuật Ph©n hƯ 1.2 89 Hình 4.4: Sơ đồ khối giải thuật Phân hệ 91 Hình 4.5: Màn hình chơng trình dự báo 93 Hình 4.6: Dữ liÖu tÖp huÊn luyÖn 94 Hình 4.7: Màn hình nhập tham số cho mạng nơron 94 Hình 4.8: Màn hình nhập tham số cho gi¶i thuËt GA 95 Hình 4.9: Tìm kiếm giải thuật GA 95 H×nh 4.10: Hn lun b»ng gi¶i tht BP 96 Hình 4.11: Màn hình dù b¸o 98 D-ơng Thị Hiền Thanh CNTT 2006