Kỹ thuật mạng nơron và giải thuật di truyền trong khai phá dữ liệu và thử nghiệm ứng dụng luận văn thạc sĩ

giáo dục đào tạo trờng đại học bách khoa hà nội Dơng thị hiền Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Luận văn thạc sỹ công nghệ thông tin Hà nội 2008 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Mục lôc Môc lôc Danh mục từ viết tắt Danh môc bảng Danh mục hình vẽ đồ thị Lời nói đầu Chơng khai phá liệu phát tri thức csdl 1.1 tổng quan khai phá liệu phát tri thức CSDL .8 1.1.1 Tại cần ph¸t hiƯn tri thøc? 1.1.2 Khai phá liệu phát tri thức sở liệu 1.2 Quá trình pháT HIệN TRI THứC CƠ Sở Dữ LIệU 10 1.2.2 Thu thập tiền xử lý liệu .10 1.2.3 Khai ph¸ d÷ liƯu 12 1.2.4 Minh hoạ đánh giá 12 1.2.5 Đa kết vào thực tế .13 1.3 c¸c kỹ thuật Khai phá liệu 13 1.3.1 KiÕn tróc cđa hệ thống khai phá liệu .13 1.3.3 NhiƯm vơ chÝnh cđa khai ph¸ d÷ liƯu 17 1.3.4 Một số phơng pháp khai phá liệu phổ biÕn 19 1.3.5 Nh÷ng −u khó khăn thách thức nghiên cứu ứng dụng kỹ thuật khai phá liệu .24 ™ KÕt luËn ch−¬ng 27 Ch−¬ng kü thuật khai phá liệu sử dụng mạng nơron gi¶i tht di trun 21 2.1 Mạng nơron khai phá liệu 28 2.1.1 Khái niệm mạng nơron .28 2.1.2 N¬ron sinh học mạng nơron sinh học 29 2.1.3 Mô hình trình xử lý nơron nhân tạo .30 2.1.4 Cấu trúc phân loại mạng nơron 33 2.1.5 Häc vµ lan trun m¹ng 36 2.1.6 Đánh giá mạng nơron .40 D−¬ng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU 42 2.2.1 Cơ giải thuật di truyền .42 2.2.2 Một số cách biểu diễn lời giải giải thuật di trun .45 2.2.3 C¸c to¸n tư di truyÒn 46 2.2.4 Cơ sở toán học giải thuËt di truyÒn .52 2.2.5 Những cải tiến giải thuật di truyền .54 ™ KÕt luËn ch−¬ng 56 Chơng tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron truyền th¼ng nhiỊu líp 50 3.1 Đặt vấn đề 57 3.2 mạng nơron truyền thẳng nhiều lớp với giải thuật lan truyền ngợc sai số số cải tiến 57 3.2.1 Kiến trúc mạng nơron truyền thẳng nhiều lớp 57 3.2.2 C¬ chÕ häc cđa mạng nơ ron truyền thẳng nhiều lớp 59 3.2.3 Thuật toán lan truyền ngợc sai số .60 3.2.2 Mét sè c¶i tiÕn cđa gi¶i tht BP 71 3.3 Kết hợp giải tht di trun víi gi¶i tht BP 73 3.3.1 Gi¶i tht GA hn lun mạng nơron truyền thẳng nhiều lớp 73 3.3.2 Ghép nối với giải thuật lan truyền ngợc sai số 75 ™ KÕt luËn ch−¬ng 76 Chơng ứng dụng toán dự báo liệu .71 4.1 giới thiệu toán 78 4.2 mô hình hoá toán, thiết kế liệu giải thuật 80 4.2.1 Mô hình hoá toán 80 4.2.2 ThiÕt kÕ d÷ liƯu 81 4.2.3 ThiÕt kÕ gi¶i thuËt .82 4.3 chơng trình dự báo liÖu .93 ™ KÕt luËn ch−¬ng 98 KÕt luËn 99 Tài liệu tham khảo 100 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục từ viết tắt STT Từ viết tắt Nghĩa tiếng việt tiếng anh ANN Mạng nơron nhân tạo Artficial Neural Network BNN Mạng nơron sinh học Biological Neural Network BP Gi¶i tht lan trun Back-Propagation of error ngợc sai số Csdl Cơ sở liệu Data Base dm Khai phá liệu Data Mining GA Gi¶i tht di trun Genetic Algorithm Kdd Phát tri thức Knowledge CSDL Dơng Thị Hiền Thanh – CNTT 2006 Database Discover in Kü thuËt mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục bảng Bảng 1.1: Dữ liệu học ví dụ định chơi tennis 20 Bảng 2.1: Ví dụ dùng phép tái tạo 48 Bảng 2.2: Quá trình tái tạo 51 Bảng 2.3: Quá trình lai ghÐp 51 Bảng 3.1: Các hàm kích hoạt 69 Bảng 4.1: Số liệu thử nghiệm toán dự báo 79 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Danh mục hình vẽ đồ thị Hình 1.1: Quá trình phát tri thøc CSDL 10 Hình 1.2: Kiến trúc hệ thống khai phá liƯu 14 H×nh 1.3: Quá trình khai phá liệu 15 Hình 1.4: Kết cđa ph©n cơm 18 Hình 1.5: Cây định ch¬i tennis 20 Hình 2.1: Cấu tạo nơron 29 Hình 2.2: Thu nhận tín hiệu nơron 30 Hình 2.3: Mô hình nơron nhân tạo 31 Hình 2.4: Hàm Sigmoidal 33 Hình 2.5: Mạng nơron truyền thẳng nhiều lớp 35 Hình 2.6: Mạng håi quy 35 Hình 2.7: Sơ đồ học tham sè cã gi¸m s¸t 37 Hình 2.8: Sơ đồ học tăng cờng 38 Hình 2.9: Sơ đồ học không giám s¸t 38 Hình 3.1: Mạng nơron truyền thẳng lớp 58 H×nh 3.2: Sơ đồ hiệu chỉnh trọng số giải thuật BP 59 Hình 3.3: Sơ đồ mà hoá trọng số mạng nơron 74 Hình 3.4: Sơ đồ cđa gi¶i tht lai 76 Hình 4.1: Sơ đồ khối giải thuật Phân hệ 84 Hình 4.2: Sơ đồ khối giải tht Ph©n hƯ 1.1 86 Hình 4.3: Sơ đồ khối giải thuật Phân hÖ 1.2 89 Hình 4.4: Sơ đồ khối giải thuật Phân hệ 91 H×nh 4.5: Màn hình chơng trình dự báo 93 Hình 4.6: Dữ liệu tÖp huÊn luyÖn 94 Hình 4.7: Màn hình nhập tham số cho mạng nơron 94 Hình 4.8: Màn hình nhập tham số cho giải thuËt GA 95 H×nh 4.9: Tìm kiếm giải thuật GA 95 H×nh 4.10: HuÊn lun b»ng gi¶i tht BP 96 Hình 4.11: Màn hình dự báo 98 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Lời nói đầu Trong năm gần đây, vai trò máy tính việc lu trữ xử lý thông tin ngày trở nên quan trọng Bên cạnh đó, thiết bị thu thập liệu tự động phát triển mạnh góp phần tạo kho liệu khổng lồ Dữ liệu đợc thu thập lu trữ ngày nhiều nhng ngời định lại cần có thông tin bổ ích, tri thức rút từ nguồn liệu liệu cho việc định Với yêu cầu đó, mô hình CSDL truyền thống ngôn ngữ thao tác liệu không thích hợp Để có đợc tri thức từ CSDL, ngời ta đà phát triển lĩnh vực nghiên cứu tổ chức kho liệu kho thông tin, hệ trợ giúp định, phơng pháp khai phá liệu phát tri thức CSDL Trong số đó, khai phá liệu phát tri thức đà trở thành lĩnh vực nghiên cứu sôi động Luận văn tập trung nghiên cứu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu, đặc biệt giải pháp tích hợp giải thuật di truyền với giải thuật huấn luyện mạng nơron Trên sở đó, luận văn xây dựng chơng trình dự báo liệu sử dụng mạng nơron truyền thẳng huấn luyện giải thuật lai GABP Luận văn đợc trình bầy gồm chơng với nội dung nh sau : Chơng 1: Trình bầy cách tổng quan khai phá liệu phát tri thức CSDL Trong đề cập đến khái nệm, trình phát tri thức, nhiệm vụ phơng pháp khai phá liệu nh vấn đề thách thức nghiên cứu áp dụng kỹ thuật khai phá liệu vào thực tế Chơng 2: Nghiên cứu kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền, cụ thể vấn đề lựa chọn cấu trúc mạng tham số, xây dựng giải thuật học lan truyền mạng nơron, nh cách biểu diễn lời giải, toán tử di truyền cải tiến giải thuật di truyền Đồng thời, chơng đa đánh giá hiệu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu, qua định hớng cho việc lựa chọn phơng pháp khai phá thích hợp cho vấn đề thực tế Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng : Giới thiệu kiến trúc mạng nơron truyền thẳng nhiều lớp, giải thuật BP, vấn đề sử dụng giải thuật BP trình bầy giải pháp tích hợp giải thuật GA với giải thuật BP huấn luyện mạng nơron truyền thẳng nhiều lớp Chơng : Giới thiệu toán ứng dụng dự báo lũ sông, từ mô hình hoá toán, thiết kế thuật toán, liệu cài đặt chơng trình thử nghiệm với công cụ mạng nơron truyền thẳng huấn luyện giải thuật lai GA-BP Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng 1: khai phá liệu phát tri thức CSDL 1.1 tổng quan khai phá liệu phát tri thức Cơ Sở Dữ Liệu 1.1.1 Tại cần phát tri thức? Hơn hai thập niên trở lại đây, lợng thông tin đợc lu trữ thiết bị điện tử không ngừng tăng lên Việc tích luỹ liƯu diƠn víi mét tèc ®é bïng nỉ Ng−êi ta ớc đoán lợng thông tin toàn cầu tăng gấp đôi sau khoảng hai năm theo kích thớc sở liệu (CSDL) tăng lên cách nhanh chóng, số ghi CSDL lẫn số trờng, thuộc tính ghi Lợng liệu khổng lồ thực nguồn tài nguyên giá trị thông tin yếu tố then chốt hoạt động Tuy nhiên, liệu đầy đủ ý nghĩa không phát tri thức tiềm ẩn có giá trị Những tri thức thờng nhỏ so với lợng liệu, phát chúng vấn đề khó khăn Việc xây dựng hệ thống có khả phát đợc mẩu tri thức có giá trị khối liệu đồ sộ nh gọi phát tri thức sở liệu (Knowledge Discover in Database_KDD) Các kỹ thuật xử lý kỹ thuật khai phá liệu (Data Mining_DM) Việc phân tích liệu cách tự động mang tính dự báo KDD có u hẳn so với phơng pháp phân tích thông thờng, dựa kiện khứ hệ hỗ trợ định truyền thống trớc Với tất u đó, KDD đà chứng tỏ đợc tính hữu dụng môi trờng đầy tính cạnh tranh ngày KDD đà trở thành hớng nghiên cứu lĩnh vực khoa học máy tính công nghệ tri thức Phạm vi ứng dụng KDD ban đầu lĩnh vực thơng mại tài Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Cho đến nay, KDD đà đợc ứng dụng rộng rÃi lĩnh vực khác nh viễn thông, giáo dục, điều trị y học, Có thể nói, KDD cố gắng để giải vấn đề nan giải kỷ nguyên thông tin số: vấn đề tràn liệu 1.1.2 Khai phá liệu phát tri thức sở liệu Khái niệm phát tri thức sở liệu đợc đa lần vào năm 1989, nhấn mạnh tri thức sản phẩm cuối trình khai phá liệu Phát tri thức sở liệu đợc định nghĩa nh trình chắt lọc tri thức từ lợng lớn liệu Nói cách khác, quan niệm KDD ánh xạ liệu từ mức thấp thành dạng cô đọng hơn, tóm tắt hữu ích Một ví dụ trực quan thờng đợc dùng việc khai thác vàng từ đá cát, ngời khai thác muốn chắt lọc vàng từ đá cát điều kiện lợng đá cát lớn Thuật ngữ data mining ám việc tìm kiếm tập hợp nhỏ tri thức, thông tin có giá trị từ lợng lớn liệu thô [7] Nó bao hàm loạt kỹ thuật nhằm phát thông tin có giá trị tiềm ẩn CSDL lớn Nhiều thuật ngữ đợc dùng có nghÜa t−¬ng tù víi tõ data mining nh− knowledge mining (khai phá tri thức), knowledge extraction (chắt lọc tri thức), data/patern analysis (Phân tích liệu/mẫu), data archaeology (khảo cổ liệu), data dredging (nạo vét liệu) Nh vậy, quan niệm tri thức mối quan hệ phần tử liệu phát tri thức trình chiết suất tri thức từ sở liệu, trải qua nhiều giai đoạn khác Khai phá liệu sử dụng giải thuật đặc biệt để chiết xuất mẫu, mô hình từ liệu giai đoạn trình phát tri thức CSDL Phát tri thức CSDL khai phá liệu lµ mét kü tht míi xt hiƯn vµ cã tèc độ phát triển nhanh Ngoài lĩnh vực đa ngành, liên quan đến nhiều lĩnh vùc kh¸c nh−: lý thuyÕt thuËt to¸n, Data Warehouse, OLAP, tính toán song song, nhng chủ yếu dựa tảng xác suất thống kê, sở liệu học máy Dơng Thị Hiền Thanh CNTT 2006 87 - Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm øng dơng TÝnh b¶ng søc kháe Fitness( ) tõ b¶ng giá trị hàm giá objective( ) (Thủ tục 1.1.3) Thủ tục 1.1.1 ã Chức năng: - Giải mà chuỗi nhị phân thành bảng tuyến tính trọng số W ã Vào: - Chuỗi nhị phân độ dài Lchrom - Tổng số trọng số M ã Ra: - Bảng W( ) trọng số (số thực) ã Giải thuật: - Lặp i =1 đến M + Cắt liên tiếp chuỗi độ dài 20 bít từ chuỗi cá thể + Tính giá trị x chuỗi nhị phân (x số nguyên dài) + Giá trị W(i) = (20.x / (220 - 1)) – 10 Thđ tơc 1.1.2 • Chức năng: - Tính sai số cho cấu trúc mạng m, n, a trọng số W với tập luyện cho trớc ã Vào: - Cấu trúc mạng m, n, a trọng số - Tập sè liƯu hn lun gåm P mÉu (hai vÐc t¬ vào X, y) ã Ra: - Sai số e sinh sau lan truyền toàn mẫu qua mạng ã Giải thuật - Gán e = - Lặp i = đến P + Gán c¸c tÝn hiƯu cđa c¸c bias = + Gán tín hiệu lớp vào out0 tín hiệu vào X Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 88 + Lặp nơ ron thứ j lớp ẩn lớp m Tính tổng tín hiệu vào theo công thức Net lj = w lji x il i =1 TÝnh tÝn hiÖu Out lj = 1 + exp − Net lj + TÝch luü sai sè vµo e: E = E + ( ( ) n i ∑ y j − Out last j j =1 ) Thđ tơc 1.1.3 ã Chức năng: - Tính bảng giá trị sức khỏe Fitness( ) quần thể oldPop từ bảng giá trị hàm giá objective( ) ã Vào: - Bảng giá trị hàm giá objective( ) - Số cá thể quần thể PopSize ã Ra: - Bảng giá trị hàm sức khỏe Fitness( ) ã Giải thuật: - Tính giá trị Max bảng giá trị hàm giá objective( ) - Lặp j = đến Popsize: Fitness[i] = Max objective(i) - Tính giá trị Max, giá trị trung bình ave bảng Fitness - Nếu Max > 2*ave th× a = ave / (Max - ave), b = (Max 2*ave)*a Không a = 1, b = - Lặp j = đến PopSize Fitness[j] = Fitness[j]*a + b Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 89 Phân hệ 1.2 ã Chức năng: - OldPop, Fitness( ) Sản sinh quần thể Chn lc (Th tc 1.2.1) NewPop tõ qn thĨ cị OldPop - ThÕ qn thĨ cũ quần i=1 thể ã Vào: Tp lai (Th tc 1.2.2) - Quần thể cũ OldPop - Bảng giá trị sức khỏe t bin (Th tc 1.2.3) quần thể cũ ã Ra: - Quần thể OldPop đà ®−ỵc i=i+ i < Gen thÕ bëi thÕ hƯ míi OldPop:= NewPop ã Giải thuật: - Toán tử chọn lọc Hình 4.3: Sơ dồ giải thuật Phân hệ 1.2 (Thđ tục 1.2.1) - Lặp i = đến i lớn PopSize, bớc nhảy + Toán tử tạp lai (Thủ tục 1.2.2) + Toán tử đột biÕn (Thđ tơc 1.2.3) - ThÕ qn thĨ cị OlpPop quần thể NewPop Thủ tục 1.2.1 ã Chức năng: - Chọn lọc quần thể bố mẹ từ quần thể con, cá thể đợc chọn với sác xuất tỷ lệ với sức khỏe cá thể ã Vào: - Quần thể cũ OldPop bảng giá trị sức khỏe cá thể quần thể Dơng Thị Hiền Thanh CNTT 2006 90 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng ã Ra: - Quần thể NewPop cá thể bố mẹ đợc chọn ã Giải thuật: - Tính tổng sức khỏe toàn quần thể Sumfitness - Lặp i = đến i lớn PopSize + Sinh số ngẫu nhiên p0 + Tính giá trị Su = p0*Sumfitness + Chỉ số j để tổng chạy sức khỏe cá thể lớn Su số cá thể đợc chọn + Đa cá thể đợc chọn vào quần thể NewPop Thủ tục 1.2.2 ã Chức năng: - Tạp lai hai chuỗi bố mẹ để tạo thành hai ã Vào: - Chỉ số hai chuỗi bố mẹ quần thể cũ - Xác suất tạp lai Pcross ã Ra: - Hai chuỗi ã Giải thuật - Sinh số ngẫu nhiên p0 - NÕu p0 < Pcross th× + Sinh mét sè ngÉu nhiên p1 + Tính vị trí tạp lai l = p1*(Lchrom -1) Không Vị trí tạp lai Lchrom - Sao chÐp gen tõ ®Õn l cđa bè mĐ sang vµ bè mĐ sang - Sao chÐp gen tõ l+1 ®Õn Lchrom cđa bè mĐ sang vµ tõ bố mẹ sang Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 91 Thủ tục 1.2.3 ã Chức năng: - Làm đột biến gen hai chuỗi đợc sinh ã Vào: - Hai chuỗi sinh sau tạp lai - Xác suất đột biến Pmutation ã Ra: - Hai chuỗi sau đột biến ã Giải thuật: - Duyệt từ gen hai chuỗi đợc sinh sau tạp lai - Sinh số ngẫu nhiên p0 - Nếu p0 < Pmutation Gen đợc biến đổi từ sang ngợc lại Không Gen đợc giữ nguyên Phân hệ ã Chức năng: - Luyện tham số giải - Cấu trúc mạng m,n,A - M = 0.05*PopSize trọng số tht BP víi hƯ sè häc i=1 biÕn ®ỉi ®èi víi bé träng sè chun tõ kÕt qu¶ lun cđa gi¶i tht GA Học tham số giải thuật BP chuyÓn sang - với hệ số học biến đổi L−u tr÷ bé träng sè tèt (Thủ tục 2.1) nhÊt • Vµo: 0.05*PopSize bé träng sè cïng mét cÊu tróc mạng m, n, a ã Ra: Một trọng số W ã Giải thuật: i=i+1 i= th× α = α * (1 - a) gán k = 4.3 chơng trình dự báo liệu Màn hình chơng trình nh sau : Hình 4.5 Màn hình chơng trình dự báo Chơng trình xây dựng gồm mục thực đơn : Khởi tạo tham số, Luyện mạng nơ ron, Dự báo liệu Sau mô tả chi tiết chức chơng trình: ã Mở tệp huấn luyện Tệp liệu huấn luyện tệp có cấu trúc đợc lu trữ tệp TXT, chứa 43 mẫu số liệu từ năm 2001 đến năm 2005 mực nớc đỉnh lũ, mực nớc chân lũ lợng ma trung bình đo đợc trạm Sơn Giang Số liệu đa vào mạng đợc mà hóa đoạn [0.1,0.9] theo nguyên tắc nêu phần 4.2.1 - Các trờng liệu đợc phân cách dấu ; - Trờng liệu dự báo trờng cuối cùng, đầu mạng Ví dụ : tệp liệu sau đợc mà hóa nh sau : Dơng Thị Hiền Thanh CNTT 2006 94 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.6: Dữ liệu tệp huấnluyện ã Màn hình nhập tham số cấu trúc mạng Cho phép ngời sử dụng nhập tham số đầu vào cho mạng nơron Số lớp mạng ngầm định 2, số đầu vào số đầu lấy theo tệp huấn luyện Hình 4.7: Màn hình nhập tham số cho mạng nơron Với toán này, số nơ ron lớp ẩn chọn 4, giá trị tham số khác ngầm định hình nhập đợc coi giá trị khởi đầu tốt Sau nhập xong, nhấn OK để gán giá trị tham số cho mạng nơ ron ã Màn hình nhập tham số giải tht di trun Cho phÐp ng−êi sư dơng nhËp c¸c tham sè cđa gi¶i tht di trun nh− kÝch th−íc quần thể, xác suất tạp lai, xác suất đột biến, số hệ tiến hóa Các giá trị ngầm định hình dới đợc xem giá trị xuất phát tốt tìm đợc theo phơng pháp thử sai, kích thớc quần thể chọn 100, số thÕ hƯ tiÕn hãa lµ 100 Tû lƯ chun giao số cá thể sang luyện tiếp giải thuật BP ngầm định 0.05 Số trọng số mạng tơng ứng với toán thử nghiệm chọn nơ ron Dơng Thị Hiền Thanh CNTT 2006 95 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng lớp Èn lµ 4*2 + + 4*1 + = 17 trọng số, độ dài chuỗi cá thể 17*20 = 340 Hình 4.8:Màn hình nhập tham số cho giải thuật GA Bớc thực thi giải thuật lai GA - BP ã Tìm kiếm giải thuật di truyền Màn hình tìm kiếm cá thể tốt giải thuật di truyền có dạng sau Hình 4.9: Tìm kiếm giải thuậ GA Tại hệ tiến hóa, hình thông báo số cá thể tốt có sức khỏe lớn sức khỏe trung bình toàn quần thể số cá thể trung bình có sức khỏe nhỏ sức khỏe trung bình Nhận thấy gai đoạn cuối số hệ tiến hóa, số cá thể tốt chiếm đại đa số, giá trị sức khỏe chúng gần với giá trị sức khoẻ trung bình Sau 100 hệ tiến hãa, c¸ thĨ cã søc kháe tèt nhÊt số 100 cá thể quần thể cuối đợc lu trữ lại làm đầu vào cho giải thuật BP Dơng Thị Hiền Thanh CNTT 2006 96 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng ã Huấn luyện giải thuật BP cá thể lần lợt đợc giải thuật BP sử dụng số học biến đổi luyện đến bÃo hòa với tham số ban đầu đà đợc khởi tạo Các đồ thị dới mô tả chu kỳ luyện cá thể Trên đồ thị, đờng màu xanh nhạt đầu mong muốn tập liệu, đờng màu xanh đậm trả lời mạng liệu đầu vào Đối với cá thể, điểm xuất phát luyện giải thuật BP, hai đờng đà gần nhau, giải thuật di truyền tìm kiếm cá thể đà gần lời giải Hình 4.10.a:Huấn luyện giải thuậi BP Tập liệu huấn luyện đồng thời dùng làm tập kiểm tra để kiểm tra khả tổng quát hóa mạng Việc kiểm tra đợc thực với việc cập nhật đồ thị đặn sau 50 chu kỳ huấn lun Sau mét sè lín chu kú hn lun, kh¶ tổng quát hóa mạng đà tốt so với ban đầu Trên hình vẽ, hai đờng gần nh trùng Đồng thời, lỗi MSE tiếp tục giảm nhỏ hệ số xác, tập trọng số đợc ghi lại thuật toán lại tiếp tục với cá thể Dơng Thị Hiền Thanh CNTT 2006 97 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.10.b:Huấn luyện giải thuật BP Kết thóc chu kú hn lun c¸ thĨ, c¸ thĨ cã tËp träng sè tèt nhÊt (cã sai sè MSe nhỏ nhất) đợc chọn làm kết giải thuật Tập trọng số đợc ghi lại dới dạng tệp TXT ã Dự báo liệu Mạng sau đợc huấn luyện sử dụng để dự báo liệu Tệp liệu dự báo tệp TXT chứa số liệu mối quan hệ mực nớc đỉnh lũ với mực nớc chân lũ lợng ma đo đợc trạm Sơn Giang Tệp có cấu trúc đợc tỷ lệ hóa giống nh tệp huấn luyện Màn hình dự báo nh sau: Dơng Thị Hiền Thanh CNTT 2006 98 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Hình 4.11:Màn hình dự báo Trên hình, đờng biểu diễn đầu mong muốn trả lời mạng sát nhau, chứng tỏ khả tổng quát hóa mạng sau đợc học tốt Kết luận chơng Chơng giới thiệu tóan dự báo lũ sông Trà Khúc thực bớc xây dựng chơng trình dự báo dựa sở giải thuật lai GA-BP đà trình bầy chơng Kết chơng trình đà cho thấy, sau đợc huấn luyện giải thuật lai GA-BP, mạng cho kết dự báo tốt Dơng Thị Hiền Thanh CNTT 2006 99 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Kết luận Luận văn tập trung nghiên cứu kỹ thuật sử dụng mạng nơron giải thuật di truyền khai phá liệu Kết hợp tính chất tìm kiếm toàn cục giải tht GA víi tÝnh héi tơ cđa gi¶i tht BP, luận văn nghiên cứu giải pháp xây dựng giải thuật lai GA-BP huấn luyện mạng nơron truyền thẳng nhiều lớp áp dụng thử nghiệm mô hình cho toán dự báo lĩnh vực khí tợng thuỷ văn Một số kết đạt đợc luận văn: - Tổng kết vấn đề nghiên cứu khai phá liệu phát tri thức CSDL - Tìm hiểu kỹ thuật sử dụng mạng nơron, giải thuật di truyền khai phá liệu vấn đề liên quan Nghiên cứu giải pháp tích hợp giải thuật GA giải thuật BP thành giải thuật lai dùng để huấn luyện mạng nơron truyền thẳng nhiều lớp - áp dụng vấn đề đà nghiên cứu vào xây dựng mô hình cài đặt mạng nơron dự báo cho toán dự báo lũ sông Một số hớng phát triển: - Tích hợp giải thuật GA PB việc học cấu trúc mạng nơron nhằm tìm số nơron lớp ẩn tốt cho toán - Cải tiến toán tử giải thuật GA để nâng cao hiệu tìm kiếm cá thể tốt Dơng Thị Hiền Thanh CNTT 2006 100 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Tài liệu tham khảo Tài liệu tiếng Việt [1] Nguyễn Đình Thúc (2001), Lập trình tiến hóa, Nhà xuất giáo dục Tài liệu tiÕng Anh [2] Back T and Schwefel H.-P (1993), “An overview of evolutionary algorithms for parameter optimization”, evolutionary Computation, vol 1, no 1, pp 123 [3] Bose N and Liang P (1996), Neural Network Foundamentals with Graphs, algorithms, and applications, McGraw-Hill [4] Fayyad, Gregory Piatetsky, Shapiro, Padhraic Smith, (1996), From Data mining to Knowledge Discovery: An overview [5] Gero J S., Kazakov V a., and Schinier T., (1997), “Genetic engineering and design problems”, In Evolutionary Algorithms in Engineering Applications, pages 47-68 Springer-Verlag [6] Goldberg D E., (1989), Genetic algorithm in search, optimization and machine learning, Addison-Wesley, Reading, Massachusets [7] Ho Tu Bao, Introduction to Knowledge Discovery and Data Mining, Institute of Information Technology, http://www.ebook.edu.vn/?page=1.39&view=1694 [8] Lawrence S., C L Giles, a C Tsoj, “What size Neural Network Gives optimal Generalization? Convergence Properties of Backpropagation”, Techni cal Report, Institute for Advanced Computer Studies - University of Maryland College Park, June 1996 [9] Oh S H., Lee yj., a modified error function to improve the error BackPropagation algorithm for Multi-layer perceptrons, eTRi Journal Vol 17, No 1, april 1995 [10] Patterson D (1996), Artifical Neural Networks, Theory and Application, Prentice Hall D−¬ng Thị Hiền Thanh CNTT 2006 101 Kỹ thuật mạng nơron giải thuật di truyền khai phá liƯu vµ thư nghiƯm øng dơng [11] Randall S Sexton and Naheel A Sikander, “Data Mining using a Genetic algorithm trained Neural network”, Computer introduction system, Southwest Missouri State University, USA [12] Schalkoff R (1997), Artifical neural networks, McGraw-Hill [13] Udoseiffert, Michaelis B., On the gradient desert in back-propagation and its substitution by a genetic algorithm, Proceedings of the IASTED international Conference Applied Informatics 14-17/02/2000, InnsBruck, Austria Dơng Thị Hiền Thanh – CNTT 2006 ... nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng Chơng 2: Kỹ thuật khai phá liệu sử dụng mạng nơron giải thuật di truyền 2.1 Mạng nơron khai phá liệu Khi đề cập đến khai thác liệu, ... cho mạng nơron kết cực trị toàn cục Dơng Thị Hiền Thanh CNTT 2006 42 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU Giải thuật. .. giá mạng nơron .40 Dơng Thị Hiền Thanh CNTT 2006 Kỹ thuật mạng nơron giải thuật di truyền khai phá liệu thử nghiệm ứng dụng 2.2 Giải thuật di truyền khaI PHá Dữ LIệU 42 2.2.1 Cơ giải