Giáo trình trí tuệ nhân tạo phần 2

Chơng V Các chiến lợc tìm kiếm tối u Vấn đề tìm kiếm tối u, cách tổng quát, phát biểu nh sau Mỗi đối tợng x không gian tìm kiếm đợc gắn với số đo giá trị đối tợng f(x), mục tiêu ta l tìm đối tợng có giá trị f(x) lớn (hoặc nhỏ nhất) không gian tìm kiếm Hm f(x) đợc gọi l hm mục tiêu Trong chơng ny nghiên cứu thuật toán tìm kiếm sau: Các kỹ thuật tìm đờng ngắn không gian trạng thái: Thuật toán A*, thuật toán nhánh_v_cận Các kỹ thuật tìm kiếm đối tợng tốt nhất: Tìm kiếm leo đồi, tìm kiếm gradient, tìm kiếm mô luyện kim Tìm kiếm bắt chớc tiến hóa: thuật toán di truyền I Tìm đờng ngắn Trong chơng trớc nghiên cứu vấn đề tìm kiếm đờng từ trạng thái ban đầu tới trạng thái kết thúc không gian trạng thái Trong mục ny, ta giả sử rằng, giá phải trả để đa trạng thái a tới trạng thái b (bởi toán tử no đó) l số k(a,b) 0, ta gọi số ny l độ di cung (a,b) giá trị cung (a,b) đồ thị không gian trạng thái Độ di cung đợc xác định tùy thuộc vo vấn đề Chẳng hạn, bi toán tìm đờng đồ giao thông, giá cung (a,b) l độ di đờng nối thnh phố a với thnh phố b Độ di đờng đợc xác định l tổng độ di cung đờng Vấn đề mục ny, tìm đờng ngắn từ trạng thái ban đầu tới trạng thái đích Không gian tìm kiếm bao gồm tất đờng từ trạng thái ban đầu tới trạng thái kết thúc, hm mục tiêu đợc xác định l độ di đờng Chúng ta giải vấn đề đặt cách tìm tất đờng có từ trạng thái ban đầu tới trạng thái đích (chẳng hạn, sử sụng kỹ thuật tìm kiếm mù), sau so sánh độ di chúng, ta tìm đờng ngắn Thủ tục tìm kiếm ny thờng đợc gọi l thủ tục bảo tng Anh Quốc (British Museum Procedure) Trong thực tế, kỹ thuật ny áp dụng đợc, tìm kiếm thờng lớn, việc tìm tất đờng đòi hỏi nhiều thời gian Do có cách tăng hiệu tìm kiếm l sử dụng hm đánh giá đề hớng dẫn tìm kiếm Các phơng pháp tìm kiếm đờng ngắn m trình by l phơng pháp tìm kiếm heuristic Giả sử u l trạng thái đạt tới (có dờng từ trạng thái ban đầu u0 tới u) Ta xác định hai hm đánh giá sau: g(u) l đánh giá độ di đờng ngắn từ u0 tới u (Đờng từ u0 tới trạng thái u l trạng thái đích đợc gọi l đờng phần, để phân biệt với đờng đầy đủ, l đờng từ u0 tới trạng thái đích) 51 h(u) l đánh giá độ di đờng ngắn từ u tới trạng thái đích Hm h(u) đợc gọi l chấp nhận đợc (hoặc đánh giá thấp) với trạng thái u, h(u) độ di đờng ngắn thực tế từ u tới trạng thái đích Chẳng hạn bi toán tìm đờng ngắn đồ giao thông, ta xác định h(u) l độ di đờng chim bay từ u tới đích Ta sử dụng kỹ thuật tìm kiếm leo đồi với hm đánh giá h(u) Tất nhiên phơng pháp ny cho phép ta tìm đợc đờng tơng đối tốt, cha l đờng tối u Ta sử dụng kỹ thuật tìm kiếm tốt với hm đánh giá g(u) Phơng pháp ny tìm đờng ngắn nhất, nhiên hiệu Để tăng hiệu tìm kiếm, ta sử dụng hm đánh giá : f(u) = g(u) + h(u) Tức l, f(u) l đánh giá độ di đờng ngắn qua u từ trạng thái ban đầu tới trạng thái kết thúc I.1 Thuật toán A* Hình 5.1 Đồ thị không gian trạng thái với hm đánh giá Thuật toán A* l thuật toán sử dụng kỹ thuật tìm kiếm tốt với hm đánh giá f(u) Để thấy đợc thuật toán A* lm việc nh no, ta xét đồ thị không gian trạng thái hình 5.1 Trong đó, trạng thái ban đầu l trạng thái A, trạng thái đích l B, số ghi cạnh cung l độ di đờng đi, số cạnh đỉnh l giá trị hm h Đầu tiên, phát triển đỉnh A sinh đỉnh C, D, E v F Tính giá trị hm f đỉnh ny ta có: g(C) = 9, f(C) = + 15 = 24, g(D) = 7, f(D) = + = 13, g(E) = 13, f(E) = 13 + = 21, g(F) = 20, f(F) = 20 +7 = 27 Nh đỉnh tốt l D (vì f(D) = 13 l nhỏ nhất) Phát triển D, ta nhận đợc đỉnh H v E Ta đánh giá H v E (mới): g(H) = g(D) + Độ di cung(D, H) = + = 15, f(H) = 15 + 10 = 25 Đờng tới E qua D có độ di: g(E) = g(D) + Độ di cung(D, E) = + = 11 52 Vậy đỉnh E có đánh giá l f(E) = g(E) + h(E) = 11 + = 19 Trong số đỉnh cho phát triển, đỉnh E với đánh giá f(E) = 19 l đỉnh tốt Phát triển đỉnh ny, ta nhận đợc đỉnh l K v I Chúng ta tiếp tục trình đỉnh đợc chọn để phát triển l đỉnh kết thúc B, độ di đờng ngắn tới B l g(B) = 19 Quá trình tìm kiếm đợc mô tả tìm kiếm hình 5.2, số cạnh đỉnh l giá trị hm đánh giá f(u) Hình 5.2 Cây tìm kiếm theo thuật toán A* procedure A*; begin Khởi tạo danh sách L chứa trạng thái ban đầu; loop 2.1 if L rỗng then {thông báo thất bại; stop}; 2.2 Loại trạng thái u đầu danh sách L; 2.3 if u l trạng thái đích then {thông báo thnh công; stop} 2.4 for trạng thái v kề u {g(v) g(u) + k(u,v); f(v) g(v) + h(v); Đặt v vo danh sách L;} 2.5 Sắp xếp L theo thứ tự tăng dần hm f cho trạng thái có giá trị hm f nhỏ đầu danh sách; end; Chúng ta đa số nhận xét thuật toán A* Ngời ta chứng minh đợc rằng, hm đánh giá h(u) l đánh giá thấp (trờng hợp đặc biệt, h(u) = với trạng thái u) thuật toán A* l thuật toán tối u, tức l 53 nghiệm m tìm l nghiệm tối u Ngoi ra, độ di cung không nhỏ số dơng no thuật toán A* l thuật toán đầy đủ theo nghĩa rằng, dừng v tìm nghiệm Chúng ta chứng minh tính tối u thuật toán A* Giả sử thuật toán dừng lại đỉnh kết thúc G với độ di đờng từ trạng thái ban đầu u0 tới G l g(G) Vì G l đỉnh kết thúc, ta có h(G) = v f(G) = g(G) + h(G) = g(G) Giả sử nghiệm tối u l đờng từ u0 tới đỉnh kết thúc G1 với độ di l Giả sử đờng ny thoát khỏi tìm kiếm đỉnh n (Xem hình 5.3) Có thể xẩy hai khả năng: n trùng với G1 không Nếu n l G1 G đợc chọn để phát triển trớc G1, nên f(G) f(G1), g(G) g(G1)= l Nếu n G1 h(u) l hm đánh giá thấp, nên f(n) = g(n) + h(n) l Mặt khác, G đợc chọn để phát triển trớc n, nên f(G) f(n), đó, g(G) Hình 5.3 Đỉnh n tìm kiếm nằm đờng tối u Nh vậy, ta chứng minh đợc độ di đờng m thuật toán tìm g(G) không di độ di l đờng tối u Vậy l độ di đờng tối u Trong trờng hợp hm đánh giá g(u) = với u, thuật toán A* l thuật toán tìm kiếm tốt với hm đánh giá g(u) m ta nói đến Thuật toán A* đợc chứng tỏ l thuật toán hiệu số thuật toán đầy đủ v tối u cho vấn đề tìm kiếm đờng ngắn I.2 Thuật toán tìm kiếm nhánh-v-cận Thuật toán nhánh_v_cận l thuật toán sử dụng tìm kiếm leo đồi với hm đánh giá f(u) Trong thuật toán ny, bớc phát triển trạng thái u, ta chọn trạng thái tốt v (f(v) nhỏ nhất) số trạng thái kề u để phát triển bớc sau Đi xuống gặp trạng thái v l đích, gặp trạng thái v đỉnh kề, gặp trạng thái v m g(v) lớn độ di đờng tối u tạm thời, tức l đờng đầy đủ ngắn số đờng đầy đủ m ta tìm ra, v phát triển nhng g(v) lớn g(v) đợc lu, tức đờng qua v không tốt đờng cũ qua v Trong trờng hợp ny, ta không phát triển đỉnh v nữa, hay nói cách khác, ta quay lên cha v để tiếp tục xuống trạng thái tốt trạng thái lại chờ phát triển 54 Ví dụ: Chúng ta lại xét không gian trạng thái hình 3.1 Phát triển đỉnh A, ta nhận đợc đỉnh C, D, E v F, f(C) = 24, f(D) = 13, f(E) = 21, f(F) = 27 Trong số ny D l tốt nhất, phát triển D, sinh đỉnh H v E, f(H) = 25, f(E) = 19 Đi xuống phát triển E, sinh đỉnh l K v I, f(K) = 17, f(I) = 18 Đi xuống phát triển K sinh đỉnh B với f(B) = g(B) = 21 Đi xuống B, B l đỉnh đích, ta tìm đợc đờng tối u tạm thời với độ di 21 Từ B quay lên K, từ K quay lên cha l E Từ E xuống I, f(I) = 18 nhỏ độ di đờng tạm thời (l 21) Phát triển I sinh K v B, f(K) = 25, f(B) = g(B) = 19 Đi xuống đỉnh B, đỉnh B l đích ta tìm đợc đờng đầy đủ với độ di l 19 nhỏ độ di đờng tối u tạm thời cũ (21) Vậy độ di đờng tối u tạm thời l 19 Bây từ B ta lại quay lên đỉnh lại cha đợc phát triển Song đỉnh ny có giá trị g lớn 19, đỉnh no đợc phát triển Nh vậy, ta tìm đợc đờng tối u với độ di 19 Cây tìm kiếm đợc biểu diễn hình 5.4 A 14,0 27, 20 F 13,7 C 21,13 E D 25, 15 24,9 H H 25,15 E 19, 11 K 17, 15 I 18, 14 K B 21, 21 22, 20 B K 25, 23 19, 19 Hình 5.4 Cây tìm kiếm nhánh_v_cận Thuật toán nhánh_v_cận đợc biểu diễn thủ tục Branch_and_Bound Trong thủ tục ny, biến cost đợc dùng để lu độ di đờng ngắn Giá trị ban đầu cost l số đủ lớn, độ di đờng đầy đủ m ta biết 55 procedure Branch_and_Bound; begin Khởi tạo danh sách L chứa trạng thái ban đầu; //các trạng thái cha phát triển v // chờ duyệt; Khởi tạo danh sách M rỗng; //các trạng thái phát triển; Gán giá trị ban đầu cho cost; loop 4.1 if L rỗng then stop; 4.2 Loại trạng thái u đầu danh sách L; 4.3 if u l trạng thái kết thúc then {if g(u) cost then cost g(u); Quay lại 4.1}; 4.4 if g(u) > cost then Quay lại 4.1; 4.5 if u M then //đã xét đờng qua u; if g(u) giá trị g(u) đợc lu M then Quay lại 4.1; else cập nhật giá trị g(u) M 4.6 Khởi tạo danh sách L1 rỗng; 4.7 for trạng thái v kề u {g(v) g(u) + k(u,v); f(v) g(v) + h(v); Đặt v vo danh sách L1}; 4.8 if u M then đặt u vo M v lu giá trị g(u); 4.9 Sắp xếp L1 theo thứ tự tăng hm f; 4.10 Chuyển L1 vo đầu danh sách L; end; Ngời ta chứng minh đợc rằng, thuật toán nhánh_v_cận l thuật toán đầy đủ v tối u hm đánh giá h(u) l đánh giá thấp v có độ di cung không nhỏ số dơng no II Tìm đối tợng tốt Trong mục ny xét vấn đề tìm kiếm sau Trên không gian tìm kiếm U đợc xác định hm giá (hm mục tiêu) cost, ứng với đối tợng x U với giá trị số cost(x), số ny đợc gọi l giá trị x Chúng ta cần tìm đối tợng m hm giá trị lớn nhất, ta gọi đối tợng l đối tợng tốt Giả sử không gian tìm kiếm có cấu trúc cho phép ta xác định đợc khái niệm lân cận đối tợng Chẳng hạn, U l không gian trạng thái lân cận trạng thái u gồm tất trạng thái v 56 kề u; U l không gian vectơ thực n-chiều lân cận vectơ x = (x1, x2, xn) gồm tất vectơ gần x theo khoảng cách Euclit thông thờng Trong mục ny, ta xét kỹ thuật tìm kiếm leo đồi để tìm đối tợng tốt Sau ta xét kỹ thuật tìm kiếm gradient (gradient search) Đó l kỹ thuật leo đồi áp dụng cho không gian tìm kiếm l không gian vectơ thực n-chiều v hm giá l l hm khả vi liên tục Cuối ta nghiên cứu kỹ thuật tìm kiếm mô luyện kim( simulated annealing) II.1 Tìm kiếm leo đồi Kỹ thuật tìm kiếm leo đồi để tìm kiếm đối tợng tốt hon ton giống nh kỹ thuật tìm kiếm leo đồi để tìm trạng thái kết thúc xét mục 4.3 Nghĩa l từ đỉnh u ta leo lên đỉnh tốt v (đợc xác định hm giá cost) lân cận u đỉnh ny "cao hơn" đỉnh u, tức l cost(v) > cost(u) Còn đây, từ trạng thái ta "leo lên" trạng thái kề tốt (đợc xác định hm giá), tiếp tục đạt tới trạng thái đích; cha đạt tới trạng thái đích m không leo lên đợc nữa, ta tiếp tục "tụt xuống" trạng thái trớc nó, lại leo lên trạng thái tốt lại Quá trình tìm kiếm dừng lại ta không leo lên đỉnh cao đợc Trong thủ tục leo đồi sau, biến u lu đỉnh thời, biến v lu đỉnh tốt (cost(v) nhỏ nhất) đỉnh lân cận u Khi thuật toán dừng, biến u lu đối tợng tìm đợc procedure Hill_Climbing; begin u đối tợng ban đầu no đó; loop 2.1 v l trạng thái kề u có giá trị cost lớn trạng thái kề 2.2 if cost(v) > cost(u) then u v else return u; end; Tối u địa phơng v tối u ton cục Rõ rng l, thuật toán leo đồi dừng lại đối tơng u*, giá cost(u*) lớn giá tất đối tợng nằm lân cận tất đối tợng đờng từ đối tợng ban đầu tới trạng thái u* Do nghiệm u* m thuật toán leo đồi tìm đợc l tối u địa phơng Cần nhấn mạnh đảm bảo nghiệm l tối u ton cục theo nghĩa l cost(u*) l lớn ton không gian tìm kiếm Để nhận đợc nghiệm tốt thuật toán leo đồi, ta áp dụng lặp lại nhiều lần thủ tục leo đồi xuất phát từ dãy đối tợng ban đầu đợc chọn ngẫu nhiên v lu lại nghiệm tốt qua lần lặp Nếu số lần lặp đủ lớn ta tìm đợc nghiệm tối u Kết thuật toán leo đồi phụ thuộc nhiều vo hình dáng mặt cong hm đánh giá Nếu mặt cong có số cực đại địa phơng, kỹ thuật leo đồi tìm nhanh cực đại ton cục 57 Song có vấn đề m mặt cong hm giá tựa nh lông nhím vậy, sử dụng kỹ thuật leo đồi đòi hỏi nhiều thời gian II.2 Tìm kiếm gradient Tìm kiếm gradient l kỹ thuật tìm kiếm leo đồi để tìm giá trị lớn (hoặc nhỏ nhất) hm khả vi liên tục f(x) không gian vectơ thực n-chiều Nh ta biết, lân cận đủ nhỏ điểm x = (x1, ,xn), hm f tăng nhanh theo hớng vectơ gradient: Do t tởng tìm kiếm gradient l từ điểm ta tới điểm lân cận theo hớng vectơ gradient procedure Gradient_Search; begin x điểm xuất phát no đó; repeat x x + f(x); until |f| < ; end; Trong thủ tục trên, l số dơng nhỏ xác định tỉ lệ bớc, l số dơng nhỏ xác định tiêu chuẩn dừng Bằng cách lấy bớc đủ nhỏ theo hớng vectơ gradient tìm đợc điểm cực đại địa phơng, l điểm m f = 0, tìm đợc điểm gần với cực đại địa phơng II.3 Tìm kiếm mô luyện kim Nh nhấn mạnh trên, tìm kiếm leo đồi không đảm bảo cho ta tìm đợc nghiệm tối u ton cục Để cho nghiệm tìm đợc gần với tối u ton cục, ta áp dụng kỹ thuật leo đồi lặp xuất phát từ điểm đợc lựa chọn ngẫu nhiên Bây thay cho việc luôn leo lên đồi xuất phát từ điểm khác nhau, ta thực số bớc tụt xuống nhằm thoát khỏi điểm cực đại địa phơng Đó l t tởng kỹ thuật tìm kiếm mô luyện kim Trong tìm kiếm leo đồi, trạng thái u ta luôn tới trạng thái tốt lân cận Còn bây giờ, tìm kiếm mô luyện kim, ta chọn ngẫu nhiên trạng thái v lân cận u Nếu trạng thái v đợc chọn tốt u (cost(v) > cost(u)) ta tới v, không ta tới v với xác suất no Xác suất ny giảm theo hm mũ độ xấu trạng thái v Xác suất ny phụ thuộc vo tham số nhiệt độ T Nhiệt độ T cng cao bớc tới trạng thái xấu cng có khả đợc thực Trong trình tìm kiếm, tham số nhiệt độ T giảm dần tới không Khi T gần không, thuật toán hoạt động gần giống nh leo đồi, hầu nh không thực bớc tụt xuống Cụ thể ta xác định xác suất tới trạng thái xấu v từ u l e/T, = cost(v) - cost(u) Sau l thủ tục mô luyện kim 58 procedure Simulated_Anneaning; begin t 0; u trạng thái ban đầu no đó; T nhiệt độ ban đầu; repeat v trạng thái đợc chọn nhẫu nhiên lân cận u; if cost(v) > cost(u) then u v else u v với xác suất e/T; T g(T, t); t t + 1; until T đủ nhỏ end; Trong thủ tục trên, hm g(T, t) thỏa mãn điều kiện g(T, t) < T với t, xác định tốc độ giảm nhiệt độ T Ngời ta chứng minh đợc rằng, nhiệt độ T giảm đủ chậm, thuật toán tìm đợc nghiệm tối u ton cục Thuật toán mô luyện kim đợc áp dụng thnh công cho bi toán tối u cỡ lớn III Tìm kiếm mô tiến hóa Thuật toán di truyền Thuật toán di truyền (TTDT) l thuật toán bắt chớc chọn lọc tự nhiên v di truyền Trong tự nhiên, cá thể khỏe, có khả thích nghi tốt với môi trờng đợc tái sinh v nhân hệ sau Mỗi cá thể có cấu trúc gien đặc trng cho phẩm chất cá thể Trong trình sinh sản, cá thể thừa hởng phẩm chất cha v mẹ, cấu trúc gien mang phần cấu trúc gien cha v mẹ Ngoi ra, trình tiến hóa, xảy tợng đột biến, cấu trúc gien cá thể chứa gien m cha v mẹ Trong TTDT, cá thể đợc mã hóa cấu trúc liệu mô tả cấu trúc gien cá thể đó, ta gọi l nhiễm sắc thể (chromosome) Mỗi nhiễm sắc thể đợc tạo thnh từ đơn vị đợc gọi l gien Chẳng hạn, TTDT cổ điển, nhiễm sắc thể l chuỗi nhị phân, tức l cá thể đợc biểu diễn chuỗi nhị phân TTDT lm việc quần thể gồm nhiều cá thể Một quần thể ứng với giai đoạn phát triển đợc gọi l hệ Từ hệ ban đầu đợc tạo ra, TTDT bắt chớc chọn lọc tự nhiên v di truyền để biến đổi hệ TTDT sử dụng toán tử sau để biến đổi hệ Toán tử tái sinh (reproduction) (còn đợc gọi l toán tử chọn lọc (selection)) Các cá thể tốt đợc chọn lọc để đa vo hệ sau Sự lựa chọn ny đợc thực dựa vo độ thích nghi với môi trờng cá thể Ta gọi hm ứng cá thể với độ thích nghi l hm thích nghi (fitness function) Toán tử lai ghép (crossover) Hai cá thể cha v mẹ trao đổi gien để tạo hai cá thể 59 Toán tử đột biến (mutation) Một cá thể thay đổi số gien để tạo thnh cá thể Tất toán tử thực mang tính ngẫu nhiên Cấu trúc TTDT l nh sau: procedure Genetic_Algorithm; begin t 0; Khởi tạo hệ ban đầu P(t); Đánh giá P(t) (theo hm thích nghi); repeat t t + 1; Sinh hệ P(t) từ P(t-1) Chọn lọc Lai ghép Đột biến; Đánh giá P(t); until điều kiện kết thúc đợc thỏa mãn; end; Trong thủ tục trên, điều kiện kết thúc vòng lặp l số hệ đủ lớn no đó, độ thích nghi cá thể tốt hệ khác không đáng kể Khi thuật toán dừng, cá thể tốt hệ cuối đợc chọn lm nghiệm cần tìm Bây ta xét chi tiết toán tử chọn lọc v toán tử di truyền (lai ghép, đột biến) TTDT cổ điển Chọn lọc: Việc chọn lọc cá thể từ quần thể dựa độ thích nghi cá thể Các cá thể có độ thích nghi cao có nhiều khả đợc chọn Cần nhấn mạnh rằng, hm thích nghi cần l hm thực dơng, không tuyến tính, không liên tục, không khả vi Quá trình chọn lọc đợc thực theo kỹ thuật quay bánh xe Giả sử hệ thời P(t) gồm có n cá thể {x1, ,xn} Số n đợc gọi l cỡ quần thể Với cá thể xi, ta tính độ thích nghi f(xi) Tính tổng độ thích nghi tất cá thể quần thể: Mỗi lần chọn lọc, ta thực hai bớc sau: Sinh số thực ngẫu nhiên q khoảng (0, F); xk l cá thể đợc chọn, k l số nhỏ cho 60 a A hard limiting and bipolar linear threshold b A sigmoidal and c The sigmoidal, biased unipolar threshold and squashed As get larger the sigmoid approximates a linear threshold Hỡnh 8.8 - Cỏc hm ngng Hỡnh 8.8 minh th ca mt s hm ngng: hỡnh 8.8a l mt hm ngng hai cc, hỡnh 8.8b minh mt hm kớch hot sigmoidal thụng dng (hm sigmoidal l hm cú hỡnh cong nh ch S), c gi l hm logistic, hm ny cú cụng thc nh sau: f(net) = 1/(1 + e -*net ) vi net = iwixi Cng nh cỏc hm nh ngha trc õy, xi l u vo ca ng th i, wi l trng s trờn ng vo i, v l tham s nộn c s dng iu chnh cong ca ng Khi cng ln, thỡ ng cong cng tim cn vi hm ngng tuyn tớnh (trong hỡnh 8.8a) Khi cng tin gn n 1, nú cng gn nh l mt ng thng Hm logistic cú mt tớnh cht c bit l, o hm ca hm ny cú mt cụng thc rt n gin: f (net) = f(net) * (1- f(net)) (1-1) T hỡnh 8.8 ta thy vi cỏc hm ngng liờn tc, neuron s cho kt qu chớnh xỏc hn nh vo vic iu chnh tham s Vic a cỏc hm kớch hot liờn tc ó lm xut cỏc tip cn mi lm gim li hc Qui lut hc Widrow-Hoff a vo khong 1960 c lp vi hm kớch hot, ti thiu húa bỡnh phng ca li gia giỏ tr u mong mun v neti = WXi Mt s lut hc quan trng cho cỏc hm kớch hot ca neuron, kớch hot liờn tc l lut delta (Rumelhart et al 1986) s dng lut delta, mng phi s dng mt hm ngng liờn tc cú th ly vi phõn Hm logistic ó trỡnh by bờn trờn cú c tớnh cht ny Khi ú cụng thc hc theo lut delta cho vic iu chnh trng s u vo th j ca nỳt th i l: w = c(di Oi) f(neti)xj 97 ú, c l hng s iu khin tc hc, di v Oi l cỏc giỏ tr u thc s v mong mun ca nỳt th i f(net ) l o hm ca hm kớch hot cho nỳt th i, v x l i j u vo th j ca nỳt th i Thay th cụng thc o hm (1-1) ca hm logistic f(net), ta c cụng thc iu chnh trng s nh sau: w = c(di Oi) Oi (1 Oi) xj (1-2) T cụng thc ny cho thy, cụng thc iu chnh trng s ny ch cú th ỏp dng cho cỏc nỳt ca mng perceptron n tng, vỡ ti ú ta mi cú cỏc giỏ tr u mong mun d i IV Hc Lan truyn ngc Nh ó phõn tớch trờn, ta thy cỏc mng perceptron n tng cú kh nng gii hn, chỳng khụng th phõn loi c cỏc bi toỏn khụng tỏch ri tuyn tớnh Trong phn tip theo, chỳng ta s thy rng cỏc mng a tng cú th gii quyt c cỏc bi toỏn ny Hỡnh 8.9 - Hc lan truyn ngc mng kt ni cú mt tng n Cỏc neuron mt mng a tng (xem hỡnh 8.9) c kt ni vi theo tng lp, ú cỏc neuron tng k s truyn kớch hot ca chỳng ch cho cỏc neuron tng k+1 X lý tớn hiu a tng cú ngha l cỏc li nm sõu bờn mng cú th lan v phỏt trin mt cỏch phc thụng qua cỏc tng liờn tip Vỡ vy, vic phõn tớch nguyờn nhõn gõy li tng (output layer) l rt phc Gii thut hc lan truyn ngc s cung cp mt phng phỏp iu chnh trng s trng hp ny IV.1 Gii thut hc lan truyn ngc T lp lun cho rng ti cỏc nỳt ca mt mng a tng, li m mt nỳt phi chu trỏch nhim cng phi c chia phn cho cỏc nỳt tng n trc nú v vỡ vy cỏc trng s phi c iu chnh mt cỏch phự hp 98 Gii thut lan truyn ngc bt u ti tng v truyn cỏc li ngc v xuyờn qua cỏc tng n (nh hỡnh 8.10) Hỡnh 8.10 - delta *w l tng úng gúp ca nỳt i vo li tng j j ij Lut delta tng quỏt iu chnh trng s ca u vo th k ca nỳt th i: w = c(d O ) O (1 O ) x cho nỳt tng k i i i i k w = c (delta w ) O (1 O ) x cho nỳt tng n k j j ij i i k vi delta = (d O ) O (1 O ) j j j j j j chy trờn cỏc nỳt ca tng k tip m ti ú nỳt i truyn cỏc u ca nú i vi mng cú nhiu hn mt tng n, ta cng ỏp dng th tc tng t mt cỏch quy truyn li t tng n th n vo tng n th n-1 IV.2 Vớ d 1: Mng NetTalk Mng NETtalk l mt vớ d hay cho vic s dng gii phỏp mng neuron gii quyt mt hc khú NETtalk hc c c bn ting Anh õy l mt nhim v khú khn i vi tip cn hc da trờn ký hiu, vỡ phỏt õm ting Anh mang tớnh bt quy tc Mc dự cú cỏc chng trỡnh da trờn lut (rule-based) ó c vit gii quyt ny, nhng chỳng u phc v thc hin cha hon ho NETtalk hc c mt chui bn v tr v mt õm v cựng vi trng õm liờn h cho mi ch cỏi chui Vỡ phỏt õm ca mt ch cỏi n nht ph thuc vo cỏc ch cỏi xung quanh nú, ngi ta a vo NETtalk mt ca s gm ký t Khi bn dch chuyn qua ca s ny, NETtalk tr v mt cp õm v/trng õm cho mi ch cỏi Hỡnh 8.11 minh kin trỳc ca mng NETtalk Mng gm cú tng neuron Cỏc neuron u vo tng ng vi ca s ký t ca bn Mi v trớ ca s c biu din bi 29 neuron u vo, 26 neurons cho 26 ký t alphabet, v neurons cho du v khong trng Ký t mi vớ trớ ca s s kớch hot neuron tng ng Cỏc neuron u mó húa õm s dng 21 c im khỏc ca cỏch phỏt õm 99 ca ngi neurons cũn li mó húa du nhn v gii hn õm tit NETtalk cú 80 neuron tng n, 26 giỏ tr u v 18.629 kt ni Hỡnh 8.11 - Hỡnh thỏi mng ca NETtalk Kt qu ca NETtalk l cú th phỏt õm ỳng 60% sau rốn luyn vi mt d liu rốn luyn gm 500 vớ d v lp li 100 lt Ngoi kt qu t c trờn, NETtalk cũn cho thy mt s tớnh cht ỏng chỳ ý ca mng neuron, cú nhiu tớnh cht s ú phn ỏnh bn cht t nhiờn ca vic hc ngi Chng hn nh, vic hc, c o bng phn trm cõu tr li ỳng, s tin trin nhanh lỳc u, sau ú chm dn t l ỳng tng lờn V cng nh ngi, neuron cng hc phỏt õm c nhiu t, thỡ nú cng phỏt õm ỳng cỏc t mi nhiu hn IV.3 Vớ d 2: Exclusiveor Mt vớ d khỏc cho mng a tng l dựng gii quyt bi toỏn Ex-or m mng n tng khụng th phõn loi c Hỡnh 8.12 minh mng vi hai u vo, mt nỳt n v mt nỳt u Mng cng cú hai u vo thiờn lch (bias), mt i vo nỳt n v mt i vo nỳt u Mt im c bit l cỏc u vo cng c ni trc tip vo nỳt u Liờn kt thờm vo ny cho phộp nh thit k mng neuron t c mt mng vi ớt nỳt hn trờn tng n v hi t nhanh hn Giỏ tr net cho nỳt n v nỳt u cng c tớnh nh cỏch thụng thng, l tng ca cỏc tớch gia giỏ tr u nhõn vi trng s Cỏc trng s c iu chnh theo gii thut hc lan truyn ngc v s dng hm kớch hot sigmoidal Tht ra, mng neuron hỡnh 8.12 khụng phi l mt mng nht cú th gii quyt bi toỏn ny 100 Hỡnh 8.12 - Mt mng lan truyn ngc dựng gii quyt bi toỏn exclusive-or Mng ny c rốn luyn vi vớ d: (0,0) 0; (1,0) 1; (0,1) 1; (1,1) Sau c hun luyn 1400 lt vi d liu trờn, cỏc trng s hi t v cỏc giỏ tr nh sau: W = -7.0 W H1 W OB HB = 2.6 W = -5.0 W = -7.0 O1 = 7.0 W = -4.0 W O2 OH H2 = -11.0 Vi giỏ tr u vo l (0,0), giỏ tr u ca nỳt n s l: f(0 * (-7.0) + * (-7.0) + 1* 2.6 ) = f(2.6) Kt qu tr v ca nỳt u cho (0,0) s l: f(0 * (-5.0) + * (-4.0) + * (-11.0) + * (7.0)) = f(-4.0) Nh vy, ta thy rng mng lan truyn ngc ó phõn loi c cỏc im d liu khụng tuyn tớnh V Nhn xột chung v mng neuron Núi chung cỏc mng a tng l y v mt tớnh toỏn (computationally complete), cú ngha l cú th gii quyt c mi bi toỏn Tuy nhiờn, thit k mt mng neuron a tng thỡ nh thit k phi gii quyt c nhng sau: - Lm chn s nỳt n v s tng n thớch hp? - Khi no s dng cỏc nỳt thiờn lch? - Cỏch chn mt rốn luyn? - iu chnh cỏc trng s nh th no? - Nờn chn tc hc nh th no? Núi chung, khụng cú mt quy lut no v tt c nhng iu ny, nú ph thuc vo kinh nghim ca nh thit k, cng nh l kt qu ca quỏ trỡnh th-sai lp i lp li 101 Chng IX TIP CN X HI V NI TRI: GII THUT DI TRUYN (GENETIC ALGORITHM - GA) Cng nh cỏc mng neuron, cỏc thut toỏn di truyn cng da trờn mt n d sinh hc: Cỏc thut toỏn ny xem vic hc nh l s cnh tranh mt qun th gm cỏc li gii ng viờn ang tin húa ca bi toỏn Mt hm thớch nghi (fitness function) s ỏnh giỏ mi li gii quyt nh liu nú cú úng gúp cho th h cỏc li gii k tip hay khụng Sau ú, thụng qua cỏc phộp toỏn tng t vi bin i gene sinh sn hu tớnh, gii thut s to mt qun th cỏc li gii ng viờn mi I Gii thut Hỡnh 9.1- Gii thut di truyn Hỡnh 9.1 mụ t gii thut di truyn tng quỏt Tựy theo tng bi toỏn m nh thit k gii thut s phi mụ t chi tit hn v: Phng phỏp biu din mt cỏ th qun th cỏc li gii ng viờn ca bi toỏn, hay núi khỏc hn l hỡnh thc biu din mt li gii tim nng ca bi toỏn Khụng phi li gii ca mi bi toỏn u cú th c mó húa mt cỏch d dng v t nhiờn di dng biu din mc bit nh bi toỏn tha CNF di õy ln ca qun th l s lng ng viờn cú qun th Thụng thng cỏc ng viờn ca qun th ban u c chn mt cỏch ngu nhiờn ln ca qun 102 th l khụng i qua cỏc th h, vỡ vy, s cú mt quỏ trỡnh chn lc v loi b mt s li gii ng viờn cú thớch nghi thp iu kin dng ca vũng lp: cú th l chng trỡnh t ti mt s ln lp nht nh no ú, hay t ti trung bỡnh tt no ú ca qun th, Hm ỏnh giỏ (fitness function): Dựng ỏnh giỏ mt ng viờn cú tt hay khụng Mt ng viờn cng tt ngha l thớch nghi ca nú cng cao v tin n tr thnh li gii ỳng ca bi toỏn Vic thit k mt hm ỏnh giỏ tt l rt quan trng thut toỏn di truyn Mt hm ỏnh giỏ khụng chớnh xỏc cú th lm mt i cỏc ng viờn tt qun th Chn la bao nhiờu phn trm li gii tt gi li? Hay chn bao nhiờu li gii ng viờn kt hp vi v sinh li gii con? Phng phỏp to thnh viờn mi t thnh viờn hin cú, cũn gi l toỏn t di truyn (genetic operators): Cỏc toỏn t di truyn ph bin l o Lai ghộp (cross-over): Toỏn t lai ghộp ly hai li gii ng viờn v chia tng li gii thnh hai phn, sau ú trao i cỏc phn vi to ng viờn mi Vớ d xem hỡnh 9.18 o t bin (mutation): t bin ly mt ng viờn n l v thay i mt cỏch ngu nhiờn mt khớa cnh no ú ca nú Vớ d xem hỡnh 9.2 Hỡnh 9.2 - Vớ d minh gii thut v toỏn t di truyn Trong vớ d minh bng hỡnh 9.2, ta thy ti th h th n ta cú mt li gii cú thớch nghi rt thp (2), v vỡ vy, nú khụng c s dng quỏ trỡnh tỏi sn xut Thay vo ú, li gii cú thớch nghi cao nht (13) s c nhõn ụi v a vo quỏ trỡnh tỏi sn xut Hoc ớt ph bin hn l cỏc toỏn t di truyn: o o ngc (inversion): o ngc th t cỏc bit mu li gii o Trao i (Exchange): Trao i hai bit bt k mu li gii vi 103 Mt toỏn t di truyn tt úng mt vai trũ quan trng thut toỏn di truyn Toỏn t di truyn phi bo ton nhng mi quan h ct yu qun th; vớ d, s cú mt v s nht ca tt c cỏc thnh ph hnh trỡnh ca ngi bỏn hng bi toỏn ngi i bỏn hng - Thay th thnh viờn mi cho cỏc thnh viờn hin cú nh th no? - II Vớ d 1: Bi toỏn tha CNF Bi toỏn tha dng chun hi (Conjunctive normal form CNF) l mt bi toỏn n gin: Mt biu thc ca cỏc mnh (clause) dng chun hi hay CNF nú l mt dóy cỏc bin mnh c kt ni vi bi toỏn t quan h and () Mi mnh cú dng l mt tuyn (disjunction), gm cỏc toỏn t quan h or () trờn cỏc bin mnh (literal) Vớ d : Nu ta cú bin mnh a, b, c, d, e v f, thỡ biu thc sau õy l mt CNF: (ơa c) (ơa c ơe) (ơb c 3) d ơe) (a ơb c) (ơe f) (1- Tha CNF cú ngha rng chỳng ta phi tỡm mt phộp gỏn true hoc false (1 hoc 0) cho mi bin mnh a, b, c, d, e, f cho biu thc CNF cú giỏ tr l TRUE Mt cỏch biu din t nhiờn cho li gii ca bi toỏn ny l mt dóy sỏu bit, mi bit theo th t a, b, c, d, e, f biu din true (1) hoc false (0) cho mi bin mnh Nh vy mu bit: 101010 cho bit a, c, v e l true v b, d, v f l false, v ú thay cỏc giỏ tr ny vo biu thc (1-3), thỡ cho giỏ tr false Chỳng ta mun rng cỏc toỏn t di truyn sinh cỏc th h li gii cho biu thc CNF mang tr true, vỡ vy mi toỏn t phi sinh mt mu 6-bit ca phộp gỏn true cho biu thc Cỏch biu din li gii di dng mt mu cỏc bit nh trờn mang li cho ta rt mt iu rt thun li l bt k toỏn t di truyn no (lai ghộp, t bin, o ngc, hay trao i) u to mt mu bit mi l mt li gii kh d hp l Vic chn la mt hm thớch nghi cho qun th cỏc chui bit ny khụng phi hon ton d dng Thot nhỡn chui bit, ta khú cú th xỏc nh mt hm thớch nghi ỏnh giỏ c cht lng ca nú nh th no, ngha l khú oỏn c tt ca nú so vi 104 ỏp ỏn ỳng ỏp ỏn ỳng õy chớnh l chui bit cho biu thc CNF cú giỏ tr true Tuy nhiờn cú mt s cỏch khỏc Nu ta chỳ ý n biu thc CNF (1-3), thỡ ta thy rng nú c to thnh t hi ca mnh Do ú chỳng ta cú th thit lp mt h phõn hng cho phộp chỳng ta sp hng cỏc li gii (mu bit) tim nng khong giỏ tr t n 5, tựy thuc vo s mnh m mu ú tha Do ú mu: 1 0 cú thớch nghi l 1 0 cú thớch nghi l 0 1 cú thớch nghi l 1 1 cú thớch nghi l 5, v nú chớnh l mt li gii III Vớ d 2: Bi toỏn ngi i bỏn hng TSP Bi toỏn ngi bỏn hng (traveling salesperson problem TSP) l mt bi toỏn c in i vi AI v khoa hc mỏy tớnh1 Nh chỳng ó gii thiu chng III, ton b khụng gian trng thỏi ca nú ũi hi phi xem xột N! trng thỏi cú th tỡm li gii ti u, ú N l s thnh ph cn i qua Khi N khỏ ln thỡ bi toỏn s b bựng n t hp, vỡ vy ngi ta t l cú cn thit hay khụng cho vic chy mt mỏy trm lm vic t tin nhiu gi cho mt li gii ti u hay ch nờn chy mt PC r tin vi phỳt cú c nhng kt qu tt Gii thut di truyn chớnh l mt gii phỏp cho la chn th hai bi toỏn ny, dựng mu bit biu din cho li gii ca bi toỏn khụng phi l mt cỏch hay Chng hn, ta cú chớn thnh ph cn ghộ thm 1, 2, 9, ta xem mi thnh ph nh mt mu bit 0001, 0010, 1001 Khi ú mt li gii kh d s cú hỡnh thc nh sau: 0001 0010 0011 0100 0101 0110 0111 1000 1001 Vi cỏch biu din nh vy, vic thit k cỏc toỏn t di truyn s tr nờn rt khú khn Toỏn t lai ghộp nht nh l khụng c, vỡ chui mi c to t hai cha m khỏc hu nh s khụng biu din mt ng i ú ghộ thm mi thnh ph ỳng mt ln Trong thc t, vi lai ghộp, mt s thnh ph cú th b xúa b cỏc thnh ph khỏc c ghộ thm nhiu hn mt ln, v vỡ vy ú khụng phi l mt li gii hp l Cũn toỏn t t bin thỡ th no? Gi s bit trỏi nht ca thnh ph th sỏu, 0110, c t bin thnh 1? 1110, hay l 14, thỡ nú khụng cũn l mt thnh ph hp l Mt cỏch tip cn khỏc l s b qua biu din dng mu bit v t cho mi thnh ph mt tờn theo bng ch cỏi hoc s, vớ d 1, 2, 9; xem ng i qua cỏc thnh ph l mt s sp th t ca chớn ký s ny, v sau ú chn toỏn t di truyn thớch hp to cỏc ng i mi õy ta thy phộp trao i (exchange) ngu nhiờn hai thnh ph ng i cú th s dng c, cũn phộp toỏn lai ghộp (crossover) thỡ khụng Vic trao i cỏc on ca mt ng i vi nhng on khỏc ca cựng ng i ú, hoc bt c toỏn t no sp xp li cỏc ch cỏi ca ng i y (m khụng xúa b, thờm, hay nhõn ụi bt c thnh ph no) u cú th s dng c Tuy nhiờn, nhng phng phỏp ny gõy khú khn cho vic a vo th h chỏu nhng thnh phn 105 tt hn ca cỏc mu cỏc ng i qua ca cỏc thnh ph ca hai cha m khỏc Nhiu nh nghiờn cu ó a cỏc toỏn t lai ghộp cú kh nng khc phc nhng ny, ú cú toỏn t lai ghộp cú th t (order crossover) Davis a vo nm 1985 Lai ghộp cú th t xõy dng chỏu bng cỏch chn mt dóy cỏc thnh ph ng i ca mt mu cha m Nú cng bo ton th t tng i cỏc thnh ph t cha m u tiờn, chn hai im ct, biu th bi du |, im ct ny c chen vo mt cỏch ngu nhiờn vo cựng mt v trớ ca mi mu cha m Nhng im ct ny l ngu nhiờn, nhng mt c chn, thỡ nhng v trớ nh s c s dng cho c hai cha m Vớ d, cú hai mu cho m p1 v p2, vi cỏc im ct sau thnh ph th ba v th by: p1 = (1 | | 3) p2 = (4 | | 3) Phỏt biu ca bi toỏn TSP: Mt ngi bỏn hng cú nhim v ghộ thm N thnh ph nh l mt phn ca l trỡnh bỏn hng ng i gia mi cp thnh ph cú mt chi phớ (vớ d nh di on ng, giỏ vộ mỏy bay) Hóy tỡm ng i cú chi phớ thp nht cho ngi bỏn hng bt u lờn ng ti mt thnh ph, thm tt c cỏc thnh ph khỏc ch ỳng mt ln ri quay li thnh ph xut phỏt Hai mu c1 v c2 s c sinh theo cỏch sau u tiờn, cỏc on gia hai im ct s c chộp vo cỏc mu con: c1 = (x x x | | x x) c2 = (x x x | | x x) Bc k tip l bt u t im ct th hai ca mt hai mu cha m, nu ta ang mun hon tt mu c1, thỡ ta s bt u t im ct th hai ca mu p2, ta chộp cỏc thnh ph t im ct ny theo th t vo cỏc ch cũn trng ca c1, b qua nhng thnh ph m c1 ó cú (cỏc ký s c in m v nghiờng s bờn di) Khi n cui mu p2, thỡ quay li u mu p2 tip tc chộp sang c1 cho n c1 p2 = (4 | | 3) p1 = (1 | | 3) c1 = (2 | | 8) c2 = (3 | | 5) Vi gii thut lai ghộp ny, cỏc ng i ca th h s c m bo l cỏc ng i hp l, i qua mi thnh ph mt ln nht Túm li, lai ghộp th t, cỏc mnh ca mt ng i c truyn t mt cha m, p1, sang mt con, c1, sp xp ca cỏc thnh ph cũn li ca c1 c tha k t cha m kia, p2 iu ny ng h cho trc giỏc hin nhiờn l th t ca cỏc thnh ph úng vai trũ quan trng vic to ng i vi chi phớ thp nht, v vỡ vy vic truyn li cỏc on thụng tin cú th t ny t cỏc cha m cú thớch nghi cao sang cỏi l mt iu rt quan trng 106 Ngoi toỏn t lai ghộp th t trờn, cũn cú rt nhiu toỏn t lai ghộp v t bin khỏc c a gii quyt bi toỏn ny Bng 9.1 lit kờ cỏc toỏn t lai ghộp, bng 9.2 lit kờ cỏc toỏn t t bin Bng 9.1 - Danh sỏch cỏc toỏn t lai ghộp cho bi toỏn TSP Bng 9.2 - Danh sỏch cỏc toỏn t t bin cho bi toỏn TSP IV ỏnh giỏ gii thut Cỏc vớ d va nờu trờn lm ni bt nhng mang tớnh nht ca thut toỏn di truyn v biu din tri thc, chn toỏn t di truyn, v thit k hm thớch nghi Biu din c chn phi h tr cho cỏc toỏn t di truyn Mt im dỏng lu ý na l cỏc toỏn t di truyn phi c thit k cho bo lu c nhng mnh thụng tin cú ý ngha li gii tim nng t th h ny sang cỏc th h tip theo Mt sc mnh quan trng ca thut toỏn di truyn l bn cht song song tỡm kim ca nú Cỏc thut toỏn ny thc hin mt dng mnh ca leo nỳi (hill climbing) 107 ú trỡ nhiu li gii (trong qun th cỏc li gii), loi b nhng li gii khụng cú trin vng, v nõng cao cht lng ca nhng li gii tt Hỡnh 9.3 phng theo Holland (1986), cho thy nhiu li gii hi t v cỏc im ti u khụng gian tỡm kim Trong hỡnh ny, trc honh biu din cỏc im cú th cú khụng gian li gii, trc tung phn ỏnh cht lng ca nhng li gii ú Cỏc im chm nm trờn cung l cỏc thnh viờn ca qun th hin ti Khi u, nhng li gii c ri khụng gian nhng li gii cú th cú Sau mt vi th h, chỳng cú khuynh hng cm li xung quanh nhng vựng cú cht lng li gii cao hn Hỡnh 9.3- Cỏc thut toỏn di truyn c xem l leo nỳi song song (theo Holland 1986) Tuy nhiờn, vi sc mnh nh vy, gii thut genetic cng khụng th ỏp dng cho tt c cỏc bi toỏn cú th cú Vỡ nh ta thy qua hai vớ d trờn, li gii ca bi toỏn phi c biu din di mt dng mu thớch hp cho cỏc toỏn t di truyn hot ng Trong thc t cú nhiu bi toỏn khụng th lm c iu ny Vỡ vy, nghiờn cu v gii thut ny, cú rt nhiu cõu hi ó c a nhm hiu rừ hn na v bn cht hot ng ca nú: Liu chỳng ta cú th a nhng c im v cỏc loi bi toỏn m gii thut di truyn (GA) cú th thc hin tt Cỏc loi bi toỏn no thỡ khụng thớch hp vi GA Da vo õu ta cú th núi l GA thc hin tt hay khụng tt i vi mt loi bi toỏn no ú? Liu cú nhng qui lut no mụ t hnh vi ca GA mc v mụ? Hay c th hn, l liu cú bt k s phỏn oỏn no v s thay i ca thớch nghi ca cỏc nhúm qun th theo thi gian? Cú cỏch no mụ t cỏc hiu ng khỏc ca cỏc toỏn t di truyn nh lai ghộp, t bin, o ngc, v.v Trong nhng trng hp no (bi toỏn no, toỏn t di truyn no) thỡ GA s thc hin tt hn cỏc phng phỏp nghiờn cu ca TTNT truyn thng Nhng cõu hi ny (v cũn nhiu hn na) ó v ang c cỏc nh khoa hc nh Holland, Mitchell, Golderg, nghiờn cu 108 TNG KT PHN Ni dung chớnh ca chng ny bao gm: Gii thiu tng quỏt v mt nhỏnh nghiờn cu mi ca Trớ Tu Nhõn To, ú l Hc mỏy Hc c nh ngha nh l bt c s thay i no mt h thng cho phộp nú tin hnh tt hn ln th hai lp li cựng mt nhim v hoc vi mt nhim v khỏc rỳt t cựng mt qun th cỏc nhim v ú Cú ba tip cn hc: Tip cn th nht l tip cn ký hiu, hai l tip cn mng neuron hay kt ni v tip cn th ba l tip cn ni tri hay di truyn v tin húa Cỏc chng trỡnh hc theo tip cn ký hiu s biu din di dng cỏc ký hiu Chng ny trỡnh by mt gii thut c s dng rng rói ca tip cn ny, ú l ID3 ID3 s hc t d liu rốn luyn bao gm rt nhiu vớ d, mi vớ d bao gm mt cỏc cp thuc tớnh giỏ tr Thuc tớnh v giỏ tr õy l cỏc ký hiu Sau hc xong, ID3 biu din khỏi nim hc c bng mt cõy quyt nh Tip cn kt ni hay mng neuron mụ phng h thn kinh ca ngi hc c cỏc khỏi nim m khụng s dng ký hiu biu din Mng n tng perceptron cho thy sc mnh ca mng neuron, nhiờn kh nng ỏp dng ca chỳng ch hn ch cho cỏc bi toỏn cú tớnh tỏch ri tuyn tớnh Mng a tng ỏp dng gii thut hc lan truyn ngc ó vt qua nhng hn ch ca mng perceptron, chng t c sc mnh thc s ca tip cn ny Tng t nh tip cn kt ni, tip cn di truyn v tin húa cú cm hng bt ngun t tri thc ca ngi v s tin húa ca sinh vt: ch cú nhng cỏ th cú kh nng thớch nghi vi s thay i ca mụi trng thỡ mi tn ti v phỏt trin Thut toỏn di truyn mụ phng theo nguyờn lý ú Bi Cho mt hp cỏc vớ d rốn luyn nh sau: An mun ỏp dng gii thut ID3 xõy dng cõy quyt nh vi d liu rốn luyn trờn p dng cỏc cụng thc tớnh entropy v gain, hóy giỳp An xỏc nh thuc tớnh no (A , A , hay A ) l thuc tớnh tt nht hi u tiờn nhm to mt cõy quyt nh n gin nht (Lu ý: phi trỡnh by cỏc tớnh toỏn entropy v gain i n kt lun) 109 Cho mt hp gm 10 vớ d rốn luyn nh sau: Tp d liu trờn th hin quyt nh s ch bn hay khụng ca mt ngi bc vo mt nh hng ụng khỏch khụng cũn bn trng Quyt nh ca s ph thuc vo mt s yu t nh hụm ú cú phi l ngy cui tun khụng (cui-tun) A1, cú ang khụng (ang-úi) A2, thi gian ch bn (TG-ch) A3: di 10 phỳt (0-10), t 10 n 30 phỳt (10-30) hay trờn 30 phỳt (>30) p dng cỏc cụng thc tớnh entropy v gain, xỏc nh thuc tớnh tt nht hi k tip nhm to mt cõy quyt nh n gin nht theo gii thut ID3 Trỡnh by cỏc tớnh toỏn entropy v gain mi bc 110 Ti liu tham kho inh Mnh Tng Trớ tu nhõn to Nh xut bn Khoa hc k thut, 2002 Stuart Russell, Peter Norvig Artificial Intelligence: A modern Approach, Prentice- Hall, 2002 Chin-Liang Chang, Richard Char-Tung Lee, Symbolic Logic and Mechanical Theorem Proving, Academic Press, Inc, 1973 Enn Tyugu Algorithms and Architectures of Artificial Intelligence, IOS Press 2007 Nguyn Thanh Thu Trớ tu nhõn to: Cỏc phng phỏp gii quyt v x lý tri thc Nh xut bn Giỏo dc, 1999 111 [...]... thứ hai v 4 đợc lai ghép với nhau với điểm ghép l 2 Bảng kết quả lai ghép Quần thể sau chọn lọc Điểm ghép Quần thể sau lai ghép x Độ thích nghi f(x) = x2 0110|1 4 01100 12 144 1100|0 4 11001 25 625 11|000 2 11011 27 729 10|011 2 10000 16 25 6 62 Để thực hiện quá trình đột biến, ta chọn xác suất đột biến pm= 0,001, tức l ta hy vọng có 5x4x0,001 = 0, 02 bit đợc đột biến Thực tế sẽ không có bit no đợc đột... tốt nhất, leo đồi của bi toán 8 số 3 Viết chơng trình giải bi toán 8 con hậu 4 ng dng gii thut di truyn tỡm giỏ tr ca cỏc bin nguyờn x, y, z sao cho hm f(x,y,z) = ysin(zcos(x)) xcos(zsin(y)) t giỏ tr ln nht 63 Bit rng 0 < x < 10, 0< y < 10, 0 ... 19 Cây tìm kiếm đợc biểu diễn hình 5.4 A 14,0 27 , 20 F 13,7 C 21 ,13 E D 25 , 15 24 ,9 H H 25 ,15 E 19, 11 K 17, 15 I 18, 14 K B 21 , 21 22 , 20 B K 25 , 23 19, 19 Hình 5.4 Cây tìm kiếm nhánh_v_cận Thuật... f(-3.01 * 2. 5 -2. 06 * 2. 1 1.0 *1 ) = f(- 12. 84) = -1 Trong giỏ tr mong i ca vớ d ny l 1, nờn cỏc trng s tip tc c iu chnh 2. 5 2. 01 3.01 W = W +0 .2( -1-(-1))X = 2. 06 + 0.4 2. 1 = 1 .22 1.0... f(x) = x2 0110|1 01100 12 144 1100|0 11001 25 625 11|000 11011 27 729 10|011 10000 16 25 6 62 Để thực trình đột biến, ta chọn xác suất đột biến pm= 0,001, tức l ta hy vọng có 5x4x0,001 = 0, 02 bit