mangneuronperceptron 130312025659 phpapp01

Mạng neuron lan truyền ngược thuật toán Machine learning • Mang neural nhân tao la sự mô phong cau truc cua mang neural sinh hoc. Mang neural nhân tao đươc tao thanh bơi sự noi ket giưa rat nhieu đơn vị than kinh goi la perceptron.

III.6 Tiếp cận mạng Neural Mang neural la thuat ngư noi đen mot phương phap giai quyet van đe – bai toan may tính mơ phong theo hoat đong cua cac te bao than kinh não bo • Mang neural nhân tao la mô phong cau truc cua mang neural sinh hoc Mang neural nhân tao đươc tao bơi noi ket giưa rat nhieu đơn vị than kinh goi la perceptron Khớp Nhánh Trục Thân Cau truc cua mot te bao than kinh sinh hoc III.6 Tiếp cận mạng Neural (tt) •Cấu tạo mot đơn vị than kinh nhân tao (như hình vẽ) Gia trị đau y cua mot perceptron đươc tính bang cơng thức sau:  y = f((xnwn+ xn-1wn-1 + … + w2n2 + w1n1 + w0) - φ) ( φ đươc goi la ngưỡng kích hoat cua neural ) Ham f đươc goi la ham truyen Mot ham truyen can phai co tính chat sau : - bị chan - đơn đieu tăng - ham liên tuc tăng x1 x2 w2 … wn-1 xn-1 wn xn w1 ∑xiwi f y III.6 Tiếp cận mạng Neural (tt) Cac ham truyen thương đươc sử dung: Ham logistic (hay goi la ham Sigma) Ham hyperbol Ham tang-hyperbol − e− x h( x) = + e−x e x − e− x ( x) = x e + e−x f ( x) = −x 1+ e III.6 Tiếp cận mạng Neural (tt) Mơ hình minh họa mạng neural lớp Cung liên kết (trọng số Wj) Units Input Unit output III.6 Tiếp cận mạng Neural (tt) Mơ hình minh họa mạng neural tổng quát Các unit input Ik Wk,j Các unit ẩn aj Các unit output Wj, i Oi III.6 Tiếp cận mạng Neural (tt) Mạng lan truyền (Feed Forward) W13 I1 H3 W35 W14 W23 I2 O5 H4 W24 W45 Nguyên tắc xác định giá trị Output node 5: a5 = f (W3,5a3 + W4,5a4) = f (W3,5 f(W1,3a1 + W2,3a2) + W4,5 f(W1,4a1 + W2,4a2)) III.6 Tiếp cận mạng Neural (tt) Mạng Hopfield -1 +1 -1 -1 -1 +2 +1 +1 +3 -2 +1 +3 -1 -1 -1 +2 +1 +1 +3 -2 +3 -1 Mạng Hopfield hoạt động tương tự hoạt động nhớ kết hợp có: Wi,j = Wj,i III.5 Tiếp cận mạng Neural (tt) Mạng Perceptron Các unit input Ij Các unit output Wj,i Oi Các unit input Ij Các unit output Wj,i Oi Perceptron đơn lẻ III.5 Tiếp cận mạng Neural (tt) Mạng Perceptron input Wi = Wi + α*Xi output Wi = Wi - α*Xi Xi Wi,j α: hệ số học Oj O T-O T : đầu mong muốn Perceptron đơn lẻ O: đầu mạng III.6 Tiếp cận mạng Neural (tt) Khả phân chia tuyến tính mạng Perceptron I1 I1 I1 1 0 I2 Y(I1, I2) = 0 I2 (b) I1 or I2 (a) I1 and I2 ? W1I1 + W2I2 > θ ngược lại I2 (c) I1 xor I2 II Luật kết hợp Một số khái niệm:  Cho I = {i1, i2, i3, …, in} tập hợp trường gọi items  D: tập giao tác có giao tác Ti mà Ti ⊆ I  T chứa X X ⊆ T (X tập có phần tử ⊆ I)  Mỗi giao tác Ti có danh TID  Luật kết hợp mối liên hệ điều kiện hai tập hạng mục liệu X Y theo dạng sau: Nếu X Y, ký hiệu X ⇒ Y Chúng ta có luật kết hợp X ⇒ Y, X ⊂ I, Y ⊂ I X ∩ Y = ∅  Luật X ⇒ Y có độ support s có s% số giao tác D có chứa X ∪ Y Hay : support (X⇒Y) = s% = Card(X∪Y)/ Card(D) % II Luật kết hợp (tt) Luật X⇒Y có độ tin cậy c (confidence) có c% số giao tác D chứa X∪Y so với số giao tác D chứa X, ta có : c = Card(X∪Y)/Card(X) %  Tập hạng mục liệu gọi ItemSet có độ support lớn hay giá trị ngưỡng nhỏ (gọi minsupp) gọi Large ItemSet Các ItemSet lại gọi Small ItemSet  Với Large ItemSet - L, A tập khác rỗng L, tỉ lệ phần trăm support L so với support A lớn hay độ tin cậy nhỏ (gọi minconf) ta có luật kết hợp A ⇒ (L\A) II Luật kết hợp (tt) Ví dụ: (minh họa đại lượng minsupp minconf) TID 100 200 300 400 500 Age 23 25 29 34 38 Married No Yes No Yes Yes NumCars 1 2 Người ta đưa minsupp = 40% mincon f = 50 % Tìm luật kết hợp thỏa mãn minsupp minconf (1): Age (30 39) and (Married: Yes) ⇒ NumCars = (s = 40%, c = 100%) (2): NumCars(0 1) ⇒ Married = No (s = 40%, c = 66,6%) II Luật kết hợp (tt) Biến đổi CSDL  Phân chia giá trị thuộc tính thành khoảng ứng với khoảng liên kết với giá trị nguyên dương để dễ dàng thao tác thuộc tính Thuộc tính CSDL Thuộc tính khơng định lượng Thuộc tính định lượng Ví dụ: thuộc tính Age Ví dụ: Thuộc tính Married II Luật kết hợp (tt) Ví dụ: CSDL có thuộc tính Age nhận giá trị từ 20 → 50 Ta chia 20 → 50 thành khoảng: 10 19; 20 29; 30 39; 40 49 Xem miền thuộc tính riêng là: 1, 2, 3, TID 100 200 300 400 500 Age 32 48 21 34 15 biến đổi thành TID 100 200 300 400 500 Thuộc tính II Luật kết hợp (tt) Tìm luật kết hợp Để rút luật CSDL cần tiến hành bước sau:  B1: Xác định khoảng phân chia thuộc tính cần phân tích  B2: Kết hợp khoảng thuộc tính phân chia bước B1 với số nguyên để thực thuật toán nhanh, dễ dàng  B3: So sánh support item với minsupp, tạo tập Largeitemset  B4: ABCD AB Large itemset ta rút luật AB ⇒ CD support(ABCD)/support(AB) >= minconf  B5: Xác định chọn luật phù hợp II Luật kết hợp (tt) Ví dụ: Dùng ví dụ hồ sơ nhân chia khoảng thuộc tính AGE (giả sử chia thành khoảng) Minsupp = 40% = records Minconf = 50% TID 100 200 300 400 500 Age 23 25 29 34 38 Married No Yes No Yes Yes NumCars 1 2 II Luật kết hợp (tt) Các khoảng chia Age Interval 20 24 25 29 30 34 35 39 TID 100 200 300 400 500 Age 20 24 25 29 25 29 30 34 35 39 Married No Yes No Yes Yes Kết hợp thuộc tính Age Married với số nguyên Interval 20 24 25 29 30 34 35 39 Integer Value Integer Yes No NumCars 1 2 II Luật kết hợp (tt) Bảng kết sau biến đổi TID 100 200 300 400 500 Age 2 Married 2 1 NumCars 1 2 II Luật kết hợp (tt) Tập Large itemset tìm sau: Itemset {(Age: 20 29)} {(Age: 30 39)} {(Married: Yes)} {(Married: No)} {(Numcars: 1)} {(Age: 30 39), (Married: Yes)}} Support 3 Rút luật sau: Rule (Age: 30 39) and (Married:Yes) ⇒ (Numcars: 2) (Age: 20 29) ⇒ (Numcars: 1) S C 40% 100% 60% 66,6% II Luật kết hợp (tt) Ví dụ: Bài tốn tìm luật kết hợp Cho CSDL sau: Tìm luật kết hợp cho minsupp = 0.5(50%) minconf = 1(100%) Hóa đơn Các mặt hàng Bánh mì, nước ngọt, sữa Bia, bánh mì Bia, nước ngọt, khăn giấy, sữa Bia, bánh mì, khăn giấy, sữa Nước ngọt, khăn giấy, sữa II Luật kết hợp (tt)  Ta có: sp(“bánh mì”) = 3/5; sp(“bia”) = 3/5; sp(“nước ngọt”) = 3/5; sp(“sữa”) = 4/5; sp(“khăn giấy”) = 3/5; ⇒ F1 = {“bánh mì”, “bia”, “nước ngọt”, “sữa”, “khăn giấy”} ⇒ C2 = { {“bánh mì”,“bia”}, {“bánh mì”,“nước ngọt”}, {“bánh mì”,“sữa”}, {“bánh mì”,“khăn giấy”}, {“bia”,“nuớc ngọt”}, {“bia”,”sữa”}, {“bia”,”khăn giấy”}, {“nuớc ngọt”,”sữa”}, {“nuớc ngọt”,”khăn giấy”}, {“sữa”,”khăn giấy”} } II Luật kết hợp (tt)  Tìm F2 từ C2: sp({“bánh mì”, “bia”}) = 2/5 (loại) sp({“bánh mì”,”nuớc ngọt”}) = 1/5 (loại) sp({“bánh mì”,”sữa”}) = 2/5 (loại) … sp({“nuớc ngọt”, “sữa”}) = 3/5 … sp({“sữa”,”khăn giấy”}) = 3/5 ⇒ F2 = {{“nước ngọt”,”sữa”}, {“sữa”,”khăn giấy”}} ⇒ C3 = {{“nuớc ngọt”,”sữa”,”khăn giấy”}} II Luật kết hợp (tt)  Tìm F3 từ C3: sp({“nuớc ngọt”,”sữa”,”khăn giấy”}) = 2/5 (loại) ⇒ F3 = {} ⇒ C4 = {} Vậy tập phổ biến {{“nước ngọt”,”sữa”}}  Ta xây dựng luật (R1) “nước ngọt” → “sữa”; (R2) “sữa” → “nước ngọt” conf(R1) = sp(R1)/sp(“nước ngọt”) = 3/5 : 3/5 = (100%) conf(R2) = sp(R1)/sp(sữa) = 3/5 : 4/5 = ¾ (75%) (loại) II Luật kết hợp (tt)  Vậy tìm luật: “nuớc ngọt” → “sữa” với minsupp = 50% minconf = 100% Khách hàng mua “nước ngọt” mua “sữa” Thuật tốn tìm luật kết hợp Bước : Liệt kê tất tập P I cho P > Bước : Với tập P, liệt kê tất tập X khác trống P Luật R hình thành :   R:X→ P\X  Thuật toán APRIORITID (Tham khảo thêm giảng cao học môn học sở tri thức ứng dụng ĐHKHTN-TPHCM GS.TSKH Hoàng Kiếm)