Thế nào là khám phá tri thức (knowledge discovery) ? Khám phá tri thức là tìm ra những tri thức tiềm ẩn, những tri thức mới (không phải là những tri thức kinh điển, kinh nghiệm, …) Thừa dữ liệu, thông tin nhưng thiếu tri thức.
Phần III: Khai mỏ liệu khám phá tri thức Chương Máy học khám phá tri thức Tham khảo thêm: [1] GS.TSKH Hoàng Kiếm Bài giảng cao học môn học sở tri thức ứng dụng ĐHKHTN-TPHCM [2] Krzysztof J Cios, Witold Pedrycz, Roman W Swiniarski Data Mining Methods for Knowledge Discovery Kluwer Academic Publishers, 1998 I Khái niệm máy học Thế máy học (Learning Machine) ? Máy tính hay chương trình máy tính có khả tự hồn thiện từ “kinh nghiệm” Máy học cịn có nghĩa việc mơ hình hóa mơi trường xung quanh hay khả chương trình máy tính sinh cấu trúc liệu khác với cấu trúc có Chẳng hạn việc tìm luật If…then… từ tập liệu đầu vào (Krzysztof J Cios, Witold Pedrycz, Roman W Swiniarski Data Mining Methods for Knowledge Discovery Kluwer Academic Publishers, 1998) II Khám phá tri thức Thế khám phá tri thức (knowledge discovery) ? Khám phá tri thức tìm tri thức tiềm ẩn, tri thức (không phải tri thức kinh điển, kinh nghiệm, …) Thừa liệu, thông tin thiếu tri thức Mức độ trừu tượng Tri thức Thông tin Dữ liệu Số lượng III Phân loại máy học Phân loại thô: Học giám sát (supervised learning) Học không giám sát (unsupervised learning) Phân loại theo tiêu chuẩn lúc: “cấp độ học” & “cách tiếp cận” Cấp độ học: Học vẹt (Rote learning) Học theo giải thích (by explanation) Học theo ví dụ, trường hợp (by examples, cases) Học khám phá (by discovering) III Phân loại máy học (tt) Cách tiếp cận: Tiếp cận thống kê Tiếp cận toán tử logic Tiếp cận hình học (phân hoạch khơng gian, xây dựng định danh, …) Tiếp cận mạng Neural Tiếp cận khai mỏ liệu … III.1 Tiếp cận thống kê Ví dụ: Chương trình đốn ý nghĩ người Máy đoán người chơi nghĩ số hay đầu, người chơi phải trả lời cho máy biết máy đoán hay sai Để từ máy tính học qui luật suy nghĩa người chơi Máy đoán sai Máy đoán III.1 Tiếp cận thống kê (tt) Ý tưởng cài đặt: đơn giản - Lưu trữ toàn dãy số 0, mà người chơi nghĩ - Lấy số trước (người chơi đưa ra), tính xác suất xuất số số sau dãy số Máy đốn số có xác suất xuất cao Giả sử lần đoán thứ i, dãy số mà người dùng đoán sau: …1101010000101000000100? Từ liệu lưu trữ lần đoán trước, giả sử số lần xuất sau dãy 0 0 0 28 số lần xuất số 90 Xác suất xuất số sau dãy là: 28/(28+90) = 23.7% Xác suất xuất số sau dãy là: 90/(28+90) = 76.3% ⇒ Máy đoán số III.1 Tiếp cận thống kê (tt) Nhận xét ví dụ: Ví dụ đưa thuộc cấp độ học vẹt sử dụng cách tiếp cận thống kê Máy khơng thể đốn được, sau (vài trăm lần đốn) máy trở nên xác cách kinh ngạc (trung bình lên đến 90%) Trên thực tế cài đặt chương trình tác giả khơng đốn qui luật từ dãy số người chơi, máy sử dụng dãy số mà máy đốn III.2 Tiếp cận hình học Xét tốn: cho tập hình chữ nhật với kích thước (ngang & rộng) màu sắc khác (hình vẽ) Cho biết hình bên phải có màu gì? Đỏ Vàn g Cam Tía ? Đỏ Xanh dương Xanh Tím III.2 Tiếp cận hình học (tt) Giải toán: Phản ứng tự nhiên người: tìm khối có sẵn gần giống để đốn màu cho khối chưa biết Như gần giống ? Biểu diễn thuộc tính chiều rộng & chiều cao dạng điểm mặt phẳng chiều Tính khoảng cách từ khối cần tìm đến tất khối cịn lại (bài toán người láng giềng gần với độ phức tạp O(n)) Vàng Đỏ Tía Cam U Xanh dương Đỏ Xanh Tím III.6 Tiếp cận mạng Neural (tt) Sai lệch tất mẫu: m E = ∑ Ek = E1 + E2 + + Em k =1 Cập nhật trọng số: theo hướng cực tiểu hóa sai lệch w = w − α ∗ E ( w) ' k α: hệ số học ( ( d 1 k T E ( w) = y −f w x dw ' k )) ( ( )) ( k T ' T =− y − f w x f w x ) III.6 Tiếp cận mạng Neural (tt) Ví dụ minh họa cho phương pháp lan truyền ngược Cột thêm vào Độ dài đài hoa Độ rộng đài hoa Độ dài Độ rộng Loài cánh hoa cánh hoa Cây Iris A 4.7 3.2 1.3 0.2 Cây Iris B 6.1 2.8 4.7 1.2 Cây Iris C 5.6 3.0 4.1 1.3 Cây Iris D 5.8 2.7 5.1 1.9 Cây Iris E 6.5 3.2 5.1 2.0 Cây Iris Q 5.8 2.7 3.9 1.2 ??? Chọn hàm truyền: f ( x) = −x 1+ e III.6 Tiếp cận mạng Neural (tt) Các unit input xk Wk,j Các unit ẩn hj Các unit output Wj, i Oi b a 0 o III.6 Tiếp cận mạng Neural (tt) Khởi tạo trọng số có giá trị ngẫu nhiên nhỏ W0a = 0.0 Trọng số cột giá trị -1 đơn vị ẩn a W1a = 0.1 Trọng số đơn vị ẩn a từ giá trị nhập thứ W2a = -0.1 Trọng số đơn vị ẩn a từ giá trị nhập thứ W3a = -0.1 Trọng số đơn vị ẩn a từ giá trị nhập thứ III.6 Tiếp cận mạng Neural (tt) W0b = 0.0 Trọng số cột giá trị -1 đơn vị ẩn b W1b = -0.1 Trọng số đơn vị ẩn b từ giá trị nhập thứ W2b = 0.2 Trọng số đơn vị ẩn b từ giá trị nhập thứ W3b = 0.1 Trọng số đơn vị ẩn b từ giá trị nhập thứ W4b = -0.1 Trọng số đơn vị ẩn b từ giá trị nhập thứ W0o = 0.1 Trọng số cột giá trị -1 đơn vị xuất o Wao = 0.2 Trọng số cột đơn vị ẩn b từ đơn vị ẩn a Wbo = -0.1 Trọng số cột đơn vị ẩn b từ đơn vị ẩn b III.6 Tiếp cận mạng Neural (tt) Bước 1: Dự đoán Đối với “cây Iris A” ta tính giá trị xuất nút ẩn a oa = f (w0a + w1ax1 + w2ax2 + w3ax3 + w4ax4) = f (0.0 + 0.1*4.7 + (-0.1)*3.2 + (-0.1)*1.3 + 0.0*0.2) = f (0.02) = 1/(1 + e -0.02) = 0.5050 Tương tự với nút ẩn b ob = f (w0b + w1bx1 + w2bx2 + w3bx3 + w4bx4) = f (0.0 + (-0.1)*4.7 + 0.2*3.2 + 0.1*1.3 + (-0.1)*0.2) = f (0.28) = 1/(1 + e -0.28) = 0.5695 III.6 Tiếp cận mạng Neural (tt) Cuối ta tính giá trị xuất cho nút xuất o oo = f (w0o + waooa + wboob) = f (0.1 + 0.2*0.5050 + (-0.1)*0.5695) = f (0.1440) = 1/(1 + e –0.1440) = 0.5359 ⇒ Giá trị dự đoán cho “cây Iris A” 0.5359 III.6 Tiếp cận mạng Neural (tt) Bước 2: Xác định sai lệch Dùng kỹ thuật lan truyền ngược (back propagation) Với to : giá trị xuất mong muốn oo : giá trị xuất thật Sai lệch cần tính cho nút xuất o: δ o = oo(1 - oo)(to - oo) Sai lệch cần tính cho nút ẩn h từ o là: oh(1-oh)who δ o Trong ví dụ xét “cây Iris A” có t0 = Sai lệch nút xuất o: δ o=o0(1-o0)(t0-o0)=0.5359*(1-0.5359)*(0-0.5359) = -0.1333 III.6 Tiếp cận mạng Neural (tt) Sai lệch nút ẩn a: δa = oa(1-oa)wao δ o = 0.5050*(1-0.5050)*0.2*(-0.1333) = -0.0067 Sai lệch nút ẩn b: δb = ob(1-ob)wbo δ o = 0.5695*(1-0.5695)*(-0.1)*(-0.1333) = 0.0032 III.6 Tiếp cận mạng Neural (tt) Bước 3: Bước cập nhật trọng số Chọn tỉ lệ học α = 0.1 w0a = w0a + α*δ a *1 = 0.0 + 0.1*(-0.0067)*1 = -0.0007 w1a = w1a + α*δ a *x1 = 0.1 + 0.1*(-0.0067)*4.7 = 0.0969 w2a = w2a + α*δ a * x2 = -0.1 + 0.1*(-0.0067)*3.2 = -0.1021 w3a = w3a + α*δ a * x3 = -0.1 + 0.1*(-0.0067)*1.2 = -0.1009 w4a = w4a + α*δ a * x4 = 0.0 + 0.1*(-0.0067)*0.2 = -0.0001 III.6 Tiếp cận mạng Neural (tt) w0b = w0b + α*δ b *1 = 0.0 + 0.1*(0.0032)*1 = 0.0003 w1b = w1b + α*δ b *x1 = -0.1 + 0.1*(0.0032)*4.7 = -0.0985 w2b = w2b + α*δ b * x2 = 0.2 + 0.1*(0.0032)*3.2 = 0.2010 w3b = w3b + α*δ b * x3 = 0.1 + 0.1*(0.0032)*1.2 = 0.1004 w4b = w4b + α*δ b * x4 = -0.1 + 0.1*(0.0032)*0.2 = -0.0999 w0o = w0o + α*δ o*1 = 0.1 + 0.1*(-0.1333)*1 = 0.0867 wao = wao + α*δ o * oa = 0.2 + 0.1*(-0.1333)*0.5050 = 0.1933 wbo = wbo + α*δ o * ob = -0.1 + 0.1*(-0.1333)*0.5695 = -0.1076 Tất trọng số dùng cho mẫu III.6 Tiếp cận mạng Neural (tt) Thử tính cho “cây Iris A” thêm bước kế tiếp, có kết quả: Oa = f (-0.0007 + 0.0969*4.7 + (-0.1021)*3.2 + (-0.1009)*1.3 + (-0.0001)*0.2) = f (-0.0032) = 0.4992 Ob = f (0.0003 + -(0.0985)*4.7 + 0.2010*3.2 + 0.1004*1.3 + (-0.0999)*0.2) = f (0.2911) = 0.5724 Oo= f (0.0867 + 0.1933*0.4992 + (-0.1076)*0.5724) = f (0.1440) = 0.5304 Kết quả, ta thấy 0.5304 gần (kết mong muốn) so với kết bước trước 0.5359 III.6 Tiếp cận mạng Neural (tt) Tóm tắt giải thuật Cho trước K mẫu liệu : { ( x , y ), ( x , y ) } 1 k k với xk = (x1k, x2k, …, xnk) yk ∈ R, k = 1, …, K Bước 1: chọn trước giá trị α > Emax >0 Bước 2: khởi tạo ngẫu nhiên w, bắt đầu với mẫu thứ k = gán sai lệch E = Bước 3: bắt đầu trình học, gán x = xk , y = yk Đầu mạng neuron tính theo: Ok = + exp( −W T o k ) III.6 Tiếp cận mạng Neural (tt) ok giá trị lớp ẩn, tính bởi: o = + exp( − w1T xk ) k l Bước 4: cập nhật trọng số neuron đầu ra: với δ = ( y − O)O(1 − O) W = W + αδ o Bước 5: cập nhật trọng số neuron ẩn wl = wl + αδWl ol (1 − ol ) x (cho l = 1, …., L) III.6 Tiếp cận mạng Neural (tt) Bước 6: tính sai lệch cách cộng thêm sai lệch E = E + ( y − O) Bước 7: k < K k = k + trở lại Bước Nếu khơng qua Bước Bước 8: Nếu E Emax gán E = bắt đầu chu kỳ học cách trở lại Bước ... discovery) ? Khám phá tri thức tìm tri thức tiềm ẩn, tri thức (không phải tri thức kinh điển, kinh nghiệm, …) Thừa liệu, thông tin thiếu tri thức Mức độ trừu tượng Tri thức Thông tin Dữ liệu... W4,5 f(W1,4a1 + W2,4a2)) III.6 Tiếp cận mạng Neural (tt) Mạng Hopfield -1 +1 +2 -1 -1 -1 +1 +3 -2 +1 +3 +2 -1 -1 +1 +3 -2 +3 -1 -1 +1 +1 Mạng Hopfield hoạt động tương tự hoạt động nhớ kết hợp có:... liệu đầu vào (Krzysztof J Cios, Witold Pedrycz, Roman W Swiniarski Data Mining Methods for Knowledge Discovery Kluwer Academic Publishers, 1998) II Khám phá tri thức Thế khám phá tri thức (knowledge