các kiểu dữ liệu cơ bản

Simple Perceptron ● ● Simplest output function Used to classify patterns said to be linearly separable Linearly Separable Linearly Separable The bias is proportional to the offset of the plane from the origin The weights determine the slope of the line The weight vector is perpendicular to the plane Perceptron Learning Algorithm ● ● ● We want to train the perceptron to classify inputs correctly Accomplished by adjusting the connecting weights and the bias Can only properly handle linearly separable sets Perceptron Learning Algorithm ● ● ● ● We have a “training set” which is a set of input vectors used to train the perceptron During training both wi and θ (bias) are modified for convenience, let w0 = θ and x0 = Let, η, the learning rate, be a small positive number (small steps lessen the possibility of destroying correct classifications) Initialise wi to some values Perceptron Learning Algorithm Desired output { 1 if x n∈set A d n = −1 if x n∈set B Select random sample from training set as input If classification is correct, nothing If classification is incorrect, modify the weight vector w using w i =w i ηd n x i n Repeat this procedure until the entire training set is classified correctly Learning Example Initial Values: η = 0.2  w= 0.5 = w 0w x1w x = 0x 10.5x ⇒ x = −2x1 Learning Example η = 0.2  w= 0.5 x1 = 1, x2 = wTx > Correct classification, no action Learning Example η = 0.2  w= 0.5 x1 = 2, x2 = -2 w = w 0−0.2∗1 w = w 1−0.2∗2 w = w 2−0.2∗−2 Learning Example η = 0.2   −0.2 w = 0.6 0.9 x1 = 2, x2 = -2 w = w 0−0.2∗1 w = w 1−0.2∗2 w = w 2−0.2∗−2 Chương Gom cụm Thuật toán gom cụm K-Means Chương Gom cụm Ví dụ K-Means Giả sử có sinh viên A, B, C, D Mỗi sinh viên biểu diễn hai đặc trưng X, Y Mục đích nhóm sinh viên cho vào nhóm/phòng (K=2) dựa vào đặc trưng chúng Bước Khởi tạo tâm cho nhóm Giả sử chọn A tâm nhóm thứ (tọa độ tâm nhóm thứ c1(1,1)) B tâm nhóm thứ (tạo độ tâm nhóm thứ hai c2 (2,1)) Chương Gom cụm Bước Tính khoảng cách từ đối tượng đến tâm nhóm (Khoảng cách Euclidean) 0 3.61  C  (1, 1) group  D0    1 2.83 4.24 C  (2, 1) group  Chương Gom cụm Ví dụ, khoảng cách từ đối tượng C=(4,3) đến tâm c1(1,1) 3.61 đến tâm c2(2,1) 2.83 tính sau: Bước Nhóm đối tượng vào nhóm gần Ta thấy nhóm sau vòng lặp thứ gồm có đối tượng A nhóm gồm đối tượng lại B,C,D Chương Gom cụm Vấn đề chọn số cụm k Bước Tính lại tọa độ tâm cho nhóm dựa vào tọa độ đối tượng nhóm Nhóm có đối tượng A nên tâm nhóm khơng đổi, c1(1,1) Tâm nhóm tính sau: Bước Tính lại khoảng cách từ đối tượng đến tâm C  (1, 1) group  1 3.61   D   C  (11 , ) group  14 36 47 89   3 17 Chương Gom cụm Bước Nhóm đối tượng vào nhóm Bước Tính lại tâm cho nhóm C1  ( 1 11 45 3 , )  (1.5, 1) C  ( , )  (4.5, 3.5) 2 2 18 Chương Gom cụm Bước Tính lại khoảng cách từ đối tượng đến tâm 0.50 0.50 3.20 4.61 D2    4.30 3.54 0.71 0.71 C  (1.5, 1) group  C  (4.5, 3.5) group  Bước Nhóm đối tượng vào nhóm Ta có G2 = G1 nên thuật tốn dừng kết phân nhóm sau: Chương Gom cụm Bài tập K-Means  Bài 1: Cho tập điểm x1={1,3} ={x11,x12}; x2={1.5 , 3.2 }={x21,x22} x3 ={1.3 ,2.8}={x31,x32}; x4={3, 1}={x41,x42} Dùng K-Mean để gom nhóm (K=2)  Bài 2: Cho tập điểm X1(4,1) ; X2(5,1) ; X3(5,2) ; X4(1,4) ; X5(1,5) ; X6(2,4) ; X7(2,5) Dùng K-Mean để gom nhóm (K=2) Lưu ý: áp dụng hàm tính khoảng cách Manhattan Chương Gom cụm Ưu điểm K-means  Tương đối nhanh  Độ phức tạp thuật toán O(tkn) • n: số điểm khơng gian liệu • k: số cụm cần phân hoạch • t: số lần lặp (t 0: if output[i] == 0: w[0] = w[0] - delta * 1; w[1] = w[1] - delta * input[i][0]; w[2] = w[2] - delta * input[i][1]; if sign 0: if output[i] == 0: w[0] = w[0] - delta * 1; w[1] = w[1] - delta * input[i][0]; w[2] = w[2] - delta * input[i][1]; dung=1; if sign d(x4,v2) =1.70 xếp x4 vào cụm c2 Tăng n lên Ma trận phân hoạch Un : x1 x2 x3 X4 U1= c1 1 c2 0 Lặp | Un – Un-1| < epsilon dừng , sai quay bước ... (Clustering) Nội dung Giới thiệu Các độ đo khoảng cách Phương pháp K-means Bài tập lý thuyết Chương Gom cụm Giới thiệu  Sự bùng nổ thông tin tác động siêu phương tiện WWW  Các hệ thống truy vấn thông... Gom cụm Ví dụ gom cụm ngơi nhà Dựa Dựakhoảng kích cách thước điạ lý Chương Gom cụm Giới thiệu Cách biểu diễn cụm  Phân chia đường ranh giới  Các khối cầu  Theo xác suất  Hình  … I1 I2 … In... cụm vết đứt gãy địa tầng  … Chương Gom cụm Độ đo khoảng cách Độ đo khoảng cách thường dùng để xác định khác hay giống hai đối tượng Khoảng cách Minkowski :   d (i, j)  (| x  x |  | x  x |