Bài giảng Trí tuệ nhân tạo: Chương 5 - Lý Anh Tuấn

Chương 5 giúp người học hiểu về "Học máy". Nội dung trình bày cụ thể gồm có: Một số khái niệm, cây quyết định, học cây quyết định, thuật toán dựng cây, tập dữ liệu huấn luyện, cây phức tạp, gia lượng thông tin của tất cả các thuộc tính,...

Học Máy – Cây định – Mạng neural Học Máy • Học (learning) thay đổi hệ thống cho phép thi hành tốt lần thứ hai lặp lại nhiệm vụ với nhiệm vụ khác từ tập nhiệm vụ • Học liên quan đến vấn đề khái quát hóa từ kinh nghiệm (dữ liệu huấn luyện) => tốn quy nạp • Nhiệm vụ học – Xác định người học cần học ? – Người học cần cung cấp ? – Đánh giá thành tích học Một số khái niệm • Tập ví dụ huấn luyện (training set, training example): Là ví dụ biết trước kết phân lớp giá trị thuộc tính, dùng để xây dựng nên định • Mẫu (instance): Là trường hợp cụ thể cần phân lớp Một mẫu ví dụ cụ thể, biết số hay toàn giá trị thuộc tính song khơng biết giá trị thuộc tính phân lớp • Thuộc tính đích (target distribute): Là thuộc tính ví dụ thuộc lớp đó, có tên gọi khác thuộc tính phân lớp • Hàm học (target function/ learning function): VD định cần xây dựng, có chức phân lớp mẫu Một số khái niệm • Ví dụ: Phân loại ba loại Mơ, Mận, Đào: – Xác định hàm f: từ tập M tập gồm loại Mơ, Mận, Đào => Tên = {Mơ, Mận, Đào} Hàm f gọi hàm mục tiêu hay gọi hàm học a  M: f(a) = Mơ Mận Đào – Tập ví dụ huấn luyện: D={(a, b)| a  M, b tên quả} – Đánh giá thành tích: Cho xác định tên quả, xác định tỉ lệ Cây định Học định Ra định: Thị trường London tăng trưởng hôm nay? Cây định cấu trúc dạng lưu đồ, đó: ngày khứ • • Tỉ lệ thất nghiệp cao? • NO YES Thị trường London tăng trưởng ngày hôm {day2, day3} YES Thị trường New York tăng trưởng hôm nay? Thị trường London tăng trưởng ngày hôm {day1} Mỗi nút trung gian kiểm tra thuộc tính Mỗi nhánh tương ứng với giá trị thuộc tính Các nút thể phân loại NO Thị trường London không tăng trưởng ngày hôm {day4, day5, day6} Học định • Tạo định bao gồm hai pha – Dựng • Chia ví dụ cách đệ quy dựa thuộc tính lựa chọn • Ở thời điểm bắt đầu, tất đối tượng huấn luyện nút gốc – Cắt tỉa • Xác định loại bỏ nhánh phản ánh nhiễu dị biệt • Sử dụng định: Phân loại đối tượng chưa biết – Kiểm tra giá trị thuộc tính đối tượng dựa vào định Ví dụ: Cây định Chơi Tennis • Mục đích: Kiểm tra xem sáng thứ sáu thích hợp cho việc chơi tennis • Cây định: Quang cảnh nắng Âm u Độ ẩm cao Khơng mưa Có Trung bình Có Gió mạnh Khơng nhẹ Có VD: Trường hợp (Quang cảnh=nắng, Nhiệt độ=Nóng, Độ ẩm=cao, Gió=mạnh) Chơi Tennis = Khơng Thuật tốn dựng Ở nút cây: Chọn thuộc tính định “tốt nhất” cho nút Mở rộng cách thêm nhánh cho giá trị thuộc tính Sắp xếp ví dụ vào nút If tất ví dụ nút thuộc lớp Then Stop Else lặp lại bước 1-4 nút Tập liệu huấn luyện Giá trị thuộc tính + Phân loại ví dụ Ngày Quang cảnh Nhiệt độ Độ ẩm Gió Chơi Tennis D1 Nắng Nóng Cao nhẹ Khơng D2 Nắng Nóng Cao Mạnh Khơng D3 Âm u Nóng Cao Nhẹ Có D4 Mưa ấm áp Cao nhẹ Có D5 Mưa Mát TB nhẹ Có D6 Mưa Mát TB Mạnh Khơng D7 Âm u Mát TB Mạnh Có D8 Nắng ấm áp Cao nhẹ Khơng D9 Nắng Mát TB nhẹ Có D10 Mưa ấm áp TB nhẹ Có D11 Nắng ấm áp TB Mạnh Có D12 Âm u ấm áp Cao Mạnh Có D13 Âm u Nóng TB nhẹ Có D14 Mưa ấm áp Cao Mạnh Khơng 10 Perceptron • Khái niệm – Perceptron mơ hình đơn giản mạng nơron – Percetron biểu diễn hàm boolean n biến (x1, x2,… xn) với xi giá trị thực – Thường dùng để phân loại hay nhận dạng đối tượng • Kiến trúc x0 = w0 x1 w1 y (1/0) s=∑ wn xn 29 Perceptron • Trong đó: n s= w x i 0 1  y=  0 i i  w0  w1 x1   wn xn s0 s0 • Khả biểu diễn: – w0  w1 x1   wn xn  phương trình siêu phẳng – Perceptron biểu diễn hàm siêu phẳng tuyến tính, siêu phẳng chia không gian thành phần 30 Perceptron • Ví dụ: – Xây dựng perceptron biểu diễn hàm boolean: AND, OR, NAND, NOR – Xây dựng mạng nơron kết hợp perceptron để biểu diễn hàm boolean: XOR, NXOR Giả sử giá trị logic 1(true) -1(false) AND: w0=-.8, w1=w2=.5 OR: w0=.3, w1=w2=.5 XOR: ? 31 Luật học perceptron • Hàm cần học: hàm biểu diễn perceptron • Giá trị đầu ra: y = f (x1, x2,… xn) • Tập ví dụ huấn luyện: D = {(x, t) | x= (x1, x2,… xn), t = 1/0} • Nhiệm vụ: xác định vector trọng số w = (w1, w2,… wn) cho đưa giá trị vào x giá trị tương ứng y=t w0 x1 x1 and x2 w1 y (1/0) S=∑ x2 w2 32 Luật học perceptron • Tư tưởng: xuất phát từ việc khởi tạo trọng số ngẫu nhiên tính đầu ra, vào đầu điều chỉnh đầu vào • Thuật toán: i Khởi tạo vector trọng số (w0,w1 ,wn), wi nhỏ Ví dụ: chọn (-0,5, 0,5) ii.Bước lặp: Đối với ví dụ huấn luyện d=(x,t)  D • Tính đầu Ơ Perceptron ứng với x • Cập nhật trọng số theo công thức wi  wi +  (t  Ô) xi (i=0,1, ,n) ( : số dương nhỏ gọi tốc độ học) 33 Mạng nơron truyền thẳng nhiều tầng Một mạng nơ ron truyền thẳng nhiều tầng: Một ví dụ huấn luyện, X=(x1, x2, …, xi) đưa vào tầng đầu vào Giữa tầng tồn liên kết có trọng số, wij thể trọng số từ đơn vị j tầng tới đơn vị i tầng phía trước 34 Mạng nơron truyền thẳng nhiều tầng • Thuật tốn lan truyền ngược thực việc học mạng nơron truyền thẳng nhiều tầng • Đầu vào tương ứng với số thuộc tính dùng đánh giá đối tượng huấn luyện • Tầng thứ hai đơn vị ẩn • Tầng đầu đưa dự đốn mạng ví dụ cho trước • Các trọng số liên kết với vòng tròn 35 Một đơn vị tầng ẩn tầng đầu Đầu vào (Đầu lớp trước) Tổng trọng số Hàm hoạt hóa Đầu vào tầng j đầu từ tầng phía trước Chúng nhân với trọng số tương ứng để tạo thành tổng có trọng số, sau tổng cộng thêm bias liên kết với đơn vị j Một hàm hoạt hố khơng tuyến tính áp dụng để tính đầu mạng 36 Xác định tơpơ cho mạng • Trước huấn luyện người sử dụng phải định tô pô cuả mạng: số lượng tầng, số lượng đơn vị tầng • Thường giá trị đầu vào chuẩn hoá cho rơi vào khoảng 0,1 -1,1 Các thuộc tính có giá trị riêng rẽ mã hố cho có đơn vị đầu vào cho miền giá trị • Một đơn vị đầu sử dụng để đại diện cho hai lớp Nếu nhiều hai lớp, sử dụng đơn vị đầu cho lớp • Khơng có quy tắc rõ ràng để xác định số lượng “tốt nhất” đơn vị tầng ẩn Thiết kế mạng trình thử- vàlỗi 37 Huấn luyện mạng nơron • Mục tiêu việc huấn luyện: – Thu tập trọng số làm cho hầu hết đối tượng tập liệu huấn luyện phân loại xác • Các bước: – Khởi tạo trọng số với giá trị ngẫu nghiên – Lần lượt đưa đối tượng đầu vào vào mạng – Với đơn vị: • Tính toán đầu vào thực đơn vị kết hợp tuyến tính tất đầu vào đơn vị • Tính tốn giá trị đầu việc sử dụng hàm hoạt hố • Tính tốn lỗi 38 Thuật tốn lan truyền ngược • Học cách lặp lại việc xử lý tập đối tượng huấn luyện, so sánh dự đoán mạng đối tượng với nhãn lớp biết (sai số) • Các trọng số chỉnh sửa để làm cực tiểu sai số trung bình bình phương Việc chỉnh sửa thực theo chiều “đi lùi”: từ tầng đầu ra, xuyên qua tầng ẩn xuống tầng • Đầu vào: Các đối tượng huấn luyện, tốc độ học l, mạng truyền thẳng nhiều tầng • Đầu ra: Mạng nơron huấn luyện để phân lớp đối tượng 39 Thuật tốn lan truyền ngược • Khởi tạo trọng số – Là số phát sinh ngẫu nhiên nhỏ (từ -1.0 đến 1.0 –0.5 đến 0.5) – Mỗi đơn vị j liên kết với bias θj • Lan truyền đầu vào phía trước – Tính đầu vào đầu đơn vị ẩn đơn vị đầu – Đầu vào tính theo cơng thức: Ij = Σi wij Oi + θj – Ví dụ đầu tính hàm sigmoid Oj = 1/(1+e-Ij) • Lan truyền ngược sai số – Sai số tính tốn lan truyền ngược lại cách cập nhật trọng số (wij = wij + Δwij) bias (θj = θj + Δθj) để phản hồi sai số dự đốn mạng • Điều kiện kết thúc – Tất Δwij lần trước đủ nhỏ – Tỉ lệ đối tượng bị phân lớp nhầm lần trước thấp ngưỡng – Số lượng lần từ trước hết 40 Thuật toán lan truyền ngược 41 Thuật toán lan truyền ngược Khởi tạo trọng số bias mạng While điều kiện dừng chưa thoả mãn { for đối tượng huấn luyện X { /* lan truyền thẳng đầu vào */ for đơn vị tầng ẩn tầng đầu j { Ij = Σi wijOi + θj /* tính tốn đầu vào thực đơn vị j dựa vào tầng phía trước */ Oj = 1/(1+e-Ij) } for đơn vị j tầng đầu /* lan truyền ngược sai số */ Errj = Oj(1 - Oj)(Tj – Oj) /* tính tốn sai số */ for đơn vị j tầng ẩn, từ tầng ẩn cuối đến tầng ẩn Errj = Oj(1 - Oj) Σk Errkwjk /* tính tốn sai số dựa vào tầng cao k */ for trọng số wij mạng { Δ wij = (l) Errj Oi /* số gia trọng số */ wij = wij + Δ wij } /* cập nhật trọng số */ for bias θj mạng { θj = (l) Errj /* số gia bias */ θj = θj + Δ θj } /* cập nhật bias */ }} 42 Bài tập • Xét mạng đơn giản sau đây: Giả sử nơron sử dụng hàm hoạt hóa Sigmoid (i) Thực lần truyền thẳng mạng (ii) Thực lần (huấn luyện) truyền ngược (mục tiêu = 0.5) (iii) Thực thêm lần truyền thẳng nhận xét kết ... D11} Gain(SNắng, Độ ẩm) = 970 - (3 /5) 0.0 - (2 /5) 0.0 = 0.970 Gain(SNắng, Nhiệt độ) = 970 - (2 /5) 0.0 - (2 /5) 1.0 - (1 /5) 0.0 = 0 .57 0 Gain(SNắng, Gió) = 970 - (2 /5) 1.0 - (3 /5) 0.918 = 0.019 21 Điều kiện... ( S )    pi log pi i 1 15 Ví dụ Từ 14 ví dụ Chơi Tennis, có đối tượng dương đối tượng âm (ký hiệu [9+, 5- ]) Entropy([9+ , 5- ]) = - (9/14)log2(9/14) - (5/ 14)log2 (5/ 14) = 0.940 Lưu ý: Entropy... [6+, 2-] Nút có giá trị “mạnh”, Smạnh = [3+, 3-] | Sv | Gain( S , Gió)  Entropy ( S )   Entropy ( Sv ) v{Yeu , Manh} | S | = Entropy(S) - (8/14)Entropy(Syếu) - (6/14)Entropy(Smạnh) = 0.940 -