Nội dung chương 7 trình bày đến người học những vấn đề liên quan đến "Nhập môn học máy", cụ thể như: Khái niệm về máy học, học quy nạp, học với cây quyết định, học trong Mạng Neural,...Mời các bạn cùng tham khảo!
NHẬP MƠN TRÍ TUỆ NHÂN TẠO CHƯƠNG Nhập mơn học máy Bộ mơn Khoa học máy tính Biên soạn: TS Ngô Hữu Phúc Chương 7: Nhập môn máy học Thơng tin chung Thơng tin nhóm mơn học: TT Họ tên giáo viên Học hàm Học vị Đơn vị công tác (Bộ môn) Ngô Hữu Phúc GVC TS BM Khoa học máy tính Trần Nguyên Ngọc GVC TS BM Khoa học máy tính Hà Chí Trung GVC TS BM Khoa học máy tính Trần Cao Trưởng GV ThS BM Khoa học máy tính Thời gian, địa điểm làm việc: Bộ môn Khoa học máy tính Tầng 2, nhà A1 Địa liên hệ: Bộ mơn Khoa học máy tính, khoa Cơng nghệ thông tin Điện thoại, email: 069-515-329, ngohuuphuc76.mta@gmail.com Chương 7: Nhập môn máy học Cấu trúc môn học Chương 1: Giới thiệu chung Chương 2: Logic hình thức Chương 3: Các phương pháp tìm kiếm mù Chương 4: Các phương pháp tìm kiếm có sử dụng thông tin Chương 5: Các chiến lược tìm kiếm có đối thủ Chương 6: Các tốn thỏa buộc Chương 7: Nhập mơn học máy Chương 7: Nhập môn máy học Bài 7: Nhập môn máy học Chương 7, mục: 7.1 – 7.5 Tiết: 1-3; 4-6; Tuần thứ: 11,12 (xây dựng ứng dụng chương 6),13,14,15 (xây dựng ứng dụng chương 7) Mục đích, yêu cầu: Nắm khái niệm máy học Nắm phương pháp học quy nạp Nắm phương pháp xây dựng định Nắm phương pháp học Mạng Neural Hình thức tổ chức dạy học: Lý thuyết Thời gian: tiết Địa điểm: Giảng đường Phòng Đào tạo phân cơng Nội dung chính: (Slides) Chương 7: Nhập mơn máy học Nội dung 7.1 Khái niệm máy học? (4) 7.2 Học quy nạp 7.3 Học với định 7.4 Học Mạng Neural • Mạng Perceptron • Mạng Perceptron đa lớp với thuật giải BP Chương 7: Nhập môn máy học 7.1 Khái niệm máy học (1/4) Nhớ làm lại (học vẹt) Học nhờ quan sát khái quát hoá (học hiểu) Định nghĩa H Simon “Học thay đổi thích ứng hệ thống giúp cho hệ thống xử lý vấn đề ngày hiệu gặp lại tình tương tự” Chương 7: Nhập môn máy học 7.1 Khái niệm máy học (2/4) Học làm gì? Học cần thiết môi trường chưa quen thuộc, Học phương pháp hữu hiệu để xây dựng hệ thống Học cách để chương trình thơng minh hiệu chỉnh hành vi để tăng hiệu giải vấn đề Chương 7: Nhập môn máy học 7.1 Khái niệm máy học (3/4) Học tác tử: Environment: Môi trường Sensors: cảm biến Critic: phân tích, đánh giá Effectors: Chương 7: Nhập môn máy học 7.1 Khái niệm máy học (4/4) Xây dựng module học cho hệ thống: Việc xây dựng module học cho hệ thống phải tính đến yếu tố: Phần cần học để tăng hiệu giải vấn đề Thông tin phản hồi phần học hệ thống Cách biểu diễn tri thức cần học Dạng thông tin phản hồi: Học có giám sát: trả lời xác cho câu hỏi Học không giám sát: khơng có câu trả lời xác Học tăng cường: giành lấy phần thưởng làm Chương 7: Nhập môn máy học 7.2 Học quy nạp Ví dụ: học hàm từ mẫu ví dụ f hàm mục tiêu Một mẫu ví dụ cặp (x, f(x)) Bài tốn: Tìm giả thuyết h cho h ≈ f dựa tập mẫu cho trước Mơ hình đơn giản hố việc học: Khơng tính đến tri thức có sẵn Giả sử tập mẫu có đủ 10 Chương 7: Nhập mơn máy học Lan Truyền Xuôi a = p = –0.27 – 0.75 – 0.48 a = f W a + b = l ogsig = logsi g + –0.41 – 0.13 – 0.54 1 1 -0.75 1 + e a = = 0.32 1 0.36 -0.54 1+ e 2 2 a = f W a + b = purelin ( 0.09 – 0.17 0.32 + 0.48 ) = 0.44 0.36 77 e = t – a = + sin - p – a = + sin - – 0.44 = 1.26 4 máy học Chương 7: Nhập môn Đạo hàm hàm chuyển –n d e 1 1 fÝn = - = = – - - = 1 – a a – n –n d n 1 + e –n –n +e +e 1 + e d fÝn = n = dn 78 Chương 7: Nhập môn máy học Lan Truyền Ngược 2 2 s = –2FÝ(n ) t – a = –2 fÝ n2 1.26 1 = –2 1.26 1 = –2.52 2 T 1 s = FÝ(n ) W s = 1 s = 1 – 0.32 1 0.32 1 79 Chương 7: Nhập môn máy học 0.09 – 2.52 1 – a a – 0.17 0.09 – 2.52 – 0.36 8 0.36 8 – 0.17 s = 0.21 0 – a a – 0.22 = – 0.04 95 0.23 0.42 0.09 97 Cập nhật trọng số = 0.1 T W21 = W20 – s2 a1 = 0.09 –0.17 – 0.1 –2.52 0.32 10.36 W 1 = 0.17 1–0.07 72 2 b 1 = b 0 – s = 0.48 – 0.1 –2.52 = 0.73 1 T W = W – s a = – 0.27 – 0.1 – 0.04 95 = – 0.26 – 0.41 0.09 97 – 0.42 1 b = b 0 – s = – 0.48 – 0.1 – 0.04 95 = – 0.47 80 Chương 7: Nhập môn máy học – 0.13 0.09 97 – 0.14 Lựa chọn Cấu trúc mạng i g p = + sin - p 4 1-3-1 Network 3 i=1 1 0 -1 -2 -1 -1 2 i=4 1 0 -1 -2 81 -1 -2 i=2 -1 Chương 7: Nhập môn máy học -1 -2 i=8 -1 Lựa chọn cấu trúc mạng 6 g p = + sin p 4 3 1-2-1 1 0 -1 -2 -1 82 -1 -2 -1 2 1-4-1 0 -1 Chương 7: Nhập môn máy học 1-5-1 -1 -2 1-3-1 2 -1 -2 -1 Hội tụ g p = + sinp 3 2 4 0 -1 -2 -1 Hội tụ đến cực trị toàn cục 83 Chương 7: Nhập môn máy học -1 -2 -1 Hội tụ đến cực trị địa phương Khái quát hoá {p 1, t 1} , { p 2, t2 } , , {p Q, tQ} g p = + sin - p p = –2, –1.6, –1.2, , 1.6, 3 1-2-1 1-9-1 2 1 0 -1 -2 84 -1 Chương 7: Nhập môn máy học -1 -2 -1 Định Lý Kolmogov Độ Phức Tạp Học Bài toán số 13 David Hilbert "Nghiệm đa thứ bậc biểu diễn chồng hàm hàm biến cụ thể đa thức sau đây: f7+xf3+yf2+zf+1=0 giải hàm hai biến" Ví dụ chồng hàm hai biến để giải phương trình bậc 85 Chương 7: Nhập mơn máy học Định Lý Kolmogov Độ Phức Tạp Học Năm 1957, Kolmogorov (Arnold, Lorenz) chứng minh giả thiết đưa tốn Hilbert sai Thậm chí chứng minh kết mạnh hơn: hàm liên tục biểu diễn chồng hàm biến dùng phép toán nhân cộng Định Lý Kolmogorov: f:[0,1]n[0,1] hàm liên tục tồn hàm biến g, hi i=1,2, ,2n+1 số i cho: f(x1,x2, ,xn)= j=1,2n+1g(i=1,n ihj(xi)) Định lý cho mạng Neural (Baron, 1993): Mạng Perceptron hướng tiến lớp ẩn dùng hàm chuyển sigmoid xấp xỉ hàm khả tích Lơbe khoảng [0,1] 86 Chương 7: Nhập môn máy học Định Lý Kolmogov Độ Phức Tạp Học Mặc dù định lý đưa tồn mà khơng đưa thuật tốn cho việc xác định cấu trúc mạng (số neuron tầng ẩn) hay trọng số Định lý NP học cho mạng Neural (Judd, 1990): Bài tốn tìm trọng số tối ưu cho mạng Neural đa lớp có hàm chuyển hardlims NP đầy đủ Lưu ý: - thuật tốn BP khơng đảm bảo tìm nghiệm tối ưu, chí khơng đảm bảo hội tụ -Việc xác định cấu trúc mạng số yếu tố thuật tốn học mang tính kinh nghiệm, Heuristic 87 Chương 7: Nhập mơn máy học Một số Heuristics cho BP • • • • Cập nhật theo chế độ (online) hay batch (epoch): Thường việc học theo chế độ giúp BP hội tụ nhanh hơn, đặc biệt liệu lớn dư thừa Chuẩn hoá giá trị đầu ra: Đảm bảo giá trị đầu nằm miền giá trị hàm chuyển neuron đầu tương ứng (thường nằm khoảng [a+, b- ] Chuẩn hoá giá trị đầu vào: Đảm bảo giá trị trung bình gần nhỏ so với độ lệch tiêu chuẩn (stdev) Các giá trị tốt phải độc lập với Khởi tạo giá trị trọng số: Uniform random in [-, ]; [-, -][ , ] • 88 Kết thúc sớm: Khi liên tiếp n epoch training mà khơng có cải thiên đáng kể lỗi hay khơng có thay đổi đáng kể trọng số Chương 7: Nhập môn máy học Một số Heuristics cho BP • Tốc độ học: Tốc độ học Neuron nên vậy, neuron tầng sau (thường có gradient lớn tầng trước) nên có tốc độ học nhỏ tầng trước, Neuron có input nên có tốc độ học lớn hớn Neuron có nhiều input • Kiểm tra chéo (crossvalidation): Tách tập liệu làm hai tập độc lập (training and testing) Tỷ lệ thường 2/3:1/3 Thực việc học tập training kiểm tra khả khái quát hoá mạng tập testing • Luật phân lớp tối ưu: Dùng M neuron đầu cho toán phân M lớp sử dụng luật cạnh tranh winner-take-all • Xác định số neuron lớp ẩn: 89 Các ước lượng cận thô (số lượng liệu, chiều VC) Phương pháp: Incremental, Decremental Chương 7: Nhập môn máy học Đọc thêm M.T Hagan, H.B Demuth, and M Beale, Neural Network Design, PWS Publishing Giáo trình, chương 19 MIT Courseware: ch8, ch9 90 Chương 7: Nhập môn máy học Câu Hỏi ôn tập Trình bày cấu trúc mạng Neuron Perceptron đa lớp? Trình bày giải thuật học lan truyền ngược cho MLP Trình bày định lý Kolmogorov ứng dụng cho MLP Cài đặt thuật giải BP cho MLP Ứng dụng MLP để giải toán như: Classification Regression 91 Chương 7: Nhập môn máy học ... thủ Chương 6: Các tốn thỏa buộc Chương 7: Nhập môn học máy Chương 7: Nhập môn máy học Bài 7: Nhập môn máy học Chương 7, mục: 7. 1 – 7. 5 Tiết: 1-3 ; 4-6 ; Tuần thứ: 11,12 (xây dựng ứng dụng chương. .. vấn đề Chương 7: Nhập môn máy học 7. 1 Khái niệm máy học (3/4) Học tác tử: Environment: Môi trường Sensors: cảm biến Critic: phân tích, đánh giá Effectors: Chương 7: Nhập môn máy học 7. 1... nên DTL chọn làm gốc định 26 Chương 7: Nhập môn máy học Lợi thông tin (Information gain) Cây định học DTL từ 12 ví dụ: Nhỏ định đưa lúc đầu 27 Chương 7: Nhập môn máy học Khi học tốt? Làm