Giáo trình Nguyên lý máy học

Bài giảng NGUYÊN LÝ MÁY HỌC Phạm Nguyên Khang 01/2014 2 Giới thiệu Mục tiêu ν Cung cấp kiến thức cơ bản về quá trình học tự động/dạy cho máy học ν Học có giám sát (supervised learning), học không giám sát (unsupervised learning) ν Bài toán: Phân lớp (classification), Hồi quy (regression), Gom cụm (clustering) ν Ứng dụng: nhận dạng chữ viết tay, phân loại văn bản 3 Giới thiệu Chương 0 ν Tại sao phải học Nguyên lý máy học ? ν Như thế nào là một định nghĩa đúng về máy học ? ν Ví dụ: học chơi cờ ν Các vấn đề có liên quan Chương 1 ν Học giám sát ν Mạng nơ-ron (chương 2, giáo trình NLMH) ν Perceptron ν Mạng nơ-ron đa tầng ν Bài tập 4 Giới thiệu Chương 2 ν Máy học véc-tơ hỗ trợ - SVM (chương 3 giáo trình NLMH) ν Mô hình hoá bài toán SVM ν SVM cho bài toán nhiều lớp Chương 3 ν Đánh giá hiệu quả giải thuật học có giám sát (chương 4 giáo trình NLMH) ν Nghi thức kiểm tra ν Tiêu chí đánh giá hiệu quả giải thuật 5 Giới thiệu Chương 5 ν Học không giám sát (chương 5 giáo trình NLMH) ν Bài toán gom cụm ν Giải thuật k-means ν Bài toán ước lượng mật độ xác suất ν Kỹ thuật cực đại hoá kỳ vọng (EM) Chương 6 ν Ứng dụng (chương 6 giáo trình NLMH) ν Nhận dạng chữ viết tay ν Phân loại văn bản 6 Tài liệu tham khảo λ Đỗ Thanh Nghị, Phạm Nguyên Khang, Giáo trình Nguyên lý máy học, NXB Đại học Cần Thơ, 2012. λ Tom Mitchell, Machine Learning, McGraw Hill, 1997. λ Các khoá học về máy học: λ http://www.cs.cmu.edu/%7Etom/10601_fall2012/ λ http://cs229.stanford.edu λ Google: machine learning, học máy, máy học 7 Tổ chức lớp học Giảng dạy ν 2 tín chỉ ν Lý thuyết: 20 tiết ν Thực hành/bài tập lớn: 20 tiết Đánh giá ν Thi giữa kỳ: 20% ν Thực hành/bài tập lớn: 30% ν Thi kết thúc học phần: 50% Nguyên lý máy học Chương 0 Phạm Nguyên Khang pnkhang@cit.ctu.edu.vn Tại sao phải học NLMH •  Tiến bộ gần đây trong giải thuật và tin học lý thuyết •  Dữ liệu ngày càng nhiều hơn, nhất là dữ liệu trực tuyến •  Năng lực tính toán của máy tính ngày càng phát triển (phần cứng) •  Đất dụng võ dành cho dân máy học –  Khai khoáng dữ liệu (data mining): sử dụng dữ liệu quá khứ để dự đoán tương lai ! cải thiện quá trình quyết định. •  Thông tin y khoa ! kiến thức y khoa –  Ứng dụng phần mềm mà ta không thể lập trình thủ công •  Xe tự hành •  Nhận dạng tiếng nói –  Chương trình tự tuỳ biến •  Chương trình đọc tin tức có thể học để biết được sự quan tâm của người dùng. Nhiệm vụ tiêu biểu của DM •  Cho dữ liệu: –  9714 hồ sơ bệnh nhân, mỗi hồ sơ dành cho một phụ nữ mang thay và sinh con –  Mỗi hồ sơ có 215 đặc điểm liên quan đến bệnh nhân: độ tuổi, mang thai lần đầu, có mắc bệnh tiểu đường không, … •  Học để dự đoán: –  Bệnh nhân nào có nguy cơ bị mắc bệnh cao dựa vào các đặc điểm của họ. [...]... •  Nhiệm vụ: •  Độ do hiệu quả: •  Kinh nghiệm: Phân loại học máy •  Học có giám sát (có thầy) –  Phân lớp –  Hồi quy •  Học không có giám sát (không có thầy) –  Gom cụm –  Ước lượng hàm mật độ xác suất •  Học bán giám sát –  Gom cụm + gán nhãn => Phân lớp NGUYÊN LÝ MÁY HỌC (Học có giám sát) Phạm Nguyên Khang pnkhang@cit.ctu.edu.vn 1 Nội dung trình bày •  Ví dụ –  Bài toán dự báo giá nhà dựa vào diện... … Các môn học khác có liên quan •  •  •  •  •  •  •  •  •  Trí tuệ nhân tạo Phương pháp Bayes Lý thuyết độ phức tạp tính toán Lý thuyết điều khiển Lý thuyết thông tin Triết học Tâm lý học và thần kinh học (neurobiology) Thống kê … Học là gì ? •  Học (Mitchel)= Cải thiện tác vụ (task) nào đó bằng kinh nghiệm –  Cải thiện tác vụ T, –  Với độ đo hiệu quả P –  Dựa trên kinh nghiệm E •  Ví dụ: học chơi cờ... giả thiết (hàm dự báo) h –  Ví dụ h là một hàm tuyến tính 2 biến, h(x1, x2) có dạng: •  Trong đó, θ0, θ1, θ2 là các tham số cần mà ta phải tìm trong qua trình “dạy cho máy học hay còn gọi là qua trình huấn luyện 8 Hồi quy tuyến tính •  Dạy cho máy học/ huấn luyện như thế nào ? –  Tìm các tham số từ tập huấn luyện sao cho lỗi huấn luyện (training error) nhỏ nhất –  Trong ví dụ trên, ta phải tìm h sao...Nhiệm vụ tiêu biểu của DM •  Các luật được học từ dữ liệu trên là: •  If Other_Delinquent-Accounts > 2 and Number-Delinquent-Billing-Cycles > 1 then Profitable-Customer = No Nhiệm vụ tiêu biểu của DM Nhiệm vụ tiêu biểu của DM Nhiệm vụ tiêu biểu của DM Vấn đề khó lập trình thủ công •  Chương trình ALVINN có thể tự lái xe với tốc độ 70mph (112.654 km/h) trên đường cao... độ đo hiệu quả P –  Dựa trên kinh nghiệm E •  Ví dụ: học chơi cờ –  T: chơi cờ –  P: % ván thắng –  E: cơ hội để tự đánh với chính mình Học chơi cờ •  •  •  •  •  •  T: chơi cờ P: % ván thắng Kinh nghiệm gì ? Nên học gì ? Biểu diễn nó như thế nào ? Giải thuật nào để học ? Kiểu dạy/huấn luyện •  Trực tiếp hay gián tiếp ? •  Có thầy hay không có thầy ? •  Vấn đề: việc huấn luyện có phải là kinh nghiệm... thuật LMS •  LMS (Least mean square): bình phương trung bình nhỏ nhất –  Tìm θ sao cho J(θ) nhỏ nhất –  Khởi tạo ngẫu nhiên θ –  Tăng/giảm θ một lượng Δθ sao cho J(θ +/- Δθ) nhỏ hơn J(θ) –  α: tốc độ học 10 Giải thuật LMS •  Tính đạo hàm riêng theo từng tham số: 11 Giải thuật LMS •  Nếu chỉ có 1 mẫu huấn luyện, ta cập nhật: •  Nếu có nhiều mẫu huấn luyện, sử dụng luật cập nhật: •  Hoặc: 12 . giảng NGUYÊN LÝ MÁY HỌC Phạm Nguyên Khang 01/2014 2 Giới thiệu Mục tiêu ν Cung cấp kiến thức cơ bản về quá trình học tự động/dạy cho máy học ν Học có giám sát (supervised learning), học. phải học Nguyên lý máy học ? ν Như thế nào là một định nghĩa đúng về máy học ? ν Ví dụ: học chơi cờ ν Các vấn đề có liên quan Chương 1 ν Học giám sát ν Mạng nơ-ron (chương 2, giáo trình. dụng (chương 6 giáo trình NLMH) ν Nhận dạng chữ viết tay ν Phân loại văn bản 6 Tài liệu tham khảo λ Đỗ Thanh Nghị, Phạm Nguyên Khang, Giáo trình Nguyên lý máy học, NXB Đại học Cần Thơ, 2012.