máy học,lê ngọc thành,dhkhtnhcm

máy học,lê ngọc thành,dhkhtnhcm Trường Đại học Khoa học Tự nhiên Khoa Công nghệ Thông tin TÀI LIỆU LÝ THUYẾT MÁY HỌC Giảng viên ThS Lê Ngọc Thành Email lnthanh@fit hcmus edu vn Winter 2012 HỒI QUY TUY[.]

Trường Đại học Khoa học Tự nhiên Khoa Công nghệ Thông tin TÀI LIỆU LÝ THUYẾT MÁY HỌC HỒI QUY TUYẾN TÍNH Giảng viên: ThS Lê Ngọc Thành Email: lnthanh@fit.hcmus.edu.vn CuuDuongThanCong.com Winter 2012 https://fb.com/tailieudientucntt Nội dung  Hồi quy tuyến tính         Khái niệm Phân biệt với mơ hình phân lớp Các loại mơ hình tuyến tính Ứng dụng Hồi quy tuyến tính với biến Hồi quy tuyến tính với nhiều biến Hồi quy đa thức Biểu thức chuẩn d CuuDuongThanCong.com https://fb.com/tailieudientucntt Tình • Như để dự đoán giá nhà? – Tập hợp liệu liên quan đến giá nhà – Chúng liên quan đến kích thước nào? d • Cho nhà có kích thước 750 thước vng, giá mong đợi bao nhiêu? CuuDuongThanCong.com https://fb.com/tailieudientucntt Tình (tt) 230 150 d 750 • Phương pháp giải quyết: – Vẽ đường thẳng xuyên qua liệu có sẵn • Giá nhà 150 – Vẽ đường đa thức bậc • Giá nhà 230 CuuDuongThanCong.com https://fb.com/tailieudientucntt Bài tốn hồi quy • Cho trước tập liệu có “câu trả lời đúng” hay cung cấp giá trị output • Thuật tốn học từ liệu có sẵn (training data) để rút mơ hình dự đốn (predictor) • Nếu giád trị output giá trị liên tục, ta có tốn hồi quy (regression) • Nếu giá trị output rời rạc hữu hạn, ta có tốn phân lớp (classification) CuuDuongThanCong.com https://fb.com/tailieudientucntt Một số kí hiệu • Tập huấn luyện giá nhà Size in feet2 (x) 2104 1416 1534 852 … Price ($) in 1000's (y) 460 232 315 m=47 178 … d • Kí hiệu: – m: số mẫu huấn luyện – x: biến “input”/đặc trưng – y: biến “output”/biến “target” (x,y): mẫu huấn luyện (xi,yi): mẫu huấn luyện thứ i (i=1,…,m) CuuDuongThanCong.com x1 = 2104 y1 = ? https://fb.com/tailieudientucntt Hồi quy tuyến tính (1/2) Training Set Learning Algorithm Size of house h d Estimated price • Có liệu học, cần thuật toán học tốt để dự đốn giá trị output (liên tục) • Giả thuyết (hypothesis), thuật toán đưa hàm hồi quy (h) nhận giá trị input trả giá trị dự đốn • Hàm đơn giản để giải hàm hồi quy tuyến tính CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi quy tuyến tính (2/2) • Thể hàm hồi quy tuyến tính: ℎ𝜃 𝑥 = 𝜃0 + 𝜃1 𝑥1 + … • Hàm “tuyến tính” tham số 𝜃0 , 𝜃1 , … , 𝜃𝑛 Tham số gọi trọng số d (weight) • Để đơn giản, hàm gọi hàm tuyến tính biến x (liên kết tuyến tính biến input) CuuDuongThanCong.com https://fb.com/tailieudientucntt Các loại hồi quy tuyến tính • Thể đơn giản nhất: – Hồi quy tuyến tính đơn thức biến input – ℎ𝜃 𝑥 = 𝜃0 + 𝜃1 𝑥 – Univariate linear regression • Hồi quy đa thức mộtd biến: – Ví dụ: ℎ𝜃 𝑥 = 𝜃0 + 𝜃1 𝑥 + 𝜃2 𝑥 – Polinominal linear regression • Hồi quy nhiều biến input: – ℎ𝜃 𝑥 = 𝜃0 + 𝜃1 𝑥1 + 𝜃2 𝑥2 + … – Multivariate linear regression CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi quy với hàm sở CuuDuongThanCong.com Hàm sigmoidal Hàm đa thức Hàm Gaussians • Giá trị input x giá trị thực Tuy nhiên thể qua hàm phi tuyến, người ta gọi hàm sở (basic function) Kí hiệu: 𝜙(𝑥) ℎ𝜃 𝑥 = 𝜃0 + 𝜃1 𝜙1 𝑥 + 𝜃1 𝜙2 𝑥 + … • Hàm hồi quy đa thức trường hợp đặc biệt với 2d hàm sở 𝜙 𝑥 = 𝑥 … https://fb.com/tailieudientucntt 10