Đang tải... (xem toàn văn)
Nhậpmôn họcmáy Trình bày PGS TS Nguyễn Hữu Quỳnh Email quynhnh@tlu edu vn ITF Information Technology Faculty Thuyloi University Bài giảng được dựa trên giáo trình machine learning cơ bản và có tham kh[.]
ITF: Information Technology Faculty Thuyloi University Nhập môn học máy Trình bày: PGS.TS Nguyễn Hữu Quỳnh Email: quynhnh@tlu.edu.vn Bài giảng dựa giáo trình machine learning có tham khảo giảng PGS.TS Nguyễn Thanh Tùng, Khoa CNTT, TLU ITF: Information Technology Faculty Thuyloi University Thông tin mơn học • Trang web: https://piazza.com/class/k63hdmr4h043hf • Các ngành học: CNTT, Kinh tế, Điện tử • Điều kiện: Đã học môn học xác suất thống kê, đại số tuyến tính • Có kỹ lập trình Python/R/Matlab ITF: Information Technology Faculty Thuyloi University Mục tiêu môn học • Trang bị cho sinh viên số ứng dụng khái niệm máy học • Trang bị số phương pháp học máy • Kỹ thực hành thuật toán học máy Python ITF: Information Technology Faculty Thuyloi University Tài liệu tham khảo Machinelearningcoban.com ITF: Information Technology Faculty Thuyloi University Bài tập • Sinh viên cần hoàn thành 50% số điểm khối lượng tập để nhận điểm đạt • Sinh viên phải hoàn thành tập số tập giao • Nộp tập theo thời khóa biểu mơn học ITF: Information Technology Faculty Thuyloi University Ngơn ngữ lập trình python ITF: Information Technology Faculty Thuyloi University Hỏi & Đáp • Đặt câu hỏi liên quan đến mơn học Piazza • Website: https://piazza.com/class/k63hdmr4h043hf ITF: Information Technology Faculty Thuyloi University Giới thiệu máy học • Machine Learning lên chứng cách mạng công nghiệp lần thứ tư ITF: Information Technology Faculty Thuyloi University Giới thiệu máy học • Machine Learning lên chứng cách mạng cơng nghiệp lần thứ tư • Một số ví dụ: • Xe tự hành Google, ITF: Information Technology Faculty Thuyloi University Giới thiệu máy học • Hệ thống tự tag khuôn mặt ảnh Facebook, ITF: Information Technology Faculty Thuyloi University Kỳ vọng ma trận hiệp phương sai Có vài điểm lưu ý ma trận hiệp phương sai: • Ma trận hiệp phương sai ma trận đối xứng, nữa, ma trận nửa xác định dương • Mọi phần tử đường chéo ma trận hiệp phương sai số khơng âm Chúng phương sai chiều liệu • Các phần tử đường chéo 𝑠𝑖𝑗, 𝑖 ≠ 𝑗 thể tương quan thành phần thứ 𝑖 thứ 𝑗 liệu (là hiệp phương sai) • Giá trị phần tử ngồi đường chéo dương, âm Khi 0, hai thành phần 𝑖, 𝑗 liệu không tương quan (uncorrelated) • Nếu ma trận hiệp phương sai ma trận đường chéo, ta có liệu hồn tồn khơng tương quan chiều ITF: Information Technology Faculty Thuyloi University Kỳ vọng ma trận hiệp phương sai • Không gian chiều mà hai chiều không tương quan • ma trận hiệp phương sai ma trận đường chéo với hai phần tử đường chéo 𝜎1, 𝜎2, hai trị riêng ma trận hiệp phương sai phương sai chiều liệu ITF: Information Technology Faculty Thuyloi University Kỳ vọng ma trận hiệp phương sai • Không gian chiều mà hai chiều không tương quan • Dữ liệu khơng gian hai chiều có tương quan Theo chiều, ta ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • Cách đơn giản để giảm chiều liệu từ 𝐷 𝐾 < 𝐷 giữ lại 𝐾 phần tử quan trọng Tuy nhiên, gặp phải: • chưa biết xác định thành phần quan trọng thành phần • trường hợp xấu nhất, lượng thông tin mà thành phần mang nhau, bỏ thành phần dẫn đến việc lượng thơng tin lớn • Cách giải quyết: • biểu diễn vector liệu ban đầu hệ sở mà hệ sở đó, tầm quan trọng thành phần khác rõ rệt • Sau bỏ qua thành phần quan trọng ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • Ví dụ: có hai camera để chụp lạc đà, camera đặt phía trước mặt lạc đà camera đặt phía ngang lạc đà: ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • PCA phương pháp tìm hệ trực chuẩn cho hệ này, thành phần quan trọng nằm K thành phần • Để cho đơn giản tính tốn, PCA tìm hệ trực chuẩn để làm sở ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • Dưới góc nhìn Thống kê, PCA coi phương pháp tìm hệ sở trực chuẩn đóng vai trị phép xoay, cho hệ sở này, phương sai theo số chiều nhỏ, ta bỏ qua ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • GS hệ sở trực chuẩn 𝑈 muốn giữ lại 𝐾 toạ độ hệ sở mới: ITF: Information Technology Faculty Thuyloi University Principal Component Analysis • Quan sát hình vẽ với sở 𝑈 = [𝑈𝐾, 𝑈𝐾] hệ trực chuẩn với 𝑈𝐾 ma trận tạo 𝐾 cột 𝑈 • Với sở này, ma trận liệu viết thành: • Từ ta suy ra: • Mục đích PCA tìm ma trận trực giao 𝐔 cho phần lớn thông tin giữ lại phần màu xanh 𝐔𝐾𝐙 phần màu đỏ 𝐔K𝐘 lược bỏ thay ma trận không phụ thuộc vào điểm liệu ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Các bước thực PCA Bước 1: Tính vector kỳ vọng tồn liệu: ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Bước 2: Trừ điểm liệu vector kỳ vọng toàn liệu: ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Bước 3: Tính ma trận hiệp phương sai S: Bước 4: Tính trị riêng vector riêng S thứ tự giảm dần trị riêng (lưu ý trực giao u𝑖 ) , xếp chúng theo ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Bước 5: Chọn 𝐾 vector riêng ứng với 𝐾 trị riêng lớn để xây dựng ma trận 𝐔𝐾 có cột tạo thành hệ trực giao 𝐾 vectors thành phần ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Bước 6: Chiếu liệu ban đầu chuẩn hoá 𝑋 xuống khơng gian tìm ITF: Information Technology Faculty Thuyloi University Principal Component Analysis Bước 7: Dữ liệu toạ độ điểm liệu không gian