Học Máy (IT4862) Nhập môn Học máy và Khai phá dữ liệu (IT3190) Nguyễn Nhật Quang quang nguyennhat@hust edu vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin và truyền thông Năm học 2020 2021[.]
Nhập môn Học máy Khai phá liệu (IT3190) Nguyễn Nhật Quang quang.nguyennhat@hust.edu.vn Trường Đại học Bách Khoa Hà Nội Viện Công nghệ thông tin truyền thông Năm học 2020-2021 Nội dung môn học: Giới thiệu Học máy Khai phá liệu Tiền xử lý liệu Đánh giá hiệu hệ thống Hồi quy Phân lớp Mạng nơron nhân tạo (Artificial neural network) Phân cụm Phát luật kết hợp Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Mạng nơ-ron nhân tạo – Giới thiệu (1) ◼ Mạng nơ-ron nhân tạo (Artificial neural network – ANN) ❑ ❑ ◼ Mỗi nơ-ron ❑ ❑ ◼ Mô hệ thống nơ-ron sinh học (các não người) ANN cấu trúc (structure/network) tạo nên số lượng nơ-ron (artificial neurons) liên kết với Có đặc tính vào/ra Thực tính tốn cục (một hàm cục bộ) Giá trị đầu nơ-ron xác định ❑ ❑ ❑ Đặc tính vào/ra Các liên kết với nơ-ron khác (Có thể) đầu vào bổ sung Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Mạng nơ-ron nhân tạo – Giới thiệu (2) ◼ ANN xem cấu trúc xử lý thông tin cách phân tán song song mức cao ◼ ANN có khả học (learn), nhớ lại (recall), khái quát hóa (generalize) từ liệu học –bằng cách gán điều chỉnh (thích nghi) giá trị trọng số (mức độ quan trọng) liên kết nơ-ron ◼ Chức (hàm mục tiêu) ANN xác định ❑ Kiến trúc (topology) mạng nơ-ron ❑ Đặc tính vào/ra nơ-ron ❑ Chiến lược học (huấn luyện) ❑ Dữ liệu học Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining ANN – Các ứng dụng điển hình (1) ◼ Xử lý ảnh Thị giác máy tính ❑ ◼ Hiểu ngơn ngữ tự nhiên ❑ ◼ Ví dụ: Nhận dạng giọng nói Xử lý tín hiệu ❑ ◼ Ví dụ: Phân loại văn bản, Nhận dạng thực thể có tên (NER), Phân tích cảm xúc (Sentiment analysis), Trả lời tự động Hiểu giọng nói ❑ ◼ Ví dụ: So khớp, tiền xử lý, phân đoạn phân tích ảnh, computer vision, nén ảnh, xử lý hiểu ảnh thay đổi theo thời gian Ví dụ: Phân tích tín hiệu hình thái địa chấn, động đất Nhận dạng mẫu ❑ Ví dụ: Trích chọn thuộc tính, phân loại phân tích tín hiệu ra-đa, nhận dạng hiểu giọng nói, nhận dạng dấu vân tay, nhận dạng ký tự (chữ số), nhận dạng mặt người, phân tích chữ viết tay Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining ANN – Các ứng dụng điển hình (2) ◼ Tài ❑ ◼ Y tế ❑ ◼ Ví dụ: Đánh giá trạng thái hệ thống, phát khắc phục cố, dự đoán tải (khối lượng) công việc, đánh giá mức độ an tồn Qn ❑ ◼ Ví dụ: Phân tích hiểu tín hiệu điện tim, chẩn đốn loại bệnh, xử lý ảnh lĩnh vực y tế Năng lượng ❑ ◼ Ví dụ: Phân tích thị trường chứng khoán, đánh giá giá trị bất động sản, kiểm tra truy cập thẻ tín dụng, kinh doanh cổ phiếu Ví dụ: Phát thủy lơi, phân loại nhiễu ra-đa .(và nhiều lĩnh vực tốn khác!) Nhập mơn Học máy Khai phá liệu – Introduction to Machine learning and Data mining DNN – Các ứng dụng đột phá ◼ Các mạng nơ-ron học sâu (Deep neural networks – DNN) đạt kết mang tính chất đột phá số lĩnh vực: ❑ ❑ ❑ Thị giác máy tính (Computer vision) Hiểu ngơn ngữ tự nhiên (Natural language understanding) Nhận dạng tiếng nói (Speed recognition) Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Cấu trúc hoạt động nơ-ron ◼ Các tín hiệu đầu vào (input signals) nơ-ron (xi, i=1 m) ❑ ◼ ◼ ◼ ◼ Mỗi tín hiệu đầu vào xi gắn với trọng số wi Trọng số điều chỉnh (bias) w0 (với x0=1) Đầu vào tổng thể (Net input) hàm tích hợp tín hiệu đầu vào – Net(w,x) Hàm tác động/truyền (Activation/transfer function) tính giá trị đầu nơ-ron – f(Net(w,x)) x0=1 x1 x2 … xm w0 w1 w2 Giá trị đầu nơ-ron (Out) wm Các tín hiệu đầu vào nơ-ron Giá trị đầu (Output) (x) nơ-ron: Out=f(Net(w,x)) Đầu vào tổng thể (Net) Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Hàm tác động (truyền) (f) Đầu vào tổng thể dịch chuyển ◼ Đầu vào tổng thể (net input) thường tính tốn hàm tuyến tính m m i =1 i =0 Net = w0 + w1 x1 + w2 x2 + + wm xm = w0 + wi xi = wi xi ◼ Ý nghĩa tín hiệu dịch chuyển (bias) w0 → Họ hàm phân tách Net=w1x1 khơng thể phân tách ví dụ thành lớp (two classes) → Nhưng: họ hàm Net=w1x1+w0 có thể! Net Net = w1x1 Net x1 Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining Net = w1x1 + w0 x1 Hàm tác động: Giới hạn cứng (Hard-limiter) ◼ Còn gọi hàm ngưỡng (threshold function) ◼ Giá trị đầu lấy giá trị ◼ giá trị ngưỡng ◼ Nhược điểm: không liên tục, đạo hàm không liên tục 1, nêu Net Out ( Net ) = hl1( Net , ) = 0, nêu nguoc lai Out ( Net ) = hl 2( Net , ) = sign( Net , ) Out Binary hard-limiter Bipolar hard-limiter Out Net Net -1 Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining 10 ... thuộc kiểu học tham số ◼ Trong học này, xét việc học tham số Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining 19 Quy tắc học trọng số tổng quát ◼ Tại bước học (t),... ❑ Chiến lược học (huấn luyện) ❑ Dữ liệu học Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining ANN – Các ứng dụng điển hình (1) ◼ Xử lý ảnh Thị giác máy tính ❑ ◼... hồi quy nhiều tầng Nhập môn Học máy Khai phá liệu – Introduction to Machine learning and Data mining 18 ANN – Các quy tắc học ◼ kiểu học mạng nơ-ron nhân tạo ❑ ❑ Học tham số (Parameter learning)