TỔNG QUAN KHOA HỌC DỮ LIỆU

Khoa học liệu Bài - Tổng quan Giảng viên PGS TS Hà Quang Thụy, PGS TS Phan Xuân Hiếu, PGS TS Lê Thanh Hà, TS Trần Quốc Long, TS Nguyễn Đỗ Văn Khoa Công nghệ thông tin - Trường ĐH Công nghệ - ĐHQG Hà Nội {thuyhq, hieupx, ltha, tqlong, ngdovan}@vnu.edu.vn Trợ giảng Nguyễn Tuấn Phong, Nguyễn Thạc Thống, Vũ Trung Kiên, Dỗn Thị Hiền Khoa Cơng nghệ thông tin - Trường ĐH Công nghệ - ĐHQG Hà Nội {tuanphong,ntthong,kienvu,hiendoan}@vnu.edu.vn Học liệu CodePower.vn Khóa học Khoa học liệu Bài giảng, thực hành, video (bài giảng lớp), tập NỘI DUNG KHOA HỌC DỮ LIỆU ? NHÀ KHOA HỌC DỮ LIỆU QUY TRÌNH KHAI PHÁ DỮ LIỆU CƠNG CỤ CỦA KHOA HỌC DỮ LIỆU Khoa học liệu ? Data science: What & Why “ Dữ liệu trở thành nguyên liệu sản xuất Data are becoming new raw material of business Craig Mundie, Microsoft KHOA HỌC DỮ LIỆU Khoa học máy tính KHOA HỌC DỮ LIỆU Tri thức chuyên ngành Khoa học liên ngành liệu Toán học Thống kê học KHOA HỌC DỮ LIỆU Khoa học máy tính Khoa học liên ngành ▻ Phương pháp ▻ Quy trình KHOA HỌC DỮ LIỆU Tri thức chuyên ngành Toán học Thống kê học ▻ Hệ thống hình thành tri thức từ loại liệu NHU CẦU CỦA TỔ CHỨC - DOANH NGHIỆP ▰ Dữ liệu trợ giúp điều hành sản xuất, kinh doanh ? ▻ Dự đoán ▻ Tối ưu ▻ Hiểu khách hàng 10 Chi tiết kĩ thuật http://nirvacana.com/thoughts/becoming-a-data-scientist/ 20 Quy trình khai phá liệu Data mining process 21 “ Sẽ phạm sai lầm nghiêm trọng tổng quát hóa trước có liệu It is a capital mistake to theorize before one has data Sherlock Holmes 22 QUY TRÌNH KHAI PHÁ DỮ LIỆU Kiến thức chun ngành Chuẩn bị liệu Mơ hình hóa Triển khai Đánh giá Hình thành tri thức 23 QUY TRÌNH KHAI PHÁ DỮ LIỆU Quy trình sản xuất Mơ tả liệu Chuẩn bị liệu, làm sạch, lấy đặc trưng Dữ liệu huấn luyện Xây dựng mơ hình thuật toán huấn luyện Dữ liệu kiểm tra Xây dựng ứng dụng đánh giá hiệu Phương pháp nghiên cứu khoa học Triển khai ứng dụng Hình thành tri thức 24 CÁC KIỂU KHAI PHÁ DỮ LIỆU Phân lớp Hồi quy Dữ liệu đặc biệt KHAI PHÁ DỮ LIỆU Phát đặc trưng Phân cụm Phát luật 25 CÁC KHOA HỌC - CÔNG NGHỆ LIÊN QUAN Khai phá liệu Khoa học thống kê Khoa học trình diễn Thuật tốn Học máy Nhận dạng mẫu CTDL & Giải thuật Nền tảng công nghệ Ứng dụng Cơng nghệ CSDL Cơng nghệ tính tốn đám mây Tính tốn hiệu cao (HPC) 26 Cơng cụ khoa học liệu Data scientist's toolbox 27 “ We chose it because we deal with huge amounts of data Besides, it sounds really cool Larry Page, Google (on Big Data) 28 CÁC CƠNG CỤ Hiểu liệu Trình diễn Nhập liệu RAW DB Làm Biến đổi Báo cáo Mơ hình Hệ thống Phân tích 29 KỸ SƯ HỆ THỐNG & KỸ SƯ PHÂN TÍCH DỮ LIỆU Kỹ sư hệ thống liệu ▰ ▰ ▰ ▰ Thiết kế Phát triển Kiểm thử Bảo trì Đảm bảo hệ thống CSDL hệ thống tính tốn hiệu năng, hiệu suất, tính chịu lỗi Kỹ sư phân tích liệu ▰ ▰ ▰ ▰ Làm Tổ chức liệu (lớn) Phân tích liệu Báo cáo Kết phân tích, mơ hình, hiểu biết liệu, giải pháp cho tổ chức - doanh nghiệp 30 KIẾN THỨC NỀN TẢNG Khoa học máy tính Khoa học máy tính Kỹ thuật máy tính Kỹ thuật hệ thống Tốn học Kinh tế Thống kê học Tối ưu hóa Kỹ sư hệ thống Kỹ sư phân tích 31 NGƠN NGỮ, PHẦN MỀM, CÔNG CỤ https://www.datacamp.com/community/blog/data-scientist-vs-data-engineer 32 CẢM ƠN Liên hệ {thuyhq, hieupx, ltha, tqlong}@vnu.edu.vn 33 THAM KHẢO Bài giảng có tham khảo: ▰ Dự án EDISON giảng dạy Khoa học liệu EU ▰ APEC-2017 Data Science Initiative ▰ Microsoft Data Science Program (EdX) 34 ... https://www.datacamp.com/community/blog/data-scientist-vs-data-engineer 32 CẢM ƠN Liên hệ {thuyhq, hieupx, ltha, tqlong}@vnu.edu.vn 33 THAM KHẢO Bài giảng có tham khảo: ▰ Dự án EDISON giảng dạy Khoa học liệu EU ▰ APEC-2 017 Data... kĩ thuật http://nirvacana.com/thoughts/becoming-a-data-scientist/ 20 Quy trình khai phá liệu Data mining process 21 “ Sẽ phạm sai lầm nghiêm trọng tổng quát hóa trước có liệu It is a capital mistake... quy luật, đặc trưng ▻ Xử lý liệu lớn 11 Nhu cầu công việc ▰ Hệ thống liệu ▰ Phân tích liệu 12 NHU CẦU CÁC KỸ NĂNG KHÓ 13 Nhà khoa học liệu Data scientist 14 “ Dữ liệu chiến thắng cảm xúc Data