Khoa học dữ liệu là một lĩnh vực liên ngành về các quá trình và các hệ thống rút trích tri thức hoặc hiểu biết từ dữ liệu ở các dạng khác nhau, kể ở dạng cấu trúc hay phi cấu trúc. Trong bài viết này tác giả muốn nhấn mạnh các quan điểm mà các nhà khoa học dữ liệu cần phải tuân thủ trong quá trình nghiên cứu để tránh những sai sót do thiên vị, không nắm rõ dữ liệu phân tích, đơn giản hóa hay quá phức tạp trong xây dựng mô hình phân tích và cuối cùng là tôn trọng những gì dữ liệu vốn có.
THỐNG KÊ QUỐC TẾ VÀ HỘI NHẬP quan điểm khoa học liệu Tóm tắt : Khoa học liệu lĩnh vực liên ngành q trình hệ thống rút trích tri thức hiểu biết từ liệu dạng khác nhau, kể dạng cấu trúc hay phi cấu trúc Trong viết tác giả muốn nhấn mạnh quan điểm mà nhà khoa học liệu cần phải tuân thủ trình nghiên cứu để tránh sai sót thiên vị, khơng nắm rõ liệu phân tích, đơn giản hóa hay q phức tạp xây dựng mơ hình phân tích cuối tơn trọng liệu vốn có Khoa học liệu giống như… Đã lần bạn nhìn thấy báo bắt đầu theo cách này? Bây giờ, bạn thấy! Nhưng muốn tránh hồn thành câu đó, tơi bỏ qua định nghĩa suy luận đây, chúng quan trọng đồng nghiệp (và học sinh) biết tâm cố gắng để giải thích điều Thay vào đó, tập trung quan điểm quan trọng tất sinh viên học viên khoa học liệu Hãy để bắt đầu với câu chuyện: Một người đàn ơng giàu có muốn đầu tư vào việc nuôi đào tạo lớp học đua ngựa với mục tiêu giành chiến thắng nhiều đua tốt Ông định tài trợ cho nghiên cứu ba nhà khoa học đẳng cấp giới để thực ước mơ mình: Một nhà sinh lý học, nhà hóa sinh, nhà vật lý Sau thời gian thích hợp dành cho nghiên cứu phát triển, nhà sinh lý học gọi đến để giải thích giải pháp Cơ trình bày chế độ tập luyện tồn diện hàng ngày đảm bảo ngựa có sức mạnh, nhanh sức chịu đựng cao, ngựa đào tạo từ nhỏ theo kế hoạch Người đàn ơng giàu chúc mừng, cảm ơn tốn giải pháp đưa Tiếp theo nhà hóa sinh học SỐ 02 – 2017 gọi đến để giải thích giải pháp ơng đưa Nhà hóa sinh trình bày kế hoạch chế độ ăn uống đầy đủ ngựa nên theo từ thời thơ ấu đến tuổi trưởng thành, kể trước đua, ngày đua bữa ăn sau đua Ông đảm bảo nguyên tắc chế độ ăn uống ngựa tạo sức mạnh, nhanh có sức chịu đựng cao Người đàn ơng giàu có chúc mừng, cảm ơn chi trả giải pháp cho nhà hóa sinh Cuối cùng, nhà vật lý gọi đến để giải thích giải pháp Người đàn ơng giàu có mong chờ giải pháp nhà vật lý, nhà vật lý sinh để giải vấn đề chắn có giải pháp tuyệt vời Nhà vật lý bắt đầu "giả định ngựa hình cầu " Hình ảnh minh họa Điều sai? Nhà khoa học thứ ba cho mơ hình q đơn giản cách đặt ngựa vào thể loại cụ thể "ngựa đua nhanh", hai nhà khoa học trước hiểu vấn đề đa chiều (đa biến), 23 Thống kê Quốc tế Hội nhập chứng minh cách dành khoảng thời gian chất lượng với sách phân tích nhân tố Mặc dù giải pháp khác nhau, ba nhà khoa học bắt đầu cách khôn ngoan cách làm theo nguyên tắc Do vậy, quan điểm thứ khoa học liệu, là: Bắt đầu với kết thúc tâm trí! Quan điểm tảng cho khoa học, kỹ thuật, thiết kế, kinh doanh, giáo dục, y tế, an ninh, kế hoạch tài chính, thể thao có lẽ tất lĩnh vực hoạt động người Tương tự vậy, tiến hành phân tích liệu lớn (dữ liệu khoa học) nhiệm vụ, dự án, nên hỏi: Mục tiêu gì? Chúng ta cố gắng đạt gì? Làm để đạt mục tiêu? Nếu có thể, nên xác định số lượng mục tiêu cuối với số liệu - kết đo lường được, với số ước tính "ngưỡng thành công" Hơn nữa, kiến thức mục tiêu cuối thường xun có kích thích quan trọng cho việc lựa chọn thành phần phù hợp cho dự án: Tuyển dụng nhóm làm việc, lựa chọn liệu xác, chọn tính từ liệu cần phân tích xác định thuật tốn cần sử dụng Thông thường, khai thác liệu mô tả cách tồi tệ vậy, học viên sử dụng "cuộc câu cá" để xem điều xẩy Trong số liệu thăm dò khơng có giám sát điều cần thiết (để đảm bảo khơng bỏ lỡ "những liệu nói với chúng ta" tìm tất mơ hình, xu hướng, tương quan, cụm liệu), nhiên nên đặt yếu tố rõ ràng lên đầu hướng tới để đạt Mặt khác, mục đích cuối (đặc biệt lĩnh vực nêu trên) thường rõ ràng 24 quan điểm bản… nhiều: bán hàng hoá nhiều hơn, giữ khách hàng hài lòng, khám phá liệu pháp chữa bệnh cho số bệnh, thiết kế sản phẩm chức mạnh mẽ, khám phá đặc tính số tượng khoa học mới, giành Cup Châu Mỹ Hoặc tìm hiểu cách lai tạo huấn luyện ngựa chiến thắng Tiềm ẩn tuyên bố quan điểm thứ hai khoa học liệu, là: Hiểu biết liệu bạn! Để hiểu biết liệu tốt cho dự án, tính cần chọn, phải biết rõ ràng liệu Nhưng tơi muốn nói đến nhiều thế, tốt nên gọi "Tập Dữ liệu" Trong trình xử lý liệu, chúng tơi kiểm tra nhiều khía cạnh liệu: Giá trị min/max, tổng hợp giá trị, như: Trung bình, trung vị, tổng, danh sách giá trị liệu riêng biệt (nếu làm việc với thuộc tính liệu rời rạc xác định), biểu đồ liệu tham số phân bố (quartile, deciles, ), đơn vị vật lý, yếu tố quy mô, phụ thuộc lẫn (ví dụ, tham số có nguồn gốc, chẳng hạn C = B / A, A, B C thuộc liệu), giá trị thiếu, giá trị NULL, số (được sử dụng để nhận diện đối tượng liệu, thuộc tính đối tượng) nhiều Nếu bạn làm việc với liệu có nhãn (đối với phân loại, phân tích dự đốn, dự án học có giám sát), bắt buộc phải xác định thuộc tính liệu nhãn lớp biến dự đốn Một khía cạnh khác quan điểm "hiểu biết liệu bạn" nhớ tập trung vào liệu thực (ví dụ: Các mơ hình liệu cân ưa thích, đơi gọi Razor Occam, quy tắc Einstein: "Các mơ hình phải thực đơn giản tốt, không đơn giản", tránh "con ngựa hình cầu!") Bằng cách tập trung vào phần tử liệu SỐ 02 – 2017 quan điểm bản… biến đầu thông tin, hướng dẫn cung cấp thông tin chi tiết mục tiêu cuối cùng, bạn giảm phân tâm tạp âm ảnh hưởng đến tín hiệu Trong thực tế, tơi cho tính chất khám phá liệu lớn: (a) việc thu thập liệu lớn cho phép tìm điều bất thường, ngạc nhiên, bất ngờ chí thái lĩnh vực nghiên cứu (ví dụ, điều chưa biết); (b) phân bố liệu tín hiệu tiếng ồn cao mà liệu lớn thu lại cao (ngoài liệu phản ánh: Trung bình, trung vị, mode phương sai), điều cho thấy biến thể thú vị đối tượng mà điều tra Các hoạt động ba nhà khoa học đáp ứng cách xác quan điểm thứ ba khoa học liệu, là: Hãy nhớ khoa học! hay nói cách khác thử nghiệm với lựa chọn liệu, kết hợp liệu, thuật toán, kết hợp (cụm) thuật toán, đo lường xác nhiều Tất mục này, số điểm, kiểm tra tính hợp lệ tính khả thi chúng vấn đề mà bạn cố gắng giải Chúng ta biết từ kinh nghiệm trước kết hợp liệu, tính thuật toán định đáp ứng nhu cầu chúng ta, kinh nghiệm học (khơng phải đốn) chưa áp dụng Hãy nhớ câu châm ngôn "Sự phán đoán tốt đến từ kinh nghiệm kinh nghiệm xuất phát từ phán đốn khơng tốt" Vì vậy, lựa chọn tốt cho thành phần thử nghiệm dự án khoa học liệu rút từ kinh nghiệm, đặc biệt từ dự án thất bại Hơn nữa, khoa học trình, liên quan đến quan sát, suy luận, tạo giả thuyết, thiết kế thực nghiệm, thu thập liệu, thử nghiệm giả thuyết, SỐ 02 – 2017 Thống kê Quốc tế Hội nhập ước lượng lỗi sàng lọc giả thuyết Bằng cách làm theo bước theo chu kỳ (càng nhiều tốt để giảm sai sót để tối ưu hóa độ xác), tránh sai sót dẫn đến kết luận không Quan điểm thứ tư khoa học liệu là: Dữ liệu khơng hồn hảo, tình u liệu bạn vô điều kiện! Đây khả thách thức lớn nguyên tắc bổ ích để làm theo Chúng ta thường cho liệu tốt liệu hoàn toàn phân phối bình thường Thực tế giới thực cung cấp cho liệu vậy, phải nhìn cách tồn diện, đầy đủ liệu Đối với tơi bất thường liệu dị thường, dài, bất đối xứng, "mụn cóc" khác thường nói với điều quan trọng lĩnh vực mà nghiên cứu và/hoặc đối tượng miền Ví dụ, giá trị ngoại lai thường bị sa thải cắt bớt từ liệu, đặc biệt số lĩnh vực khoa học mà tơi biết u thích Điều tốt bạn chắn rằng, giá trị đơn giản tạp âm thành phần giả tạo liệu Tuy nhiên, thứ đại diện cho đối tượng hoàn toàn kiểu hành vi cần phải xem xét Vì vậy, tơi thích gọi phát ngoại lai tên tốt (dữ liệu nhiều hơn): Khám phá ngạc nhiên Các đặc điểm bất thường liệu (mà không tuân theo tiêu chuẩn) điều lạ, thú vị đáng ngạc nhiên Hãy dành chút thời gian với tính năng: Đi dài, Q-Q plot, giá trị ngoại lai tính khác (chẳng hạn phân phối nhiều mode) Tìm hiểu đặc điểm khác liệu bạn (chẳng hạn đa dạng thú vị tính hiển thị phân phối liệu hình 1) 25 Thống kê Quốc tế Hội nhập Hình 1: Biểu đồ liệu từ sưu tập liệu lớn giả định cho thấy nhiều đỉnh núi, thung lũng đuôi phân bố Mỗi đặc điểm biểu đồ cung cấp hiểu biết có giá trị có tổng thể Tơi cho tính thực tế, chất khám phá liệu lớn: (a) sưu tập liệu lớn cho phép tìm thấy khơng bình thường, đáng ngạc nhiên, bất ngờ, chí thứ kỳ quặc phạm vi nghiên cứu (ví dụ, ẩn số chưa biết); (b) phân bố liệu tín hiệu tiếng ồn cao mà sản lượng liệu lớn có nhiều khoảnh khắc cao (ngồi trung bình, trung vị, mode phương sai) cho thấy biến thể thú vị đối tượng mà điều tra Áp dụng số kiểm tra thống kê phi tham số liệu bạn bước vào giới phát dựa vào liệu Nếu chưa có, bạn sớm "u liệu bạn" tính đa dạng Trên thực tế, nhà khoa học khuyến cáo, giá trị cao đặt đa dạng khuyến nghị (nghĩa đơn giản giới thiệu sản phẩm "rõ ràng" cho người tiêu dùng giành chiến thắng giữ chân khách hàng, cung cấp điều thú vị, khác thường sản phẩm có liên quan người chiến thắng chắn, giống chiến thắng đua ngựa) Cuối cùng, quan điểm thứ năm khoa học liệu là: Quá phức tạp tội lỗi đối 26 quan điểm bản… với khoa học liệu! Trong trích nhà vật lý trò đùa việc trang bị cho mơ hình ngựa q đơn giản (với mơ tả hình học đơn giản), có "nhà khoa học" thứ tư trò đùa (chọn người u thích bạn!), Người tạo mơ hình "Rube Goldberg" Con ngựa chiến thắng - mơ hình thiết kế kỹ lưỡng phức tạp Đây "tội lỗi" khoa học liệu theo nghĩa: Vì quan điểm số (khoa học liệu khoa học), nên kiểm tra, xác nhận xác minh độ xác mơ hình cách sử dụng liệu thử nghiệm liệu "trước khơng nhìn thấy" Quy trình khoa học bảo vệ khỏi bị phức tạp (phương sai cao) đơn giản (độ chệch cao) giải pháp mơ hình Nếu bỏ qua nguyên tắc khoa học tốt, có xu hướng lạm dụng thiên vị Ngoài ra, cách áp dụng quan điểm số (2) số (4) cách nghiêm túc, phải biết khác biệt giá trị liệu, cần phải cảnh báo sớm q trình mơ hình cuối chấp nhận (nếu không chấp nhận hơn) không chắn mơ hình phản ánh sai thật liệu Tóm lại, tất sinh viên học viên khoa học liệu nên tránh "ngựa hình cầu" tuân thủ theo năm nguyên tắc khoa học liệu, là: Bắt đầu với kết thúc tâm trí; hiểu, biết liệu bạn; nhớ khoa học; liệu khơng hồn hảo, tình yêu liệu bạn mãi; phức tạp tội lỗi chống lại khoa học liệu Anh Tuấn (dịch) Nguồn: http://www.statisticsviews.com/details/feature/545 9931/Five-Fundamental-Concepts-of-DataScience.html SỐ 02 – 2017 ... sản phẩm có liên quan người chiến thắng chắn, giống chiến thắng đua ngựa) Cuối cùng, quan điểm thứ năm khoa học liệu là: Quá phức tạp tội lỗi đối 26 quan điểm bản với khoa học liệu! Trong trích... khoa học liệu theo nghĩa: Vì quan điểm số (khoa học liệu khoa học) , nên kiểm tra, xác nhận xác minh độ xác mơ hình cách sử dụng liệu thử nghiệm liệu "trước khơng nhìn thấy" Quy trình khoa học bảo... liệu Tóm lại, tất sinh viên học viên khoa học liệu nên tránh "ngựa hình cầu" tuân thủ theo năm nguyên tắc khoa học liệu, là: Bắt đầu với kết thúc tâm trí; hiểu, biết liệu bạn; nhớ khoa học; liệu