Dữ liệu lớn: Những xem xét được đưa ra

Tạp chí Khoa học Thống kê là tạp chí hàng đầu của Hiệp hội Quốc tế về Thống kê Nhà nước, chủ đề được đề cập bao gồm phương pháp luận, ứng dụng và những vấn đề về thống kê đang được thế giới quan tâm. Tập 31, số 2 xuất bản vào tháng 6/2015 đã dành một phần riêng về chủ đề “Dữ liệu lớn” để giới thiệu một số bài nghiên cứu: mô tả tổng quan về dữ liệu lớn; kinh nghiệm của các nước tiên phong trong ứng dụng dữ liệu lớn.

07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” DỮ LIỆU LỚN: NHỮNG XEM XÉT ĐƯỢC ĐƯA RA Fride Eeg – Henriksen Peter Hackl (Trích phần - Tạp chí Khoa học Thống kê Hiệp hội Quốc tế Thống kê Nhà nước39 tháng 6/2015) Tạp chí Khoa học Thống kê tạp chí hàng đầu Hiệp hội Quốc tế Thống kê Nhà nước, chủ đề đề cập bao gồm phương pháp luận, ứng dụng vấn đề thống kê giới quan tâm Tập 31, số xuất vào tháng 6/2015 dành phần riêng chủ đề “Dữ liệu lớn” để giới thiệu số nghiên cứu: mô tả tổng quan liệu lớn; kinh nghiệm nước tiên phong ứng dụng liệu lớn, đồng thời minh chứng cho thích hợp liệu lớn thay liệu truyền thống; bình luận cách mạng liệu thách thức đặt ứng dụng Thông tin khoa học Thống kê trân trọng giới thiệu đến quý độc giả nội dung trao đổi “Dữ liệu lớn” Dữ liệu lớn: Những xem xét đưa Dữ liệu lớn khái niệm mà thời điểm có lẽ thường tham khảo bối cảnh khoa học thông tin công nghệ thông tin; quan tâm khác thường cường điệu xảy ảnh hưởng đến thống kê nhà nước Đó hai yếu tố: - Dữ liệu lớn từ đồng nghĩa tồn số lượng khổng lồ phát triển thông tin số từ tất lĩnh vực đời sống người - Thông tin tới tập dấu hiệu hứa hẹn nhìn thấy hiểu chi tiết thực tế mối quan hệ thống trị giới Khái niệm liệu lớn Dù có mối quan tâm lớn phổ biến Dữ liệu lớn, việc xác định khái niệm Dữ liệu lớn chấp thuận rõ ràng chung xa vời 2 Sự phát triển công nghệ, xã hội kinh tế bao gồm tăng trưởng dịch vụ sở vật chất thơng minh, việc tăng trưởng tính có lợi hiệu mạng Internet, hấp dẫn trang web mạng xã hội phổ biến có mặt khắp nơi hệ thống cơng nghệ thơng tin kết đời luồng lớn liệu số Sự phức tạp cấu trúc động liệu tương ứng, thách thức phát triển công cụ phần mềm phù hợp cho phân tích liệu, nhìn chung tính đa dạng tiềm tận dụng khối lượng lớn dự liệu có làm khó khăn việc tìm định nghĩa phù hợp ứng dụng nói chung Đặc điểm thường đề cập Dữ liệu lớn - nhiều - Vs (số lượng lưu trữ, tốc độ xử lý, tính đa dạng độ xác giá trị thông tin), không nắm bắt phạm vi lớn 39 Statistical Journal of The International Association for Official Statistics (IAOS) 65 07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” tập hợp liệu tương ứng tiềm rộng lớn việc sử dụng liệu Một khía cạnh có liên quan cao Dữ liệu lớn rộng phức tạp mà công cụ quản lý sở liệu truyền thống ứng dụng xử lý liệu phương tiện không thực không hiệu Điều minh họa nhìn loại nguồn liệu nhìn thấy điển hình bối cảnh Dữ liệu lớn: Những nguồn liệu là: - Hành chính, ví dụ hồ sơ bệnh án, hồ sơ bảo hiểm, hồ sơ ngân hàng - Các giao dịch thương mạị, ví dụ giao dịch thẻ tín dụng, máy quét siêu thị - Các cảm biến, ví dụ ảnh vệ tinh, cảm biến môi trường, cảm biến đường - Thiết bị theo dõi, ví dụ liệu theo dõi từ điện thoại di động, GPS - Dấu vết hành vi người, ví dụ tìm kiếm trực tuyến, xem trang trực tuyến - Tài liệu dẫn chứng ý kiến, ví dụ bình luận đăng lên truyền thông xã hội Dữ liệu lớn thống kê nhà nước Đối với thống kê nhà nước, vài nguồn có thể, hy vọng sử dụng nguồn liệu thay bổ sung Để hoàn thành bổn phận bắt buộc chương trình thống kê, Viện thống kê quốc gia (NSIs) thu thập liệu Tổng điều tra điều tra, họ sử dụng liệu từ nguồn hành Xu hướng giảm bớt gánh nặng trả lời cho doanh nghiệp hộ gia đình tăng nhu cầu cho sản phẩm thống kê cho phép NSIs tìm nguồn liệu Tính đa dạng sẵn có liệu hành ngày tăng đạt tới thích hợp sản phẩm thống kê Nhưng nguồn liệu khác đề cập thú vị có tiềm đầu thống kê nhà nước Sử dụng liệu giảm thời gian sản xuất chi phí thống kê, thực tế khác làm tăng sức hút nguồn liệu Mối quan tâm sử dụng nguồn liệu đề cập cho sản xuất thống kê nhà nước khoảng nửa kỉ trước Theo sau yêu cầu người tham dự Hội nghị cấp cao Hợp lý hóa dịch vụ sản phẩm thống kê năm 2012, báo cáo ““Dữ liệu lớn” có ý nghĩa thống kê nhà nước?” 3] vạch hội thách thức mà Dữ liệu lớn đề cho thống kê nhà nước Hưởng ứng báo cáo theo sau đề xuất nhóm nhiệm vụ bao gồm đại diện 13 tổ chức thống kê quốc gia quốc tế, Dự án Dữ liệu lớn 4 thành lập Báo cáo “Dữ liệu lớn lớn nào?” 5 mơ tả có giá trị cập nhập vai trò tiềm Dữ liệu lớn thống kê nhà nước, đặc biệt thách thức yêu cầu xét phương diện phương pháp thống kê bao gồm ban hành chất lượng, công nghệ thông tin, lực kĩ nhân viên Trong năm 2014, Ủy ban Thống kê Liên hợp quốc thành lập Nhóm làm việc tồn cầu Liên hợp quốc với đội làm nhiệm vụ nhiều chủ đề bao gồm xây 66 07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” dựng đào tạo lực, liệu điện thoại di động, hình ảnh vệ tinh liệu truyền thông xã hội 7 Cục Thống kê Cộng đồng châu Âu bao gồm tất hoạt động từ lúc bắt đầu Có nhiều quốc gia tiên phong việc khảo sát tiềm Dữ liệu lớn Ví dụ bật có lẽ Văn phòng Thống kê Úc (ABS); xem Tam Clarke (2015) Bằng chứng cho mối quan tâm lớn thống kê nhà nước Dữ liệu lớn Dữ liệu lớn đề cao nhiều hội nghị, hội thảo, kiện khác suốt năm gần Ví dụ Sự kiện Dữ liệu lớn Thống kê châu Âu Rome (2014), Hội nghị quốc tế Dữ liệu lớn Thống kê nhà nước Bắc Kinh (2014), Hội thảo vệ tinh UNECE NTTS 2015 Dữ liệu lớn Brussels (2015) Các luận liên quan đến báo cáo vấn đề Dữ liệu lớn đóng vai trò tiên phong kiện Hội nghị Giám đốc Cơ quan thống kê quốc gia DGINS 2013 The Hague, Hội nghị Chất lượng Thống kê châu Âu 2014 (Q2014) Vienna, Hội nghị Hiệp hội quốc tế Thống kê nhà nước 2014 (IAOS 2014) Đà Nẵng, Ủy ban Thống kê Liên hợp quốc năm 2015, nhiều kiện khác Rất nhiều đóng góp giải vấn đề khái niệm chiến lược Tuy nhiên, báo cáo Dữ liệu lớn - chủ yếu dựa kinh nghiệm - giải thích Dữ liệu lớn sử dụng thống kê nhà nước vấn đề phương pháp luận cơng nghệ phải giải Kinh nghiệm Thách thức Một nhìn gần dự án phương pháp thống kê công cụ công nghệ thông tin sử dụng việc giải liệu từ nguồn Dữ liệu lớn điển hình đặc trưng cho sản phẩm thống kê Trong lĩnh vực tiếp theo, kinh nghiệm sử dụng Dữ liệu lớn thống kê nhà nước có trong: - Thống kê sử dụng Cơng nghệ thông tin truyền thông (ICT); - Thống kê Giá; - Thống kê Thị trường lao động; - Thống kê Du lịch; - Thống kê Giao thông vận tải; - Tổng điều tra Nông nghiệp điều tra; Trong Dự án Dữ liệu lớn 4, nhiều Dự án Dữ liệu lớn quản lý NSIs từ quốc gia tham gia Hà Lan, Ý, Mỹ, Ireland, Úc Slovenia Các nguồn liệu liên mạng hoàn cảnh sử dụng thống kê ICT, giá thị trường lao động 1 Số lượng liệu liên quan thường khổng lồ có khả phân bổ vượt số lượng lớn trang web Điều có nghĩa công cụ khôi phục lại trang web liên quan cần thiết công cụ cho việc thu thập liệu liên quan; trình duyệt thu thập liệu trang web 67 07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” trích xuất nội dung trang web tên công cụ Để giải kích thước lớn nguồn Dữ liệu lớn, mơi trường lập trình đặc biệt phát triển: ví dụ, Map - Reduce cơng cụ lập trình mơi trường liên kết cho hình thành xử lý liệu rộng Khung lập trình hệ thống nguồn mở Hadoop cho phép soạn thảo chương trình để xử lý vấn đề Map - Reduce qua liệu rộng sử dụng số lượng lớn máy tính đưa tập tin đầu hệ thống tập tin tên HDFS (Hệ lưu tập tin phân tán dùng Hadoop) Hadoop phù hợp cho quy trình đợt vận hành dài, khai phá liệu; công cụ Big Query cho phép lệnh hỏi đặc biệt đòi hỏi kết nhanh chóng Những thách thức to lớn Dữ liệu lớn đến cơng nghệ thơng tin có hệ vấn đề IT - chuyên gia IT - chiếm ưu thảo luận Dữ liệu lớn Việc sử dụng Dữ liệu lớn thống kê nhà nước cần thích nghi phương pháp luận thống kê Mối quan tâm phương pháp luận bối cảnh liên mạng điện thoại di động đặt vào vị trí liệu mang tính biểu tượng kết thống kê: Cơ chế thu thập liệu có cho phép biểu diễn tập hợp sản phẩm thống kê làm đại diện khơng, tập hợp có trùng hợp với tập hợp đích mà sản phẩm thống kê xây dựng không? Nếu không, sản phẩm thống kê giải thích nào? Các vấn đề phương pháp luận khác quan tâm đến thẩm định chất lượng liệu sản phẩm thống kê, kết hợp liệu từ nguồn khác nhau, tính dễ biến động nguồn liệu qua thời gian, mối quan tâm riêng, tính bảo mật, vấn đề khác Các vấn đề phương pháp luận riêng biệt với liệu phải giải riêng lẻ cho liệu Các báo cáo dự án đề cập bao hàm vấn đề phương pháp luận phương thúc chung Tính biểu tượng khía cạnh chất lượng khác Dữ liệu lớn - sở sản phẩm thống kê khía cạnh then chốt cho tính đáng tin cậy chúng Sử dụng Dữ liệu lớn thống kê nhà nước cần kĩ lực Một điều tra tổ chức thống kê [6 khoảng 37% làm việc với Dữ liệu lớn, lại 43% dự định làm điều tương lai gần Trong hầu hết người hỏi nói nhân viên họ thường trình độ trung bình cao cấp với công cụ IT Java, SAS, sở liệu SQL, R, không kĩ nói đến tồn công cụ Map Reduce Hadoop Kết bộc lộ ý mạnh mẽ tổ chức thống kê Dữ liệu lớn nhu cầu để nâng cao lực kĩ để tích hợp tiềm lực đời sống hàng ngày tổ chức thống kê Các khóa đào tạo NSIs quan Cục Thống kê Cộng đồng châu Âu dự án thiết thực giúp xây dựng khả cơng nghệ IT mà phương pháp luận thống kê Dữ liệu lớn cho tạo nhiều hội phạm vi phổ biến thống kê, phạm vi mà chưa trọng nhiều không thảo luận 68 07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” mà báo phần đặc biệt Sự quan tâm tăng lên hiển thị thống kê mặt quan trọng việc Những triển vọng cho phân tích hiển thị chắn tạo nhiều thách thức cho khả xây dựng quan thống kế quốc gia quốc tế Mục đích phần đặc biệt Phần đặc biệt trình bày viết tổng quan kinh nghiệm từ khu vực tiên phong nơi mà nguồn Dữ liệu lớn chứng minh thích hợp để thay nguồn liệu truyền thống cho phép sản xuất số liệu thống kê “Hợp tác quốc tế để hiểu phù hợp Dữ liệu lớn thống kê nhà nước“ Steve Vale đưa kê khai dự án Dữ liệu lớn tổ chức để đáp ứng cho Nhóm cấp cao đại hố sản xuất dịch vụ thống kê [3] Bài báo mô tả mục tiêu ưu tiên dự án, việc thành lập mơi trường điện tốn, gọi "sandbox", cho quản trị phân tích liệu quy mơ lớn đưa nhìn tổng quan kết Sự liên quan cao dự án kết thực tế đội tham gia vào công việc thử nghiệm thực tế khu vực số giá tiêu dùng, liệu điện thoại di động, dụng cụ đo thơng minh, vòng lặp giao thơng, cổng thơng tin việc làm, trích rút nội dung trang web phương tiện truyền thơng xã hội Trong chương trình Hội nghị Chất lượng Cục Thống kê Cộng đồng châu Âu 2014 (Q2014) Hội nghị IAOS 2014 (IAOS2014) Đà Nẵng, số báo cáo dự án tiên phong cụ thể đưa Các viết khác dựa luận trình bày hai hội nghị Một báo báo cáo kinh nghiệm việc sản xuất số giá tiêu dùng “Kỹ thuật Trích rút nội dung trang web để thu thập liệu thiết bị điện tử tiêu dùng giá vé máy bay HICP Italia biên soạn” Riccardo Giannini đồng tác giả từ Viện Nghiên cứu thống kê quốc gia ý (ISTAT) cho thấy chi tiết làm kỹ thuật trích rút nội dung trang web sử dụng để thu thập liệu giá cho thiết bị điện tử tiêu dùng giá vé máy bay “Việc sản xuất hồ sơ/mẫu lương chuyên gia ICT: Chuyển từ sở liệu có cấu trúc sang phân tích liệu lớn” Ramachandran Ramasamy từ Hiệp hội công nghệ thông tin quốc gia Malaysia báo cáo sản xuất hồ sơ/mẫu lương sở liệu từ hệ thống đăng ký việc làm trực tuyến khu vực tư nhân Thống kê cung cấp mức độ cao phân tách Bài viết thảo luận chi tiết vấn đề chất lượng bao gồm quán ổn định xu hướng Hai đóng góp khác giải khía cạnh phương pháp luận “RemakeRemodel - liệu lớn nên thay đổi mơ hình mẫu thống kê nhà nước không?” Barteld Braaksma Kees Zeelenberg từ Cơ quan thống kê Hà Lan thảo luận việc sử dụng mơ hình để đánh giá nâng cao tính biểu tượng 69 07/10/2015 Kỷ yếu Hội thảo khoa học “Thống kê Nhà nước với Dữ liệu lớn” nguồn Big data Bài luận phác thảo ứng dụng xảy Bài luận “Chỉ số chất lượng cho thống kê dựa nhiều nguồn” Mihaela Agafitei đồng tác giả từ Cục Thống kê Cộng đồng châu Âu phân tích phù hợp biện pháp tiêu chuẩn chất lượng cho nhiều thống kê nguồn đề xuất cải tiến chất lượng mà từ phải điều tra công việc sau Kết luận Kết luận chung từ tập hợp viết phần đặc biệt rút sau: Tính khả thi tiềm việc sử dụng Dữ liệu lớn thống kê nhà nước phải đánh giá theo trường hợp Trong số lĩnh vực sử dụng nguồn Dữ liệu lớn chứng minh có tính khả thi Việc lựa chọn cơng nghệ IT phương pháp thống kê thích hợp phải cụ thể tình Ngồi vấn đề tính hình tượng chất lượng kết thống kê, bảo mật nguy tiết lộ liệu cá nhân cần phải đánh giá riêng trường hợp Khơng nghi ngờ Dữ liệu lớn có chỗ đứng tương lai thống kê nhà nước, giúp giảm chi phí gánh nặng người trả lời Tuy nhiên, nỗ lực lớn cần thiết để thiết lập việc sử dụng thành thạo thường xuyên Dữ liệu lớn, cách tiếp cận cần thiết để đánh giá tất khía cạnh chất lượng Tài liệu tham khảo: [1] G Barcaroli et al, đối phó với Big tata thống kê nhà nước Hội nghị quản lý Hệ thống thông tin thống kê (MSIs 2014); [2] C Reimsbach-Kounatze, (2015), Sự phát triển “Big data” mối liên quan tới quan thống kê số liệu thống kê nhà nước: Phân tích sơ bộ, Tạp chí Kinh tế kỹ thuật số OECD số 245, http://dx.doi.org/10.1787/5js7t9wqzvg8-en; [3] UNECE (2013), Những “dữ liệu lớn” cho thống kê nhà nước? Báo cáo Nhóm cấp cao đại hoá Sản xuất Dịch vụ thống kê (HLG), http://www1.unece.org/stat/platform/display/hlgbas; [4] UNECE (2014a), Dự án đề xuất: Vai trò Big aata đại hố sản xuất thống kê, http://www1.unece.org/stat/platform/display/bigdata/2014+Project; [5] UNECE (2014b), Thế Big data? Vai trò của Big data thống kê nhà nước Báo cáo Hội thảo Virtual Sprint, http://www1.unece.org/stat/platform/display/ bigdata/How+big+is+Big+Data; [6] UNECE (2014c), Câu hỏi kỹ cần thiết cho người làm việc với Big data tổ chức thống kê Báo cáo từ tháng 10/2014, http://www1.unece.org/stat/platform; [7] UNECE (2014d), Báo cáo Nhóm cơng tác tồn cầu Big data cho thống kê nhà nước Ghi Tổng thư ký Hội đồng Bảo an LHQ lần thứ 46, http://unstats.un.org/unsd/statcom/doc15 70 ... nước với Dữ liệu lớn” tập hợp liệu tương ứng tiềm rộng lớn việc sử dụng liệu Một khía cạnh có liên quan cao Dữ liệu lớn rộng phức tạp mà công cụ quản lý sở liệu truyền thống ứng dụng xử lý liệu phương... gia quốc tế, Dự án Dữ liệu lớn 4 thành lập Báo cáo Dữ liệu lớn lớn nào?” 5 mơ tả có giá trị cập nhập vai trò tiềm Dữ liệu lớn thống kê nhà nước, đặc biệt thách thức yêu cầu xét phương diện... phong việc khảo sát tiềm Dữ liệu lớn Ví dụ bật có lẽ Văn phòng Thống kê Úc (ABS); xem Tam Clarke (2015) Bằng chứng cho mối quan tâm lớn thống kê nhà nước Dữ liệu lớn Dữ liệu lớn đề cao nhiều hội