Tổng quan về dữ liệu lớn

Dữ liệu này có từ các nguồn như: hồ sơ hành chính, giao dịch điện tử, dòng trạng thái (status), chia sẻ hình ảnh, bình luận, nhắn tin... của chính chúng ta, nói cách khác chúng là dữ liệu được sản sinh qua quá trình chia sẻ thông tin trực tuyến liên tục của người sử dụng. Nhận thấy vai trò và lợi ích mà dữ liệu lớn đem lại, cộng đồng thống kê quốc tế đã và đang có rất nhiều dự án nghiên cứu, ứng dụng dữ liệu lớn. Để cung cấp cái nhìn tổng quan về dữ liệu lớn cho quý độc giả, bài viết này giới thiệu tóm tắt những nét chính cũng như những cơ hội và thách thức mà dữ liệu lớn mang lại.

Tổng quan liệu lớn… Nghiên cứu – Trao đổi TỔNG QUAN VỀ DỮ LIỆU LỚN ThS.Nguyễn Văn Đoàn1 KS.Nguyễn Công Hoan2 Trước đây, biết đến liệu có cấu trúc (structure data), ngày nay, với kết hợp liệu internet, xuất dạng khác liệu - Big data (dịch “dữ liệu lớn”) Dữ liệu có từ nguồn như: hồ sơ hành chính, giao dịch điện tử, dòng trạng thái (status), chia sẻ hình ảnh, bình luận, nhắn tin chúng ta, nói cách khác chúng liệu sản sinh qua q trình chia sẻ thơng tin trực tuyến liên tục người sử dụng Nhận thấy vai trò lợi ích mà liệu lớn đem lại, cộng đồng thống kê quốc tế có nhiều dự án nghiên cứu, ứng dụng liệu lớn Để cung cấp nhìn tổng quan liệu lớn cho quý độc giả, viết giới thiệu tóm tắt nét hội thách thức mà liệu lớn mang lại Khái niệm, đặc trƣng liệu lớn khác biệt với liệu truyền thống - Dữ liệu lớn (Big data) thuật ngữ liệu lớn phức tạp mà phương pháp truyền thống không đủ ứng dụng để xử lý liệu [1] Dữ liệu lớn hình thành chủ yếu từ nguồn: (1) Dữ liệu hành (phát sinh từ chương trình tổ chức, phủ hay phi phủ) Ví dụ, hồ sơ y tế điện tử bệnh viện, hồ sơ bảo hiểm, hồ sơ ngân hàng ; (2) Dữ liệu từ hoạt động thương mại (phát sinh từ giao dịch hai thực thể) Ví dụ, giao dịch thẻ tín dụng, giao dịch mạng, bao gồm từ thiết bị di động; (3) Dữ liệu từ thiết bị cảm biến hình ảnh vệ tinh, cảm biến đường, cảm biến khí hậu; (4) Dữ liệu từ thiết bị theo dõi, ví dụ theo dõi liệu từ điện thoại di động, GPS; (5) Dữ liệu từ hành vi, ví dụ tìm kiếm trực tuyến sản phẩm, dịch vụ hay loại thông tin khác, trang xem trực tuyến; (6) Dữ liệu từ thông tin ý kiến phương tiện thơng tin xã hội Dữ liệu lớn có đặc trưng sau (mơ hình 5Vs liệu lớn)3: Viện trưởng Viện Khoa học Thống kê Trung tâm Thông tin khoa học thống kê, Viện Khoa học Thống kê Mơ hình 5Vs Gartner xây dựng Gartner công ty nghiên cứu tư vấn công nghệ thông tin hàng đầu giới người Mỹ tên Gideon Gartner sáng lập năm 1979 5Vs: Khối lượng liệu (Volume); Tốc độ (Velocity); Giá trị (Value); Độ tin cậy/chính xác (Veracity); Đa dạng (Variety) SỐ 04 – 2015 7 Nghiên cứu – Trao đổi (1) Khối lượng liệu (Volume): Đây đặc điểm tiêu biểu liệu lớn, khối lượng liệu lớn Kích cỡ Big Data ngày tăng lên, tính đến năm 2012 nằm khoảng vài chục terabyte nhiều petabyte (1 petabyte = 1024 terabyte) cho tập hợp liệu Dữ liệu truyền thống lưu trữ thiết bị đĩa mềm, đĩa cứng Nhưng với liệu lớn sử dụng cơng nghệ “đám mây” có khả lưu trữ liệu lớn (2) Tốc độ (Velocity): Tốc độ hiểu theo khía cạnh: (a) Khối lượng liệu gia tăng nhanh (mỗi giây có tới 72.9 triệu yêu cầu truy cập tìm kiếm web bán hàng Amazon); (b) Xử lý liệu nhanh mức thời gian thực (real-time), có nghĩa liệu xử lý tức thời sau chúng phát sinh (tính đến mili giây) Các ứng dụng phổ biến lĩnh vực Internet, Tài chính, Ngân hàng, Hàng khơng, Qn sự, Y tế – Sức khỏe phần lớn liệu lớn xử lý real-time Công nghệ xử lý liệu lớn ngày tiên tiến cho phép xử lý tức trước chúng lưu trữ vào sở liệu (3) Đa dạng (Variety): Đối với liệu truyền thống hay nói đến liệu có cấu trúc, ngày 80% liệu sinh phi cấu trúc (tài liệu, blog, hình ảnh, vi deo, hát, liệu từ thiết bị cảm biến vật lý, thiết bị chăm sóc sức khỏe…) Big Data cho phép liên kết phân tích nhiều dạng liệu khác Ví dụ, với comments/post nhóm người dùng Facebook với thông tin video chia sẻ từ Youtube Twitter (4) Độ tin cậy/chính xác (Veracity): Một tính chất phức tạp BigData độ tin cậy/chính xác liệu Với xu hướng phương tiện truyền thông xã hội Tổng quan liệu lớn… (Social Media) mạng xã hội (Social Network) … ngày gia tăng mạnh mẽ tính tương tác chia sẻ người dùng Mobile làm cho tranh xác định độ tin cậy xác liệu ngày khó khăn Bài tốn phân tích loại bỏ liệu thiếu xác nhiễu tính chất quan trọng BigData (5) Giá trị (Value): Giá trị đặc điểm quan trọng liệu lớn, bắt đầu triển khai xây dựng liệu lớn việc cần phải làm xác định giá trị thông tin mang lại nào, có định nên triển khai liệu lớn hay không Nếu có liệu lớn mà nhận 1% lợi ích từ nó, khơng nên đầu tư liệu lớn Kết dự báo xác thể rõ nét giá trị liệu lớn mang lại Ví dụ, từ khối liệu phát sinh trình khám, chữa bệnh giúp dự báo sức khỏe xác hơn, giảm chi phí điều trị chi phí liên quan đến y tế Dữ liệu lớn khác với liệu truyền thống (ví dụ, kho liệu - Data Warehouse) điểm: Dữ liệu đa dạng hơn; lưu trữ liệu lớn hơn; truy vấn nhanh hơn; độ xác cao (1) Dữ liệu đa dạng hơn: Khi khai thác liệu truyền thống (thường liệu có cấu trúc), thường phải trả lời câu hỏi: Dữ liệu lấy kiểu gì? định dạng liệu nào? Đối với liệu lớn, trả lời câu hỏi Hay nói khác, khai thác, phân tích liệu lớn không cần quan tâm đến kiểu liệu định dạng chúng; điều quan tâm giá trị mà liệu mang lại có đáp ứng cho công việc tương lai hay không (2) Lưu trữ liệu lớn: Lưu trữ liệu truyền thống vô phức tạp đặt SỐ 04– 2015 Tổng quan liệu lớn… câu hỏi lưu nào: dung lượng kho lưu trữ đủ? gắn kèm với câu hỏi chi phí đầu tư lớn Công nghệ lưu trữ liệu lớn phần giải vấn đề nhờ công nghệ lưu trữ đám mây, phân phối lưu trữ liệu phân tán kết hợp liệu phân tán lại với cách xác xử lý nhanh (3) Truy vấn liệu nhanh hơn: liệu lớn cập nhật liên tục, kho liệu truyền thống cập nhật tình trạng khơng theo dõi thường xun, gây tình trạng lỗi cấu trúc truy vấn dẫn đến khơng tìm kiếm thông tin đáp ứng theo yêu cầu (4) Độ xác cao hơn: liệu lớn đưa vào sử dụng thường kiểm định lại liệu với điều kiện chặt chẽ, số lượng thông tin kiểm tra thông thường lớn, đảm bảo nguồn lấy liệu khơng có tác động người vào thay đổi số liệu thu thập Ứng dụng liệu lớn lĩnh vực Nghiên cứu – Trao đổi Hình cho thấy Tổng thống Mỹ Obama sử dụng liệu liệu lớn để phục vụ cho tranh cử Tổng thống Ông xây dựng đội ngũ nhân viên chuyên thu thập thơng tin phân tích liệu thu dự án triển khai liệu lớn Đội ngũ nhân viên thu thập tất thông tin người dân khu vực, sau phân tích số thơng tin quan trọng người dân Mỹ như: Thích đọc sách gì, thích mua loại thuốc gì, thích sử dụng phương tiện gì… Thậm chí biết thơng tin người bỏ phiếu tín nhiệm lần bầu cử trước Trên sở thông tin này, Obama đưa kế hoạch vận động phù hợp, giúp ông tái đắc cử Tổng thống lần nước Mỹ Ngoài số ứng dụng khác lĩnh vực trị mà liệu lớn áp dụng như: Hệ thống phủ điện tử; phân tích quy định việc tuân thủ quy định; phân tích, giám sát, theo dõi phát gian lận, mối đe dọa, an ninh mạng (2) Ứng dụng liệu lớn giao thông Dữ liệu lớn ứng dụng nhiều lĩnh vực như: hoạt động trị; giao thơng; y tế; thể thao; tài chính; thương mại; thống kê số ví dụ ứng dụng liệu lớn (1) Ứng dụng liệu lớn hoạt động trị Sử dụng số liệu CDR khứ để ước lượng dòng giao thông thành phố vào cao điểm, từ có kế hoạch phân luồng giao thơng chi tiết, hợp lý giúp giảm thiểu kẹt xe Ngoài đưa thơng tin cho người tham gia giao thông biết muốn từ nơi đến nơi khác nên vào để tránh kẹt xe, đường ngắn v.v Ngoài liệu SỐ 04 – 2015 9 Tổng quan liệu lớn… Nghiên cứu – Trao đổi lớn giúp phân tích định vị người dùng thiết bị di động, ghi nhận chi tiết gọi thời gian thực; giảm thiểu tình trạng ùn tắc giao thông (3) Ứng dụng liệu lớn y tế đưa điểm bất hợp lý cấu … trúc đội tuyển Đức, từ giúp cho đội tuyển Đức khắc phục điểm yếu dành World cup 2014 (5) Ứng dụng liệu lớn tài Từ liệu xác, kịp thời thu thập thơng qua giao dịch khách hàng, tiến hành phân tích, xếp hạng quản lý rủi ro đầu tư tài chính, tín dụng (6) Ứng dụng liệu lớn thương mại Trong y học bác sĩ dựa vào số liệu bệnh án để đưa dự đoán nguy mắc bệnh Đồng thời đưa xu hướng lây lan bệnh Ví dụ, ứng dụng Google Flu Trend ứng dụng thành công Google ứng dụng dựa từ khóa tìm kiếm khu vực đó, sau máy phân tích google phân tích đối chiếu kết tìm kiếm đó, sau đưa dự báo xu hướng dịch cúm khu vực Qua cho biết tình hình cúm khu vực diễn để đưa giải pháp phòng tránh Những kết mà Google Flu Trend đưa ra, hoàn toàn phù hợp với báo cáo Tổ chức y tế giới WHO tình hình bệnh cúm khu vực Trong thương mại liệu lớn giúp cho thực số công việc sau: Phân khúc thị trường khách hàng; phân tích hành vi khách hàng cửa hàng; tiếp thị tảng định vị; phân tích tiếp thị chéo kênh, tiếp thị đa kênh; quản lý chiến dịch tiếp thị khách hàng thân thiết; So sánh giá; Phân tích quản lý chuỗi cung ứng; Phân tích hành vi, thói quen người tiêu dùng (7) Ứng dụng liệu lớn thống kê (4) Ứng dụng liệu lớn thể thao Phân tích mơ hình hệ thống cấu trúc sơ đồ chiến thuật đội tuyển Đức (hình dưới) Một nghiên cứu thu thập thông tin qua phương tiện truyền thông Hà Lan thống kê nội dung tin nhắn người dân Hà Lan (hình trên), có đến 50% số tin nhắn vơ nghĩa Số liệu cho thấy kinh phí chi khơng đem lại lợi ích cho người dân xã hội Hà Lan, Chính phủ cần phải có điều chỉnh hoạt động 10 SỐ 04– 2015 10 Nghiên cứu – Trao đổi Tổng quan liệu lớn… Ủy ban Thống kê Liên hợp quốc triển khai nhiều hoạt động liên quan đến liệu lớn với thống kê thức Dữ liệu lớn thống kê thức Mối quan tâm thống kê thức liệu lớn: Nhận thấy lợi ích (giảm thời gian chi phí sản xuất thơng tin thống kê) thách thức liệu lớn thống kê thức, Ủy ban Thống kê Liên hợp quốc tổ chức thống kê khu vực quan thống kê quốc gia số nước triển khai hàng loạt hoạt động liệu lớn thống kê thức Cụ thể, Hội nghị cấp cao Hợp lý hóa dịch vụ sản phẩm thống kê tổ chức năm 20124, hội thách thức liệu lớn với thống kê thức Dự án liệu lớn5 hình thành, sản phẩm Dự án Báo cáo “Dữ liệu lớn lớn nào?” cho thấy vai trò tiềm liệu lớn thống kê thức, đặc biệt thách thức yêu cầu xét phương diện phương pháp thống kê bao gồm chất lượng, công nghệ thông tin, lực kĩ đội ngũ nhân viên Hội thảo liệu lớn Thống kê châu Âu Rome (2014); Hội nghị quốc tế liệu lớn Thống kê thức Bắc Kinh (2014); Hội thảo vệ tinh UNECE NTTS 2015 liệu lớn Brussels (2015) Một số báo cáo liệu lớn trình bày kiện quốc tế khác thu UNECE (2013) what does “big data” mean for official statistic? Report of the Hight-level Group for the Modemisation of Statistical Production and Services (HLG) http://www1.unece.org/stat/platform/display/hlgbas UNECE (2014a) final project proposal: The rol of Big data in the Modemisation of Statistical Production http://www1.unece.org/stat/platform/display/hlgbas SỐ 04 – 2015 hút quan tâm nhà tổ chức đại biểu tham dự, như: Hội nghị Giám đốc Cơ quan thống kê quốc gia DGINS 213 The Hague; Hội nghị Chất lượng Thống kê châu Âu 2014 (Q2014) Vienna; Hội nghị Hiệp hội Quốc tế Thống kê thức 2014 (IAOS 2014) Đà Nẵng; Đại hội Thống kê giới lần thứ 60 Rio de Janeiro Đặc biệt, năm 2014, Ủy ban Thống kê Liên hợp quốc thành lập Nhóm cơng tác tồn cầu liệu lớn Nhóm cơng tác tồn cầu liệu lớn: Nhận thấy lợi ích thách thức liệu lớn thống kê thức, họp lần thứ 45 (tháng 3/2014), Ủy ban thống kê Liên hợp quốc thành lập Nhóm cơng tác toàn cầu (Global Working Group - GWG) liệu lớn, nhằm nghiên cứu, giải vấn đề liên quan đến liệu lớn như: Phương pháp luận; chất lượng; công nghệ; truy cập liệu; pháp luật; bảo mật; quản lý tài chính; phân tích chi phí - lợi ích liệu lớn… Ngày 31/10/2014, phiên họp GWG khẳng định việc sử dụng liệu lớn cho thống kê thức nghĩa vụ cộng đồng thống kê dựa nguyên tắc để đáp ứng kỳ vọng xã hội sản phẩm thống kê cải thiện cách thức làm việc đạt hiệu Tại họp này, GWG hình thành tổ cơng tác (task teams) theo chủ đề: Vận động truyền thông; liên kết liệu lớn Mục tiêu Phát triển bền vững; tiếp cận quan hệ đối tác; đào tạo, xây dựng kỹ lực thống kê; liệu từ điện thoại di động; ảnh vệ tinh; liệu từ phương tiện truyền thông xã hội Các Tổ công tác khẩn trương triển khai thực nhiệm vụ đưa số kết nghiên cứu bước đầu Một số kết nghiên cứu bước đầu liệu lớn thống kê thức: Mặc 11 11 Tổng quan liệu lớn… Nghiên cứu – Trao đổi dù hình thành vòng năm nay, Nhóm cơng tác tồn cầu liệu lớn Ủy ban Thống kê Liên hợp quốc công bố số kết nghiên cứu liệu lớn thống kê thức như: Các Cơ quan Thống kê Quốc gia (NSOs) tận dụng nguồn liệu phương thức thu thập nào? Chính phủ điện tử - Thống kê điện tử - Làm để nhà thống kê đưa chúng vào trung tâm chuyển đổi quyền thơng qua Khoa học liệu; Suy luận liệu lớn mơ hình cho thống kê thức, với ứng dụng phân tích hình ảnh vệ tinh; Sử dụng liệu lớn thống kê chính; liệu lớn thống kê thức – Thách thức liệu lớn Hệ thống Thống kê quốc gia; Quyền riêng tư, bảo mật liệu lớn; Thống kê thời đại thách thức hay hội liệu lớn; Sự hợp liệu không gian thời gian cho liệu lớn Ứng dụng vệ tinh viễn thám Một số ứng dụng liệu lớn thống kê thức như: Thống kê du lịch (Dữ liệu định vị thiết bị di động công tác thống kê du lịch); thống kê sử dụng công nghệ thông tin truyền thông; thống kê giá; thống kê thị trường lao động; thống kê vận tải; tổng điều tra nông nghiệp điều tra số lĩnh vực khác Một số hoạt động tiếp theo: - Nhóm cơng tác tồn cầu liệu lớn Ủy ban Thống kê Liên hợp quốc tiếp tục nghiên cứu ứng dụng liệu lớn thống kê thức Đặc biệt tập trung vào chủ đề như: Vận động truyền thông liệu lớn; liên kết liệu lớn với Mục tiêu Phát triển bền vững; đào tạo, xây dựng kỹ lực; thách thức liệu lớn… 12 - Tổ chức số hội thảo quốc tế … khu vực liệu lớn với thống kê thức tổ chức vào cuối năm 2015, như: Hội nghị toàn cầu lần thứ hai liệu lớn thống kê thức Ủy ban Thống kê Liên hợp quốc tổ chức Abu Dhabi, Tiểu vương quốc Ả rập Thống nhất, từ ngày 2022/10/20156; Hội nghị IASC-ARS7 tổ chức Singapore từ 17-19/12/2015 với chủ đề “Toán Thống kê: Cơ hội thách thức với Dữ liệu lớn” - Cơ quan thống kê quốc gia số nước tập trung nghiên cứu liệu lớn với thống kê thức như: Australia, Bangladesh, Cameroon, China, Colombia, Denmark, Egypt, Indonesia, Italy, Mexico, Morocco, Netherlands, Oman, Pakistan, Philippines, Tanzania, USA Một số tổ chức quốc tế như: UNSD, UNECE, UNESCAP, UN Global Pulse, ITU, OECD, World Bank, Eurostat, GCC-stat Đặc biệt Google nghiên cứu mối liên hệ điều tra thông qua việc sử dụng liệu lớn hệ thống Tóm lại Dữ liệu lớn chủ đề quan tâm WSC lần thứ 60 Dữ liệu lớn mang lại nhiều lợi ích, có nhiều thách thức triển khai, sử dụng liệu lớn nói chung liệu lớn với thống kê thức nói riêng (Xem tiếp trang 6) Chủ đề hội thảo “Moving from examples to guidelines” (tạm dịch “Chuyển từ ví dụ đến hướng dẫn thực hành”), nhằm thúc đẩy phát triển Big data thêm bước Cuộc Hội thảo Hiệp hội quốc tế Toán thống kê tổ chức SỐ 04– 2015 12 Một số nội dung sửa đổi, bổ sung… Nghiên cứu – Trao đổi liên quan nghiên cứu, tìm hiểu liệu lớn liệu mở để có đề xuất nội dung, phạm vi, lộ trình sử dụng nguồn liệu phục vụ công tác thống kê điều kiện kinh tế - xã hội nước ta cho phép Sáu là, Đề nghị Tổng cục giao Vụ Phương pháp chế độ Thống kê Công nghệ thông tin chủ trì, phối hợp Trung tâm Tin học Thống kê khu vực I, Vụ Thống kê Tổng hợp Trung tâm Tư liệu Dịch vụ Thống kê nghiên cứu, vận dụng hệ thống thông tin địa lý vào tổng hợp phổ biến thông tin thống kê số tiêu thống kê Niên giám thống kê hàng năm để đưa lên Trang thông tin điện tử Tổng cục Trên sở có kế hoạch đẩy mạnh áp dụng kỹ thuật nghiệp vụ thống kê chuyên ngành … Bảy là, Đề nghị Tổng cục giao Vụ Thống kê nước Hợp tác quốc tế liên hệ với Cơ quan Thống kê Trung ương Palextin để bàn việc hợp tác song phương hai quan thống kê Tám là, Đề nghị Tổng cục giao Vụ Thống kê Nông, Lâm nghiệp Thủy sản làm việc với Văn phòng FAO Hà Nội việc hỗ trợ kỹ thuật Tổng điều tra nơng thơn, nơng nghiệp thủy sản năm 2016 Chín là, Đề nghị Tổng cục tham khảo kinh nghiệm New Zealand xây dựng phần mềm đào tạo thống kê trực tuyến để thí điểm Tổng cục (Tiếp theo trang 12) Tại kỳ họp lần thứ 44 Ủy ban Thống kê Liên hợp quốc tổ chức vào tháng 2/2013 New York, phiên họp với tiêu đề “Big Data for Policy, Development and Official Statistics” (tạm dịch “Big Data sách, phát triển thống kê nhà nước”) Tiếp theo Ủy ban Thống kê Liên hợp quốc hình thành Nhóm cơng tác tồn cầu liệu lớn Nhóm cơng bố số kết ban đầu liệu lớn với thống kê thức Hoạt động Nhóm đưa hướng dẫn liệu lớn thống kê thức Một số quan thống kê quốc gia số nước tổ chức quốc tế tập trung nghiên cứu, sử dụng liệu lớn Đối với Việt Nam nói chung, Tổng cục Thống kê nói riêng, liệu lớn vấn đề Tổng cục Thống kê cần giao đơn vị Tổng cục chủ trì tiếp cận nghiên cứu Nhóm cơng tác tồn cầu liệu lớn triển khai áp dụng cách Việt Nam Dữ liệu lớn thống kê thức triển khai nước ta, khơng giải vấn đề chất lượng hiệu hoạt động thống kê, mà thể mức độ hội nhập với thống kê quốc tế Tài liệu tham khảo: [1] Wikipedia; https://en.wikipedia.org/wiki/Big_data SỐ 04– 2015 ... việc sử dụng liệu lớn hệ thống Tóm lại Dữ liệu lớn chủ đề quan tâm WSC lần thứ 60 Dữ liệu lớn mang lại nhiều lợi ích, có nhiều thách thức triển khai, sử dụng liệu lớn nói chung liệu lớn với thống... phí liên quan đến y tế Dữ liệu lớn khác với liệu truyền thống (ví dụ, kho liệu - Data Warehouse) điểm: Dữ liệu đa dạng hơn; lưu trữ liệu lớn hơn; truy vấn nhanh hơn; độ xác cao (1) Dữ liệu đa... liên quan đến liệu lớn với thống kê thức Dữ liệu lớn thống kê thức Mối quan tâm thống kê thức liệu lớn: Nhận thấy lợi ích (giảm thời gian chi phí sản xuất thông tin thống kê) thách thức liệu lớn