Tìm hiểu và giới thiệu về dữ liệu lớn big data

tìm hiểu và giới thiệu về dữ liệu lớn big data

TRƯỜNG ĐẠI HỌC KINH TẾ QUỐC DÂN VIỆN CÔNG NGHỆ THÔNG TIN VÀ KINH TẾ SỐ BÀI TẬP LỚN AN TỒN VÀ BẢO MẬT THƠNG TIN Đề tài: Tìm hiểu giới thiệu liệu lớn (big data) Sinh viên thực hiện: Nhóm Lớp chuyên ngành: Chuyên đề tự chọn-CNTT(219)_1 Giảng viên hướng dẫn: TS Nguyễn Trung Tuấn Hà Nội, 2019 Danh sách thành viên nhóm: Họ tên Mã sinh viên Nguyễn Viết Kiên 11172373 Nguyễn Thị Ngân 11173053 Nguyễn Đình Minh 11173053 Vũ Tiến Mạnh 11173107 MỤC LỤC Danh mục trang CHƯƠNG 1: KHÁI NIỆM VÀ QUÁ TRÌNH HÌNH THÀNH DỮ LIỆU LỚN (BIG DATA) 1.Khái niệm liệu lớn .5 2.Quá trình hình thành 2.1Nguồn hình thành 2.2Quá trình phát triển CHƯƠNG ĐẶC TRƯNG VÀ PHÂN TÍCH DỮ LIỆU BIG DATA Đặc trưng liệu lớn ( Big data) 1.1 Đặc trưng 1.2 Sự khác biệt big data với liệu truyền thống 10 2.Phân tích liệu big data 10 2.1 Xây dựng sở hạ tầng hỗ trợ Big Data 11 2.2 Sử dụng phần mềm công cụ hỗ trợ .11 CHƯƠNG ỨNG DỤNG 13 Ngành Ngân hàng 13 Ngành y tê 14 Thương mại điện tử .15 Quản lý thiên tai .16 Lĩnh vực giáo dục 17 Điện toán đám mây 18 Ngành dịch vụ khách hàng 19 Ngành bán lẻ 20 Digital Marketing 21 10 Lĩnh vực truyền thơng & Giải trí 22 CHƯƠNG 4: SỬ DỤNG BIG DATA HIỆU QUẢ, CƠ HỘI VÀ THÁCH THỨC CỦA BIG DATA NGÀY NAY 24 Cách thức sử dụng big data hiệu 24 1.1 Xác định nhu cầu 24 1.2 Xác định nguồn liệu đên từ đâu .24 1.3 Xác định đối tác phân tích liệu chuyên nghiệp 24 1.4 Đánh giá bổ sung liệu cần thiêt 24 1.5 Xác định công cụ hỗ trợ phù hợp 24 1.6 Mở rộng việc chuẩn bị liệu để kêt hợp liệu cũ 24 Cơ hội thách thức big data 25 2.1 Cơ hội .25 2.2 Thách thức 25 CHƯƠNG : Ý NGHĨA CỦA BIG DATA 27 VÀ TỔNG KẾT 27 1.Thành tựu .27 2.Ý nghĩa 27 LỜI NÓI ĐẦU Trước đây, biết đến liệu có cấu trúc (structure data), ngày nay, với kết hợp liệu internet, xuất dạng khác liệu - Big data (dịch “dữ liệu lớn”) Dữ liệu có từ nguồn như: hồ sơ hành chính, giao dịch điện tử, dòng trạng thái (status), chia sẻ hình ảnh, bình luận, nhắn tin chúng ta, nói cách khác chúng liệu sản sinh qua q trình chia sẻ thơng tin trực tuyến liên tục người sử dụng Nhận thấy vai trò lợi ích mà liệu lớn đem lại, cộng đồng thống kê quốc tế có nhiều dự án nghiên cứu, ứng dụng liệu lớn Dữ liệu lớn (Tiếng Anh: Big data) thuật ngữ cho việc xử lý tập hợp liệu lớn phức tạp mà ứng dụng xử lý liệu truyền thống không xử lý Dữ liệu lớn bao gồm thách thức phân tích, thu thập, giám sát liệu, tìm kiếm, chia sẻ, lưu trữ, truyền nhận, trực quan, truy vấn tính riêng tư Thuật ngữ thường đơn giản đề cập đến việc việc sử dụng phân tích dự báo, phân tích hành vi người dùng, số phương pháp phân tích liệu tiên tiến khác trích xuất giá trị từ liệu mà đề cập đến kích thước liệu "Vài nghi ngờ cho số lượng liệu có sẵn thực lớn, khơng phải đặc trưng phù hợp hệ sinh thái liệu này.” Phân tích tập hợp liệu tìm tương quan tới "xu hướng kinh doanh tại, phòng bệnh tật, chống tội phạm vân vân" Các nhà khoa học, điều hành doanh nghiệp, y bác sĩ, quảng cáo phủ thường xuyên gặp khó khăn với tập hợp liệu lớn lĩnh vực bao gồm tìm kiếm internet, thơng tin tài doanh nghiệp Tập liệu tăng nhanh phần chúng thu thập số lượng thiết bị internet vạn vật ngày rẻ nhiều, ví dụ thiết bị di động, anten, nhật ký phần mềm, thiết bị thu hình, thu thanh, đầu đọc RFID mạng cảm biến không dây Khả lưu trữ thông tin giới tăng bình qn gấp đơi sau 40 tháng từ năm 1980; riêng năm 2012, ngày giới tạo 2.5 exabytes (2.5×1018) Một câu hỏi cho tổ chức kinh doanh lớn xác định nên sở hữu sáng kiến liệu lớn có ảnh hưởng tới tồn tổ chức Để cung cấp nhìn tổng quan liệu lớn , Bài luận giới thiệu nét hội thách thức mà liệu lớn mang lại CHƯƠNG 1: KHÁI NIỆM VÀ QUÁ TRÌNH HÌNH THÀNH DỮ LIỆU LỚN (BIG DATA) Khái niệm liệu lớn Big Data thuật ngữ dùng để tập hợp liệu lớn phức tạp công cụ, ứng dụng xử lí liệu truyền thống khơng thể đảm đương Tuy nhiên, Big Data lại chứa nhiều thơng tin q trích xuất thành cơng, giúp nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán dịch bệnh phát sinh chí việc xác định điều kiện giao thông theo thời gian thực Chính thế, liệu phải thu thập, tổ chức, lưu trữ, tìm kiếm, chia sẻ theo cách khác so với bình thường Dữ liệu lớn( Big data) thường bao gồm tập hợp liệu với kích thước vượt xa khả công cụ phần mềm thông thường để thu thập, hiển thị, quản lý xử lý liệu thời gian chấp nhận Kích thước liệu lớn mục tiêu liên tục thay đổi Như năm 2012 phạm vi vài tá terabytes tới nhiều petabytes liệu Dữ liệu lớn yêu cầu tập kỹ thuật cơng nghệ tích hợp theo hình thức để khai phá từ tập liệu đa dạng, phức tạp, có quy mơ lớn Hay nói ngắn gọn liệu lớn (Big data) thuật ngữ liệu lớn phức tạp mà phương pháp truyền thống không đủ ứng dụng để xử lý liệu Tập liệu tăng nhanh phần chúng thu thập số lượng thiết bị internet vạn vật ngày rẻ nhiều, ví dụ thiết bị di động, anten, nhật ký phần mềm, thiết bị thu hình, thu thanh, đầu đọc RFID mạng cảm biến không dây Khả lưu trữ thông tin giới tăng bình qn gấp đơi sau 40 tháng từ năm 1980; riêng năm 2012, ngày giới tạo 2.5 exabytes (2.5×1018) Một câu hỏi cho tổ chức kinh doanh lớn xác định nên sở hữu sáng kiến liệu lớn có ảnh hưởng tới tồn tổ chức Hệ quản trị sở liệu quan hệ, máy bàn gói ảo hóa thường khó xử lý liệu lớn Công việc khổng lồ yêu cầu xử lý hàng chục, hàng trăm, chí hàng nghìn máy chủ Người ta quan niệm liệu lớn khác phụ thuộc vào khả người dùng công cụ họ dùng, khả mở rộng làm cho liệu lớn thay đổi "Các tổ chức đối diện với hàng trăm gigabytes liệu thời gian đầu gây cần thiết phải xem xét lại tùy chọn quản trị liệu Mặt khác, tạo hàng chục hàng trăm terabytes trước kích thước liệu trở thành lý quan trọng Quá trình hình thành 2.1 Nguồn hình thành Trước tiên, bước vào tìm hiểu trình hình thành Big data, Chúng ta tìm hiểu nguồn gốc hình thành lên Big data ngày Qua thống kê tổng hợp, nguồn liệu lớn hình thành chủ yếu từ nguồn:  Dữ liệu hành (phát sinh từ chương trình tổ chức, phủ hay phi phủ) Ví dụ, hồ sơ y tế điện tử bệnh viện, hồ sơ bảo hiểm, hồ sơ ngân hàng  Dữ liệu từ hoạt động thương mại (phát sinh từ giao dịch hai thực thể) Ví dụ, giao dịch thẻ tín dụng, giao dịch mạng, bao gồm từ thiết bị di động  Dữ liệu từ thiết bị cảm biến thiết bị chụp hình ảnh vệ tinh, cảm biến đường, cảm biến khí hậu  Dữ liệu từ thiết bị theo dõi, ví dụ theo dõi liệu từ điện thoại di động, GPS  Dữ liệu từ hành vi, ví dụ tìm kiếm trực tuyến (một sản phẩm, dịch vụ hay thông tin khác), đọc trang mạng trực tuyến  Dữ liệu từ thông tin ý kiến, quan điểm cá nhân, tổ chức, phương tiện thông tin xã hội Phương pháp khai thác quản lý liệu lớn thiết kế phù hợp dựa theo nguồn hình thành liệu lớn Mỗi nguồn liệu lớn khác có phương pháp khai thác quản lý liệu lớn khác Tuy nhiên, phần lớn tổ chức giới dùng Hadoop ecosystem giải pháp tối ưu để khai thác quản lý liệu lớn Chúng ta lấy thí nghiệm Máy gia tốc hạt lớn (LHC) Châu Âu làm ví dụ cho Big Data Khi thí nghiệm tiến hành, kết ghi nhận 150 triệu cảm biến với nhiệm vụ truyền tải liệu khoảng 40 triệu lần giây Kết LHC ghi nhận hết kết từ cảm biến luồng liệu trở nên vơ lớn Nó đạt đến 150 triệu petabyte năm, 500 exabyte ngày Cao 200 lần so với tất nguồn liệu khác giới gộp loại Trong giây lại có đến khoảng 600 triệu vụ va chạm hạt vật chất diễn ra, sau chọn lọc lại từ khoảng 99,999% luồng liệu đó, có tầm 100 vụ va chạm nhà khoa học quan tâm Điều có nghĩa quan chủ quản LHC phải tìm biện pháp để quản lý xử lí hết mớ liệu khổng lồ Một ví dụ khác, Sloan Digital Sky Sruver, trạm quan sát vũ trụ đặt New Mexico, bắt đầu vào hoạt động hồi năm 2000, sau vài tuần thu thập liệu lớn tổng lượng liệu mà ngành thiên văn học thu thập khứ, khoảng 200GB đêm tổng dung lượng đạt đến 140 terabyte Đài quan sát LSST để thay cho SDSS dự kiến khánh thành năm 2016 thu thập lượng liệu tương đương vòng ngày 2.2 Quá trình phát triển Nguồn liệu lớn tồn nhiều hình thức, thường xây dựng công ty cho nhu cầu đặc biệt Bắt đầu từ năm 1990, nhà cung cấp thương mại tham gia cung cấp hệ thống quản lý sở liệu song song cho liệu lớn Trong nhiều năm, WinterCorp công ty phát hành báo cáo lớn sở liệu Năm 1984, Tập đoàn Teradata đưa thị trường hệ thống xử lý liệu song song DBC 1012 Các hệ thống Teradata hệ thống lưu trữ phân tích đến terabyte liệu vào năm 1992 Ổ đĩa cứng đạt đến mức dung lượng 2.5GB vào năm 1991 nên định nghĩa liệu lớn liên tục phát triển theo quy luật Kryder Teradata cài đặt hệ thống dựa RDBMS phân tích hàng petabytes liệu vào năm 2007 Đến năm 2017, có hàng chục sở liệu dựa hệ thống Teradata có dung lượng hàng petabyte, liệu lớn vượt 50 petabytes Cho đến năm 2008, 100% hệ thống xử lý liệu quan hệ có cấu trúc Do đó, Teradata thêm kiểu liệu phi cấu trúc bao gồm XML, JSON Avro Năm 2000, Seisint Inc (nay Tập đoàn LexisNexis) phát triển khung chia sẻ tệp dựa cấu cấu trúc C++ để lưu trữ truy vấn liệu Hệ thống lưu trữ phân phối liệu có cấu trúc, bán cấu trúc, phi cấu trúc nhiều máy chủ Người dùng truy vấn phương ngữ C ++ gọi ECL ECL sử dụng phương thức "áp dụng giản đồ truy cập liệu" để suy luận cấu trúc liệu lưu trữ truy vấn, thay lưu trữ Năm 2004, LexisNexis mua lại Seisint Inc Và năm 2008 mua lại ChoicePoint, Inc Cùng với tảng xử lý song song tốc độ cao họ Hai tảng sáp nhập vào hệ thống HPCC (High-Performance Computing Cluster) HPCC có mã nguồn mở dựa giấy phép Apache v2.0 vào năm 2011 Khoảng thời điểm đó, hệ thống Quantcast File phát hành Năm 2004, Google xuất báo trình gọi MapReduce sử dụng kiến trúc tương tự MapReduce cung cấp mơ hình xử lý song song, phát hành ứng dụng liên quan để xử lý lượng liệu khổng lồ Với MapReduce, truy vấn chia nhỏ truyền qua nút mạng song song xử lý song song (bước Map) Các kết sau thu thập phân phối (Bước Reduce) Khuôn mẫu thành công, nên cơng ty khác muốn chép thuật tốn Do đó, Google triển khai khn mẫu MapReduce thông qua dự án mã nguồn mở Apache Hadoop.Các nghiên cứu vào năm 2012 cho thấy cấu trúc nhiều lớp lựa chọn để giải vấn đề xử lý liệu lớn Một kiến trúc phân tán song song phân tán liệu nhiều máy chủ; môi trường thực song song cải thiện đáng kể tốc độ xử lý liệu Kiểu cấu trúc chèn liệu vào DBMS song song, thực việc sử dụng khung MapReduce Hadoop Loại khung tăng sức mạnh xử lý thông suốt đến người dùng cuối cách sử dụng máy chủ ứng dụng đầu cuối Phân tích liệu lớn ứng dụng vào việc sản xuất giới thiệu cấu trúc 5C (connection - kết nối, conversion - chuyển đổi, cyber - không gian mạng, cognition - nhận thức configuration - cấu hình) Hồ liệu cho phép tổ chức thay đổi định hướng từ mơ hình kiểm sốt tập trung sang mơ hình chia sẻ thơng tin để động đáp ứng với thay đổi việc quản lý thông tin Điều cho phép phân tách nhanh chóng liệu vào hồ liệu, làm giảm thời gian xử lý thông tin Một số liệu từ hình thành đến hết năm 2003, tồn giới có khoảng tỷ gigabyte liệu Cũng lượng liệu tạo ngày năm 2011 Đến năm 2013, khối lượng liệu tạo sau 10 phút Do đó, khơng có ngạc nhiên mà 90% liệu toàn giới tạo vài năm qua Tất liệu hữu ích bị bỏ bê trước thuật ngữ “Big Data” đời CHƯƠNG ĐẶC TRƯNG VÀ PHÂN TÍCH DỮ LIỆU BIG DATA Đặc trưng liệu lớn ( Big data) 1.1 Đặc trưng Nói đến Big Data người ta thường nói có “5 chữ V” thể đặc trưng Big Data chữ V là:  Volume: tăng trưởng mặt khối lượng Dữ liệu hệ thống thông tin luôn không ngừng tăng lên mặt kích thước (khối lượng) Chúng ta tìm thấy liệu định dạng video, music, image lớn kênh truyền thông xã hội Khối lượng liệu hệ thống thông tin lên đến hàng Terabyte Petabyte  Velocity: tăng trưởng mặt tốc độ Bên cạnh tăng trưởng khối lượng, tốc độ tăng trưởng liệu tăng lên cách chóng mặt Một ví dụ đơn giản mạng xã hội đơi thơng báo cách vài giây (tweet, status,….) cũ không người dùng quan tâm Người dùng thường loại bỏ tin nhắn cũ ý đến cập nhật gần Sự chuyển động liệu thực tế (real time) tốc độ cập nhật thông tin giảm xuống đơn vị hàng mili giây  Variety: tăng lên tính đa dạng liệu Dữ liệu không dạng có cấu trúc, mà cịn bao gồm nhiều kiểu liệu phi cấu trúc video, hình ảnh, liệu cảm biến, file log Dữ liệu doanh nghiệp hay hệ thống thơng tin ngày khơng cịn đơn giản có một vài loại liệu nữa, mà tính đa dạng ngày tăng lên làm cho tính phức tạp liệu ngày phức tạp  Veracity: tính xác thực liệu Với xu hướng Social ngày gia tăng mạnh mẽ tính tương tác chia sẻ người dùng Mobile làm cho tranh xác định độ tin cậy & xác liệu ngày khó khăn Bài tốn phân tích loại bỏ liệu thiếu xác nhiễu tính chất quan trọng Big Data  Value: Giá trị thơng tin tính chất quan trọng xu hướng công nghệ Big Data Ở doanh nghiệp phải hoạch định giá trị thông tin  Có thể lưu trữ, quản lý, phân tích liệu lớn bao gồm hồ sơ sinh viên Duy trì bảo mật cách sử dụng hệ thống quản lý big data có khả trích xuất phân cấp  Big Data giúp đề kiểm tra gần khơng thể rị rỉ  Big Data cung cấp liệu hoạt động lớp giúp đưa định cho giáo viên người điều hành tổ chức  Sử dụng máy ảnh độ phân giải cao, cảnh quay video xử lý hình ảnh, Big Data đánh giá biểu cảm khuôn mặt di chuyển học sinh lớp từ giáo viên phần đánh giá chất lượng giảng dạy  Thúc đẩy sinh viên cách xác định vấn đề đưa giáo dục tốt Điện tốn đám mây Thơng thường, khối lượng tập liệu lớn quản lý sở liệu truyền thống, gọi Big Data Đến lúc này, đám mây cung cấp sở hạ tầng cần thiết cho việc tính tốn liệu lớn Trong 19 sống thực, nhiều tổ chức kết hợp hai công nghệ để cải thiện hoạt động điều phối kinh doanh Cách thức ứng dụng Big Data:  Cloud cung cấp công cụ cần thiết để trích xuất liệu Các định mục tiêu quan trọng kinh doanh xác định cách phân tích Big Data  Ứng dụng Big Data tảng cloud giúp tổ chức khỏi rắc rối phải quản lý nhiều cơng cụ phần mềm phần cứng  Điện toán đám mây tăng tốc độ quản lý truy cập sở liệu chứa hàng terabyte hồ sơ  Quản lý Big Data bao gồm thách thức trì bảo mật, hỗ trợ tốt với công nghệ đám mây Ngành dịch vụ khách hàng Ở thời điểm nay, tài sản vật chất, thiết bị máy móc hay sở hạ tầng sản phẩm tài sản lớn doanh nghiệp, mà khách hàng Nếu bạn khơng thể làm hài lịng khách hàng hiểu nhu cầu họ, bạn không trở thành chủ sở hữu doanh nghiệp thành công Nhưng công ty bạn gia nhập thị trường loay hoay tìm lợi cạnh tranh, khó để bạn biết khách hàng tìm kiếm điều Big Data giúp chủ doanh nghiệp tìm giải pháp đưa đề xuất tốt Cách thức ứng dụng Big Data:  Xác định yêu cầu khách hàng, họ muốn tập trung vào việc cung cấp dịch vụ tốt để thực nhu cầu họ 20  Phân tích hành vi, quan tâm khách hàng theo xu hướng họ để tạo sản phẩm hướng đến khách hàng  Giới thiệu đổi bền vững hiệu để cung cấp sản phẩm tốt với chi phí thấp  Có thể thu thập nhiều liệu hành vi khách hàng để thiết kế mơ hình tiếp thị tối ưu dành tùy biến theo đối tượng nhóm đối tượng, tăng khả bán hàng  Tìm tương đồng khách hàng nhu cầu họ Từ đó, việc nhắm mục tiêu chiến dịch quảng cáo tiến hành dễ dàng dựa phân tích có trước Ngành bán lẻ 21 Big Data mang lại hội cho lĩnh vực bán lẻ cách phân tích thị trường cạnh tranh quan tâm khách hàng Nó giúp xác định hành trình trải nghiệm, xu hướng mua sắm hài lòng khách hàng cách thu thập liệu đa dạng Từ liệu thu thập cải thiện hiệu suất hiệu bán hàng Cách thức ứng dụng Big Data:  Big data giúp nhà quản lý xây dựng mơ hình chi tiêu khách hàng  Với trợ giúp phân tích dự đốn, ngành cơng nghiệp so sánh tỷ lệ cung – cầu tránh tiếp tục tung thị trường sản phẩm khơng hầu hết khách hàng đón nhận  Ngành bán lẻ xác định vị trí bố trí sản phẩm kệ hàng tùy thuộc vào thói quen mua hàng nhu cầu khách hàng đưa chiến lược kinh doanh để cải thiện 22  Kết hợp phân tích lúc liệu thời điểm, liệu giao dịch, liệu truyền thông xã hội, dự báo thời tiết để xác định xác sản phẩm phù hợp để sẵn sàng cung ứng cho khách hàng Digital Marketing Digital Marketing chìa khóa để cánh cửa thành công cho doanh nghiệp Giờ đây, không cơng ty lớn điều hành hoạt động quảng cáo tiếp thị mà doanh nhân nhỏ chạy chiến dịch quảng cáo thành công tảng truyền thông xã hội quảng bá sản phẩm họ Big Data tiếp sức cho Digital Marketing phát triển thực mạnh mẽ, trở thành phần khơng thể thiếu doanh nghiệp Cách thức ứng dụng Big Data:  Phân tích thị trường, đối thủ cạnh tranh đánh giá mục tiêu kinh doanh Điều giúp cho doanh nghiệp xác định rõ hơn, đâu hội tốt để tiếp tục tiến hành kế hoạch kinh doanh 23  Có thể xác định người dùng phương tiện truyền thông xã hội nhắm mục tiêu cho họ dựa nhân học, giới tính, thu nhập, tuổi tác sở thích  Tạo báo cáo sau chiến dịch quảng cáo bao gồm hiệu suất, tham gia khán giả thực để tạo kết tốt  Khoa học liệu sử dụng cho khách hàng nhắm mục tiêu ni dưỡng chu trình khách hàng  Tập trung vào chủ đề tìm kiếm cao tư vấn cho chủ doanh nghiệp thực chúng chiến lược nội dung để xếp hạng trang web doanh nghiệp cao google (SEO)  Có thể tạo đối tượng tương tự cách sử dụng sở liệu đối tượng có để nhắm mục tiêu khách hàng tương tự kiếm lợi nhuận 10 Lĩnh vực truyền thông & Giải trí Các cơng ty truyền thơng người hoạt động lĩnh vực giải trí cần thúc đẩy chuyển đổi kỹ thuật số để phân phối sản phẩm nội dung họ nhanh thị trường Đối với người ảnh hưởng phương tiện truyền thơng đại chúng, Big Data giúp tìm quan điểm lượt thích nghệ sĩ để đo lường mức độ phổ biến lĩnh vực truyền thông kỹ thuật số Cách thức ứng dụng Big Data:  Giúp thu thập thông tin nhu cầu cá nhân  Xác định thiết bị thời gian tạo hiệu cao thông qua liệu để phân tích  Có thể sử dụng để xác định lý đằng sau đăng ký hủy đăng ký nội dung đánh giá quan tâm khán giả kiểu nội dung cụ thể 24  Ứng dụng Big Data cịn giúp đặt nhóm mục tiêu quảng cáo cho cơng ty truyền thơng  Có thể tạo thêm tính để phân tích nhu cầu cơng cộng  Nhà quảng cáo (công ty truyền thông, thân người tiếng, người phụ trách truyền thông quảng cáo) chọn địa điểm tần xuất phân phối  Tùy thuộc vào mức độ phổ biến, nghệ sĩ chọn thiết bị, hệ điều hành chí kích thước hình thiết bị để phân phối hát video CHƯƠNG 4: SỬ DỤNG BIG DATA HIỆU QUẢ, CƠ HỘI VÀ THÁCH THỨC CỦA BIG DATA NGÀY NAY Cách thức sử dụng big data hiệu 25 1.1 Xác định nhu cầu Điều phải xác định nhu cầu sử dụng Big Data cách rõ ràng Điều giúp ích nhiều việc tìm liệu mà sử dụng để hỗ trợ việc đưa định, cách liệu thao tác, cuối trình phân tích xác định việc tạo nhìn tổng quát sau 1.2 Xác định nguồn liệu đên từ đâu Có thể khơng xác định nguồn liệu cần thiết nhu cầu đặt ra, xác định nguồn liệu cần sử dụng Điều giúp dễ dàng xác định loại liệu mà cần, dễ dàng việc phân lọc liệu sau 1.3 Xác định đối tác phân tích liệu chuyên nghiệp Các đối tác doanh nghiệp cần công nghệ mà vừa cung cấp giải pháp phù hợp với loại liệu xác định ban đầu, vừa phải cung cấp tảng phù hợp với công cụ phân tích có thân doanh nghiệp 1.4 Đánh giá bổ sung liệu cần thiêt Như nói trên, khơng thể xác định trước tập liệu cần thiết để cung cấp cho việc xử lý liệu, việc đánh giá bổ sung liệu cần thiết việc khơng thể thiếu để ứng dụng Big Data hiệu 1.5 Xác định công cụ hỗ trợ phù hợp Thị trường cung cấp nhiều công cụ hỗ trợ, từ công cụ thống kê đơn giản ứng dụng tiên tiến dựa tảng machine learning Mỗi loại công cụ yêu cầu mức độ hiểu biết khác yêu cầu độ chi tiết liệu Ví dụ, phần mềm dựa tảng machine learning xử lý liệu từ dạng phức tạp nhất; cơng cụ thống kê cần liệu tách lọc kĩ Do đó, lựa chọn công cụ hỗ trợ phù hợp giúp ích việc giảm tải đẩy nhanh tiến độ việc phân tích liệu 26 1.6 Mở rộng việc chuẩn bị liệu để kêt hợp liệu cũ Hiện tại, nhiều tập liệu trạng thái ln chuyển động có kết nối lẫn Do đó, có liệu phát sẵn sàng để tích hợp vào tập có, việc chuẩn bị liệu phải tiến hành để đảm bảo tính khả dụng Cơ hội thách thức big data 2.1 Cơ hội Tiếp cận nghiên cứu liệu lớn giúp cho có thêm phương án giải quyết, xử lý đối phó với thách thức đối sản xuất số liệu thống kê thức tương lai Những nghiên cứu thực nghiệm cần phải tiến hành để khám phá ứng dụng tiềm liệu lớn số liệu thống kê thức nghiên cứu thực nghiệm phải phần quy trình sản xuất số liệu thống kê Nghiên cứu liệu lớn cần phải có sở hạ tầng công nghệ thông tin đại, đáp ứng yêu cầu xử lý khối lượng lớn liệu nhanh, đồng thời tập hợp liệu từ nhiều nguồn khác Thực điều có đội ngũ, nguồn nhân lực quản lý khai thác big data vững vàng chuyên môn trải nghiệm thực tế Tiếp cận nghiên cứu liệu lớn giúp có văn pháp lý bổ sung giúp cho quan thống kê thức có điều kiện để thực khai thác liệu thơng qua hồ sơ hành chính, ngồi liệu bảo đảm giữ bí mật nhờ văn pháp lý bổ sung Sử dụng liệu lớn đem lại niềm tin cộng đồng với thống kê thức q trình sản xuất số liệu thống kê thức với liệu lớn hồn tồn khơng có tác động chủ ý người 2.2 Thách thức Tài : nhiều đơn vị , tổ chức không đo lường vấn đề phát sinh trình triển khai thực hiện, dự tốn kinh phí chưa xác, dự án không thực Để triển khai thành cơng, yếu tố tài có ý nghĩa quan trọng, số tập đồn thương mại lớn có tiềm lực tài vững 27 xây dựng thuận lợi hệ thống liệu Big data IBM, website bán hàng thương mại điện tử Amazon… Chính sách, quy định luật pháp truy cập sử dụng liệu : việc sử dụng khai thác liệu lớn phụ thuộc vào luật quy định quốc gia Ví dụ: canada người dùng tiếp cận liệu từ hai tổ chức phủ phi phủ, nước khác nhưu Ireland phải cho phép từ quan phủ Điều dẫn đến hạn chế để truy cập vào số loại liệu lớn Trình độ khai thác quản lý liệu: Do luật pháp quy định sử dụng khai thác quốc gia khác nên cách quản lý khác Một vấn đề liên quan đến quản lý thông tin nguồn nhân lực Khoa học liệu lớn phát triển mạnh tổ chức tư nhân, phận chưa liên kết với tổ chức phủ cách chặt chẽ dẫn đến việc quản lý nhiều vướng mắc… Hạ tầng công nghệ thông tin : Cẩn phải cải thiện tốc độ liệu truy cập vào liệu hành nghĩa sử dụng giao diện ứng dụng Chương trình chuyên sâu tiêu chuẩn (API) để truy cập liệu Bằng cách này, kết nối ứng dụng cho liệu thu xử lý liệu trực tiếp với liệu hành Ngồi hệ thống khai thác liệu lớn cần phải tính tốn để kết nối vào kho sở liệu truyền thống, thách thức lớn cần giải 28 CHƯƠNG : Ý NGHĨA CỦA BIG DATA VÀ TỔNG KẾT Thành tựu Phân tích tập hợp liệu tìm tương quan tới “xu hướng kinh doanh tại, phòng bệnh tật, chống tội phạm vân vân” Các nhà khoa học, điều hành doanh nghiệp, y bác sĩ, quảng cáo phủ thường xuyên gặp khó khăn với tập hợp liệu lớn lĩnh vực bao gồm tìm kiếm internet, thơng tin tài doanh nghiệp Các nhà khoa học gặp giới hạn cơng việc cần tính tốn lớn, bao gồm khí tượng học, gen, mạng thần kinh, mô vật lý phức tạp, sinh vật học nghiên cứu mơi trường Ngày nay, liệu tiền bạc doanh nghiệp Lấy ví dụ, thơng tin thói quen, sở thích khách hàng có từ lượng liệu khổng lồ doanh nghiệp thu thập lúc khách hàng ghé thăm tương tác với trang web Chỉ cần doanh nghiệp biết khai thác hiệu quả, Big Data công cụ khơng giúp tăng lợi nhuận cho họ mà giúp tiết kiệm thời gian cho khách hàng mua sắm Nhờ giải pháp Big Data, năm 2013, Amazon đạt doanh thu tới 74 tỷ USD IBM đạt 16 tỷ USD Big Data nhu cầu tăng trưởng lớn từ năm 2010, Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP Dell chi 15 tỷ USD cho công ty chuyên quản lý phân tích liệu Với tiềm ưu việt, Big Data không ứng dụng kinh doanh mà cịn có khả tác động đến hầu hết ngành nghề khác Chính phủ nước ứng dụng Big Data để dự đoán tỷ lệ thất nghiệp, xu hướng nghề nghiệp tương lai để đầu tư cho hạng mục phù hợp cắt giảm chi tiêu, kích thích tăng trưởng kinh tế, chí dự đoán phát triển mầm bệnh khoanh vùng lây lan bệnh dịch Nói cách khác, Big Data công cụ thúc đẩy phát triển kinh tế – xã hội tương lai Theo ước tính Gartner, cơng ty nghiên cứu tư vấn công nghệ hàng đầu Mỹ, tới năm 2015 Big Data tạo thêm 4,4 triệu việc làm ngành IT toàn cầu năm (2012-2017), giới đầu tư 232 tỷ USD cho Big Data 29 Ý nghĩa Ý nghĩa Big Data Đối với Big Data, người ta đa ý nghĩa sau đây: Big Data giúp giảm chi phí, giảm thời gian giúp phát triển sản phẩm với dịch vụ tối ưu nhất, nhờ bạn tìm định thơng minh nhất, sáng suốt Giúp bạn hoàn thành tốt số tác vụ như: Xác định nguyên nhân khiến bạn thất bại, tạo chương trình khuyến hợp lý phù hợp với thói quen khách hàng với hoạt động kinh doanh, tính tốn lường trước rủi ro gặp phải biết hành vi gian lận làm ảnh hưởng đến kinh doanh Giúp thu thập lượng thông tin lớn từ website Doanh nghiệp tận dụng cơng cụ để phân tích liệu phục vụ cho khâu phân tích thị trường để tạo chiến lược nâng cao chất lượng sản phẩm dịch vụ tại, giúp doanh nghiệp tìm hiểu nghiên cứu hành vi khách hàng Có thể từ nguồn Big Data để xây dựng website với nội dung thu hút Từ bạn tìm hiểu, nghiên cứu hành vi mua hàng Khi liệu cập nhật nhiều tức việc phân tích mang độ xác cao Lời khuyên cho doanh nghiệp: Tạo nhiều nội dung nhiều kênh xã hội khác Big Data giúp phủ dự đốn tỉ lệ thất nghiệp, xu hướng nghề nghiệp người đất nước Từ biết đầu tư hướng để giảm chi phí, tăng tính hiệu cho hạng mục Big Data liệu quan trọng với doanh nghiệp đồng thời thách thức đặt cho doanh nghiệp thời đại 4.0 Nếu không hiểu rõ, cách để tạo vận dụng nguồn liệu lớn đồng nghĩa với việc doanh nghiệp thụt lùi lại Tóm lại, Big Data thách thức đặt cho tổ chức, doanh nghiệp thời đại số Một làm chủ liệu lớn họ có hội thành cơng lớn bối cảnh cạnh tranh ngày nay, giới hưởng lợi từ việc trích xuất thơng tin cách xác hơn, hữu ích với chi phí thấp Vẫn cịn trích xoay quanh Big Data, nhiên lĩnh vực xu phát triển mạnh 30 PHẦN KẾT Ngày nay, phát triển không ngừng khoa học kỹ thuật, tiêu biểu đời Internet thiết bị điện thoại, máy tính cá nhân, mang lại đổi thay lớn lao lĩnh vực đời sống Trong kỷ nguyên IoT2 với việc ứng dụng tích hợp sâu rộng thiết bị di động điện thoại di động, tơ, máy móc cơng nghiệp góp phần vào việc tạo chuyển liệu, dẫn đến bùng nổ liệu thu thập Trong dòng thác liệu liên tục tạo giây, thuật ngữ Big Data (Dữ liệu lớn) sử dụng để liệu khổng lồ, chủ yếu khơng có cấu trúc, thu thập từ nhiều nguồn khác Tuy nhiên, Big Data lại chứa nhiều thơng tin q trích xuất thành cơng, giúp nhiều cho việc kinh doanh, nghiên cứu khoa học, dự đoán dịch bệnh phát sinh chí việc xác định điều kiện giao thông theo thời gian thực Trong công tác nghiên cứu khoa học, Big Data mang lại nhà nghiên cứu hội tiếp cận giải nhiều vấn đề hóc búa mà trước khơng thể khó thực Qua đây, chúng tơi muốn giới thiệu khái niệm Big Data ngày phổ biến ứng dụng đời sống 31 Tài liệu tham khảo Một số nguồn tham khảo tài liệu tiếng việt: https://en.wikipedia.org/wiki/Big_data https://tuanvd.com/big-data-la-gi-va-nguoi-ta-khai-thac-ung-dung-no-vao-cuoc-song-nhu-nao/ https://techinsight.com.vn/tong-quan-ve-big-data-va-nhung-van-de-lien-quan/ https://www.slideshare.net/tantrieuf31/gii-thiu-c-bn-v-big-data-v-cc-ng-dng-thc-tin Một số nguồn tham khảo tài liệu tiếng anh : https://www.slideshare.net/BernardMarr/140228-big-data-slide-share https://text.123doc.net/document/1053415-tai-lieu-oracle-big-data-for-the-enterprise-ppt.htm 32 Một số kênh youtube 33 ... nhìn tổng quan liệu lớn , Bài luận giới thiệu nét hội thách thức mà liệu lớn mang lại CHƯƠNG 1: KHÁI NIỆM VÀ QUÁ TRÌNH HÌNH THÀNH DỮ LIỆU LỚN (BIG DATA) Khái niệm liệu lớn Big Data thuật ngữ... VÀ PHÂN TÍCH DỮ LIỆU BIG DATA Đặc trưng liệu lớn ( Big data) 1.1 Đặc trưng 1.2 Sự khác biệt big data với liệu truyền thống 10 2.Phân tích liệu big data. .. bắt tay vào BigData 1.2 Sự khác biệt big data với liệu truyền thống Dữ liệu lớn khác với liệu truyền thống (ví dụ, kho liệu -Data Warehouse) điểm: Dữ liệu đa dạng hơn: Khi khai thác liệu truyền