Cách đây chỉ hơn một thập niên trong căn phòng của các doanh nghiệp hay trong phòng làm việc riêng, hình ảnh chiếc máy tính bàn cồng kềnh gắn liền với góc làm việc của mỗi người, mọi dữ liệu đều được lưu trữ trên ổ cứng hay các đĩa CD.Thì hiện nay với sự ra đời của các ứng dụng và điện toán đám mây , cùng với sự bùng nổ của các thiết bị di động, mọi thứ đều được đưa lên hệ thống lưu trử đám mấy Cloud và khai thác thông qua các ứng dụng Mobile. Mỗi cá nhân đều có thể là một đơn vị sản xuất dữ liệu với hàng loạt video, file thông tin, file âm thanh được đăng tải trên các kênh thông tin hằng ngày hằng giờ thậm trí tính bằng giây. Việc số hóa và lưu trữ trên điện toán đám mây này khiến thế giới sinh ra một lượng lớn dữ liệu khổng lồ, vượt quá khả năng xử lý của các cơ sở dữ liệu truyền thống. Từ đó xu hướng Big data hay còn gọi là dữ liệu lớn ra đời để giải quyết các bài toán về lưu trữ và xử lý số liệu. Trong bài báo cáo này sẽ tổng hợp một số điều cần biết về Big data: lịch sử, khái niệm, đặc trưng, cấu trúc,… hay làm thế nào để các doanh nghiệp có thể nắm bắt được cơ hội phát triển lớn từ kho dữ liệu đồ sộ này. Bài báo cáo sẽ cho người đọc cái nhìn tổng quan về Big data để từ đó có thể vận dụng một cách hợp lý Big data vào từng lĩnh vựng cụ thể.
BAN CƠ YẾU CHÍNH PHỦ HỌC VIỆN KỸ THUẬT MẬT MÃ LỜI NÓI ĐẦU Cách thập niên phòng doanh nghiệp hay phịng làm việc riêng, hình ảnh máy tính bàn cồng kềnh gắn liền với góc làm việc người, liệu lưu trữ ổ cứng hay đĩa CD.Thì với đời ứng dụng điện toán đám mây , với bùng nổ thiết bị di động, thứ đưa lên hệ thống lưu trử đám Cloud khai thác thông qua ứng dụng Mobile Mỗi cá nhân đơn vị sản xuất liệu với hàng loạt video, file thông BÀI TẬP LỚN tin, file âm đăng tải kênh thông tin ngày trí tính giây Việc số hóa lưu trữ điện tốn đám mây TÀI: hiểukhổng Biglồ,Data khiến giới sinh ĐỀ lượng lớnTìm liệu vượt khả xử lý sở liệu truyền thống Từ xu hướng Big data hay cịn gọi liệu lớn đời để giải toán lưu trữ xử lý số liệu Trong Học Anhợp toàn mạng báo cáo nàyPhần: tổng số điều cần biết Big data: lịch sử, khái niệm, đặc trưng, cấu trúc,… hay làm để doanh nghiệp nắm bắt hội phát triển lớn từ kho liệu đồ sộ Bài báo cáo cho người đọc nhìn tổng quan Big data để từ vận dụng cách hợp lý Big data vào lĩnh vựng cụ thể MỤC LỤC Hà Nội, 2020 DANH MỤC BẢNG BIỂU CHƯƠNG I SỰ CẦN THIẾT NGHIÊN CỨU BIG DATA, KHÁI NIỆM, ĐẶC TRƯNG VÀ SỰ KHÁC BIỆT CỦA BIG DATA VỚI DỮ LIỆU TRUYỀN THỐNG 1.1Sự cần thiết nghiên cứu Big data 1.1.1 Sự hình thành big data nguồn khai thác quản lý big data Từ biết đến tồn phát triển vượt bậc Big data, nhiều câu hỏi đặt “Big data đến từ đâu?” Dưới tổng hợp số nguồn mà từ liệu sinh ngày tăng để đưa đến khái niệm Big data Hình I.1: Sự hình thành BIG DATA Hiện nay, ngày người tạo 2.5 quintillion(1030) byte liệu Khối lượng liệu tạo nhiều nhanh đến mức mà hai năm gần chiếm đến 90% khối lượng liệu giới Những liệu lớn tạo từ nhiều nguồn khác Hình tổng hợp số nguồn phát sinh điển hình: (1) Dữ liệu tạo từ Social media: tức liệu tạo từ mạng xã hội Không đơn mạng xã hội Facebook, tweeter,… mà cịn bao gồm thơng tin công ty mạng lưới nhân viên, khách hàng,… Một ví dụ minh họa cho nguồn liệu tweeter ngày có 230 triệu tweets, hay 2.7 triệu comment Facebook, trang Youtube có 86400 video tải lên (2) Dữ liệu tạo từ Machine Data: thơng tin tính bao gồm thơng tin q trình vận hành máy cơng nghiệp liệu sinh từ cảm biến, thông tin weblog… (3) Dữ liệu tạo từ Transations: bao gồm thông tin giao dịch phát sinh từ khách hàng hay nhà cung cấp phân phối (sản phẩm, giá sản phẩm, phương thức tốn,…) Ví dụ điển hình nguồn liệu liệu Amazon (ví dụ quý năm 2011 số giao dịch hệ thống lên tới 10 tỉ $) Nguồn gốc khác hình thành Big data: (1)Dữ liệu hành (phát sinh từ chương trình tổ chức, phủ hay phi phủ) Ví dụ, hồ sơ ý tế điện tử bệnh viện, hồ sơ bảo hiểm, hồ sơ ngân hàng,…; (2)Dữ liệu từ hoạt động thương mại (phát sinh từ giao dịch hai thực thể) Ví dụ, giao dịch thẻ tín dụng, giao dịch mạng, bao gồm thiết bị di động; (3)Dữ liệu từ thiết bị cảm biến thiết bị cảm biến đường, cảm biến khí hậu, ảnh chụp vệ tinh,… ; (4)Dữ liệu thiết bị theo dõi, ví dụ theo dõi camera giao thơng, theo dõi thiết bị di động, GPS,… ; (5)Dữ liệu từ hoạt động, ví dụ tìm kiếm trực tuyến (mặt hàng, sản phẩm, thông tin,…),… ; (6)Dữ liệu từ thông tin ý kiến, quan điểm cá nhân, tổ chức, phương tiện thông tin xã hội Phương pháp khai thác quản lí Big data thiết kế phù hợp dựa theo nguồn hình thành Big data Mỗi nguồn liệu khác có Phương pháp khai thác quản lí liệu khác Tuy nhiên, phần lớn tổ chức giới dùng Hadoop ecosystem giải pháp tối ưu để khai thác quản lí Big data 1.1.2 Sự lớn Big data ảnh hưởng Big data Eric Schmidt, CEO điều hành Google cho biết: Cứ hai ngày, lượng thông tin tạo từ thời bình minh văn minh lồi người năm 2003 Hình I.2: Eric Schmidt nói Big data Theo nghiên cứu Văn phịng cơng nghệ kinh doanh McKinsey (viện nghiên cứu toàn cầu) thống kê : kinh tế phát triển Châu Âu, nhà quản lý phủ tiết kiệm 100 tỷ Euro (149 tỷ USD) cải tiến hiệu hoạt động cách sử dụng Big data, không bao gồm sử dụng Big data để giảm gian lận sai sót tăng thu thuế Và người sử dụng dịch vụ kích hoạt liệu cá nhận- vị trí nắm bắt 600 tỷ USD thặng dư tiêu dùng Theo công bố cúa IDC: thị trường Big data tăng từ 130 tỷ $ đến 203 tỷ $ vào năm 2020 (dự báo công bố vào 03 tháng 10 năm 2016), 46% công ty đầu tư vào liệu lớn vào năm 2016 tăng 3% so với năm 2015 1.2Khái niệm big data Theo Wikipedia: Big data thuật ngữ liệu lớn phức tạp mà phương pháp truyền thống không đủ ứng dụng để xử lý liệu Theo Gartner (tổ chức nghiên cứu thị trường tồn cầu) cơng bố năm 2012 thì: Big data nguồn thơng tin có đặc điểm chung khối lượng lớn, tốc độ nhanh liệu định dạng nhiều hình thức khác nhau, muốn khai thác địi hỏi phải có hình thức xử lý để đưa định, khám phá tối ưu hóa quy trình Có nghĩa là: Big data (dữ liệu lớn) thuật ngữ dùng để tập hợp liệu lớn phức tạp cơng cụ, ứng dụng xử lí liệu truyền thống đảm đương Tuy nhiên, Big data lại chứa nhiều thơng tin q trích xuất thành cơng, giúp nhiều cho việc kinh doanh, nghiên cứu khoa học, dư đoán dịch bệnh phát sinh chí việc xác định điều kiện giao thơng theo thời gian thực Chính thế, liệu phải thu thập, tổ chức, lưu trữ, tìm kiếm, chia sẻ theo cách khác so với bình thường 1.3Đặc trưng 5V big data Hiện nay, để mơ hình hóa Big data tồn cầu người ta vào tiêu chuẩn 5V Big data, năm tính chất quan trọng Big data Hình I.3: Mơ hình 5V Big data 1.3.1 Volume (số lượng lưu trữ) Đây đặc điểm tiêu biểu Big data, khối lượng liệu lớn Kích cớ Big data ngày tăng lên nhanh chóng, tính đến năm 2012 đơn vị tính Big data nằm khoảng vài chục terabyte nhiều petabyte (1 petabyte = 1024 terabyte) cho tập hợp liệu Dữ liệu truyền thống lưu trữ đĩa mềm, đĩa cứng Theo IDC, giới tạo khoảng 180 nghìn tỷ gigabyte vào năm 2025, tăng từ 10 wattabyte vào năm 2015 Nhưng với liệu lớn Big data cần sử dụng công nghệ “đám mây” đáp ứng khả lưu trữ liệu lớn 1.3.2 Velocity (tốc độ xử lý) Tốc độ hiểu theo hai khía cạnh: (a) Khối lượng liệu gia tăng nhanh (mỗi giây có tới 72,9 triệu yêu cầu truy cập tìm kiếm web bán hàng Amazon); (b)Xử lý liệu nhanh mức sát với thời gian thực realtime, có nghĩa liệu xử lý tức thời sau chúng phát sinh Các ứng dụng phổ biến lĩnh vực Internet, tài chính, ngân hàng, hàng không, quân sự, y tế sức khỏe phần lớn liệu xử lý đạt tới real- time Công nghệ xử lý Big data ngày cho phép người xử lý tức thời trước chúng lưu vào sở liệu 1.3.3 Variety (đa dạng chủng loại) Đối với liệu truyền thống thường nhắc đến liệu có cấu trúc (file tập tin,văn bản), ngày 80% liệu sinh phi cấu trúc (blog, hình ảnh, video, hát, liệu từ thiết bị cảm biến vật lý, thiết bị chăm sóc sức khỏe,…) Big data cho phép liên kết phân tích nhiều dạng liệu khác Ví dụ, với bình luận nhóm người dùng facebook với thơng tin video chia sẻ từ Youtube 1.3.4 Veracity (Độ tin cậy) Một tính chất phức tạp Big data độ tin cậy liệu Với xu hướng Phương tiện truyền thông xã hội (Social Media) mạng xã hội (Social Network) ngày gia tăng mạnh mẽ tính tương tác chia sẻ người dùng Mobile làm cho tranh xác định độ tin cậy, xác liệu ngày khó khăn Bài tốn phân tích loại bỏ liệu thiếu xác nhiễu tính chất quan trọng Big data 1.3.5 Value (giá trị) Giá trị đặc điểm quan trọng Big data, bắt đầu triển khai xây dựng liệu lớn việc cần phải làm rõ xác định đươc giá trị thông tin mang lại nào, định có nên triển khai liệu lớn hay không Nếu sở hữu Big data mà nhận 1% lợi ích từ nó, khơng nên đầu tư vào phát triển Big data Kết dự báo xác thể rõ nét giá trị Big data mạng lại Ví dụ, từ khối liệu phát sinh trình khám, chữa bệnh giúp dự báo sức khỏe xác hơn, giảm chi phí điều trị chi phí liên quan 1.4Sự khác biệt big data với giữ liệu truyền thống Big data khác với dạng liệu truyền thống đặc điểm bản: Dữ liệu đa dạng hơn, lưu trữ liệu lớn hơn, truy liệu nhanh hơn, độ xác cao 1.4.1 Dữ liệu đa dạng Khi khai thác liệu truyền thống (dữ liệu có cấu trúc), thường phải đặt câu hỏi: Dữ liệu lấy kiểu gì? Định dạng liệu nào? Đối với Big data, trả lời câu hỏi Hay nói khác, khai thác, phân tích liệu Big data khơng cần phải quan tâm đến kiểu liệ định dạng chúng, điều quan tâm giá trị mà liệu mang lại có đáp ứng cho cơng việc tương lai không 1.4.2 Lưu trữ liệu lớn Lưu trữ liệu truyền thống vô phức tạp đặt câu hỏi lưu nào? Dung lượng lưu trữ đủ? Gắn kèm với câu hỏi chi phí đầu tư tương ứng Cơng nghệ lưu trữ Big data phần giải vấn đề nhờ công nghệ lưu trữ đám mây, phân phối lưu trữ liệu phân tán kết hợp liệ phân tán lại với cách xác xử lý nhanh thời gian thực 1.4.3 Truy vấn liệu nhanh Big data cập nhật liên tục, kho liệu truyền thống cập nhật tình trạng khơng theo dõi thường xuyên gây nên tình trạng lỗi cấu trúc truy dấn đến khơng tìm kiếm thơng tin đáp ứng yêu cầu 1.4.4 Độ xác cao Big data đưa vào sử dụng thường kiểm định lại liệu với điều kiện chặt chẽ, số lượng thông tin kiểm tra thông thường lớn, đảm bảo nguồn lấy liệu khơng có tác động người vào thay đổi số liệu thu thập CHƯƠNG II GIẢI PHÁP CƠNG NGHỆ PHÂN TÍCH BIG DATA VÀ CÁCH THỨC TRIỂN KHAI BIG DATA 2.1Giải pháp cơng nghệ phân tích Big data 2.1.1 Giải pháp công nghệ lưu trữ phân tích Hadoop ecosystem Apache Hadoop tảng mềm mã nguồn mở, miễn phí, dựa java, cung cấp tảng phân tán mạnh để lưu trữ quản lý Big data Bản quyền Apache V2 license Nó chạy ứng dụng cụm phần cứng lớn xử lý hàng ngàn terabyte liệu hàng ngàn nodes Hadoop lấy cảm hứng từ Google MapReduce Google File System (GFS) Điểm mạng tảng hadoop cung cấp độ tin cậy tính sẵn sang cao Hình II.4: Cơng nghệ Hadoop ecosystem Các thành phần Hadoop Nền tảng Hadoop xây dựng hai thành phần Hadoop MapReduce Hadoop Distributed File System 2.1.1.1 Hadoop MapReduce Là cách chia vấn đề liệu lớn thành đoạn nhỏ phân tán nhiều máy chủ Mỗi máy có tập tài nguyên riêng máy chủ xử lý liệu cục Khi máy xử lý xong liệu, chúng gửi chở máy chủ Hình II.5: Hadoop MaReduce 2.1.1.2 Hadoop Distributed File System (HDFS) Là hệ thống tập tin ảo Có khác biệt lớn hệ thống tập tin khác Hadoop Khi di chuyển tập tin HDFS, tự động chia thành nhiều mảnh nhỏ Các mảnh nhỏ tập tin phân rộng lưu trữ nhiều máy khác (thường ba) để tăng sức chịu lỗi tính sẵn sàng cao 10 Hình II.6: Hadoop Distributed File System Hadoop Framework mã nguồn mở hỗ trợ lưu trữ xử lý Big data với cấu trúc khác (kể khơng cấu trúc) mãy chủ bình thường Hadoop có nhiều lợi so với framework khác: • Khả mở rộng: cho phép thay đổi số lượng phần cứng mà không cần thay đổi định dạng liệu hay khởi động lại hệ thống • Hiệu chi phí: hỗ trợ lưu trữ xử lý song song máy chủ bình thường • Linh hoạt: hỗ trợ loại liệu từ nguồn • Chịu lỗi: thiếu liệ phân tích thất bại tượng thường gặp phân tích Big data Hadoop phục hồi phát nguyên nhân thất bại tắc nghẽn mạng Bên cạnh hai phần lõi thì, Hadoop chứa số module: • Hadoop Common: tiện ích thơng dụng cho module khác Hadoop • Hadoop Yarn: tảng cho lập lịch quản lý tài nguyên cụm (cluster) 11 2.2Triển khai khai thác Big data 2.2.1 Đánh giá thực trạng quản lý liệu đơn vị có nhu cầu triển khai Đây bước trình bắt tay vào thực Bước có vai trị quan trọng việc nhìn nhận thực trạng liệ đơn vị quản lý dựa vào đưa kế hoạch cụ thể điều chỉnh hoạt động quản lý khai thác liệu triển khai Big data Theo nguồn thông tin tổng hợp website lãnh đạo cơng nghệ thơng tin an tồn thơng tin Đông Nam Á CIO CSO 2014: Dịch vụ tài năm 2015 đầu tư vào liệu lớn 6.4 tỷ USD dự kiến tăng 22%, lập trình phần mềm năm 2015 đầu tư khoảng 2.8 tỷ USD vào liệu lớn dự kiến tăng 26%, hoạt động phủ năm 2015 đầu tư 2.8 tỷ USD vào đầu tư liệu lớn, dự kiến tăng 22% lĩnh vực đa phượng tiện năm 2015 đầu tư vào liệu lớn 1.2 tỷ USD với mức dự kiến tăng 40% 2.2.2 Xác định vấn đề muốn giải dựa vấn đề đánh giá Đây bước thứ hai việc triển khai khai thác Big data Từ việc đánh giá thực trạng cần xác định số nội dụng quan trọng sau đây: • Xác định có liệu hay khơng để triển khai Big data vấn đề muốn giải Ở cần xem xét chi tiết liệu đánh giá thực trạng có đủ để đáp ứng giải vấn đề không Nếu trường hợp có liệu mà khơng đủ đạp ứng triển khai Big data phải điều chỉnh nguồn thu thập thông tin Nếu trường hợp đánh giá thực trạng mà khơng có liệu khơng thể triển khai Big data • Xác định Big data có thực phù hợp để giải vấn đề Việc xác định Big data có thực phù hợp để giải vấn đề gặp phải không, trước tiên cần trả lời hoạch định rõ tính chất “Value” Big data vấn đề toán quan tâm Đây “V” quan trọng mơ hình 5V Ví dụ: Amazong web Commerce đặt mục tiêu thay “làm để bán hàng?” cơng ty xác định ln “làm để bán mặt hàng tiếp theo?” Và với mơ hình kinh doanh Online/Offline Amazon tận 12 dụng Big data hiệu cho việc tối ưu hóa quy trình vận hàng từ tự động bán tự động Hệ thống website, marketing CRM công ty hoạt động Big data để thấu hiểu nhu cầu khách hàng mua sắm Amazon Hệ thống Recommendation Amazon xem hệ thống khuyến nghị người dùng mua tối giới với lợi vượt trội Google, Facebook liệu mua bán người tiêu dùng 2.2.3 Xây dựng cấu trúc tổng thể Big data Hồn tồn khơng thể đưa giải pháp tối ưu cho giải pháp Big data nào, nhiên với giải pháp dựa khối xây dựng triến trúc Big data Hình II.7: Cấu trúc tổng thể Big data Cấu trúc Big data cần đảm bảo thành phần chức sau 13 • Đa dạng nguồn liệu: Big data láy từ nhiều nguồn âm thanh, đoạn phim, kho liệu, nguồn liệu đầu vào đa dạng • Mã hóa liệu: sau thu thập thơng tin từ nguồn liệu chuyển qua khâu data extract ( giải nén liệu) Transtorm intergrate process (chuyển đổi xử lý hợp liệu) • Phân tích liệu: sau liệu đưa vào kho lưu trữ phục vụ cho việc thực phân tích khai thác liệu Thơng qua cơng cụ hỗ trợ • Tổng hợp liệu (báo cáo): cuối mơ hình chức Big data đưa báo cáo cho người sử dụng Dựa vào thông tin báo cáo người dùng nắm bắt thơng tin, tình trạng vấn đề cần giải Quan trọng đưa định kịp thời xác dựa nguồn liệu phân tích 2.2.4 Xây dựng mơ hình- quy trình xử lý Big data cho vấn đề cần giải Kiến trúc Big data thiết kế để xử lý việc nhập, xử lý phân tích liệu lớn phức tạp thay cho hệ thống sở liệu truyền thống 14 Hình II.8: Mơ hình-quy trình xử lý Big data Big data xử lý thông qua giai đoạn chính: thu thập thơng tin (acquire), tổ chức liệu (organize), phân tích liệu (analyze), đưa định (decide) • Thu thập liệu: hầu hết có giải pháp, ví dụ: Oracle đưa NoSQL database, Google có Google BigTable,… • Tổ chức liệu: lưu trữ dạng phân tán, song song … phổ biến Hadoop/MapReduce • Phân tích liệu: với liệu truyển thống, công ty lớn có giải pháp, ví dụ: Oracle có Oracle Warehousing, IBM có InfoSphere warehouse… • Đưa định: dựa vào thơng tin phân tích đưa định giải pháp kinh doanh kịp thời 15 CHƯƠNG III ỨNG DỤNG CỦA BIG DATA 3.1Bức tranh tổng thể ứng dụng Big data (dữ liệu lớn) Từ xuất hiện, sức ảnh hưởng Big data lớn ngày môt tăng lên Big data ứng dụng nhiều lĩnh vực như: hoạt động trị, giao thơng, y tế, thể thao, tài chính, thương mại, thống kê,… số lĩnh vực tiêu biểu sử dụng Big data để phát triển: 3.1.1 Ứng dụng Big data hoạt động trị Hình cho thấy tổng thống Mỹ Obama sử dụng liệu lớn để phục vụ cho tranh cử Tổng thống Ơng xây dựng đội ngũ nhân viên chuyên thu thập thơng tin phân tích liệu thu dược dự án triển khai liệu lớn Đội ngũ nhân viên thu thập tất thông tin người dân vực, sau phân tích số thông tin quan trọng người dân Mỹ như: thích đọc sách gì, thích mua loại thuốc gì, thích sử dụng Phương tiện gì,… Thậm trí cịn biết thơng tin người bỏ phiếu tìn nhiệm lần bầu cử trước Trên sở thông tin này, Obama đưa kế hoạch vận động phù hợp, giúp ông tái đắc cử Tổng thống lần Mỹ Ngoài số ứng dụng khác lĩnh vực trị mà liệ lớn áp dụng như: Hệ thống phủ điện tử, phân tích quy định việc tuân thủ quy định, phân tích giám sát theo dõi phát gian lận, mối đe dọa an ninh mạng 16 Hình III.9: Tổng thống Obama sử dụng Big data hoạt động tranh cử 3.1.2 Ứng dụng liệu lớn giao thông Sử dụng số liệu CDR khứ để ước lượng dòng giao thông thành phố vào cao điểm, từ có kế phân luồn giao thơng chi tiết, hợp lý giúp giảm thiểu kẹt xe Ngoai cịn đưa thơng tin cho người tham gia giao thông biết muốn từ nơi đến nơi khác nên vào để tránh kẹt xe, đường ngắn nhất,… cịn giúp phân tích định vị người dùng thiết bị di động, ghi nhận chi tiết gọi thời gian thực, giảm thiểu tình trạng ùn tắc giao thơng 17 Hình III.10: Sử dụng số liệu CRD quản lý giao thông 3.1.3 Ứng dụng Big data y tế Trong y học bác sĩ dựa bào số liệu bệnh án để đưa dự đoán nguy mắc bệnh Đồng thời đưa xu hướng lây lan bệnh Ví dụ, ứng dụng Google Flu Trend ứng dụng thành công Google, ứng dung dựa từ khóa tìm kiếm vực đó, sau máy phân tích Google phân tích đối chiếu kết tìm kếm đó, sau đưa dự báo xu hướng dịch cúm khu vực Qua cho biết tính hình cúm vưc diến để đưa vào giải pháp phòng tránh Những kết mà Google Flu Trend đưa hoàn toàn phù hợp với báo cáo tổ chức y tế giới WHO tình hình bệnh cúm khu vực 18 Hình III.11: Dựa vào Big data để tìm giải pháp chống bệnh ý tế 3.1.4 Ứng dụng Big data thể thao Hầu hết môn thể thao đại áp dụng phân tích liệu lớn Chúng ta có cơng cụ Slam Tracker IBM dành cho giải đấu quần vợt Chúng ta sử dụng phân tích video để theo dõi hiệu suất càu thủ bóng đá bóng chày, cơng nghệ cảm biến thiết bị thể thao bóng rổ hay câu lạc golf cho phép có thơng tin phản hồi( thông qua điện thoại thông minh máy chủ điện toán đám mây) hiệu suất thi đấu làm để cải thiện Nhiều đội thể thao có tiếng cịn theo dõi vận động viên bên ngồi mơi trường thể thao, sử dụng công nghệ thông minh để theo dõi chế độ dinh dưỡng giấc ngủ, hội thoại truyền thông xã hội để nhận biết tâm tư, tình cảm 19 Hình III.12: Cơng nghệ Slam Tracker sử dụng thể thao quần vợt 3.1.5 Ứng dụng Big data tài Từ iệu xác kịp thời thi thập thơng qua giao dịch khách hàng, tiến hành phân tích, xếp hạng quản lí rủi ro đầu tư tài chính, tín dụng 3.1.6 Ứng dụng Big data thương mại Trong thương mại, Big data giúp ích nhiều cơng việc như: phân khúc thị trường khách hàng, phân tích hành vi khác hàng cửa hàng, tiếp thị tảng định vị, phân tích tiếp thị tréo kênh, tiếp thị đa kênh, quản lý chiến dịch tiếp thị khách hàng thân thiết, so sánh giá, phân tích quản lý chuỗi cung ứng, phân tích hành vi, thói quen người tiêu dùng,… 3.1.7 Ứng dụng Big data thống kê Một nghiên cứu thu thập thông tin qua Phương tiện truyền thống Hà Lan thống kê nội dung tin nhắn người dân Hà Lan, có đến 50% số tin nhắn vơ nghĩa Số liệu cho thấy kinh phí chi khơng 20 đem lại lợi ích cho người dân xã hội Hà Lan, phủ cần phải có điều chỉnh hoạt động 3.2Thách thức áp dụng Big data 3.2.1 Tài Nhiều đơn vị thường không đo lường trước vấn đề phát trinh trình triển khai thực hiện, thường khơng dự đốn khoản phát sinh trình làm việc với Big data, nên dẫn đến xảy thường không giải khiến dự án khơng triển khai thành cơng Vì để triển khai thành công điều đơn vị phải có tiềm lực tài vững Ví dụ IBM tập đồn cơng nghệ mỹ có tiềm lực tài vững xây dựng thành công hệ thống liệu Big data Hay website bán hàng thương mại điện tử Amazon với tiềm lực tài vững xây dụng thành công hệ thống liệu Big data 3.2.1 Chính sách, quy định luật pháp truy nhập sử dụng liệu Việc sử dụng khai thác Big data phụ thuộc vào luật quy định quốc gia Ví dụ: Canada người dùng tiếp cận liệu từ hai tổ chức phủ phi phủ, nước khác Ireland phải cho phép từ quan phủ Điều dẫn đến hạn chế truy cập vào số loại liệu lớn Đây thách thức cản trở triển khai xây dựng phát triển Big data 3.2.2 Trình độ khai thác quản lí liệu Luật pháp quy định sử dụng khai thác quốc gia khác nên cách quản lý khác Tuy nhiên, vấn đề liên quan đến quản lý thông tin nguồn nhân lực Khoa học liệ lớn phát triển mạng tổ chức tư nhân, phận chưa liên kết với tổ chức phủ cách chặt chẽ dẫn đến việc quản lý nhiều vướng mắc Đây nguyên nhân gây cản trở việc triển khai xây dựng khai thác Big data 21 3.2.3 Hạ tầng công nghệ thông tin Thu thập liệu thời gian thực gần với giới hạn thực thực tế Tiềm liệu mở hội để kết hợp liệu hành vận tốc truy cập liệu cao đến từ nguồn khác nhau, chẳng hạn như: • Thương mại liệu (các giao dịch thẻ tín dụng, giao dịch trực tuyến, bán hàng,…) • Theo dõi thiết bị (điện thoại di động, GPS, camera giám sát, ứng dụng,…) cảm biến vật lý (giao thơng khí tượng, nhiễm mơi trường, lượng,…) • Truyền thơng xã hội (twitter, facebook,…) cơng cụ tìm kiếm (tìm kiếm trực tuyến, trang xem trực tuyến,…) • Hồ sơ hành Từ đây, trước sử dụng Big data doanh nghiệm, tổ chức cần đặt thách thức cần giải trước tính đến việc khai thác sử dụng Big data để phát triển doanh nghiệp, tránh việc việc khai thác, sử dụng Big data khơng đạt hiệu mà cịn gây tổn thất nhiều mặt cho công ty tổ chức 22 CHƯƠNG IV TỔNG KẾT Trong báo cáo đưa thông tin Big data, lợi ích mà Big data mang lại cho người Bên cạnh thách thức triển khai áp dụng khai thác Big data Điểu quan trọng báo cáo đưa ưu điểm Big data cung cấp thơng tin để xử lý tình nhanh nhất, xác giá trị Big data mang lại ln có tính định hướng đến tương lai Tuy vậy, báo cáo dừng chỗ tìm hiểu thơng tin Big data, chưa thực sâu vào chi tiết ứng dụng chuyên sâu lớn mạnh Big data TÀI LIỆU THAM KHẢO • https://tinhte.vn/threads/ big-data-la-gi-va-nguoi-ta-khai-thac-ung-dung-no-vaocuoc-song-nhu-the-nao.2210939/ • Big Data| Tiendv’s Blog • Predictions for the $203 billion Big data analytics market • Big data 2020: the future, growth and challenges of the big data industry 23 ... NGHIÊN CỨU BIG DATA, KHÁI NIỆM, ĐẶC TRƯNG VÀ SỰ KHÁC BIỆT CỦA BIG DATA VỚI DỮ LIỆU TRUYỀN THỐNG 1.1Sự cần thiết nghiên cứu Big data 1.1.1 Sự hình thành big data nguồn khai thác quản lý big data Từ... thể Big data Hồn tồn khơng thể đưa giải pháp tối ưu cho giải pháp Big data nào, nhiên với giải pháp dựa khối xây dựng triến trúc Big data Hình II.7: Cấu trúc tổng thể Big data Cấu trúc Big data. .. trữ, tìm kiếm, chia sẻ theo cách khác so với bình thường 1.3Đặc trưng 5V big data Hiện nay, để mơ hình hóa Big data tồn cầu người ta vào tiêu chuẩn 5V Big data, năm tính chất quan trọng Big data