BIG DATA – dữ liệu lớn
Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính NHẬP MÔN ĐIỆN TOÁN Bài tập lớn BIG DATA – DỮ LIỆU LỚN Giáo viên giảng dạy: GV Trần Ngọc Thịnh Nhóm: 101 Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính BIG DATA DỮ LIỆU LỚN 2|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính MỤC LỤC 3|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính ĐỊNH NGHĨA - - I Dữ liệu lớn (Big data) định nghĩa khái quát thu thập, quản lý phân tích liệu, việc vượt xa liệu cấu trúc tiêu biểu (typical), truy vấn với hệ thống quản lý liệu quan hệ — thường với tệp phi cấu trúc (unstructured files), video kỹ thuật số, hình ảnh, liệu cảm biến, tệp lưu nhật ký, thực liệu hồ sơ với phạm vi tìm kiếm khác Trong số ý nghĩa, liệu phi cấu trúc liệu thú vị, khó tổng hợp vào BI (Business Intelligence) rút trích kết luận từ trừ tương quan với liệu có cấu trúc [1] Dữ liệu lớn (Big data) thuật ngữ dùng để để mô tả liệu có kích thước lớn, khả phát triển nhanh, khó thu thập, lưu trữ, quản lý phân tích với công cụ thống kê hay ứng dụng sở liệu truyền thống [2] LỊCH SỬ CỦA BIG DATA Câu chuyện Big Data nhiều năm trước, tin đồn gây nhiễu chưa tràn lan Bảy mươi năm qua kể từ lần cố gắng định lượng mức độ tăng trưởng khối lượng liệu, hay gọi tốc độ bùng nổ thông tin (thuật ngữ sử dụng lần năm 1941, theo The Oxford English Dictionary), liệt kê số cột mốc lịch sử quan trọng trình đánh giá kích thước liệu đổi ý tưởng xây dựng liệu lớn quan sát có liên quan sau: - Năm 1944, Fremont Rider – quản lý thư viện trường đại học Wesleyan, xuất The Scholar and the Future of the Research Libriary Ông ước tính thư viện trường đại học Mỹ phát triển gấp đôi vòng 16 năm 4|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính - Năm 1961, Derek Price xuất Science Since Babylon, ông biểu thị phát triển kiến thức khoa học dựa tăng trưởng số lượng tạp chí khoa học tài liệu Ông kết luận số lượng tạp chí phát triển theo cấp số nhân - Tháng 11 năm 1967, B.A Maron P.A.D de Maine công bố nghiên cứu “Automatic data compression” tờ Communications of the ACM, cho khái niệm “bùng nổ thông tin” ý năm gần khiến cho yêu cầu lưu trữ tất thông tin mức tối thiểu trở nên cần thiết hết Bài báo mô tả “chiếc máy nén ba phần” hoàn toàn tự động nhanh nhẹn, sử dụng với khối thông tin nhằm giảm đáng kể yêu cầu lưu trữ từ phía tăng tốc độ truyền tải thông tin máy tính - Tháng năm 1980, I.A Tjomsland tổ chức đối thoại với chủ đề “Từ Nay Chúng Ta Sẽ Đi Về Đâu?” hội nghị IEEE lần thứ tư hệ thống tập trung liệu - Năm 1981, văn phòng thống kê trung ương Hungary bắt đầu dự án nghiên cứu ngành công nghiệp thông tin đất nước, bao gồm việc đo lường khối lượng thông tin “bits”, ngày tiếp tục thực - Tháng năm 1986, Hal B Becker cho xuất “Liệu Người Sử Dụng Có Thể Thực Sự Hấp Thu Dữ Liệu Với Tốc Độ Hiện Nay? Còn Ngày Mai Thì Sao?” tờ Data Communications - Tháng năm 1990, Peter J Denning công bố tác phẩm “Saving All the Bits” tờ American Scientist Denning nói rằng: “Sự cấp thiết việc lưu tất bit đưa vào đến tình giải quyết: Tốc độ khối lượng dòng thông tin làm tắc nghẽn mạng lưới, thiết bị lưu trữ hệ thống phục hồi chúng ta, khả nhận thức người… Loại máy chế tạo để điều khiển luồng liệu nhạc cụ sàng lọc sở liệu ghi âm, cung cấp cho ta thống kê tóm tắt hữu? Tháng 10 năm 1997 Michael Cox David Ellsworth trình bày “Application-controlled demand paging for out-of-core visualization” chuỗi hoạt động Hội nghị IEEE lần thứ Mở đầu viết nêu lên “Bộ nhớ cung cấp thách thức thú vị cho hệ điều hành máy tính: liệu nói chung lớn, yêu cầu gay gắt lực nhớ chính, đĩa cục bộ, chí ổ đĩa tách biệt Chúng gọi vấn đề big data (dữ liệu lớn) Khi tập hợp liệu không phù hợp nhớ (trong lõi), chúng không phù hợp với đĩa cục bộ, giải pháp phổ biến giành lấy nhiều nguồn hơn.”Đây viết thư viện số ACM sử dụng thuật ngữ “Big Data” - - Tháng năm 1998 John R Masey, Giám đốc khoa học SGI, trình bày nghiên cứu “Big Data…and the Next Wave of Infrastress” họp USENIX 5|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính II - Tháng 11 năm 2000, Francis X Diebold trình bày với Đại hội Thế giới lần thứ VIII Hiệp hội kinh tế lượng tài liệu có tiêu đề “ Big Data Dynamic Factor Models for Macroeconomic Measurement and Forecasting“ Trong ông khẳng định rằng: “Gần đây, nhiều ngành khoa học, vật lý, sinh học, khoa học xã hội, vốn buộc phải đương đầu với khó khăn – thu lợi từ tượng Big Data gặt hái nhiều thành công Big Data bùng nổ số lượng (và đôi khi, chất lượng), khả liên kết độ có sẵn liệu, chủ yếu kết tiến gần chưa có việc ghi lại liệu công nghệ lưu trữ ” - Tháng năm 2007 John F Gantz, David Reinsel nhà nghiên cứu khác IDC đưa thông cáo báo với tựa đề “The Expanding Digital Universe: A Forecast of Worldwide Information Growth through 2010” Đây nghiên cứu ước tính dự báo số lượng liệu kỹ thuật số tạo nhân rộng năm - Tháng năm 2008, A special issue of Nature on Big Data nghiên cứu ý nghĩa liệu lớn khoa học đại - Tháng năm 2010, Kenneth Cukier đăng tờ The Economist a Special Report viết có tựa đề “Data, data everywhere” Cukier viết: “… giới chứa số lượng thông tin số lớn đến mức không tưởng, ngày nhân rộng với tốc độ nhanh hết… Hiệu thể khắp nơi, từ kinh doanh đến khoa học, từ phủ cho nghệ thuật Các nhà khoa học kỹ sư máy tính đặt thuật ngữ cho tượng này: Big Data” - Tháng năm 2012, Danah Boyd Kate Crawford đưa luận điểm họ “Critical Question for Big Data” tờ Information, Communications and Society Họ định nghĩa Big Data “một tượng văn hóa, công nghệ học thuật dựa tương tác của: (1) Công nghệ tối đa hóa sức mạnh tính toán độ xác thuật toán để thu thập, phân tích, liên kết, so sánh tập liệu lớn (2) Phân tích: tạo liệu lớn để xác định mô hình để làm cho tuyên bố kinh tế, xã hội, kỹ thuật pháp lý (3) Thần thoại: Niềm tin phổ biến liệu lớn cung cấp hình thức cao trí thông minh kiến thức tạo mà hiểu biết mà trước không thể, với hào quang thật, khách quan, xác.” [3] CÁC ĐẶC TRƯNG CỦA BIG DATA Có đặc trưng Big Data sau: [4] Volume: tăng trưởng mặt khối lượng Dữ liệu hệ thống thông tin luôn không ngừng tăng lên mặt kích thước (khối lượng) Chúng ta tìm thấy liệu định dạng video, music, image lớn kênh truyền 6|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính thông xã hội Khối lượng liệu hệ thống thông tin lên đến hàng Terabyte Petabyte Velocity: tăng trưởng mặt tốc độ Bên cạnh tăng trưởng khối lượng, tốc độtăng trưởng liệu tăng lên cách chóng mặt Một ví dụ đơn giản mạng xã hội thông báo cách vài giây (tweet, status,….) cũ không người dùng quan tâm Người dùng thường loại bỏ tin nhắn cũ ý đến cập nhật gần Sự chuyển động liệu thực tế (real time) tốc độ cập nhật thông tin giảm xuống đơn vị hàng mili giây Variety: tăng lên tính đa dạng liệu Dữ liệu không dạng có cấu trúc, mà bao gồm nhiều kiểu liệu phi cấu trúc video, hình ảnh, liệu cảm biến, file log Dữ liệu doanh nghiệp hay hệ thống thông tin ngày không đơn giản có một vài loại liệu nữa, mà tính đa dạng ngày tăng lên làm cho tính phức tạp liệu ngày phức tạp Veracity: tính xác thực liệu Với xu hướng Social ngày gia tăng mạnh mẽ tính tương tác chia sẻ người dùng Mobile làm cho tranh xác định độ tin cậy & xác liệu ngày khó khăn Bài toán phân tích loại bỏ liệu thiếu xác nhiễu tính chất quan trọng Big Data Hình 1: Bốn chữ V - Đặc trưng Big Data 7|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính III KHÍA CẠNH KỸ THUẬT CỦA BIG DATA Luồng liệu Big Data [5] Hệ thống Big data thường lớn phức tạp, cung cấp chức để xử lý Big Data từ lúc hình thành đến lúc kết thúc Thường luồng liệu Big Data phân làm giai đoạn: Nguồn tạo liệu, Thu thập liệu, Lưu trữ liệu Phân tích liệu Hình bên mô tả công nghệ liên quan đến giai đoạn luồng liệu: Hình 2: Bản đồ công nghệ Big data theo luồn liệu Nguồn tạo liệu: Do phát triển vượt bậc công nghệ đại nên nguồn tạo liệu ngày phát triển mạnh mẽ Thật vậy, IBM ước tính 90% liệu giới ngày tạo năm qua Nguyên nhân bùng nổ liệu có nhiều tranh cãi Theo bùng nổ liệu có liên hệ mật thiết đến phát triển công nghệ thông tin, chia làm giai đoạn sau: • Giai đoạn 1: năm 1990 Khi công nghệ số hệ thống sở liệu áp dụng rộng rãi, nhiều tổ chức sử dụng chúng để lưu trữ liệu lớn họ giao dịch lãnh vực ngân hàng 8|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính hay trung tâm tài chính, tài liệu phủ… Đây liệu có cấu trúc phân tích thông qua hệ thống CSDL quan hệ • Giai đoạn 2: giai đoạn bắt đầu bùng nổ Internet Vào năm cuối thập niên 90, hệ thống Web 1.0, đặc trưng công cụ tìm kiếm thương mại điện tử, tạo lượng lớn liệu bán cấu trúc và/hoặc không cấu trúc, bao gồm trang web lịch sử giao dịch Kể từ năm 2000, nhiều ứng dụng Web 2.0 tạo lượng liệu phong phú liệu người dùng đóng góp từ diễn đàn, nhóm, blog, trang web, mạng xã hội Giai đoạn 3: kích thích thiết bị di động điện thoại thông minh, máy tính bảng, cảm biến thiết bị hỗ trợ Internet dựa cảm biến Với cách phân loại này, thấy mô hình tạo liệu phát triển cách nhanh chóng, từ lưu trữ thụ động giai đoạn đến tạo liệu tích cực giai đoạn tạo liệu tự động giai đoạn Ba loại liệu nguồn liệu Big Data, liệu tự động đóng góp nhiều tương lai gần Thu thập liệu: - Thu nhận liệu - Truyền liệu - Tiền xử lý liệu Lưu trữ liệu: - Hệ thống tập tin - Cơ sở liệu - Những mô hình lập trình Phân tích liệu: - Những phương pháp phân tích chung - Dữ liệu trực quan (Data Visualization) - Phân tích thống kê - Khai phá liệu - Những phương pháp phân tích Big Data - Phân tích cấu trúc liệu - Phân tích văn - Phân tích Web - Phân tích đa phương tiện - Phân tích mạng - Phân tích di động • Nền tảng Hadoop [6] Hadoop tạo vào năm 2005 Doug Cutting Mike Cafarella để giải vấn đề Big Data Hadoop framework mã nguồn mở hỗ trợ lưu 9|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính trữ xử lý Big Data với cấu trúc khác (kể không cấu trúc) máy chủ bình thường Hadoop có nhiều lợi so với framework khác: • Khả mở rộng: cho phép thay đổi số lượng phần cứng mà không cần thay đổi định dạng liệu hay khởi động lại hệ thống • Hiệu chi phí: hỗ trợ lưu trữ xử lý song song máy chủ bình thường • Linh hoạt: hỗ trợ loại liệu từ nguồn Chịu lỗi: thiếu liệu phân tích thất bại tượng thường gặp • phân tích tích Big Data Hadoop phục hồi phát nguyên nhân thất bại tắc nghẽn mạng Hadoop gồm nhiều module kết hợp với hỗ trợ tất giai đoạn luồng Big Data từ giai đoạn thu thập đến phân tích quản lý liệu Giai đoạn Thu thập liệu Module Mô tả Flume Thu thập, tập hợp chuyển lượng lớn liệu từ nguồn khác trung tâm lưu trữ Sqoop Cho phép dễ dàng nhập xuất liệu Hadoop kho liệu có cấu trúc HDFS Hệ thống file phân phối chạy máy chủ bình thường, dựa thiết kế GFS Gồm NameNode để quản lý file metadata nhiều DataNode để lưu trữ liệu thực tế Một file chia làm nhiều khối khối lưu DataNode Hbase CSDL hướng cột dựa Bigtable Google Lưu trữ liệu Tính toán Phân tích liệu MapReduce Là cốt lõi tính toán để phân tích Big Data MapReduce framework gồm master slave node Master có trách nhiệm lập kế hoạch cho slave, theo dõi thực lại nhiệm vụ thất bại Các slave thực nhiệm vụ theo dẫn của master Gồm chức chính: map reduce Pig Latin Hive Mahout Ngôn ngữ cho xử lý liệu Tổng hợp liệu truy vấn adhoc Thư viện khai phá liệu máy học, gồm nhóm: lọc tập hợp, gom cụm, phân loại, khai phá mô hình 10 | P a g e Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính theo hướng song song Quản lý IV Zokeeper Là trung tâm dịch vụ cho việc bảo trì cấu hình, đặt tên, đồng phân phối cung cấp dịch vụ theo nhóm Chukwa Chịu trách nhiệm theo dõi tình trạng hệ thống hiển thị, giám sát phân tích liệu thu thập ỨNG DỤNG CỦA BIG DATA Big Data ứng dụng có liên quan ngày sử dụng rộng rãi tổ chức, lĩnh vực khác nhau, nhằm giảm thiểu rủi ro, hỗ trợ tổ chức việc quản lý hoạt động ngày định - Các quan phủ tìm cách phân tích liệu nhằm tìm cách thức thu thuế cách khéo léo, dự đoán tỷ lệ thất nghiệp, xu hướng nghề nghiệp tương lai - Các doanh nghiệp lĩnh vực y tế chủ động việc quản lý theo dõi sức khỏe khách hàng, thiết kế gói sản phẩm hợp lý nhằm giảm chi phí chăm sóc sức khỏe - Ngành khách sạn du lịch sử dụng liệu từ nhiều nguồn mạng xã hội tạo gói kỳ nghỉ cá nhân cho khách hàng - Các doanh nghiệp phân tích liệu nhằm tìm hiểu hành vi khách hàng tư vấn cho họ danh mục sản phẩm, thời gian địa điểm mua có sách giá hấp dẫn Hình sau cho hình dung rõ ứng dụng Big Data số lĩnh vực phổ biến: 11 | P a g e Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính Hình 3: Ứng dụng Big Data số lĩnh vực [8] 12 | P a g e Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính V TƯƠNG LAI VÀ THÁCH THỨC CỦA BIG DATA Thách thức - Truyền liệu lớn thường phải gánh chịu chi phí cao việc truyền liệu lớn lại việc thiếu ứng dụng Big Data - Dữ liệu ngày tăng ngày nhanh, lượng liệu ứng dụng Big Data phải xử lý ngày lớn, việc yêu cầu phát triển phần mềm phần cứng - Mặc dù Hadoop trở thành trụ cột tảng phân tích Big Data chưa phải tối ưu nhất, cần công cụ mạnh Vấn đề thông tin riêng tư, công ty, phủ, tổ chức cẩn thận thu thập, phân tích sử dụng liệu lớn, giá trị cộng đồng rõ ràng Nhưng, khả phân tích thông tin bị lạm dụng, thông tin sử dụng cho mục đích xấu vấn đề Tương lai - Theo chuyên gia, Big Data mang lại bốn lợi ích: cắt giảm chi phí, giảm thời gian, tăng thời gian phát triển, tối ưu hóa sản phẩm hỗ trợ người đưa định hợp lý Ngày nay, liệu tiền bạc doanh nghiệp Lấy ví dụ, thông tin thói quen, sở thích khách hàng có từ lượng liệu khổng lồ doanh nghiệp thu thập lúc khách hàng ghé thăm tương tác với trang web Chỉ cần doanh nghiệp biết khai thác hiệu quả, Big Data không giúp tăng lợi nhuận cho họ mà giúp tiết kiệm thời gian cho khách hàng mua sắm Nhờ Big Data, năm 2013, Amazon đạt doanh thu tới 74 tỷ USD, IBM đạt 16 tỷ USD Big Data nhu cầu tăng trưởng lớn từ năm 2010, Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP Dell chi 15 tỷ USD cho công ty chuyên quản lý phân tích liệu Với tiềm ưu việt, Big Data không ứng dụng kinh doanh mà có khả tác động đến hầu hết ngành nghề khác Chính phủ nước ứng dụng Big Data để dự đoán tỷ lệ thất nghiệp, xu hướng nghề nghiệp tương lai để đầu tư cho hạng mục phù hợp cắt giảm chi tiêu, kích thích tăng trưởng kinh tế, chí dự đoán phát triển mầm bệnh khoanh vùng lây lan bệnh dịch Nói cách khác, Big Data công cụ thúc đẩy phát triển kinh tế - xã hội tương lai Theo ước tính Gartner, công ty nghiên cứu tư vấn công nghệ hàng đầu Mỹ, tới năm 2015 Big Data tạo thêm 4,4 triệu việc làm 13 | P a g e Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính ngành IT toàn cầu năm (2012-2017), giới đầu tư 232 tỷ USD cho Big Data Với 30 triệu người dùng Internet 15 triệu người dùng Internet điện thoại di động, Việt Nam đích ngắm nhiều nhà cung cấp giải pháp Big Data Microsoft, IBM, Oracle… Big Data công nghệ phân tích có khả làm thay đổi hoàn toàn mặt ngành kinh tế nghề nghiệp Vì vậy, mô hình kinh doanh dựa Big Data hình thành để giúp tổ chức, doanh nghiệp tận dụng liệu “Đây xu tất yếu tương lai không xa với doanh nghiệp Việt Nam", ông Tan Jee Toon, Tổng Giám đốc IBM Việt Nam dự đoán [9] VI KẾT LUẬN Big Data đóng vai trò quan trọng việc mang lại giá trị to lớn, không cho tổ chức doanh nghiệp mà cho kinh tế quốc gia cho công dân kinh tế Thông tin thu thập ngày minh bạch, chi tiết, xác, giúp nhà lãnh đạo định hợp lý hơn, giảm thiểu rủi ro xảy ra, giúp cho cá nhân trải nghiệm dịch vụ mà tổ chức phủ mang lại cách tốt Big Data đặt thách thức cho tổ chức, doanh nghiệp thời đại số Một làm chủ liệu lớn họ có hội thành công lớn bối cảnh cạnh tranh ngày nay, giới hưởng lợi từ việc trích xuất thông tin cách xác hơn, hữu ích với chi phí thấp Tuy nhiên, lĩnh vực mới, đặt nhiều vấn đề thách thức mà tổ chức nhà nghiên cứu cần giải 14 | P a g e Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính I TÀI LIỆU THAM KHẢO [1] http://www.ibm.com/developerworks/vn/library/data/2013Q3/bd-bigdatacloud/ [2] Manyika, J., et al., Big data: The next frontier for innovation, competition, and productivity 2011 [3] Lược sử Big DATA, Available from http://marketsharings.com/luoc-su-cua-big-data/ [4] Nguyễn Thanh Hải, Bắt đầu với Big Data - Phần 1, Available from http://blog.asilla.net/bigdata/bat_dau_voi_big_data _phan_1.html [4] Tuan, D.Q Facebook xử lí 500 TB liệu ngày 23/08/2012 Available from: http://www.thongtincongnghe.com/article/37841 [5] [6] Lê Thị Quỳnh Nga, Nguyễn Mạnh Tuấn ( Khoa Hệ Thống Thông Tin Kinh Doanh – ĐH Kinh Tế TP HCM), BIG DATA: BỨC TRANH TOÀN CẢNH - TẬP SAN TIN HỌC QUẢN LÝ, Tập 03, Số 1&2, 2014, 53-73.) [7] [8] Các ứng dụng Big Data, Available from http://khonet.com/cac-ung-dung-cua-bigdata-1.html [9] Anh Thư, Kỷ nguyên Big Data, 10/08/2014, Available from http://www.baomoi.com/Kynguyen-cua-Big-Data/c/14531972.epi 15 | P a g e Nhóm 101: Big Data ... Luồng liệu Big Data [5] Hệ thống Big data thường lớn phức tạp, cung cấp chức để xử lý Big Data từ lúc hình thành đến lúc kết thúc Thường luồng liệu Big Data phân làm giai đoạn: Nguồn tạo liệu, Thu... phải gánh chịu chi phí cao việc truyền liệu lớn lại việc thiếu ứng dụng Big Data - Dữ liệu ngày tăng ngày nhanh, lượng liệu ứng dụng Big Data phải xử lý ngày lớn, việc yêu cầu phát triển phần mềm... & Kỹ Thuật Máy Tính BIG DATA DỮ LIỆU LỚN 2|Page Nhóm 101: Big Data Trường Đại Học Bách Khoa Tp Hồ Chí Minh Khoa Khoa Học & Kỹ Thuật Máy Tính MỤC LỤC 3|Page Nhóm 101: Big Data Trường Đại Học Bách