Bài viết này sẽ giúp chúng ta hiểu rõ khái niệm Big Data, những nguồn tạo ra Big Data, tầm quan trọng của nó vào các lĩnh vực đời sống, chương cuối sẽ phân tích một bài toán Big Data và tương lai rộng mở của nó
TRƯỜNG ĐẠI HỌC KHOA CÔNG NGHỆ THÔNG TIN -o0o - BÁO CÁO BÀI TẬP NHĨM ĐIỆN TỐN ĐÁM MÂY ĐỀ TÀI 12: TÌM HIỂU VỀ BIG DATA, ỨNG DỤNG TRÊN NỀN TẢNG ĐÁM MÂY NHÓM: LỚP: SINH VIÊN THỰC HIỆN HÀ NỘI Mục Lục LỜI MỞ ĐẦU CHƯƠNG I: LÝ THUYẾT CHUNG .4 Điện toán đám mây là gì? Lợi ích của điện tốn đám mây? Kể tên nhà cung cấp dịch vụ Cloud Computing phổ biến nay? Công nghệ ảo hoá là gì? .5 Những loại cơng nghệ ảo hóa của VMWare 5 Phân biệt ảo hóa VMware Workstation và vCenter Những loại cơng nghệ ảo hóa của Microsoft (EC2) .6 Những loại cơng nghệ ảo hóa của Oracle (Vitualbox) Những loại công nghệ ảo hóa của Amazon (AWS) 9 Những Cơng nghệ ảo hóa điện tốn đám mây? 10 10 Trình bày mô hình dịch vụ điện tốn đám mây: .11 11 Trình bày mơ hình triển khai điện toán đám mây: 14 12 Những rủi ro an toàn bảo mật ĐTĐM (tóm lược) 16 13 Bigdata là gì, ứng dụng của Bigdata (tóm lược) 18 14 IoT là gì, ứng dụng của IoT điện tốn đám mây (tóm lược) 19 15 Trình bày kiến trúc lưu trữ đám mây Hadoop- HDFS (tóm lược) 21 CHƯƠNG II: NỘI DUNG ĐỀ TÀI 23 A TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 23 1.1 Điện toán đám mây 23 1.2 Đặc trưng của điện toán đám mây 23 1.3 Ưu điểm và nhược điểm 24 1.2.1 Ưu điểm 24 1.2.2 Nhược điểm 24 1.4 Ứng dụng phổ biến của cơng nghệ điện tốn đám mây 25 B Ứng Dụng Của Big Data Trên Nền Tảng Đám Mây 25 Big Data là gì, ưu điểm và nhược điểm 25 Tối ưu hóa lưu trữ đám mây 26 An toàn liệu kho Big Data 31 Cơ sở hạ tầng mạng để xử lý Big Data .34 Đồng hóa liệu Big Data đảm bảo dộ sác dũ liệu lớn 35 Công nghệ lưu trữ Đàn hồi (Elastic storage) của IBM 36 CHƯƠNG III: CÀI ĐẶT/MÔ PHỎNG ĐỀ TÀI BÁO CÁO 39 TÀI LIỆU THAM KHẢO 40 LỜI MỞ ĐẦU Chúng ta sống thời đại mới, thời đại phát triển rực rỡ CNTT CNTT bước phát triển cao số hóa tất liệu thông tin, luân chuyển mạnh mẽ kết nối tất lại với Mọi loại thông tin, số liệu âm thanh, hình ảnh đưa dạng kỹ thuật số để máy tính lưu trữ, xử lý chuyển tiếp cho nhiều người Nhu cầu lưu trữ ngày tăng lên thêm vào phát triển mạnh lưu lượng ổ cứng Hằng ngày lượng thông tin lưu trữ tăng lên cách chóng mặt Theo tài liệu Intel vào tháng 9/2013, giới tạo petabyte liệu 11 giây tương đương với đoạn video HD dài 13 năm Vấn đề đặt với khối lượng liệu lớn khai thác có thật cần thiết? Tháng năm 2015, Big Data vượt khỏi bảng xếp hạng công nghệ Cycle Hype Gartner tạo tiếng vang lớn cho xu hướng công nghệ giới Bài viết giúp hiểu rõ khái niệm Big Data, nguồn tạo Big Data, tầm quan trọng vào lĩnh vực đời sống, chương cuối phân tích tốn Big Data tương lai rộng mở CHƯƠNG I: LÝ THUYẾT CHUNG Điện toán đám mây là gì? Lợi ích của điện toán đám mây? Khái niệm: Điện toán đám mây việc phân phối tài nguyên CNTT theo nhu cầu qua Internet với sách tốn theo mức sử dụng Thay mua, sở hữu bảo trì trung tâm liệu máy chủ vật lý, bạn tiếp cận dịch vụ cơng nghệ, lượng điện tốn, lưu trữ sở liệu, cần thiết, từ nhà cung cấp dịch vụ đám mây Amazon Web Services (AWS) Lợi ích điện tốn đám mây: - Nhanh chóng Đám mây cho phép bạn dễ dàng tiếp cận nhiều cơng nghệ để bạn đổi nhanh phát triển gần thứ mà bạn tưởng tượng Bạn nhanh chóng thu thập tài nguyên cần–từ dịch vụ sở hạ tầng, điện toán, lưu trữ, sở liệu, đến Internet of Things, machine learning, kho liệu phân tích, v.v Bạn triển khai dịch vụ cơng nghệ cách nhanh chóng tiến hành từ khâu ý tưởng đến khâu hoàn thiện nhanh vài cấp bậc cường độ so với trước Điều cho phép bạn tự thử nghiệm, kiểm thử ý tưởng để phân biệt trải nghiệm khách hàng chuyển đổi doanh nghiệp bạn - Quy mơ linh hoạt Với điện tốn đám mây, bạn cung cấp tài nguyên mức để xử lý hoạt động kinh doanh mức cao tương lai Thay vào đó, bạn cung cấp lượng tài nguyên mà bạn thực cần Bạn tăng giảm quy mơ tài nguyên để tăng giảm dung lượng nhu cầu kinh doanh bạn thay đổi - Tiết kiệm chi phí Nền tảng đám mây cho phép bạn thay chi phí vốn (trung tâm liệu, máy chủ vật lý, v.v.) chi phí biến đổi trả cho tài nguyên CNTT mà bạn sử dụng Bên cạnh đó, chi phí biến đổi thấp nhiều so với chi phí bạn tự trang trải tính kinh tế theo quy mơ - Triển khai tồn cầu vài phút Với đám mây, bạn mở rộng sang khu vực địa lý triển khai tồn cầu vài phút Ví dụ: AWS có sở hạ tầng tồn giới, vậy, bạn triển khai ứng dụng nhiều địa điểm thực tế vài cú nhấp chuột Đặt ứng dụng gần với người dùng cuối giúp giảm độ trễ cải thiện trải nghiệm họ Kể tên nhà cung cấp dịch vụ Cloud Computing phổ biến nay? - Có dịch vụ điện toán đám mây hàng đầu + Microsoft (Hay gọi Microsoft Azure) + Google Cloud Platform (Hay gọi GCP) + VMware Cloud + Oracle + Amazon Web Service (Hay gọi AWS) + FPT Smart Cơng nghệ ảo hố là gì? Cơng nghệ ảo hóa cơng nghệ đời nhằm khai thác triệt để khả làm việc máy chủ vật lý Ảo hóa cho phép vận hành nhiều máy ảo máy chủ vật lý, dùng chung tài nguyên máy chủ vật lý CPU, Ram, ổ cứng,… tài nguyên khác Những loại công nghệ ảo hóa của VMWare Có loại Vmware là: Vmware Work Station, Vmware Server Vmware Vsphere - Vmware work station và vmware server dùng cho desktop, chương trình ứng dụng chạy hệ điều hành window linux giúp cho tạo máy ảo cách dễ dàng nhằm mục đích thử nghiệm PC hay tần dụng tối đa hiệu PC để làm nhiều việc khác - Vmware vsphere tảng giúp tạo hạ tầng điện tốn đám mây, gồm có ảo hóa hay sử dụng cho doanh nghiệp, khác với vmware work station, vmware server vmware vsphere khơng sử dụng máy tính cá nhân mà dụng để cài đặt trực tiếp máy server (máy chủ) 5 Phân biệt ảo hóa VMware Workstation và vCenter - Vmware vCenter Server ứng dụng sở liệu cho phép triển khai, quản lý, giám sát, tự động hoá, bảo mật cho sở hạ tầng ảo cách dễ dàng - Ưu điểm: Hỗ trợ tất hệ thống truyền dẫn vCenter tính như: DRS, SDRS, HA, Host profiles, dvSwitch… Khơng cần mua cửa sổ cấp phép Đơn giản triển khai nhanh chóng - Nhược điểm: SQL bên ngồi sở liệu khơng hỗ trợ tích hợp sẵn sở liệu Posgres Chế độ liên kết chức vCenter Server không hoạt động Heartbeat tính vCenter Server khơng hoạt động Single-sing on is not used on windows information vSphere Storage Appliance (VSA) khơng tương thích - VMware Workstation chương trình cho phép bạn chạy máy ảo máy tính vật lý Máy ảo chạy độc lập Máy ảo môi trường lý tưởng để bạn chạy thử hệ điều hành Linux, truy cập trang web có độ tin cậy thấp, tạo mơi trường điện tốn đặc biệt cho trẻ em, kiểm tra ảnh hưởng virus máy tính Bạn chí in plug in USB drive - Ưu điểm: Đơn giản Dễ sử dụng Viết tập tin HTML Help Great Hardware Compatibility - Nhược điểm: Yêu cầu hệ thống cao Những loại cơng nghệ ảo hóa của Microsoft (EC2) Microsoft phân nhánh đại diên cho công nghệ ảo hóa: + Server virtualization + Application virtualization + Desktop virtualization + Presentation virtualization + Profile virtualization a) Server virtualization Mục đích việc ảo hóa máy chủ tách rời mối liên hệ luồng công việc máy chủ từ máy chủ vật lý có khả phân thành nhiều luồng cơng việc đem đền hiệu đáng kể doanh nghiệp Ví dụ đơn cử trung bình với máy vật lý dùng làm DHCP sử dung hết 3/10 khả máy vật lý 7/10 lãng phí khơng hiệu Với ảo hóa máy chủ cho phép bạn cho phép dung hết 10/10 khả máy vật lý lúc máy vật lý kiêm nhiều nhiệm vụ nhu DNS, FTP… tăng cao tính hiệu Và Hyper-V Windows Server 2008 sử dụng tảng cơng nghệ hypervisor minh chứng hiệu đem lại cho khả chạy nhiều hệ điều hành máy khách thường gọi Partition (phân vùng) máy chủ đơn lẻ Khả phân luồng công việc máy chủ trờ thành thực Bên cạnh Hyper-V đem đến cải thiện đáng kể cho máy chủ nâng cao tính sẵn sàng cho hệ thống khả mở rộng hạ tầng, đơn giản hóa việc lưu phục hồi, giảm chi phí điều hành bạn.Hyper-V Microsoft sản phẩm kế thừa trước Microsoft Virtual Server tảng giải pháp ảo hóa Microsoft b) Application virtualization Ảo hóa ứng dụng dạng cơng nghệ ảo hóa khác cho phép tách rời mối liên kết ứng dụng hệ điều hành cho phép phần phối lại ứng dụng phù hôp nhu cầu user Bằng cách chạy ứng dụng cách tập trung thay cài đặt lên máy trạm, quản lý việc cập nhât phần mềm trở nên dễ dàng hơn, giải đụng độ ứng dụng việc thử nghiệm tương thích chúng trở nên dễ dàng Microsoft Application Virtualization (App-V) trước biết đến với tên Microsoft SoftGird Application Virtualization giải pháp ảo hóa ứng dụng cho doanh nghiệp ngày App-V phần Microsoft Desktop Optimization Pack (MDOP) Nó đẩy việc quản lý ứng dụng xưa từ tay sang tự động hóa, xử lý hợp lý Và ứng dụng thật chưa cài đặt máy trạm, từ giảm thiểu tác động không mong muốn ứng dụng máy trạm ứng dụng máy khách Điều có nghĩa cải thiện ổn định, độ tin cậy cao c) Desktop Virtualization Desktop Virtualization nhóm cơng nghệ mục tiêu tạo nên mội trường lập hồn tồn máy tính Việc triển khai cơng nghệ giúp hỗ trợ ứng dụng cũ chạy hệ điều hành giải vấn đề tương thích gây khó khăn muốn mâng cấp hệ thống Từ việc cho phép doanh nghiệp tiến đến hệ điều hành trở nên dễ dàng đạt đươc nhiều lợi ích từ tính Sự đột phá Microsoft vào Desktop Virtualazion Microsoft Virtual PC, sản phẩm phổ biến cho việc phát triển triển khai thử nghiệm Tuy nhiên bên cạnh Microsoft cho đời sản phẩm bất với giải pháp Desktop Virtualization Chúng Microsoft Enterprise Desktop Virtualization (MED-V), phần gói sản phẩm MDOP dành cho khách hàng doanh nghiệp, Microsoft có thâu tóm Kidaro thang 5/2008 sản phẩm tiếp thep Microsoft Virtual Desktop Infastructure (VDI) d) Prestentation virtualization Ảo hóa trình diễn địi hỏi tách rời việc xử lý việc lưu trữ data từ máy trạm Khóa giải pháp Terminal Services, cơng nghệ ảo hóa sẵn sàng moi phiên Windows Server 2008 Việc dùng Terminal Services đem đến cho khả chạy ứng dụng nơi dùng nơi khác Loại trừ trình cài đặt ứng dụng cách cục máy tính, từ cài đặt quan lý chúng cách tập trung phòng quản lý data center Terminal Services làm cho user cảm giác làm việc với ứng dụng local với thao tác hiển thị hình, thơng tin thao tác thật gởi đến server xử lý e) Profile virtualization Là nhà quản trị Windows Server khái niệm hồn tồn quen thuộc với tính thông dụng Windows Server: Folder Redirect, Roaming User Profile, Offline Files với đặc tính chung tách rời phần liệu thông tin người dùng hệ thống với máy trạm User profiles, cấu trúc hệ thống file (thư mục file) gồm có thông tin trạng thái cho người dùng máy tính Windows Một số thư mục file user profile thường bị ẩn để tránh cho người dùng nhầm lẫn với nội dung họ Từ microsoft sản sinh tính đặc trưng thơng dụng nêu trên: - Folder Redirection, kỹ thuật Windows, cho phép quản trị viên redirect (chuyển hướng) thư mục bên user profile đến thư mục chia sẻ mạng với mục đích người dùng lưu file mà họ làm việc file lưu vào mạng thay lưu vào máy tính sử lý chúng - Offline Files, kỹ thuật cho phép người dùng copy file cục chứa thư mục chia sẻ mạng, chí mạng khơng có sẵn - Roaming User Profiles, kỹ thuật cho phép bạn lưu user profile thư mục chia sẻ mạng Khi người dùng đăng nhập vào máy tính anh ta, profile download từ mạng load để hiển thị desktop Khi người dùng đăng xuất, profile upload trở lại mạng Những loại (Vitualbox) cơng nghệ ảo hóa của Oracle Dịch vụ Đám mây Ravello Oracle dịch vụ điện toán đám mây thị trường cho phép tích hợp vận hành VMware, công nghệ ảo hóa phần cứng (KVM) dành cho doanh nghiệp tảng điện tốn đám mây cơng cộng mà khơng yêu cầu thay đổi Với Dịch vụ Đám mây Ravello Oracle, khách hàng dễ dàng tận dụng VMware điện tốn đám mây cơng cộng mà không cần chuyển đổi máy ảo, tái thiết lập lại ứng dụng hay thay đổi mạng lưới sử dụng Đây dịch vụ có khả chuyển đổi linh hoạt mạng L2 L3 tảng điện tốn đám mây cơng cộng Dịch vụ Hộp Đám mây (Container Cloud) Oracle cung cấp giải pháp tương thích với tảng mở Docker, giúp doanh nghiệp triển khai hàng loạt ứng dụng với thao tác Với kho lưu trữ tích hợp, quản lý điều phối ứng dụng cấp doanh nghiệp, tính lên kế hoạch cho ứng dụng mở rộng quy mộ dịch vụ, Dịch vụ Hộp Đám mây Oracle lựa chọn hấp dẫn độc dành cho chuyên viên phát triển điện tốn đám mây Những loại cơng nghệ ảo hóa của Amazon (AWS) Amazon Machine Images (AWS AMI) cung cấp hai loại ảo hóa: Paravirtual (PV) Hardware Virtual Machine (HVM) HVM ảo hóa hồn tồn Có nghĩa máy ảo chạy trình giám sát chúng chúng chia sẻ thời gian xử lý với máy khách khác phần cứng Máy chủ lưu trữ phải có khả mơ phần cứng bên cho máy khách Loại ảo hóa cung cấp khả chạy hệ điều hành trực tiếp máy ảo mà không cần sửa đổi thể chạy phần cứng kim loại thơ Ưu điểm điều HVM sử dụng phần mở rộng phần cứng cung cấp khả truy cập nhanh vào phần cứng bên hệ thống chủ Paravirtualization dạng ảo hóa nhẹ Kỹ thuật nhanh cung cấp tốc độ gần ngun so với ảo hóa hồn toàn Với Paravirtualization, hệ điều hành khách yêu cầu số sửa đổi trước thứ hoạt động Những sửa đổi cho phép trình siêu giám sát xuất phiên sửa đổi phần cứng sang máy ảo, cho phép chúng có hiệu suất gần nguyên Tất máy PV chạy hypervisor hệ điều hành sửa đổi Solaris phân phối Linux khác Những Công nghệ ảo hóa điện tốn đám mây? Ảo hóa mạng Mạng ảo hóa bao gồm nhiều phần cứng, phần mềm thành phần mạng kết hợp Nó cho phép quản lý tất lưu trữ dạng tài nguyên Mạng ảo hóa có lợi đặc biệt trường hợp lưu lượng mạng biến đổi lớn nhanh chóng, khơng thể đốn trước 10 nhắn Gmail đến tài khoản Box bạn, hay hình ảnh Instagram lên Dropbox B.2 Gom dịch vụ đám mây vào mái nhà Tuy dịch vụ tiếng phổ biến so với số dịch vụ đám mây khác, Otixo có ưu điểm cho phép bạn dễ dàng từ truy cập vào Amazon S3, Box, Dropbox, SugarSync nhiều dịch vụ khác Bạn tìm kiếm nội dung mong muốn tất tài khoản bạn, xem trước chia sẻ tài liệu hay hình ảnh, chí di chuyển chép tập tin từ đám mây Otixo có chi phí khoảng 105.000 VND tháng 1.000.000 NND năm, cung cấp địa http:// otixo.com/ B.3 Gửi email đính kèm vào kho lưu trữ đám mây Thông thường, muốn thêm tập tin vào tài khoản điện tốn đám mây mình, bạn phải thực tải lên thơng qua trình duyệt, ứng dụng desktop, điện thoại di động Có cách thực khác qua hình thức email, ví dụ, Evernote SugarSync định địa email tùy chỉnh, nơi bạn gửi tập tin đính kèm lên chúng Send to Dropbox dịch vụ miễn phí cung cấp địa https://sendtodropbox.com/ có khả chuyển tiếp email đính kèm vào thư mục Dropbox tên bạn, Drv.io (hiện phiên beta địa http://drv.io/) cung cấp khả tương tự dành cho người dùng Google Drive B.4 Di chuyển tập tin từ dịch vụ đám mây khác Khi vượt khỏi ngưỡng không gian lưu trữ miễn phí Dropbox muốn di chuyển đến khơng gian rộng lớn SkyDrive giải pháp Mover http://mover.io/ lựa chọn cho bạn Mover ứng dụng miễn phí giúp bạn chuyển liệu từ dịch vụ lưu trữ sang dịch vụ lưu trữ khác, hỗ trợ Box, Dropbox, Google Drive, SugarSync, máy chủ FTP B.5 Để đám mây là điểm đến download mặc định Theo mặc định, hầu hết trình duyệt web gửi liệu tải vào thư mục Downloads máy tính, sau bạn phải quay lại tải lên tập tin đến dịch vụ điện toán đám mây Tuy nhiên, bạn thiết lập thay đổi điểm đến thư mục Downloads thư mục đồng với đám mây theo mặc định để 28 thiết lập đồng nội dung tải về, sau đó, dễ dàng tiến hành lưu chia sẻ nội dung tải B.6 Tự động đính kèm file từ đám mây vào email Có số ổ đĩa trực tuyến cho phép bạn gửi email đính kèm, yêu cầu thêm nhiều bước thực phức tạp, với Attachments.me [xem thêm LBVMVT số 474] địa http://attachments.me/, bạn cung cấp plug-in trình duyệt miễn phí cho Chrome Firefox để đính kèm tập tin từ Box, Dropbox, Google Drive hay SkyDrive nhanh chóng qua cú bấm chuột Bạn thiết lập quy tắc để đính kèm email tương lai từ kho đám mây, chuyển chúng đến dịch vụ cụ thể - ĐỒNG BỘ HĨA B.7 Đồng hóa thư mục khơng giới hạn máy tính Dịch vụ lưu trữ đám mây Cubby địa http://www.cubby.com/ hoạt động giống Dropbox có ưu điểm đáng ghi nhận, cho phép bạn đồng hóa thư mục khơng giới hạn máy tính bạn Bạn sử dụng tính để chia sẻ album ảnh với thành viên gia đình tài liệu với đồng nghiệp, lưu liệu quan trọng máy tính phụ Bạn cần thêm vào thư mục định muốn chia sẻ để tự động đồng hóa từ xa B.8 Đồng thư mục vào tài khoản SkyDrive SkyDrive Microsoft cung cấp GB không gian lưu trữ miễn phí, có nhược điểm có tập tin thư mục SkyDrive bạn đồng hóa với dịch vụ Tuy nhiên, phần mềm SkyShellEx cung cấp địa http://ssx.codeplex.com/releases/view/101941 giúp bạn dễ dàng đồng hóa thư mục vào tài khoản SkyDrive Thủ thuật địi hỏi di chuyển tập tin từ vị trí ban đầu đến vị trí bạn tùy chọn, cấu trúc thư mục giữ nguyên B.9 Đồng hóa thiết lập trình duyệt tất thiết bị 29 Bạn trải qua nhiều năm xây dựng thư viện trang bookmarks, chắn muốn giữ lại chúng thường xun Chrome Firefox tích hợp cơng cụ đồng bookmark giúp bảo tồn trang yêu thích trường hợp mát liệu đồng chúng với máy tính khác chạy trình duyệt Nếu bạn sử dụng Internet Explorer hay Safari, kiểm tra Xmarks http://www.xmarks com/, công cụ đồng miễn phí hoạt động theo cách, cho phép bạn truy cập vào trang đánh dấu trình duyệt web thiết bị - THÊM KHÔNG GIAN LƯU TRỮ B.10 Có thêm khơng gian lưu trữ Một tài khoản Dropbox miễn phí cung cấp GB dung lượng lưu trữ đám mây, SugarSync cung cấp cho bạn GB Tuy mức không cao, bạn ln sử dụng nhiều mà hai dịch vụ cho phép kiếm thêm không gian miễn phí Ví dụ, mời người khác tham gia SugarSync, bạn có thêm dung lượng 500 MB lưu trữ miễn phí, Dropbox có chế độ tương tự B.11 Tạo dịch vụ lưu trữ đám mây của riêng bạn Nếu sở hữu trang web, bạn có dư dung lượng lưu trữ trực tuyến, OwnCloud địa http:// owncloud.org/ giúp bạn biến thành Dropbox riêng cá nhân mình, đồng chia sẻ tập tin, lịch, ghi nhiều Bạn sử dụng với tên miền có chí máy Linux nhà văn phịng Tuy nhiên, q trình thiết lập đòi hỏi chút kiến thức kỹ thuật mà bạn tham khảo trang chủ dịch vụ B.12 Chia sẻ số không gian, nhận được số không gian Symform địa http://www.symform.com/ hoạt động với ý tưởng bạn phải bỏ số khơng gian lưu trữ đám mây để có 30 nhiều không gian lưu trữ đám mây Về bản, dịch vụ cung cấp cho bạn 10 GB khơng gian để bắt đầu, bạn kiếm nhiều cách đóng góp thêm số GB từ ổ đĩa cứng với mạng lưới phân phối Ví dụ, chia sẻ 100 GB dung lượng lưu trữ từ máy tính, bạn nhận 50 GB không gian lưu trữ từ Symform Tất nội dung lưu trữ bạn đảm bảo an tồn, mã hóa hồn tồn miễn phí NỘI DUNG B.13 Lưu nội dung trang web đám mây để đọc sau Bạn tìm thấy trang web hay khơng có thời gian đọc lúc đó, với cú bấm chuột, bạn lựa chọn bookmarklet để cất giữ trang xem sau Cả hai dịch vụ Instapaper http://www instapaper.com/, Pocket http://www.getpocket.com/ lưu trữ clip bạn để đọc đám mây miễn phí thiết bị di động B.14 Thưởng thức streaming thư viện nhạc Giải phóng thư viện âm nhạc bạn từ máy tính cách gửi đến đám mây, làm cho có sử dụng nơi bạn đến cách làm thực tiện dụng Một lựa chọn tốt Google Play, cho phép bạn tải lên đến 20.000 nhạc, bao gồm nhạc iTunes, thưởng thức streaming nội dung từ PC thiết bị khác Khách hàng Windows tự động đồng nhạc thêm cung cấp tùy chọn tải trường hợp cần khôi phục lại thư viện nhạc B.15 Xuất blog trang web Pancake.io (http://pancake.io/) dịch vụ cho phép bạn chuyển tập tin văn vào trang web, sau cập nhật chúng vào tài khoản Dropbox, làm việc máy chủ Dịch vụ Pancake.io hỗ trợ CSS, file Markdown, PDF, GIF loại tập tin phổ biến khác B.16 Sao lưu blog trang web cá nhân 31 Cho dù bạn blogger hay quản trị website cho doanh nghiệp, lưu trang web việc quan trọng Nếu người sử dụng WordPress, bạn sử dụng plugin để lưu nội dung WordPress đến Dropbox địa http://wordpress.org/extend/ plugins/wordpress-backup-to-dropbox/ Với dịch vụ khác, My Backup Box địa https:// mybackupbox.com/ lưu trữ Drupal, Joomla, WordPress trang web khác Cả dịch vụ cung cấp miễn phí - LÀM VIỆC NGOẠI TUYẾN B.17 Làm việc ngoại tuyến với tài liệu Google Docs có sẵn Google Docs hữu ích cho việc tạo chỉnh sửa tài liệu, khơng có kết nối Internet, bạn liên lạc với tập tin Tuy nhiên, Google Drive dành cho Windows địa https://tools google.com/dlpage/drive với chức đồng hóa liệu điện toán đám mây bạn vào ổ đĩa cá nhân mình, giúp khắc phục điều làm việc bạn offline Để tính có tác dụng, bạn cần phải sử dụng Chrome làm việc với tài liệu, thêm ứng dụng Google Drive Chrome cho phép truy cập ngoại tuyến B.18 Truy cập file Dropbox yêu thích Nếu sử dụng ứng dụng Dropbox điện thoại máy tính bảng, bạn cần mở tài liệu nào, bấm vào biểu tượng ngơi để thêm vào danh sách yêu thích, ứng dụng lưu trữ mục yêu thích vào ổ đĩa cá nhân bạn, nhờ truy cập khơng có kết nối Internet Tiện ích hữu ích bạn cần làm việc đường di chuyển, cơng tác du lịch - TIỆN ÍCH FAX, IN VÀ SCAN B.19 Gửi và nhận fax Dịch vụ web HelloFax địa http://www hellofax.com/ tương thích với hầu hết dịch vụ lưu trữ đám mây Trang fax vừa nhận xuất tài khoản bạn, xem dễ 32 dàng, chia sẻ lưu trữ Một ưu điểm thú vị tiện ích bạn fax tài liệu trực tiếp từ kho đám mây B.20 In tài liệu từ iDevice đến Dropbox FingerPrint phần mềm Collobos dành cho Windows, cho phép iPhone iPad in ấn tài liệu cách sử dụng máy in có hỗ trợ kết nối, hỗ trợ tính in ẩn đến dịch vụ đám mây Dropbox Evernote Điều có nghĩa bạn chuyển email, hình ảnh, trang web thư mục khác từ thiết bị iDevice vào tài khoản trực tuyến Đây dịch vụ có trả phí, với mức giá khoảng 418.000 VND B.21 Biến điện thoại và máy tính bảng thành máy quét Chiếc máy ảnh đươ å c t í ch hơ å p điện thoại thông minh máy tính bảng bạn có đủ độ phân giải để chụp tài liệu Tất mà bạn cần ứng dụng chuyên nghiệp cung cấp dịch vụ quét nội dung điện toán đám mây Các ứng dụng phù hợp kể đến Doc Scan, miễn phí cho iOS, Genius Scan có giá 33.200 VND cho Android Handyscam (62.600 VND) Cả hai có chức chụp ảnh tài liệu chuyển đổi sang PDF, sau đồng với Dropbox, Google Drive, SkyDrive nơi lưu trữ An toàn liệu kho Big Data Việc phân tích ghi liệu sinh từ thiết bị mạng, ứng dụng, gói tin mạng kiện hệ thống phục vụ cho mục đích điều tra phát xâm nhập vốn vấn đề quan trọng an ninh thông tin từ trước đến nay, nhiên, công nghệ truyền thống thất bại việc cung cấp cơng cụ phân tích dài hạn, quy mơ lớn lý việc lưu trữ giữ lại số lượng lớn liệu không khả thi mặt kinh tế Kết là, hầu hết ghi nhật ký kiện hệ thống, thiết bị thường xóa sau thời gian trì cố định Sự đời cơng nghệ Big Data mới, sở liệu liên quan tới hệ sinh thái Hadoop xử lý dòng, cho phép lưu trữ phân tích tập liệu không đồng lớn quy mô tốc độ chưa có Những cơng nghệ chuyển đổi phân tích an ninh cách thu thập liệu quy mô lớn từ nhiều nguồn từ ghi nhật ký hệ thống, ứng dụng đến sở liệu lỗ hổng 33 bảo mật, liệu công mạng, liệu mã độc… Cùng với việc thực phân tích sâu liệu có, cung cấp nhìn hợp thơng tin liên quan đến an ninh đảm bảo việc phân tích thực theo thời gian thực luồng liệu Chính Big Data ứng dụng nhiều điều nghiên cứu an tồn thơng tin giới: - Theo dõi và phát Botnet Cùng với phát triển ngành công nghiệp mã độc, Botnet mối đe dọa lớn Internet ngày nay, thách thức người làm bảo mật, cơng việc địi hỏi phải thu thập lượng lớn liệu mạng để phân tích Với việc ứng dụng Big Data, dự án nghiờn cu Botcloud nhúm ca Jerome Fraỗois v ng nghiệp đại học Luxembourg thực sử dụng mơ hình MapReduce để phân tích số lượng lớn liệu Netflow để xác định host bị lây nhiễm tham gia mạng botnet, dự án mở nhiều hướng tích cực việc xây dựng hệ thống thông minh để phát Botnet Lý cho việc sử dụng MapReduce cho dự án xuất phát từ lượng lớn liệu Netflow thu thập để phân tích 720 triệu ghi Netflow (77GB) thu thập 23 đồng hồ Việc xử lý lượng liệu thách thức lớn công nghệ truyền thống Tuy nhiên, giải pháp Big Data MapReduce giúp cho việc việc phân tích dễ dàng BotCloud dựa BotTrack, BotTrack xem xét mối quan hệ host sử dụng kết hợp PageRank thuật toán phân cụm để theo dõi kênh C&C (command-and-control) botnet Từ kết thu cho thấy việc sử dụng cụm Hadoop nhỏ thời gian phân tích hồn tồn tập liệu (57 triệu biên) giảm theo hệ số 7, cho phép xử lý để phát nhanh xác công Botnet 34 - Phát công APT Tấn công APT vận hành kẻ có trình độ cao, hành động tinh vi phức tạp đa dạng phương pháp, công nghệ sử dụng, đơi cịn hậu thuẫn tổ chức có tiềm lực Một thách thức việc dị tìm cơng APT lượng liệu khổng lồ tất hành vi xảy tổ chức phải sử dụng để thực việc lọc liệu nhằm phát bất thường xảy ra, phân tích Dữ liệu Lớn tiếp cận phù hợp việc dị tìm cơng APT Dữ liệu sinh từ nhiều nguồn khác với số lượng lớn cần phải rà sốt Vì lượng liệu lớn, hệ thống phòng thủ phạm vi mạng theo truyền thống nên vơ dụng việc dị tìm phát cơng có chủ đích hoạt động hệ thống Tại RSA Labs hệ thống dị tìm cơng APT nghiên cứu có tên Beehive Các kết nghiên cứu ban đầu cho thấy Beehive có khả để xử lý khoảng tỷ thông điệp ghi kiện nhận diện vi phạm sách lây nhiễm phần mềm độc hại - Phát công Zero-day Tấn công Zero-day thực việc khai thác nhiều lỗ hổng chưa cơng bố, tìm lỗ hổng cho phép tin tặc thực công mục tiêu mà không bị phát hiện, từ công ty nằm danh sách Fortune 500 hàng triệu khách hàng PC khắp giới Tại Symatec, việc sử dụng công nghệ Big Data kỹ sư nơi đưa tảng WINE (Worldwide Intelligence Network Enviornment) cho việc tiến hành phân tích liệu phạm vi rộng, sử dụng liệu lĩnh vực thu thập Nền tảng WINE sử dụng để đo thời gian 18 công zero-day cách kết hợp hệ nhị phân tin cậy tập liệu Anti-tvirus từ xa, cách phân tích trường liệu thu thập 11 triệu host khắp giới, công kéo dài từ 19 ngày đến 30 tháng, bình quân tháng trung bình hoảng 10 tháng Hơn nữa, 60% lỗ hổng bảo mật xác định nghiên cứu không xác định trước bị khai thác công zero-day Điều cho thấy công dần trở nên phổ biến so với suy nghĩ trước Những hiểu biết có ý nghĩa quan trọng cơng nghệ bảo mật tương lai họ tập trung ý vào công lỗ hổng quan trọng giới thực - Phân tích, điều tra tội phạm cơng nghệ cao 35 Bên cạnh kỹ thuật kẻ công tạo nhằm đánh lạc hướng, xố dấu vết, gây khó khăn phân tích Điều tra số phải đối mặt với thách thức phải đối mặt với lượng liệu khổng lồ cần thu thập, phân tích xử lý nhanh khoảng thời gian định đáp ứng việc truy vết phát nhanh dấu hiệu công sử dụng công nghệ cao Năm 2001 NSA công bố báo cáo bí mật xác định chiến lược họ kỷ 21 mang tên “Transition 2001” Trong xác định rõ ràng mục tiêu “NSA cần phải thường trú mơi trường mạng” Để thực việc NSA chuyển đổi công ty Internet viễn thông quốc gia thành tập hợp đối tác thu thập liệu, cách cài đặt lọc vào thiết bị họ, đáp ứng cho họ yêu cầu bí mật mà họ muốn, xây dựng backdoor phần mềm họ có key để phá vỡ mã hóa họ Các kỹ thuật viên NSA cài đặt trạm đánh chặn giao điểm quan trọng, Switch nước Các Switch đặt tịa nhà thuộc sở hữu cơng ty viễn thơng lớn kiểm sốt luồng lưu lượng internet nước toàn quốc Năm 2007 chương trình tuyêt mật mang tên PRISM đời Đây chương trình giám sát quan tình báo Mỹ – Một dự án Big Data xây dựng để thu thập lượng thông tin khổng lồ khắp giới, từ liệu điện thoại, email, hình ảnh, video, status trang mạng xã hội…Từ phân tích đưa cảnh báo dấu hiệu khủng bố xảy Với trợ giúp gã khổng lồ đương đại Microsoft, Yahoo, Google, Facebook, PalTalk, AOL, Skype, YouTube, Apple, với việc hợp tác với FBI để thu thập liệu điện thoại (cuộc gọi, tin nhắn, danh bạ…) bàn tay NSA thọc sâu vào ngõ ngách internet, gần truyền qua Internet bị giám sát NSA thông qua PRISM Được biết đến chương trình giám sát kinh điển, hệ thống PRISM hệ thống tuyệt vời phục vụ đắc lực cho việc điều tra tội phạm công nghệ cao thông qua lượng liệu khổng lồ mà NSA thu thập Cơ sở hạ tầng mạng để xử lý Big Data Để ứng dụng Big Data công việc, tổ chức, doanh nghiệp việc được chất Big Data cần phải có sở hạ tầng IT để thu thập liệu đảm bảo lưu chữ chuyển tiếp thông tin Với cấp độ cao hơn, cần phải có hệ thống lưu trữ máy chủ thiết kế dành cho Big Data, phần mềm quản lý, tích hợp liệu, phân tích liệu ứng dụng liệu lớn 36 Thông thường sở hạ tầng IT tập trung chỗ để tận dụng triệt để việc ứng dụng khoản đầu tư Tuy nhiên, có khơng tổ chức dựa vào dịch vụ điện toán đám mây để xử lý yêu cầu liệu lớn Big Data – xu hướng xử lý Big Data tương lai Việc thu thập liệu cần phải có nguồn, có nhiều ứng dung tích hợp sẵn nguồn thu thập mạng xã hội, ứng dụng di động, ứng dụng web, lưu trữ email,… Khi mà IoT dần trở phổ biến, tổ chức, doanh nghiệp cần phải triển khai cảm biến tất phương tiện, thiết bị, sản phẩm để thu thập liệu tạo liệu người dùng Phân tích dựa theo IoT có cơng cụ, kỹ thuật chuyên biệt Các liệu gửi đến để lưu trữ, tổ chức, cơng ty cần phải có đủ dung lương lưu trữ chỗ Có thể lựa chọn hình thức lưu trữ lưu trữ đám mây, lưu trữ data lakes, lưu trữ truyền thống Ngồi ra, cần phải có cơng cụ sở hạ tầng bảo mật mã hoá liệu, xác thực truy cập người dùng, tường lửa, hệ thống giám sát, quản lý di động, bảo vệ hệ thống liệu Dưới năm cách để đảm bảo đồng hóa liệu lớn cho hệ thống quy mô nào: +Lập kế hoạch cho quy trình cập nhật liệu bạn + Xem xét hạn chế thiết bị di động tải xuống +Phát triển phương pháp đồng hóa liệu + Nhận cơng cụ thương mại để đồng hóa +Suy nghĩ hạn chế thiết bị di động tải xuống Đồng hóa liệu Big Data đảm bảo dộ sác dũ liệu lớn 5.1 Lập kế hoạch quy trình cập nhật liệu của bạn 37 Mỗi bạn lập kế hoạch sửa đổi ứng dụng / thừa nhận nguồn liệu lớn vào báo cáo CNTT cho doanh nghiệp, việc lập kế hoạch yêu cầu bạn phải bao gồm cách bạn đồng hóa tất liệu đến để liệu xác Việc lập kế hoạch nên bao gồm tần suất bạn thực cập nhật đồng hóa liệu với tập liệu Tần suất cập nhật đồng hóa liệu (và giới hạn nào) nên thông báo cho người dùng cuối để họ hiểu trước giới hạn liệu 5.2 Xem xét hạn chế của thiết bị di động và tải xuống Ngày có nhiều nhân viên bán hàng người khác sử dụng thiết bị di động lĩnh vực Do giới hạn băng thông Internet việc thiết bị khơng có khả xử lý tải xuống liệu rộng rãi cách nhanh chóng, liệu bán hàng hàng tồn kho thường trú thiết bị lúc đồng với liệu "thực" sở liệu Là phần quy trình giao tiếp với người dùng cuối bạn, CNTT phải làm cho người dùng nhận thức ràng buộc tiềm ẩn độ xác liệu 5.3 Phát triển phương pháp đồng hóa liệu Hầu hết trang web có sách đồng hóa liệu cập nhật quy trình để đồng hóa liệu giao dịch quan trọng họ, chúng không thiết phải giải liệu lớn Có vơ số nguồn liệu tốc độ truyền liệu cực lớn với liệu lớn Tuy nhiên, dấu thời gian liệu thông tin múi mà liệu đến, cần đồng hóa để biết liệu đâu Ngồi cịn có thực tế trình cập nhật liệu phải đối mặt Khơng phải tất liệu cập nhật thời gian thực, bạn phải đưa định liệu đồng hóa với liệu liệu có q trình đồng hóa liệu hàng loạt diễn hàng đêm hay chế độ "bùng nổ" hàng loạt theo lịch trình suốt ngày hay khơng Các quy trình phải lập thành văn hướng dẫn hoạt động CNTT — chúng phải cập nhật bạn thêm nguồn thơng tin liệu lớn vào q trình xử lý 5.4 Nhận cơng cụ bạn cần để đồng hóa Có sẵn cơng cụ thương mại hỗ trợ đồng hóa liệu Những cơng cụ giúp bạn thực nỗ lực đồng hóa liệu lớn tự động hóa phần hoạt động đồng hóa liệu bạn 5.5 Tìm kiếm nhà cung cấp dịch vụ có thể hỗ trợ đồng hóa liệu 38 Các xử lý đám mây liệu lớn AWS EMR nhận cố đồng hóa liệu có phương pháp đồng hóa liệu cho phép chúng thực đồng hóa cho bạn Nếu bạn thực xử lý liệu lớn đám mây, hỏi nhà cung cấp dịch vụ đám mây mà họ cung cấp để đảm bảo trình bày nhất, chất lượng cao liệu lớn bạn Công nghệ lưu trữ Đàn hồi (Elastic storage) của IBM Công nghệ lưu trữ Đàn hồi (Elastic storage) nạp terabyte “kiến thức” tương đương với 200 triệu trang liệu vào nhớ máy tính vịng vài phút“Hệ thống lưu trữ đàn hồi” cung cấp hiệu chưa có, quy mơ vơ hạn có khả hạ thấp chi phí lưu trữ tới 90% cách tự động di chuyển liệu vào môi trường lưu trữ tiết kiệm Đây giải pháp lưu trữ nằm danh mục hệ thống lưu trữ định nghĩa phần mềm nhằm hỗ trợ tổ chức, doanh nghiệp nâng cao hiệu kinh tế, đồng thời truy cập xử lý loại liệu nào, loại thiết bị lưu trữ nào, nơi giới IBM giới thiệu giải pháp vào năm 2014 Việt Nam Giải pháp Lưu trữ Đàn hồi xây dựng sở phần mềm hệ thống tập tin toàn cầu IBM, nhằm cung cấp khả quản lý lưu trữ trực tuyến, khả truy cập mở rộng, cơng cụ quản trị liệu tích hợp quản lý khối lượng lớn liệu hàng tỷ tập tin Ngoài ra, Giải pháp Lưu trữ Đàn hồi cịn khai thác cơng nghệ Flash phía máy chủ để nâng cao hiệu tới lần với ổ đĩa SAS tiêu chuẩn Tính nhận biết máy chủ có hệ thống lưu trữ Flash tự động sử dụng Flash nhớ cache để cải thiện hiệu suất.Một lý để phần mềm Lưu trữ Đàn hồi lựa chọn cho hệ thống Watson để thi đấu trò chơi Jeopardy! khả mở rộng trúc lên tới hàng ngàn “yottabytes.” Một yottabyte tỷ petabyte, hay tương đương với trung tâm liệu có kích thước triệu đoạn phố, tức khoảng 9,600 mét vng Giải pháp Lưu trữ Đàn hồi ảo hóa môi trường lưu trữ phép nhiều hệ thống ứng dụng chia sẻ kho tài nguyên lưu trữ chung, từ truy cập liên tục vào liệu mà không cần phải sửa đổi ứng dụng không cần phải bổ sung thêm ứng dụng quản lý lưu trữ vốn thường xuyên gây gián đoạn hoạt động Do giải pháp Lưu trữ Đàn hồi không phụ thuộc vào hoạt động quản lý tập trung để xác định vị trí địa điểm tập tin, khách hàng truy cập liên tục với độ sẵn sàng cao 39 vào liệu trường hợp xảy cố phần mềm phần cứng Ngoài ra, phần mềm cịn có tính mã hóa xóa liệu an tồn, đảm bảo liệu khơng thể khôi phục lại theo quy định HIPAA Sarbanes-Oxley Thông qua khả hỗ trợ phần mềm quản lý điện toán đám mây OpenStack, giải pháp lưu trữ đàn hồi cho phép khách hàng lưu trữ, quản lý truy cập liệu môi trường điện tốn đám mây riêng, cơng cộng lai để chia sẻ liệu hợp tác toàn cầu Ngoài việc hỗ trợ OpenStack Cinder truy cập Swift, giải pháp lưu trữ đàn hồi hỗ trợ API mở khác POSIX Hadoop Trong hệ thống lưu trữ truyền thống phải di chuyển liệu đến hệ thống riêng định để xử lý giao dịch phân tích, giải pháp lưu trữ đàn hồi tự động cân tài nguyên để hỗ trợ hai loại tải công việc ứng dụng, bao gồm cơng nghệ phân tích liệu dựa Hadoop Điều làm tăng đáng kể tốc độ phân tích loại bỏ quy trình tốn thời gian nhằm tạo liệu Phần mềm lưu trữ đàn hồi cung cấp dạng dịch vụ điện toán đám mây IBM SoftLayer vào cuối năm Các chuyên gia công nghệ IBM Việt Nam cho biết với tốc độ phát triển thông tin liệu số khổng lồ thường dẫn đến kiểm soát hệ thống lưu trữ truyền thống Công nghệ lưu trữ đàn hồi cung cấp cải tiến tốc độ, khả mở rộng tiết kiệm chi phí đáp ứng cho doanh nghiệp hoạt động giới liệu tảng để tạo lợi cạnh tranh Giải pháp lưu trữ định nghĩa phần mềm tập hợp lực phần mềm có khả tự động quản lý liệu nội quy mơ tồn cầu, với tốc độ đột phá hoạt động truy cập liệu, dễ dàng quản lý, mở rộng sở hạ tầng công nghệ, hiệu chi phí khối lượng liệu tăng lên Ngồi ra, tiến cơng nghệ kết hợp với hệ thống lưu trữ nhà cung cấp để tự động hóa ảo hóa q trình lưu trữ 40 CHƯƠNG III: CÀI ĐẶT/MÔ PHỎNG ĐỀ TÀI BÁO CÁO 41 TÀI LIỆU THAM KHẢO https://topdev.vn/blog/big-data/#co-so-ha-tang-it-de-ho-trobig-data http://www.khoahocphothong.com.vn/21-thu-thuat-toi-uuhoa-hoat-dong-luu-tru-dam-may-22580.html 3.https://amigo.vn/tin-tuc-khac/ibm-gioi-thieu-cong-nghe-luutru-moi-elastic-storage/ 4.https://phulc.wordpress.com/2015/05/11/ung-dung-phan-tichdu-lieu-lon-trong-an-toan-thong-tin/ 5.https://www.techrepublic.com/article/synchronizing-big-data5-ways-to-ensure-big-data-accuracy/ https://quantrimang.com/tim-hieu-ve-dien-toan-dam-may118375 42 ... tác người với máy tính Ứng dụng của IoT điện toán đám mây: Một số ứng dụng IoT điện toán đám mây: - Amazon Web Service (AWS) IoT Đây tảng điện toán đám mây phổ biến AWS IoT platform bao gồm tính... Big Data tương lai rộng mở CHƯƠNG I: LÝ THUYẾT CHUNG Điện toán đám mây là gì? Lợi ích của điện tốn đám mây? Khái niệm: Điện toán đám mây việc phân phối tài nguyên CNTT theo nhu cầu qua Internet... Oracle Dịch vụ Đám mây Ravello Oracle dịch vụ điện toán đám mây thị trường cho phép tích hợp vận hành VMware, cơng nghệ ảo hóa phần cứng (KVM) dành cho doanh nghiệp tảng điện toán đám mây công cộng