Nghiên cứu công nghệ điện toán đám mây ứng dụng trong quản lý dữ liệu lớn (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Hoàng Minh Hương NGHIÊN CỨU CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY ỨNG DỤNG TRONG QUẢN LÝ DỮ LIỆU LỚN Chuyên nghành: Truyền liệu Mạng máy tính Mã số: 60.48.15 TÓM TẮT LUẬN VĂN THẠC SỸ H À NỘ I - 2 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Hoàng Lê Minh Phản biện 1: TS Nguyễn Trọng Đường Phản biện 2: PGS.TS Lê Huy Thập Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: 09 giờ30 ngày 20 tháng 01 năm 2013 Có thể tìm hiểu luận văn tại: Viễn thông - Thư viện Học viện Cơng nghệ Bưu MỞ ĐẦU Trước đây, cơng ty, tổ chức thường quản lý liệu lưu trữ sở liệu truyền thống Tuy nhiên, với phổ biến mạng xã hội, weblog, thiết bị cảm biến, hình ảnh…, thơng tin nằm rải rác nhiều nơi mang lại thơng tin hữu ích tập hợp, xử lý khoảng thời gian giới hạn Những thông tin biết đến Dữ liệu lớn (Bigdata), chúng liên tục sản sinh, hình thức định dạng khác Những đặc trưng khiến công ty khơng thể tự lưu trữ, kiểm sốt mà phải nhờ đến cơng nghệ điện tốn đám mây Về lý thuyết, điện toán đám mây cho phép doanh nghiệp không cần tập trung nhiều cho sở hạ tầng nâng cấp ứng dụng, khơng địi hỏi nguồn nhân lực lớn dễ dàng thay đổi quy mô cần Tuy nhiên, quan tâm tới liệu lớn lưu trữ đám mây, điều quan trọng khơng thể bỏ qua cơng cụ quản lý phân tích liệu Thực tế cho thấy doanh nghiệp sử dụng liệu lớn với biện pháp phân tích liệu biến đổi tạo hội kinh doanh Chính yếu tố làm tăng quan tâm đến công nghệ mã nguồn mở Hadoop, công nghệ giúp công ty xử lý khối lượng cỡ terabyte chí petabytes liệu phức tạp tương đối hiệu với chi phí thấp Vì vậy, em chọn nghiên cứu đề tài “ Nghiên cứu cơng nghệ điện tốn đám mây ứng dụng quản lý liệu lớn“, nghiên cứu công nghệ điện toán đám mây, xử lý liệu lớn đám mây thông qua công nghệ Hadoop kỹ thuật MapRecude cho phép xử lý liệu phân tán cách song song Thêm vào đó, đề tài đưa ví dụ áp dụng HadoopMapReduce vào xử lý liệu lớn thuộc dự án “Hệ thống thí điểm đo đạc liệu mạng cảm biến môi trường cảnh báo Cần Thơ“ dựa mô hình kho liệu đám mây iDragon, mở đầu cho việc giải toán liệu lớn Việt Nam CHƯƠNG 1: CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY VÀ LƯU TRỮ DỮ LIỆU ĐÁM MÂY 1.1 Công nghệ điện toán đám mây 1.1.1 Đặc điểm điện toán đám mây Theo Wikipedia: “Điện toán đám mây (cloud computing) cịn gọi điện tốn máy chủ ảo, mơ hình điện tốn sử dụng cơng nghệ máy tính phát triển dựa vào mạng Internet” Điện tốn đám mây có đặc điểm quan trọng sau: x Tự phục vụ theo nhu cầu x Truy xuất diện rộng x Dùng chung tài nguyên x Khả co giãn linh hoạt x Điều tiết dịch vụ 1.1.2 Mô hình kiến trúc điện tốn đám mây 1.1.2.1 SaaS (Software as a Service) Trong mơ hình này, ứng dụng hoàn chỉnh cung cấp cho khách hàng dạng dịch vụ khách hàng yêu cầu khách hàng phải trả phí sử dụng theo thời gian tính mà họ yêu cầu 1.1.2.2 PaaS(Platform as a Service) Nó cung cấp tất tính cần thiết để hỗ trợ chu trình đầy đủ việc xây dựng cung cấp ứng dụng, dịch vụ web sẵn sàng Internet mà không cần thao tác tải hay cài đặt phần mềm cho người phát triển, quản lý tin học, hay người dùng cuối 1.1.2.3 IaaS(Infrastructure as a Service) Cơ sở hạ tầng dịch vụ (IaaS) việc phân phối phần cứng máy tính (máy chủ, cơng nghệ mạng, lưu trữ không gian liệu) dịch vụ, bao gồm việc cung cấp hệ thống điều hành cơng nghệ ảo hóa tài nguyên 1.1.2.4 Giao thức truy cập liệu đám mây x Giao thức Network File System (NFS) x Giao thức Common Internet File System (CIFS) x Giao thức World Wide Web Distributed Authoring and Versioning (WebDAV) 1.1.2.5 Các hệ thống tập tin x Hệ thống tập tin Unix x Hệ thống tập tin FAT x Hệ thống tập tin NTFS 1.1.3 Mơ hình triển khai điện tốn đám mây 1.1.3.1 Đám mây công cộng Đám mây công cộng đám mây mở cho người dùng mà ứng dụng lưu trữ, nguồn tài nguyên khác có sẵn cung cấp số nhà cung cấp dịch vụ thông qua mạng Internet 1.1.3.2 Đám mây cục Đám mây cục gọi đám mây riêng Đây mơ hình mà hạ tầng đám mây sở hữu tổ chức phục vụ cho người dùng tổ chức Đám mây riêng đặt bên bên tổ chức sở hữu 1.1.3.3 Đám mây lai Đám mây lai kết hợp đám mây cơng cộng đám mây riêng, chúng thừa kế lợi ích tính cốt lõi hai loại hình đám mây Do vấn đề bảo mật an tồn chi phí giảm thiểu, điện tốn đám mây lai phù hợp với chiến lược nhiều tổ chức lớn 1.1.3.4 Đám mây cộng đồng Các đám mây cộng đồng đám mây chia sẻ số tổ chức hỗ trợ cộng đồng cụ thể có mối quan tâm chung như: mục đích, yêu cầu an ninh, sách Tùy chọn tốn đáp ứng riêng tư, an ninh tuân thủ sách tốt 1.2 Lưu trữ liệu đám mây Lưu trữ đám mây đơn giản việc cung cấp liệu ảo hóa theo yêu cầu, lưu trữ liệu dịch vụ (DaaS – Data Storage as a Service), có nghĩa “ liệu chuyển giao mạng dựa theo cấu hình lưu trữ ảo dịch vụ liệu liên quan, sở đảm bảo yêu cầu cấp độ dịch vụ” 1.2.1 Lưu trữ liệu dịch vụ (DaaS) Lưu trữ liệu dịch vụ trừu tượng hóa liệu lưu trữ đằng sau tập hợp giao diện dịch vụ cung cấp theo yêu cầu Quản lý liệu thường thực theo khối giao diện lưu trữ liệu chuẩn, thông qua API, thông qua giao diện người dùng dựa trình duyệt 1.2.2 Quản lý liệu lưu trữ đám mây Trong lưu trữ đám mây vấn đề quan trọng hiệu tốt nhất, chất lượng lưu trữ, đảm bảo nhu cầu nhà cung cấp ứng dụng, vừa bổ sung thêm dịch vụ liệu Bằng cách sử dụng loại siêu liệu khác giao diện lưu trữ đám mây, tạo giao diện cho phép đáp ứng yêu cầu dịch vụ mà quản lý liệu không phức tạp CHƯƠNG 2: DỮ LIỆULỚN BIGDATA VÀ CÔNG NGHỆ HADOOP 2.1 Tổng quan lưu trữ liệu lớn Dữ liệu Lớn (Big Data) có đặc điểm quan trọng khác với liệu truyền thống: số lượng ghi lớn, cần xử lý thời gian giới hạn phi cấu trúc Hadoop giúp công ty xử lý khối lượng cỡ terabyte chí petabytes liệu phức tạp tương đối hiệu với chi phí thấp 2.2 Kiến trúc hệ thống Hadoop DFS 2.2.1 Giới thiệu chung 2.2.1.1 Giới thiệu Framework Hadoop Hadoop gì? Apache Hadoop định nghĩa: “Apache Hadoop framework dùng để chạy ứng dụng cluster lớn xây dựng phần cứng thông thường Hadoop thực mơ hình Map/Reduce, mơ hình mà ứng dụng chia nhỏ thành nhiều phân đoạn khác nhau, phần chạy song song nhiều node khác Thêm vào đó, Hadoop cung cấp hệ thống file phân tán (HDFS) cho phép lưu trữ liệu lên nhiều node Cả Map/Reduce HDFS thiết kế cho framework tự động quản lý lỗi, hư hỏng phần cứng node.” Kết luận: x Hadoop framework cho phép phát triển ứng dụng phân tán x Hadoop viết Java cho phép phát triển ứng dụng phân tán số ngơn ngữ lập trình khác C++, Python, Pearl x Hadoop cung cấp phương tiện lưu trữ liệu phân tán nhiều nod HDFS, che giấu tất thành phần phân tán, nhà phát triển ứng dụng phân tán nhìn thấy HDFS hệ thống file cục bình thường x Hadoop giúp nhà phát triển ứng dụng phân tán tập trung tối đa vào phần logic ứng dụng, bỏ qua số phần chi tiết kỹ thuật phân tán bên (phần Hadoop tự động quản lý) x Hadoop Linux-based 2.2.1.2 Giới thiệu Hệ thống tập tin phân tán Hadoop (HDFS) Trong HDFS, file chia làm hay nhiều block block có block ID để nhận diện Trên cluster chạy HDFS, có hai loại node Namenode Datanode Một cluster có Namenode có hay nhiều Datanode 10 2.3.1 Giới thiệu mô hình tính tốn MapReduce MapReduce sử dụng hai thao tác cho việc thực thi cơng việc ban đầu từ người dùng hàm map hàm reduce, hiểu cách đơn giản hàm map tiếp nhận mảnh liệu input thực xử lý (đơn giản lọc liệu, trích liệu) để chuẩn bị liệu làm đầu vào cho hàm reduce, hàm reduce thực xử lý riêng trả cho người dùng phần nhỏ kết cuối công việc, sau tất hàm reduce thực người dùng có tồn kết cơng việc 2.3.2 Hàm Map Người dùng đưa cặp liệu (key,value) làm input cho hàm map, tùy vào mục đích người dùng mà hàm map trả danh sách cặp liệu: (intermediate key,value) 2.3.3 Hàm Reduce Hệ thống gom nhóm tất value theo intermediate key từ output hàm map, để tạo thành tập cặp dự liệu với cấu trúc (key, tập value key) Dữ liệu input hàm reduce cặp liệu gom nhóm sau thực xử lý trả cặp liệu (key, value) output cuối cho người dùng 2.3.4 Cơ chế hoạt động HadoopMapReduce 11 Hình 2.6 mô tả chế hoạt động tổng quát HadoopMapReduce Đầu tiên chương trình client yêu cầu thực job kèm theo liệu input tới JobTracker, sau input phân rã thành split split ghi xuống HDFS JobTrack có job scheduler với nhiệm vụ lấy vị trí split (từ HDFS chương trình client tạo), sau tạo danh sách task để thực thi Với split tạo maptask để thực thi, số lượng maptask với số lượng split Còn reduce task, số lượng reduce task xác định chương trình client Hình 2.6: Cơ chế hoạt động HadoopMapReduce 12 TaskTracker thực thi task chia thành loại: TaskTracker thực thi maptask, TaskTracker thực thi reduce task Khi TaskTracker nhận thực thi maptask, kèm theo vị trí input split HDFS Sau đó, nạp liệu split từ HDFS vào nhớ, dựa vào kiểu format liệu input chương trình client chọn parse split để phát sinh tập record, record có trường: key value Với tập record này, tasktracker chạy vòng lặp để lấy record làm input cho hàm map để trả output liệu gồm (key liệu output hàm map, value) Dữ liệu output hàm map ghi xuống nhớ chính, chúng xếp trước bên nhớ Trước ghi xuống local disk, liệu output phân chia vào partition (region) dựa vào hàm partition (dùng để chia liệu thành nhiều partiion), partition ứng với liệu input reduce task sau Và bên partition, liệu xếp (sort) tăng dần theo intermediate key (key liệu output hàm map), chương trình client có sử dụng hàm hàm xử lý liệu partition xếp Sau thực thành cơng maptask liệu output partition ghi local, lúc TaskTracker gửi trạng thái “completed” 13 maptask danh sách vị trí partition output localdisk đến JobTracker TaskTracker thực reduce task với liệu input danh sách vị trí region cụ thể output ghi localdisk maptask Do biết số lượng map task reduce task, nên TaskTracker cách định kỳ hỏi JobTracker vị trí region mà phân bổ cho nó nhận đầy đủ vị trí region output tất map task hệ thống Với danh sách vị trí này, TaskTracker nạp (copy) liệu region map task mà output chứa region hoàn thành vào nhớ Sau nạp thành cơng tất region TaskTracker tiến hành merge liệu region theo nhiều đợt mà đợt thực cách đồng thời để làm gia tăng hiệu suất thao tác merge Sau đợt merge hoàn thành tạo file liệu trung gian xếp Cuối file liệu trung gian merge lần để tạo thành file cuối TaskTracker chạy vòng lặp để lấy record làm input cho hàm reduce, hàm reduce dựa vào kiểu format output để thực trả kết output thích hợp Tất liệu output lưu vào file file sau ghi xuống HDFS 14 CHƯƠNG 3: ỨNG DỤNG KHO DỮ LIỆU ĐÁM MÂY iDRAGON VÀ CÔNG NGHỆ HADOOP 3.1 Kho liệu đám mây iDragon 3.1.1 Giới thiệu điện toán đám mây iDragon Cloud Xuất phát từ mơ hình cung cấp dịch vụ điện thoại di động: điện thoại di động + trạm BTS, hệ thống quản lý thuê bao, cung cấp dịch vụ, tính cước, chuyển vùng,…mơ hình dịch vụ đám mây iDragon Cloud Hình 3.1 Hình 3.1: Mơ hình dịch vụ điện tốn đám mây iDragon Cloud Các thành phần tảng iDragon Clouds bao gồm máy tính trạm, thiết bị mạng, máy chủ liệu kết nối với theo mô hình mạng mắt lưới, cho phép người sử dụng máy tính thiết bị đầu cuối dễ dàng truy cập dịch vụ đám mây 15 3.1.2 Các thành phần xây dựng truy xuất Kho liệu đám mây iDragon 3.1.2.1 Các thành phần xây dựng Kho liệu đám mây iDragon: x Hộp thiết bị mạng đám mây iCloud Box x Máy chủ liệu đám mây Cloud Data 3.1.2.2 Các thành phần truy xuất Kho liệu đám mây iDragon x Truy xuất máy tính đám mây (Cloud PC) x Truy xuất máy tính bảng, điện thoại thơng minh x Truy xuất thơng qua trình duyệt Web hỗ trợ HTML5 3.1.3 Hệ thống thí điểm đo đạc liệu mạng cảm biến môi trường cảnh báo Cần Thơ 3.1.3.1 Mô hình hoạt động hệ thống thí điểm Cần Thơ x Hệ thống mạng cảm biến đo mực nước sông giám sát camera truyền liệu bao gồm thơng số đo đạc, hình ảnh mơi trường trung tâm liệu cảm biến môi trường đặt điểm D (ICT Center) thuộc Sở Thông tin Truyền thông Cần Thơ x Trung tâm liệu cảm biến môi trường (TTDLMT) nơi quản lý lưu trữ chia liệu cảm biến môi trường theo mơ hình điện tốn đám mây để báo cáo, cung cấp cho UBND Cần Thơ sở ngành liên quan xem liệu mơi trường thiết bị máy tính (desktop, laptop, tablet) 16 x UBND, Sở TT&TT thông qua mạng chuyên dùng (MAN) TP Cần Thơ, thông qua CloudBox tài khoản người dùng có xác thực truy cập xem liệu mơi trường (hình ảnh, thơng số, báo cáo) gián tiếp TTDLMT Trung tâm CNTT-TT x Một phần liệu kho liệu cảm biến môi trường TTDLMT Cần Thơ đồng lên Kho liệu cảm biến môi trường Data Center Viện CNPM&NDS để phục vụ theo dõi, đánh giá 3.1.3.2 Triển khai hệ thống Hệ thống giám sát thí điểm Cần Thơ triển khai điểm sau: Hình 3.4: Sơ đồ hệ thống Cần Thơ 17 x Điểm A: Hệ thống thu phát sóng không dây WiFi treo cột ăn tên VTN để trung chuyển liệu cảm biến từ hệ thống mạng cảm biến trung tâm liệu môi trường x Điểm B: Hệ thống cảm biến đo mực nước camera giám sát góc nhà hàng Hoa Sứ, cách điểm D khoảng 440 m (Line of sight) x Điểm C: Hệ thống camera giám sát bến tàu du lịch Ninh Kiều 1, cách điểm D khoảng 720 m (Line of sight) Hệ thống tương tự hệ thống điểm B khơng có thiết bị cảm biến đo mực nước x Điểm D: Trung tâm liệu môi trường đặt điểm D (ICT Center) thuộc Sở Thông tin Truyền thông Cần Thơ, nơi quản lý lưu trữ chia liệu mơi trường theo mơ hình dịch vụ điện toán đám mây, cung cấp cho UBND Cần Thơ sở ngành liên quan xem liệu cảm biến môi trường thiết bị máy tính (desktop, laptop, tablet) thơng qua phần mềm iDCM 3.1.3.3 Tổ chức kho liệu môi trường tảng điện tốn đám mây File XML liệu chứa thơng tin tham số đo cảm biến môi trường Mỗi loại liệu lưu trữ kho loại theo cấu trúc thư mục phân cấp theo thời gian Các file xml liệu cảm biến môi trường đặt tên ID 18 loại liệu 13 số thời gian UNIX thời điểm liệu tạo 3.2 Xây dựng ứng dụng mẫu Hadoop 3.2.1 Phân tích u cầu Phân tích trường file xml, tìm mực nước sâu tháng, sử dụng Hadoop MapReduce 3.2.2 Phát triển ứng dụng với Hadoop MapReduce hoạt động cách chia trình xử lý thành hai giai đoạn: giai đoạn map giai đoạn reduce Đầu vào giai đoạn map liệu file xml Từng ghi liệu output có cấu trúc sau: key tháng value mực nước sâu tháng (06,783.0) (06,783.3) … (06,782.9) (06,782.4) (07,783.4) (07,784.3) … (07,772.4) (07,779.1) (07,778.4) 19 Đầu từ chức map xử lý khuôn khổ MapReduce trước gửi đến chức reduce Xử lý xếp nhóm cặp khóa-giá trị theo khóa Vì vậy, tiếp tục ví dụ, chức reduce có đầu vào sau đây: (06,[783.0;783.3;782.9;782.4;…;782.1;…]) (07,[783.4;784.3;773.6;772.4;779.1;…;778.4;…]) Mỗi tháng xuất với danh sách tất mực nước nó.Tất chức reduce làm lặp thông qua danh sách chọn lên giá trị tối đa: (06,783.3) (07,784.3) Hadoop cho phép sử dụng hàm combiner (kết hợp) để xử lý đầu liệu output hàm map – đầu hàm combiner dạng đầu vào cho hàm reduce Thực chất hàm combiner cách tối ưu hóa tốn Giả sử với liệu sensor mực nước tháng xử lý hai map ( liệu chia thành split khác nhau), map có liệu đầu là: (06,783.0) (06,783.3) (06,782.9) Map thứ hai có đầu là: 20 (06,782.4) (06,782.1) Hàm reduce gọi list các giá trị: (06, [783.0;783.3;782.9;782.4;782.1]) Với đầu là: (06,783.3) Vậy mực nước 783.3 cm mực nước sâu list giá trị Tuy nhiên, sử dụng hàm combiner, giống hàm reduce, tìm kiếm mực nước sâu cho liệu đầu map, hàm Reduce sau sử dụng: Max(783.0;783.3;782.9;782.4;782.1) =max((783.0;783.3;782.9),(782.4;782.1)) =max (783.3,782.4)=783.3 Thực tương tự với tháng 7, ta kết quả: (07,784.3) 3.2.3 Thử nghiệm đánh giá ứng dụng Hệ thống HDFS hệ thống tập tin phân tán với chế quản lý bên Việc kết hợp MapReduce với HDFS tốn tìm mực nước sâu tháng mở đầu cho việc giải toán liệu lớn Trong hệ thống sensor cảm biến đo mực nước, 10 phút, hệ thống lại gửi liệu file xml, tháng 4000 file năm 21 gần 52000 file Trong thực tế, Hadoop MapReduce mô hình áp dụng cho tất vấn đề mà áp dụng tốt cho trường hợp xử lý khối liệu lớn cách chia thành mảnh nhỏ xử lý song song KẾT LUẬN VÀ KIẾNNGHỊ Điện toán đám mây cách tiếp cận giải vấn đề liên quan đến hạ tầng công nghệ thông tin cho người dùng, tổ chức doanh nghiệp, giúp đạt lợi ích kinh tế thơng qua cắt giảm chi phí trực tiếp cho hạ tầng cơng nghệ, chuyển đổi trung tâm liệu cần đầu tư tốn thành mơi trường có giá trị đầu tư tiết kiệm sinh lợi nhiều Thêm vào đó, bùng nổ liệu đặt cho thách thức việc làm lưu trữ xử lý tất liệu mang đến hội chiếm lĩnh nguồn thông tin khổng lồ có đủ khả phân tích xử lý nguồn liệu đó, biến liệu thơ thành thơng tin hữu ích với mức chi phí hợp lý Việc kết hợp điện tốn đám mây công nghệ Hadoop, sử dụng MapReduce, cho phép việc tạo xử lý lượng liệu lớn đám mây cách dễ dàng Với MapReduce, tiến trình chia thành tiến trình nhỏ để xử lý cách song song kết hợp lại kết cuối Nó cho phép khai thác 22 chế song song để xử lý liệu đám mây cung cấp giao diện đơn giản với sở hạ tầng điện toán phân tán phức tạp Tại Việt Nam, vấn đề lũ lụt thiên tai mang lại thiệt hại vô lớn người tài sản Vì vậy, với vấn đề đưa trên, việc áp dụng điện toán đám mây (iDragon Cloud) công nghệ Hadoop vào xây dựng hệ thống giám sát môi trường, cảnh báo giảm nhẹ thiên tai việc làm cần thiết để giảm nhẹ hậu biến đổi mơi trường tồn cầu Việt Nam Mặc dù hệ thống đưa vào triển khai thực tế từ 1/ 2012, việc áp dụng công nghệ Hadoop chắn mở hướng phát triển mới, giải pháp tốt cho vấn đề đặt 23 TÀI LIỆU THAM KHẢO Tiếng anh [1] Armbrust, Michael, and Armando Fox “Above the Clouds: A Berkley View of Cloud Computing,” February 10, 2009 [2] D Agrawal, A El Abbadi, S Antony, and S Das “Data Management Challenges in Cloud Computing Infrastructures” In DNIS, pages 1–10, 2010 [3] Divyakant Agrawakl Sudipto Das Amr Al Abbadi, Dipartment of Computer Science, University of California, Santa Barbara “Big Data and Cloud Computing: Current State and Future Opportunities” [3] Dhruba Borthakur, HDFS Architecture Guide.Richard L Villars, Carl W Olofson, Matthew Eastwood “Big Data: What it is and Why you should care” June 2011 [4] Tom White, “Hadoop: The Definitive Guide”, June 2009: First Edition [5] http://www.michael-noll.com/tutorials/running- hadoop-on-ubuntu-linux-single-node-cluster/ [6] http://en.wikipedia.org/wiki/Apache_Hadoop 24 Tiếng Việt [7] NISCI Tài liệu Hệ thống thí điểm đo đạc liệu mạng cảm biến môi trường cảnh báo Cần Thơ NISCI [8] NISCI “Mơ hình tham chiếu điện tốn đám mây “Rồng Thơng Minh” iDragon” Hà Nội, 2012 NISCI [9] NISCI Tạp chí khoa học Phần mềm Nội dung số, NISCI ... cứu cơng nghệ điện tốn đám mây ứng dụng quản lý liệu lớn? ??, nghiên cứu cơng nghệ điện tốn đám mây, xử lý liệu lớn đám mây thông qua công nghệ Hadoop kỹ thuật MapRecude cho phép xử lý liệu phân tán... toán liệu lớn Việt Nam 3 CHƯƠNG 1: CÔNG NGHỆ ĐIỆN TOÁN ĐÁM MÂY VÀ LƯU TRỮ DỮ LIỆU ĐÁM MÂY 1.1 Cơng nghệ điện tốn đám mây 1.1.1 Đặc điểm điện toán đám mây Theo Wikipedia: ? ?Điện tốn đám mây (cloud... hợp Tất liệu output lưu vào file file sau ghi xuống HDFS 14 CHƯƠNG 3: ỨNG DỤNG KHO DỮ LIỆU ĐÁM MÂY iDRAGON VÀ CÔNG NGHỆ HADOOP 3.1 Kho liệu đám mây iDragon 3.1.1 Giới thiệu điện toán đám mây iDragon