Tìm hiểu giải pháp lưu trữ xử lý và trình diễn các dữ liệu thống kê ứng dụng điện toán đám mây (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - LÊ THIÊN HINH TÌM HIỂU GIẢI PHÁP LƯU TRỮ, XỬ LÝ VÀ TRÌNH DIỄN CÁC DỮ LIỆU THỐNG KÊ ỨNG DỤNG ĐIỆN TỐN ĐÁM MÂY Chun ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – NĂM 2013 Luận văn đƣợc hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Ngƣời hƣớng dẫn khoa học: TS Hoàng Lê Minh Phản biện 1: ………………………………………………………… Phản biện 2: ………………………………………………………… Luận văn đƣợc bảo vệ trƣớc Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bƣu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thƣ viện Học viện Cơng nghệ Bƣu Viễn thơng MỞ ĐẦU I LÝ DO CHỌN ĐỀ TÀI Điện toán đám mây (Cloud Computing) xu hƣớng phát triển ngành Công nghệ thông tin - Truyền thông (CNTT-TT) Điện toán đám mây cho phép triển khai mơ hình cung cấp dịch vụ mang tính động cao, có khả kết nối mở rộng đến tài nguyên ảo khác thông qua mạng Internet Điện tốn đám mây xu hƣớng cơng nghệ quan trọng, nhiều chuyên gia doanh nghiệp kỳ vọng điện toán đám mây định hình lại nhiều quy trình liên quan tới lƣu trữ, cung cấp liệu dịch vụ cho ứng dụng CNTT-TT Với điện toán đám mây ngƣời dùng sử dụng thiết bị cá nhân di động để truy cập liệu, ứng dụng, tham gia vào trình lƣu trữ cung cấp dịch vụ mạng Internet Ứng dụng điện toán đám mây lƣu trữ, xử lý liệu cho phép tiết kiệm chi phí, nâng cao khả sẵn sàng liệu Chính việc ứng dụng điện toán đám mây lƣu trữ xử lý liệu trở thành chủ đề nghiên cứu quan trọng Đó lý lựa chọn đề tài nghiên cứu luận văn: “Tìm hiểu giải pháp lưu trữ, xử lý trình diễn liệu thống kê ứng dụng điện toán đám mây” II MỤC ĐÍCH VÀ NỘI DUNG NGHIÊN CỨU: Mục đích tìm hiểu cơng nghệ Điện tốn đám mây, khả ứng dụng ĐTĐM lƣu trữ, xử lý liệu, có mơ hình liệu lớn, phức tạp, phát sinh trình vận hành số hệ thống thông tin ngành thống kê Nội dung luận văn tốt nghiệp gồm 03 chƣơng: CHƢƠNG I TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY CHƢƠNG II NGHIÊN CỨU CÁC CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY LƢU TRỮ, XỬ LÝ DỮ LIỆU ỨNG DỤNG TRONG THỐNG KẾ CHƢƠNG III ĐỀ XUẤT GIẢI PHÁP LƢU TRỮ, XỬ LÝ VÀ TRÌNH DIỄN DỮ LIỆU CHO NGÀNH THỐNG KÊ VÀO ĐIỆN TOÁN ĐÁM MÂY (iDRAGON COULD) CHƯƠNG TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 1.1 Giới thiệu Ngày nay, với phát triển vƣợt bậc khoa học kỹ thuật công nghệ đại, ngƣời có nhiều hội đƣợc tiếp cận, đƣợc sử dụng sở hữu sản phẩm công nghệ cao có chất lƣợng hơn, tiện lợi hơn, sử dụng đơn giản chi phí thấp Cùng với phát triển khoa học công nghệ làm phát sinh ngày nhiều toán nhiều lĩnh vực địi hỏi sức mạnh tính tốn lớn, khả chia sẻ tài nguyên, khối lƣợng liệu lƣu trữ chia sẻ nhiều, phân công chun mơn hóa cao… Để giải vấn đề này, có nhiều kỹ thuật, giải pháp tính tốn đƣợc đƣa ví nhƣ tính tốn lƣới, tính tốn song song… Tuy nhiên phƣơng diện ngƣời sử dụng, giải pháp giải đƣợc tốn chun mơn nhƣng lại nảy sinh hai vấn đề chƣa đƣợc giải thấu đáo Thứ nhất, kinh tế, để sở hữu trì hệ thống tính tốn nhƣ cần thiết phải chịu chi phí q lớn nói hiệu sử dụng thấp thời gian, công suất, tài ngun khả tính tốn hệ thống Thứ hai, với hệ thống tính tốn phức tạp bao gồm phần cứng, phần mềm, liệu lƣu trữ… địi hỏi phải có trình độ kỹ định chuyên môn công nghệ thông tin chí khơng ngƣời mà phải tổ chức chuyên gia công nghệ thông tin đủ khả quản lý điều khiển Đây rõ ràng vấn đề lớn đặt cho ngành Công nghệ thông tin Để giải quyết, số tổ chức đƣa mơ hình mà cơng việc thuộc chun mơn cơng nghệ thông tin đƣợc chuyển giao tối đa cho chuyên gia công nghệ thông tin, công việc khác mà ứng dụng thành cơng nghệ thơng tin đƣợc cung cấp cho ngƣời sử dụng nhƣ dịch vụ Thuật ngữ “cloud computing” đời bắt nguồn từ hồn cảnh nhƣ Điện tốn đám mây (Cloud computing) hiểu mơ hình điện tốn sử dụng cơng nghệ tiên tiến phần mềm, phần cứng máy tính, đƣợc phát triển hạ tầng mạng máy tính Internet, để tạo “đám mây” cung cấp từ sở hạ tầng, nơi lƣu trữ liệu dịch vụ sẵn sàng, nhanh chóng cho quan, tổ chức, doanh nghiệp ngƣời dùng đầu cuối theo yêu cầu 3 1.2 Tổng quan điện toán đám mây 1.2.1 Các cơng nghệ tảng điện tốn đám mây 1.2.1.1 Cơng nghệ ảo hóa điện tốn đám mây a) Ảo hóa tồn phần - Full Virtualization Ảo hóa tồn phần kỹ thuật mà tồn tiến trình cài đặt cho máy đƣợc chạy máy khác Kết hệ thống tất phần mềm chạy máy chủ thực chất máy ảo Ảo hóa tồn phần đƣợc nhóm CP-40 IBM bắt đầu nghiên cứu từ năm 1967 b) Ảo hóa cục - Paravirtualization Ảo hóa cục cho phép nhiều hệ điều hành chạy thiết bị phần cứng lúc cách sử dụng hiệu tài nguyên hệ thống, nhƣ vi xử lý nhớ 1.2.1.2 Platform ): Cun 1.2.1.3 Mơ hình cung cấp dịch vụ qua Internet Hình 1.1: Mơ hình dịch vụ điện tốn đám mây 1.2.2 Các lớp dịch vụ điện toán đám mây - Dịch vụ cung cấp sở hạ tầng – IaaS IaaS hình thức dịch vụ có sẵn Cloud Computing Dịch vụ SaaS PaaS cung cấp ứng dụng cho khách hàng, IaaS khơng Nó đơn giản cung cấp hệ thống sở hạ tầng, phần cứng để khách hàng sử dụng đặt điều họ muốn lên Lợi ích IaaS Mơ hình IaaS làm cho việc sử dụng sở hạ tầng, phần cứng hệ thống tính tốn đạt hiệu suất tối ƣu nhiều mặt, chi phí đạt mức tối thiểu, lợi ích nhà cung cấp khách hàng Khó khăn thách thức IaaS Với hệ thống hạ tầng tính tốn vật lý chạy đƣợc nhiều hệ thống ảo cần hồn thiện công cụ để quản lý, kiểm soát Một vấn đề đƣợc quan tâm bảo mật thông tin cho ngƣời sử dụng hệ thống tính tốn đƣợc quản lý điều hành bên ngƣời sử dụng - Dịch vụ cung cấp tảng phát triển ứng dụng – PaaS Tƣơng tự hình mẫu SaaS, PaaS áp dụng mơ hình phân phối dịch vụ công nghệ thông tin Sản phẩm mà dịch vụ kiểu PaaS cung cấp tất nguồn tài nguyên, công cụ, tảng cần thiết để xây dựng, phát triển ứng dụng đƣợc cung cấp cho khách hàng hồn tồn thơng qua Internet (từ đám mây), mà không cần phải tải hay cài đặt máy ngƣời sử dụng Hệ thống cung cấp dịch vụ PaaS có ba kiểu tùy chọn khác nhƣ sau: * Phát triển mở rộng khả công việc: Cho phép ứng dụng SaaS có sẵn từ trƣớc đƣợc tùy chỉnh * Môi trường độc lập: Môi trƣờng đƣợc cung cấp không bao gồm vấn đề cấp phép, kỹ thuật, khơng phụ thuộc tài vào ứng dụng SaaS cụ thể đó, chúng đƣợc sử dụng cho phát triển chung * Môi trường phát triển ứng dụng: Những môi trƣờng hỗ trợ cho việc cung cấp mức dịch vụ, nhƣ cung cấp khả an toàn bảo mật hay khả mở rộng theo nhu cầu Nhƣng chúng không bao gồm việc phát triển, gỡ lỗi khả kiểm tra Hướng tới khả kết nối hợp PaaS phải đối mặt với loại vấn đề khả chấp nhận lẫn toàn hệ thống đám mây tƣơng tự nhƣ mơ hình dịch vụ SaaS mà đƣợc xem xét đến mục Lợi ích PaaS - Ngƣời sử dụng trả cho mà họ sử dụng theo hợp đồng cung cấp sử dụng dịch vụ với nhà cung cấp - Tạo tảng phát triển ứng dụng thống nhất, tồn cầu - Loại bỏ phụ thuộc vào phần cứng vấn đề chiếm dụng tài nguyên, từ cho phép nhà phát triển tập trung quan tâm đến mã ứng dụng - Khả co giãn hệ thống - Mơ hình triển khai đơn giản Nhược điểm PaaS - Dịch vụ cung cấp phần mềm – SaaS SaaS mô hình ứng dụng đƣợc cung cấp nhƣ dịch vụ theo yêu cầu cho khách hàng truy cập thơng qua Internet Hình 1.1 cho thấy mơ hình cung cấp ứng dụng Hình 1.2 Mơ hình cung cấp dịch vụ SaaS Khi ứng dụng đƣợc lƣu trữ đám mây nhƣ vậy, nhà cung cấp dịch vụ nhận tất cơng việc sửa lỗi, nâng cấp nhƣ trì hoạt động cho sở hạ tầng Tuy nhiên, ngƣời sử dụng, vấn đề chi phí có hai mặt Một mặt nhƣ đề cập ngƣời sử dụng trả cho xác mà họ dùng Mặt khác, dịch vụ kiểu SaaS yêu cầu ngƣời sử dụng phải trả phí cho tất lúc họ chạy ứng dụng 6 Lợi ích SaaS Hai lợi ích quan trọng SaaS bàn đến là: Cấp rẻ hơn, Có thể đáp ứng đƣợc yêu cầu huy động lực tính tốn lớn cách nhanh chóng, có nghĩa ngƣời sử dụng đạt đƣợc tốc độ xử lý cơng việc lớn Cùng khả tính tốn, tốc độ xử lý sử dụng dịch vụ SaaS phải chịu chi phí nhiều Các nhà cung cấp dịch vụ cung đáng tin cậy so với ứng dụng tự tổ chức Trở ngại thách thức SaaS SaaS có nhƣợc điểm, gây trở ngại cho việc thực sử dụng Một vấn đề quan trọng đề cập mục trƣớc việc an toàn bảo mật liệu ngƣời sử dụng Khi liệu ngƣời sử dụng nằm kiểm soát nhà cung cấp phải có mơ hình hay phƣơng thức nhằm đảm bảo tối đa an tồn riêng tƣ liệu 1.3 Phân loại mô hình cung cấp điện tốn đám mây a) Đám mây công cộng – Public Cloud Computing Cơ sở hạ tầng điện toán đám mây loại đƣợc tạo sẵn cho số đơng cơng chúng nhóm ngành cơng nghiệp lớn đƣợc sở hữu tổ chức bán dịch vụ đám mây b) Đám mây cộng đồng – Community Cloud Computing Mơ hình cộng đồng mơ hình hạ tầng đám mây đƣợc chia sẻ số tổ chức cho cộng đồng ngƣời dùng tổ chức Các tổ chức đặc thù không tiếp cận với dịch vụ đám mây công cộng chia sẻ chung hạ tầng điện toán đám mây để nâng cao hiệu đầu tƣ sử dụng c) Đám mây riêng - Private Cloud Computing Cơ sở hạ tầng điện toán đám mây đƣợc hoạt động phục vụ cho tổ chức Nó đƣợc quản lý tổ chức bên thứ ba tồn hệ thống tổ chức không d) Đám mây lai - Hybrid Cloud Computing Cơ sở hạ tầng điện toán đám mây mà thành phần đƣợc ghép từ hai nhiều đám mây khác (có thể đám mây riêng, cộng đồng, công cộng) mà hoạt động nhƣ thực thể Các đám mây thành phần đƣợc ràng buộc với công nghệ tiêu chuẩn độc quyền cho phép liệu ứng dụng có tính di động 1.4 Xu hướng phát triển điện toán đám mây CHƯƠNG NGHIÊN CỨU CÁC CƠNG NGHỆ ĐIỆN TỐN ĐÁM MÂY LƯU TRỮ, XỬ LÝ DỮ LIỆU ỨNG DỤNG TRONG THỐNG KẾ I GIỚI THIỆU CHƯƠNG II NỘI DUNG 2.1 Ứng dụng cơng nghệ lưu trữ điện tốn đám mây cho liệu Thống kê Hình 2.1: Tổng quát mơ hình lƣu trữ đám mây Một hệ thống đám mây lƣu trữ thông thƣờng đƣợc xây dựng từ vài máy chủ liệu, nhiều hay máy chủ định mơ hình đám mây đƣợc sử dụng Một hệ thống máy tính thƣờng u cầu bảo trì sửa chữa, phải có chế lƣu trữ liệu nhiều máy tính khác Cơ chế đƣợc gọi chế Redundancy Nếu khơng có chế Redundancy, hệ thống đám mây lƣu trữ đảm bảo chắn ngƣời dùng ln truy cập liệu Hệ thống đám mây lƣu trữ hầu hết đƣợc sử dụng nhằm mục đích lƣu phục hồi liệu để chia sẻ liệu với mức độ phân quyền đơn giản Ngoài số hệ thống đám mây lƣu trữ cá nhân phục vụ mục đích doanh nghiệp, tổ chức đƣợc tích hợp liệu với dịch vụ ứng dụng khác để sử dụng thuận tiện hoạt động nghiệp vụ Cơ sở hạ tầng cho đám mây lƣu trữ Các loại hình đám mây lƣu trữ a) Mơ hình dịch vụ đám mây lưu trữ Thường có loại mơ hình đám mây lưu trữ: 2.1.1 Đám mây lưu trữ công cộng (public cloud storage) Khi sử dụng đám mây lƣu trữ công cộng nhà cung cấp dịch vụ khác, doanh nghiệp, tổ chức, cá nhân xây dựng hệ thống tảng mà đƣợc sử dụng tảng phần cứng, tảng quản lý có sẵn nhà cung cấp Các cá nhân tổ chức phải thuê mua gói dịch vụ tùy theo nhu cầu sử dụng 2.1.2 Đám mây lưu trữ riêng (private cloud storage): Là môi trƣờng dành riêng đƣợc bảo vệ bên hệ thống tƣờng lửa tổ chức, doanh nghiệp Mơ hình thích hợp với ngƣời dùng cần tối ƣu lại hệ thống đám mây lƣu trữ áp dụng quy trình quản lý liệu chi tiết tổ chức, doanh nghiệp Đám mây lƣu trữ riêng có mơ hình lƣu trữ dịch vụ nằm bên trung tâm liệu tổ chức, sở hạ tầng IaaS mà tổ chức thuê để thực lƣu trữ riêng 2.1.3 Đám mây lưu trữ lai (hybrid cloud): Là mơ hình kết hợp mơ hình đám mây lƣu trữ với phần tảng nhƣ đám mây riêng phần tảng nhƣ đám mây công cộng Khi tổ chức, doanh nghiệp triển khai theo mơ hình này, liệu họ đặt đám mây riêng đặt phần bên ngồi (đám mây cơng cộng) nhằm phục vụ mục tiêu, hoạt động khác b) Một số dịch vụ đám mây lưu trữ - Đám mây lƣu trữ Amazon S3: - Đám mây lƣu trữ hãng Apple: iCloud - Đám mây lƣu trữ hãng Microsoft: Windows Live SkyDrive c) Các tiêu chuẩn cho dịch vụ lưu trữ đám mây - Khả co giãn - Tự động - Khả mở rộng - Bảo mật liệu - Hiệu suất - Tin cậy Hinh 2.2: Mơ hình mức độ tiêu chuẩn cho dịch vụ lƣu trữ đám mây - Dễ quản trị - Hiệu 2.2 Các mơ hình thu thập, xử lỹ liệu Thống kê 2.2.1 Thực trạng ứng dụng công nghệ thông tin ngành Thống kê a Xử lý thông tin thống kê b Về sở liệu c Truyền số liệu d Phổ biến số liệu e Cơ sở hạ tầng cơng nghệ thơng tin 2.2.2 Một số mơ hình thu thập, xử lý liệu áp dụng ngành Thống kê a Quy trình xử lý tổng điều tra Dân số nhà năm 2009 10 Cấp tỉnh: nhập file DS ĐB tổng hợp sơ Giao nhận phiếu Chuẩn bị phiếu Phiếu xấu Phiếu xấu Cắt phiếu Xác minh ĐB sai số lƣợng sau scan 23 Quản trị, giám sát, công cụ hỗ trợ Phiếu xấu Scan T.tin phiếu bị xoá FormID / ManualID Mass Verify 22 Tích hợp CSDL QL 3TT, Trang web điều hành T.tin phiếu bị xoá Data Verify T.tin phiếu bị xoá 10 Exception 11 Export 12 Group Output (ghép file ĐB) 13 Bới tìm phiếu bị xố theo 14 Nhập tin phiếu xấu 15 Ghép file xã/huyện 17 Cơng cụ hỗ trợ tìm phiếu thiếu, nhập phiếu thiếu, sai lơ xã/huyện, bới tìm phiếu 21 Hiệu chỉnh số liệu 16 Kiểm tra + Sửa ID phiếu 18 Chuyển cấu trúc file DAT 19 K.tra + Sửa logic 20 K.tra xác minh số lƣợng phiếu, hộ file xã.huyện Hình 2.3: Quy trình xử lý tổng điều tra Dân số nhà năm 2009 b Mơ hình thu thập, xử lý liệu điều tra công nghiệp tháng điều tra công nghiệp năm áp dụng công nghệ EFORM a Kiến trúc hệ thống Hệ thống Điều tra Công nghiệp tháng Điều tra Doanh nghiệp năm đƣợc xây dựng giao diện web Hệ thống đƣợc cài đặt Trụ sở văn phòng triển khai đến đơn vị qua hệ thống mạng chia sẻ (mạng nội kết nối ngồi có giới hạn) dựa chức đƣợc phân quyền theo nghiệp vụ đơn vị 11 Hình 2.4: Mơ hình tổng quan chung sử dụng cơng nghệ EFROM b) Mơ hình phân rã chức Hình 2.5: Mơ hình phân rã chức Điều tra Cơng nghiệp tháng Doanh nghiệp năm c) Mơ hình luồng liệu Kiến trúc hệ thống chung cho thí điểm Điều tra Cơng nghiệp tháng Điều tra Doanh nghiệp năm đƣợc xây dựng cho cấp: Doanh nghiệp, Cục thống kê Tỉnh/TP, Vụ cơng nghiệp Q trình truyền liệu hệ thống đƣợc mô tả nhƣ hình sau: 12 Hình 2.6: Mơ hình luồng liệu Điều tra Công nghiệp tháng Doanh nghiệp năm Dữ liệu đƣợc đặt lƣu tập trung Trụ sở văn phòng Hệ thống đƣợc phân cấp theo nghiệp vụ đơn vị với chức chuyên biệt d Kiến trúc vật lý: 2.3 Dữ liệu lớn (Big Data) ? Về cơng nghệ trội năm 2012 vừa qua, nói đến Dữ liệu lớn (Big Data) Big data tập liệu lớn và/hoặc phức tạp mà phƣơng pháp đại CNTT chƣa phân tích xử lý tốt đƣợc chúng Tên gọi „Dữ liệu lớn‟ làm nhiều ngƣời khơng biết đến khía cạnh độ phức tạp liệu Thật ra, hai tính chất liệu lớn nhau, tính chất „rất phức tạp‟ cịn đặc trƣng thách thức „kích thƣớc lớn‟ liệu Điều thấy chừng mực định nghĩa IBM liệu lớn với ba chữ V: Variety, Velocity Volume + Volume: độ lớn liệu mức terabytes (1012), petabytes (1015 bytes), exabytes (1018 bytes) + Velocity: tính chất chuyển động liên tục dịng liệu lớn cần xử lý, khác với cách truyền thống ta thu nhận xử lý liệu theo mẻ (batch) + Variety: đa dạng, liên kết chằng chịt liệu với nhiều cấu trúc khác nhau, từ liệu quan hệ, đến liệu không cấu trúc nhƣ văn thô… - Dữ liệu lớn từ đâu ra? 13 Việc lƣợng liệu lớn ngày nhiều quanh ta thực khách quan Dữ liệu lớn có nhiều tổ chức, nhiều hoạt động xã hội, kinh doanh, khoa học tiềm ẩn nhiều giá trị to lớn Chìa khóa liệu lớn Hình 2.8: Mơ hình tổng qt khai thác liệu (nguồn WAMDM, Web Group) Mặc dù phát triển, ba chìa khóa khai thác liệu lớn ln đƣợc xem là: - Quản trị liệu: tức lƣu trữ, bảo trì truy nhập nguồn liệu lớn - Phân tích liệu: tức tìm cách hiểu đƣợc liệu tìm thơng tin tri thức quý báu từ liệu - Hiển thị (visualization) liệu kết phân tích liệu 2.4 Đánh giá số ưu, nhược điểm cho lưu trữ liệu Thống kê điện toán đám mây a) Một số ƣu điểm cho việc lƣu trữ liệu Thống kê điện toán đám mây - Tốc độ xử lý nhanh - Khả lƣu trữ, mở rộng khơng bị giới hạn - Sao lƣu phục hồi liệu - Chi phí thấp q trình lƣu trữ liệu - Khơng phụ thuộc vào thiết bị vị trí địa lý 14 - Khả bảo mật đƣợc cải thiện tập trung liệu b) Một số nhƣợc điểm cho việc lƣu trữ liệu Thống kê điện toán đám mây - Tính riêng tƣ - Tính sẵn sàng liệu bị phụ thuộc - Giao diện không tƣơng thích - Mất liệu - CHƯƠNG III ĐỀ XUẤT GIẢI PHÁP LƯU TRỮ, XỬ LÝ VÀ TRÌNH DIỄN DỮ LIỆU CHO NGÀNH THỐNG KÊ VÀO ĐIỆN TOÁN ĐÁM MÂY (iDRAGON COULD ) GIỚI THIỆU CHƯƠNG Trong chƣơng ba giới thiệu tổng quát điện toán đám mây riêng iDragon Clouds Dựa tảng HTML5 để viết ứng dụng mẫu xử lý, trình diễn liệu Thống kê điện toán đám mây iDragon Clouds NỘI DUNG 3.1 Tìm hiểu điện tốn đám mây iDragon Clouds 3.1.1 Tổng quan iDragon Clouds cung cấp giải pháp tảng xây dựng mạng đám mây riêng, bao gồm đám mây cá nhân, đám mây chia sẻ nhóm đám mây công cộng Các đám mây riêng dùng để lƣu trữ liệu, cung cấp dịch vụ, phần mềm nội dung số bên mạng nội doanh nghiệp, mạng diện rộng Internet iDragon Clouds giải pháp điện tốn đám mây riêng hồn thiện có đầy đủ chức năng, đƣợc đóng gói sẵn sàng để chuyển giao cho khách hàng đối tác doanh nghiệp ngƣời dùng cá nhân - Mơ hình triển khai 15 Hình 3.1: Mơ hình triển khai iDragon Clouds Hạ tầng đám mây iDragon Clouds đƣợc xây dựng máy chủ đám mây (DataBox) cung cấp dịch vụ quản lý lƣu trữ liệu, thiết bị mạng đám mây (CloudBox) kết nối mạng nội doanh nghiệp với dịch vụ đám mây phần mềm máy tính đám mây (CloudPC), máy tính bảng đám mây (CloudTablet), điện thoại đám mây (CloudPhone), trình duyệt Web truy cập đám mây (HTML5 WebBrowser) Các phần mềm máy chủ thiết bị kết nối mạng đƣợc thiết kế, đóng gói cài đặt cung cấp lớp dịch vụ điện tốn đám mây lớp hạ tầng (Infrastructure), lớp tảng (Platform) lớp ứng dụng (Software) Đối với máy tính trạm, máy tính xách tay, máy tính bảng, điện thoại thơng minh phần mềm truy cập dịch vụ đám mây iDragon Clouds sử dụng hai phƣơng thức triên khai phần mềm sụn (firmware) phần mềm cài đặt (software) Ngồi dịch vụ điện tốn đám mây iDragon Clouds cịn truy cập trình duyệt Web hỗ trợ HTML5 3.1.2 Các dịch vụ đám mây iDragon Clouds a) Các dịch vụ tảng b) Các dịch vụ giá trị gia tăng 3.3.3 Các giải pháp phần mềm tảng đám mây iDragon Clouds a) iDragon® Cloud Explorer (iDCE) 16 b) iDragon®Cloud Scanner (iDCS) c) iDragon®Cloud Sensor Monitor (iDCSM) d) iDragon®Cloud Customer Care (iD3C) 3.2 Quy trình tạo lập, lưu trữ liệu ứng dụng cho liệu Thống kê iDragon Clouds 3.2.1 Hệ thống quản lý Thống kê 3.2.2 Tổ chức lưu trữ liệu a) Metadata gì? Metadata dùng để mơ tả thông tin Thuật ngữ "meta" xuất xứ từ Hy Lạp dùng để có chất cao liệu thơng tin Vì metadata liệu thơng tin liệu khác, hay gọi siêu thơng tin Nó đƣợc thƣ viện truyền thống đặt vào mục lục biên mục đƣợc sử dụng thƣờng để mô tả thông tin tài nguyên Web Một ghi Metadata bao gồm tập thuộc tính tập phần tử cần thiết để mô tả tài nguyên theo yêu cầu Ví dụ, hệ thống metadata thơng thƣờng thƣ viện, biên mục biểu ghi thƣ viện, chứa tập ghi metadata dùng để mô tả sách thƣ mục thƣ viện khác nhƣ: tác giả, tiêu đề, ngày xuất bản, đối tƣợng đề cập số gọi (call number) để vị trí tài liệu giá sách Mối liên kết ghi metadata việc mơ tả tài ngun hai dạng : Các phần tử metadata đƣợc chứa ghi tách rời với tài liệu Metadata đƣợc gắn vào tài liệu 17 b) Dublin Core Metadata Dublin Core Metadata chuẩn dùng cho nội dung biểu ghi liệu mơ tả Nó đơn giản MARC có 15 phần tử Mục đích thiết kế để sử dụng Internet, đƣa mô tả chung cho tài liệu chuyên ngành thƣ viện tài liệu không chuyên Web site khác Các phần tử liệu MARC Dublin Core trao đổi lẫn theo giản đồ (schema) phục vụ cho mục đích hiển thị ngƣời dùng Dublin Core Metadata có đặc tính sau : Việc tạo lập trì DC Metadata phải dễ dàng Ngữ nghĩa dùng DC Metadata phải thơng dụng dễ hiểu DC Metadata có tính quốc tế tính địa phương cao DC Metadata có tính mở rộng cao - Cú pháp Dublin Core Metadata + dùng HTML/XHTML Các tài liệu HTML/XHTML sử dụng nhãn "" để lƣu trữ Metadata Nếu có liệu Metadata thơng tin phải xuất phần HEAD tài liệu HTML/XHTML Trình duyệt web hay phần mền tƣơng tự hiểu liệu metadata, bắt đầu sau dòng "" kết thúc trƣớc dòng "", nhƣ trích lấy liệu metadata cách tự động Metadata không xuất phần định dạng xuất tài liệu, trình duyệt web nhận metadata không xử lý chúng, nhƣng máy tìm kiếm (search engine) có khả sử dụng thông tin metadata tài liệu HTML/XHTML Trong trang XHTML, định nghĩa phần tử ghi bắt đầu với "" Bên nhãn META, hai cặp thuộc tính/gía trị đƣợc dùng để định nghĩa metadata, cặp tên (NAME), cặp thứ hai nội dung (CONTENT): Bất kỳ phần tử metadata bỏ qua lặp lại Khi có phần tử lặp lại, đƣợc định nghĩa cách rời rạc nhƣ sau : 18 Có thể viết lại trƣờng hợp cách dùng thuộc tính NAME với nhiều dấu ";" để phân định gía trị cho thuộc tính CONTENT nhƣ sau: Theo quy ƣớc, tiền tố "DC" phải đƣợc viết hoa tên phần tử phải viết hoa ký tự Ví dụ META NAME="DC.Title" hay META NAME="DC.Creator" Không đƣợc viết nhƣ sau: DC.CREATOR dc.CREATOR DC.creator + Dùng tài liệu RDF/XML: Có cách sử dụng nhãn META liệu metadata độc lập liệu metadata gắn thêm 3.2.3 Tích hợp với máy tìm kiếm Lucene Search Engine Các thơng tin tài liệu dƣới dạng tập tin metadata định dạng theo XHTML thuận tiện cho việc quản lý tài liệu Và với mục đích tăng tốc độ xử lý, tận dụng hiệu tài nguyên máy chủ lƣu trữ, iDMS đƣợc kết hợp với máy tìm kiếm mã nguồn mở mạnh Lucent Search Engine Mỗi tài liệu khu đƣợc lƣu trữ vào hệ thống tập tin đƣợc đánh mục lƣu vào sở liệu máy tìm kiếm Các định dạng tập tin mục: Các khái niệm Lucene bao gồm: Chỉ mục (index), tài liệu (document), trƣờng (field) chủ chốt (term) 3.3 Viết ứng dụng mẫu trình diễn liệu Thống kê điện tốn đám mây iDRAGON CLOUDS Áp dụng thử nghiệm hệ thống thu thập xử lý liệu điều tra Doanh nghiệp năm 2012 điện toán đám mây iDragon Clouds 3.3.1 Cấu trúc liệu Điều tra Doanh nghiệp năm 2012 sau chuẩn hóa lưu trữ điện tốn đám mây có dạng sau: 1349424284 31 2076 19 Công Ty Trách Nhiệm Hữu Hạn Gerbera Precision Việt Nam 0201123153 Nhà Xƣởng C3 -3, Lô C3, Kcn Tràng Duệ 12 Sản Xuất Và Lắp Ráp Linh Kiện Đồng Hồ Đo Nƣớc 26520 235 0 198 0 16 2 19 0 0 3.3.2 Cài đặt thử nghiệm Hệ thống thử nghiệm yêu cầu Cục Thống kê Tỉnh/Thành phố đăng ký theo kênh riêng để có tài khoản đăng nhập hệ thống Sau có tài khoản, ngƣời sử dụng đăng nhập hệ thống băng trình duyệt Internet Explore Firefox thơng thƣờng Màn hình giao diện có dạng nhƣ sau: 20 Một số thông tin Doanh nghiệp Biểu đồ so sánh trình độ lao động doanh nghiệp Biều đồ so sánh trình độ chuyên mộn đào tạo lao động tinh 21 Biều đồ so sánh tỷ lệ doanh nghiệp nhà nƣớc, doanh nghiệp nhà nƣớc doanh nghiệp nƣớc III KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Những kết đạt Sau thời gian nghiên cứu, thực hiện, luận văn hoàn thành thực đƣợc vấn đề sau: Tổng quan điện toán đám mây vấn đề đặt xung quanh mơ hình dịch vụ đám mây 22 Tìm hiểu vêc cơng nghệ lƣu trữ, xử lý liệu lớn (Big Data) Cùng việc nghiên cứu mơ hình ứng dụng Điện tốn đám mây iDragon Clouds việc lƣu trữ xử lý liệu Vấn đề ứng dụng điện tốn đám mây nói chung việc phân tích ƣu nhƣợc điểm Nghiên cứu giải pháp ứng dụng Điện toán đám mây ngành Thống kê Hướng phát triển điện toán đám mây ngành Thống kê Do thời gian trình độ tác giả hạn chế nên sau luận văn này, tác giả cẩn phải bỏ nhiều thời gian nghiên cứu, học hỏi để hoàn thiện vấn đề lớn nêu luận văn Cụ thể, tác giả có số kiến nghị hƣớng phát triển luận văn nhƣ sau: Với mục tiêu nâng cao lực công tác thống kê qua việc ứng dụng thành tựu cơng nghệ điện tốn đám mây nhằm nâng cao chất lƣợng số liệu thống kê, phục vụ kịp thời, thuận tiện yêu cầu cảu đối tƣợng sử dụng thông tin thống kê Kết luận Căn vào mục đích, Luận văn thực đầy đủ nội dung đặt theo trình tự cần thiết, làm sáng tỏ mơ hình điện tốn đám mây ngƣời sử dụng Với kết đạt đƣợc, khẳng định mơ hình khả thi, phù hợp mang lại nhiều lợi ích điều kiện Việt Nam Cụ thể, lớp lớn tốn, trƣớc khó có khả cơng nghệ thơng tin hóa nƣớc ta khơng triệt để lý kinh tế, điều kiện mơi trƣờng hay trình độ tin học ngƣời sử dụng… giải đƣợc theo hƣớng mơ hình Do hạn chế thời gian thực hiện, luận văn dừng lại đề xuất mơ hình triển khai ứng dụng Tác giả mong đƣợc góp ý bảo Thầy, Cô  ... ứng dụng điện toán đám mây lƣu trữ xử lý liệu trở thành chủ đề nghiên cứu quan trọng Đó lý lựa chọn đề tài nghiên cứu luận văn: ? ?Tìm hiểu giải pháp lưu trữ, xử lý trình diễn liệu thống kê ứng dụng. .. LIỆU ỨNG DỤNG TRONG THỐNG KẾ CHƢƠNG III ĐỀ XUẤT GIẢI PHÁP LƢU TRỮ, XỬ LÝ VÀ TRÌNH DIỄN DỮ LIỆU CHO NGÀNH THỐNG KÊ VÀO ĐIỆN TOÁN ĐÁM MÂY (iDRAGON COULD) CHƯƠNG TỔNG QUAN VỀ ĐIỆN TOÁN ĐÁM MÂY 1.1... tổng quát điện toán đám mây riêng iDragon Clouds Dựa tảng HTML5 để viết ứng dụng mẫu xử lý, trình diễn liệu Thống kê điện tốn đám mây iDragon Clouds NỘI DUNG 3.1 Tìm hiểu điện toán đám mây iDragon