Phân tích dữ liệu trên điện toán đám mây

P Biên www.hutech.edu.vn PHÂN TÍCH *1.2021.CMP189* tailieuhoctap@hutech.edu.vn : I .I V VII b 10 10 11 11 12 12 Y 13 13 15 17 20 20 20 23 24 27 27 28 28 29 33 37 2.4 CÁC CÔNG C 39 39 II 41 41 43 44 44 3.1.1 NFS 44 3.1.2 AFS 45 46 3.2.1 HDFS 46 3.2.2 GFS 55 57 57 .58 60 60 62 3.4.1 Amazon S3 62 3.4.2 OpenStack Swift 65 66 70 71 71 72 72 73 .75 .79 80 83 85 86 87 89 89 93 94 96 98 99 99 III 101 103 107 108 110 5.2.1 Amazon Web Services 111 5.2.2 Salesforce.com 111 5.2.3 Microsoft 111 5.2.4 RedHat 112 5.2.5 Google 112 5.2.6 Cloud Foundry 113 5.2.7 IBM 113 5.2.8 CloudBees 113 114 5.2.10 Windows Azure 115 121 5.2.12 SQL Azure 121 5.2.13 Apps Fabric 123 124 127 128 129 130 130 130 131 133 138 138 142 143 6.2.4 Quy trình phát tri 146 152 153 155 156 157 157 161 164 165 IV 165 mc ng: 165 167 171 172 172 173 175 176 179 179 180 182 185 188 190 191 V Hình 1.2: Các m c l ch s hình thành Hình 1.3: Kh p Hình 1.4: Cơng ngh o hóa 11 12 Hình 1.6: Cơng ngh n th h 4.0 13 m DTDM 13 m DTDM 15 Hình 1.9: Microsoft Azure 17 Hình 1.10: AWS 18 Hình 1.11: Nimbus 18 Hình 1.12: GAE 19 Hình 2.1: M t d ng Date Center theo thi t k c a hãng VMWare 22 Hình 2.2: Mơ hình trung tâm d li Hình 2.3: Trung tâm d li u có nhi Hình 2.4: Mơ hình Trung tâm d Hình 2.5: li n gi n 23 mk tn ng vào 23 n 23 o hóa 27 Hình 2.6: L i ích c a o hóa 28 Hình 2.7: Mơ hình o hóa Hosted based 30 Hình 2.8: Ki n trúc Hypervisor based 30 Hình 2.9: Ki n trúc Monolithic Hypervisor 31 Hình 2.10: Ki n trúc Microkernelized Hypervisor 32 Hình 2.11: Ki n trúc o hóa Hybrid 33 Hình 2.12: Ki n trúc Market-Oriented Cloud 38 Hình 2.13: Ki n trúc l p c a CloudSim 40 Hình 3.1: 1.1.1 NFS 45 Hình 3.2: Ki n trúc h th ng t p tin NFS 46 Hình 3.3 C u trúc c a Hadoop 47 Hình 3.4: Ki n trúc HDFS 51 c t p tin HDFS 52 Hình 3.6: Quá trình t o ghi d li u lên t p tin HDFS 53 Hình 3.7: GFS 56 Hình 3.8: Ki n trúc c a Google File System 57 Hình 3.9: Truy c p d li u qua Rest API 66 Hình 3.10: Mơ t q trình th c thi gói cơng vi c 70 Hình 4.1: K t qu kh o sát c a IDC v nh ng quan ng i c a khách hàng v i 76 Hình 4.2: Quy trình qu n lý r i ro v an toàn b o m t 84 Hình 4.3: B o m t m c v t lý 85 Hình 4.4: Ki p d ch v nh danh d ch v tính tốn 96 VI Hình 4.5: Ki p d ch v 97 Hình 5.1: ng d ng Google Docs 104 Hình 5.2: ng d ng Google Docs 105 Hình 5.3: ng d ng Google Spreadsheet 106 Hình 5.4: T ng quan Microsoft Windows Azure 115 Hình 5.5: Windows Azure cung c p d ch v 117 li u blob, table queue theo ki u 121 Hình 5.7: Windows Azure Platform AppFabric 123 Hình 6.1: Ki n trúc RESERVOIR: Các thành ph n giao di n 135 Hình 6.2: End-to-End SLA 140 Hình 6.3: Các d ch v tài nguyên d ch v 141 Hình 6.4: Quan h gi a SLA, KQI KPI 142 Hình 6.5: Quan h gi a tài nguyên d ch v , KQI KPI 143 Hình 6.6: Quy trình xây d ng SLA 147 Hình 6.7: Ki m soát l i d ch v 159 180 VII G Bài Bài VIII C - 35% 180 BÀI 7: Hình 7.1: Nh 7.1 7.3.2 Liên k t tr Microsoft BÀI 7: 181 EGI Federated Cloud 182 BÀI 7: Content Delivery Network) 7.4 MƠ HÌNH MƠI GI I D CH V - mây IaaS BÀI 7: 183 184 BÀI 7: - n - mây n - 185 BÀI 7: 7.5 CÁC - - - n NG D NG H TR N TOÁN 186 BÀI 7: -as-a- (các m CFEngine Puppet Chef BÀI 7: 187 Bcfg2 188 BÀI 7: Câu 1: Câu 2: OVF? Câu 3: OCCI gì? Tr Câu 4: mây gì? Câu 5: Câu 6: Câu 7: Câu 8: Câu 9: Câu 10: Câu 11: Câu 12: Câu 13: mây Câu 14: mây Câu 15: mây Câu 16: BÀI 7: Câu 17: Câu 18: Câu 19: Câu 20: Câu 21: Câu 22: 189 190 [1] Rosenberg, Jothy, and Arthur Mateos The cloud at your service Manning Publications Co., 2010 [2] Cloud computing: Principles and paradigms Vol 87 Wiley com, 2010 [3] Douglas K Barry and David Dick Web Services, Service-Oriented Architectures, and Cloud Computing Morgan Kaufmann, 2013 [4] Marinescu, Dan C Cloud Computing: Theory and Practice Working paper Computer science Division, Department of electrical engineering & Computer science, University of Central Florida, Orlando, fl, 2012 [5] Chuck Lam Hadoop in Action (1st ed.) Manning Publications Co., Greenwich, CT, USA, 2010 [6] J Lin and C Dyer Data-Intensive Text Processing with MapReduce Morgan & Claypool Publishers, 2010 [7] J Han, M Kamber, and J Pei Data Mining: Concepts and Techniques (3rd Ed), Morgan Kaufmann, 2012 [8] Ashford, Warwick Securing the cloud Computer Weekly, 2011 [9] Hay, Chris and Brian Prince Azure in action Manning Publications Co., 2010 [10] Chang, William Y., Hosame Abu-Amara, and Jessica Feng Sanford Transforming enterprise cloud services Springer, 2010 [11] Hwang, Kai, J J Dongarra, and Geoffrey C Fox Distributed and Cloud Computing Elsevier/Morgan Kaufmann, 2012 [12] http://downloadsach.com - : 191 A ACID Amazon web service (AWS) AFS Amazon Apps Amazon Dynamo API Amazon EC2 Azure Amazon S3 B C Cassandra CloudSim CouchDB Cloud Accounting CRM Cloud Helpdesk CSDL Cloud HRM D Data center Datanode DBMS Dropbox (Big Data) 192 E Eucalyptus F File system namespace G GFS Google App Engine GPU H Hadoop HDFS Hypervisor I Infrastructure as a service Internet K KQI KVM 193 L Liên bang M MapReduce MongoDB Microsoft HyperV N Namenode Nimbus NFS NoSQL Openstack Swift OpenVZ PaaS Platform as a service O P Q QoS R RDBMS Restful 194 S SLA SQL Azure 84 Software as a service T Tài ngun tính tốn Tính tốn phân tán U URL V VMWare W Web X Xen US NIST