图书简介:
第1章 云计算概述 1
1.1 云计算简介 1
1.2 云计算的分类 2
1.2.1 IaaS、PaaS和SaaS 2
1.2.2 IaaS开发和PaaS开发 4
1.3 云计算的特点 5
1.3.1 基本特点 5
1.3.2 云计算与其他集群计算 7
1.4 云计算关键技术 9
1.5 云计算应用 11
1.5.1 云计算平台 11
1.5.2 云计算衍生产品 14
1.6 小结 15
深入思考 16
第2章 虚拟化概述` 17
2.1 虚拟化技术简介 17
2.1.1 计算机虚拟化(服务器虚拟化) 17
2.1.2 存储虚拟化 18
2.1.3 网络虚拟化 20
2.1.4 应用虚拟化 20
2.1.5 桌面虚拟化 21
2.2 服务器虚拟化 22
2.2.1 服务器虚拟化简介 22
2.2.2 服务器虚拟化分类 22
2.2.3 服务器虚拟化用途 24
2.3 x86虚拟化技术 25
2.3.1 x86虚拟化技术的发展 25
2.3.2 x86虚拟化的特征 25
2.3.3 x86虚拟化技术细节 26
2.3.4 x86架构服务器虚拟化系统厂商及其产品 28
2.4 KVM虚拟化技术 31
2.4.1 KVM简介 31
2.4.2 KVM的CPU虚拟化 32
2.4.3 KVM用户物理内存管理 34
2.5 云计算与虚拟化 35
2.5.1 部署与应用 35
2.5.2 向服务转型 35
2.6 小结 36
深入思考 37
第3章 VMware vSphere概述 38
3.1 VMware公司简介 38
3.1.1 x86系统虚拟化技术的提出 38
3.1.2 VMware公司发展历史 39
3.2 VMware公司产品概述 40
3.2.1 核心产品设计理念 40
3.2.2 产品简介 40
3.3 VMware vSphere组成与功能 42
3.3.1 VMware vSphere主要组件 42
3.3.2 VMware vSphere基本功能 43
3.3.3 VMware vSphere高级功能 44
3.3.4 VMware vSphere插件 45
3.4 VMware vSphere 逻辑分层结构和物理拓扑 46
3.4.1 VMware vSphere虚拟化层 46
3.4.2 VMware vSphere管理层 49
3.4.3 VMware vSphere接口层 49
3.4.4 VMware vSphere 数据中心的物理拓扑 50
3.5 VMware ESXi架构 51
3.5.1 Service Console 51
3.5.2 VMkernel 52
3.5.3 ESXi小结 54
3.6 VMware vSphere 5.5特点 55
3.7 VMware vSphere存储 55
3.7.1 硬盘分类 55
3.7.2 磁盘阵列 57
3.7.3 存储分类 57
3.8 小结 59
深入思考 60
第4章 VMware vSphere平台的搭建和使用 61
4.1 ESXi服务器的安装和配置 62
4.1.1 安装ESXi服务器 62
4.1.2 配置ESXi服务器网络 67
4.2 安装配置Openfiler服务器 71
4.2.1 安装Openfiler虚拟机 71
4.2.2 配置Openfiler虚拟机 78
4.3 安装并配置 VMware vCenter 84
4.3.1 安装Windows Server 2003 85
4.3.2 安装虚拟光驱 86
4.3.3 安装vCenter Single Sign On 87
4.3.4 安装VMware vCenter Inventory Service 91
4.3.5 安装VMware vCenter Server 93
4.4 登录vCenter并挂载ESXi主机 99
4.5 连接Openfiler存储 101
4.6 创建虚拟机 107
4.7 小结 112
深入思考 113
第5章 VMware vSphere配置和高级特性 114
5.1 修改硬件参数 114
5.2 查看虚拟机文件 115
5.3 快照的使用 116
5.4 虚拟机转模板 119
5.5 虚拟机迁移 122
5.6 分布式资源调配DRS 125
5.6.1 创建DRS群集 126
5.6.2 体验DRS 129
5.7 资源池的使用 133
5.8 虚拟机的高可用性 134
5.9 热备功能 137
5.10 虚拟网络 138
5.11 存储网络 140
5.12 小结 140
深入思考 141
第6章 OpenStack概述 142
6.1 OpenStack简介 142
6.1.1 OpenStack与云计算 142
6.1.2 OpenStack的功能 143
6.1.3 OpenStack的发展历程 143
6.1.4 KVM开放虚拟化技术 144
6.2 OpenStack架构 145
6.3 OpenStack工作流程 146
6.3.1 Bexar版本的工作流程 146
6.3.2 Folsom版本的工作流程 149
6.4 OpenStack生产环境的配置模式 150
6.5 OpenStack各组件详解 151
6.5.1 Nova组件 151
6.5.2 Keystone组件 151
6.5.3 Neutron组件 153
6.5.4 Swift组件 154
6.5.5 Cinder组件 157
6.5.6 Glance组件 158
6.5.7 Horizon组件 159
6.5.8 Heat组件 160
6.6 OpenStack在企业中的应用 160
6.6.1 小米OpenStack项目概况 160
6.6.2 联想OpenStack的高可用企业云平台实践 161
6.6.3 OpenStack在天河二号的大规模部署实践 162
6.7 VMware与OpenStack的比较 162
6.8 小结 164
深入思考 164
第7章 OpenStack平台的搭建与使用 165
7.1 实验环境资源需求 165
7.2 实验环境拓扑 165
7.3 实验环境配置 167
7.4 安装和配置Identity Service(身份服务) 172
7.4.1 先决条件 172
7.4.2 安装并配置组件 172
7.4.3 配置Apache HTTP服务 173
7.4.4 完成安装 174
7.4.5 创建临时管理员令牌环境 174
7.4.6 创建服务实体和API端点 175
7.4.7 创建域、项目、用户和角色 175
7.4.8 验证操作 177
7.4.9 创建脚本 178
7.4.10 使用脚本 179
7.5 安装和配置Image Service(映像服务) 179
7.5.1 先决条件 179
7.5.2 安装和配置组件 181
7.5.3 完成安装 182
7.5.4 确认安装 183
7.6 安装和配置Compute Service(计算服务) 183
7.6.1 安装并配置管理节点 183
7.6.2 安装和配置计算节点 187
7.7 安装配置Networking Service(网络服务) 190
7.7.1 安装和配置管理节点 191
7.7.2 安装和配置计算节点 197
7.8 安装和配置Dashboard 203
7.8.1 安装和配置组件 203
7.8.2 完成安装 204
7.8.3 验证操作 204
7.9 安装和配置Block Storage Service(块存储服务) 204
7.9.1 安装和配置管理节点 204
7.9.2 安装和配置一个存储节点 208
7.10 Horizon操作 211
7.11 自动化部署 215
7.12 小结 216
深入思考 217
第8章 大数据概述 218
8.1 大数据简介 218
8.1.1 大数据的定义 218
8.1.2 大数据的结构类型 218
8.1.3 大数据的特征 219
8.1.4 大数据的处理技术 219
8.2 大数据处理系统 222
8.2.1 大数据处理系统的功能 222
8.2.2 大数据处理系统的特性 222
8.2.3 云计算与大数据处理系统 223
8.3 大数据处理系统实例 223
8.3.1 Google大数据处理系统 223
8.3.2 Hadoop 225
8.4 大数据应用 226
8.4.1 精准广告投放 226
8.4.2 精密医疗卫生体系 227
8.4.3 个性化教育 227
8.4.4 交通行为预测 227
8.4.5 数据安全 228
8.5 小结 228
深入思考 228
第9章 Hadoop大数据技术 229
9.1 Hadoop概述 229
9.1.1 Hadoop简介 229
9.1.2 Hadoop编年史 230
9.1.3 Hadoop架构 233
9.1.4 Hadoop组件 234
9.2 HDFS概述 235
9.2.1 HDFS简介 235
9.2.2 HDFS工作特性 237
9.2.3 文件读取过程 241
9.2.4 文件写入过程 241
9.3 MapReduce工作原理 242
9.4 Shuffle过程 244
9.4.1 Map端 244
9.4.2 Reduce端 245
9.5 YARN架构任务调度 246
9.5.1 MRv2(MapReduce Version 2)的基本组成 246
9.5.2 YARN的基本组成 246
9.5.3 YARN架构下MapReduce的任务流程 247
9.6 Hadoop应用领域 248
9.7 小结 249
深入思考 250
第10章 Hadoop平台的搭建和使用 251
10.1 Linux系统配置 251
10.2 Hadoop配置部署 257
10.3 运行Hadoop 260
10.4 HDFS Shell命令操作 263
10.5 MapReduce 程序解读 266
10.6 小结 270
深入思考 270
参考文献 271
展开
前 言
云计算(Cloud Computing)是一种动态易扩展的计算方式和信息处理方式。云计算技术的优势在于:理论上讲,使得系统的存储能力和计算能力可以无限扩展。云计算思想的产生源于企业对IT设施投资及管理的实际需求,其更关注如何以低成本扩展IT系统并使其易于管理。
近几十年来,计算模式和信息处理模式经历了从大机时代的终端-主机模式(T-S模式)到个人PC时代的客户机-服务器模式(C-S模式),再到互联网时代的浏览器-服务器模式(B-S模式)的不断演进。随着物联网和互联网应用需求的增大,以及移动宽带网络的普及,用户向互联网输入的数据迅速增长,软件更多地以服务的形式通过互联网被发布和访问。这些日益增长的业务需要海量存储和强大的计算能力来支撑。云计算的特性满足了现实需求,迅猛地发展起来。
当前计算机技术发展的广度和深度是以前无法想象的。计算机专业技术人员想要具备更高的技术能力,就必须快速地掌握各项新技术。多年来,作者一直专注于云计算平台的搭建、使用和运维管理,并开展了云计算理论与实践方面的教学工作。在实际工作中体会到优秀技术资料的稀缺,学习积累过程的不易。为了帮助相关专业人员高效、准确和较为全面地掌握云计算技术的关键知识和技能,作者结合多年教学经验编写本书,希望对读者有所帮助。本书中的实践内容均在实验室和实验教学中进行了验证。
本书的主要内容如下。
第1章 云计算概述。本章首先阐述了云计算技术的架构,服务的类型和特点,以及未来的发展方向。随后从服务层次、部署方式方面介绍了云计算的分类、关键技术,以及云计算、网格、集群、并行计算、分布式计算、效用计算等计算类型的区别与联系。
第2章 虚拟化概述。本章首先阐述了虚拟化技术的定义和分类,详细讲解了几种重要的服务器虚拟化技术,并从性能与用户体验等多个方面比较了这几种虚拟化技术的优势与不足,最后分析了虚拟化技术与云计算的关系。
第3章 VMware vSphere概述。本章首先介绍了VMware公司及其产品线的发展,然后重点介绍了VMware vSphere的系统架构、核心组件、功能特点,最后介绍了VMware ESXi服务器的系统架构。
第4章 VMware vSphere平台的搭建和使用。本章详细介绍了该平台的搭建过程,读者可以仿照虚拟环境下服务器与网络的配置方法,使用物理机搭建系统平台。
第5章 VMware vSphere配置和高级特性。本章详细介绍了该平台的日常运维方法和高级特性。
第6章 OpenStack概述。本章阐述了开源虚拟化管理平台OpenStack的发展历程、系统架构、核心组件、工作流程及生产环境的配置模式,详细介绍了OpenStack组件的功能和结构。
第7章 OpenStack平台的搭建与使用。本章详细介绍了OpenStack平台的安装和配置方法。
第8章 大数据概述。本章首先阐述了大数据的结构类型和数据特征,然后介绍了大数据处理的关键技术,以及大数据处理系统的功能、特性,其与云计算的关系,最后介绍了当下流行的大数据系统的实例及大数据处理技术的经典应用。
第9章 Hadoop大数据技术。本章阐述了开源大数据平台Hadoop的系统架构和关键技术,其中主要介绍了HDFS和MapReduce的工作原理,以及YARN框架的工作流程。
第10章 Hadoop平台的搭建和使用。本章首先详细介绍了Hadoop平台的安装、配置、使用及管理方法,然后通过分析MapReduce程序,详细阐述了Hadoop并行工作的原理和过程。
为方便教学,本书还配有电子课件及教学资源包,读者可登录华信教育资源网(www.hxedu.com.cn)免费注册下载。
作者在本书中使用了部分网络中的资源,如VMware公司官网、OpenStack官网、Hadoop官网的相关资料,专业技术论坛资源及个人博客文章等。这些网络资源为本书提供了很好的参考素材,在此向相关作者表示衷心的感谢。
在本书的写作过程中,吴钊教授为本书的编写提出了许多宝贵的意见和建议,并参与了本书的框架编写工作,熊伟老师、胡春阳老师和程虹老师为云计算相关理论资料的收集和内容编写、实验平台的搭建做出了大量工作,部分实验的验证工作由鲍贵明、张仕山、龙源等完成。
本书得到了国家自然科学基金(61172084)、湖北省科技支撑计划项目(2013BHE022)、湖北省自然科学基金项目(2013CFC026)、湖北省高校优秀中青年科技创新团队项目(T201413)和湖北文理学院特色教材基金项目的资助。由于作者的水平和时间所限,书中难免存在错误和不妥之处,欢迎读者和业界同仁不吝指正。作者E-mail:583436358@qq.com。
作 者
2016年12月
展开