图书简介:
CHAPTER 01
物理的沉浸式学习
1.1 背景 / 2
1.2 方法 / 3
1.2.1 “运动之律”的场景搭建 / 3
1.2.2 基于Unity3D物理引擎的动画模拟 / 15
1.2.3 力反馈功能的实现 / 20
1.2.4 3D音效的添加 / 22
1.3 系统介绍 / 25
1.3.1 功能介绍 / 26
1.3.2 工程结构 / 26
1.4 操作步骤 / 27
CHAPTER 02
数学的沉浸式学习
2.1 背景 / 30
2.2 方法 / 31
2.2.1 “数学之魅”的场景搭建 / 31
2.2.2 基于数学思维的交互设计 / 37
2.2.3 数学知识的导学功能 / 43
2.3 系统介绍 / 45
2.3.1 功能介绍 / 45
2.3.2 工程结构 / 45
2.4 操作步骤 / 46
CHAPTER 03
生物的沉浸式学习
3.1 背景 / 49
3.2 方法 / 50
3.2.1 “神经系统”的场景搭建 / 50
3.2.2 手柄交互功能 / 63
3.2.3 自动语音讲解功能 / 68
3.3 系统介绍 / 69
3.3.1 功能介绍 / 69
3.3.2 工程结构 / 69
3.4 操作步骤 / 70
CHAPTER 04
医学的沉浸式学习
4.1 背景 / 72
4.2 方法 / 72
4.2.1 鼻-颅的模型构建 / 74
4.2.2 鼻腔软组织的材质设计 / 80
4.2.3 “鼻-颅解剖结构”的场景搭建 / 85
4.2.4 交互设计 / 93
4.3 系统介绍 / 106
4.3.1 功能介绍 / 106
4.3.2 工程结构 / 107
4.4 操作步骤 / 108
CHAPTER 05
历史的沉浸式学习
5.1 背景 / 111
5.2 方法 / 111
5.2.1 “克利特岛”的场景搭建 / 111
5.2.2 场景漫游实现 / 116
5.2.3 导览交互功能 / 121
5.3 系统介绍 / 127
5.3.1 功能介绍 / 127
5.3.2 工程结构 / 127
5.4 操作步骤 / 128
附录A HTC Vive设备 / 130
附录B Unity3D / 132
附录C 基于物理的渲染 / 133
附录D Unity高清渲染管线 / 135
附录E Unity创建高清VR工程 / 137
附录F Geomagic Touch力反馈设备 / 152
附录G 物理的沉浸式学习系统评价实验及结果分析 / 155
附录H 数学的沉浸式学习系统评价实验及结果分析 / 158
附录I 生物的沉浸式学习系统评价实验及结果分析 / 160
附录J 基于阈值的CT/MRI三维重建 / 163
参考文献 / 166
展开
前 言
20世纪80年代,虚拟现实(Virtual Reality,VR)被提出。虚拟现实是一种通过计算机创建虚拟情境和交互的技术,作用于用户视觉、听觉、力/触觉,使其“沉浸”其中。VR以其沉浸性、交互性和想象性(Immersion、Interaction、Imagination,简称为3I)对教育产生深远的影响。与此同时,增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)被广泛关注。AR就是在真实空间里植入虚拟内容,把虚拟信息(如模型、图片、视频、声音等)映射在现实环境中。MR可直接视为VR和AR的结合体,指合并现实和虚拟环境后产生的新可视化环境。从VR的广义概念上讲,AR、MR是VR的延伸,本书统称VR。
沉浸感,指人们基于视觉、听觉、力/触觉等感觉的全神贯注。人类获取信息中的70%~80%来自视觉感知。听觉感知是仅次于视觉感知的第2个感知通道,起到补充视野之外信息的作用。触觉“Haptics”一词源于希腊语“Haptikos”,在虚拟现实环境里通过力/触觉、动知觉等感知三维虚拟物体的形状、重量、表面纹理等属性信息,使现实世界与虚拟环境之间的界限变得模糊,从而增强真实感和沉浸感。目前,力觉的反馈技术相对触觉更加成熟,因此,大部分研究和应用主要集中于力感模拟。新的其他感知通道,如嗅/味觉、温/湿感等,有的刚起步,有的尚未涉足。
沉浸式VR技术,主要利用沉浸式显示设备(如头盔显示器HTC Vive)、力/触觉交互设备(如Phantom)等,向学习者提供沉浸式感知体验。沉浸式学习(Immersive Learning)通常指通过沉浸式VR技术创造更具操作性、高体验和直观交互等特点的学习活动,以激发学习者的主动性和探究欲,从而提高学习成效。
本书共5章,包括物理、数学、生物、医学、历史等沉浸式学习的典型案例,部分参考了中国科学技术馆的科普实体展项,如物理沉浸式学习中的惯性定律、作用力和反作用力,生物沉浸式学习中的神经细胞,数学沉浸式学习中的滚出的直线、莫比乌斯环、立体四子棋等。神经系统参考了K12生物课标,鼻-颅医学数据来自北京大学第三医院。为了有效进行互动性沉浸式学习,除视觉沉浸感外,基于手柄的三维交互允许用户通过抓握、移动、组装、行动等方式对虚拟模型进行操作。力反馈用于第1章“物理的沉浸式学习”中,学习者通过控制力反馈设备,观察在力的作用下虚拟物体的运动规律,获得直观而深刻的体验,从而加深对物理概念和定律的理解,一定程度上增强物理学习的沉浸感。最后,本书还提供物理、数学、生物的沉浸式学习系统评价实验及结果分析,参见附录G、H、I,医学、历史相关内容的沉浸式学习系统评价方法类似,故省略。
本书旨在通过背景、方法、系统介绍与操作步骤等内容,推动教学过程或内容可视化,强调案例学习,具有以下特色:
① 可操作性强。用大量图示直观说明方法,指导学习者循序渐进地学习。
② 良好的可扩展性。每章提供典型案例,方便学习者进行扩展学习。
③ 配套资源丰富。本书配套源代码等相关资源,读者可登录华信教育资源网(www.hxedu.com.cn)免费下载。
本书提供案例的硬件环境:CPU Intel Core™10875H(8核,16线程);内存为16GB,显卡为NVIDIA GTX 1660TI(显存6GB);硬盘为SSD(1TB);HTC Vive头戴式设备的单眼分辨率为1080×1200px,刷新率为90Hz,视场角为110°;HTC Vive操控手柄采用约3.5m×3.5m空间定位追踪;力反馈设备为Geomagic Touch;软件环境为Windows 10(64bit),3ds Max 2021,SketchUp 2018,Blender 2.93.6,ZBrush 2018,Substance Painter 7.2.2,Unity 2020.2.7f1c1(64bit),开发语言为C#。
本书由骆岩林、王晶、顾培蒂及指导的研究生共同撰写,其中李文静参与第1章和第3章、叶心怡参与第2章、韩靖参与第4章、吴迪参与第5章。另外,本书由国家自然科学基金(No.12126508 和 No.61977063)支持出版。
尽管我们希望本书能够呈现全面、系统的典型案例,但由于时间和水平有限,书中必然存在不少疏漏和欠缺,期待在以后的新版中进一步完善,如基于5G+VR实现跨越时空沉浸式学习等内容。欢迎读者提出宝贵意见,可发邮件到:luoyl@bnu.edu.cn。
作 者
展开