华信教育资源网
信息论——经典与现代
作   译   者:刘宴涛,王雪冰,秦娜 出 版 日 期:2019-08-01
出   版   社:电子工业出版社 维   护   人:刘小琳 
书   代   号:G0361100 I S B N:9787121361104

图书简介:

本书主要包括两部分内容:经典香农信息论和现代网络信息论。经典香农信息论主要讨论信息的度量、表示和传输等问题,包括熵、信道容量、信源编码和信道编码等概念和理论,这部分内容分布在本书的前11章。第12、13章介绍了现代网络信息论,主要讨论信息在网络中的有效传输问题,包括网络编码和网络容量域,这部分内容是近十几年来信息论研究的新课题。本书内容自成体系,读者只需要具备高等数学、线性代数和概率的数学基础即可,本书所使用的其他数学工具,如有限域、信息不等式等,均以附录的形式提供给读者,因此极大地提高了读者的学习效率。本书可作为高等学校电子信息工程、通信工程及相关专业的本科生、研究生教材,也可供工程技术人员参考使用。
您的专属联系人更多
关注 评论(0) 分享
配套资源 图书内容 样章/电子教材 图书评价
  • 配 套 资 源

    本书资源

    本书暂无资源

    会员上传本书资源

  • 图 书 内 容

    内容简介

    本书主要包括两部分内容:经典香农信息论和现代网络信息论。经典香农信息论主要讨论信息的度量、表示和传输等问题,包括熵、信道容量、信源编码和信道编码等概念和理论,这部分内容分布在本书的前11章。第12、13章介绍了现代网络信息论,主要讨论信息在网络中的有效传输问题,包括网络编码和网络容量域,这部分内容是近十几年来信息论研究的新课题。本书内容自成体系,读者只需要具备高等数学、线性代数和概率的数学基础即可,本书所使用的其他数学工具,如有限域、信息不等式等,均以附录的形式提供给读者,因此极大地提高了读者的学习效率。本书可作为高等学校电子信息工程、通信工程及相关专业的本科生、研究生教材,也可供工程技术人员参考使用。

    图书详情

    ISBN:9787121361104
    开 本:16开
    页 数:308
    字 数:517.0

    本书目录

    目录
    
    第1章  绪论	1
    1.1  从通信谈起	1
    1.2  模拟通信与数字通信	2
    1.3  信息论的诞生——香农1948年发表的论文	3
    1.4  什么是信息	4
    1.5  信息论的研究内容	5
    习题	7
    第2章  离散信源和离散熵	8
    2.1  信源的数学模型及分类	8
    2.2  离散熵	9
    2.3  离散熵的性质	12
    2.4  二维信源的联合熵和条件熵	13
    2.5  平均互信息	15
    2.5.1  两个随机变量的平均互信息	15
    2.5.2  多个随机变量的平均互信息	17
    2.6  离散平稳信源的熵率	18
    2.7  马尔可夫信源	21
    2.7.1  马尔可夫链	21
    2.7.2  马尔可夫信源	23
    2.8  本章小结	25
    习题	25
    第3章  离散无失真信源编码	28
    3.1  信源编码的基本概念	28
    3.1.1  信源编码的两种策略	28
    3.1.2  信源编码的分类	29
    3.2  渐近等分割性定理	30
    3.3  等长信源编码	33
    3.4  变长信源编码	35
    3.5  离散信源编码方法	39
    3.5.1  Huffman编码	39
    3.5.2  Fano编码	42
    3.5.3  香农编码	43
    3.5.4  算术编码	44
    3.6  本章小结	46
    习题	46
    第4章  离散信道和信道容量	48
    4.1  信道的数学模型	48
    4.1.1  信道的分类	48
    4.1.2  信道的数学模型	49
    4.2  平均互信息的凸性	50
    4.3  信道容量	52
    4.3.1  一般离散信道的信道容量	55
    4.3.2  对称信道的信道容量	60
    4.4  多符号信道和并联信道	62
    4.5  串联信道和数据处理定理	64
    4.6  本章小结	65
    习题	66
    第5章  有噪信道编码	69
    5.1  单符号离散信道的译码规则	69
    5.2  如何降低译码错误概率	73
    5.3  译码错误概率和信息传输率的折中	76
    5.4  信道编码	80
    5.5  联合渐近等分割性定理和香农第二定理	82
    5.6  信源信道分离编码	88
    5.7  本章小结	89
    习题	90
    第6章  波形信源和波形信道	92
    6.1  随机过程基础	92
    6.1.1  信号的分类	92
    6.1.2  随机过程	93
    6.1.3  随机波形信源	96
    6.2  连续型随机变量的微分熵	96
    6.2.1  连续型随机变量	96
    6.2.2  微分熵	99
    6.2.3  微分熵的性质	102
    6.2.4  最大熵分布	103
    6.3  连续信道和波形信道	104
    6.3.1  连续信道和波形信道的分类	104
    6.3.2  连续加性信道的转移概率密度函数	104
    6.3.3  连续信道和波形信道的信道容量	106
    6.4  高斯信道	106
    6.4.1  高斯信道与离散信道	107
    6.4.2  高斯信道的信道容量	109
    6.4.3  限带AWGN信道的信道容量	111
    6.5  香农公式	112
    6.5.1  增加信道容量的两种方法	112
    6.5.2  Eb/N0和香农限	112
    6.6  本章小结	114
    习题	115
    第7章  率失真理论	116
    7.1  量化失真	117
    7.2  失真度与率失真函数	117
    7.3  率失真函数的定义域	121
    7.4  率失真函数的性质	125
    7.5  率失真函数的计算	126
    7.5.1  离散信源率失真函数的计算	126
    7.5.2  连续信源率失真函数的计算	132
    7.6  保真度准则下的信源编码定理	136
    7.7  本章小结	136
    习题	137
    第8章  线性分组码	139
    8.1  线性分组码的一般理论	140
    8.1.1  基本概念	140
    8.1.2  G矩阵和H矩阵	141
    8.1.3  伴随式	144
    8.1.4  检错和纠错	144
    8.1.5  标准阵译码和伴随式译码	147
    8.1.6  线性分组码的几何解释和检错、纠错能力	149
    8.2  汉明码(Hamming Code)	150
    8.3  本章小结	152
    习题	153
    第9章  循环码	155
    9.1  基本概念	155
    9.2  循环码的多项式表示法	155
    9.3  循环码的G矩阵和H矩阵	159
    9.4  系统循环码	160
    9.5  循环码的编码	161
    9.6  循环码的译码	162
    9.6.1  梅吉特译码	163
    9.6.2  捕错译码	165
    9.6.3  大数逻辑译码	166
    9.7  本章小结	167
    习题	167
    第10章  卷积码	168
    10.1  一般概念	168
    10.2  卷积码的多项式表示	173
    10.3  卷积码的状态图表示	174
    10.4  卷积码的网格图表示	175
    10.5  维特比译码	176
    10.6  本章小结	178
    习题	179
    第11章  多用户信息论	180
    11.1  相关信源编码	180
    11.2  具有边信息的信源编码	183
    11.3  多址接入信道	183
    11.4  广播信道	186
    11.5  中继信道	187
    11.6  本章小结	188
    习题	189
    第12章  现代网络信息论	190
    12.1  网络编码基本思想	191
    12.2  网络编码的概念	193
    12.3  线性网络编码	195
    12.3.1  确定网络编码	195
    12.3.2  随机网络编码	199
    12.4  本章小结	200
    习题	201
    第13章  网络容量域	202
    13.1  网络流	202
    13.2  网络容量域	203
    13.3  均匀分数网络	205
    13.4  路由容量域	206
    13.4.1  多重单播路由网络容量域	207
    13.4.2  一重组播路由网络容量域	210
    13.4.3  二重混合路由网络容量域	218
    13.5  编码容量域	221
    13.5.1  编码容量域的理论解	221
    13.5.2  编码容量域的割集限	223
    13.6  本章小结	226
    习题	226
    附录A  有限域	227
    A.1  集合	227
    A.1.1  集合的定义	227
    A.1.2  集合的运算	228
    A.1.3  映射	230
    A.1.4  代数系统	231
    A.2  群	231
    A.2.1  群的定义	231
    A.2.2  陪集和拉格朗日定理	233
    A.3  环	233
    A.3.1  环的定义	233
    A.3.2  整环	235
    A.3.3  多项式环	236
    A.4  域	237
    A.4.1  域的定义	237
    A.4.2  扩域	240
    A.4.3  GF(2)	244
    A.5  小结	246
    附录B  向量空间	247
    附录C  矩形博弈	249
    附录D  信息不等式	253
    D.1  从集合论视角看待信息量	253
    D.2  熵空间和原子空间	257
    D.3  信息不等式	261
    D.4  元形式香农信息度量	263
    D.5   和 	266
    D.6   	267
    习题答案	269
    参考文献	295
    展开

    前     言

    前言
    
    一、“信息论”的课程特点
    “信息论”是通信工程、电子信息工程等相关专业的专业基础课,其重要性可以跟“信号与系统”“通信原理”等课程相比。但是,从课程特点上看,信息论比这些课程更抽象,在“信号与系统”“通信原理”等课程中涉及的概念或技术往往非常具体,例如,波形和频谱都是可观测的,采样、量化、调制、解调等技术也都很直观、具象;从数学工具上看,微积分、线性代数和概率论中比较简单的数学运算对于学习和理解这些课程已经足够。然而,在“信息论”中的概念往往非常抽象,例如,至今尚无法给出信息的完美的或公理化的定义,熵和互信息等都是看不见、摸不着的抽象的量。此外,渐近等分割性等定理的证明需要用到概率极限理论,信道编码和网络编码又需要具备有限域等近世代数的数学基础,这些都是本科生学得比较差,甚至没有学习过的内容,这对有效地学习“信息论”构成了巨大障碍。
    尽管抽象难懂,但“信息论”对于信息技术相关学科专业知识体系的构建是至关重要的。“信息论”是信息科学的奠基石,熵和信道容量等概念从认识论的层面帮助我们透过现象看本质,揭示了信息的根本特征和通信的关键问题,信源编码和信道编码则从方法论的层面帮助我们提高通信的有效性和可靠性,直接服务于工程应用。因此,学习信息论,了解其基本概念和理论,建立信息论的思维和视角对于通信工程和电子信息工程等专业的学生和从业者是非常必要的。
    二、本书的目的
    本书的目的之一是为读者展示和解释经典香农(Shannon)信息理论,搭建一座扶梯,帮助读者克服概念抽象、定理晦涩、推导烦琐等困难,在不破坏科学性和严谨性的前提下,用朴素的语言阐释“信息论”相关定理和定义背后的含义,以及在哪里和如何应用这套理论,把信息论与工程应用联系起来。
    本书的目的之二是打开一扇门,引导读者走进网络信息论这个较新的研究领域。网络信息论研究的是信息在网络中传输、处理、存储、控制和利用的规律。虽然有很多著作把20世纪70年代至2000年之前研究的多用户信息理论也称为网络信息论,但作者认为,真正意义上的网络信息论的诞生应该是以2000年提出的网络编码技术为标志和开端的。这段时间研究的网络通信问题在网络拓扑、传输机制和分析方法等方面更能体现网络信息论的内涵,因此,如果把多用户信息理论称为初等网络信息论的话,2000年之后的网络信息论则可称为现代网络信息论。由于现代网络信息论从诞生至今还不到20年的时间,其理论体系的成熟度远不如经典香农信息理论,因此本书旨在起导引而非综述的作用,点到为止地介绍网络编码的基本概念及网络容量域分析等问题,还有很多课题,如网络传输的安全性[24,37]、网络存储编码[42]、网络纠错码[31]、网络层析和拓扑推断[43]、网络卷积码等,没有包括进来。
    三、本书的主要内容
    本书共13章,第1章为绪论,第2~11章为经典信息论部分,第12章和第13章为现代网络信息论部分,对各章具体内容概括如下。
    第1章为绪论,介绍信息论的发展简史、信息论的研究对象和研究内容、信息的概念等。
    第2章讨论离散随机变量及其相关的离散熵、联合熵、条件熵、平均互信息、熵率等概念,还介绍了马尔可夫信源。
    第3章介绍信源编码、等长码和变长码等概念,以及渐近等分割性定理,并基于该定理引出香农第一定理,还介绍了4种离散信源编码方法。
    第4章讨论离散信道和信道容量,介绍离散信道的数学模型和平均互信息的两种凸性,以及信道容量的概念和计算。
    第5章介绍有噪信道编码理论,包括译码准则的概念、译码准则和译码错误概率的关系、降低译码错误概率的可行思路、联合渐近等分割性和香农第二定理等。
    第6章介绍波形信源和波形信道,包括随机过程基础、连续信源的微分熵的定义和性质、最大熵分布、连续信道和波形信道。最后,作为波形信道的重要实例,分析了高斯信道的信道容量,并引出著名的香农公式。
    第7章介绍率失真理论,这也是香农信息论体系的重要组成部分,具体包括失真度、失真矩阵、试验信道、率失真函数的定义、性质和计算,以及香农第三定理。
    第8章介绍最经典的信道编码方法——线性分组码,包括线性分组码的定义、生成矩阵和校验矩阵。国内很多教材在介绍这部分内容的时候,大多以汉明码或别的实例为切入点,把生成矩阵和校验矩阵直接提供给读者,让读者明白线性分组码的编译码过程,但这种编排方式不利于读者理解生成矩阵和校验矩阵的由来,无法抓住线性分组码的本质特征。本章紧密围绕生成矩阵和校验矩阵的正交性展开,标准阵译码、伴随式译码、译码错误概率等问题都立足于这个正交性。根据多年的教学经验,笔者认为这种编排方式有利于帮助读者透过现象看本质,深刻理解线性分组码的内涵。
    第9章介绍线性分组码的一个子类——循环码,包括循环码的定义、多项式表示、应用除法求余电路搭建系统循环码的编译码电路,以及Meggit译码器的工作原理等。
    第10章介绍卷积码,包括:卷积码与分组码的区别,卷积码的电路图表示、多项式表示、状态图表示、网格图表示,著名的Viterbi译码方法。
    第11章介绍多用户信息理论,包括相关信源编码、具有边信息的信源编码、多址接入信道、广播信道和中继信道的容量域。这部分内容可以看作初等网络信息论,其中的概念(如容量域)有助于理解第13章关于网络容量域的议题。
    第12章介绍网络编码的概念、思想,以及相对传统路由传输体制的优缺点,并介绍了几种网络编码方法。
    第13章介绍网络容量域的概念和分析方法。网络容量域可以类比于信道容量,但两者的数学模型、分析方法和问题复杂度都大相径庭。本章还介绍了几种具体的分析路由容量域和编码容量域或容量限的方法。
    需要说明的是,在经典香农信息论的理论体系中还包括保密通信理论。香农在1949年发表的Communication Theory of Secrecy Systems[19]中建立了保密通信的信息论框架,为保密通信理论和密码学的发展奠定了理论基础,但后来密码学和通信系统安全逐渐发展为一门独立的学科,其研究内容和研究方法越来越自成体系,而且已经有大量专门介绍密码学的著作存在,所以本书没有把密码学理论包括进来。
    除上面13章内容外,为了帮助读者掌握本书使用的数学工具,本书还补充了4个附录。
    附录A介绍了近世代数的基础知识,包括集合、代数系统、群、环、域等概念,重点讨论了有限域的运算规则,以及扩域、扩域元素的多项式表示、幂表示和向量表示等。有限域是编码学的数学基础,不学习有限域虽然也能理解线性分组码的编译码过程,以及循环码和卷积码的多项式表示(这也正是国内大部分现行教材的编排方式),但这种理解流于表面,不够深刻,当进一步学习如有限几何码、网络编码等编码方法时就会遭遇实质性的困难,因此学习有限域对透彻地理解信息论和编码学是非常必要的。
    附录B介绍了向量空间和矩阵的基础知识。这部分内容在线性代数中学习过。介绍这部分内容是为了帮助读者理解线性分组码生成矩阵和校验矩阵的正交性。
    附录C介绍了博弈论中矩形博弈的相关概念,包括博弈值、鞍点、Nash均衡等。这部分内容主要用于第13章网络容量域分析。博弈论最初诞生于经济学领域,但近年来逐渐和其他学科交叉融合。博弈论的方法可以帮助解决通信中资源的优化配置和某些性能极限等问题,了解一些博弈论的基础内容有助于拓展工科学生的视野。
    附录D介绍了信息不等式。这部分内容是近代信息论的重点研究课题,完全可以作为一章独立存在,但其中的概念,如熵空间、可熵化、熵区域、香农不等式、基本不等式和元不等式,对于本科生而言抽象程度较高、难度较大,因此以附录的形式提供给读者,可以作为选学内容。另外,这部分内容有助于理解和分析网络的编码容量域。
    为了巩固每章的学习内容,本书为各章提供了一些习题,而且在习题答案中为绝大部分习题提供了详细的求解过程。这一方面补充、丰富了各章的例题,另一方面极大地帮助读者理解学习内容,掌握解题方法。
    本书第1~6章及附录B、附录C由王雪冰(中国石油大学胜利学院)完成,第7~10章由秦娜(北京理工大学珠海学院)完成,第11~13章及附录A、附录D由刘宴涛(北京理工大学珠海学院)完成,全书由刘宴涛统稿。
    四、本书的使用方法
    本书的章节安排和学习次序如下图所示。
     
    由于各院校开设“信息论”课程的学时不同,所以学习内容也应该有所取舍。以68个学时为例,可以学习全部13章和4个附录的内容(本科生附录D从简);对于51个学时的课程安排而言,可以免去第13章和附录C、附录D,另外,对于附录A,只需要了解GF(p),尤其是GF(2)上的四则运算规则和多项式运算规则即可,可免去对扩域的学习;对于第12章,简要介绍网络编码的基本思想即可。如果学时很紧张(如34个学时),则可以考虑免去第7章、第11章、第12章、第13章和全部附录,剩下的学习内容也可以帮助读者了解“信息论”课程的基本概念,建立信息论思维。
    考虑到国内很多著作对国外科学家名字的音译不同,如香农被译成山农、仙农、香农等,这很容易造成读者的混淆,因此本书所涉及国外科学家的名字,除香农、马尔可夫外,大部分使用原名。
    五、致谢
    任何一本著作都不可能凭空产生,本书在编写过程中参阅了许多信息论方面的教材和专著,包括傅祖芸[2,3]、朱雪龙[4]、吴伟陵[5]、Cover[6]、Yeung[7]、田宝玉[8,9]、陈运[10]、冯桂[11]、曹雪虹[12]、王新梅[13]、冯克勤[15]等诸位老师的著作,这些著作为本书提供了宝贵的素材和思想源泉。此外,作者还阅读了大量的IEEE、ACM、IET、Elsevier、Springer等数据库的期刊和会议论文,这些学术成果不仅开阔了作者的眼界,促进了作者的科研工作,而且极大地助力了本书的完成。本书把这些引用源列于书后的参考文献中,在此谨向引用源的作者致以最诚挚的敬意和感谢!
    其次,我要向我的恩师,北京理工大学的安建平老师和杨杰老师致以最诚挚的谢意!是恩师把我引入学术和科研的道路上来,为我打开了信息论的大门,我的科研工作和包括本书在内的科研成果都和恩师的指导密不可分。我还要感谢北京理工大学的刘珩老师,当年在一起的学习和科研岁月,以及博士毕业后的多次科研合作极大地帮助了我研究能力和科学水平的提升,在此深表感谢!
    本书的成书、出版受到国家自然基金面上项目(No. 61471045)和辽宁省自然科学基金面上项目(No. 20170540008)的资助,在此一并致谢!
    最后,限于编著者的水平,书中可能会有疏漏甚至错误之处,敬请读者批评指正。
    
    
    编著者  
    2019年5月
    展开

    作者简介

    本书暂无作者简介
  • 样 章 试 读
  • 图 书 评 价 我要评论
华信教育资源网