前言

70多年来，语音信号处理一直是一个活跃的并不断发展的领域。最早的语音处理系统是模拟系统，如20世纪30年代由Homer Dudley及其同事们在Bell实验室开发的Voder（语音演示记录器）系统，该系统可通过手工操作合成出语音，并于1939年在纽约世博会上展出；同一年代同样在Bell实验室Homer Dudley还开发出了通道声码器或称为声音编码器；20世纪40年代在Bell实验室Koenig及其同事们开发出了声音语谱图系统，该系统可以在时域和频域展示语音的时变特征；另外20世纪50年代在全世界很多研究实验室都开发出了早期语音单词识别系统。

数字信号处理（DSP）起源于20世纪60年代，在DSP应用的广泛领域中语音处理是其早期发展的驱动力。在此期间，先驱研究者们如MIT Lincoln实验室的Ben Gold和Charlie Rader，Bell实验室的Jim Flanagan、Roger Golden和Jim Kaiser，他们开始研究数字滤波器的设计和应用方法，并用于语音处理系统的模拟仿真。随着1965年Jim Cooley和John Tukey的快速傅里叶变换（FFT）技术的面世，以及之后FFT在快速卷积和谱分析方面的广泛应用，模拟技术的束缚和局限逐渐被打破，数字语音处理随之产生并展现出一种清晰的面貌。

本书的作者（LRR和RWS）从1968年至1974年在Bell实验室一起密切地工作，期间DSP领域发生了很多基础性的进展。当RWS 1975年离开Bell实验室并在Georgia Tech任学术职位，数字语音处理领域已经蓬勃发展，于是我们觉得写一本关于语音信号数字处理的方法和系统教材的时机到了。到1976年我们相信数字语音处理的理论发展得已经足够完备，精心撰写一本教材不但可以作为传授数字语音处理基础知识的教材，还可以作为将来语音处理实际应用系统设计的参考书。1978年Prentice-Hall出版了这本教材《语音信号数字处理》。采用这本教材，RWS在其新职位上，开设了第一门数字语音处理的研究生课程，期间LRR仍在Bell实验室从事数字语音处理基础研究工作。（LRR在AT＆T Bell实验室和AT＆T实验室工作了40年，之后2002年他也加入学术界，在Rutgers大学和California大学Santa Barbara分校任教。RWS在Georgia Tech工作了30年，于2004年加入了Hewlett Packard实验室。）

1978年出版的教材的目标是呈现语音的基础科学和一系列数字语音处理方法，用以构建强大的语音信号处理系统。从大的方面来讲，我们达到了最初的目标。这本教材按我们的预想服务了30多年，令我们高兴的是，直到今天它仍然广泛应用于本科生和研究生的语音信号处理课的教学中。然而，根据我们过去20年来教授语音处理课程的经验来看，原书的基础尚可，但其中的很多素材已经和当代语音信号处理系统脱钩，对当前很多研究热点方向也没有涉及。这本新书正是我们改正这些弱点的一个尝试。

在着手处理统一数字语音处理现行理论和实践这样艰巨的任务时，我们发现原书中很多内容还是正确和相关的，所以我们有一个很好的起点来开始这本新书。进一步，我们从语音处理的科研和教学实际经验中了解到，1978年的教材的组织材料虽然基本不错，但它已经不适合用来理解当代的语音处理系统。针对这些弱点，我们采用了新的框架来组织新书的材料，对比原书有两大框架上改变。首先，新书中包含了已有的数字语音处理知识体系结构概念。这种体系的第一层是关于语音基础科学和工程方面的基础知识；第二层是集中在语音信号的各种表示。原书主要侧重了这两层，但是一些关键的主题有所缺失。第三层是操作、处理和抽取语音信号中信息的各种算法，这些算法是基于前面两个底层的科学和技术知识。顶层（也就是第四层）是语音处理算法的各种应用，以及处理语音通信系统中问题的技术。

我们努力沿着这种体系结构（第1章中被称为语音金字塔（语音堆））来展现新书的材料。为了达到这样目的，在第2~5章中，我们集中在金字塔底层构建一个坚实的基础，包括语音产生和感知基础知识、DSP基础知识回顾，以及声学、语音学、语言学、语音感知、声道中声音传播的讨论等。在第6~9章，我们了解如何通过基本信号处理原理对数字语音信号不同的（短时）表示（构成了语音金字塔的第二层）。在第10章，我们展示了如何设计可靠和稳健的语音算法来估计感兴趣的语音参数，（构成了语音金字塔第三层的基础）。最后，在第11-14章，我们展示了如何利用语音金字塔前面几层的知识设计和实现各种语音应用（构成了语音金字塔的第四层）。

新书在结构和行文上另外一个主要的变化是为了尽可能的方便教学，我们在呈现材料时同时侧重学习新思想的三个方面，即理论、概念和实现。于是对于本书介绍的每一个基本概念，都用很容易理解的DSP概念进行理论阐释；类似地，为了加深理解，每一个新概念都提供了简单的数学解释和精心准备的例子及插图；最后，基于教学中对基础知识的理解，针对每一个新概念的实现都提供了可实现特定的语音处理操作的MATLAB参考代码（通常包含在每一章当中），每章习题中配备了具有详尽文档作为作业的MATLAB习题。我们还在教学网站上提供了解决所有MATLAB习题所需的材料，包括一些特定的MATLAB代码、访问简单数据库、访问一系列的语音文件等等。最后我们提供了几种语音处理系统结果的音频演示。通过这种方式，读者可以获得各种语音信号操作处理后语音质量方面的直观感觉。

更具体地讲，这本新书的组织如下。第1章大体介绍语音处理的领域，并对贯穿本书主题相关的应用领域进行了简要的讨论。第2章简要回顾了DSP中概念，侧重于与语音处理系统中密切相关的几个关键概念：
1. 从时域到频域的转换（通过离散时间傅里叶变换方法）；
2. 理解采样在频域的影响（也即时域的混叠）；
3. 理解采样在时域的影响（包括降采样和升采样），以及在频域的混叠和镜像。
在回顾DSP技术的基础之后，我们在第3章和第4章中转到了对语音产生和感知基础的讨论。这两章，与第2章和第5章一起，构成了语音金字塔的底层。从这里，我们开始讨论语音产生的声学理论，对不同的语音发音我们导出了一系列声学语音模型，并展示了语言学和语用学如何与语音发声学一起相互作用生成语音信号及其在语言上的解释。从讨论语音在人耳中如何处理开始，到声音转换为通往大脑的听感知神经通路中的神经信号结束，我们通过分析语音感知过程，完成了潜藏在语音通信背后的基础过程的讨论。我们简要地讨论了几种在一些语音处理应用中可能嵌入语音感知知识到听感知模型的方法。接着，在第5章，我们讨论了关于人类声音在声道中传播问题的基础知识。我们展示了和声道相似的均匀无损声管具有共振结构，以此阐明了语音中的共振（共振峰）频率。我们展示了如何通过适当“终端模拟”数字系统表示一系列级联声管的传播特性。该“终端模拟”数字系统具备了特定的激励函数、对应不同长度和面积声管的特定系统响应，以及对应声音在口唇端传输的特定辐射特征。

本书接下来的四章介绍主要四种数字语音信号的表示（语音金字塔的第二层），每章介绍一种。首先在第6章，我们从语音产生的时域模型开始，并逐步展示如何通过简单基于时域测量方法估计模型中基本的时变属性。在第7章，我们展示了短时傅里叶分析概念如何以一种简单而一致的方式应用于语音信号，以至于可以实现一种完全透明（无失真）的分析/合成系统。取决于要进一步处理信息的性质，我们展示了两种短时傅里叶分析/合成系统的解释，两者都有着广泛的应用。在第8章，我们描述了语音的同态（倒谱）表示，其中我们用到了卷积信号（如语音）可以转换为一系列加性分量这一性质。基于语音信号可以表示为激励信号和声道系统的卷积认识，我们容易明白语音信号非常适合这种分析。最后在第9章，我们涉及线性预测分析的理论和实践，线性预测是语音信号的一种模型表示，当前的语音采样可以通过先前p个语音采样的线性组合建模表示，通过寻找最优线性预测器（最小均方误差）的系数，实现在给定一段时间内最优的匹配语音信号。

第10章，代表语音金字塔的第三层，涉及到使用前面章节介绍的信号处理的表示和语音信号的基础知识，作为测量或估计语音信号性质和属性的基础。这里我们展示了短时（对数）能量、短时过零率、短时自相关函数这些测量值如何用来估计基本的语音属性，例如分析的信号段是语音还是静音（背景信号），语音段是浊音还是清音，浊音语音段的基音周期（基音频率），语音段的共振峰（声道共振），等等。对于许多语音属性，我们展示了四种语音表示的每一种都可以作为估计语音属性的高效算法的基础使用。与此相似，我们还展示了如何基于四种语音表示中的两种测量法来估计共振峰。

第11~14章代表语音金字塔的顶层（语音应用），涉及到几种主要的语音和音频信号处理技术应用。这些应用是深入理解语音和音频技术的成果，它们代表了人们几十年来研究如何最好地综合各种语音表示和测量方法，使每一种语音应用都能给出最好性能。我们讨论语音应用的目标是给读者如何构建这些应用提供一种感觉，它们在不同比特率和不同应用场景性能如何。具体来讲，第11章涉及语音编码系统（包括开环和闭环系统）；第12章涉及基于利用了人们熟知的感知掩蔽准则最小编码感知误差的音频编码系统；第13章涉及构建用于口语对话系统中的文语转换语音合成系统；第14章处理语音识别和自然语言处理系统，以及它们在一系列面向任务的场景中的应用。我们在这些章的目标是提供最新的例子，但不求全面覆盖。关于这些应用每一个领域已经有很多教材出版了。

在学生具有基本DSP基础的前提下，这本书的材料可以作为一个学期的语音处理课程来讲授。在我们自己的教学实践中，我们重点强调第3~11章，并选取其他章节的部分材料进行授课，使学生对音频编码、语音合成和语音识别系统的也有一定的认识。为了辅助教学过程，每章都配有一套有代表性的课后习题，用于强化每章所讨论的思想。如前所述，成功完成一定比例合理的课后习题对理解语音处理的数学和理论概念非常重要。然而，也正如读者看到的一样，很多的语音处理是经验性的，这一点是由其本质决定的。于是我们包含了一系列MATLAB习题（或者作为正文或者作为习题的一部分）来强化学生对语音处理基本概念的理解。我们也提供了教学网站（http://www.pearsonhighered /Rabiner.com）并在随着更新材料，包括所需的语音文件、数据库和解决MATLAB习题的MATLAB代码，以及一系列语音处理概念的演示。

致谢

在语音处理的整个职业生涯中，我们非常幸运在拥有杰出的研究和学术机构的单位工作，这些单位提供了充满激情的研究环境并且鼓励分享知识。对于LRR，这些单位包括Bell实验室、AT＆T实验室、Rutgers大学和California大学Santa Barbara分校；对于RWS，这些单位包括Bell实验室、Georgia Tech ECE和Hewlett-Packard实验室。没有这些单位的同事和领导的支持和鼓励，这本书不会存在。

很多人对这本书的展现的内容有直接或间接的重大的影响，但我们最应感谢的是James L. Flanagan博士，他是我们两人职业生涯中很多关键点的导师和益友。Jim为我们如何从事科研、如何清晰合理的呈现研究结果提供了鼓舞人心的楷模。无论是对这本书还是我们各自的职业，他的影响都是非常深远的。

我们有幸合作和互相学习的其他人，包括我们的导师MIT的Alan Oppenheim教授和Kenneth Stevens教授，以及我们的同事Georgia Tech的Tom Barnwell教授、Mark Clements教授、Chin Lee教授、Fred Juang教授、Jim McClellan教授和Russ Mersereau教授。这些人既是我们的同事，又是我们的老师，我们感激他们的睿智和多年来的指导。

直接参与本书准备工作的同事包括Bishnu Atal博士、Victor Zue教授、Jim Glass教授和Peter Noll教授，他们每人都提供了具有深刻见解的和高度技术含量的成果，这些成果对展现在本书中的很多材料都产生了很大的影响。其他人允许我们使用其发表物中的图表，他们包括Alex Acero、Joe Campbell、Raymond Chen、Eric Cosatto、Rich Cox、Ron Crochiere、Thierry Dutoit、Oded Ghitza、Al Gorin、Hynek Hermansky、Nelson Kiang、Rich Lippman、Dick Lyon、Marion Macchi、John Makhoul、Mehryar Mohri、Joern Ostermann、David Pallett、Roberto Pieraccini、Tom Quatieri、Juergen Schroeter、Stephanie Seneff、Malcolm Slaney、Peter Vary和Vishu Viswanathan。

我们感谢Lucent-Alcatel、IEEE、美国声学学会及House-Ear Institute提供的支持，允许使用已发表或存档的图表。

同时，我们感谢Pearson Prentice Hall那些帮助出版本书的人们，他们包括策划编辑Andrew Gilfillan、生产编辑Clare Romeo和助理编辑William Opaluch。我们也感谢TexTech International负责文字编辑和校对工作的Maheswari PonSaravanan。

最后，我们感谢赞助商Suzanne Dorothy，感谢他在我们看似无休止的写书期间的关爱、耐心和支持。

Lawrence R. Rabiner和Ronald W. Schafer