(高纲1205)江苏省高等教育自学考试大纲
27483 语音与图像信号处理
南京理工大学编
江苏省高等教育自学考试委员会办公室
Ⅰ课程性质与设置目的要求
《语音与图象信号处理》是江苏省高等教育自学考试电子工程专业的必修课，是为了培养和检验自学应考者信号处理的基本知识和基本技能而设置的一门专业课程，本课程分为两大部分，第一部分是语音信号处理，第二部分是数字图象处理。
语音信号处理是一门比较实用的电子工程的专业课程，语音是人类获取信息的重要来源和利用信息的重要手段。通过语言相互传递信息是人类最重要的基本功能之一。语言是人类特有的功能，它是创造和记载几千年人类文明史的根本手段，没有语言就没有今天的人类文明。语音是语言的声学表现，是相互传递信息的最重要的手段，是人类最重要、最有效、最常用和最方便的交换信息的形式。语音中除包含实际发音内容的语言信息外，还包括发音者是谁及喜怒哀乐等各种信息。在人类已构成的通信系统中，语音通信方式早已成为主要的信息传递途径之一，具有最方便和最快捷的特点。语言和语音也是人类进行思维的一种依托，它与人的智力活动密切相关，与文化和社会的进步紧密相连，具有最大的信息容量和最高的智力水平。语音信号处理是研究用数字信号处理技术对语音信号进行处理的一门学科，它是一门新兴的学科，同时又是综合性的多学科领域和涉及面很广的交叉学科。
除了语音之外，图像是人类获取信息的另外一个重要来源，大约70%的信息是通过人眼获得的图像信息。图像信号是指将图像作为一种二维信号，采用数字信号处理的方法来对图像进行描述。今后为了表示方便，图像信号就称为图像。在近代科学研究、军事技术、工农业生产、气象、医学等领域中，人们越来越多地利用图像来认识和判断事物，解决实际问题。例如：人们利用人造卫星所拍摄的地面照片，来分析获取地球资源、全球气象和污染情况，利用“和平号”宇宙飞船所拍摄的月球表面照片，分析月球的形成。在医学上，通过CT断层扫描，医生可以观察和诊断人体内部是否有病变组织。在公安侦破中，采用指纹提取并处理进行破案。在军事上，目标的自动识别和自动跟踪都需要进行图像处理。
图像信号的数字处理技术，按照人们通常的习惯，也称为数字图像处理技术，是指用计算机对图像进行处理。它建立在以计算机为中心的包括各种输入、输出及显示设备在内的数字图像处理系统上进行的。有时，结合数字语音处理系统，构成多媒体处理系统。
设置本课程的目的要求：
使自学应考者能够掌握与人类密切相关的两种信息：语音信号和图象信号的基本概念和基本原理，能够应用数字信号处理的基本原理和方法对语音信号和图象信号进行各种处理，如：语音信号数字模型的建立，语音信号的数字化，语音信号的分析、合成、识别、编码的基本原理的基本方法，数字图象信号的采集、表达、各种变换方法和图象信号的编码压缩等。同时能够对语音信号和图象信号处理的最新研究成果与发展趋势有所了解，以适应现代社会对信息处理越来越高的要求。
Ⅱ考试目标(考核知识点，考核要点)
第一部分 语音信号处理
第一章 绪论
一、考核知识点
(一) 语音信号处理的基本概念
(二) 语音信号处理的发展概况
二、考核要点
(一) 语音信号处理的基本概念
1.识记：(1)语音信号对人类的重要性。(2)数字语音的优点。(3)语音学的基本概念。(4)语音信号处理的应用领域。
(二) 语音信号处理的发展概况
1.识记：(1)语音信号处理的发展历史。
(2)语音编码、语音合成、语音识别的基本概念。语音编码技术是伴随着语音的数字化而产生的，目前主要应用在数字语音通信领域。语音合成的目的是使计算机能象人一样说话说话，而语音识别使能够听懂人说的话。
第二章 基础知识
一、考核知识点
(一) 语音产生的过程
(二) 语音信号的特性
(三) 语音信号产生的数字模型
(四) 人耳的听觉特性
二、考核要求
(一) 语音产生的过程
1. 识记：声音是一种波，能被人耳听到，振动频率在20Hz~20kHz之间。自然界中包含各种各样的声音，而语音是声音的一种，它是由人的发音器官发出的，具有一定语法和意义的声音。
2. 领会：(1)语音产生的过程与人类发声的基本原理。 (2)清音、浊音、共振峰的基本概念。语音由声带震动或不经声带震动产生，其中由声带震动产生的音统称为浊音，而不由声带震动而产生的音统称为清音。声道是一个分布参数系统，它是一个谐振腔，有许多谐振频率，称为共振峰，它是声道的重要声学特征。
(二) 语音信号的特性
1. 识记：(1)语音的物理性质，包括音质、音调、音强、音长等特性。语音是人的发音器官发出的一种声波，具有声音的物理属性。其中音质是一种声音区别于其它声音的基本特征。音调就是声音的高低，取决于声波的频率：频率高则音调高，频率低则音调低。响度就是声音的强弱，又称音量。它是由声波震动幅度决定的。声音变的长短也称音长，它取决于发音持续时间的长短。
(2)音素、音节、单词、句子的基本概念以及它们之间的关系。音素是语音的最小、最基本的组成单位，音素都有其独立的各不相同的发音方法和发音部位，它是使听者能区别一个单词和另一个单词的声音的基础。音节是最小的语言片段，一个音节由一个或几个音素组成。单词是由音节结合而成的更大单位，是有意义的语言的最小单位。句子是单词的进一步组合。
(3) 汉语的特点，汉语音节的组成。
2. 领会：语音的时间波形和频谱特性，声门激励和声道响应的频谱特性，特别是清音和浊音的频谱特性、共振峰特性，二者之间的区别。
(三) 语音信号产生的数字模型
1. 识记：(1)语音信号被看成是线性时不变系统(声道)在随机噪声或准调周期脉冲序列激励下的输出。在满足这样的假设条件下，产生了语音信号的基本数字模型，是语音处理技术的基础。
(2)语音信号产生的数字模型框图。
2. 领会：(1)语音信号数字模型各部分的组成依据和频谱特点，包括激励模型，声道模型(声管模型和共振模型)和辐射模型。(2)声道模型中的声管模型和共振峰模型的特点，共振峰模型的三种形式。
(四) 语音感知与人耳的听觉特性
1. 识记：(1)声音的三要素：响度、音调和音色的基本概念。人的听觉系统具有复杂的特性，没有哪一种物理仪器具有人耳那样的特性。听觉机构不但是一个非常灵敏的声音接收器，还具有选择性，此外还有判别声音的强弱、音调和音色的本领。响度是人耳对声音的强弱程度的主管反映，响度取决于声音的幅度，主要是声压的函数，但和频率和波形也有关，人耳对300-4000Hz的声音感觉最灵敏。音调也称音高，是一种主观心理量，是人耳对声音频率高低的感受。音色也叫音质，反映了声音属性。人根据音色在主观感觉上区别具有相同响度和音调的两个声音。
(2)听觉“掩蔽效应”的基本概念与应用。
第三章 时域分析
一、考核知识点
(一) 语音信号的数字化和预处理
(二) 短时能量分析
(三) 短时过零分析
(四) 短时相关分析
二、考核要求
(一) 语音信号的数字化和预处理
1. 识记：(1)取样和量化的基本概念。为了将原始的模拟语音信号变成数字信号，必须经过取样和量化两个步骤，，从而得到在时间和幅度上均离散的数字语音信号。取样是将时间上连续的语音信号离散化为一个样本序列。根据取样定理，当取样频率大于两倍信号带宽时，取样过程不会丢失信息，且从取样信号中可以精确地重构原始信号的波形。量化是指将取样后得到的样本序列的幅度再离散化，量化过程是将整个幅度值分割为有限个区间，将落入同一区间的样本赋予相同的幅度值。(2)量化噪声的特性
(3)抗混迭滤波器的作用。它是一个具有良好截止特性的模拟低通滤波器，主要是为了防止混迭失真和噪声干扰。
(4)短时分析技术的基本概念。语音信号是一种随时间而变化的信号，可能是浊音激励也可能是清音激励，浊音的基音周期以及信号幅度等语音特性也都随时间变化，但这种变化是缓慢的，在一小段短时间内10~30ms，语音信号近似不变。于是，我们把变化的语音信号分成一些相继的短时间段来处理。而每一段时间段具有固定的特性，这种方法称为“短时”处理方法。
(二) 短时能量分析
1. 识记：语音信号的能量分析是基于语音信号能量随时间有相当大的变化，特别是清音段的能量一般比浊音段的小得多。能量分析包括能量和幅度两个方面。
2. 领会：(1)直角窗与海明窗的频率特性。，海明窗的带宽大约是同等宽度矩形窗带宽的两倍。此外，汉明窗在通带外的衰减要比矩形窗小得多，而且通带与阻带的起伏比较小。
(2)窗口长度的选取原则。 选择太大，则短时能量 随时间变化就很小，不能充分反映语音信号的幅度变化;而 选择得小，即选择 等于或小于一个基音周期时， 将按照信号波形的细微变化而起伏不定，以致短时能量 不够匀化和平滑。因此，折衷考虑 的值，在通常情况下，当取样频率为10KHz时， =100~200被认为是合适的。
(3)短时平均能量的主要用途。根据短时能量函数可以大致区分浊音和清音，在高信噪比情况下，利用短时能量函数 也可区分有声和无声。
(三) 短时过零分析
1. 识记：过零分析与平均过零率的基本概念。对于离散时间信号的相邻两个取样值具有不同符号时，便出现“过零”现象。单位时间过零的次数叫做“过零率”。对于窄带信号，过零率可以比较准确地反映该信号的频率。在宽带信号情况下，过零率只能粗略反映信号的频谱特性。
2. 领会：短时过零分析的用途。如何区分清音与浊音
(四) 短时相关分析
1. 识记：(1)短时自相关函数的物理意义，性质。对于浊音语音来说，短时自相关函数具有明显的峰值且呈周期分布，而对于清音来说，则没有很强的自相关周期峰，其性质类似于噪声。
(2)短时平均幅度差函数的概念与用途。
2. 领会：(1)短时自相关函数的方框图表示。
(2)利用短时自相关函数区分清/浊音的方法。
第四章 短时傅里叶分析
一、考核知识点
(一) 傅里叶分析在信号分析与处理中的地位与作用
(二) 短时傅里叶变换的定义与物理意义
(三) 短时傅里叶变换的取样率
(四) 语音信号的短时综合
二、考核要点
(一) 傅里叶分析在信号分析与处理中的地位与作用
1. 识记：傅里叶分析的重要性，短时傅里叶分析的基本概念。在语音信号处理中，傅立叶表示在传统上一直起主要作用。其原因一方面在于稳态语音的产生模型由线性系统组成，此系统被一随时间作周期变化或随机变化的源所激励，因而系统输出频谱反映了激励与声道频率响应特性。另一方面，语音信号的频谱具有非常明显的语言声学意义，可以获得某些重要的语音特征。同时，语音的感知过程与人类听觉系统具有频谱分析功能是密切相关的。
(二) 短时傅里叶变换的定义与物理意义
1. 识记：(1)短时傅里叶分析的重要性。短时傅里叶分析是分析缓慢时变频谱的一种简便方法，是用稳态分析方法处理非稳态信号的一种方法，在语音处理中是一个非常重要的工具。
(2) )短时傅里叶变换的定义。
2. 领会：(1)标准傅里叶变换的解释。(2)窗口序列具有的特性。
(3)海明窗与直角窗对浊音语音的频谱分析对比。
(4)短时傅里叶变换的滤波器的解释，滤波器框图的组成。
(三) 短时傅里叶变换的取样率
1. 识记：(1)时域取样率的基本概念。(2)频域取样率的基本概念。
(3)总取样率的基本概念。(4)宽带和窄带语谱图的概念和特点
2. 领会：理解分析加窗与不加窗时总取样率的区别。
(四)、语音信号的短时综合
1.领会：滤器组求和法的基本原理与实现框图，与快速傅里叶变换求和法的关系。
第五章 同态滤波及倒谱分析
一、考核知识点
(一) 卷积与解卷积的基本概念
(二) 同态信号处理的基本原理
(三) 复倒谱和倒谱的基本概念
(四) 语音信号两个卷积分量复倒谱的性质
(五) 避免相位卷绕的几种算法
二、考核要求
(一) 卷积与解卷积的基本概念
1. 识记：(1)根据语音信号的产生模型，可以将其用一个线性非时变系统的输出表示，即看作是声门激励信号和声道冲激响应的卷积。
(2)为了分离加性组合信号，常采用线性滤波方法。而为了分离非加性信号(如乘积性或卷积性组合)信号，常采用同态滤波技术。
(二) 同态信号处理的基本原理
1. 识记：同态信号处理的基本概念与作用。同态信号处理的作用就是将非线性问题转化为线性问题来求解。根据实现原理分为乘积同态处理和卷积同态处理。
2. 领会：(1)特征系统与逆特征系统的组成。(2)同态信号处理的基本实现方法，实现框图。
(三) 复倒谱和倒谱
1. 识记：复倒谱与倒谱的基本概念，定义。
(四) 语音信号两个卷积分量复倒谱的性质
1. 识记：(1)一个周期冲激的有限长度序列，其复倒谱也是一个周期冲激序列，而且长度Np不变，只是序列变为无限长度序列。同时其振幅随着K值的增大而衰减。
(2)声道冲激响应序列复倒谱的性质。
(3)声门激励的特点。
2. 领会：声道冲激响度序列的全零点模型描述，各个零点对系统响应的影响。
(五) 避免相位卷绕的几种算法
1. 领会：(1)相位卷绕的基本概念。
(2)利用微分法消除相位卷绕的实现框图。
(3)利用最小相位法求信号复倒谱的实现框图。
第六章 语音信号的线性预测分析
一、考核知识点
(一) 线性预测分析的基本概念
(二) 线性预测分析的基本原理
(三) 利用自相关法求解线性预测方程组
(四) 利用协方差法求解线性预测方程组
(五) 利用格型法求解线性预测方程组
(六) LPC谱估计和LPC复倒谱
(七) 线谱对分析原理与参数求解
(八) 语音信号的极零点模型
二、考核要点
(一) 线性预测分析的基本概念
1. 识记：线性预测分析所包含的基本概念是，一个语音的抽样能够用过去若干个语音抽样的线性组合来逼近。通过使实际语音抽样和线性预测抽样之间差值的平方和(在一个有限间隔上)达到最小值，即进行最小均方误差的逼近，能够决定唯一的一组预测系数。
(二) 线性预测分析的基本原理
1. 识记：(1)采用全极点模型分析语音信号的理论依据。全极点模型最易于计算，对全极点模型作参数估计是对线性方程组的求解过程;有时无法知道输入序列;人的听觉对于那种只能用零点来表示的频谱陡峭谷点是迟钝的;如果不考虑鼻音和摩擦音，那么语音的声道传递函数就是一个全极点模型。
(2)线性预测(LPC)谱的特点
2. 领会：线性预测分析的物理意义与优越性。
(三) 线性预测方程组的建立
1. 识记：最小均方误差准则。
(四) 利用自相关法和协方差法求解线性预测方程组
1. 识记：(1)自相关矩阵的特点。(2)协方差矩阵的特点
2. 领会：自相关法和协方差法二者的特点比较。
3.应用：协方差法的线性预测方程组矩阵表示，图解表示。
(五) 利用格型法求解线性预测方程组
1. 识记：(1)格型法的基本原理。(2)反射系数的概念。
(3)格型滤波器的优点。
(六) LPC谱估计和LPC复倒谱
1. 识记：(1)线性预测分析的阶数P的选取原则，首先要保证有足够的极点来模拟声道响应的谐振结构，但P值达到12~14后，若进一步增加则误差改善很小。
(2)在线性预测分析中，分析帧长度N同样重要，N尽可能小有好处，在LPC线性方程组求解中，计算量都与N成正比。但谱估计的精度随着N的增加而提高。通常取N为2~3个基音周期长度。
(3)复倒谱分析的优点。
第七章 矢量量化
一、考核知识点
(一) 矢量量化概述。
(二) 矢量量化的基本原理
(三) 失真测度
(四) 最佳矢量量化器和码本的设计
二、考核要求
(一) 矢量量化概述
1. 识记：(1)矢量量化的理论依据与优越性。根据仙农信息论可以得出，矢量量化总是优于标量量化，且矢量维数越大性能越优越。因为矢量量化有效利用了矢量中各分量间的各种相互关联的性质。采用矢量量化技术对信号波形数据进行压缩，可以获得非常高的压缩比。
(2)矢量量化的基本概念。矢量量化是将若干个取样信号分成一组，即构成一个矢量，然后对此矢量一次进行量化，即作为一个整体进行量化。
(二) 矢量量化的基本原理
1. 识记：(1)矢量量化的过程。将语音信号波形的K个样点的每一帧，或有K个参数的每一帧参数，构成K维空间中的一个矢量，然后对这个矢量进行量化。
(三) 矢量测度
1. 识记：(1)失真测度必须具备的几个特性。必须在主观评价上有意义;必须是易于处理的;平均失真存在且可计算;易于硬件实现。
(2)欧式距离-均方误差的基本概念。
(四) 最佳矢量量化器和码本设计
1. 识记：(1)矢量量化器最佳设计的两个条件。最佳划分和最佳码书。
(2)初始码书的生成方法。随机选取法、分裂法和乘积码法
(五)降低复杂度的矢量量化系统
1.识记：(1)矢量量化系统的组成。(2)矢量量化的3个关键问题
(3)降低复杂度的设计方法分类
(4)无记忆量化系统和有记忆量化系统的基本概念
第八章 隐马尔可夫模型(不做要求)
第九章 语音检测分析
一、考核知识点
(一)基音检测
(二)共振峰估值
二、考核要点
(一)基音检测
1.识记：(1)基音检测的重要性与难点。基音的提取和估计是语音信号处理中十分重要的一个问题，准确地检测语音信号的基音周期对于高质量的语音分析与合成、语音压缩编码、语音识别和说话人确认等具有重要意义。在低速率语音编码中，准确的基音检测是非常关键的，它直接影响到整个系统的性能。
(2)基音检测的3个研究方面
(3)基音检测的三种方法：波形估计法、相关处理法和变换法。
(3)清/浊音判断的辅助参量。
2.领会：(1)中心削波法的基本原理，三电平削波函数的特性。
(2)利用倒谱法提取基音的基本原理与实现方法。
(3)利用简化逆滤波器法进行基音检测的基本原理与实现方法。
(二)共振峰估值
1.识记：(1)共振峰估计中存在的问题。
(2)带通滤波器组法提取共振峰特性的基本原理。
(3)倒谱法难以解决的问题
(4)用LPC法进行共振峰估计的两种方案
2.领会：(1)倒谱法对清音和浊音的检测效果对比
(2)清音和浊音的DFT谱特性比较
(3)LPC法的优缺点
第十章 语音编码(一)—波形编码
一、考核知识点
(一) 语音编码的目的与应用前景
(二) 语音信号的压缩编码原理
(三) 脉冲编码的调制(PCM)及其自适应
(四) 预测编码及自适应预测编码原理
(五) 自适应差分脉冲编码调制及自适应增量调制
(六) 子带编码
(七) 自适应变换编码
二、考核要求
(一) 语音编码的目的与应用前景
1. 识记：(1)语音编码的目的是在保持可以接受的失真的情况下采用尽可能少的比特数表示语音。
(2)语音信号数字传输的优点。
(3)语音压缩编码需要折衷考虑的3个方面
(4)语音编码的两类应用
(5)语音编码的分类
(二) 语音信号的压缩编码原理
1. 识记：(1)语音压缩的必要性。语音编码的目的是在保持可以接受的失真情况下，采用尽可能少的比特数表示语音。如果对语音直接数字化，则传输或存储语音的数据量太大。为了降低传输或存储的费用，必须对其压缩。
(2)语音压缩的两个基本依据。
(3)冗余度的基本概念
(4)语音通信质量的分类。
(5)波形编码与声码器的性能比较。
(三) 脉冲编码调制及其自适应
1. 识记：
(1)PCM的基本概念。(2)均匀PCM中，信噪比与量化比特数的关系。
(3)非均匀PCM的基本思想。(4)u律与A律的压扩特性。
2. 领会：自适应PCM的基本原理与实现框图。
(四) 预测编码及其自适应APC
1. 识记：(1)预测编码的基本概念。
(2)短时预测与长时预测的基本概念。
(3) 噪声整形的基本概念
(五) 自适应差分脉冲编码调制(ADPCM)及自适应增量调制(ADM)
1. 识记：(1)DPCM和ADPCM的基本概念，ADPCM的国际标准。
(2)增量调制的基本概念。
(3)自适应增量调制的基本概念。
2. 领会：(1)掌握DM编码中斜率达载和颗粒噪声产生的原因及克服的办法。
(2)连续可变斜率增量调制的实现原理。
(六) 子带编码
1. 识记：(1)频域编码的两个基本原则。
(2)子带编码的基本概念与实现方法。
(3)子带编码的优点
(3)正交镜象滤波器(QMF)的基本概念。
2. 领会：(1)子带编码中，子带的分割与重建语音质量的关系。
(2)正交镜象滤波器的幅频特性。
3. 应用：通过正交镜象滤波器恢复原始信号的原理与方法。
(七) 自适应变换编码
1. 识记：(1)自适应变换编码的基本概念。变换编码是一种优秀的高质量的语音压缩编码方法，它将时域的语音信号变换到频域，变换后的数值表示信号中不同频率分量的强度，然后将这些变换系数按照比特分配的结果进行量化编码。
2. 领会：(1)正交变换采用DCT变换的原因
(2)自适应变换编码的基本原理与实现框图。
第十一章 语音编码(二)——声码器技术及混合编码
一、考核知识点
(一) 语音参数编码的基本概念
(二) 声码器的基本结构
(三) 相位声码器和通道声码器
(四) 同态声码器
(五) 线性预测声码器
(六) 混合声码器
(七) 各种语音编码方法的比较
(八) 语音编码的性能指标和质量评价
二、考核要求
(一) 语音参数编码的基本概念
1. 识记：(1)语音参数编码通过对语音信号的参数进行提取及编码，力图使重建语音信号具有尽可能高的可懂度，即保持原语音的语意。这类编码的优点是编码率低，可低至2.4kbit/s以下。
(2)参数编码的基础是语音产生的数学模型。实现参数编码的器件称为声码器，主要用于窄带信道的语音通信。
(3)为了充分发挥声码器的性能而必须的三个重要因素，
(二) 声码器的基本结构
1. 识记：(1)声码器的基本结构及实现过程。
(2)声码器的局限性。
(三) 相位声码器和通道声码器
1. 识记：(1)相位声码器的基本工作原理。
(2)通道声码器的基本工作原理。
(3)常用的三种声码器
(四) 同态声码器
1. 识记：(1)基于倒谱的分析与合成的基本原理。
(2)同态声码器的优缺点。
(五) 线性预测声码器
1. 识记：(1)线性预测声码器的基本实现框图。
(2)线性预测编码参数的变换和量化，包括反射系数，对数面积比和预测多项式的根。
(六) 混合编码
1. 识记：(1)混合编码是波形编码和声码器两种优点的结合：既利用了语音生成模型，通过对模型中的参数进行编码，减少了波形编码中被编码对象的动态范围或数目;又使编码的过程产生接近原始语音波形的合成语音，以保留说话人的各种自然特征，提高了合成语音质量。
(2)多脉冲线性预测声码器的基本概念。
(3)CELP的基本概念。
(七) 各种语音编码方法的比较
1. 识记：波形编码和声码器的优缺点比较。
(八) 语音编码的性能指标和质量评价
1. 识记：(1)语音编码的基本性能指标，包括编码速率和顽健性。
(2)编码器的质量评价方法，包括主观评价法和客观评价法。
(3)常用的几种语音主观评价标准。
第十二章 语音合成
一、考核知识点
(一) 语音合成概述
(二) 语音合成原理
(三) 共振峰合成
(四) 线性预测合成
二、考核要求
(一) 语音合成概述
1. 识记：(1)语音合成技术的两个关键性能：一是正确，一是自然。
(2)用语音合成来传递语言的优点。
(3)语音合成的基本概念
(二) 语音合成原理
1. 识记：(1)语音合成的三种基本方法：波形合成法、参数合成法和规则合成法的基本概念。
(2)语音合成系统的特性，包括合成单元、合成参数与合成音质的基本概念。
(三) 共振峰合成
1. 识记：共振峰合成法的特点。
(四) 线性预测合成
1. 识记：(1)线性预测分析合成系统的基本原理。
(2)格型滤波器用于语音分析和合成的参数。
第十三章 语音识别
一、考核知识点
(一) 语音识别概述
(二) 语音识别原理
二、考核要求
(一) 语音识别概述
1. 识记：(1)语音识别的基本概念
(2)语音识别的7种分类方法
(3)语音识别中存在的几个主要问题
(二)语音识别原理
1.识记：(1)语音识别的两个步骤
(2)模板匹配法的三个基本单元
2.领会：(1)语音识别的原理框图
第十四章 说话人识别(不做要求)
第十五章 语音增强 (不做要求)
第十六章 人工神经网络的应用(不做要求)
第十七章 语音信号处理中的新兴与前沿技术(不做要求)
第二部分 数字图象处理
第一章 绪论
一、考核知识点
(一) 图像基本概念
(二) 图像工程简介
(三) 图像处理系统
二、考核要求
(一) 图像基本概念
1. 识记：(1)图像和数字图像的基本概念。
(2)图像的表达。
(二) 图像工程简介
1. 识记：(1)图像技术和图像工程。
(2)图像工程的3个层次。
(3)图像工程相关学科和领域。
(4)图像工程的技术应用。
(三) 图像处理系统
1. 识记：(1)系统构成框图。
(2)图像采集。
(3)图像显示打印。
(4)图像存储及各种图像文件格式。
(5)图像处理。
第二章 图像采集
一、考核知识点
(一) 视觉过程
(二) 成像中的空间关系
(三) 光度学和亮度视觉
(四) 采样和量化
二、考核要求
(一) 视觉过程
1. 识记：(1)视觉过程的构成，包括光学过程、化学过程和神经处理过程。
(二) 成像中的空间关系
1. 识记：(1)成像几何的投影变换、齐次坐标和逆投影变换等基本概念。
(2)观察距离和角度。
(3)景深。
2. 应用：各种成像几何的变换关系和景深计算。
(三) 光度学和亮度视觉
1. 识记：(1)光通量，发光强度和照度等光度学等基本概念。
(2)图像成像数学模型。
(3)视觉系统对光的感知特点，包括亮度适应、主观亮度影响和亮度变化的感知。
2. 领会：(1)光通量，发光强度和照度之间的相互关系，计算方法。
(2)马赫带效应。
(四) 采样和量化
1. 识记：(1)空间分辨率和幅度分辨率。
(2)图像质量与采样和量化。
2. 领会：(1)空间分辨率和幅度分辨率对图像质量的影响。
3. 应用：(1)根据空间分辨率和幅度分辨率计算图像存储量。
第三章 像素空间关系
一、考核知识点
(一) 像素间联系
(二) 基本坐标变换
(三) 形态变换
(四) 几何失真校正
二、考核要求
(一) 像素间联系
1. 识记：(1)像素邻域的基本概念。
(2)像素间的邻接、连接和连通的概念及判断方法。
(3)像素间的距离。
2. 应用：(1)像素邻域的确定和像素间距离的计算。
(二) 基本坐标变换
1. 识记：(1)常见的图像坐标变换，包括平移变换、放缩变换和旋转变换。
(2)级连变换和反变换的概念。
2. 应用：(1)给定不同的变换矩阵，对空间点进行各种变换。
(三) 形态变换
1. 识记：(1)形态变换的基本概念和分类。
(2)一般仿射变换的概念和性质。
(3)相似变换、刚体变换、欧氏变换和等距变换等特殊仿射变换的概念。
(4)不同变换的层次关系和变换不变量。
2. 领会：(1)各种仿射变换的性质和特点。
(四) 几何失真校正
1. 识记：(1)几何失真和几何失真校正的基本概念。
(2)几何失真校正的两个基本步骤，包括空间变换和灰度插值。
2. 领会：(1)几何失真校正的原理和方法。
第四章 空域增强技术
一、考核知识点
(一) 空域技术分类
(二) 图像间运算
(三) 直接灰度映射
(四) 直方图变换
(五) 线性滤波
(六) 非线性滤波
(七) 局部增强
二、考核要求
(一) 空域技术分类
1. 识记：(1)空域增强技术的基本概念和分类。
(二) 图像间运算
1. 识记：(1)基本算术和逻辑运算。
2. 应用：(1)图像间运算的应用，包括图像间加法、减法、乘法和除法。
(三) 直接灰度映射
1. 识记：(1)灰度映射基本概念。
(2)各种典型灰度映射的定义，包括图像求反、对比度增强、动态范围压缩和灰度切分等。
2. 领会：(1)灰度映射基本实现原理。
(2)各种典型灰度映射的特点。
3. 应用：(1)运用直接灰度映射变换进行图像增强。
(四) 直方图变换
1. 识记：(1)直方图均衡化基本概念。
(2)直方图规定化基本概念。
2. 领会：(1)直方图均衡化基本原理。
(2)直方图规定化基本原理。
3. 应用：(1)运用直方图变换技术进行图像增强。
(五) 线性滤波
1. 识记：(1)线性滤波的基本概念、技术分类。
(2)线性平滑滤波器，包括邻域平均和加权平均。
2. 领会：(1)线性平滑滤波器的模板卷积和实现原理。
3. 应用：(1)运用线性平滑滤波技术进行图像增强。
(六) 非线性滤波
1. 识记：(1)非线性平滑滤波器基本概念，包括各种中值滤波器序统计滤波器等。
(2)非线性锐化滤波器基本概念和性质，差分模板和最大-最小锐化变换。
2. 领会：(1)非线性平滑滤波器的模板卷积和实现原理。
(2)非线性锐化滤波器的模板卷积和实现原理。
3. 应用：(1)运用中值滤波技术进行图像增强。
(七) 局部增强
1. 识记：(1)局部增强的基本概念。
第五章 基本图像变换
一、考核知识点
(一) 可分离和正交图像变换
(二) 傅里叶变换
(三) 沃尔什/哈达玛变换
(四) 离散余弦变换
(五) Radon变换
二、考核要求
(一) 可分离和正交图像变换
1. 识记：(1)可分离图像变换的基本概念。
(2)正交图像变换的基本概念。
2. 领会：(1)正交图像变换的对应矩阵性质。
(二) 傅里叶变换
1. 识记：(1)2-D傅里叶变换的基本概念。
(2)傅里叶变换基本定理。
(3)快速傅里叶实现方法。
2. 领会：(1)各种傅里叶变换基本定理表达的空域和频域性质，包括平移定理、旋转定理、尺度定理、剪切定理、组合剪切定理、仿射定理、卷积定理和相关定理。
3. 应用：(1)傅里叶变换的计算，基于傅里叶变换技术的图像分析。
(三) 沃尔什/哈达玛变换
1. 识记：(1)沃尔什变换的基本概念。
(2)哈达玛变换的基本概念。
2. 领会：(1)沃尔什和哈达玛变换之间的联系和区别。
3. 应用：(1)构造沃尔什和哈达玛变换核。
(四) 离散余弦变换
1. 识记：(1)离散余弦变换的基本概念。
2. 领会：(1)离散余弦变换和傅里叶变换之间的联系和区别。
3. 应用：(1)离散余弦变换的计算。
(五) Radon变换
1. 识记：(1)Radon变换的基本定义。
(2)Radon变换基本性质
(3)Radon反变换
2. 领会：(1)Radon变换和傅里叶变换之间的联系和区别。
第六章 频域图像增强
一、考核知识点
(一) 频域图像增强原理
(二) 低通滤波
(三) 高通滤波
(四) 带通和带阻滤波
(五) 同态滤波
(六) 频域和空域技术
二、考核要求
(一) 频域图像增强原理
1. 识记：(1)频域图像增强基本原理。
2. 领会：(1)频域图像增强主要步骤。
(二) 低通滤波
1. 识记：(1)低通滤波器的基本概念。
(2)各种低通滤波器的定义。
2. 领会：(1)低通滤波器的图像滤波效果。
3. 应用：(1)运用低通滤波技术进行图像增强。
(三) 高通滤波
1. 识记：(1)高通滤波器的基本概念。
(2)各种高通滤波器的定义。
2. 领会：(1)高通滤波器的图像滤波效果。
3. 应用：(1)运用高通滤波技术进行图像增强。
(四) 带通和带阻滤波
1. 识记：(1)带通和带阻滤波器的基本概念。
(2)各种带通和带阻滤波器的定义。
2. 领会：(1)带通和带阻滤波器的图像滤波效果。
(五) 同态滤波
1. 识记：(1)同态滤波器的基本概念和基本步骤。
2. 领会：(1)同态滤波器的图像滤波效果。
(六) 频域和空域技术
1. 领会：(1)图像增强中频域和空域两种技术间的联系，空域技术可以借助频域概念进行分析，频域技术也可在空域实现。
第七章 彩色图像处理
一、考核知识点
(一) 彩色视觉和描述
(二) 彩色模型
(三) 伪彩色增强
(四) 真彩色处理
二、考核要求
(一) 彩色视觉和描述
1. 识记：(1)彩色视觉基础。
(2)三基色和色匹配基本概念。
(3)色度、色系数和色度图基本概念。
(二) 彩色模型
1. 识记：(1)面向硬设备的彩色模型，包括RGB、CMY和彩色电视颜色模型等。
(2)面向视觉感知的彩色模型，包括HIS、HSV和HSB模型等。
2. 应用：(1)各种彩色模型之间的相互转换。
(三) 伪彩色增强
1. 识记：(1)伪彩色增强的基本概念。
(2)伪彩色增强的各种空域和频域方法，包括亮度切割、从灰度到彩色的变换和频域滤波。
(四) 真彩色处理
1. 识记：(1)真彩色处理的基本概念。
(2)单分量变换增强技术。
(3)全彩色增强技术。
第八章 图像恢复
一、考核知识点
(一) 退化及噪声
(二) 退化模型和对角化
(三) 关于恢复的讨论
(四) 无约束恢复
(五) 有约束恢复
(六) 交互式恢复
二、考核要求
(一) 退化及噪声
1. 识记：(1)信噪比的定义。
(2)几种常见噪声来源。
2. 领会：(1)几种噪声概率密度函数的表示形式，包括高斯噪声、均匀噪声和脉冲(椒盐)噪声。
(二) 退化模型和对角化
1. 识记：(1)图像退化模型的描述，线性系统的几个性质。
2. 领会：(1)退化模型矩阵的特点。
(2)轮换矩阵对角化的表示方法。
(3)退化模型对角化的表示方法。
3. 应用：(1)利用退化模型恢复原始图像的具体矩阵表示。
(2)退化模型的计算。
(2)轮换矩阵对角化的计算。
(三) 关于恢复的讨论
1. 识记：(1)存在误差(尤其是加性噪声)时图像的恢复公式。
(2)几种实恢复函数的确定。
2. 应用：(1)无约束和有约束恢复的向量表示法。
(四) 无约束恢复
1. 识记：(1)逆滤波的定义与数学描述。
2. 领会：(1)逆滤波的物理意义。
3. 应用：(1)采用逆滤波技术进行图像恢复。
(2)根据已知条件消除匀速直线运动造成的模糊。
(五) 有约束恢复
1. 识记：(1)维纳滤波的基本概念，它是一种最小均方误差滤波器。
(2)相关矩阵的特点。
2. 领会：(1)逆滤波恢复和维纳滤波恢复结果的对比。
(2)维纳滤波与有约束最小平方滤波结果的对比。
3. 应用：(1)满足给定约束条件时最优解的向量表示。
(2)有约束最小平方恢复过程的具体运用。
(六) 交互式恢复
1. 识记：(1)消除图像中正弦干扰的基本方法。
2.领会：(1)正交式恢复消除正弦干扰的数学描述。
第九章 图像重建
一、考核知识点
(一) 投影重建概述
(二) 傅里叶反变换重建
(三) 逆投影重建
(四) 级数展开重建
(五) 综合重建方法
(六) 离散周期重建
二、考核要求
(一) 投影重建概述
1. 识记：(1)投影重建的主要方式，包括透射断层成象、发射断层成象、反射断层成象、磁共振成象等。
2. 领会：(1)投影重建的基本原理。
(二) 傅里叶反变换重建
1. 识记：(1)傅里叶反变换重建的基本步骤和定义。
(2)傅里叶变换投影定理的数学描述。
(3)傅里叶反变换重建公式。
2. 领会：(1)傅里叶反变换重建的基本原理。
(三) 逆投影重建
1. 识记：(1)卷积逆投影重建的主要方法，包括连续公式推导、离散计算和扇束投影重建。
(2)其他逆投影重建，包括逆投影滤波、滤波逆投影。
2. 领会：(1)逆投影重建的基本原理。
3. 应用：(1)卷积逆投影重建法的具体应用。
(四) 级数展开重建
1. 识记：(1)级数展开重建基本概念和特点。
(2)无松弛的代数重建技术。
(3)松弛的代数重建技术。
(五) 综合重建方法
1. 识记：(1)综合重建方法的具体应用，如迭代变换法、迭代重建投影、角谐函数法和正弦多项式展开等。
(六) 离散周期重建
1. 识记：(1)图像离散形式。
(2)离散周期Radon变换公式。
(3)离散周期Radon反变换公式。
第十章 典型图像变换
一、考核知识点
(一) Gabor变换
(二) 哈尔变换
(三) 霍特林变换
二、考核要求
(一) Gabor变换
1. 识记：(1)短时傅里叶变换定义。
(2)连续Gabor变换定义。
(3)离散Gabor变换定义。
2. 领会：(1)短时傅里叶变换和Gabor变换的特点。
(二) 哈尔变换
1. 识记：(1)哈尔函数的定义。
(2)哈尔变换的定义。
2. 应用：(1)哈尔函数的计算。
(三) 霍特林变换
1. 识记：(1)霍特林变换定义。
2. 应用：(1)霍特林变换中特征值的计算。
第十一章 图像编码基础
一、考核知识点
(一) 图像编码基本概念
(二) 图像编码基础理论
(三) LZW编码
(四) 变长编码
(五) 位平面编码
二、考核要求
(一) 图像编码基本概念
1. 识记：(1)数据冗余的概念，包括编码冗余、像素间冗余和心理视觉冗余。
(2)图像保真度和图像质量，包括客观保真度准则和主观保真度准则。
(3)图像编码模型，包括通用编码系统模型、信源编解码器和信道编解码器。
(二) 图像编码基础理论
1. 识记：(1)信息论基础，包括信息测量、信息量单位(熵)、自信息、互信息、信道容量等概念。
(2)无失真编码定理。
(3)有失真信源编码定理。
2. 领会：(1)信息量和互信息的含义。
(2)两种信源编码定理的含义。
3. 应用：(1)信息量、互信息的计算。
(2)率失真函数的计算。
(三) LZW编码
1. 识记：(1)LZW编码的基本思路和特点。
2. 应用：(1)采用LZW编码方法进行信源编码。
(四) 变长编码
1. 识记：(1)变长编码或熵编码的基本概念。
(2)哈夫曼编码方法、包括最优哈夫曼编码和亚最优哈夫曼编码。
(3)香农-法诺编码方法。
(4)算术编码方法。
(5)变长编码的特性，包括即时码、唯一码。
2. 领会：(1)哈夫曼编码基本原理。
(2)香农-法诺编码基本原理。
(3)算术编码基本原理。
3. 应用：(1)采用哈夫曼编码方法进行信源编码。
(2)采用算术编码方法进行信源编码。
(五) 位平面编码
1. 识记：(1)位平面分解，包括二值分解和灰度码分解。
(2)位平面编码，包括常数块编码、1-D游程编码和2-D游程编码。
2. 领会：(1)各种位平面编码方法和它们之间的差异。
第十二章 图像编码方法
一、考核知识点
(一) 预测编码
(二) 变换编码
二、考核要求
(一) 预测编码
1. 识记：(1)无损预测编码的基本概念。
(2)有损预测编码的基本概念，包括编码系统框图、DM编码、DPCM编码、最优预测和最优量化等。
2. 领会：(1)无损预测编码的基本原理。
(2)有损预测编码的基本原理。
(3)有损预测编码中的最优预测和最优量化。
3. 应用：(1)采用DM编码、DPCM编码方法进行预测编码。
(2)有损预测编码中的最优预测系数和最优量化电平的确定。
(二) 变换编码
1. 识记：(1)变换编码系统基本原理和系统框图。
(2)变换编码基本步骤，包括子图像尺寸选择、变换选择和比特分配方法。
(3)重建均方误差。
2. 领会：(1)变换编码基本原理。
(2)子图像尺寸对编码系统的影响。
(2)常见变换在编码中的特点，变换选择对编码系统的影响。
3. 应用：(1)采用DCT变换进行信源编码。
第十三章 图像国际标准
一、考核知识点
(一) 国际标准
(二) 二值图像压缩国际标准
(三) 静止图像压缩国际标准
(四) 运动图像压缩国际标准
(五) 多媒体国际标准
二、考核要求
(一) 国际标准
1. 识记：(1)图像压缩编码国际标准的基本分类。
(二) 二值图像压缩国际标准
1. 识记：(1)二值图像压缩的常用标准介绍，包括G3和G4还有JBIG。
(三) 静止图像压缩国际标准
1. 识记：(1)静止图像压缩标准介绍，包括JPEG和JPEG2000。
2. 领会：(1)JPEG基本系统的组成与编码器的实现原理。
(四) 运动图像压缩国际标准
1. 识记：(1)运动图像压缩标准介绍，包括Motion JPEG、H.261，MPEG1、 MPEG2、MPEG4和H.264/AVC等。
2. 领会：(1)H.261基本系统的组成与编码器的实现原理。
(五) 多媒体国际标准
1. 识记：(1)多媒体国际标准介绍，包括MPEG7和 MPEG21。
Ⅲ 有关说明和实施要求
为了使本大纲的规定在个人自学、社会助学和考试命题中得到贯彻和落实，兹对有关问题说明如下。并进而提出实施要求。
一、关于考核目标的说明
为使考核内容具体化和考试要求标准化，本大纲在列出考试内容的基础，对各章规定了考核目标，使自学应考者能够进一步明确考试内容和要求，更有目的地系统学习教材.，使社会助学者能够更全面地有针对性地分层次进行辅导，使考试命题能够更加明确命题范围，更准确地安排试题的知识能力层次的难易度。
本大纲在考核目标中，按照识记、领会、应用三个层次规定其应达到的能力层次要求。三个能力层次是递进等级关系，各能力层次的含义是：
识记：能知道有关的名词、概念、知识的意义，并能正确认知和表述。
领会：在识记的基础上，能全面地把握基本概念，基本规范，基本方法，能掌握有关概念、规范、方法和区别与联系，并内化成自己实际工作的能力。
应用：在识记和领会的基础上，能对问题进行正确的阐述和分析计算，能运用所学知识处理和解决实际问题。
二、自学教材
《语音信号处理(第四版)》，胡航编著，哈尔滨工业大学出版社，2009年;
《图象工程(上册)图像处理》，章毓晋编著，清华大学出版社，2005年。
三、自学方法指导
1、在全面系统学习的基础上掌握基本概念、基本知识、基本方法和技巧。本课程内容涉及语音信号处理和数字图象处理两大部分的各个方面。知识、范围比较广泛，自
学者应首先全面系统地学习各章，深刻领会语音和图象信号处理的一般理论，其次，应当识记语音和图象信号处理的基本概念、基本知识、具体问题的基本分析方法和技巧，同时注意各部分内容之间的联系，然后，在全面系统的基础上掌握重点，有目的地深入学习重点章节，但切忌在没有了解全貌的情况下孤立地去抓重点，押题目。
2、要把学习语音和图象信号处理的基本理论和分析具体问题结合起来自学，自学应考者应该懂得，语音和图象信号处理这门课是一门理论性与实践性都很强的课程，在学习中切忌死记硬背，而应当把课程内容与具体问题联系起来，力求能够运用所学基本理论知识进行语音和图象信号的实际分析与处理，以增强感性认识，更深刻地领会教材内容，将知识内化为自身的素质，和能力，以提高自己分析解决语音和图象方面问题的能力。
四、对社会助学的要求
1、社会助学者应根据本大纲规定的。考试内容和考核目标，认真钻研指定教材，明确本课程与其他课程不同的特点和学习要求，对自学应考者进行切实有效的辅导，引导他们防止自学中的各种偏向，把握社会助学的正确方向。
2、要正确处理基本知识的应用能力的关系，努力引导自学应考者将识记、须会同应用联系起来，把基本知识转化为实际工作能力，在辅导的基础上，着重培养和提高自学应考者的素质和思想水平。
3、要正确处理重点和一般的关系。课程内容有重点与一般之分，但考试内容是全面的，而且重点与一般是相互影响的，不是截然分开的.社会助学者应指导自学应考者全面系统地学习教材，掌握全部考试内容和考试知识点，在此基础上再突出重点.总之，要把重点学习同兼顾一般结合起来，切勿孤立地抓重点，把自学应考者引向猜题押题。
五、关子命题考试的若干要求
1、本课程的命题考试，应根据本大纲所规定的考试内容和考试目标来确定范围和考核要求，不要任意扩大和缩小考试范围，提高或降低考核要求.，考试命题覆盖到各章，并适当突出重点章节。体现本课程的重点内容。
2、试题要合理安排难度结构.难易可分为易，较易，较难、难四个等级，每份试卷中，不同难易试题的分数比例、一般为，易占20%，较易占30%，较难占30%，难占20%。必须注意，试题的难易程度与能力层次不是一个概念，在各能力层次中都会存在不同难度的问题，切勿混淆。
3、本课程考试试卷可能采用的题型有：单项选择题、填空题、名词解释、简答题和计算题。各种题型的具体样式参见本大纲附录。
附录 题型举例
一、单项选择题(在下列被选答案中选出一个正确的答案，并将其序号填入题后的括号内)。
1、在语音生成的数字模型中， (2) 的激励源是准周期脉冲串
(1)清音 (2)浊音 (3)摩擦音 (4)重音
2、在数字图象的变换编码中， (3) 是一种最优变换。
(1) DCT变换 (2)哈达码变换(3)霍特林变换 (4)沃尔什变换
二、填空题
1、汉语音节的组成中，除了声母、韵母外，还有 。(声调)
三、名词解释
1、矢量量化
矢量量化是将若干个取样信号分成一组，即构成一个矢量，然后对此矢量一次进行量化，即作为一个整体进行量化。
2、基音周期
基音是指发浊音时，声带震动所引起的周期性，而基音周期是指声带震动频率的倒数。
3、数据冗余
数据是用来表示信息的，如果不同的方法为表示给定量的信息使用了不同的数据量，那么使用较多数据量的方法中，有些数据必然是代表了无用的信息，或者是重复地表示了其它数据已经表示的信息，这就是数据冗余。
4、JPEG
JPEG是联合图象专家组的简写，是一种用于静止灰度或彩色图象的压缩标准，于1991年开始使用，它定义了三种编码系统：(1)基于DCT的有损编码基本系统，可用于绝大多数应用场合;(2)用于高压缩比、高精确度或渐进重建应用的扩展编码系统;(3)用于无失真应用场合的无损系统。
四、简答题
1、简要叙述音素、音节、单词、句子的基本概念以及它们之间的关系
音素是语音的最小、最基本的组成单位，音素都有其独立的各不相同的发音方法和发音部位，它是使听者能区别一个单词和另一个单词的声音的基础。音节是最小的语言片段，一个音节由一个或几个音素组成。单词是由音节结合而成的更大单位，是有意义的语言的最小单位。句子是单词的进一步组合。
2、简要叙述图象数字化中采样和量化的基本概念以及对图象的影响
采样是将连续模拟的图象在空间上离散化，而量化是将已经空间离散化的图象进一步在幅度上离散化，便于计算机处理。
采样点的选取与图象空间分辨率的关系：一幅图象的采样点数越多，则空间分辨率越高，要满足采样定理。量化阶数的选取与图象幅度分辨率的关系，量化阶数越多，则幅度分辩率越高。
五、计算题
设输入图像的灰度级 出现的概率分别为
0.40，0.18，0.10，0.10，0.04，0.05，0.07，0.06。
试进行哈夫曼编码，并计算编码效率、压缩比、冗余度。
哈夫曼编码过程如下：
根据公式可求出编码效率：
压缩之前8个符号只需3个比特量化，经压缩之后的平均码字长度为2.61，因此压缩比为：C=3/2.61=1.15
冗余度为：
=2.2%
热门点击：
仅需10秒，快速查询适合您的拿证方式！