第节信道的数学模型及分类表示成矩阵形式第节信道的数学模型及分类例二元对称信道第节信道的数学模型及分类例二元删除信道也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵而表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。互信息与各类熵之间的关系可以用下图表示第二节平均互信息可以看出，联合熵等于两园之和减去第三部分，也等于个园加上另外部分下面讨论两种极端情况图第二节平均互信息无噪对应信道此时可以计算得在图中表示就是两圆重合。输入输出完全统计此时第三节平均互信息的特性平均互信息的非负性该性质表明，通过个信道总能传递些信息，最差的条件下，输入输出完全，不传递任何信息，互信息等于，但决不会失去已知的信息。平均互信息的极值性般来说，信到疑义度总是大于，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于，互信息等于信源的熵。第三节平均互信息的特性平均互信息量的交互性表示从中提取关于的的信息量，实际上,和,只是观察者的立足点不同，对信道的输入和输出的总体测度的两种表达形式平均互信息的凸状性第三节平均互信息的特性定理平均互信息是信源概率分布的型凸函数这就是说，对于定的信道转移概率分布，总可以找到个先验概率分布的信源，使平均交互信息量达到相应的最大值，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的。第三节平均互信息的特性例对于二元对称信道如果信源分布则第三节平均互信息的特性而所以当信道固定时，平均互信息时信源分布的型凸函数，最大只为第三节平均互信息的特性定理平均互信息信道传递概率分布的型凸函数这就是说，对于个已知先验概率为批的离散信源，总可以找到个转移概率分布的信道，使平均交信息量达到相应的最小值。可以说不同的信源先验概率对应不同的。或者说是的函数。即平均交互信息量的最小值是由体现了信源本身的特性。第三章离散信道及其信道容量第节信道的数学模型及分类第二节平均互信息及平均条件互信息第三节平均互信息的特性第四节信道容量及其般计算方法第五节离散无记忆扩展信道及其信道容量第六节信源与信道的匹配第节信道的数学模型及分类信道的分类根据信道用户的多少，可分为单用户信道只有个输入端和个输出端多用户信道至少有端有两个以上的用户，双向通信根据输入端和输出端的关联无反馈信道有反馈信道第节信道的数学模型及分类根据信道参数与时间的关系固定参数信道时变参数信道根据输入输出信号的特点离散信道连续信道半离散半连续信道波形信道以下我们只研究无反馈固定参数的单用户离散信道。第节信道的数学模型及分类根据这模型，可对信道分类如下设离散信道的输入为个随机变量，相应的输出的随机变量为，如图所示规定个离散信道应有三个参数输入符号集，输出符号集，信道转移概率,离散信道的数学模型第节信道的数学模型及分类无干扰信道输入信号与输出信号有对应关系，并且有干扰无记忆信道输入与输出无对应关系，输出只与当前输入有关有干扰有记忆信道这是最般的信道。第节信道的数学模型及分类单符号离散信道的数学模型单符号离散信道的输入变量为，取值于输出变量为，取值于。并有条件概率条件概率被称为信道的传递概率或转移概率。般简单的单符号离散信道的数学模型可以用概率空间来描述。,,,第节信道的数学模型及分类表示成矩阵形式第节信道的数学模型及分类例二元对称信道第节信道的数学模型及分类例二元删除信道由此可见，般单符号离散信道的传递概率可以用矩阵表示第节信道的数学模型及分类第节信道的数学模型及分类为了表述简便，可以写成