1、“.....当然这里面就不太经济。•定义•则冗余度为信息效率又称相对熵，表示不肯定性的程度表示肯定性的程度信源的冗余度能够很信源来说，极限熵为，这就是说，如果我们要传送这信源的信息，理论上来说只需要有传送的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成阶马尔可夫信源，则可以用能传送号之间依赖关系越强，平均每个符号提供的信息量就越小。每个符号提供的平均自信息量随着符号间的依赖关系长度的增加而减少。为此，我们引进信源的冗余度也叫剩余度或多余度来衡量信源的相关性程度。对于般平稳布的无记忆离散信源，用最大熵来近似。由于信源符号间的依赖关系使信源的熵减小。它们的前后依赖关系越长，信源的熵越小。当信源符号间彼此无依赖等概率分布时，信源的熵才达到最大。也就是说，信源符可夫信源......”。

2、“.....再进步简化信源，即可假设信源是无记忆信源，而信源符号有定的概率分布。这时，可用信源的平均自信息量来近似。最后，可以假定是等概分实际的离散信源可能是非平稳的，对于非平稳信源来说，其不定存在，但可以假定它是平稳的，用平稳信源的来近似。然而，对于般平稳的离散信源，求值也是极其困难的。那么，进步可以假设它是阶马尔公式相互关系•自信息量信源熵互信息条件熵联合熵•序列熵平均符号熵极限熵•信源的平稳分布极限熵•相对熵差熵•冗余度第讲离散信源的剩余度及其应用剩余度应用冗余度剩余度下降•通过传输，信宿可以得到信息，从而减小对信源的不确定度•信息通过系统传输，只会丢失信息，不会增加。丢失部分是由噪声引起的定义计算对于特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量可通过对信源的观察测量获得信息......”。

3、“.....信源不确定度会的符号序列里加入些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码。第章复习概念信息是可以定量描述的，可以比较大小的，由概率决定信源的分类及描述马尔可夫信源。冗余度大的消息具有强的抗干扰能力。当干扰使消息在传输过程中出现错误时，我们能从上下关联中纠正错误。从提高抗干扰能力的角度来看，总是希望增加或者保留信源的冗余度，或者是传输之前在信源编码后去除冗余符号,应用从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码看作阶或二阶马尔可夫信源，这样可以求得因此可知，在信源所输出的序列中依赖关系越复杂，信息熵就越小。实际上，英文信源的信息熵还要小得多，般认为。因此......”。

4、“.....表示信源的实际熵越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长反之，冗余度越小，表明信源符号之间的不会出现。考虑到字母之间的依赖性，可以把英语信源做进步精确的近似，太经济。•定义•则冗余度为信息效率又称相对熵，表示不肯定性的程度表示肯定性的程度信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。冗余度信源的信息，理论上来说只需要有传送的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成阶马尔可夫信源，则可以用能传送的手段去传送具有的信源，当然这里面就不提供的平均自信息量随着符号间的依赖关系长度的增加而减少。为此，我们引进信源的冗余度也叫剩余度或多余度来衡量信源的相关性程度。对于般平稳信源来说，极限熵为，这就是说......”。

5、“.....为此，我们引进信源的冗余度也叫剩余度或多余度来衡量信源的相关性程度。对于般平稳信源来说，极限熵为，这就是说，如果我们要传送这信源的信息，理论上来说只需要有传送的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成阶马尔可夫信源，则可以用能传送的手段去传送具有的信源，当然这里面就不太经济。•定义•则冗余度为信息效率又称相对熵，表示不肯定性的程度表示肯定性的程度信源的冗余度能够很好地反映信源输出的符号序列中符号之间依赖关系的强弱。冗余度越大，表示信源的实际熵越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长反之，冗余度越小，表明信源符号之间的不会出现。考虑到字母之间的依赖性，可以把英语信源做进步精确的近似，看作阶或二阶马尔可夫信源，这样可以求得因此可知......”。

6、“.....信息熵就越小。实际上，英文信源的信息熵还要小得多，般认为。因此，信息效率和冗余度为符号符号符号,应用从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码。冗余度大的消息具有强的抗干扰能力。当干扰使消息在传输过程中出现错误时，我们能从上下关联中纠正错误。从提高抗干扰能力的角度来看，总是希望增加或者保留信源的冗余度，或者是传输之前在信源编码后去除冗余的符号序列里加入些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码。第章复习概念信息是可以定量描述的，可以比较大小的，由概率决定信源的分类及描述马尔可夫信源对于特定信源，可以求出所含不确定度......”。

7、“.....以减少对信源的不确定度概念•考虑信源符号概率分布和符号之间的记忆性，信源不确定度会下降•通过传输，信宿可以得到信息，从而减小对信源的不确定度•信息通过系统传输，只会丢失信息，不会增加。丢失部分是由噪声引起的定义计算公式相互关系•自信息量信源熵互信息条件熵联合熵•序列熵平均符号熵极限熵•信源的平稳分布极限熵•相对熵差熵•冗余度第讲离散信源的剩余度及其应用剩余度应用冗余度剩余度实际的离散信源可能是非平稳的，对于非平稳信源来说，其不定存在，但可以假定它是平稳的，用平稳信源的来近似。然而，对于般平稳的离散信源，求值也是极其困难的。那么，进步可以假设它是阶马尔可夫信源，用阶马尔可夫信源的平均信息熵来近似。再进步简化信源，即可假设信源是无记忆信源，而信源符号有定的概率分布。这时，可用信源的平均自信息量来近似。最后......”。

8、“.....用最大熵来近似。由于信源符号间的依赖关系使信源的熵减小。它们的前后依赖关系越长，信源的熵越小。当信源符号间彼此无依赖等概率分布时，信源的熵才达到最大。也就是说，信源符号之间依赖关系越强，平均每个符号提供的信息量就越小。每个符号提供的平均自信息量随着符号间的依赖关系长度的增加而减少。为此，我们引进信源的冗余度也叫剩余度或多余度来衡量信源的相关性程度。对于般平稳信源来说，极限熵为，这就是说，如果我们要传送这信源的信息，理论上来说只需要有传送的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成阶马尔可夫信源，则可以用能传送的手段去传送具有的信源，当然这里面就不太经济。•定义•则冗余度为信息效率又称相对熵......”。

9、“.....冗余度越大，表示信源的实际熵越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长反之，冗余度越小，信源的信息，理论上来说只需要有传送的手段即可。但实际上我们对它的概率分布不能完全掌握，如果把它近似成阶马尔可夫信源，则可以用能传送的手段去传送具有的信源，当然这里面就不越大，表示信源的实际熵越小，表明信源符号之间的依赖关系越强，即符号之间的记忆长度越长反之，冗余度越小，表明信源符号之间的不会出现。考虑到字母之间的依赖性，可以把英语信源做进步精确的近似，符号,应用从提高传输信息效率的观点出发，总是希望减少或去掉冗余度。实际的通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，这就是所谓的信源编码的符号序列里加入些特殊的冗余度，以达到通信系统理想的传输有效性和可靠性，这就是所谓的信道编码......”。