问答题
简述最大离散熵定理。对于一个有m个符号的离散信源,其最大熵是多少?
最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。 最大熵值为
问答题 什么是平均自信息量与平均互信息,比较一下这两个概念的异同?
问答题 设有DMC,其转移矩阵为 试确定最佳译码规则和极大似然译码规则,并计算出相应的平均差错率。
问答题 设二元对称信道的输入概率分布分别为 求信道的输入熵,输出熵,平均互信息量; 求信道容量和最佳输入分布; 求信道剩余度。