平均互信息量I（X；Y）是信源概率分布p（x）和信道转移概率p（y|x）的函数。

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

    信道线图如图所示。

    试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

  

  信道线图如图所示。

  

  试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。

从平均互信息的表达式证明，当信道和信源都是无记忆时 I(XN；YN)=NI(X；Y)

离散信源X发出消息经过有噪信道输出为Y，且Y=X+Z (mod2)。其中，Z为干扰噪声，X和Z相互独立。而且X和Z只能取值为0或1, p_x(0)=ω，P_z(0)=?; 发送方功率受限，有E(X²)≤1/2，干扰方功率也受限，有E(Z²)≤l/4。

(1)求信道输入与输出的平均互信息I(X;Y)。

(2)当信道噪声分布给定，求使I(X;Y)最大的信源X的分布。

(3)当信源X的分布给定。求使I(X;Y)最小的信道噪声的分布。

(4)发送端设法使I(X;Y)最大，而干扰噪声则设法使I(X;Y)最小化。如果两者同时达到它们的目的，平均互信息I(X;Y)是多少?

1. 设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。 2.设有一批电阻，按阻值分：70%是，30%是；按功率分：64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 3.设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。

3.4 设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。

设某连续信道，其特性如下：

而且输入变量X的概率密度函数为

试计算：

(1)信源的熵h(X);

(2)平均互信息I(X;Y)。

设信源通过一干扰信道，接收符号为Y ={b₁,b₂}， 信道传递矩阵为,求

(1)信源X中事件a₁和a₂分别含有的自信息量:

(2)收到消息b_j(j= 1,2)后，获得的关于a₁(i= 1, 2)的信息量;

(3)信源X和信宿Y的信息熵;

(4)信道疑义度H(X/)和噪声熵H(Y/X);

(5)接收到信息Y后获得的平均互信息量。

2．已知信源U={u_i|i=1，…，8}包含8个数字消息0、1、2、3、4、5、6和7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成3位二进制码组，信源各消息(符号)的先验概率及相应的代码组如下表所示。

信源各消息先验概率及码组
信源信息ui	0	1	2	3	4	5	6	7
3位二进制码组	x0y0z0	x0y0z1	x0y1z0	x0y1z1	x1y0z0	x1y0z1	x1y1z0	x1y1z1
	000	001	010	011	100	101	110	111
P(ui)	1/4	1/4	1/8	1/8	1/16	1/16	1/16	1/16

  求互信息量I(u₃；x₀)，I(u₃；x₀y₁)，I(u₃；x₀y₁z₁)。

2．已知信源U={u_i|i=1，…，8}包含8个数字消息0、1、2、3、4、5、6和7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成3位二进制码组，信源各消息(符号)的先验概率及相应的代码组如下表所示。

信源各消息先验概率及码组
信源信息ui	0	1	2	3	4	5	6	7
3位二进制码组	x0y0z0	x0y0z1	x0y1z0	x0y1z1	x1y0z0	x1y0z1	x1y1z0	x1y1z1
	000	001	010	011	100	101	110	111
P(ui)	1/4	1/4	1/8	1/8	1/16	1/16	1/16	1/16

  求互信息量I(u₃；x₀)，I(u₃；x₀y₁)，I(u₃；x₀y₁z₁)。