一个离散无记忆信源x包含{0，1}两个符号， 慨率分别为p₀=1/3，p₁=2/3，通过一个错误率为0.05的二元对称信道传输，信道输出为Y：那么信源的熵为（)比特/符号，输出Y的商为（)比特/符号，信道容量为（)比特/符号。

0.4,对该信源进行二元Huffman编码，码字集合为{0,10,110,111}。

(1)列出信源符号与码字的对应表。

(2)计算信源的熵H(X)和编码器的码率R。

(3)求编码序列中0和1出现的概率P₀，P₁。

(4)求编码序列中的条件概率。

(5)求长度为j的不同编码序列的个数N(j) 。

设一个离散无记忆信源的模型为

  

  现设计两个独立实验去观察X，结果分别为Y₁={0，1}，Y₂={0，1，2}。已知条件概率为：

p(y1|x)		Y1
		0	1
X	0	0.98	0.02
	1	0.2	0.8

p(y2|x)		Y2
		0	1	2
X	0	0.9	0.08	0.02
	1	0.1	0.8	0.1

设S为一离散无记忆信源，其符号集合为{0，1}，概率分布为p(0)=0.995，p(1)=0.005。令信源符号序列的长度为n=100，假定对所有只包含3个以下符号“1”的序列编制长度为k的非奇异二进制码。求：

一离散无记忆信源包含r个符号：1，2，…，r，概率从大到小依次排列为p₁＞ p₂＞…＞ p_r＞ 0，对单信源符号进行二元Huffman编码；①如果P₁＞ 2/5，那么符号1的码字长度为______；②如果p₁＜1/3，那么符号1的码字长度至少为______。

13．有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Y₁∈{0，1)，Y₂∈{0，1}，已知条件概率如表1所示。

表1 条件概率P(Y1|X)和P(Y2|X)
P(Y1下|X)		y		P(Y2|X)		y
		0	1			0	1
X	0	1	0	X	0	1	0
	1	0	1		1	1	0
	2	1/2	1/2		2	0	1

13．有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Y₁∈{0，1)，Y₂∈{0，1}，已知条件概率如表1所示。

表1 条件概率P(Y1|X)和P(Y2|X)
P(Y1下|X)		y		P(Y2|X)		y
		0	1			0	1
X	0	1	0	X	0	1	0
	1	0	1		1	1	0
	2	1/2	1/2		2	0	1

有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Y₁∈{0，1}，Y₂∈{0，1}，已知条件概率如表1所示。

表1 条件概率P(Y1|X)和P(Y2|X)
P(Y1|X)		y		P(Y2|X)		y
		0	1			0	1
X	0	1	0	X	0	1	0
	1	0	1		1	1	0
	2	1/2	1/2		2	0	1

有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为，设计两个独立实验去观察它，其结果分别为Y₁∈{0，1}，Y₂∈{0，1}，已知条件概率如表3.1所列。

表3.1
P(Y1|X)	0	1
0	1	0
1	0	1
2	1/2	1/2

P(Y2|X)	0	1
0	1	0
1	1	0
2	0	1

有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为，，，设计两个独立实验去观察它，其结果分别为Y₁∈{0，1}，Y₂∈{0，1}，已知条件概率如表3.1所列。

表3.1
P(Y1|X)	0	1
0	1	0
1	0	1
2	1/2	1/2

P(Y2|X)	0	1
0	1	0
1	1	0
2	0	1

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

    信道线图如图所示。

    试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。