离散信源输出四个不同符号，若各符号概率分别为1/2、1/4、1/8、1/8，则该信源的熵为（）bit/符号。

一离散信源由A，B，C，D四个符号组成，它们出现的概率分别为1/2， 1/4， 1/8， 1/8，且每个符号的出现都是独立的，消息{AAAAABBACCDDB}熵为2bit/符号。判断对错

设一离散无记忆信源的输出由4种不同的符号组成，它们的出现概率分别为1/2、1/4、1/8、1/8，则此信源平均每个符号包含的信息熵为____________。若信源每毫秒发出一个符号，那么此信源平均每秒输出的信息量为____________。

设一离散无记忆信源的输出由4种不同的符号组成，它们的出现概率分别为1/2、1/4、1/8、1/8，则此信源平均每个符号包含的信息熵为____________。若信源每毫秒发出一个符号，那么此信源平均每秒输出的信息量为____________。

A、2.875 bit/符号；3.75 kbit

B、4.875 bit/符号；5.75 kbit

C、4.875 bit/符号；9.75 kbit

D、2.875 bit/符号；5.75 kbit

某离散无记忆信源S的符号集A={a₁，a₂，a₃，a₄，a₅，a₆，a₇，a₈}，各符号的概率分别为：0.1，0.2，0.2，0.3，0.05，0.05，0.05，0.05；

对应的概率分别为: 0.2，0.12，0.08，0.15，0.25，0.1，0.05，0.05。

(1)求信源的箭及信源剩余度。

(2)若码符号集为{0,1,2},对共进行三元Huffman编码。

(3)求平均码长，编码效率及编码器输出的信总传输速率。

0.4,对该信源进行二元Huffman编码，码字集合为{0,10,110,111}。

(1)列出信源符号与码字的对应表。

(2)计算信源的熵H(X)和编码器的码率R。

(3)求编码序列中0和1出现的概率P₀，P₁。

(4)求编码序列中的条件概率。

(5)求长度为j的不同编码序列的个数N(j) 。

1. 设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。 2.设有一批电阻，按阻值分：70%是，30%是；按功率分：64%是1/8W，其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？ 3.设离散无记忆信源X通过离散无记忆信道传送信息，设信源的概率分布和信道的线图分别为:,试求： （1）信源X的符号和分别含有的自信息； （2）从输出符号所获得的关于输入符号的信息量； （3）信源X和信道输出Y的熵； （4）信道疑义度H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。

设一离散无记忆信源

(1)求信源熵H(S)以及信源剩余度。

(2)对信源符号进行二元哈夫曼编码井计算平均码长和编码效率。

(3)对信源符号进行三元哈夫曼编码并计算平均码长和编码效率。

(4)若要求译码错误概率≤10-3，采用二元定长码要求达到(2)中的哈曼编码效率时，估计信源序列的长度N。

设离散无记忆信源X通过离散无记忆信道{X,P_Y|X,Y}传送信息，设信源的概率分布为：

    信道线图如图所示。

    试求：

  (1)从输出符号b_j(j=1,2)中所获得的关于输入符号a_i(i=1,2)的信息量；

  (2)信源X和信道输出Y的熵；

  (3)信道损失熵H(X|Y)和噪声熵H(Y|X)；

  (4)从信道输出Y中获得的平均互信息量I(X;Y)。