任意3个离散随机变量X、Y和Z，求证： H（XYZ)－H（XY)≤H（XZ)－H（X)。

设随机变量X的概率分布为。随机变量Y是X的函数，其分布为将X的4个最小的概率分布合并为一个：。

任意3个离散随机变量X、Y和Z，求证：

  H(XYZ)=H(XZ)+H(Y|X)-I(Z;Y|X)

有一离散无记忆信源，其输出为X∈{0，1，2}，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Y₁∈{0，1}，Y₂∈{0，1}，已知条件概率如表1所示。

若3个离散随机变量X、Y和Z有如下关系：X+Y=Z(普通加法)，其中X和Y相互统计独立。试证明：

设随机变量X={0，1}和Y={0，1}相互统计独立，且它们均等概率取值。定义新随机变量Z=XY(模2和)，计算：

  (1)H(X)、H(Y)、H(Z)、H(XY)、H(YZ)、H(XZ)以及H(XYZ)；

  (2)H(X|Y)、H(X|Z)、H(Y|Z)、H(X|YZ)、H(Y|XZ)以及H(Z|XY);

  (3)I(X;Y)、I(X;Z)以及I(Y;Z)；

  (4)I(X;Y|Z)、I(Z;Y|X)以及/(Z;X|Y);

  (5)I(XY;Z)、I(X;YZ)以及I(Y;XZ)。

每帧电视图像可看成是由3×10⁵个独立变化的像素组成的，每个像素又取128个不同的亮度电平，并设各亮度电平是等概出现的。

  (1)问每帧图像含有多少信息量？

  (2)现假设有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问广播员描述此图像所广播的信息量是多少？

  (3)假设汉字字汇是等概分布的，并且彼此无依赖，试问若要恰当地描述此帧图像，广播员在口述中至少需要多少个汉字？

设信源发出二次扩展消息x_iy_i，其中第1个符号x_i取值为A、B、C3种消息，第2个符号y_j取值为D、E、F、G4种消息，概率p(x_i)和p(y_j|x_i)如下表所示。

  求二次扩展信源的联合熵H(XY)。

试计算：

设某离散平稳信源X，概率空间为

  并设信源发出的符号只与前一个相邻符号有关，其联合概率为p(a_ia_j)如下表所示。

  求信源的信息熵、条件熵与联合熵，并比较信息熵与条件熵的大小。

为P(W)=0.7。