习    题

2.1  同时扔一对质地均匀的骰子，当得知“两骰子面朝上点数之和为5”或“面朝上点数之和为8”或“两骰子面朝上点数是3和6”时，试问这三种情况分别获得多少信息量？

解：

某一骰子扔得某一点数面朝上的概率是相等的，均为1/6，两骰子面朝上点数的状态共有36种,其中任一状态出现都是等概率的,出现概率为1/36。设两骰子面朝上点数之和为事件a，有：

a=5时，有1+4，4+1，2+3，3+2，共4种，则该事件发生概率为4/36=1/9，则信息量为I(a)=-logp(a=5)=-log1/9≈3.17(bit)

a=8时，有2+6，6+2，4+4，3+5，5+3，共5种，则p(a)=5/36,则I(a)= -log5/36≈2.85(bit)

p(a)=2/36=1/18,则I(a)=-log1/18≈4.17(bit)

2.2  如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几”，则答案中含有多少信息量？如果你在已知今天是星期三的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）？

解：

设“明天是星期几”为事件a：

不知道今天是星期几：I(a)=-log1/7≈2.81(bit)

知道今天是星期几：I(a)=-log1=0 (bit)

2.3  居住某地区的女孩中有20%是大学生，在女大学生中有80%是身高1米6以上的，而女孩中身高1米6以上的占总数的一半。假如我们得知“身高1米6以上的某女孩是大学生”的消息，求获得多少信息量？

解：

设“居住某地区的女孩是大学生”为事件a，“身高1米6以上的女孩”为事件b，则有：

p(a)= 0.2，p(b|a)=0.8，p(b)=0.5，

则“身高1米6以上的某女孩是大学生”的概率为：

信息量为：I=-logp(a|b)=-log0.32≈1.(bit)

2.4  从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志：“你是否是红绿色盲？”，他回答“是”或“否”，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：

男同志回答“是”的概率为7%=0.07，则信息量I=-log0.07≈3.84(bit)

男同志回答“否”的概率为1-7%=0.93，则信息量I=-log0.93≈0.10(bit)

平均信息量为：H1=-(0.07×log0.07+0.93×log0.93) ≈0.37(bit/符号)

   问女同志的平均自信息量：H2=-[0.05×log0.05+(1-0.05) ×log(1-0.05)] ≈0.045(bit/符号)

2.5  如有7行9列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为（XA，YA）、（XB，YB），但A、B不能落入同一方格内。

(1) 若仅有质点A，求A落入任一个格的平均信息量。

(2) 若已知A已落入，求B落入的平均自信息量。

(3) 若A、B是可分辨的，求A、B同时都落入的平均自信息量。

解：

若仅有质点A，A落入任一格内的概率均为1/63，则A落入任一个格的平均信息量为：

若已知A已落入，质点B再落入时，它只可能落入其中63-1=62个方格内，则其概率均为p(b|a)=1/62，则B落入的平均自信息量为：

A、B同时都落入的平均自信息量，即为求联合熵H(AB)：

2.6  设信源，求这信源的熵，并解释为什么H(X) > log6，不满足信息熵的极值性。

解：

信息熵

    因为，所以变量不止6-1=5个，因此不满足信息熵的极值性。

2.7  有两个二元随机变量X和Y，它们的联合概率为

(1) 和。

(2) 和

。

(3) 和。

解：

从题意可知，

可得：

和

由于Z=XY，则有

所以

随机变量X和Z的联合概率分布如下：

同样Y、Z的联合概率分布如下：

和

。

和。

2.8  某一离散无记忆信源的符号集为，已知。

(1) 求该信源的信息熵。

(2) 有100个符号构成的序列，求某一个特定序列（例如有m个“0”和（100 – m）个“1”）的自信息量的表达式。

(3) 计算(2)中序列的熵。

解：

(1) 该信源的信息熵为：H=-1/4log1/4-3/4log3/4≈0.81(bit/符号)

(2) 由于为离散无记忆信源，则有

   所以

(3) 

2.9  设有离散无记忆信源S，其概率空间为

设另有一离散无记忆信源，其符号集为信源S符号集的两倍，即A={ai: i=1,2,…,q, q +1,,2q }，并且符号的概率分布为：

请写出信源的信息熵与信源S的信息熵的关系。

解：

2.10  设有一概率空间，其概率分布为，并有。若取，，其中，而其他概率值不变。试证明由此所得新的概率空间的熵是增加的，并用熵的物理意义作以解释。

证明： 

法1：

物理意义：新概率分布比原概率分布更“均匀”，所以，其熵更大。

法2：设原概率分布的熵为：

则新概率分布的熵为：

其中

由于

所以，f()是单调上升的。因此，

2.11   设有一概率空间，其概率分布为，并有，试证明：

证明：

由熵的递增性：

又由熵的极值性：

因此，

2.12  设有一概率空间，其概率分布为，并有，试证明：

证明：

因为，而，所以在该概率空间中

即等式成立

2.13  证明，并说明等式成立的条件。

证明：

由于条件熵小于或等于无条件熵，条件较多的熵小于或等于条件较少的熵，考虑到平稳性，有，即证

2.14  证明。

证明：

当且仅当相互时，等号成立。

2.15  (1) 为了使每帧黑白电视图像获得良好的清晰度和规定的适当的对比度，需要用个像素和10个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有像素是变化的，且所有亮度电平等概率出现。

(2) 设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大2.5倍。

解：

像素包含的信息量为：

则每帧电视图像所含的信息量为：

则图像所需的信息率为30×1.66×106 =4.98×107bit/s

证明：

2.16  每帧电视图像可以认为是3×105个像素组成，所有像素均是变化的，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像中含有多少信息量。若现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？

解：

由于所有像素均是变化的，且每一像素又取128个等概率出现不同的亮度电平，则像素的包含的信息量为： 

而每帧电视图像可以认为是3×105个像素组成，所有像素均是变化的，所以有

汉字所含的信息量为：

所以1000个字所含的信息量：

2.17  为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A，01代表B，10代表C，11代表D。每个二元码脉冲宽度为5毫秒。

(1) 不同字母等概率出现时，计算传输的平均信息速率。

(2) 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率。

解：

因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms，       当信源等概率分布时,信源熵为H(X)=log4=2(bit/符号)，则平均信息传递速率为：

，

则平均信息传递速率为：

2.18  设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按p(0)=0.4，p(1)=0.6的概率发出符号。

(1) 试问这个信源是否是平稳的？

(2) 试计算，及。

(3) 试计算，并写出信源中所有可能有的符号。

解：

这个信源是平稳的。因为平稳信源的概率分布与时间起点无关，而该信源在任意时间而且不论以前发生过什么符号，概率分布均相同。

由于信源X={0，1}是无记忆的，则每个Xi 是的，所以有：

信源只产生0、1序列，所以所有组合如下：

2.19  有一个二元无记忆信源，其发0的概率为p，而，所以在发了二元序列中经常出现的是那些一串为0的序列（称高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有n+1个符号，它与高概率的二元序列的对应关系如下：

二元序列：  1，  01，001，0001，…，

新信源符号：，， ， …，    ，  。

(1) 求。

(2) 当n →时，求信源的熵。

解：

由题，，则新信源概率分布：

(1) 求。

  当n →时，求信源的熵

2.20  黑白气象传真图的消息只有黑色和白色两种，即信源X=[黑，白]，设黑色出现的概率为p(黑)=0.3，白色出现的概率p(白)=0.7。

(1) 假设图上黑白消息出现前后没有关联，求熵H(X)。

(2) 假设消息前后有关联，其依赖关系为p(白|白)=0.9，p(黑|白)=0.1，p(白|黑)=0.2，p(黑|黑)=0.8，求此一阶马尔科夫信源的熵H2(X)。

(3) 分别求上述两种信源的冗余度，并比较H(X)和的大小，并说明其物理意义。

解：

(1) H(X)=-0.3log0.3-0.7log0.7≈0.88(bit/符号)

(2) 状态转移概率矩阵为，设各状态的稳态分布概率为W1 = p’(白)和W2 = p’(黑)

则满足：W1=0.9 W1+0.2W2, W2=0.1 W1+0.8 W2，且W1+ W2=1

求得：W1 =，W2 =

信源X的最大熵为当p(黑)= p(白)=0.5时，H0(X)=1(bit/符号)，则信源的冗余度为：

H(X)> H2(X)，物理意义是：无记忆信源的不确定度大于有记忆信源的不确定度。下载本文