设有一个二进制离散信源(0,1),每个符号独立发送。
问答题     若“0”“1”等概出现,求每个符号的信息量和平均信息量(熵);
 
【正确答案】方法一:由等概独立条件可知,P(0)=P(1)=1/2,故其信息量I0=I1=log2[1/P(x)]=log22=1(bit),平均信息量(熵) 方法二:等概时,信源的熵有最大值Hmax=log2M,故H=log2M=log22=1(bit/符号)。
【答案解析】
问答题     若“0”出现概率为1/3,求每个符号的信息量和平均信息量(熵)。
 
【正确答案】已知P(0)=1/3,且P(0)+P(1)=1,则P(1)=2/3,故每个符号的信息量 I0=log2[1/P(0)]=log23=1.584(bit) I1=log2[1/P(1)]=log2(3/2)=0.585(bit) 平均信息量(熵) H=P(0)I0+P(1)I1=0.918(bit/符号)
【答案解析】