有一個(gè)二元信道,其信道如右圖所示。設(shè)該信道以1500個(gè)二元符號(hào)/秒的速度傳輸輸入符號(hào),現(xiàn)有一消息序列共有14000個(gè)二元符號(hào),并設(shè)在這消息中問(wèn)從信息傳輸?shù)慕嵌葋?lái)考慮,10秒內(nèi)能否將這消息序列無(wú)失真地傳送完。
設(shè)X,Y是兩個(gè)相互統(tǒng)計(jì)獨(dú)立的二元隨機(jī)變量,其取“0”或“1”的概率為等概率分布。定義另一個(gè)二元隨機(jī)變量Z,而且Z=XY(一般乘積),試計(jì)算: (1)H(X),H(Y),H(Z); (2)H(XY),H(XZ),H(YZ),H(XYZ); (3)H(X|Y),H(X|Z),H(Y|Z),H(Z|X),H(Z|Y); (4)H(X|YZ),H(Y|XZ),H(Z|XY); (5)I(X;Y),I(X;Z),I(Y;Z); (6)I(X;Y|Z),I(Y;X|Z),I(Z;X|Y),I(Z;Y|X); (7)I(XY;Z),I(X;YZ),I(Y;XZ)。
若有三個(gè)離散隨機(jī)變量,有如下關(guān)系:X+Y=Z,其中X和Y相互統(tǒng)計(jì)獨(dú)立,試證明: (1)H(X)≤H(Z),當(dāng)且僅當(dāng)Y是常量時(shí)等式成立; (2)H(Y)≤H(Z),當(dāng)且僅當(dāng)X為常量時(shí)等式成立; (3)H(Z)≤H(XY)≤H(X)+H(Y),當(dāng)且僅當(dāng)X,Y中任意一個(gè)為常量時(shí)等式成立; (4)I(X;Z)=H(Z)−H(Y); (5)I(XY;Z)=H(Z); (6)I(X;YZ)=H(X); (7)I(Y;Z|X)=H(Y); (8)I(X;Y|Z)=H(X|Z)=H(Y|Z)。