設有一信源發(fā)出符號A和B,它們是相互獨立的,并已知p(A)=1/4,p(B)=3/4。 (1)計算信源熵。 (2)若用二進制代碼組傳輸消息,A→0,B→1,求p(0)和p(1)。 (3)該信源發(fā)出二重符號消息時,采用費諾編碼,求其平均傳輸速率R及兩個碼元的概率p(0)、p(1)。 (4)該信源發(fā)出三重符號消息時,采用霍夫曼編碼,求其平均傳輸速率R及兩個碼元的概率p(0)、p(1)。
一階馬爾可夫信源的狀態(tài)轉移圖如下圖所示,信源符號集為{0,1,2}。求: (1)穩(wěn)態(tài)后信源的概率分布。 (2)信源熵。 (3)當p=0或p=1時信源的熵,并說明理由。
設有一信源,它產(chǎn)生0、1序列的消息。該信源在任意時間不論以前發(fā)生過什么消息符號,均按p(0)=0.4,p(1)=0.6的概率發(fā)出符號。 (1)這個信源是否平穩(wěn)? (2)計算H(X2),H(X3/X1X2),以及。 (3)計算H(X4),并寫出X4信源可能發(fā)出的所有符號。