互信息(Mutual
Information)是度量两个事件集合之间的相关性(mutual
dependence)。

第3章信道与信道容量

一、如何度量信息

信息量是对信息的度量,香农不仅对信息作了定性描述,还进行了定量分析。
信源发出的信息常常是随机的,具有不确定性。如果信源中某一消息的不确定性越大,一旦发生,并为收信者接到,消除的不确定性就越大,获得的信息也就越大。同时事件发生的不确定性与事件发生的概率有关,概率越小,不确定性就越大。

平均互信息量定义:

l  信道的数学模型及其分类

二、 离散集信息量的性质

某事件X发生所提供的信息量I(x),应该是该事件发生的先验概率p(x)的函数:

且应满足一下四点:

1、 I(x)应该是事件概率p(x)的单调递减函数;
2、信息量应该具有可加性:对于两个独立事件,其信息量应等于各自信息量之和;
3、当p(x)=1时,I(x)=0:表示确定事件发生得不到任何信息;
4、当p(x)=0时,I(x)=∞:表示不可能发生的事件一旦发生,信息量将无穷大。

综合上诉条件,在概率上已经严格证明了

其中p(x)为消息的先验概率

信息量单位:若这里对数底数取2,则单位为bit,由于在计算机上是二进制,我们一般都采用bit,

例1、信源消息X={0,1,2}的概率模型如下:

X_i 0 1 2
p(x_i) 1/3 1/6 1/2

则该信源各消息的信息量分别为:

X_i 0 1 2
p(x_i) 1/3 1/6 1/2
I(x) log3 log6 log2

单位比特

信息量代表两种含义

  • 1、事件X发生以前,I(x)表示事件X发生的不确定性;
  • 2、当事件X发生以后,I(x)表示事件X所提供的信息量(在无噪声的情况下)

例2、假设一根电线上串联8个灯泡X1、X2…X8,这8个灯泡损坏的可能性等概率的,假设只有一个灯泡损坏,用万能表去测量,获得足够的信息量,才能获知和确定哪个灯泡X_i损坏。下面就来看我们最少需要获得多少信息量才能判断出。

解:第一次测试从中间测量,这样八个灯泡分成两部分,并可以判断出在哪一边,这样挑出坏灯泡概率1/4

第二次在剩下4个灯泡中间测量获得的信息量:

第三次在两个灯泡中间测量获得的信息量:

Betway必威 1

l  离散单个符号信道及其容量

信息熵

信息熵—是整个系统的不确定性的统计特性即整个信源信息量的统计平均值

例3 有两个信源X和Y:

X_i 0 1
p(x_i) 0.5 0.5
y_i 0 1
p(y_i) 0.99 0.01

在现实中,能找到很多类似的模型,我们想知道这两个信源本质的区别在哪里?

互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。

l  离散序列信道及其容量

平均信息量—-熵的定义

设X是一个集合(即信息系统如信源或信道),其概率模型为{X_i,P(X_i)},则定义系统X的平均信息量—–熵为:

熵的单位是比特/符号。H(X)就是唯一确定X中任一事件的平均信息量。反应了一个系统平均复杂度。

平均互信息量的物理含义

l  连续信道及其容量

熵的几条性质

(1)对称性:熵只和分布有关,不关心某一具体事件对应哪个概率
(2)非负性:H(X)>=0
(3)确定性:若离散事件是确定事件,则H(X)=0
(4)极值性—-最大离散熵定理:设|X|为信源消息的个数,

计算例3两个信源X和Y的熵

信源X熵明显要远远大于信源Y的熵,信源X发出信息不确定性很大,二信源Y不确定信很小

 Betway必威 2

 

条件信息量

在已知事件yi的条件下,事件xi发的概率为条件概率p(xi|yi),那么条件信息量定义为

1) 观察者站在输出端:

一.信道的数学模型

联合信息量

事件xi,yi同时发生的概率是p(xiyi),那么联合信息量为

H(X/Y) —信道疑义度/损失熵.。Y关于X的后验不确定度。表示收到变量Y后,对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。

1.        信道

联合熵

H(X) —X的先验不确定度/无条件熵。

信息传输的媒介或通道

条件熵

…………….

I(X;Y)—收到Y前后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。

Betway必威 3

 

2.        信道的主要问题

2)观察者站在输入端:

a)        信道的建模:其统计特性的描述

H(Y/X)—噪声熵。表示发出随机变量X后, 对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声, 发送端和接收端必存在确定的对应关系, 发出X后必能确定对应的Y, 而现在不能完全确定对应的Y, 这显然是由信道噪声所引起的。

b)        信道传输信息的能力及其计算

I(Y;X) —发出X前后关于Y的先验不确定度减少的量.

c)        有噪信道中能不能实现可靠才传输?怎么实现?

 

3.        信道输入输出个数

3)观察者站在通信系统总体立场上:

单用户、多用户

H(XY)—联合熵.表示输入随机变量X, 经信道传输到达信宿, 输出随机变量Y。即收,发双方通信后,整个系统仍然存在的不确定度.

4.        输入端和输出端关系

I(X;Y) —通信前后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量, 整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y); 通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的, 具有一定统计关联关系的两个随机变量, 这时整个系统的后验不确定度由H(XY)描述。

无反馈、有反馈

以上三种不同的角度说明: 从一个事件获得另一个事件的平均互信息需要消除不确定度,一旦消除了不确定度,就获得了信息。

5.        噪声种类

 

随机差错、突发差错

平均互信息量的性质

6.        输入输出事件的时间特性和集合的特点

① 对称性

a)        离散信道:输入、输出的时间、幅度上都离散

I(X;Y)= I(Y;X)

b)        连续信道:幅度连续,时间离散

由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。 I(X;Y)和 I(Y;X)只是观察者的立足点不同。

c)        半连续:输入和输出一个离散一个连续

② 非负性

d)        波形信道:输入和输出都是连续随机信号,时间连续,幅度连续

I(X;Y)≥0

7.        信道参数与时间的关系

平均互信息量不是从两个具体消息出发, 而是从随机变量X和Y的整体角度出发, 并在平均意义上观察问题, 所以平均互信息量不会出现负值。

恒参、随参

或者说从一个事件提取关于另一个事件的信息, 最坏的情况是0, 不会由于知道了一个事件,反而使另一个事件的不确定度增加。

8.        按信道接入方式分

③ 极值性

a)        多元接入信道

I(X;Y)≤H(X)

b)        广播信道

I(Y;X)≤H(Y)

9.        根据信道的记忆特性

从一个事件提取关于另一个事件的信息量, 至多是另一个事件的熵那么多, 不会超过另一个事件自身所含的信息量。

a)        无记忆信道:信道输出仅与当前的输入有关

当X和Y是一一对应关系时: I(X;Y)=H(X), 这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信息, 从平均意义上来说, 代表信源的信息量可全部通过信道。

b)        有记忆信道:信道输出不仅与当前输入有关,还与过去的输入有关

当X和Y相互独立时: H(X/Y) =H(X),
I(Y;X)=0。 从一个事件不能得到另一个事件的任何信息,这等效于信道中断的情况。

10.    信道参数

④ 凸函数性

1)        输入矢量X=(x1,x2,…,xi,…), 

平均互信息量是p(xi)和p(yj
/xi)的函数,即I(X;Y)=f [p(xi),
p(yj /xi)];

xi∈A={a1,a2,…,an}

若固定信道,调整信源, 则平均互信息量I(X;Y)是p(xi)的函数,即I(X;Y)=f
[p(xi)];

2)        输出矢量Y=(y1,y2,…,yi,…),

若固定信源,调整信道, 则平均互信息量I(X;Y)是p(yj /xi)的函数,即I(X;Y)=f [p (yj
/xi)]。

yj∈B={b1,b2,…,bm}

平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数(concave function; or
convext cap function)。

3)        信道参数

平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数(convext function; or
convext cup function)。

a)        输入输出之间的统计依赖关系p(Y/X)

⑤ 数据处理定理

Betway必威 4

串联信道

b)        信道转移概率

在一些实际通信系统中, 常常出现串联信道。例如微波中继接力通信就是一种串联信道.

4)        本章介绍

信宿收到数据后再进行数据处理, 数据处理系统可看成一种信道, 它与前面传输数据的信道构成串联信道。

a)        无干扰信道

数据处理定理:当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小。即

b)        有干扰无记忆信道

I(X;Z)≤I(X;Y)

c)        有干扰有记忆信道

I(X;Z)≤I(Y;Z)

二.信道

其中假设Y条件下X和Z相互独立。

1. 无干扰信道

两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量,也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。

信道中不存在随机干扰或者随机干扰很小可以略去不计,信道的输出信号Y与输入信号X之间有确定的关系Y=f(X)。已知X后,确知Y,此时,转移概率为

当对信号/数据/消息进行多级处理时, 每处理一次, 就有可能损失一部分信息, 也就是说数据处理会把信号/数据/消息变成更有用的形式, 但是绝不会创造出新的信息。这就是所谓的信息不增原理。

Betway必威 5

当已用某种方式取得Y后, 不管怎样对Y进行处理, 所获得的信息不会超过I(X;Y)。每处理一次, 只会使信息量减少, 至多不变。也就是说在任何信息流通系统中, 最后获得的信息量,至多是信源提供的信息。一旦在某一过程中丢失了一些信息, 以后的系统不管怎样处理, 如果不能接触到丢失信息的输入端, 就不能再恢复已丢失的信息。

2. 有干扰无记忆信道

(1).概念

信道中存在随机干扰,输出符号与输入符号之间无确定的对应关系,但是,信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号

Betway必威 6

无记忆:每个输出只与当前输入之间有转移概率关系,与其他非该时刻的输入、输出都无关

问题简化

不需要矢量形式,只需分析单个符号的转移概率p(yj/xi)即可

(2).种类

1)        二进制离散信道BSC

Betway必威 7

输出比特仅与对应时刻的一个输入比特有关,与以前的输入比特无关

Betway必威 8

2)        离散无记忆信道DMC(Discrete memoryless channel)

对任意N长的输入、输出序列,有

Betway必威 9

在任何时刻信道的输出只与此时的信道输入有关,而与以前的输入无关

还满足

 Betway必威 10

即,转移概率不随时间变化,平稳的或恒参

DMC的转移概率矩阵

Betway必威 11

3)        离散输入、连续输出信道

有限的、离散的输入符号集X∈{a1,a2,…,an},输出未经量化,实轴上的任意值Y∈{-∞,
∞}

离散时间无记忆信道,其特性由离散输入X、连续输出Y、一组条件概率密度函数PY(y/X=ai)决定。

特例:

加性高斯白噪声AWGN信道Y=X+G

G:白噪声,(0,σ2)

当X=ai给定后,Y是一个均值为ai,方差为σ2的高斯随机变量

4)        波形信道

信道的输入输出:取值连续的一维随机过程{x(t)}和{y(t)},带宽受限fm
、观察时间受限tB

离散化,L=2*fm* tB

时间离散、取值连续的平稳随机序列X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

波形信道→多维连续信道

多维连续信道转移密度函数

   pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)

Betway必威 12

Ø  考虑AWGN信道

y(t)=x(t)+n(t) 信号和噪声相互独立

   pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)

Betway必威 13

信道的转移概率密度函数=噪声的概率密度函数

Betway必威 14

Ø 
说明:条件熵Hc(Y/X)是由噪声引起的,等于噪声熵Hc(n),所以它被称为噪声熵。

Ø  主要讨论加性、高斯白噪信道

3. 有干扰有记忆信道

1)        实际信道

2)        处理困难

3)        处理方法

4)        将以及很强的L个符号当矢量符号,各矢量符号间看成无记忆

5)        将转移概率p(Y/X)看成Markov链的形式,记忆有限

特例:二进制对称信道BSC

Betway必威 15

信道的互信息量:

 Betway必威 16

二元对称信道的平均互信息为 

Betway必威 17                    

分析:

a)        固定信道时的平均互信息

当信道固定,即p为一个固定常数时,可得出I(X;Y)是信源分布的上凸函数

Betway必威 18

对于固定的信道,输入符号集X的概率分布不同时,在接收端平均每个符号所获得的信息量就不同

当输入符号为等概率分布时,平均互信息量I(X;Y)为最大值,这时,接收每个符号所获得的信息量最大。

这是研究信道容量的基础

b)       固定信源分布时的平均互信息

当固定信源的概率分布时,则平均互信息I(X;Y)是信道特性p的下凸函数

Betway必威 19

当二元信源固定后,改变信道特性p可获得不同的平均互信息 I

p=0.5时,I(X;Y)=0。即在信道输出端获得的信息最小,这意味着信源的信息全部损失在信道中,这是一种最差的信道,其噪声最大

这是信息率失真论的基础

信道容量

l  信道的信息传输率

n  R=I(X;Y)=H(X)-H(X/Y)  比特/符号

l  信息传输速率

信道在单位时间内平均传输的信息量定义为信息传输速率

Rt=I(X;Y)/t  比特/秒

l  信道容量

Betway必威 20

n  I(X;Y)的条件极大值

n  单位:比特/符号(bits/symbol或bits/channel use)

l  C的含义

对于一个固定的信道,总存在一种信源概率分布,使传输每一个符号平均获得的信息量,即平均互信息I(X;Y)最大,而相应的概率分布p(x)称为最佳输入分布

信道容量C仅与信道的统计特性有关,即与信道传递概率矩阵有关,而与信源分布无关

平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数,所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。

信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量,否则在传送过程中将会出现错误。

l  几种特殊的信道

Betway必威 21

无噪无损信道

• XY一一对应

• C=maxI(X;Y)=log n

无噪有损信道

• 多个输入变成一个输出:

• C=maxI(X;Y)=maxH(Y)

有噪无损信道

• 一个输入对应多个输出

• C=maxI(X;Y)=maxH(X)

 

l  对称DMC信道的C

对称DMC信道定义

输入对称

如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素),称该矩阵是输入对称

输出对称

如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素),称该矩阵是输出对称

对称的DMC信道:输入、输出都对称

 

相关文章