互信息的含义

【互信息的含义】互信息是信息论里一种有用的信息度量 , 它是指两个事件集合之间的相关性 。信道中总是存在着噪声和干扰 , 信源发出消息x , 通过信道后信宿只可能收到由于干扰作用引起的某种变形的y 。信宿收到y后推测信源发出x的概率 , 这一过程可由后验概率来描述 。相应地 , 信源发出x的概率称为先验概率 。我们定义x的后验概率与先验概率比值的对数为y对x的互信息量 , 也称交互信息量 , 简称互信息 。

    推荐阅读