2. 当概率为1时,百分百发生的事,地球人都知道,所以信息量为0。
3. 当一个消息是由多个独立的小消息组成时,那么这个消息所含信息量应等于各小消息所含信息量的和。
根据这几个特点,如果用数学上对数函数来表示,就正好可以表示信息量和消息发生的概率之间的关系式:I=-loga(P(x))。这样,信息不就可以被量化了吗?既然信息可以被量化,那么总得给它一个单位吧?人的体重是以公斤来计量的,人的身高是以米来计量的,那么信息量该以什么单位来计量呢?通常是以比特(bit)为单位来计量信息量的,这样比较方便,因为一个二进制波形的信息量恰好等于1bit。