信息熵计算

信息熵也是有值的，可以计算的，信息熵用 bit（比特）为单位，计算公式如下，其中 P 是概率质量函数。 初始状态下，对于张三来说，小红喜欢这三个礼物的概率都是 1/3，所以此时 P(x) = 1/3，信息熵可以用如下公式计算： H(x)=1/3*log(3)+1/3*log(3)+1/3*log(3) =1.56 这也就是说目前的信息熵...