1) eatropy of information
信息的熵
2) correlation rate of information entropy
信息熵的关联度
3) integral term of the information entropy
信息熵的积分项
1.
The integral term of the information entropy unadapted for being a measuring index;
信息熵的积分项不宜用作为描述信息源的量度指标
4) information entropy of code bit
码位的信息熵
5) Shannon's entropy
香农的信息熵
6) The Study of Information Entropy
对信息熵的探讨
补充资料：信息熵（informationentropy）
信息熵（informationentropy）
是信息论中信息量的统计表述。香农（Shannon）定义信息量为：`I=-Ksum_ip_ilnp_i`，表示信息所消除的不确定性（系统有序程度）的量度，K为待定常数，pi为事件出现的概率，$sump_i=1$。对于N个等概率事件，pi=1/N，系统的信息量为I=-Klnpi=KlnN。平衡态时系统热力学函数熵的最大值为$S=-ksum_iW_ilnW_i=kln\Omega$，k为玻尔兹曼常数，Wi=1/Ω为系统各状态的概率，$sum_iW_i=1$，Ω为系统状态数，熵是无序程度的量度。信息量I与熵S具有相同的统计意义。设K为玻尔兹曼常数k，则信息量I可称信息熵，为$H=-ksum_ip_ilnp_i$，信息给系统带来负熵。如取K=1，对数底取2，熵的单位为比特（bit）；取底为e，则称尼特。信息熵是生命系统（作为非平衡系统）在形成有序结构——耗散结构时，所接受的负熵的一部分。
说明：补充资料仅用于学习参考，请勿用于其它任何用途。
参考词条