c语言熵值法,熵值法应用范围

大家好，今天小编关注到一个比较有意思的话题，就是关于c语言熵值法的问题，于是小编就整理了1个相关介绍c语言熵值法的解答，让我们一起看看吧。

1. 信息熵的定义？

熵的定义？

信息熵，用于描述信源不确定度的量。

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

信息熵值是物理学中的一个概念，是指有序度。

信息论之父C.E.Shannon在1948年发表的论文“通信的数学理论（A Mathe matical Theory of Communication）”中，Shannon指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。

Shannon借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。

信息熵是数学方法和语言文字学的结合，基本计算公式是：

H=-LOG2（P）其中：H表示信息熵，P表示某种语言文字的字符出现的概率，LOG2是以二为底的对数，用的是二进制，因而，信息熵的单位是比特（BIT，即二进制的0和1）。信息熵值就是信息熵的数值

到此，以上就是小编对于c语言熵值法的问题就介绍到这了，希望介绍关于c语言熵值法的1点解答对大家有用。

标签： 信息 热力学 概念