中图分类号：H08 文献标识码：A 文章编号：1004-3926(2004)10-0293-04 一、信息熵与冗余度 何谓信息熵?“熵”是热力学第二定律中的一个物理量，是从统计概率的角度对一个系 统混乱无序程度的量度。这个概念是由德国物理学家鲁道尔夫.克劳修斯1868年首次引 入物理学中的。热力学第二定律可以叙述为：热自发地从高温流向低温，这个过程是不 可逆的。从分子运动的观点来看，一个系统的热运动是和它的无序程度有关的，在没有 外界条件干预的情况下，一个系统总是自发地沿着从有序到无序的方向发展，并且这个 方向是不可逆的。熵就是系统无序状态的量。热力学第二定律表明：物质和能量只能沿 着一个方向转换，即从可利用到不可利用，从有效到无效，从有秩序到无秩序。宇宙万 物从一定的价值与结构开始，不可挽回地朝着混乱和荒废发展!当系统处于有序状态时 ，熵最小；当系统处于无序状态时，熵最大。因此，熵就是系统无序、混乱状态的同义 语。 信息熵是从信源角度考虑的信息量，它表示信源整体不确定性的量。信息熵与热力学 第二定律中的“熵”所反映的系统运动过程和方向正好相反。用信息来描写物质系统的 过程，都是朝着有序化的方向发展的。在信息传递的过程中，系统信息量的增加总是表 明不确定性的减少。信息系统的运动过程是由无序性、不确定性(高熵值)向有序性、确 定性(低熵值)方向发展的。因此，信息在系统运动过程中，可以看作是负熵，是消除系 统混乱，从而达到信息有序的量。信息熵越大，无序性和不确定性就越大，包含的信息 量也越多，而信息熵的大小又与随机事件发生的概率成反比。 信息量是从信宿的角度考虑的量，是由消除信宿不确定性的多少来确定的。如果信宿 接受信息后，能消除接受信息前的不确定性，即能获得新的知识，该信息的信息量就大 ；反之，不能消除信宿的不确定性，则信息量为零。消除的不确定性越多，信息量就越 大。信宿的信息量也与随机事件发生的概率有关，概率小，信宿的不确定性大，消除的 不确定性也大；概率大，信宿的不确定性小，消除的不确定性也小。同时，信宿信息量 的大小还与随机事件的价值相对性有关，也与信宿接受信息的条件和素质有关。后两者 是一个动态的因素，在实际情况中是因人而异的。 信息熵值高的信息一般具有“新”和“奇”的特点，对信宿有很大的刺激性，因此， 高熵值信息具有引起信宿“注意”的功能。 何谓信息的冗余度?“冗余”一般的理解是多余，无用的意思，在语言表达中，“冗余 ”就是废话，罗嗦。下面有一则电文： 代表团共10人于29号即星期六1287班机下午14点到达派车到机场来接。 电报的特点是高度突出主要信息，同时也要求信息准确、扼要、不引起歧义。但是上 述电文却废话太多，不符合电文高效、准确、精练的原则，其中“共”“于”“即”完 全是废话，而“下午”“机场”也是多余，既然是“14点”，那肯定是下午，既然是“ 班机”，那无疑是到机场。 信息学上的“冗余”与汉语常用的语义不太一样，信息学上的冗余在许多情况下是运 用语言、文字形式传输信息时不可缺少的。如介绍姓氏“我姓覃，西早覃。”后面的部 分是冗余信息，但不是多余信息，而是对主要信息的补充。 “冗余度”是对信息的确定性、有序性和可预见程度的计量。它与信源的熵成反比， 信源的熵值越高，冗余度越小，反之，信源熵值越小，冗余度越大。再以介绍姓氏为例 ，如“我姓王”，信息熵值很小，冗余度大。而“我姓覃”，信息熵值很高，冗余度很 小。请看与上例相同的一条电文另发为： a.代表团10人29号1287班机到达。 b.代表团10人29号星期六1287班机14点到达派车接。 a式简明扼要，毫无赘词。然而人们更喜欢b式，因为b式适当地使用了冗余信息，表达 明白无误，传递效果更佳。我们试做一分析：首先29日与星期六语义重复，构成了冗余 信息，但在实际生活中，有一些人喜欢记“星期几”来安排每周中每天的工作，而有些 人则不太注意“星期几”而喜欢记“多少号”，将这一信息用两种表达方式重复一下， 既兼顾了记忆习惯，又重复了关键信息。其次，1287班机与14点也是重复的，如果收电 人对航班时间很陌生的话，这一信息对他就很方便了。最后，“派车接”可起到提醒作 用。 由此可见，冗余信息是指超过传递需要量的信息。从信宿的角度看，冗余信息是对信 息的确定性、有序性的可预见程度的计量。冗余信息是对信息熵的一种缓冲，熵值太高 的信息往往“曲高和寡”，会使接受者感到与以往的经验不相符，产生感情上的疏远态 度，增加传递的难度。冗余信息使信源保持在一种既陌生又熟悉的状态之中，既能唤起 人们对新鲜的注意又有消除不确定性的愉快。所以，信息冗余度是信宿对信息的确定性 、有序性的可预见程度的比例。例如当我们向某人传递一种与期望相反的信息时，在说 正式的消息以前，总要先说一些与此无关的话，如“我现在要告诉你一件事，你听了之 后要冷静一些……”，这些话并不是废话，而是冗余信息，它能冲淡高熵值信息的刺激 性，预见后边信息的确定性，增强受者的心理承受能力，这样的表达形式就有一定的冗 余度。
